认识Gemma §01 从Gemma 1到Gemma 4：Google开源模型的进化 §02 Gemma 4全家福：四个尺寸怎么选 Part 2: 本地部署实战 §03 你的电脑能不能跑 §04 Ollama部署实战 §05 LM Studio + llama.cpp部署 §06 接入OpenClaw和龙虾产品 Part 3: 用起来 §07 端侧模型的黄金场景 §08 进阶玩法与调优 §01 从Gemma 下，选一个能流畅运行的版本，比强行塞一个卡顿的大模型体验好得多。 §04 Ollama部署实战 Deploy with Ollama: Step by Step Ollama是目前本地跑大模型最省事的工具，「大模型的Docker」：一条命令拉模型，一条命令跑起来。这一章从安装到API调用，手把手走一遍。 安装Ollama 三个平台都支持，挑你的系统看。 macOS 推荐用Homebrew安装，也可以从官网下载安装包： 方式一：Homebrew（推荐） brew install ollama 方式二：官方安装脚本 curl -fsSL https://ollama.com/install.sh | sh Windows 用winget一行搞定： winget install ollama 也可以去 ollama.com 下载安装包，双击安装。 Linux curl -fsSL https://ollama.com/install.sh |

13 3.1 大模型 Llama3 ..... 13 3.1.1 步骤 1：安装 Ollama ..... 13 3.1.2 步骤 2：安装 Llama ..... 14 3.1.3 使用 Llama3 ..... 15 3.2 大模型 phi-3 ..... 17 3.2.1 Ollama 安装 phi-3 ..... 17 3.2.2 使用 phi-3 ..... 18 B（十亿，Billion）：在英文里是 Billion 的缩写，表示十亿。对于 AI 大模型来说，B 一般用于描述模型的参数数量。例如，具有 50B 参数的模型代表这个模型有 50 亿个参数。Ollama3 有尺寸 8B 和 70B，Phi-3-mini 有 3.8B 参数等。 T（万亿，Trillion）：在英文里是 Trillion 的缩写，表示万亿。在 AI 大模型中，“T”常用来表示模型在训练中处理的 的训练数据，在推理、数学、代码生成、指令跟踪等能力获得大幅度提升。 ### 3.1 大模型 Llama3 #### 3.1.1 步骤 1：安装 Ollama Ollama 可以简单理解为客户端，实现和大模型的交互。ollama 软件 win 和 mac 都包括，如图 11 所示。 # Download Ollama ![Image](/uploads/documents/5/c/c/c/5cccada144d9ce05937eb80763143600/p14_1

### 1.5 Ollama Ollama 帮助您通过少量命令即可在本地运行 LLM。它适用于 MacOS、Linux 和 Windows 操作系统。现在，Qwen1.5 正式上线 Ollama，您只需一条命令即可运行它： ollama run qwen 接着，我们介绍在 Ollama 使用 Qwen 模型的更多用法 #### 1.5.1 快速开始 访问官方网站 Ollama”，点击 Download 以在您的设备上安装 Ollama。您还可以在网站上搜索模型，在这里您可以找到 Qwen1.5 系列模型。除了默认模型之外，您可以通过以下方式选择运行不同大小的 Qwen1.5-Chat 模型： • ollama run qwen:0.5b • ollama run qwen:1.8b • ollama run qwen:4b • ollama run qwen:7b • ollama run qwen:14b qwen:14b • ollama run qwen:72b #### 1.5.2 在 Ollama 运行你的 GGUF 文件 有时您可能不想拉取模型，而是希望直接使用自己的 GGUF 文件来配合 Ollama。假设您有一个名为 qwen1_5-7b-chat-q4_0.gguf 的 Qwen 的 GGUF 文件。在第一步中，您需要创建一个名为 Modelfile 的文件。该文件的内容如下所示：

DeepSeek 本地部署三个步骤 一共只需要三步，就能做到 DeepSeek 在本地运行并与它对话。 第一步，使用的是 ollama 管理各种不同大模型，ollama 比较直接、干净，一键下载后安装就行，安装过程基本都是下一步。 不知道去哪里下载的，可以直接在我的公众号后台回复：ollama，下载这个软件，然后装上，可以拿着手机扫码下图1直达我的公众号：  图 2: Ollama 常用的命令 第二步, 命令窗口输入: ollama pull deepseek-r1:1 cmd(Windows 电脑) 或 terminal(苹果电脑) 执行命令：ollama run deepseek-r1:1.5b，很快就能进入对话界面，如下图4所示：  图 4: Ollama 软件启动 deepseek-r1 界面 ### 1.3

Deepseek R1 是支持复杂推理、多模态处理、技术文档生成的高性能通用大语言模型。本手册为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯片适配、量化方案、云端替代方案及完整671B MoE模型的Ollama部署方法。 核心提示： • 个人用户：不建议部署32B及以上模型，硬件成本极高且运维复杂。 • 企业用户：需专业团队支持，部署前需评估ROI（投资回报率）。 ## 二、 本地部署核心配置要求 本尝鲜与测试| 2. 国际接入渠道（需魔法或外企上网环境） • 英伟达NIM：企业级GPU集群部署（链接） • Groq：超低延迟推理（链接） ## 五、 完整671B MoE模型部署（Ollama+Unsloth） ### 1. 量化方案与模型选择 |量化版本|文件体积|最低内存+显存需求|适用场景| |---|---|---|---| |DeepSeek-R1-UD-IQ1\_M|158 --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf ### 3. 安装Ollama: curl -fsSL https://ollama.com/install.sh | sh ### 4. 创建Modelfile: FROM /path/to/DeepSeek-R1-UD-IQ1_M.gguf

Haiku或DeepSeek，API费用也很低。 更省钱：Serverless方案。用Daytona或Modal做后端，空闲时环境休眠，收到消息时自动唤醒。会话间成本几乎为零。 注重隐私：在VPS上跑Ollama，本地运行8B或70B的开源模型。API费用为零，但需要更大的VPS（建议16GB以上内存）。 不管哪种方案，$5VPS+Telegram Bot就能搭出一个24/7在线的个人AI Agent。 200+模型可选，灵活切换 Nous Portal Hermes3系列 官方推荐，和Agent深度适配 OpenAI GPT-4o/o3 直连OpenAIAPI z.ai/智谱 GLM-5 国内用户友好 Ollama Hermes38B/70B 完全离线，隐私优先 注意 注意：2026年4月起，Anthropic封禁了第三方工具通过Claude订阅（Pro/Max）访问Claude。Hermes、OpenClaw等 API 整套成本：VPS $5/月+模型调用费（轻度使用每月$2-5）。总共不到一杯精品咖啡的价格，换一个有记忆、有能力、24小时在线的AI助手。 核心建议 关于模型调用费：如果你想进一步省钱，可以用Ollama在VPS上跑开源模型（比如Hermes38B）。$5的VPS内存可能不够跑大模型，但$10-15/月的VPS就能跑8B了，之后模型调用完全免费。 自动化调度 除了被动响应消息，Gateway还支

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage achieved through integrations with OpenAI's GPT language model, Azure OpenAI, Google Gemini and Ollama. Note: DBeaver is not affiliated with OpenAI, Microsoft Azure, or Google. Integration with AI features you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. ## Credentials for OpenAI 1. Sign up on the OpenAI platform. 2. Navigate to the

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage achieved through integrations with OpenAI's GPT language model, Azure OpenAI, Google Gemini and Ollama. Note: DBeaver is not affiliated with OpenAI, Microsoft Azure, or Google. Integration with AI features you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. ## Credentials for OpenAI 1. Sign up on the OpenAI platform. 2. Navigate to the

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage achieved through integrations with OpenAI's GPT language model, Azure OpenAI, Google Gemini and Ollama. Note: DBeaver is not affiliated with OpenAI, Microsoft Azure, or Google. Integration with AI features you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. ## Credentials for OpenAI 1. Sign up on the OpenAI platform. 2. Navigate to the

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage achieved through integrations with OpenAI's GPT language model, Azure OpenAI, Google Gemini and Ollama. Note: DBeaver is not affiliated with OpenAI, Microsoft Azure, or Google. Integration with AI features you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. ## Credentials for OpenAI 1. Sign up on the OpenAI platform. 2. Navigate to the