认识Gemma §01 从Gemma 1到Gemma 4：Google开源模型的进化 §02 Gemma 4全家福：四个尺寸怎么选 Part 2: 本地部署实战 §03 你的电脑能不能跑 §04 Ollama部署实战 §05 LM Studio + llama.cpp部署 §06 接入OpenClaw和龙虾产品 Part 3: 用起来 §07 端侧模型的黄金场景 §08 进阶玩法与调优 §01 从Gemma 下，选一个能流畅运行的版本，比强行塞一个卡顿的大模型体验好得多。 §04 Ollama部署实战 Deploy with Ollama: Step by Step Ollama是目前本地跑大模型最省事的工具，「大模型的Docker」：一条命令拉模型，一条命令跑起来。这一章从安装到API调用，手把手走一遍。 安装Ollama 三个平台都支持，挑你的系统看。 macOS 推荐用Homebrew安装，也可以从官网下载安装包： 方式一：Homebrew（推荐） brew install ollama 方式二：官方安装脚本 curl -fsSL https://ollama.com/install.sh | sh Windows 用winget一行搞定： winget install ollama 也可以去 ollama.com 下载安装包，双击安装。 Linux curl -fsSL https://ollama.com/install.sh |

13 3.1 大模型 Llama3 ..... 13 3.1.1 步骤 1：安装 Ollama ..... 13 3.1.2 步骤 2：安装 Llama ..... 14 3.1.3 使用 Llama3 ..... 15 3.2 大模型 phi-3 ..... 17 3.2.1 Ollama 安装 phi-3 ..... 17 3.2.2 使用 phi-3 ..... 18 B（十亿，Billion）：在英文里是 Billion 的缩写，表示十亿。对于 AI 大模型来说，B 一般用于描述模型的参数数量。例如，具有 50B 参数的模型代表这个模型有 50 亿个参数。Ollama3 有尺寸 8B 和 70B，Phi-3-mini 有 3.8B 参数等。 T（万亿，Trillion）：在英文里是 Trillion 的缩写，表示万亿。在 AI 大模型中，“T”常用来表示模型在训练中处理的 的训练数据，在推理、数学、代码生成、指令跟踪等能力获得大幅度提升。 ### 3.1 大模型 Llama3 #### 3.1.1 步骤 1：安装 Ollama Ollama 可以简单理解为客户端，实现和大模型的交互。ollama 软件 win 和 mac 都包括，如图 11 所示。 # Download Ollama ![Image](/uploads/documents/5/c/c/c/5cccada144d9ce05937eb80763143600/p14_1

ClawHub技能市场（13,729个Skills） 数据控制 数据在OpenAI 完全本地，你拥有所有数据 模型选择 仅GPT系列 Claude/GPT/DeepSeek/Gemini/Ollama本地模型 开源 否 MIT License，完全开源 核心数据快照 截至2026年3月24日 指标 数据 GitHub Stars 330,000+（GitHub历史增 000。 2026年3月12-13日 v2026.3.11+v2026.3.12连续发布。3.11修复WebSocket跨站劫持漏洞，改善本地Ollama集成体验。3.12推出Dashboard v2全新控制台、/fast快速模式、本地模型插件化架构(Ollama/vLLM/SGLang)，设备配对改用Ephemeral Token。 2026年3月14日 v2026.3.13浏览器自动化升级。支持Chrome API console.anthropic.com Claude系列模型，按量付费 OpenAI API platform.openai.com GPT系列模型，按量付费 Ollama(本地) 本地安装Ollama 免费，需要足够的本地算力 核心建议 如果你使用的是国内云厂商的一键部署方案，模型和API Key通常在购买时已自动配置好。只有本地安装和Docker部署才需要手动配置。 版本更新

|可扩展性|GPTs商店|ClawHub技能市场（13,729个Skills）| |数据控制|数据在OpenAI|完全本地，你拥有所有数据| |模型选择|仅GPT系列|Claude/GPT/DeepSeek/Gemini/Ollama本地模型| |开源|否|MIT License，完全开源| ## 核心数据快照 截至2026年3月11日 |指标|数据| |---|---| |GitHub Stars|280,000+（全球软件项目第一，已超越React）| API|console.anthropic.com|Claude系列模型，按量付费| |OpenAI API|platform.openai.com|GPT系列模型，按量付费| |Ollama(本地)|本地安装Ollama|免费，需要足够的本地算力| ## 核心建议 如果你使用的是国内云厂商的一键部署方案，模型和API Key通常在购买时已自动配置好。只有本地安装和Docker部署才需要手动配置。 60|$3.00|自定义Provider|中文Agent、长上下文| |MiniMax|MiniMax M2.5|$0.50|$2.00|自定义Provider|SWE-bench高分、性价比| |Ollama|Qwen3.5-Coder:32B|免费|免费|自动发现|隐私敏感、零成本| |LM Studio|Devstral-24B|免费|免费|自定义Provider|本地GUI、模型测试| ##

### 1.5 Ollama Ollama 帮助您通过少量命令即可在本地运行 LLM。它适用于 MacOS、Linux 和 Windows 操作系统。现在，Qwen1.5 正式上线 Ollama，您只需一条命令即可运行它： ollama run qwen 接着，我们介绍在 Ollama 使用 Qwen 模型的更多用法 #### 1.5.1 快速开始 访问官方网站 Ollama”，点击 Download 以在您的设备上安装 Ollama。您还可以在网站上搜索模型，在这里您可以找到 Qwen1.5 系列模型。除了默认模型之外，您可以通过以下方式选择运行不同大小的 Qwen1.5-Chat 模型： • ollama run qwen:0.5b • ollama run qwen:1.8b • ollama run qwen:4b • ollama run qwen:7b • ollama run qwen:14b qwen:14b • ollama run qwen:72b #### 1.5.2 在 Ollama 运行你的 GGUF 文件 有时您可能不想拉取模型，而是希望直接使用自己的 GGUF 文件来配合 Ollama。假设您有一个名为 qwen1_5-7b-chat-q4_0.gguf 的 Qwen 的 GGUF 文件。在第一步中，您需要创建一个名为 Modelfile 的文件。该文件的内容如下所示：

DeepSeek 本地部署三个步骤 一共只需要三步，就能做到 DeepSeek 在本地运行并与它对话。 第一步，使用的是 ollama 管理各种不同大模型，ollama 比较直接、干净，一键下载后安装就行，安装过程基本都是下一步。 不知道去哪里下载的，可以直接在我的公众号后台回复：ollama，下载这个软件，然后装上，可以拿着手机扫码下图1直达我的公众号：  图 2: Ollama 常用的命令 第二步, 命令窗口输入: ollama pull deepseek-r1:1 cmd(Windows 电脑) 或 terminal(苹果电脑) 执行命令：ollama run deepseek-r1:1.5b，很快就能进入对话界面，如下图4所示：  图 4: Ollama 软件启动 deepseek-r1 界面 ### 1.3

Deepseek R1 是支持复杂推理、多模态处理、技术文档生成的高性能通用大语言模型。本手册为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯片适配、量化方案、云端替代方案及完整671B MoE模型的Ollama部署方法。 核心提示： • 个人用户：不建议部署32B及以上模型，硬件成本极高且运维复杂。 • 企业用户：需专业团队支持，部署前需评估ROI（投资回报率）。 ## 二、 本地部署核心配置要求 本尝鲜与测试| 2. 国际接入渠道（需魔法或外企上网环境） • 英伟达NIM：企业级GPU集群部署（链接） • Groq：超低延迟推理（链接） ## 五、 完整671B MoE模型部署（Ollama+Unsloth） ### 1. 量化方案与模型选择 |量化版本|文件体积|最低内存+显存需求|适用场景| |---|---|---|---| |DeepSeek-R1-UD-IQ1\_M|158 --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf ### 3. 安装Ollama: curl -fsSL https://ollama.com/install.sh | sh ### 4. 创建Modelfile: FROM /path/to/DeepSeek-R1-UD-IQ1_M.gguf

"get_attraction": get_attraction, } 1.3.2 接入大语言模型 当前，许多LLM服务提供商（包括OpenAI、Azure、以及众多开源模型服务框架如Ollama、vLLM等）都遵循了与OpenAI API相似的接口规范。这种标准化为开发者带来了极大的便利。智能体的自主决策能力来源于LLM。我们将实现一个通用的客户端OpenAICompatibleCli “错误:调用语言模型服务时出错。” 要实例化此类，您需要提供三个信息：API_KEY、BASE_URL 和 MODEL_ID，具体值取决于您使用的服务商（如 OpenAI 官方、Azure、或 Ollama 等本地模型），如果暂时没有渠道获取，可以参考环境配置。 1.3.3执行行动循环 下面的主循环将整合所有组件，并通过格式化后的 Prompt驱动LLM进行决策。 import re # --- 4提供了标准化的 OpenAIChatCompletionClient，它可以方便地与任何兼容OpenAI API规范的模型服务（包括OpenAI官方服务、Azure OpenAI以及本地模型服务如Ollama等）进行对接。 我们通过一个独立的函数来创建和配置模型客户端，并通过环境变量管理API Key和服务地址，这是一种良好的工程实践，增强了代码的灵活性和安全性。 from autogen_ext

Haiku或DeepSeek，API费用也很低。 更省钱：Serverless方案。用Daytona或Modal做后端，空闲时环境休眠，收到消息时自动唤醒。会话间成本几乎为零。 注重隐私：在VPS上跑Ollama，本地运行8B或70B的开源模型。API费用为零，但需要更大的VPS（建议16GB以上内存）。 不管哪种方案，$5VPS+Telegram Bot就能搭出一个24/7在线的个人AI Agent。 200+模型可选，灵活切换 Nous Portal Hermes3系列 官方推荐，和Agent深度适配 OpenAI GPT-4o/o3 直连OpenAIAPI z.ai/智谱 GLM-5 国内用户友好 Ollama Hermes38B/70B 完全离线，隐私优先 注意 注意：2026年4月起，Anthropic封禁了第三方工具通过Claude订阅（Pro/Max）访问Claude。Hermes、OpenClaw等 API 整套成本：VPS $5/月+模型调用费（轻度使用每月$2-5）。总共不到一杯精品咖啡的价格，换一个有记忆、有能力、24小时在线的AI助手。 核心建议 关于模型调用费：如果你想进一步省钱，可以用Ollama在VPS上跑开源模型（比如Hermes38B）。$5的VPS内存可能不够跑大模型，但$10-15/月的VPS就能跑8B了，之后模型调用完全免费。 自动化调度 除了被动响应消息，Gateway还支

Credentials for OpenAI Credentials for Azure AI Credentials for Google Gemini Credentials for Ollama Preferences PRO version exclusive settings Utilizing AI capabilities in DBeaver AI Chat usage achieved through integrations with OpenAI's GPT language model, Azure OpenAI, Google Gemini and Ollama. Note: DBeaver is not affiliated with OpenAI, Microsoft Azure, or Google. Integration with AI features you need to specify the service credentials based on the AI service you choose: OpenAI, Azure AI, Ollama or Google Gemini. ## Credentials for OpenAI 1. Sign up on the OpenAI platform. 2. Navigate to the