AI 后端 13 3.1 大模型 Llama3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.1 步骤 1：安装 Ollama . . . . . . . . . . . . . . . . . . . . . 13 3.1.2 步骤 2：安装 Llama . . . . . . . . . . . . . . . . . . . . 15 3.2 大模型 phi-3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 Ollama 安装 phi-3 . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 使用 phi-3 . . . . . . . . . . . . B（十亿，Billion）：在英文里是 Billion 的缩写，表示十亿。对于 AI 大模型 来说，B 一般用于描述模型的参数数量。例如，具有 50B 参数的模型代表这个 模型有 50 亿个参数。Ollama3 有尺寸 8B 和 70B，Phi-3-mini 有 3.8B 参数等。 T（万亿，Trillion）：在英文里是 Trillion 的缩写，表示万亿。在 AI 大模型 中，”T” 常用来表示模型在训练中处理的

的一部分。祝你使用愉快！ 1.5 Ollama Ollama 帮助您通过少量命令即可在本地运行 LLM。它适用于 MacOS、Linux 和 Windows 操作系统。现在， Qwen1.5 正式上线 Ollama，您只需一条命令即可运行它： ollama run qwen 接着，我们介绍在 Ollama 使用 Qwen 模型的更多用法 1.5.1 快速开始 访问官方网站 Ollama ”，点击 Download 以在您的设备上安装 Ollama。您还可以在网站上搜索模型，在这里 您可以找到 Qwen1.5 系列模型。除了默认模型之外，您可以通过以下方式选择运行不同大小的 Qwen1.5-Chat 模型： • ollama run qwen:0.5b • ollama run qwen:1.8b • ollama run qwen:4b • ollama run qwen:7b • ollama run qwen:14b qwen:14b • ollama run qwen:72b 1.5.2 在 Ollama 运行你的 GGUF 文件 有时您可能不想拉取模型，而是希望直接使用自己的 GGUF 文件来配合 Ollama。假设您有一个名为 qwen1_5-7b-chat-q4_0.gguf 的 Qwen 的 GGUF 文件。在第一步中，您需要创建一个名为 Modelfile 的文件。该文件的内容如下所示： FROM

DeepSeek 本地部署三个步骤 一共只需要三步，就能做到 DeepSeek 在本地运行并与它对话。 第一步，使用的是 ollama 管理各种不同大模型，ollama 比较直接、干净， 一键下载后安装就行，安装过程基本都是下一步。 不知道去哪里下载的，可以直接在我的公众号后台回复：ollama，下载这个 软件，然后装上，可以拿着手机扫码下图1直达我的公众号： 教程作者：郭震，工作 8 年目前美国 AI 知识，严禁拿此资料引流、出书、等形式的商业活动 图 1: 我的公众号：郭震 AI 安装后，打开命令窗口，输入 ollama，然后就能看到它的相关指令，一共 10 个左右的命令，如下图2所示，就能帮我们管理好不同大模型： 图 2: Ollama 常用的命令 第二步，命令窗口输入：ollama pull deepseek-r1:1.5b，下载大模型 deepseek- r1 到我们自己的电脑，如下图3所示： 大模型就下载到我们本地电脑，接下来第 三步就可以直接使用和它对话了。在 cmd(Windows 电脑) 或 terminal(苹果 电脑) 执行命令：ollama run deepseek-r1:1.5b，很快就能进入对话界面，如 下图4所示： 图 4: Ollama 软件启动 deepseek-r1 界面 1.3 DeepSeek 本地运行使用演示 基于上面步骤搭建完成后，接下来提问 DeepSeek

Deepseek R1 是⽀持复杂推理、多模态处理、技术⽂档⽣成的⾼性能通⽤⼤语⾔模型。本⼿册 为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯⽚适配、量化⽅案、云端替代⽅ 案及完整671B MoE模型的Ollama部署⽅法。 核⼼提示： 个⼈⽤户：不建议部署32B及以上模型，硬件成本极⾼且运维复杂。 企业⽤户：需专业团队⽀持，部署前需评估ROI（投资回报率）。 ⼆、本地部署核⼼配置要求 1. 模型参数与硬件对应表 1/20，注册赠5000万tokens 低成本尝鲜与测试 2. 国际接⼊渠道（需魔法或外企上⽹环境  ） 英伟达NIM：企业级GPU集群部署（链接） Groq：超低延迟推理（链接） 五、完整671B MoE模型部署（Ollama+Unsloth） 1. 量化⽅案与模型选择 量化版本 ⽂件体 积 最低内存+显存需 求 适⽤场景 DeepSeek-R1-UD- IQ1_M 158 GB ≥200 GB 消费级硬件（如Mac githubusercontent.com/Homebrew/install/HEAD/install.sh)" brew install llama.cpp 2. 下载并合并模型分⽚： 3. 安装Ollama： 4. 创建Modelfile： 5. 运⾏模型： 4. 性能调优与测试 GPU利⽤率低：升级⾼带宽内存（如DDR5 5600+）。 扩展交换空间： 六、注意事项与⻛险提示 1.

API 接口调用这些模型。  最后一类是本地推理，SGLang、vLLM、TensorRT-LLM 在生产级 GPU 服务负载中表现 出色，受到许多有本地托管模型需求的应用开发者的欢迎，此外，Ollama 和 LM Studio 也 是在个人计算机上运行模型的优选方案。 62 / 111 除模型层面外，应用层面的工具同样在快速发展，工具的进步紧密跟随 AI 应用的发展趋势。 自 ChatGPT