## 《Deepseek R1 本地部署完全手册》 版权归：HomeBrew Ai Club 作者wechat：samirtan 版本：V2.0 更新日期：2025年2月8日 ## 一、 简介 Deepseek R1 是支持复杂推理、多模态处理、技术文档生成的高性能通用大语言模型。本手册为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯片适配、量化方案、云端替代方案及完整671B MoE模型的Ollama部署方法。 核心提示： • 个人用户：不建议部署32B及以上模型，硬件成本极高且运维复杂。 • 企业用户：需专业团队支持，部署前需评估ROI（投资回报率）。 ## 二、 本地部署核心配置要求 ### 1. 模型参数与硬件对应表 |模型参数|Windows 配置要求|Mac 配置要求|适用场景| |---|---|---|---| |1.5B|\- RAM: 4GB- _of_thinking> ## 七、 附录：技术支持与资源 • 华为昇腾：昇腾云服务 • 沐曦GPU：免费API体验 • 李锡涵博客：完整部署教程 ## 结语 Deepseek R1 的本地化部署需极高的硬件投入与技术门槛，个人用户务必谨慎，企业用户应充分评估需求与成本。通过国产化适配与云端服务，可显著降低风险并提升效率。技术无止境，理性规划方能降本增效！ 手册更新与反馈：如有补充或

Gemma 4完全指南 从入门到本地部署 The Complete Guide to Gemma 4: From Understanding to Local Deployment 涵盖型号：E2B·E4B·26B-A4B·31B 架构：Dense+MoE·多模态·256K上下文 许可证：Apache2.0 信息来源：Google官方文档·Hugging Face·本地实测 文档版本：v1.0.0 本手册基于Google官方博客、Model Card、Hugging Face发布文档及本地实测编写。所有技术细节以2026年4月最新资料为准。AI工具迭代极快，请结合官方文档验证。 目录 CONTENTS Part 1: 认识Gemma §01 从Gemma 1到Gemma 4：Google开源模型的进化 §02 Gemma 4全家福：四个尺寸怎么选 Part 2: 本地部署实战 §03 你的电脑能不能跑 §04 Ollama部署实战 Gemma4可以被自由地集成、修改和再分发。 我的判断是：Google终于把Gemma从一个benchmark项目做成了能当天落地的产品线。不是说它完美了，但它确实是第一次把性能、多模态、长上下文、本地友好、开放许可这几件事拧到了一起。 以前的Gemma，每一代都有亮点，但总差点什么。Gemma4是第一个让我觉得「这东西真的可以拿来用」的版本。 时间线速查：Gemma1（2024.02） $ \rightarrow

Curvefs-S3 本地写缓存盘方案 背景 方案设计 主要数据结构定义 方案设计思考 POC验证 ## 背景 当前，s3客户端在写底层存储的时候是直接写入远端对象存储，由于写远端时延相对会较高，所以为了提升性能，引入了写本地缓存盘方案。也即要写底层存储时，先把数据写到本地缓存硬盘，然后再把本地缓存硬盘中的数据异步上传到远端对象存储。 ## 方案设计 ![Image] S3模块接收到写入后先写入写内存缓存页，如果满足持久化的条件后，那么则准备持久化。 做一个硬链接链接到该文件。 本次io在本地硬盘写入好之后，异步上传模块会适时把本地硬盘写缓存目录中的文件上传到远端对象存储集群，上传成功后，删除本地写缓存目录中的对应文件。 同时，缓存清理模块会定时检查本地硬盘缓存目录容量情况，如果容量已经达到阈值了，则进行文件的清理工作。 另外，异常管理模块处理客户端挂掉后的文件重新上传问题。 std::string CacheReadDir_; ## 方案设计思考 本地硬盘如何管理 借用linux本地文件系统进行管理，存储进本地硬盘的内容以文件的形式来表现。 配置一个目录用于本地硬盘的文件管理，对作为缓存盘的本地硬盘进行格式化并挂载到该目录（如果没有缓存盘，那一般而言就是系统盘本身了）。 • 本地缓存盘的文件内容表示 本地缓存盘存放的文件即是存储到对象存储中的对象。 • 写缓存如何作为读缓存利用

大模型混合部署、满足用户需求正愈加成为产业共识，混合人工智能日益成为未来AI更好、跟专属地服务于每一个人的发展趋势。通过云端的公共大模型和本地大模型之间的混合，可以让每一个人都拥有自己的个人大模型，实现AI真正惠及到每一个人。 这样的混合人工智能，对承载本地大模型的终端的交互能力、智能算力、应用场景、安全保护等方面都提出更高要求。在历史的召唤下，PC再一次成为AI普惠的首选终端，将承担起为用户带 png) 来源：IDC，2023 ' alt='OCR图片'/> ## 1.1 个人大模型的特征和普惠要求 大模型的计算负载不断从云端向终端下沉，公共大模型和本地大模型混合利用组合形成个人大模型。个人大模型既要继承公共大模型强大的能力，又要能够为个人所有、提供个性化专属服务，从而满足用户多方面的需要。 ## 能够进行多模态自然语言交互 大模型已经在内容生 松上手，自然地与AI互动。 ## 压缩之后依然具备通用场景服务能力 个人大模型需要具备强大的AI能力，满足用户日益增长的AI需求和任务复杂度。这需要本地、公共大模型互为补充、各有所为。模型终端化的关键是将大模型压缩到适合终端的规模，以便实现本地推理和实时响应。为此，模型蒸馏、压缩等技术变得至关重要。 模型蒸馏通过训练“教师”网络监督“学生”网络进行学习；模型压缩则是通过剪裁、量化等方法对模型

6.1 AgentGPT ..... 12 2.6.2 GPT-4 ..... 12 2.6.3 Gemma ..... 13 2.6.4 Llama3 ..... 13 3 零代码本地部署 AI 后端 ..... 13 3.1 大模型 Llama3 ..... 13 3.1.1 步骤 1：安装 Ollama ..... 13 3.1.2 步骤 2：安装 Llama . phi-3 ..... 17 3.2.1 Ollama 安装 phi-3 ..... 17 3.2.2 使用 phi-3 ..... 18 3.3 总结 ..... 19 4 零代码搭建本地 AI 前端 19 4.1 LobeChat 20 4.2 步骤一安装 docker 20 4.2.1 了解 docker 基本用法 20 4.2.2 下载 docker 21 4 4.5.1 权限问题 25 5 零代码本地搭建个人知识库 27 5.1 本地知识库优势 27 5.2 docker 下载 MaxKB 27 5.3 docker 配置 MaxKB 29 5.4 打开 MaxKB 网页 32 5.5 构建第一个私人知识库 34 5.6 MaxKB 配置本地 llama3 37 5.7 创建知识库应用 40 ## 1 AI 大模型基础 ###

6ae4f384/p9_1.jpg) ## 注意 不支持在 CephFS 持久性卷上运行 PostgresSQL 工作负载，建议使用 RADOS 块设备 (RBD) 卷。如需更多信息，请参阅知识库文章解决方案 ODF 数据库工作负载必须不使用 CephFS PV/PVC。 Red Hat OpenShift Data Foundation 版本 4.x 由一组软件项目组成，包括： Cep Platform 中完全部署 Red Hat OpenShift Data Foundation 具有基于 Operator 的部署和管理优势。图形用户界面（GUI）中的内部附加设备方法可用于使用本地存储 operator 和本地存储设备以内部模式部署 Red Hat OpenShift Data Foundation。 简化部署和管理是在 OpenShift Container Platform 内部运行 OpenShift 服务与应用程序共同运行。 ● 创建一个有特定大小的端点实例（例如在裸机上）比较困难。 为了让 Red Hat OpenShift Data Foundation 与应用程序共同运行，它们必须具有动态附加本地存储设备或可移植存储设备（如 EC2 上的 EBS 卷或 VMware 上的 vSphere 虚拟磁盘）或由 PowerVC 动态置备的 SAN 卷。 ![Image](/uploads/docu

能成为你探索智能体世界的起点，能够从一名大语言模型的"使用者"，蜕变为一名智能体系统的"构建者"。 快速开始 在线阅读 点击这里开始在线阅读-无需下载，随时随地学习 Cookbook 本地阅读 如果您希望在本地阅读或贡献内容，请参考下方的学习指南。 你将收获什么？ Datawhale 开源免费 完全免费学习本项目所有内容，与社区共同成长 理解核心原理深入理解智能体的概念、历史与经典范式 1传统智能体与LLM驱动智能体的核心对比 对比维度 传统智能体 LLM驱动的智能体 核心引擎 基于显式编程的逻辑系统 基于预训练模型的推理引擎 知识来源 工程师预定义的规则、算法、知识库 从海量非结构化数据中间接学习、内化 处理指令 需结构化、精确的命令 可理解高层级、模糊的自然语言 工作模式 确定性的、可预测的 概率性的、生成式的 泛化/适应性 弱，局限于预设框架 强，具备强大的涌现能力和泛化能力 “错误:调用语言模型服务时出错。” 要实例化此类，您需要提供三个信息：API_KEY、BASE_URL 和 MODEL_ID，具体值取决于您使用的服务商（如 OpenAI 官方、Azure、或 Ollama 等本地模型），如果暂时没有渠道获取，可以参考环境配置。 1.3.3执行行动循环 下面的主循环将整合所有组件，并通过格式化后的 Prompt驱动LLM进行决策。 import re # --- 1. 配置LLM客户端

但在政府企业场景中使用存在若干问题 ➢ 训练知识为网上通用，缺少政府和企业内部知识，不懂业务，无法解决实际问题 ➢ 闭源模型云端部署，使用过程中数据外传上网，存在泄密风险 ➢ 闭源模型规模庞大，无法为企业进行定制，无法本地部署 成本高昂，一般企业难以负担 ## 大模型能力很强 但在企业中不要幻想用一个大模型 解决所有问题 - 不追求用一个大模型解决企业所有问题，而是找垂直场景，做专业技能大模型 - 政府和企业不需要全能博士，需要管培生 政府和企业不需要全能博士，需要管培生 ● 企业内部未来一定是多个大模型组合工作 • 术业有专攻，专业的工作交给专业的模型去完成 不要追求这个模型既能写诗、又能作画、能解奥数题，还能顺道解决政府和企业内部工作问题 ## 走开源的本地可部署的专业化大模型之路，许多问题就会迎刃而解 走专业化大模型 之路，大模型落 地门槛大幅降低 从原子弹变成「茶叶蛋」 参数：不需要千亿、万亿参数规模，百亿甚至几十亿就够用 2 算 7 训练：不需要从头训练，只需要专业知识库或者微调就可以 8 人才：大模型训练复杂程度降低，对人才要求也降低 9 工具：已经有全套工具 ## 基于DeepSeek是打造专业大模型、垂直大模型、场景大模型的最佳选择 DeepSeek开源，可本地部署，能力强，免费 ## 利用DeepSeek打造专业模型 不用卷算力、卷数据、卷参数 可用本地算力（自有机房或一体机） 接入企业内部专业数据，无需互联网全量数据

....9 记录所有最近的更改.....9 使用自助工具.....10 文档资料.....10 技术资源.....10 开发人员资源.....10 知识库.....10 论坛.....10 用户组 (VMUG).....10 新闻组.....10 兼容性指南.....10 了解严重性级别.....11 提交支持请求 顾问可以确定适用于您环境的最佳解决方案，并能为您开发该解决方案，以便首次实施就能十分到位。 使用自助工具。各组织可以充分利用 Web 上提供的 VMware 自助工具。通过访问 VMTN Online，您可以查找技术文档、知识库解决方案，在论坛中与其他管理员讨论问题，还可以参考我们的白皮书、技术注释和兼容性指南。 提供完整而准确的信息。与任何故障排除过程一样，准确及时的解决依赖于准确及时的信息。如果虚拟机显示异常或崩溃，请运行“vmsupport 限Web|电话/Web\*\**|电话/Web| |远程支持|提供|提供|不提供|不提供|不提供|提供| |访问VMware网站|提供|提供|提供|提供|提供|提供| |访问 VMware 论坛和知识库|提供|提供|提供|提供|提供|提供| |---|---|---|---|---|---|---| |每份合同最多允许的支持管理员人数|6|4|2|不适用|不适用|4| |支持请求的数量|无限制|无限制|无限制|无限制|每事件

与之相对，开源的方法至少可以相当程度地省去为了拓展开发者生态而付出的大模型运行成本。开发者免费下载大模型以后，会在自己的计算机资源上进行大模型应用的开发和调试。大模型厂商提供一些技术支持即可。同时因为大模型运行在本地，开发者在构建大模型应用时，为了物理部署上的便利，很可能会在应用与模型之间创造出物理部署上的耦合性。 当然这种“开源策略”不是进攻的方法，而是“先为不可胜，以待敌之可胜”。目标是以最小的代价，尽可能多地消耗闭源对手的资源与心气。 等技术的加持下，大模型正在学习拆解自己的“思维”，OpenAI 的 o1 就是典型案例，强化了推理能力的同时，也大大缓解了幻觉问题。 ### 2. 大模型做不到的，“现存工具”强势补位。 无法持续更新的知识库，可以通过 RAG（Retrieval Augmented Generation，检索增强生成）来解决。 RAG 的出现，让各界越来越深刻地认识到，大模型没必要存储那么多知识，只需要如何使用搜索引 虚拟外教已经可以媲美真人外教，由于发音标准，效果甚至超过大多数国内英语老师。 专业模型是通用大模型和垂直领域数据、工作流的结合。这里通用大模型的基础能力是关键，一个世界领先的通用大模型加上 RAG（搜索增强生成）行业知识库，做出的专业模型效果往往超过开源模型加上一些垂直领域数据微调得到的行业模型。因此，专业模型虽然训练、推理成本都较高，但考虑到较高的溢价空间，投入是值得的。 由于通用大模型的通用性，难以建立差异化壁