为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持 向量数据库是专门用于存储和检索向量数据的数据库，它可以为 数据库，它可以为 LLM 提供高效的存储和检索能力。通过数据向量化，实现了 在向量数据库中进行高效的相似性计算和查询。 根据向量数据库的的实现方式,可以将向量数据库大致分为两类： 原生的向量数据库专门为存储和检索向量而设计， 所管理的数据是基于对象或数据点的向量表示进行 组织和索引。 包括 等均属于原生向量数据库。 除了选择专业的向量数据库，对传统数据库添加 “向量支持”也是主流方案。比如 则是实现特定应用和优化性能的关键环节。两者相结合， 使得 LLM 在广泛的应用场景中都能发挥出色的性能。 8 / 32 LLM 基础设施：大模型框架及微调 (Fine Tuning) 大模型框架有哪些特点： ：大模型开发框架通过提供高 层次的 API 简化了复杂模型的构建过程。这 些 API 抽象掉了许多底层细节，使开发者能 够专注于模型的设计和训练策略。 ：这些框架经过优化，以充分利用

DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 资源占用少，适合边缘设备 和移动端。  多任务支持：支持多种任务， 如文本生成、分类和问答。 Kimi k1.5  垂直领域优化：针对特定领域 （如医疗、法律）进行优化， 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 2、撰写python脚本； 3、提取并合并网址； 4、提取网址内容； 5、写入文件。 数据呈现的“画龙点睛” Open AI o3mini 直接调用 DALLE 生成图表，Kimi k1.5 提 供 Python 代码支持，Claude 3.5 Sonnet 负责图表逻辑优化 数据采集 数据预处理 数据分析 可视化呈现 新思路：DeepSeek R1的数据应用 中 文 数 据 处 理 优 势 创 意 写 作 生 成 能 力 数 据 读 取 分 析 能 力 低

高质量发展的标准体系加快形成。开展标准宣贯和实施推广 的企业超过 1000 家，标准服务企业创新发展的成效更加凸 显。参与制定国际标准 20 项以上，促进人工智能产业全球 化发展。 坚持创新驱动。优化产业科技创新与标准化联动机制， 加快人工智能领域关键共性技术研究，推动先进适用的科技 创新成果高效转化成标准。 坚持应用牵引。坚持企业主体、市场导向，面向行业应 用需求，强化创新成果迭代和应用场景构建，协同推进人工 算力中心标准。规范面向人工智能的大规模计算集群、 新型数据中心、智算中心、基础网络通信、算力网络、数据存储 8 等基础设施的技术要求和评估方法，包括基础设施参考架构、计 算能力评估、技术要求、稳定性要求和业务服务接口等标准。 6. 系统软件标准。规范人工智能系统层的软硬件技术要求， 包括软硬件编译器架构和优化方法、人工智能算子库、芯片软件 运行时库及调试工具、人工智能软硬件平台计算性能等标准。 7 模型表达和格式、模型效果评价等，包括自监督学习、无监督学 习、半监督学习、深度学习、强化学习等标准。 2. 知识图谱标准。规范知识图谱的描述、构建、运维、共 享、管理和应用，包括知识表示与建模、知识获取与存储、知识 融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、 9 知识图谱交付与应用、知识图谱系统架构与性能要求等标准。 3. 大模型标准。规范大模型训练、推理、部署等环节的技 术要

RAM: 4GB - GPU: 集成显卡/现代CPU - 存储: 5GB - 内存: 8GB （M1/M2/M3） - 存储: 5GB 简单⽂本⽣成、基础代 码补全 7B - RAM: 8-10GB - GPU: GTX 1680（4-bit量 化） - 存储: 8GB - 内存: 16GB（M2 Pro/M3） - 存储: 8GB 中等复杂度问答、代码 调试 14B - - RAM: 24GB - GPU: RTX 3090（24GB VRAM） - 存储: 20GB - 内存: 32GB（M3 Max） - 存储: 20GB 复杂推理、技术⽂档⽣ 成 32B+ 企业级部署（需多卡并联） 暂不⽀持 科研计算、⼤规模数据 处理 2. 算⼒需求分析 模型 参数规 模 计算精 度 最低显存需 求 最低算⼒需求 DeepSeek-R1 (671B) 或 2*H20 GPU 三、国产芯⽚与硬件适配⽅案 1. 国内⽣态合作伙伴动态 企业 适配内容 性能对标（vs NVIDIA） 华为昇 腾 昇腾910B原⽣⽀持R1全系列，提供端到端推理优化 ⽅案 等效A100（FP16） 沐曦 GPU MXN系列⽀持70B模型BF16推理，显存利⽤率提升 30% 等效RTX 3090 海光 DCU 适配V3/R1模型，性能对标NVIDIA A100

Cursor 开源的 AI 代码编辑器，旨在通过 AI 技术助力快速软件开发。 2.4.7 Tabby 自托管的 AI 编程助手，开源，支持开发人员优化编码过程。 2.4.8 Codeium 开源的 AI 编程工具，用于自动化代码生成和优化。 2.4.9 GitHub Copilot 由 GitHub 推出的开源 AI 编程助手，能够根据代码库提供编程建议和代码片 段。 10 2.4 2.5.5 可视化 AI 提示语 Figure 9: 可视化提示词 网址：https://tools.saxifrage.xyz/prompt，一个可视化工具，帮助用户为多 种 AI 模型生成和优化提示语。 2.5.6 Snack Prompt 提供最新 AI 模型提示词的工具，旨在快速获取和使用最新的 AI 提示进行内容 创作。 2.6 AI 大模型 2.6.1 AgentGPT 一个基于浏览器的自主 全免费 畅享使用大模型！ Figure 20: 使用开源 LobeChat 搭建美观的大模型前端界面 19 4.1 LobeChat 开源框架，经过我的调研，发现 LobeChat 是目前最优化、最美观和炫酷的前 端界面，适配各个大模型，支持文字、语音、图片的多模态交互。 4.2 步骤一安装 docker 4.2.1 了解 docker 基本用法 Docker 是一个开源的容器化平台

的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 决策能力 依赖预设算法和规则进行决策 能够自主分析情况，实时做出决策 创造力 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 直接给出明确步骤或 格式要求 简单任务、需快速执行 “用Python编写快速排序函 数，输出需包含注释。” ✅ 结果精准高效 ❌ 限制模型自主优化空 间 需求导向 描述问题背景与目标， 由模型规划解决路径 复杂问题、需模型自主 推理 “我需要优化用户登录流程， 请分析当前瓶颈并提出3种方 案。” ✅ 激发模型深层推理 ❌ 需清晰定义需求边界 混合模式 结合需求描述与关键 约束条件 预算控制在2000元内。” ✅ 兼顾目标与细节 ❌ 需避免过度约束 启发式提问 通过提问引导模型主 动思考（如“为什 么”“如何”） 探索性问题、需模型解 释逻辑 “为什么选择梯度下降法解 决此优化问题？请对比其他 算法。” ✅ 触发模型自解释能力 ❌ 可能偏离核心目标 任务需求与提示语策略 任务类型 适用模型 提示语侧重点 示例（有效提示） 需避免的提示策略 数学证明 推理模型

的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 决策能力 依赖预设算法和规则进行决策 能够自主分析情况，实时做出决策 创造力 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 直接给出明确步骤或 格式要求 简单任务、需快速执行 “用Python编写快速排序函 数，输出需包含注释。” ✅ 结果精准高效 ❌ 限制模型自主优化空 间 需求导向 描述问题背景与目标， 由模型规划解决路径 复杂问题、需模型自主 推理 “我需要优化用户登录流程， 请分析当前瓶颈并提出3种方 案。” ✅ 激发模型深层推理 ❌ 需清晰定义需求边界 混合模式 结合需求描述与关键 约束条件 预算控制在2000元内。” ✅ 兼顾目标与细节 ❌ 需避免过度约束 启发式提问 通过提问引导模型主 动思考（如“为什 么”“如何”） 探索性问题、需模型解 释逻辑 “为什么选择梯度下降法解 决此优化问题？请对比其他 算法。” ✅ 触发模型自解释能力 ❌ 可能偏离核心目标 任务需求与提示语策略 任务类型 适用模型 提示语侧重点 示例（有效提示） 需避免的提示策略 数学证明 推理模型

1.2 风险导向、敏捷治理。密切跟踪人工智能研发及应用趋势，从人工 智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对 措施。关注安全风险发展变化，快速动态精准调整治理措施，持续优化治理机 制和方式，对确需政府监管事项及时予以响应。 1.3 技管结合、协同应对。面向人工智能研发应用全过程，综合运用技术、 管理相结合的安全治理措施，防范应对不同类型安全风险。围绕人工智能研发 从技术、 管理两方面提出防范应对措施。同时，目前人工智能研发应用仍在快速发展， 安全风险的表现形式、影响程度、认识感知亦随之变化，防范应对措施也将相 应动态调整更新，需要各方共同对治理框架持续优化完善。 2.1 安全风险方面。通过分析人工智能技术特性，以及在不同行业领域 应用场景，梳理人工智能技术本身，及其在应用过程中面临的各种安全风险 隐患。 2.2 技术应对措施方面。针对模型算法、训练数据、算力设施、产品服务、 （b）在设计、研发、部署、维护过程中建立并实施安全开发规范，尽可 能消除模型算法存在的安全缺陷、歧视性倾向，提高鲁棒性。 4.1.2 数据安全风险应对 （a） 在训练数据和用户交互数据的收集、存储、使用、加工、传输、提 供、公开、删除等各环节，应遵循数据收集使用、个人信息处理的安全规则， 严格落实关于用户控制权、知情权、选择权等法律法规明确的合法权益。 （b） 加强知识产权保护，在训练数据选择、结果输出等环节防止侵犯知

支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 决策支持 文体转换 个性化推荐 翻译与转换 多语言翻译 异常检测 多源信息融合 知识与推理 知识图谱构建 流程优化 数据可视化 数据分析 趋势分析 多模态交互 任务执行 任务协调 工具调用 格式转换 关系抽取 语言理解 文案写作 代码注释 故事创作 通用问答 专业领域问答 因果推理 第四阶段：10分钟——用AI优化与格式伪装 p统一话术： “将以下段落改写成政府报告风格，加入‘数字化转型’‘双碳战略’等关键词：{粘贴原文}” p生成图表： 指令：“将上文‘设备配置表’转换成LaTeX格式的三线表。”插入图表后，自动增加方案“厚度”。 p最终润色： “检查以下方案书逻辑漏洞，列出3个可能被客户质疑的点，并给出应对答案。” p关键提醒： ü 保命优先级：先堆字数再优化，前30分钟专注“把文档撑到10000字”。 要请假3天。我已将项目A的测试环节交接给小刘（附交接文 档），每天早晚会同步进度。周四返岗后加班追赶，确保不影响上线。” 2. 生成具体话术（用AI优化表达） p 操作：输入你的草稿：“张总，我家里有事要请假，但项目我会尽量兼顾。” p AI优化建议： • 强化共情：增加“我知道现在项目关键期，非常抱歉给您添麻烦”。 • 弱化模糊表述：将“家里有事”改为“家人突发重病需陪护”，避免领导误解为小事。

在本地搭建大模型（如 DeepSeek）具有多个重要的优势，比如： 1. 保护隐私与数据安全。数据不外传：本地运行模型可以完全避免数据上 传至云端，确保敏感信息不被第三方访问。 2. 可定制化与优化。支持微调（Fine-tuning）：可以根据特定业务需求对模 型进行微调，以适应特定任务，如行业术语、企业内部知识库等。 3. 离线运行，适用于无网络环境。可在离线环境下运行：适用于无互联网 据集，让模型在特定任务上优化表现。调整参数，使其更符合人类需求，如 问答、对话生成等任务。 2.3.3 强化学习（Reinforcement Learning, RL） 采用强化学习（RL）方法进行优化，主要通过人类反馈强化学习（RLHF, Reinforcement Learning from Human Feedback）： 强化学习（RLHF）优化过程 • 步骤 1：人类标注者提供高质量回答。 知识，严禁拿此资料引流、出书、等形式的商业活动 偏好调整，如下图7所示： 图 7: R1 完整训练过程 训练起点。DeepSeek-R1 的训练起点是 DeepSeek-v3-Base，作为基础模型 进行训练，为后续的推理优化奠定基础。 3.1.1 核心创新 1：含 R1-Zero 的中间推理模型 如图7所示，推理导向的强化学习（Reasoning-Oriented Reinforcement Learn- ing）得到中间推理模型（Iterim