3090（24GB VRAM） - 存储: 20GB - 内存: 32GB（M3 Max） - 存储: 20GB 复杂推理、技术⽂档⽣ 成 32B+ 企业级部署（需多卡并联） 暂不⽀持 科研计算、⼤规模数据 处理 2. 算⼒需求分析 模型 参数规 模 计算精 度 最低显存需 求 最低算⼒需求 DeepSeek-R1 (671B) 671B FP8 ≥890GB 2*XE9680（16*H20 太初T100加速卡 个⼈开发者原型验证 14B 昆仑芯K200集群 企业级复杂任务推理 32B 壁彻算⼒平台+昇腾910B集群 科研计算与多模态处理 四、云端部署替代⽅案 1. 国内云服务商推荐 平台 核⼼优势 适⽤场景 硅基流动 官⽅推荐API，低延迟，⽀持多模态模型 企业级⾼并发推理 腾讯云 ⼀键部署+限时免费体验，⽀持VPC私有化 中⼩规模模型快速上线 PPIO派欧云 价格仅为OpenAI 价格仅为OpenAI 1/20，注册赠5000万tokens 低成本尝鲜与测试 2. 国际接⼊渠道（需魔法或外企上⽹环境  ） 英伟达NIM：企业级GPU集群部署（链接） Groq：超低延迟推理（链接） 五、完整671B MoE模型部署（Ollama+Unsloth） 1. 量化⽅案与模型选择 量化版本 ⽂件体 积 最低内存+显存需 求 适⽤场景 DeepSeek-R1-UD- IQ1_M

图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。 DeepSeek R1 的核心突破在于其通过强化学习驱动的推理能力。该 模型在训练过程中，通过强化学习技术，显著提升模型的推理能力， 使其在数学、编程和自然语言推理等任务上表现出色。 传统依赖： 大规模监督微调（SFT） 创新思路： 强化学习（RL）驱动  推理效率 • 长思维链支持：DeepSeek R1 支持长链推理，能够生成数万字的 思维链，显著提高复杂任务的推理准确性，其长链推理能力在数学、 少上下文漂移和逻辑连贯性问题。 多令牌预测（MTP） 采用FP8混合精度训练，通过在训练 过程中使用更适宜的数据精度，减少 了计算量和存储需求。FP8混合精度 训练在保证训练准确性的基础上，显 著降低了计算成本，使得大规模模型 训练更加可行。 FP8混合精度训练 • 推 理 效 率 提 升 ： 蒸 馏 后 的 模 型 参 数 量 大 幅 减 少 ， 例 如 DeepSeek-R1-Distill-Qwen-7B的参数量仅为7B，相比原始

深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 2 表的新技术加速迭代，人工智能产业呈现出创新技术群体突 破、行业应用融合发展、国际合作深度协同等新特点，亟需 完善人工智能产业标准体系。 二、总体要求 以习近平新时代中国特色社会主义思想为指导，全面贯 方法，包括人工智能计算设备虚拟化方法，人工智能加速模组接 口协议和测试方法，及使能软件的访问协议、功能、性能、能效 的测试方法和运行维护要求等标准。 5. 算力中心标准。规范面向人工智能的大规模计算集群、 新型数据中心、智算中心、基础网络通信、算力网络、数据存储 8 等基础设施的技术要求和评估方法，包括基础设施参考架构、计 算能力评估、技术要求、稳定性要求和业务服务接口等标准。 6.

国内：大模型「亏本」卖，可以「白嫖」大模型API能力 19政企、创业者必读 DeepSeek出现之前的十大预判 之七 多模态越来越重要  由文本生成迈向图像、视频、3D内容与世界模拟  多模态模态在能力变强的同时，规模正在变小 20政企、创业者必读 21 DeepSeek出现之前的十大预判 之八 智能体推动大模型快速落地  能够调用各种工具，具有行动能力  调用企业专业知识，更懂企业  将日常重复 预训练Scaling Law的边际效应递减 • 人类构造的训练数据已达上限 • 万亿参数规模之后，继续增大参数规 模难以带来质的提升 • 训练算力成本和工程化难度大幅上升 强化学习Scaling Law • 利用合成数据解决数据用尽问题 • 利用self-play强化学习，在不增大参 数规模前提下，大幅提升复杂推理能力 • 通过后训练算力和推理算力，在不增加 预训练算力前提下，大幅提升模型性能 闭源云端通用大模型功能强大 但在政府企业场景中使用存在若干问题  训练知识为网上通用，缺少政府和企业内部知识，不懂业务，无 法解决实际问题  闭源模型云端部署，使用过程中数据外传上网，存在泄密风险  闭源模型规模庞大，无法为企业进行定制，无法本地部署  成本高昂，一般企业难以负担 50政企、创业者必读  不追求用一个大模型解决企业所有问题，而是找垂直场景，做专业技能大模型 • 政府和企业不需要全能博士，需要管培生

 插件、IDE、终端  代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 Chroma：已融资  Qdrant：已融资  Marqo：已融资  LanceDB：已融资  …… 据西南证券研究发展中心预测，2025 年向量数据库渗透率约 为 30%，则全球向量数据库市场规模约为 99.5 亿美元， 。 2023 年前四个月，向量数据库公司融资额 ，超过了 2022 年的总和 （图源：https://www.cbinsights.com/research/gen 供了 必要的工具和库，使开发者能够更容易地处理大量的数 据、管理巨大的网络参数量，并有效地利用硬件资源。 微调（Fine Tuning）是在大模型框架基础上进行的一个 关键步骤。在模型经过初步的大规模预训练后，微调是 用较小、特定领域的数据集对模型进行后续训练，以使 其更好地适应特定的任务或应用场景。这一步骤使得通 用的大型模型能够在特定任务上表现出更高的精度和更 好的效果。 大模型框架提供了

模型之所以能基于大量多样化的数据集进行训练，并最终“学得好”，核 心原因之一是 Scaling Laws（扩展规律）的指导和模型自身架构的优势。 Scaling Laws 指出参数越多，模型学习能力越强；训练数据规模越大、越多 元化，模型最后就会越通用；即使包括噪声数据，模型仍能通过扩展规律提 取出通用的知识。而 Transformer 这种架构正好完美做到了 Scaling Laws， Transformer 良好的可扩展性：可适配更大规模模型训练，增强 AI 泛化能力。 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 料用心打磨且开源，是为了帮助更多人了解获取 AI 知识，严禁拿此资料引流、出书、等形式的商业活动 2.3 LLM 基本训练方法 2.3.1 预训练（Pretraining） LLM 训练通常采用大规模无监督学习，即：1. 从互联网上收集大量文本数 理导向的强化学习 直接训练而成，完全跳过了监督微调（SFT），如下图8所示，只在强化学习 的冷启动阶段使用了 SFT。 图 8: Interim reasoning model 训练方法 大规模推理导向的强化学习训练，必不可少的就是推理数据，手动标注就 太繁琐了，成本昂贵，所以 DeepSeek 团队为了解决这个问题，训了一个 R1-Zero 模型，这是核心创新。 R1-Zero 完全跳过

与专用人工智能（AI）不同，AGI 能够执行任何智力任务，具备自我意识和 自适应学习能力。AGI 的研发目标是创造出可以广泛地模拟人类认知能力的智 能系统。 1.3 大模型 大模型通常指的是大规模的人工智能模型，这类模型通过训练大量的数据来获 得广泛的知识和能力。这些模型通常具有庞大的参数数量，能够处理复杂的任 务，如自然语言理解、图像识别、语音识别等。 闭源大模型包括 OpenAI 的 GPT AI 大模型 中，”T” 常用来表示模型在训练中处理的 Token 数量。Token 是指模型处理的 基本单元，可以是一个单词、子词，或者字符等。 在大规模预训练语言模型的训练中，通常会提到模型是在多少个 Token 上 进行学习的，以表明模型的训练规模和数据量。例如：LLaMA3 语言模型使用 了超过 15T 个 token 进行训练。 2 AI 工具梳理 大家有没有觉得 AI 工具太多，种类太多，老的还没用，新的就出来，头大得

见被有意、无意引入， 或者因训练数据集质量问题，导致算法设计目的、输出结果存在偏见或歧视， 甚至输出存在民族、宗教、国别、地域等歧视性内容。 （c）鲁棒性弱风险。由于深度神经网络存在非线性、大规模等特点，人 工智能易受复杂多变运行环境或恶意干扰、诱导的影响，可能带来性能下降、 决策错误等诸多问题。- 4 - 人工智能安全治理框架 （d）被窃取、篡改的风险。参数、结构、功能等算法核心信息，面临被

的中国科技公司，主攻大模型研发与应用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。性能对齐OpenAI-o1正 式版。 • DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大 提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAl-o1正式版。 (Pass@1)