. . . . . . . . . . . . . . . . . 7 2.3.2 监督微调（Supervised Fine-Tuning, SFT） . . . . . . 7 2.3.3 强化学习（Reinforcement Learning, RL） . . . . . . . 7 3 DeepSeek-R1 精华图解 . . . . . . . . . . . . . . . . . R1-Zero 的中间推理模型 . . . . . . . 8 3.1.2 核心创新 2：通用强化学习 . . . . . . . . . . . . . . . 8 3.2 含 R1-Zero 的中间推理模型训练过程 . . . . . . . . . . . . . . 9 3.3 通用强化学习训练过程 . . . . . . . . . . . . . . . . . . . . . . Ollama 软件启动 deepseek-r1 界面 1.3 DeepSeek 本地运行使用演示 基于上面步骤搭建完成后，接下来提问 DeepSeek 一个问题：请帮我分析 Python 编程如何从零开始学习?，下面是它的回答，首先会有一个 think 标签，这里面嵌入的是它的思考过程，不是正式的回复： 图 5: deepseek-r1 回复之思考部分 等我们看到另一个结束标签 think 后，表明它的思考已经结束，下面一行

推理能力：核心突破，专项升级  推理能力 • 强化学习驱动：DeepSeek R1-Zero 是首个完全基于强化学习（RL） 训练的推理模型，无需任何监督微调（SFT）步骤，打破传统模型依 赖大量标注数据的惯例。DeepSeek-R1 采用强化学习作为核心训练 方法，显著提升了模型的推理能力和语言表达的可读性。 • 推理能力专项提升：在除了利用强化学习模型结合跨领域训练提升模 型综合技能以外 链 展 示 推 理 路 径 自 我 修 正 DeepSeek R1 的核心突破在于其通过强化学习驱动的推理能力。该 模型在训练过程中，通过强化学习技术，显著提升模型的推理能力， 使其在数学、编程和自然语言推理等任务上表现出色。 传统依赖： 大规模监督微调（SFT） 创新思路： 强化学习（RL）驱动  推理效率 • 长思维链支持：DeepSeek R1 支持长链推理，能够生成数万字的 点，解决强化学习训练初期的不稳定问题，规范模型的输出格 式和推理链条，使其更符合人类可读性。 • 数据来源与特点：这些数据部分来源于清理后的R1-Zero 输出， 还包括人工后处理的长思维链（CoT）数据。其数量相对较少 但质量高，经过精心设计，具有良好的可读性和结构化特点。 • 对模型训练的影响：冷启动数据为模型训练奠定了坚实的基础， 使模型在后续的强化学习阶段能够更稳定地学习和优化。它解

解决复杂问题 7政企、创业者必读 8 AI不仅是技术革新，更是思维方式和社会结构的变革 国家 产业 个人 企业政企、创业者必读 人工智能发展历程（一）  从早期基于规则的专家系统，走向基于学习训练的感知型AI  从基于小参数模型的感知型AI，走向基于大参数模型的认知型AI  从擅长理解的认知型AI，发展到擅长文字生成的生成式AI  从语言生成式AI，发展到可理解和生成声音、图片、视频的多模态AI 认为大模型的能力无法进一步得到质的提升 开辟强化学习新范式 从预训练Scaling Law转变为强化学习Scaling Law 大数据+大参数+大算力的 预训练Scaling Law的边际效应递减 • 人类构造的训练数据已达上限 • 万亿参数规模之后，继续增大参数规 模难以带来质的提升 • 训练算力成本和工程化难度大幅上升 强化学习Scaling Law • 利用合成数据解决数据用尽问题 利用合成数据解决数据用尽问题 • 利用self-play强化学习，在不增大参 数规模前提下，大幅提升复杂推理能力 • 通过后训练算力和推理算力，在不增加 预训练算力前提下，大幅提升模型性能 DeepSeek颠覆式创新——技术创新 26政企、创业者必读  预训练模型如GPT——疯狂读书，积 累知识，Scaling law撞墙  预训练模型思考深度不够  算力见顶，变成少数巨头游戏 预训练大模型

Insight 2024 中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 MLA）技术，在性能和成本上实现了革命性突破，开创高性价比的 AI 新纪元。 智谱的 CogVideoX 系列文生视频模型，成为全球首批开源的文生视频模型之一，不仅在 技术方面让中国视频生成模型列入领先梯队，强化了中国模型在全球范围的竞争力，也为国际开 源生态的发展产生了积极的影响，为全球开发者提供了更多创新和应用的可能。 中国开源模型从最初的质疑中崛起，逐步赢得了广泛认可。这不仅彰显了中国开源模型从追 通个人用户。OpenAI 在 ChatGPT 上一个重要且成功的操作就是把大模型从学术界、工业界直接推向了普通个体，让 C 端用户切 实感受到了大模型的可能性与魅力。这一点被国内的大模型厂商广泛学习。在 B 站刷视频，国 内知名的那几个大模型厂商的广告，你一个也不会落下。 受到大家的认可与喜爱固然重要，但对于 C 端用户，有两个需要时刻牢记的问题：一是 C 端用户是没有忠诚度的，谁免费就

例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力 提示语元素组合矩阵 提示语元素协同效应理论的核心观点包括： ▪ 互补增强：某些元素组合可以互相弥补不足，产生1+1>2的效果。 ▪ 级联激活：一个元素的激活可能引发一系列相关元素的连锁反应，形成 一个自我强化的正反馈循环。 ▪ 冲突调和：看似矛盾的元素组合可能产生意想不到的积极效果。 ▪ 涌现属性：某些元素组合可能产生单个元素所不具备的新特性。 目标 主要元素组合 次要元素组合 组合效果 提高输出准确性 实施概念重组与融合 • 进行情境转换与类比 三链融合的动态优化系统 • 平衡评估器：实时评估三链的 贡献度，确保均衡发展 • 适应性切换机制：根据任务需 求和当前输出，动态切换侧重 点 • 交叉强化策略：利用一个链条 的强点来补强另一个链条的弱 点 • 整合检查点：定期综合评估输 出的逻辑性、知识深度和创新 度 即学即用：复杂任务的提示语链设计实战 需要考虑的因素 任务目标、目标受众、文章类型、字数要求、特殊要求

例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力 提示语元素组合矩阵 提示语元素协同效应理论的核心观点包括： ▪ 互补增强：某些元素组合可以互相弥补不足，产生1+1>2的效果。 ▪ 级联激活：一个元素的激活可能引发一系列相关元素的连锁反应，形成 一个自我强化的正反馈循环。 ▪ 冲突调和：看似矛盾的元素组合可能产生意想不到的积极效果。 ▪ 涌现属性：某些元素组合可能产生单个元素所不具备的新特性。 目标 主要元素组合 次要元素组合 组合效果 提高输出准确性 实施概念重组与融合 • 进行情境转换与类比 三链融合的动态优化系统 • 平衡评估器：实时评估三链的 贡献度，确保均衡发展 • 适应性切换机制：根据任务需 求和当前输出，动态切换侧重 点 • 交叉强化策略：利用一个链条 的强点来补强另一个链条的弱 点 • 整合检查点：定期综合评估输 出的逻辑性、知识深度和创新 度 即学即用：复杂任务的提示语链设计实战 需要考虑的因素 任务目标、目标受众、文章类型、字数要求、特殊要求

普通人如何抓住DeepSeek红利 p Deepseek是什么？ p Deepseek能够做什么？ ——在工作、学习、生活和社会关系中解决问题 p 如何提问？让AI一次性生成你想要的东西 卷不动了？DeepSeek帮你一键“躺赢”！ 学习太难？DeepSeek带你“开挂”逆袭！ 生活太累？DeepSeek帮你“减负”到家！ 社交障碍？DeepSeek教你“高情商”破局！ 司，主攻大模型研发与应用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。性能对齐OpenAI-o1正 式版。 • DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大 提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAl-o1正式版。 (Pass@1) 导致 的误解和错误。通过DeepSeek的数据分析功能，新员 工可以更深入地理解行业动态和公司运营，做出更明智 的决策。 成本更低： 减少了对培训资源的依赖，新员工可以通过DeepSeek 自主学习，降低培训成本。通过提高工作效率，减少了 人力资源的浪费，降低了整体运营成本。 场景3：日常客户沟通与问题反馈处理 常见问题： 与甲方客户的沟通效率低，信息不对称，导致响应不及时或错误 场景：

各环节都面临安全风险，既面临自身技术缺陷、不足带来的风险，也面临不当 使用、滥用甚至恶意利用带来的安全风险。 3.1 人工智能内生安全风险 3.1.1 模型算法安全风险 （a）可解释性差的风险。以深度学习为代表的人工智能算法内部运行逻 辑复杂，推理过程属黑灰盒模式，可能导致输出结果难以预测和确切归因，如 有异常难以快速修正和溯源追责。 （b）偏见、歧视风险。算法设计及训练过程中，个人偏见被有意、无意引入， 发展提供优质营养供给。制定人工智能伦理审查准则、规范和指南，完善伦理 审查制度。 5.5 强化人工智能供应链安全保障。推动共享人工智能知识成果，开 源人工智能技术，共同研发人工智能芯片、框架、软件，引导产业界建立开放 生态，增强供应链来源多样性，保障人工智能供应链安全性稳定性。 5.6 推进人工智能可解释性研究。从机器学习理论、训练方法、人机 交互等方面组织研究人工智能决策透明度、可信度、纠错机制等问题，不断提 2 （b）（c）（d）（e） （f） 训练数据标注不规范风险 4.1.2 （e） 数据泄露风险 4.1.2 （c）（d） 系统安 全风险 缺陷、后门被攻击利用风险 4.1.3 （a）（b） 强化人工智能供 应链安全保障 人工智能安全风 险威胁信息共享 和应急处置机制 算力安全风险 4.1.3 （c） 供应链安全风险 4.1.3 （d） 安全风险与技术应对措施、综合治理措施映射表 应用安全

com/krahets/hello‑algo 仓库。 动画在 PDF 内的展示效果受限，可访问 www.hello‑algo.com 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读！” ——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 计算 关于本书 本项目旨在创建一本开源、免费、对新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，内容清晰易懂、学习曲线平滑，引导初学者探索数据结构与算法的知识地图。 ‧ 源代码可一键运行，帮助读者在练习中提升编程技能，了解算法工作原理和数据结构底层实现。 ‧ 提倡读者互助学习，欢迎大家在评论区提出问题与分享见解，在交流讨论中共同进步。 0.1.1 读者对象 若你是算法初学者，从未接触过 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈的杰出贡献！ 本书倡导手脑并用的学习方式，在这一点上我深受《动手学深度学习》的启发。在此向各位读者强烈推荐这 本优秀的著作。 衷心感谢我的父母，正是你们一直以来的支持与鼓励，让我有机会做这件富有趣味的事。 0.2 如何使用本书 Tip 为了获得最佳的阅读体验，建议你通读本节内容。

com/krahets/hello‑algo 仓库。 动画在 PDF 内的展示效果受限，可访问 www.hello‑algo.com 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读！” ——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 计算 关于本书 本项目旨在创建一本开源、免费、对新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，内容清晰易懂、学习曲线平滑，引导初学者探索数据结构与算法的知识地图。 ‧ 源代码可一键运行，帮助读者在练习中提升编程技能，了解算法工作原理和数据结构底层实现。 ‧ 提倡读者互助学习，欢迎大家在评论区提出问题与分享见解，在交流讨论中共同进步。 0.1.1 读者对象 若你是算法初学者，从未接触过 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈的杰出贡献！ 本书倡导手脑并用的学习方式，在这一点上我深受《动手学深度学习》的启发。在此向各位读者强烈推荐这 本优秀的著作。 衷心感谢我的父母，正是你们一直以来的支持与鼓励，让我有机会做这件富有趣味的事。 0.2 如何使用本书 Tip 为了获得最佳的阅读体验，建议你通读本节内容。