. . . . . . . . . . . . . . . . 7 3.1.1 核心创新 1：含 R1-Zero 的中间推理模型 . . . . . . . 8 3.1.2 核心创新 2：通用强化学习 . . . . . . . . . . . . . . . 8 3.2 含 R1-Zero 的中间推理模型训练过程 . . . . . . . . . . . . . . 9 3.3 通用强化学习训练过程 7: R1 完整训练过程 训练起点。DeepSeek-R1 的训练起点是 DeepSeek-v3-Base，作为基础模型 进行训练，为后续的推理优化奠定基础。 3.1.1 核心创新 1：含 R1-Zero 的中间推理模型 如图7所示，推理导向的强化学习（Reasoning-Oriented Reinforcement Learn- ing）得到中间推理模型（Iterim reasoning model） 型推理能力，开源纯强化学习推理模型 DeepSeek-R1-Zero R1-Zero 能生成高质量的推理数据，包括大量长链式思维（Chain-of-Thought, CoT）示例，用于支持后续的 SFT 阶段，如图7所示。更加详细介绍参考3.2节。 3.1.2 核心创新 2：通用强化学习 第一阶段 R1-Zero 虽然展现出惊人的推理能力提升，但是也出现了回复时 语言混合，非推理任务回

。 • 英伟达、微软、亚马逊等国际巨头纷纷接入DeepSeek。 DeepSeek R1引发全球关注 推理能力：核心突破，专项升级  推理能力 • 强化学习驱动：DeepSeek R1-Zero 是首个完全基于强化学习（RL） 训练的推理模型，无需任何监督微调（SFT）步骤，打破传统模型依 赖大量标注数据的惯例。DeepSeek-R1 采用强化学习作为核心训练 方法，显著提升了模型的推理能力和语言表达的可读性。 分高质量、结构化的数据。其作用是为模型提供一个良好的起 点，解决强化学习训练初期的不稳定问题，规范模型的输出格 式和推理链条，使其更符合人类可读性。 • 数据来源与特点：这些数据部分来源于清理后的R1-Zero 输出， 还包括人工后处理的长思维链（CoT）数据。其数量相对较少 但质量高，经过精心设计，具有良好的可读性和结构化特点。 • 对模型训练的影响：冷启动数据为模型训练奠定了坚实的基础，