. . . . . . . . . . . . . . . . 7 3.1.1 核心创新 1：含 R1-Zero 的中间推理模型 . . . . . . . 8 3.1.2 核心创新 2：通用强化学习 . . . . . . . . . . . . . . . 8 3.2 含 R1-Zero 的中间推理模型训练过程 . . . . . . . . . . . . . . 9 3.3 通用强化学习训练过程 7: R1 完整训练过程 训练起点。DeepSeek-R1 的训练起点是 DeepSeek-v3-Base，作为基础模型 进行训练，为后续的推理优化奠定基础。 3.1.1 核心创新 1：含 R1-Zero 的中间推理模型 如图7所示，推理导向的强化学习（Reasoning-Oriented Reinforcement Learn- ing）得到中间推理模型（Iterim reasoning model） 型推理能力，开源纯强化学习推理模型 DeepSeek-R1-Zero R1-Zero 能生成高质量的推理数据，包括大量长链式思维（Chain-of-Thought, CoT）示例，用于支持后续的 SFT 阶段，如图7所示。更加详细介绍参考3.2节。 3.1.2 核心创新 2：通用强化学习 第一阶段 R1-Zero 虽然展现出惊人的推理能力提升，但是也出现了回复时 语言混合，非推理任务回