DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence

• 语言: 英语
• 格式: .pdf

摘要

本文介绍了DeepSeek-V4系列模型，包括DeepSeek-V4-Pro和DeepSeek-V4-Flash，两者均支持100万个令牌的上下文长度。通过引入混合注意力机制（结合CSA和HCA）和优化计算与存储，DeepSeek-V4系列在推理效率和KV缓存大小上相较于前代有显著提升。模型在知识、推理、长上下文和世界知识任务中表现出色，尤其是在1M令牌上下文设置下，DeepSeek-V4-Pro的性能优于其前身。文档还详细描述了模型的架构改进、训练过程和评估结果，展示了其在多个基准测试中的优势。

AI总结

DeepSeek-V4系列模型通过引入多项创新设计，显著提升了在超长上下文处理中的效率和性能。其核心改进包括：

1. **混合注意力机制**：结合压缩稀疏注意力（CSA）和重度压缩注意力（HCA），有效降低了长上下文处理的计算复杂度，使模型在1M-token上下文场景下，DeepSeek-V4-Pro的单令牌推理FLOPs仅为DeepSeek-V3.2的27%，KV缓存占用也大幅减少至10%。

2. **高效训练与推理框架**：采用异构KV缓存结构和基于磁盘的存储策略，显著优化了共享前缀重用效率。引入FP4量化感知训练和高效的批处理内核，进一步降低了内存和计算成本。

3. **性能提升**：DeepSeek-V4-Pro在知识、推理、长上下文和世界知识任务中表现优异，尤其在MMLU-Pro、SimpleQA和GPQA等基准测试中，显著超越了开源模型，接近 proprietary 模型的表现。

4. **推理效率**：DeepSeek-V4-Flash在1M-token上下文场景下，仅需DeepSeek-V3.2推理FLOPs的10%和KV缓存占用的7%，展现出更高的效率。

5. **未来优化潜力**：基于FP4和FP8的混合精度运算理论上比当前FP8运算效率提升1/3，为后续硬件优化提供了空间。

6. **应用场景**：DeepSeek-V4系列支持1M-token上下文，为长时序任务和在线学习等前沿研究奠定了基础，推动大语言模型在复杂任务中的应用。

总结来看，DeepSeek-V4系列通过架构创新和优化，显著提升了计算效率和模型性能，为超长上下文处理和复杂任务研究提供了新的可能性。