DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

• 语言: 英语
• 格式: .pdf
• 来源: github.com/deepseek-ai

摘要

DeepSeek-V2 is a strong, economical, and efficient Mixture-of-Experts (MoE) language model with 236B total parameters, designed for efficient inference through innovative architectures like Multi-head Latent Attention (MLA) and DeepSeekMoE. It supports a context length of 128K tokens and achieves superior performance while reducing computational costs compared to previous models. The model is pre-trained on a high-quality, multi-source corpus of 8.1T tokens and fine-tuned for specific tasks, demonstrating top-tier performance on various benchmarks. DeepSeek-V2 is optimized for both training and inference efficiency, making it a significant advancement in large language model development.

AI总结

《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》

DeepSeek-V2 是一款具有经济性和高效性的混合专家（MoE）语言模型，拥有 2360 亿参数，其中每个 token 只激活 210 亿参数，支持 128K 的上下文长度。该模型通过创新的 Transformer 架构实现了高效的推理和经济的训练成本，主要采用以下两项核心技术：

1. **多头潜在注意力（MLA）**
MLA 通过低秩键值联合压缩显著减少了 KV 缓存，同时保持了与传统多头注意力（MHA）相当甚至更优的性能。相比 MHA，MLA 在推理效率上实现了显著提升，且 KV 缓存减少幅度达 93.3%。

2. **DeepSeekMoE 架构**
该架构通过细粒度专家分割和共享专家隔离实现了更高的专家专业化潜力，相比传统 MoE 架构（如 GShard），显著降低了训练成本。通过设备限制路由和辅助损失等机制，进一步优化了负载均衡和训练效率。

**训练与数据**
DeepSeek-V2 使用高质量、多源的预训练语料库（8.1T tokens）进行训练，相比 DeepSeek 67B，中文数据量增加了 12% 且质量更高。模型采用监督微调（SFT）和强化学习（RL）进行优化，特别是在在线 RL 框架下实现了对齐效果的提升。

**推理效率与经济性**
得益于 MLA 和 DeepSeekMoE 架构，DeepSeek-V2 在推理效率和经济性方面表现突出：
- 推理速度提升 5.76 倍，单节点 8 块 H800 GPU 可实现超过 50K tokens/秒的生成吞吐量。
- 训练成本降低 42.5%，显著低于 DeepSeek 67B。
- KV 缓存压缩至原来的 6.7%，显著降低了内存占用。

**性能评估**
DeepSeek-V2 在多个基准测试中表现优异：
- 在 MMLU 等标准基准测试中，仅使用 210 亿激活参数即可达到开源模型的顶级性能。
- 在数学、代码、写作、推理等领域表现出色，特别是在中文和英文对齐基准测试中，显著优于开源模型，甚至超越了部分闭源模型。

**局限性与未来方向**
DeepSeek-V2 目前存在以下局限性：
- 知识更新依赖于预训练数据，无法实时更新。
- 可能生成未经验证的事实或幻觉。
- 主要支持中英文，其他语言能力有限。

未来计划包括：
1. 进一步扩展 MoE 模型规模，目标是实现与 GPT-4 相当的性能。
2. 开发多模态支持，提升模型的通用性和实用性。
3. 持续优化对齐机制，使其价值观更贴近人类需求。

DeepSeek-V2 的开源模型 checkpoints 已在 https://github.com/deepseek-ai/DeepSeek-V2 上开放，为研究者提供了便捷的实验平台。