超大规模深度学习在美团的应用-余建平

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/QConChina

摘要

本文主要介绍了美团在超大规模深度学习的应用，特别是余建平分享的超大规模机器学习系统MLX平台的搭建与应用。MLX平台支持千亿级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。文档还详细介绍了美团超大规模模型的特点，包括百亿级别的训练数据、千亿级别的模型特征以及秒级实时的模型反馈。此外，MLX平台基于Parameter Server架构，支持数据并行和模型并行，能够处理超大规模的训练集和模型。

AI总结

## 美团超大规模深度学习应用总结

美团在超大规模深度学习领域的应用主要集中在推荐、搜索和广告业务中，通过构建高效的机器学习系统，显著提升了用户体验和业务效果。

### 1. MLX平台概述
美团开发了超大规模机器学习平台MLX，目标是支持千亿级别规模的深度学习系统。该平台具备以下特点：
- **平台目标**：提供从召回、排序的全系统优化方案，以及离线、近线、在线的全流程解决方案。
- **平台架构**：采用可扩展的机器学习架构，基于Parameter Server架构，支持数据并行和模型并行，实现超大规模训练集和模型的支持。

### 2. 模型与应用场景
MLX平台在多个业务场景中得到广泛应用：
- **推荐系统**：通过漏斗模型（召回、粗排、精排）实现精准推荐，涉及百亿级别训练数据和千亿级别模型特征。
- **搜索与广告**：提供从召回到排序的全系统优化，结合实时反馈机制，实现秒级响应。

### 3. 技术突破
- **数据与特征**：美团拥有亿级用户和千万级POI，具备海量用户行为数据和完整的交易闭环，支持大规模机器学习。
- **模型选择**：采用复杂模型（如DNN）优于简单模型（如LR），结合宏观和微观特征，提升模型表现。
- **机器学习架构**：支持千亿级以上的机器学习平台，开源工具如PaddlePaddle和内部工具如Abacus、XPS协同工作，确保高效训练和部署。

### 4. 未来展望
美团在超大规模深度学习领域的成功应用，不仅提升了内部业务效率，也为行业提供了宝贵的经验。未来，美团将继续优化MLX平台，探索更高效、更智能的深度学习解决方案，以应对日益增长的用户需求和复杂业务场景。

通过MLX平台的建设与应用，美团在超大规模深度学习领域取得了显著成效，为行业树立了标杆。