从推荐模型的基础特点看大规模推荐类深度学习系统的设计 袁镱

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/baiyutang

摘要

本文主要讨论了大规模推荐模型的深度学习系统设计，特别是腾讯PCG推荐系统的核心引擎——无量系统的构建与优化。文中提到推荐模型具有高性能、效果无损优化的特点，并详细阐述了推荐场景的数据时空特点，包括特征的稀疏性、动态变化以及hotkey现象。无量系统经过多次迭代，支持腾讯PCG的全部业务推荐场景，并在千亿级特征的在线/离线训练和服务中达到业界先进水平。

AI总结

本文主要探讨了大规模推荐模型深度学习系统的设计与优化，重点分析了推荐模型的基本特点、数据的时空特性以及机器学习的特点，并结合腾讯无量系统的实际应用进行了详细阐述。以下是总结内容：

1. **推荐模型的基本特点**
- 推荐系统需要支持7×24小时的流式学习，用户和物品的特征会动态变化，特征空间需具备动态调整能力。
- 模型需处理千亿级稀疏输入层参数，同时支持百万级稠密交叉参数，这对模型的训练和推理提出了极高要求。

2. **数据的时空特性**
- 短时间内仅有部分用户和物品被命中，导致训练和推理过程中仅部分参数被使用。
- 热门特征（如性别、年龄等）在训练和推理中高度重合，形成“hotkey现象”，这对系统设计提出了挑战。

3. **机器学习的特点**
- 深度学习模型的优化需在短时间内完成，且仅部分参数被更新。
- 模型支持多切片设计，按需上线，提升了系统的灵活性和效率。

4. **腾讯无量系统**
- 无量系统是腾讯PCG的技术中台核心引擎，专为大规模稀疏模型设计，支持在线/离线训练、推理服务和持续上线。
- 该系统已历经6个主要版本的迭代，覆盖腾讯PCG全部推荐场景，并支持IEG、CSIG、QQ音乐、阅文等业务的部分推荐需求。
- 系统在推荐场景推理成本方面表现优异，腾讯PCG的推荐场景推理成本占AI推理总成本的比例超过72%。

5. **推荐系统的应用场景**
- 腾讯PCG的推荐场景包括腾讯视频、腾讯新闻、QQ看点、浏览器、微视、QQ小世界等。
- 其他腾讯系内容推荐场景包括阅文集团和QQ音乐等。

6. **InfoQ企业会员服务**
- 本文档还提到了InfoQ企业会员服务，该服务为企业提供品牌曝光、开发者触达和新媒体宣发等权益，助力企业数字化传播。

总结来看，本文重点分析了大规模推荐模型的设计挑战与优化方法，并通过腾讯无量系统的实际案例展示了如何在复杂场景下实现高效的推荐系统设计与应用。