微博在线机器学习和深度学习实践-黄波

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/QConChina

摘要

文档阐述了微博在在线机器学习和深度学习实践中的经验，包括推荐场景的构建、在线机器学习模型的应用效果、深度学习模型的选择与优化。微博自2008年起逐步构建了包括Hadoop、大数据、机器学习等技术体系，2019年实现了在线深度学习。平台架构涵盖了数据计算、模型训练、特征工程等核心环节，确保了高效的模型开发与部署。通过在线FM模型和DeepFM模型的应用，微博在推荐系统中取得了显著的效果提升，相关指标较离线模型提升5%-8%。

AI总结

以下是对文档《微博在线机器学习和深度学习实践-黄波》的总结，重点突出核心观点和关键信息，语言简洁明了，逻辑连贯：

---

### 目录
1. **推荐篇**
- **推荐场景**：微博的推荐场景包括关注/兴趣、分发/推荐、生产/传播等，涉及普通用户、优质用户、优质内容和潜力内容的挖掘与分发。
- **在线机器学习**：
- 在线FM模型相比离线FM，相关指标提升了5%+。
- 增量在线FM（基于离线模型初始化）提升了8%+。
- 特征深度化：采用特征Embedding，模型深度化：引入Wide&Deep、DeepFM等深度学习模型。
- **深度学习**：
- 物料粗排：基于Item2vec的特征向量化和向量索引（FM/FFM/DSSM）。
- 物料精排：结合DIN/DIEN/TDM模型，融入用户近期互动行为。
- 多目标优化：点击FM+互动FM，排序损失为DeepFM+Pair-Wise Rank Loss。
- 单目标排序：从LR到W&D、FM、DeepFM的排序优化。

2. **平台篇**
- **平台背景**：微博的技术发展里程碑包括：
- 2008年：Hadoop
- 2009年：微博Feed
- 2011年：开放平台
- 2013年：大数据
- 2015年：机器学习
- 2016年：机器学习平台
- 2017年：大规模机器学习
- 2018年：深度学习平台
- 2019年：在线深度学习
- **平台架构**：微博机器学习平台包括以下模块：
- **数据/特征**：特征生成、存储与服务。
- **样本库**：正样本（曝光有互动）与负样本（曝光无互动）。
- **模型训练/评估**：基于WeiFlow的模型训练与评估。
- **模型服务**：推荐引擎与模型服务。
- **算法/模型**：涵盖PS/WeiPS、IDE（WeiIDE）等开发套件。
- **控制中心**：实时计算与特征计算。
- **平台效果**：
- 成本与效率：平台化建设使业务A和业务B的开发效率提升明显，特征工程与模型开发更加高效。
- 实验数据：在线FM模型效果优于离线FM，增量在线FM进一步提升了效果。

3. **总结篇**
- **微博技术里程碑**：从Hadoop到在线深度学习，微博在技术发展上不断迭代，尤其是在机器学习与深度学习领域取得了显著成果。
- **微博业务生态**：
- 内容生产与传播：包括优质内容的生成与用户兴趣的挖掘。
- 用户与内容的互动：通过AI技术提升内容分发与推荐的精准度。
- 优质用户与潜力用户的关系拓展：通过AI算法挖掘与分析，实现内容的高效分发与用户需求的满足。

---

### 核心观点
1. 微博在推荐系统中广泛应用了在线机器学习和深度学习技术，显著提升了推荐效果。
2. 微博技术平台的建设 （如WeiFlow、WeiIDE等） 提高了业务开发效率，实现了特征工程与模型开发的规范化与高效化。
3. 微博的业务生态涵盖了内容生产、分发、用户互动等多个环节，AI技术在其中发挥了重要作用。

通过以上总结，可以全面了解微博在机器学习与深度学习领域的实践与成果。