1. 背景 在过去十年，机器学习在学术界取得了众多的突破，在工业界也有很多应用落地。美 团很早就开始探索不同的机器学习模型在搜索场景下的应用，从最开始的线性模型、 树模型，再到近两年的深度神经网络、BERT、DQN 等，并在实践中也取得了良好 的效果与产出。 本文将与大家探讨美团搜索与 NLP 部使用的统一在线预估框架 Augur 的设计思路、 效果、优势与不足，希望对大家有所帮助或者启发。 然后将投影后的矩阵输入到 Multi-Head Attention。计算公式如下： Point-wise Feed-Forward Networks 该模块是为了提高模型的非线性能力提出来的，它就是全连接神经网络结构，计算公 式如下： 26 > 美团 2020 技术年货 Transformer Layer 就是通过这种自注意力机制层和普通非线性层来实现对输入信号 的编码，得到信号的表示。 美团搜索排序 在行为序列建模上，目前的工作集中在对已有的用户行为数据进行建模来理解 用户，未来要想更加深入全面的认识用户，更加丰富的用户数据必不可少。当 有了这些数据后如何进行利用，又是一个可以探索的技术点，比如图神经网络 建模等等。 ● 在重排序建模上，目前引入 Transformer 取得了一些效果，同时随着强化学 习的普及，在美团这种用户与系统强交互的场景下，用户的行为反馈蕴含着很 大的研究价值，

2.0 版本来啦 13 通用目标检测开源框架 YOLOv6 在美团的量化部署实战 17 7 次 KDD Cup&Kaggle 冠军的经验分享：从多领域优化到 AutoML 框架 37 图神经网络训练框架的实践和探索 66 图技术在美团外卖下的场景化应用及探索 83 大规模异构图召回在美团到店推荐广告的应用 102 美团搜索粗排优化的探索与实践 116 美团外卖推荐情境化智能流量分发的实践与探索 关键技术介绍 YOLOv6 主要在 BackBone、Neck、Head 以及训练策略等方面进行了诸多的 改进： ● 我们统一设计了更高效的 Backbone 和 Neck ：受到硬件感知神经网络设计 思想的启发，基于 RepVGG style[4] 设计了可重参数化、更高效的骨干网络 EfficientRep Backbone 和 Rep-PAN Neck。 ● 优化设计了更简洁有效的 Roofline Model[8] 介绍 图，显示了硬件中计算能力和内存带宽之间的关联关系。 4 > 2022年美团技术年货 图 2 Roofline Model 介绍图 于是，我们基于硬件感知神经网络设计的思想，对 Backbone 和 Neck 进行了重新 设计和优化。该思想基于硬件的特性、推理框架 / 编译框架的特点，以硬件和编译友 好的结构作为设计原则，在网络构建时，综合考虑硬件计算能力、内存带宽、编译

基于对多个层的特征或者表象的学习，形成一个由低级 到高级的层次结构特征 传统的机器学习关注于特征工程,深度学习关注于端到 端的基于原始数据的学习 为什么需要深度学习？ 深度学习- 举例 深度学习 － 神经网络 是一种模仿生物神经网络(例如大脑)的结构和功能的计 算模型 是一种非线性统计性数据建模工具，对输入和输出间复 杂的关系进行建模 一组简单可以训练的数学单元集合，共同学习复杂的功 能 深度学习 － 训练 图像帧、每帧的像素、每一帧的deltas 值等等 文本– 字符、词、从句、句子等等 语音– 音频、频段、波长、调制等等 ... 深度学习的优势 特性自动推导和预期结果的优化调整 可变的自动学习的健壮性 重用性－相同的神经网络的方法可用于许多应用和数据 类型 通过利用GPU的大规模并行计算－可扩展的大容量数据 深度学习的开发框架 Torch (NYU,2002), Facebook AI, Google Deepmind Montreal, ~2010), 学院派 Kersa, “Deep Learning library for Theano and TensorFlow” Caffe (Berkeley)，卷积神经网络,贾扬清 TensorFlow (Google) Spark MLLib 深度学习中的开发框架框架 THEANO 学院派血统,Montreal University 非常灵活，非常复杂 通过底层借口可以做到大量的定制

引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部 交 互 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部 交 互 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部 交 互

计算某个事件在关联的企业、个人 之间的传递过程和传递概率 图深度学习及其应用场景 图嵌入 • 将高维的图信息映射到低维向量中 • 通过图嵌入将客户关系表示为低维向量，可以结合其 他客户行为特征进行机器学习训练 图卷积神经网络 • 对图结构数据进行卷积计算 • 通过已有的企业数据，通过 GCN 进行半监督学习和分 类，预测企业的违约概率 传统的关系型数据库的存储方式丢失了事物之间的关系信息 Relational Table • AtlasML Python Library • 集成 Jupyter Notebook 超参数自动优化 • 支持超参数自动调优，解放算 法科学家生产力，避免繁杂的 手动调参 海致图神经网络平台特点 Rust 语言特性助力构建高性能图数据库 01 利用 Rust Stream 进行数据流式 处理 02 03 协程和严格的内存安全性，编译 时捕获数据竞争和并发问题 异步物理算子实现，异步

行计算，再汇总 得到最终结果。 4 Chapter 2. 基本概念 CHAPTER3 正在进行中 我们即将支持的主要功能如下: 1. 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改造； 3. 提供联邦学习训练参数的评估能力，通过交叉验证等方式评估训练参数的优劣； 4. 优化目前使用的加法同态算法 学习来克 服数据或标签不足的情况。 45 PaddleDTX Documentation 12.2 机器学习算法 PaddleDTX 目前已经开源多元线性回归和多元逻辑回归算法，决策树、神经网络等更丰富的机器学习算法即 将开源。 12.2.1 1.1 多元线性回归 多元线性回归用来描述一个变量受多个因素影响，且他们的关系可以用多元线性方程表示的场景。如房屋价 格受房屋大小、楼层数、周边环境等因素影响。

PaddleDTX Documentation 6 Chapter 2. 基本概念 CHAPTER3 正在进行中 我们即将支持的主要功能如下: 1. 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改造； 3. 优化目前使用的加法同态算法 Paillier 的性能； 4. 去中心化存储服务支持负载均衡策略， 学习来克 服数据或标签不足的情况。 53 PaddleDTX Documentation 12.2 机器学习算法 PaddleDTX 目前已经开源多元线性回归和多元逻辑回归算法，决策树、神经网络等更丰富的机器学习算法即 将开源。 12.2.1 1.1 多元线性回归 多元线性回归用来描述一个变量受多个因素影响，且他们的关系可以用多元线性方程表示的场景。如房屋价 格受房屋大小、楼层数、周边环境等因素影响。

03 DEMO 04 特性 05 Benchmark 06 图数据库 第一部分 图数据库 01. 副标题 目前常见的使用图数据库场景有： ● 风控（欺诈检测/反洗钱） ● 图神经网络 ● 知识图谱 ● 社交网络 目前的问题 01. 副标题 ● 对于复杂的关系网络，传统关系型数据库无能为力 ● 单独部署图数据库集群 ● 部署运维两套数据库集群成本太高 ● 在两个不同的数据库中数据一致性不能保障

############################################# | section3 ROUGE RIBES word2vec TF-IDF 机器翻译的手法 神经网络 向量化的典型手法 $ from RIBES import RIBESevaluator $ ribes = RIBESevaluator() $ score = ribes.eval([target]