01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 2.KNN算法 11 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是最简单的机器学习算 法，可以用于基本的分类与回归方法。 算法的主要思路： 如果一个样本在特征空间中与?个实例最为相似(即特征空间中最邻近)，那么这? 个实例中大多数属于哪个类别，则该样本也属于这个类别。 决等方式进行预测。 对于回归问题：对新的样本，根据其?个最近邻的训练样本标签值的均值作为预 测值。 12 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是 最简单的机器学习算法，可以用于基本的分类与回归方法。 ?近邻法的三要素： • ?值选择。 • 距离度量。 • 决策规则。 13 2.KNN算法 算法流程如下： 1.计算测试对象到训练集中每个对象的距离 ，发现（6,4）右侧的区域与该圆不相交，忽略该侧 所有节点，这样（6,4）的整个右子树被标记为已忽 略。 24 KD树搜索 3.如果不相交直接返回父节点，在另一个子 树继续搜索最近邻。 4.当回溯到根节点时，算法结束，此时保存 的最近邻节点就是最终的最近邻。 遍历完（4,5）的左右叶子节点，发现与当 前最优距离相等，不更新最近邻。 所以（4,4）的最近邻为（4,5）。 25 参考文献

16 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 调度系统 智能调度系统的分析监控 17 • 真实再现调度场景细节 • 回溯定位异常调度原因，诊断调试算法 • 实时获取调度监控指标 • 及时预警引入人工干预 • 精准模拟实际订单分布情况 • 有效评估调度算法的改进效果 • 合理划分物流范围 • 节省调度运力，提升商户配送能力 节省调度运力，提升商户配送能力 • 云端虚拟队列，实现调度指派 • 提升物流效率 仿真系统 实时监控 时光机 寻宝系统 1 2 3 4 5 时光机系统—历史数据可视化分析 真实再现调度场景细节 回溯定位异常调度原因，诊断调试算法 18 1 实时监控系统—当前状况实时监控 19 实时获取调度监控指标 及时预警引入人工干预 2 仿真系统—未来效果仿真预测 订单 在岗骑 士数量 调度

3 简洁实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 4.6 暂退法（Dropout） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.6.1 扰动的稳健性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 4.6.3 实践中的暂退法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 4.6.4 从零开始实现 . . . . 分布偏移纠正 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 4.9.4 学习问题的分类法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 4.9.5 机器学习中的公平、责任和透明度

贝叶斯方法-背景知识 6 1. 贝叶斯方法 贝叶斯公式 后验概率 似然度 先验概率 边际似然度 ?(?|?) = ?(?, ?) ?(?) = ?(?|?)?(?) ?(?) 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率 分布 ?(?, ?)，然后求得后验概率分布?(?|?)。 具体来说，利用训练数据学习?(?|?)和?(?)的估计，得到联合概率分布： ?(? 朴素贝叶斯原理 1．朴素贝叶斯法是典型的生成学习方法。 生成方法由训练数据学习联合概率分布 ?(?, ?)，然后求得后验概率分 布?(?|?)。具体来说，利用训练数据学习?(?|?)和?(?)的估计，得到 联合概率分布： ?(?, ?)＝?(?)?(?|?) 概率估计方法可以是极大似然估计或贝叶斯估计。 10 2.朴素贝叶斯原理 2．朴素贝叶斯法的基本假设是条件独立性。 P(X x(n)|yk = ςj=1 n P x(j)|Y = ck ck代表类别，k代表类别个数。 这是一个较强的假设。由于这一假设，模型包含的条件概率的数量大为减 少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效，且易 于实现。其缺点是分类的性能不一定很高。 11 2.朴素贝叶斯原理 3．朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测 我们要求的是?(?|?)，根据生成模型定义我们可以求

开发效率较低，模型编译时间较长，同时开发人员转投 TensorFlow 等原因，Theano 目前已经停止维护。 ❑ Scikit-learn 是一个完整的面向机器学习算法的计算库，内建了常见的传统机器学习算 法支持，文档和案例也较为丰富，但是 Scikit-learn 并不是专门面向神经网络而设计 的，不支持 GPU 加速，对神经网络相关层的实现也较欠缺。 ❑ Caffe 由华人贾扬清在 2013 年 ?(2) = 2, ?(2) = 3. 3, 代入上式中，即为： 1.56 = ? ∙ 1 + ? 3. 3 = ? ∙ 2 + ? 这也是初中阶段学习过的二元一次方程组，通过消元法可以轻松计算出?和?的解析解： ? = 1. , ? = . 。 可以看到，只需要观测两个不同数据点，就可完美求解单输入线性神经元模型的参 数。推广到多输入的线性神经元模型，对于?输入的线性神经元模型，只需要采样 (Optimal Parameter) ?∗和?∗使得均方误差ℒ = 1 ? (??(?) + ? − ?(?)) 2 ? ?=1 最小。 对于单输入的神经元模型，只需要两个样本，就能通过消元法求出方程组的精确解， 这种通过严格的公式推导出的精确解也称为解析解(Closed-form Solution)。但是对于多个数 据点(? ≫ 2)的情况，这时有可能不存在解析解，或者无法直接求解解析解，因此只能借助

特征选择 1、 Relief 方法 30 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 2、方差选择法 先要计算各个特征的方差，然后根据阈值，选择方差大 于阈值的特征。 3、相关系数法 先要计算各个特征对目标值的相关系数以及相关系数的 ? 值。 4、卡方检验 检验定性自变量对定性因变量的相关性。假设自变量有 ?种取值，因变量有?种取值，考虑自变量等于 = ෍ (A − E)2 ? 31 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 5、互信息法 概念：经典的互信息也是评价定性自变量对定性因变量的相关性的。 为了处理定量数据，最大信息系数法被提出。 互信息计算公式如下： ?(X; Y) = ෍ ?∈? ෍ ?∈? ?(?, ?) log ?(?, ?) ?(?)?(?) 过滤式

命 名 来 筛 选， 只 要 线 性 部 分 i f ’ l i n e a r ’ in key : # 方 法 一： a=torch . normal (0 ,0.1 , t [ key ] . shape ) t [ key ] . copy_( a ) # 方 法 二： nn . i n i t . normal_ ( value , 0 ,0.1) #nn . i n i t : i f ’ l i n e a r ’ in name : a=torch . normal (0 , 0.1 , param . shape ) #方 法 一： t [ name ] . copy_( a ) #方 法 二： #param . data . copy_( a ) 本节代码见 chapter3-3.py。 4. 构建自己的数据集 4.1 自定义 Variable

2 Hotkey缓存优化 <10台 内存型服务 并发查询优化 数⼗台 ⽹络型服务 TB级模型实时上线 � 问题：TB模型实时多地传输和加载成本⾼ � ⽅案：⾼低频分别上线 � 更灵活的⽤法：模型多切⽚，按需上线 � Dssm � wdl ... 分布式Serving集群 副本1 副本2 Group 1 Group N 副本1 副本2 推理节点 SDK MB级别DNN部分 � Feature3（机器学习 的特点） 通讯量可以变⼩来提升训练速度么？---参数，梯度压缩 � 问题： � 参数w和梯度g占据主要的通讯量，拉⻓了请求时间 � 常规的数值⽆损的压缩⽅法效果不明显 � 业界主流做法： � 量化 � 稀疏化。累计发 送，需要做本地 梯度修正 float32->float16->int8->int4->2bit 直接压缩->训练算法补偿 [2020] 优点：1. 稀疏度⾼ 2. 实现简单 缺点：特定优化器有 效，与adam有效果 差距 优点：与优化器⽆关 缺点：⽅案b需要量化训练 ⽆量同时⽀持四种⽅法 百度 阿⾥ ⽆量 问题： CV/NLP低频上线，常⽤的模型 压缩算法不适应推荐场景 思考： 线上服务 成本 训练任务 成本 内存是主要瓶颈 > Embedding table可以设计得更⼩么？Double

Random Forest（随机森林） 用随机的方式建立一个森林。随机森林算法由很多决策树组成，每一棵决 策树之间没有关联。建立完森林后，当有新样本进入时，每棵决策树都会 分别进行判断，然后基于投票法给出分类结果。 优点 1. 在数据集上表现良好，相对于其他算法有较大的优势 2. 易于并行化，在大数据集上有很大的优势； 3. 能够处理高维度数据，不用做特征选择。 随机森林 8 Random Bootstrap随机抽取 决策树1 最终预测结果 测试 数据 决策树n …… 决策树2 预测1 预测n …… 预测2 9 随机选择样本和 Bagging 相同，采用的是 Bootstraping 自助采样法；随机选择特征是 指在每个节点在分裂过程中都是随机选择特 征的（区别与每棵树随机选择一批特征）。 这种随机性导致随机森林的偏差会有稍微的 增加（相比于单棵不随机树），但是由于随 机森林的“平均”特性，会使得它的方差减 根据权重1更新样本权重2 根据权重n-1更新样本权重n 强学 习器 相同方式更新…… 15 GBDT算法 GBDT（Gradient Boosting Decision Tree）是一种迭代的决策树算 法，该算法由多棵决策树组成，GBDT 的核心在于累加所有树的结果 作为最终结果，所以 GBDT 中的树都是回归树，不是分类树，它是属 于 Boosting 策略。GBDT 是被公认的泛化能力较强的算法。

25 机器学习的概念-优化算法 算法指的是模型学习中的具体计算方法。一般来说，基于参数模型构建的统计 学习问题都为最优化问题，它们都具有显式的解析解。 现有的优化方法主要有：梯度下降法、牛顿法、拟牛顿法、ADAM等等。具体 的算法，我们会在各自章节中介绍。其中本课程中，用梯度下降法作为主要的 优化算法。 26 机器学习的概念-模型评估 当损失函数给定时，我们将基于模型训练数据的误差(Training 03 机器学习的背景知识 04 机器学习的开发流程 28 3. 机器学习的背景知识-希腊字母 大写 小写 英文注音 国际音标注音 中文注音 Α α alpha alfa 阿耳法 Β β beta beta 贝塔 Γ γ gamma gamma 伽马 Δ δ deta delta 德耳塔 Ε ε epsilon epsilon 艾普西隆 Ζ ζ zeta zeta 截塔