, ? , … , ? }。Frank Rosenblatt 随后基于“Mark 1 感知机”硬件实现感知 机模型，如图 1.6、图 1.7 所示，输入为 400 个单元的图像传感器，输出为 8 个节点端 子，它可以成功识别一些英文字母。一般认为 1943 年~1969 年为人工智能发展的第一次兴 盛期。 ? ? ? ? ? ? 误差 ? 图 拥有严格的理论基础，训练需要的样本数量较少，同时也具有良好的泛化能力，相比之 下，神经网络理论基础欠缺，可解释性差，很难训练深层网络，性能也相对一般。图 1.8 绘制了 1943 年~2006 年之间的重大时间节点。 ① 图片来自 https://slideplayer.com/slide/12771753/ ② 图片来自 https://www.glass-bead.org/article/m 平台，OpenAI 开发的 OpenAI Five 智能程序在受限游戏环境中打败了 TI8 冠军队伍 OG 队，展现出了大量专业级的高层智能操作。图 1.9 列出了 2006 年~2019 年之间重大的时间 节点。 预览版202112 1.3 深度学习特点 7 2006 DBN深度 置信网络 ImageNet 2009 2012 AlexNet 提出 GAN生成 对抗网络 2014

当前配送的繁忙程度 • 天气情况.. 1 2 3 提纲 4 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 提纲 5 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 外卖订单智能调度系统发展历程 6 人工派单模式 • 调度员根据订单地址和骑士 位置来进行订单分配 • XGBoost模型 - 采用近似求解算法，找出可能的分裂点，避免选用贪心算法的过高时间复杂度 - 计算采用不同分裂点时，叶子打分函数的增益；并选择增益最高的分裂点，作为新迭代树的最终分裂 节点，构造新的迭代树 - 通过调节迭代树数目、学习倍率、迭代树最大深度、L2正则化参数等进一步避免过拟合 2 获取样本数据 过滤数据 抽取基础特征 组合基础特征，构造组合特征 组合基础特征，构造组合特征 可承载单量的调控模型 • 在供需失衡之时，实施最有 效的调控手段 5 总结—外卖订单智能调度要解决的核心问题 借助机器学习与深度学习实现，骑士到店时 间、等餐时间、骑士到用户时间、交付用户 时间等配送全流程节点时间预估 动态规划最优配送路线，且合理并单，以最 低的配送成本最大化满足用户配送体验。 建立配送成本及用户体验的评估模型，并基于多 场景多维度权衡骑士和待分配订单匹配程度 依据评价模型得出的订单和骑士匹配程

Job 2 WK Job 2 WK Job 3 监控/启停 任务调度/资源管理 监控上报 cephfs存储集 群 本地文件系统 数据 模型/日志 client 管理数据 提取模型、 查看日志 提交/管理任务 用户 docker.oa.co m 自动拉取镜像 Redis 冷数据 热任务/监控数据/集群信息 • 任务监控与自动重启 • 分布式多机训练，不可避免遇到由于硬件/网 分布式多机训练，不可避免遇到由于硬件/网 络波动引起的异常 • 监控任务运行状况，当任务发生异常时，选 择不同的重启策略 • 集群管理与监控 • 节点心跳异常告警 • 运维工具化，快速屏蔽/启动异常机器 • 灵活的资源分配 • 支持以 GPU 或节点为粒度进行资源分配 • 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架 • 调度与任务松耦合，用户可以灵活定义任务 • 支持配置 审核没有问题的内容再呈现倒观看者的屏幕。 SACC2017 从静到动：结合视频识别能力 多物体检测 监控场景人体属性 人群密度估计 监控场景人体检测 女性 青年 长发 背面 背包 灰色衣服 青色裤子 实际： 106人 预测： 113.4人 • 结合视频监控场景， 在图像序列中， 识别图 像物体， 识别人体，人群密度，人体属性等 各种信息 • 融合图像，动作识别能力，提升审核准确率，

拼接 • 如何解决日志延时问题 • 延迟等待机制，先到先走 • 定时轮寻，最长N分钟等待 • Kafka 堆积监控，实时报警 • 如何解决内存问题 • 调整内存参数 • 关闭多余的监控点 • 如何异常处理 • 自动化监控与修复系统 • Checkpoint 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS 样本生成和特征处理

量的帧组成。 通过前一帧的图像，我们可能对后一帧中发生的事情更有把握。语言也是如此，机器翻译的输入和输出都为 文字序列。 再比如，在医学上序列输入和输出就更为重要。设想一下，假设一个模型被用来监控重症监护病人，如果他 1.3. 各种机器学习问题 27 们在未来24小时内死亡的风险超过某个阈值，这个模型就会发出警报。我们绝不希望抛弃过去每小时有关病 人病史的所有信息，而仅根据最近的测量结果做出预测。 • 通过调用net(X)生成预测并计算损失l（前向传播）。 • 通过进行反向传播来计算梯度。 • 通过调用优化器来更新模型参数。 为了更好的衡量训练效果，我们计算每个迭代周期后的损失，并打印它来监控训练过程。 num_epochs = 3 for epoch in range(num_epochs): for X, y in data_iter: l = loss(net(X) ,y) σ2(H(1)W(2) + b(2))，一层叠一层，从而产生更有表达能力的模型。 通用近似定理 多层感知机可以通过隐藏神经元，捕捉到输入之间复杂的相互作用，这些神经元依赖于每个输入的值。我们 可以很容易地设计隐藏节点来执行任意计算。例如，在一对输入上进行基本逻辑操作，多层感知机是通用近 似器。即使是网络只有一个隐藏层，给定足够的神经元和正确的权重，我们可以对任意函数建模，尽管实际 中学习该函数是很困难的。神

决策（选择）来对数据进行划分，这类似 于针对一系列问题进行选择。 ⚫ 决策树的决策过程就是从根节点开始，测 试待分类项中对应的特征属性，并按照其 值选择输出分支，直到叶子节点，将叶子 节点的存放的类别作为决策结果。 根节点 (root node) 叶节点 (leaf node) 5 1.决策树原理 根节点 (root node) 非叶子节点 (non-leaf node) (代表测试条件，对数据属性的测试) (代表测试条件，对数据属性的测试) 分支 (branches) (代表测试结果) 叶节点 (leaf node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 行预测。 ⚫ 决策树算法属于监督学习方法。 ⚫ 决策树归纳的基本算法是贪心算法 ，自顶向下来构建决策树。 ⚫ 贪心算法：在每一步选择中都采取 在当前状态下最好/优的选择。 初始化特征集合和数据集合； 2. 计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当 前决策节点； 3. 更新数据集合和特征集合（删除上一步使用的特征，并按照特征值来划分不 同分支的数据集合）； 4. 重复 2，3 两步，若子集值包含单一特征，则为分支叶子节点。 11 ? ? = − ෍ ?=1 ? ?? ? ???2 ?? ? 信息熵 ?是类别，?是数据集，

Frequent Pattern Tree ） FP树(FP-Tree)是由数据库的初始项集组成的树状结构。 FP树的目的是挖掘最 频繁的模式。FP树的每个节点表示项集的一个项。 根节点表示null，而较低的节点表示项集。在形成树的同时，保持节点与较 低节点（即项集与其他项集）的关联。 30 3.FP-Growth算法 算法步骤 FP-growth算法的流程为： 首先构造FP树，然后利用它来挖掘频繁项集。 Frequent Pattern Tree ） FP树(FP-Tree)是由数据库的初始项集组成的树状结构。 FP树的目的是挖掘最 频繁的模式。FP树的每个节点表示项集的一个项。 根节点表示null，而较低的节点表示项集。在形成树的同时，保持节点与较 低节点（即项集与其他项集）的关联。 32 3.FP-Growth算法 算法案例 设置支持度阈值为50%，置信度阈值为60% 交易编号 项目 T1 支持度阈值=50%=>0.5*6=3=>最小子项目数量=3 33 3.FP-Growth算法 构建FP树 1.考虑到根节点为空(null)。 Null ① 创建树的根。根由null表示。 34 3.FP-Growth算法 构建FP树 1.考虑到根节点为空(null)。 2. T1:I1、I2、I3的第一次扫描包含三个项目{I1:1}、 {I2:1}、{I3:1}，其中I2作为子级链接到根，I1链接到I2

最终预测结果 测试 数据 决策树n …… 决策树2 预测1 预测n …… 预测2 9 随机选择样本和 Bagging 相同，采用的是 Bootstraping 自助采样法；随机选择特征是 指在每个节点在分裂过程中都是随机选择特 征的（区别与每棵树随机选择一批特征）。 这种随机性导致随机森林的偏差会有稍微的 增加（相比于单棵不随机树），但是由于随 机森林的“平均”特性，会使得它的方差减 小，而且方差的减小补偿了偏差的增大，因 Shrinkage（缩减） 16 ?? ? = ෍ ?=1 ? ?(?: ??) ?为决策树，??为参数， ?为树的数量 ? ?: ? = ෍ ?=1 ? ??? ? 为常数， ? 为叶子节点 GBDT算法 17 ?? ? = ??−1 ? + ? ?: ?? , ? = 1,2, … ? ෠?? = ??? min ?? ෍ ?=1 ? ? ??, ??−1 ?? + 分裂前左、右子树的分数： 不分割可以拿到的分数 加入新叶子节点引入的复杂度代价 34 3.XGBoost 使用贪心方法，选增益（ ???? ）最大的分裂方式 贪心方法，众多????中找到最大值做为最优分割节点（split point），因此模型会 将所有样本按照（一阶梯度）从小到大排序，通过遍历，查看每个节点是否需要 分割，计算复杂度是：决策树叶子节点数 – 1。 XGBoost的分裂方式 35

requires_grad属性默认为False，也就是Tensor变量默认是不需要求导的。 如果一个节点的requires_grad是True，那么所有依赖它的节点 requires_grad也会是True。 换言之，如果一个节点依赖的所有节点都不需要求导，那么它的 requires_grad也会是False。在反向传播的过程中，该节点所在的子图会被 排除在外。 21 2. Autograd自动求导 Function类 backward函数是反向传播的入口点，在需要被求导的节点上调用 backward函数会计算梯度值到相应的节点上。 backward函数是反向求导数，使用链式法则求导。 backward需要一个重要的参数grad_tensor，对非标量节点求导,需要指定 grad_tensors，grad_tensors的shape必须和y的相同。 但如果节点只含有一个标量值，这个参数就可以省略（例如最普遍的 loss backward()与loss.backward(torch.tensor(1))等价） 23 2. Autograd自动求导 grad属性 backward函数本身没有返回值，它计算出来的梯度存放在叶子节点的grad属性中。 PyTorch文档中提到，如果grad属性不为空，新计算出来的梯度值会直接加到旧值 上面。 为什么不直接覆盖旧的结果呢？ 这是因为有些Tensor可能有多个输出，那么就需要调用多个backward。叠加的处理

KD树划分 04 KD树搜索 4.K-D-Tree搜索 22 KD树搜索 1.首先要找到该目标点的叶子节点，然后以目标点为 圆心，目标点到叶子节点的距离为半径，建立一个超 球体，我们要找寻的最近邻点一定是在该球体内部。 搜索（4,4）的最近邻时。首先从根节点（6,4）出发 ，将当前最近邻设为（6,4），对该KD树作深度优先 遍历。以（4,4）为圆心，其到（6,4）的距离为半径 KD树搜索 2.返回叶子结点的父节点，检查另一个子结点包含的 超矩形体是否和超球体相交，如果相交就到这个子节 点寻找是否有更加近的近邻,有的话就更新最近邻。 接着走到（6,4）左子树根节点（4,5），与原最近 邻对比距离后，更新当前最近邻为（4,5）。 以（4,4）为圆心，其到（4,5）的距离为半径画圆 ，发现（6,4）右侧的区域与该圆不相交，忽略该侧 所有节点，这样（6,4）的整个右子树被标记为已忽 4）的整个右子树被标记为已忽 略。 24 KD树搜索 3.如果不相交直接返回父节点，在另一个子 树继续搜索最近邻。 4.当回溯到根节点时，算法结束，此时保存 的最近邻节点就是最终的最近邻。 遍历完（4,5）的左右叶子节点，发现与当 前最优距离相等，不更新最近邻。 所以（4,4）的最近邻为（4,5）。 25 参考文献 [1] Andrew Ng. Machine Learning[EB/OL]