强大的学习能力。业界一般将利用 深层神经网络实现的算法称作深度学习，本质上神经网络和深度学习可认为是相同的。 现在简单来比较一下深度学习算法与其它算法的特点。如图 1.3 所示。基于规则的系 统一般会编写显式的检测逻辑，这些逻辑通常是针对特定的任务设计的，并不适合其他任 务。传统的机器学习算法一般会人为设计具有一定通用性的特征检测方法，如 SIFT、HOG 特征，这些特征能够适合某一类的任务 可以看到，只需要观测两个不同数据点，就可完美求解单输入线性神经元模型的参 数。推广到多输入的线性神经元模型，对于?输入的线性神经元模型，只需要采样? + 1组 不同数据点即可，似乎线性神经元模型的估计问题可以得到完美解决。那么上述方法存在 什么问题呢？ 预览版202112 2.2 优化方法 3 考虑对于任何采样点，都有可能存在观测误差，这里假设观测误差变量?属于均值为 2)，则采样到的样本符合规律： ? = ?? + ? + ?, ?~?(?, ?2) 一旦引入观测误差后，即使简单如线性模型，如果仅采样两个数据点，则可能会带来较大 估计偏差。如图 2.4 所示，图中的数据点均带有观测误差，如果基于蓝色矩形块的两个数 据点进行估计，则计算出的蓝色虚线与真实橙色直线存在较大的偏差。为了减少观测误差 引入的估计偏差，通常可以通过采样多组数据样本集合? = {(?(1), ?(1))

人类的眼睛能毫不费力地完成这些难以提出完美解决方 案的任务，这其中的计算也超出了人类意识理解范畴。机器学习（machine learning，ML）是一类强大的可 以从经验中学习的技术。通常采用观测数据或与环境交互的形式，机器学习算法会积累更多的经验，其性能 17 也会逐步提高。相反，对于刚刚所说的电子商务平台，如果它一直执行相同的业务逻辑，无论积累多少经验， 都不会自动提高，除非开发人 环境给予智能体的奖励。这个奖励与原始监督学习问题的损失函数是一致的。 当然，强化学习还可以解决许多监督学习无法解决的问题。例如，在监督学习中，我们总是希望输入与正确 的标签相关联。但在强化学习中，我们并不假设环境告诉智能体每个观测的最优动作。一般来说，智能体只 是得到一些奖励。此外，环境甚至可能不会告诉是哪些行为导致了奖励。 以强化学习在国际象棋的应用为例。唯一真正的奖励信号出现在游戏结束时：当智能体获胜时，智能体可以 问题：决定哪些行为是值得奖励的，哪些行为是需要惩罚的。就像一个员工升职一样，这次升职很可能反映 了前一年的大量的行动。要想在未来获得更多的晋升，就需要弄清楚这一过程中哪些行为导致了晋升。 强化学习可能还必须处理部分可观测性问题。也就是说，当前的观察结果可能无法阐述有关当前状态的所有 信息。比方说，一个清洁机器人发现自己被困在一个许多相同的壁橱的房子里。推断机器人的精确位置（从 而推断其状态），需要在进入壁橱之前考虑它之前的观察结果。

(84.0, 99.0] 4 13 2. 特征构建 • 聚合特征构造主要通过对多个特征的分组聚合实现，这些特征通常来 自同一张表或者多张表的联立。 • 聚合特征构造使用一对多的关联来对观测值分组，然后计算统计量。 • 常见的分组统计量有中位数、算术平均数、众数、最小值、最大值、 标准差、方差和频数等。 聚合特征构造 14 2. 特征构建 相对于聚合特征构造依赖于多个特征的分组统计，通常依赖于对于特征本 放到向量表示，构成了 N-gram 模型。 ➢另外，同一个词可能会有多种词性变化，但却具有相同含义，所以实际应用 中还会对单词进行词干抽取(Word Stemming)处理，即将不同词性的单词 统一为同一词干的形式。 文本特征提取 3. 特征提取 24 4. 特征选择 01 相关概念 02 特征构建 03 特征提取 04 特征选择 25 许永洪,吴林颖.中

Q3-Q1，即上四分位数与下四分位数之间的 差，也就是盒子的长度。 最小观测值为min = Q1 - 1.5*IQR，如果存在离群点 小于最小观测值，则下限为最小观测值，离群点单 独以点汇出。 最大观测值为max = Q3 +1.5*IQR，如果存在离群 点大于最大观测值，则上限为最大观测值，离群点 单独以点汇出。如果没有比最大观测值大的数，则 上限为最大值。 14 探索性数据分析(EDA)

center=False, win_ty pe=None, on=None, axis=0, closed=None) ➢ window -- 表示窗口的大小。 ➢ min_periods -- 每个窗口最少包含的观测值数量。 ➢ center -- 是否把窗口的标签设置为居中。 ➢ win_type -- 表示窗口的类型。 ➢ closed -- 用于定义区间的开闭。 58 时序模型—ARIMA 01 推移而形成的数据序列视为一个随机序列， 用一定的数学模型来近似描述这个序列，这 个模型一旦被识别后，就可以从时间序列的 过去值及现在值来预测未来值。 64 时序模型—ARIMA 第1步 获取被观测的 时间序列数据 第2步 根据时间序列 数据进行绘图 ，观测是否为 平稳时间序列 从平稳的时间序列 中求得自相关系数 ACF和偏自相关系 数PACF，得到最 佳的阶层p和阶数 q ARIMA模型建立的基本步骤如下： 第3步

是一些互不相交的事件并且它们的并集是 ，那么它们的概率之 和是1 1.1 条件概率和独立性 假设 是一个概率非0的事件，我们定义在给定 的条件下 的条件概率为： 换句话说， )是度量已经观测到 事件发生的情况下 事件发生的概率，两个事件被称为独立事件 当且仅当 （或等价地， )。因此，独立性相当于是说观察到事 件 对于事件 的概率没有任何影响。 2. 随机变量 考虑一个实验

PS：BSP/SSP/ASP多种通信模式支持 • MPI&RingAllreduce：Horovod，使用 MPI替换grpc，同步通信模式；带宽优化，增加延时； • PS&MPI：DistributionStrategy API，统一分布式语义，解耦分布式架构与模型训练框架 • 使用FP16通信，使用FP32做计算，带宽压力降低一倍 • IO优化 • 多线程样本并发读取，样本读取与计算PIPELINE，实现计算与IO的overlap 深度学习-深度学习模型训练 • 分布式模型推理框架：WeiServing 异构CPU集群 kubernetes/ol-submit RPC服务框架 LR/GBDT DNN/DeepFM/W&D 负载均衡/统一版本管理/动态加载/批量化机制 特征映射 Embedding 数据处理 异构GPU集群 CNN 业务应用 模型服务 框架 排序模型服务 多媒体分析服务 自然语言分析服务 集群调度层

convolution 检测 识别 Single Frame Predictor SACC2017 视觉感知模型-融合 检测 识别 分割 跟踪 核 心 深度学习 •完全基于深度学习 •统一分类，检测，分割，跟踪 ü通过共享计算提高算法效率 ü通过多个相关任务共同学习提高算法性能 •稀疏标注 ü在节省标注工作量的的同时，充分利用视频数据 Forward Block Forward

在数据库中对人脸进行聚类， 直接K-Means即可。 5 1.人脸识别概述 人脸检测的步骤 • 人脸定位 确定是否存在人脸,人脸存在的位置、范围等 • 人脸对齐 把众多人脸图像转换到一个统一角度和姿势 • 确定关键点 关键点包括:眼角、鼻尖、嘴角等 6 1.人脸识别概述 人脸检测常用算法(深度学习框架) • MTCNN算法 • HR • Face r-CNN • PyramidBox

Counting Bloom Filter  概率方式 • 模型数据通路  Base + Delta方式  增量提供ACK机制，确保模型正确性 Parameter Server • 模型数据的统一管理  模型结构  模型参数 PS的参数放置策略 • Ps分布式分片的均衡，避免分片大小不一致  NN网络矩阵按行切分，解决请求包不均衡问题  特征按照Hash方式分布式存储 •