构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 …

（假设百万条数据） 1.数据集划分 数据集 训练集 验证集 测试集 5 交叉验证 1. 使用训练集训练出k个模型 2. 用k个模型分别对交叉验证集计算得 出交叉验证误差（代价函数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出 推广误差（代价函数的值） 6 数据不平衡是指数据集中各类样本数量不均衡的情况. 常用不平衡处理方法有采样和代价敏感学习 采样欠采样、过采样和综合采样的方法 欠拟合的处理 1.添加新特征 当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。通 过挖掘组合特征等新的特征，往往能够取得更好的效果。 2.增加模型复杂度 简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能 力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或神经元 个数等。 3.减小正则化系数 正则化是用来防止过拟合的，但当模型出现欠拟合现象时，则需要有针对性地减 stopping的优点是，只运行 一次梯度下降，你可以找出?的较小 值，中间值和较大值，而无需尝试?2 正则化超级参数?的很多值。 27 正则化 大部分的计算机视觉任务使用很多的数据 ，所以数据增强是经常使用的一种技巧来 提高计算机视觉系统的表现。计算机视觉 任务的数据增强通常以下方法实现： (1) 随意翻转、镜像。 (2) 随意裁剪。 (3) 扭曲变形图片。 (4) 颜色转换，然后给R、G和B三个通道上

99.0] 4 13 2. 特征构建 • 聚合特征构造主要通过对多个特征的分组聚合实现，这些特征通常来 自同一张表或者多张表的联立。 • 聚合特征构造使用一对多的关联来对观测值分组，然后计算统计量。 • 常见的分组统计量有中位数、算术平均数、众数、最小值、最大值、 标准差、方差和频数等。 聚合特征构造 14 2. 特征构建 相对于聚合特征构造依赖于多个特征的分组统计，通常依赖于对于特征本 常见的转换方法有单调转换（幂变换、log变换、绝对值等）、线性组合、 多项式组合、比例、排名编码和异或值等。 转换特征构造 15 2. 特征构建 • 基于单价和销售量计算销售额. • 基于原价和售价计算利润. • 基于不同月份的销售额计算环比或同比销售额增长/下降率. • …… 转换特征构造 此外，由于业务的需求，一些指标特征也需要基于业务理解 进行特征构造。 16 3. 特征提取 01 中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 2. HOG特征 方向梯度直方图(HOG)特征是 2005 年针对行人检测问题提出的直方图特 征，它通过计算和统计图像局部区域的梯度方向直方图来实现特征描述。 归一化处理 计算图像梯度 统计梯度方向 特征向量 归一化 生成特征向量 步骤 图像特征提取 3. 特征提取 22 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J]

机器学习与人工智能、深度学习的关系 人工智能：机器展现的人类智能 机器学习：计算机利用已有的数 据(经验)，得出了某种模型，并利 用此模型预测未来的一种方法。 深度学习：实现机器学习的一种 技术 人工智能 机器学习 深度学习 5 杨立昆（Yann LeCun） 杰弗里·欣顿（Geoffrey Hinton） 本吉奥（ Bengio ） 共同获得了2018年计算机科学的最高奖项 ——ACM图灵奖。 机器学习界的执牛耳者 现任字节跳动科技有限公司人 工智能实验室总监，北京大学、南京 大学客座教授，IEEE 会士，ACM 杰 出科学家，CCF 高级会员。 代表作：《统计学习方法》 机器学习界的国内泰斗 周志华，南京大学计算机科学与技 术系主任 、人工智能学院院长。 代表作：《机器学习》（西瓜书） 7 陈天奇,陈天奇是机器学习领域著名的青 年华人学者之一，本科毕业于上海交通 大学ACM班，博士毕业于华盛顿大学计 算机系。 市值/估值/融资额 1 Microsoft（微软） 计算机视觉技术、自然语言处理技术 等 办公 美国 1975年 上市 市值1.21万亿美元 2 Google（谷歌） 计算机视觉技术、自然语言处理技术 等 综合 美国 1998年 上市 市值9324亿美元 3 Facebook（脸书） 人脸识别、深度学习等 社交 美国 2004年 上市 市值5934亿美元 4 百度 计算机视觉技术、自然语言处理技 术 、知识图谱等

. . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 . . . . . . . . . . . . . . . . . . . . . . . 前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . 10.8 提交Kaggle预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 5 深度学习计算 191 5.1 层和块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Representation based Framework for Question Answering. CIKM2016, pages 1869-1872, 2016. Sogou Inc 文本相关性计算 文本相关性计算 深度学习在搜狗搜索广告的一些应用 LSTM LSTM LSTM 中长款 牛仔 外套 ResNet-50层 CNN-LSTM Encoder CNN CNN 中长款牛仔外套 Cosine-Loss 容易设计；刻画细致；特 征稀疏； 特征量巨大；模型复杂度 受限 连续特征 连续特征 需要仔细设计；定长；特 征稠密 特征量相对较小，可以 使用多种模型训练 模型类别 模型类别 线性  简单、处理特征 量大、稳定性好  需借助交叉特征  Logistic Regression 非线性  能够学习特征间 非线性关系  模型复杂、计算 耗时  DNN、GBDT 模型融合 模型融合的工程实现 • 可支持多个不同模型的加载和计算 • 可支持模型之间的交叉和CTR的bagging • 可通过配置项随时调整模型融合方案 • 避免不必要的重复操作，减少时间复杂度 目标 • 模型本身也看做一个抽象特征 • 模型特征依赖于其它特征，通过计算得到新的特征 • 模型特征输出可作为CTR，也可作为特征为其它模型使用 • 限定ModelFeature的计算顺序，即可实现bagging/模型交叉等功能

Function)度量全部样本集的 平均误差。常用的代价函数包括均方误差、 均方根误差、平均绝对误差等。 目标函数(Object Function)代价函数和正则 化函数，最终要优化的函数。 备注：损失函数的系数1/2是为了便于计算，使对平方项求导后的常数系数为1，这样在形式上稍微简单一些。有些教科书把系数设为1/2，有些设置为1，这些都不影响结果。 损失函数采用平方和损失： ?(?(?)) = 1 2 (ℎ(?(?)) Descent,BGD） 梯度下降的每一步中，都用到了所有的训练样本 随机梯度下降（Stochastic Gradient Descent,SGD） 梯度下降的每一步中，用到一个样本，在每一次计算之后 便更新参数 ，而不需要首先将所有的训练集求和 小批量梯度下降（Mini-Batch Gradient Descent,MBGD） 梯度下降的每一步中，用到了一定批量的训练样本 14 梯度下降的三种形式 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不 需要首先将所有的训练集求和 参数更新 ??: = ?? − ? ℎ ?(?) − ?(?) ??(?) (同步更新?? ，(j=0,1,...,n )) 17 梯度下降的三种形式 小批量梯度下降（Mini-Batch Gradient Descent） 梯度下降的每一步中，用到了一定批量的训练样本 每计算常数?次训练实例，便更新一次参数

回归树问题的提升算法： 输入：训练数据集? = ?1, ?1 , ?2, ?2 , … , ??, ?? 输出：提升树??(?) 1 初始化?0 ? = 0 2 对? = 1,2, … ? (?)计算残差 ??? = ?? − ??−1 ?? , ? = 1,2, … , ? ? 拟合残差???学习一个回归树，得到?(?: ??) ? 更新??(?) = ??−1 ? + ? ?: ?? 3 =1 ? ?(??, ?) 2 对? = 1,2, … ? ? 对? = 1,2 … ?计算 ??? = − ??(??, ?(??)) ??(??) ? ? =??−1(?) ? 拟合???学习一个回归树，得到? ?: ?? ? 更新?? ? = ??−1 ? + ??? ?: ?? ? 计算步长, ?? = ??? min ? ෍ ?=1 L(??, ??−1 ?? + ?? 分裂前左、右子树的分数： 不分割可以拿到的分数 加入新叶子节点引入的复杂度代价 34 3.XGBoost 使用贪心方法，选增益（ ???? ）最大的分裂方式 贪心方法，众多????中找到最大值做为最优分割节点（split point），因此模型会 将所有样本按照（一阶梯度）从小到大排序，通过遍历，查看每个节点是否需要 分割，计算复杂度是：决策树叶子节点数 – 1。 XGBoost的分裂方式

，自顶向下来构建决策树。 ⚫ 贪心算法：在每一步选择中都采取 在当前状态下最好/优的选择。 ⚫ 在决策树的生成过程中，分割方法 即属性选择的度量是关键。 6 1.决策树原理 优点： ⚫ 推理过程容易理解，计算简单，可解释性强。 ⚫ 比较适合处理有缺失属性的样本。 ⚫ 可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性， 减少变量的数目提供参考。 缺点： ⚫ 容易造成过拟合，需要采用剪枝操作。 ID3 算法是以信息论为基础，以信息增益为衡量标准，从而实现对数据 的归纳分类。 ⚫ ID3 算法计算每个属性的信息增益，并选取具有最高增益的属性作为给 定的测试属性。 ID3 算法 10 2.ID3算法 ID3 算法 其大致步骤为： 1. 初始化特征集合和数据集合； 2. 计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当 前决策节点； 3. 更新数据集合和 1, ?2 , ?3,……, ??−1, ?? 从小到大排列， 取相邻两样本值的 平均数做划分点，一共取? − 1个 ，其中第?个划分点?? 表示为： ?? = ??−1+?? 2 。分别计算以这? − 1个点作为二元分类点时的基尼系 数。选择基尼指数最小的点为该连 续特征的二元离散分类点。 比如取到的基尼指数最小的点为??，则小于??的值为类别1，大于??的值为类别2，这 样

算法，求得最优路线 1 8 时间预估 用户下单 开始配送 骑士到店 骑士取餐 到达用户 完成交付 商户接单 商户出餐 到店时间 出餐时间 送餐时间 交付时间 等餐时间 2 到达识别，交付时间计算 数据积累，异常数据剔除 网格建立，分时段统计 交付时间预估 取餐/送餐分别回归拟合 骑士速度预估 9 时间预估 — 出餐时间预估 10 数据 & 特征工程 • 特征 = 基础特征 的出餐时间训练数据，DNN 更好地学习自身有用的特征 - DNN对特征工程要求较低，自身可以学习有用的特征，PCA降维影响较小，但时间复杂度较高 • XGBoost模型 - 采用近似求解算法，找出可能的分裂点，避免选用贪心算法的过高时间复杂度 - 计算采用不同分裂点时，叶子打分函数的增益；并选择增益最高的分裂点，作为新迭代树的最终分裂 节点，构造新的迭代树 - 通过调节迭代树数目、学 基于现有状况、订单增速、消 化速度、天气、当前手段等多 维特征，使用XGBoost模型回 归预测未来五分钟进单的平均 配送时长 • 分商圈、分时段、多模型的精 细化预估 • 分布式、多线程、并行计算最 佳分割点，满足海量数据的实 时性要求 • 在供需失衡之前，即实施调控 手段 5 供需平衡 14 5.2 单量调控模型 • 通过价格平衡未来的进单量 和系统可承载的单量 • 基于GBRT对未来进入单量的