阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 机器学习框架(PAI-TensorFlow/PAI-PyTorch/Caffe /Alink/…) 计算引擎(MaxCompute / EMR / Flink) 基础硬件（CPU/GPU/FPGA/NPU） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模（DSW） • JupyterLab、WebIDE • 多框架兼容 • 可视化+tensorboard

华为云深度学习在文本分类中的实践 华为 Cloud&AI 李明磊 3 2 3 1 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 4 文本分类介绍 内容：  买没几天就降价一点都不开心，闪存跑分就五百多点点 ---  外观漂亮音质不错，现在电子产品基本上都是华为的了 ---  汽车不错，省油，性价比高 ---  这个政策好啊，利国利民 --- 85 0.9 0.95 人工标注 系统标注 效果：F1 未标注集合 ???????????? ???????????? 种子语料 机器学习模型 人工标注 15 华为云主动学习平台 16 华为云主动学习平台 17 1 2 4 3 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 18 情感分析 0.00% 20.00% 40.00% 60.00%

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 6.2.3 图像中目标的边缘检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 6.2.4 学习卷积核 . . . . . . . ti‐label classification）。举个例子，人们在技术博客 上贴的标签，比如“机器学习”“技术”“小工具”“编程语言”“Linux”“云计算”“AWS”。一篇典型的文章可 能会用5～10个标签，因为这些概念是相互关联的。关于“云计算”的帖子可能会提到“AWS”，而关于“机 器学习”的帖子也可能涉及“编程语言”。 此外，在处理生物医学文献时，我们也会遇到这类问题。正确地标记文献很重要，有利于研究人员对文献 是使用端到端训练。 也就是说，与其基于单独调整的组件组装系统，不如构建系统，然后联合调整它们的性能。例如，在计算机视 觉中，科学家们习惯于将特征工程的过程与建立机器学习模型的过程分开。Canny边缘检测器 (Canny, 1987) 和SIFT特征提取器 (Lowe, 2004) 作为将图像映射到特征向量的算法，在过去的十年里占据了至高无上的地 位。在过去的日子里，将机器学习应用于这些问题

累积分布函数 2.2 概率质量函数 2.3 概率密度函数 2.4 期望 2.5 方差 2.6 一些常见的随机变量 3. 两个随机变量 3.1 联合分布和边缘分布 3.2 联合概率和边缘概率质量函数 3.3 联合概率和边缘概率密度函数 3.4 条件概率分布 3.5 贝叶斯定理 3.6 独立性 3.7 期望和协方差 4. 多个随机变量 4.1 基本性质 4.2 随机向量 我们可能有不止一 个感兴趣的量。例如，在一个我们掷硬币十次的实验中，我们可能既关心 出现的正面数量，也 关心 连续最长出现正面的长度。在本节中，我们考虑两个随机变量的设置。 3.1 联合分布和边缘分布 假设我们有两个随机变量，一个方法是分别考虑它们。如果我们这样做，我们只需要 和 。 但是如果我们想知道在随机实验的结果中， 和 同时假设的值，我们需要一个更复杂的结构，称为 和 的联合累积分布函数，定义如下: 这里我们称 和 为 的边缘累积概率分布函数。 性质： 3.2 联合概率和边缘概率质量函数 如果 和 是离散随机变量，那么联合概率质量函数 由下式定义： 这里, 对于任意 ， ， , 并且 两个变量上的联合PMF分别与每个变量的概率质量函数有什么关系？事实上： 对于 类似。在这种情况下，我们称 为 的边际概率质量函数。在统计学中，将一个变量相 加形成另一个变量的边缘分布的过程通常称为“边缘化”。

度 预处理 对图像做一 种或一些预 处理，使图 像满足后继 处理的要 求 ，如：二次 取样保证图 像坐标的正 确，平滑、 去噪等 特征提取 从图像中提取 各种复杂度的 特征，如：线 ，边缘提取和 脊侦测，边角 检测、斑点检 测等局部化的 特征点检测 检测/分割 对图像进行分割 ，提取有价值的 内容，用于后继 处理， 如：筛 选特征点，分割 含有特定目标的 部分 高级处理 验证得到的 深层神经网络和卷积神经网络 15 卷积神经网络 深度学习=表示学习+浅层学习 16 多层卷积能抽取复杂特征 浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 17 边缘检测 神经网络的前几层是通常检测边缘 的，然后，后面的层有可能检测到 物体的部分区域，更靠后的一些层 可能检测到完整的物体 3 × 1 0 × 0 1 × −1 2 × 1 7 × 0 2 × −1 = 3 0 −1 1 0 −8 2 0 −2 3 + 1 + 2 + 0 + 0 + 0 + (−1) + (−8) + (−2) = −5 -5 边缘检测 18 01 计算机视觉概述 02 卷积神经网络概述 03 卷积神经网络计算 04 卷积神经网络案例 本章目录 19 S=1 S=2 卷积步长 s

联合分布为?(?, ?) = ?(? ≤ ?, ? ≤ ?) 2.二维离散型随机变量的分布 (1) 联合概率分布律 ?{? = ??, ? = ??} = ???; ?, ? = 1,2, ⋯ (2) 边缘分布律 ??⋅ = σ?=1 ∞ ??? , ? = 1,2, ⋯ ?⋅? = σ? ∞ ??? , ? = 1,2, ⋯ (3) 条件分布律 ?{? = ??|? = ??} = ??? 1) ?(?, ?) ≥ 0 2) ׬−∞ +∞ ׬−∞ +∞ ?(?, ?)???? = 1 (2) 分布函数：?(?, ?) = ׬−∞ ? ׬−∞ ? ?(?, ?)???? (3) 边缘概率密度： ?? ? = ׬−∞ +∞ ? ?, ? ?? ??(?) = ׬−∞ +∞ ?(?, ?)?? (4) 条件概率密度：??|? ? ? = ? ?,? ?? ? ??|?(?| ? 则： ?? ? = ? ? ?, ? ≤ ? = ׭?(?,?)≤? ?(?, ?)????，??(?) = ?′?(?) 3.多维随机变量及其分布 27 7.重要公式与结论 (1) 边缘密度公式： ??(?) = ׬−∞ +∞ ?(?, ?)??, ??(?) = ׬−∞ +∞ ?(?, ?)?? (2) ? ?, ? ∈ ? = ׭? ? ?, ? ???? 3.多维随机变量及其分布

) 机器学习的数学基础 24 2.二维离散型随机变量的分布 (1) 联合概率分布律 ?{? = ??, ? = ??} = ???; ?, ? = 1,2,⋯ (2) 边缘分布律 ??⋅ = ∑ ??? ∞ ?=1 , ? = 1,2,⋯ ?⋅? = ∑ ??? ∞ ? , ? = 1,2, ⋯ (3) 条件分布律 ?{? = ??|? = ??} = 0 2) ∫ ∫ ?(?, ?)???? +∞ −∞ +∞ −∞ = 1 (2) 分布函数：?(?, ?) = ∫ ∫ ?(?, ?)???? ? −∞ ? −∞ (3) 边缘概率密度： ??(?) = ∫ ?(?, ?)?? +∞ −∞ ??(?) = ∫ ?(?, ?)?? +∞ −∞ (4) 条件概率密度：??|?(?| ?(?, ?) 则： ??(?) = ?{?(?, ?) ≤ ?} = ∬ ?(?, ?)???? ?(?,?)≤? ，??(?) = ?′?(?) 7.重要公式与结论 (1) 边缘密度公式： ??(?) = ∫ ?(?, ?)??, +∞ −∞ ??(?) = ∫ ?(?, ?)?? +∞ −∞ (2) ?{(?, ?) ∈ ?} = ∬ ?(?, ?)????

TensorFlow Lite 实现边缘智能 目录 使⽤ TensorFlow 2 实现图像数据增强 使⽤ TensorFlow 2 实现分布式训练 使⽤ TensorFlow Hub 迁移学习 7 8 9 11 12 13 使⽤ @tf.function 提升性能 使⽤ TensorFlow Serving 部署云端服务 使⽤ TensorFlow Lite 实现边缘智能 TensorFlow

image.random_flip_up_down(x) 图 9.31 水平翻转 图 9.32 竖直翻转 9.7.3 裁剪 通过在原图的左右或者上下方向去掉部分边缘像素，可以保持图片主体不变，同时获 得新的图片样本。在实际裁剪时，一般先将图片缩放到略大于网络输入尺寸的大小，再裁 剪到合适大小。例如网络的输入大小为224 × 224，那么可以先通过 resize 2 . 2 .2 . 2 . 2 . 2 . 2 ] [ − − − − 8 − − − − ] 原图效果 锐化效果 模糊效果 边缘提取效果 10.2 卷积神经网络 卷积神经网络通过充分利用局部相关性和权值共享的思想，大大地减少了网络的参数 量，从而提高训练效率，更容易实现超大规模的深层网络。2012 年，加拿大多伦多大学 2 0 0 1 -1 -1 1 2 1 -1 3 0 -1 -2 7 3 -5 * 步长 步长 图 10.23 卷积运算步长示意图-1 循环往复移动，直至达到最下方、最右边边缘位置，如图 10.24 所示，最终卷积层输 出的高宽只有2 × 2。对比前面? = 的情形，输出高宽由3 × 3降低为2 × 2，感受野的数量 减少为仅 4 个。 1 -1 0 2 0 -1

到业务端 n 基于深度学习的准确的人脸检测、特征抽取 n 人脸检测占用95%计算资源 n 峰值时会达到1500 QPS SACC2017 检测-人脸检测/人形检测 场景多样、人脸小、位置边缘 本页图片均来自公开摄像头 SACC2017 检测-人脸检测/人形检测 手机 服务器 可缩小尺寸 240P 720P CPU ARM（千元机） E5-2630 时间 50ms 120ms