构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 …

累积分布函数 2.2 概率质量函数 2.3 概率密度函数 2.4 期望 2.5 方差 2.6 一些常见的随机变量 3. 两个随机变量 3.1 联合分布和边缘分布 3.2 联合概率和边缘概率质量函数 3.3 联合概率和边缘概率密度函数 3.4 条件概率分布 3.5 贝叶斯定理 3.6 独立性 3.7 期望和协方差 4. 多个随机变量 4.1 基本性质 4.2 随机向量 为了指定处理随机变量时使用的概率度量，通常可以方便地指定替代函数(CDF、PDF和PMF)，在本节 和接下来的两节中，我们将依次描述这些类型的函数。 累积分布函数(CDF)是函数 ，它将概率度量指定为： 通过使用这个函数，我们可以计算任意事件发生的概率。图1显示了一个样本CDF函数。 性质： 2.2 概率质量函数 当随机变量 取有限种可能值(即， 是离散随机变量)时，表示与随机变量相关联的概率度量的更简单 的方法是直 定义 为累积分布函数的导数，即： 请注意，连续随机变量的概率密度函数可能并不总是存在的(即，如果它不是处处可微)。 根据微分的性质，对于很小的 ， CDF和PDF(当它们存在时！)都可用于计算不同事件的概率。但是应该强调的是，任意给定点的概率密 度函数(PDF)的值不是该事件的概率，即 。例如， 可以取大于1的值(但是 在 的任何子集上的积分最多为1)。 性质： 2.4 期望

深度学习-卷积神经网络 黄海广 副教授 2 01 计算机视觉概述 02 卷积神经网络简介 03 卷积神经网络计算 04 卷积神经网络案例 本章目录 3 01 计算机视觉概述 02 卷积神经网络概述 03 卷积神经网络计算 04 卷积神经网络案例 本章目录 4 计算机视觉 图像获取 提取二维图像 、三维图组、 图像序列或相 度 预处理 对图像做一 种或一些预 处理，使图 像满足后继 处理的要 求 ，如：二次 取样保证图 像坐标的正 确，平滑、 去噪等 特征提取 从图像中提取 各种复杂度的 特征，如：线 ，边缘提取和 脊侦测，边角 检测、斑点检 测等局部化的 特征点检测 检测/分割 对图像进行分割 ，提取有价值的 内容，用于后继 处理， 如：筛 选特征点，分割 含有特定目标的 部分 高级处理 验证得到的 7 目标检测 8 目标检测 9 图像分割 10 目标跟踪 11 计算机视觉 图像的数字表示 一张图片数据量是64×64×3，因为每张图片都有3个颜色通道。 如果计算一下的话，可得知数据量为12288 12 01 计算机视觉概述 02 卷积神经网络概述 03 卷积神经网络计算 04 卷积神经网络案例 本章目录 13 深层神经网络和卷积神经网络

. . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 . . . . . . . . . . . . . . . . . . . . . . . 前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . 10.8 提交Kaggle预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 5 深度学习计算 191 5.1 层和块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.随机事件和概率 8 (3) 古典型概率: 实验的所有结果只有有限个， 且每个结果发生的可能性相同，其概率计算 公式： ?(?) = 事件?发生的基本事件数 基本事件总数 (4) 几何型概率: 样本空间?为欧氏空间中的一个区域， 且每个样本点的出现具有等可能性， 其概率计算公式： ?(?) = ?的度量(长度、面积、体积) ?的度量(长度、面积、体积) 1.随机事件和概率 9 联合分布为?(?, ?) = ?(? ≤ ?, ? ≤ ?) 2.二维离散型随机变量的分布 (1) 联合概率分布律 ?{? = ??, ? = ??} = ???; ?, ? = 1,2, ⋯ (2) 边缘分布律 ??⋅ = σ?=1 ∞ ??? , ? = 1,2, ⋯ ?⋅? = σ? ∞ ??? , ? = 1,2, ⋯ (3) 条件分布律 ?{? = ??|? = ??} = ??? 1) ?(?, ?) ≥ 0 2) ׬−∞ +∞ ׬−∞ +∞ ?(?, ?)???? = 1 (2) 分布函数：?(?, ?) = ׬−∞ ? ׬−∞ ? ?(?, ?)???? (3) 边缘概率密度： ?? ? = ׬−∞ +∞ ? ?, ? ?? ??(?) = ׬−∞ +∞ ?(?, ?)?? (4) 条件概率密度：??|? ? ? = ? ?,? ?? ? ??|?(?|

?]. 2) 若? ∼ ?，则?(?) ∼ ?(?), |?(?)| ∼ |?(?)|，其中?(?)为关于?阶方阵?的多项式。 3) 若?为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩(?) 4.实对称矩阵的特征值、特征向量及相似对角阵 (1)相似矩阵：设?, ?为两个?阶方阵，如果存在一个可逆矩阵?，使得? = ?−1??成立，则 称矩阵?与?相似，记为? ∼ 且每个结果发生的可能性相同，其概率计 算公式： ?(?) = 事件?发生的基本事件数 基本事件总数 (4) 几何型概率: 样本空间?为欧氏空间中的一个区域， 且每个样本点的出现具有等可能 性，其概率计算公式：?(?) = ?的度量(长度、面积、体积) ?的度量(长度、面积、体积) 6.概率的基本公式 (1) 条件概率: ?(?|?) = ?(??) ?(?) ,表示?发生的条件下， ) 机器学习的数学基础 24 2.二维离散型随机变量的分布 (1) 联合概率分布律 ?{? = ??, ? = ??} = ???; ?, ? = 1,2,⋯ (2) 边缘分布律 ??⋅ = ∑ ??? ∞ ?=1 , ? = 1,2,⋯ ?⋅? = ∑ ??? ∞ ? , ? = 1,2, ⋯ (3) 条件分布律 ?{? = ??|? = ??} =

神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 预览版202112 人工智能绪论 我们需要的是一台可以从经验中学习的机器。 −阿兰·图灵 1.1 人工智能 信息技术是人类历史上的第三次工业革命，计算机、互联网、智能家居等技术的普及 极大地方便了人们的日常生活。通过编程的方式，人类可以将提前设计好的交互逻辑交给 机器重复且快速地执行，从而将人类从简单枯燥的重复劳动工作中解脱出来。但是对于需 要

深度学习与机器学习、人工智能的关系 人工智能：机器展现的人类智能 机器学习：计算机利用已有的数 据(经验)，得出了某种模型，并利 用此模型预测未来的一种方法。 深度学习：实现机器学习的一种 技术 5 杨立昆（Yann LeCun） 杰弗里·欣顿（Geoffrey Hinton） 本吉奥（ Bengio ） 共同获得了2018年计算机科学的最高奖项 ——ACM图灵奖。 深度学习界的执牛耳者 Andrew 李航, 现任字节跳动科技有限公司人 工智能实验室总监，北京大学、南京 大学客座教授，IEEE 会士，ACM 杰 出科学家，CCF 高级会员。 代表作：《统计学习方法》 国内泰斗 周志华，南京大学计算机科学与技 术系主任 、人工智能学院院长。 代表作：《机器学习》（西瓜书） 7 陈天奇,陈天奇是机器学习领域著名的青 年华人学者之一，本科毕业于上海交通 大学ACM班，博士毕业于华盛顿大学计 算机系。 市值/估值/融资额 1 Microsoft（微软） 计算机视觉技术、自然语言处理技术 等 办公 美国 1975年 上市 市值1.21万亿美元 2 Google（谷歌） 计算机视觉技术、自然语言处理技术 等 综合 美国 1998年 上市 市值9324亿美元 3 Facebook（脸书） 人脸识别、深度学习等 社交 美国 2004年 上市 市值5934亿美元 4 百度 计算机视觉技术、自然语言处理技 术 、知识图谱等

Single Frame Predictor SACC2017 视觉感知模型-融合 检测 识别 分割 跟踪 核 心 深度学习 •完全基于深度学习 •统一分类，检测，分割，跟踪 ü通过共享计算提高算法效率 ü通过多个相关任务共同学习提高算法性能 •稀疏标注 ü在节省标注工作量的的同时，充分利用视频数据 Forward Block Forward Block deconvolution 系统框架 n 根据业务需求，对图像人脸进行识别，将结果推送到业务端 n 基于深度学习的准确的人脸检测、特征抽取 n 人脸检测占用95%计算资源 n 峰值时会达到1500 QPS SACC2017 检测-人脸检测/人形检测 场景多样、人脸小、位置边缘 本页图片均来自公开摄像头 SACC2017 检测-人脸检测/人形检测 手机 服务器 可缩小尺寸 240P 720P CPU ARM（千元机） • 复杂度分析 • 问题求解 SACC2017 最早在人脸标准库上LFW达到99.7%的团队之一! SACC2017 输入输出固定，无状态 计算量大、响应->GPU 传输、存储压力 多任务串联 GPU服务框架-图像特点 通用计算（Caffe/Tensorflow/Mxnet） SACC2017 GPU服务框架 人形检测 人脸识别 100台-> 10台服务器 300QPS/台（4*k40）

量机。换个说法，硬间隔指的就是完全分类准确，不能存在分类错误的情 况。软间隔，就是允许一定量的样本分类错误。 软间隔 硬间隔 线性可分 线性不可分 6 支持向量 1.支持向量机概述 算法思想 找到集合边缘上的若干数据（称为 支持向量（Support Vector）） ，用这些点找出一个平面（称为决 策面），使得支持向量到该平面的 距离最大。 距离 7 1.支持向量机概述 背景知识 ? 12 ①转化为凸函数： 先令?∗ = 1，方便计算（参照衡量，不影响评价结果） max ?,? 1 ||?|| ?. ?. ??(?T?? + ?) ≥ 1, ? = 1,2, . . , ? 再将max ?,? 1 ||?||转化成 min ?,? 1 2 ||?||2求解凸函数，1/2是为了求导之后方便计算。 min ?,? 1 2 ||?||2 ?. ?. 线性支持向量机 04 线性不可分支持向量机 22 核技巧 在低维空间计算获得高维空间的计算结果，满足高维，才能在高维下线性可分。 我们需要引入一个新的概 念：核函数。它可以将样本从原始空间映射到一个更高维的特质空间中，使得样本在新的空间中线性可分 。这样我们就可以使用原来的推导来进行计算，只是所有的推导是在新的空间，而不是在原来的空间中进 行，即用核函数来替换当中的内积。