。本书将带读者开启机器学习之旅，并特别关注深度 学习（deep learning，DL）的基础知识。深度学习是一套强大的技术，它可以推动计算机视觉、自然语言处 理、医疗保健和基因组学等不同领域的创新。 1.1 日常生活中的机器学习 机器学习应用在日常生活中的方方面面。现在，假设本书的作者们一起驱车去咖啡店。阿斯顿拿起一部iPhone， 对它说道：“Hey Siri！”手机的语音识别系统就 2014) 的发明。传统模型中，密度估计和生成模 型的统计方法侧重于找到合适的概率分布（通常是近似的）和抽样算法。因此，这些算法在很大程度上 受到统计模型固有灵活性的限制。生成式对抗性网络的关键创新是用具有可微参数的任意算法代替采 样器。然后对这些数据进行调整，使得鉴别器（实际上是一个双样本测试）不能区分假数据和真实数 据。通过使用任意算法生成数据的能力，它为各种技术打开了密度估计的大门。驰骋的斑马 Artificial Intelligence:A Modern Approach (Russell and Norvig, 2016) 中所说的： 虽然飞机可能受到鸟类的启发，但几个世纪以来，鸟类学并不是航空创新的主要驱动力。同样地，如今在深 度学习中的灵感同样或更多地来自数学、统计学和计算机科学。 小结 • 机器学习模型中的关键要素是训练数据、损失函数、优化算法，还有模型本身。 • 矢量化使数学表达上更简洁，同时运行的更快。

《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁� • 围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 • 创立6年，每年超过300%的业绩增长 • 已完成5轮融资，累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿，每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1����� �� �� �� ���XX��

苏宁国际美国硅谷研究院 苏宁美国硅谷研究院创 建于2013年11月，其宗旨是建立 高科技人才和专利的蓄水池，推 动苏宁持续地创新和转型，为用 户提供简约完美的用户体验。 硅谷研究院由来自云计 算、大数据、人工智能及深度学 习等不同专业背景的工程师、数 据科学家及分析师组成。目前包 含人工智能、大数据和创新三个 实验室。 4  程进兴，苏宁美国研究院技术总监，斯坦福大学 博士，清华大学本科。 曾在甲骨文，雅虎，微软，

DenseNet DenseNet是2017年CVPR会 议上提出的一种卷积神经网络 结构，其名字来源于“密集连 接网络（Densely Connected Network）”。 DenseNet的创新点在于在网 络结构中引入了密集连接，使 特征复用和梯度传播更加容易 ，在处理图像分类、目标检测 、分割等问题中都取得了不错 的结果。 21 3.其它现代网络 DenseNet 总的来说，De

GAN的思考与前景 GAN的优点和意义 （1）GAN 对于生成式模型的发展具有重要的意义 。 a. GAN 作为一种生成式方法，有效解决了可建立自然性解释的数据的 生成难题 。 b. GAN的训练过程创新性地将两个神经网络的对抗作为训练准则并且可 以使用反向传播进行训练，大大改善了生成式模型的训练难度和训练效率。 c. GAN 在生成样本的实践中，生成的样本易于人类理解 。 （2）GAN 除

特征选择/生成: Age, sex, comment, click… 解决方案: 超参搜索 效果提升 模型理解 问题: 黑盒 1. 参数太多 / 参数敏感 2. 候选空间大 3. 场景数据相关 模型创新 2.模型效果优化 模型效果优化: 超参数搜索NNI ExpId f1 .dim f2.dim auc 1 2 80 80 0 .687 9 48 48 0 .671 0 64 64 0

第2阶段：专家系统推 广 (1980s-1990s) 第3阶段：深度学习 (2000s-至今 ) 1997 IBM的 Deep Blue战 胜国际 象棋冠 军 2011 苹果的 Siri问世， 技术上不 断创新 2012 Google的 无人驾驶 汽车上路 （2009年 宣布） 2016 Deepmind团队 AlphaGo&Ma ster运用深度学 习算法战胜围 棋冠军 1990-1991

Facebook（脸书） 人脸识别、深度学习等 社交 美国 2004年 上市 市值5934亿美元 4 百度 计算机视觉技术、自然语言处理技 术 、知识图谱等 综合 中国 2001年 上市 市值438亿美元 5 大疆创新 图像识别技术、智能引擎技术等 无人机 中国 2006年 战略融资 估值210亿美元 6 商汤科技 计算机视觉技术、深度学习 安防 中国 2014年 D轮融资 估值70亿美元 7 旷视科技 计算机视觉技术等

Facebook（脸书） 人脸识别、深度学习等 社交 美国 2004年 上市 市值5934亿美元 4 百度 计算机视觉技术、自然语言处理技 术 、知识图谱等 综合 中国 2001年 上市 市值438亿美元 5 大疆创新 图像识别技术、智能引擎技术等 无人机 中国 2006年 战略融资 估值210亿美元 6 商汤科技 计算机视觉技术、深度学习 安防 中国 2014年 D轮融资 估值70亿美元 7 旷视科技 计算机视觉技术等

Normalization 方法均由独立的几篇论文提出，并在某些应用上验证了其相 当或者优于 BatchNorm 算法的效果。由此可见，深度学习算法研究并非难于上青天，只要 多思考、多锻炼算法工程能力，人人都有机会发表创新性成果。 图 10.41 不同标准化方案示意图 [7] 10.8.3 BN 层实现 在 PyTorch 中，通过 nn.BatchNorm2d()类可以非常方便地实现 BN 层，指定当前层的 个全连接层等拆开在两块显卡上面分别训练，最后一层合 并到一张显卡上面，进行反向传播更新。AlexNet 在 ImageNet 取得了 15.3%的 Top-5 错误 率，比第二名在错误率上降低了 10.9%。 AlexNet 的创新之处在于： ❑ 层数达到了较深的 8 层。 ❑ 采用了 ReLU 激活函数，过去的神经网络大多采用 Sigmoid 激活函数，计算相对复 杂，容易出现梯度弥散现象。 ❑ 引入 Dropout 前图片分别属于 1000 类别的概率分布，如图 10.44 所示。VGG16 在 ImageNet 取得了 7.4%的 Top-5 错误率，比 AlexNet 在错误率上降低了 7.9%。 VGG 系列网络的创新之处在于： ❑ 层数提升至 19 层。 ❑ 全部采用更小的3 × 3卷积核，相对于 AlexNet 中 × 的卷积核，参数量更少，计算代 价更低。 ❑ 采用更小的池化层2 × 2窗口和步长