3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch 基础 4.1 数据类型 11.11 LSTM/GRU 情感分类问题再战 11.12 预训练的词向量 11.13 参考文献 第 12 章 自编码器 12.1 自编码器原理 12.2 MNIST 图片重建实战 12.3 自编码器变种 12.4 变分自编码器 12.5 VAE 实战 12.6 参考文献 第 13 章 生成对抗网络 13.1 博弈学习实例 13.2 GAN 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用具体的代码实现。比如人类对图片的识别、对语言的理 解过程，根本无法通过既定规则模拟实现。为了解决这类问题，一门通过让机器自动从数 据中学习规则的研究学科诞生了，称为机器学习，并在 1980 年代成为人工智能中的热门学 预览版202112

Google Cloud 上，通过 TensorFlow-Serving。 • 在 Python 网页应用后端（比如 Flask app）中。 • 在 JVM，通过 SkyMind 提供的 DL4J 模型导入。 • 在 Raspberry Pi 树莓派上。 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 你的 Keras 模型可以基于不同的深度学习后端开发。重要的是，任何仅利用内置层构建的 epochs=10, batch_size=32) 3.1.5 例子 这里有几个可以帮助你开始的例子！ 在 examples 目录 中，你可以找到真实数据集的示例模型： • CIFAR10 小图片分类：具有实时数据增强的卷积神经网络 (CNN) 快速开始 11 • IMDB 电影评论情感分类：基于词序列的 LSTM • Reuters 新闻主题分类：多层感知器 (MLP) • MNIST activation='sigmoid')(concatenated) classification_model = Model([digit_a, digit_b], out) 3.2.7.4 视觉问答模型 当被问及关于图片的自然语言问题时，该模型可以选择正确的单词作答。 它通过将问题和图像编码成向量，然后连接两者，在上面训练一个逻辑回归，来从词汇表 中挑选一个可能的单词作答。 from keras.layers

题的认真研究最近才进入高潮。我们希望随着深度学习理论的发展，这本书的未来版本将能够在当前版本无 法提供的地方提供见解。 有时，为了避免不必要的重复，我们将本书中经常导入和引用的函数、类等封装在d2l包中。对于要保存到包 中的任何代码块，比如一个函数、一个类或者多个导入，我们都会标记为#@save。我们在 16.6节 中提供了这 些函数和类的详细描述。d2l软件包是轻量级的，仅需要以下软件包和模块作为依赖项： #@save 码可能在PyTorch的未来版本无法正常工作。但是，我们计划使在线版本保持最新。如果读者遇到任何此类 问题，请查看安装 (page 9) 以更新代码和运行时环境。 下面是我们如何从PyTorch导入模块。 #@save import numpy as np import torch (continues on next page) 目录 5 (continued from previous 作用数据 编程（programming with data）。比如，我们可以通过向机器学习系统，提供许多猫和狗的图片来设计一个 “猫图检测器”。检测器最终可以学会：如果输入是猫的图片就输出一个非常大的正数，如果输入是狗的图片 就会输出一个非常小的负数。如果检测器不确定输入的图片中是猫还是狗，它会输出接近于零的数⋯⋯这个 例子仅仅是机器学习常见应用的冰山一角，而深度学习是机器学习的一个主要分支，本节稍后的内容将对其

深度学习在图像审核的应用 腾讯优图实验室 谭国富 http://open.youtu.qq.com SACC2017 优图团队立足于社交网络大平台，借助社交业务积累 的海量人脸、图片、音乐等数据，专注在人脸、图像、 音乐、语音、机器学习等领域开展技术研究，并积极 推动研究成果在业务中落地产生价值。 关于优图实验室 人脸识别 图像识别 音频识别 SACC2017 目录 01 腾讯优图内容审核能力介绍 深度学习技术介绍 03 内容审核的扩展和延伸 00 图像审核的行业背景 SACC2017 内容审核 - 行业现状 不良信息泛滥，监管猝不及防 Ø 随着互联网的飞速发展和信息量的猛增， 大量的色情图片、暴力等不良信息夹杂其 中，严重影响着互联网的健康发展。 Ø 直播行业的快速兴起，使得视频中不良信 息含量更加迅猛增长，色情暴力等不雅视 频频繁流出，导致各网络直播平台面临危 机。 Ø 内容监管日趋严格， 对于直播行业监管也越发严格，几乎所有 知名的直播平台均被有关部门点名查处过， 特别2017 年月中旬，黄鳝事件引爆网络， 让色情直播再度被推上舆论浪尖。 微信朋友圈日上传图片10亿张，视频播放20亿次 4000亿QQ空间存量图片，每天空间相册新增6亿 张上传图片 SACC2017 内容审核 - 痛点和诉求 默默承受 自建识别模型 加大审核人力 一旦出现严重违规平 台面临停业整顿风险 昂贵的专业机器、AI专家

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.1 导入 pytorch 6 1.2 导入样本数据 7 2 构建神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20211006：完成本书第一版。 5 1. 准备章节 1.1 导入 pytorch 6 1.2 导入样本数据 7 本章节将神经网络训练之前的准备工作进行全面介绍。但我们并不介绍如何安装 pytorch，一是由 于不同版本的 pytorch 会依赖于不同的 cuda 工具，二是因为官网资料非常齐全，也有很多博客来 介绍，因此没有必要赘述。 1.1 导入 pytorch 首先我们需要明白一个术语：tensor。这个词被翻译为中文叫张量。1 tensor；而一些微分量，例如梯度、导数等也都是 tensor；矩阵也是张量；多张矩 阵或者多张图像也是张量（3 维张量）。我们在做实验时，可以将 tensor 理解为是“data”。 我们需要先导入 pytorch，顺便导入 numpy： import torch import numpy as np 现在我们尝试将 list 或者 np.array 转换为 pytorch 的数组： data1 =

verification） 人脸识别（face recognition） • 有一个K个人的人脸数据库 • 获取输入图像 • 如果图像是K个人中的某人（或不认识） • 输入图片，以及某人的ID或者是名字 • 验证输入图片是否是这个人 人脸聚类（Face Clustering） 在数据库中对人脸进行聚类， 直接K-Means即可。 5 1.人脸识别概述 人脸检测的步骤 • 人脸定位 人所示），机器应该能分辨出她不是数据库中四个人之一。 ?(???1, ???2) = ?????? ?? ?????????? ??????? ?????? 只要你能学习这个函数?，通过输入一对图片，它将会告诉 你这两张图片是否是同一个人。 8 1.人脸识别概述 Siamese 网络 9 1.人脸识别概述 Siamese 网络 ?(?(?), ?(?)) = ||?(?(?)) − ?(?( − ?(?(?))||2 2较大 10 1.人脸识别概述 Triplet 损失 三元组损失，它代表你通常会同时看三张图片，你需要看Anchor图片 、Postive图片，还有Negative图片，我要把Anchor图片、Positive 图片和Negative图片简写成?、?、?。 11 1.人脸识别概述 Triplet 损失 想要||?(?) − ?(?)||2，你希望这个数值很小，准确地说，你想让它小于等

模型的代码实现 3 1.背景知识 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 4 1.背景知识 图片分类的原理 5 2017年google的机器翻译团队在 NIPS上发表了Attention is all you need的文章，开创性地提出了 在序列转录领域，完全抛弃 CNN和RNN，只依赖Attention-注 1.背景知识 6 为什么需要用transformer Transformer原本是用来做 NLP的工作的，所以ViT的 首要任务是将图转换成词 的结构，这里采取的方法 是如上图左下角所示，将 图片分割成小块，每个小 块就相当于句子里的一个 词。这里把每个小块称作 Patch，而Patch Embedding 就是把每个Patch再经过一 个全连接网络压缩成一定 维度的向量。 1.背景知识 模型的缺点与改进 05 模型的代码实现 9 模型思路 2.模型介绍 1.图片切分为patch 2.patch转化为embedding 3.位置embedding和tokensembedding相加 4.输入到Transformer模型 5.CLS输出做多分类任务 10 先将图片分成NxN的patch块(原始论文是16x16) patch块可以重叠(上图没有重叠，是9x9的patch块)

加了10倍怎么优化？ 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 手里面只有5张图片， 怎么搞出来一个效果还 杂 4.数据获取困 难 挑战 深度模型是非线性的黑盒: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 从FM到DeepFM rt 增 加了10倍怎么优化？ 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 2 边训练边选择(NAS) 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 ✗ 海量参数 ✗ 海量数据 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 从FM到DeepFM rt 增加了10 倍怎么优化？ 深度学习应用主要的挑战：

bbox的编码方式，是预测offset还是相对位置？ • 数据预处理的数据增强方法； • 定位误差函数的实现方法； • 不同AI框架； • 训练时候的不同设置参数，如batch_size, 输入图片大小，学习率，学习衰减率等因素； 应用：检测数据准备与标注 检测数据标注工具-labelImg https://github.com/tzutalin/labelImg pip 安装 labelImg potted plant, sofa, tv/monitor • VOC 2007：9,963张标注过的图片， 由train/val/test三部分组成， 共标注出 24,640个物体。 • VOC 2012：trainval/test包含08-11年的所有对应图片。 trainval有11,540张 图片共27,450个物体。 COCO 数据集 12个大类： [‘appliance’, ‘food’

two-stage(OverFeat，R-CNN，Fast R-CNN，Faster R-CNN 等) 7 目标检测 8 目标检测 9 图像分割 10 目标跟踪 11 计算机视觉 图像的数字表示 一张图片数据量是64×64×3，因为每张图片都有3个颜色通道。 如果计算一下的话，可得知数据量为12288 12 01 计算机视觉概述 02 卷积神经网络概述 03 卷积神经网络计算 04 0 1 0 1 0 -1 -1 -1 * 0 30 0 30 0 30 0 30 30 0 30 0 30 0 30 0 = 如果你用一个3×3的过滤器检测垂直边缘，那么图片的左上角区域，以及旁边的各 个区域（左边矩阵中蓝色方框标记的部分）都可以使用这个3×3的过滤器。即使减 少参数个数，这9个参数同样能计算出16个输出。 27 卷积神经网络作用 稀疏连接 10