开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、 云部署、针对深度学习特定领域有不同的丰富的扩展库。 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 机器学习框架，第一个是 torch 框架，第二个是 Chainer，实 现了 Eager 模式与自动微分，Pytoch Pytorch。由于 Pytorch 吸 取了之前一些深度学习框架优点，开发难度大大降低、很容易 构建各种深度学习模型并实现分布式的训练，因此一发布就引 发学术界的追捧热潮，成为深度学习研究者与爱好者的首选开 发工具。在 pytorch 发布之后两年的 2018 年 facebook 又把 caffe2 项目整合到 pytorch 框架中，这样 pytorch 就进一步 整合原来 caffe 开发者生态社区，因为其开发效率高、特别容 易构建各种复杂的深度学习模型网络，因此很快得到大量人工 智能开发者的认可与追捧，也成为工业界最受欢迎的深度学习 框架之一。 Pytorch 发展至今，其版本跟功能几经迭代，针对不同的场景 任务分裂出不同的分支扩展库，比如针对自然语言处理（NLP） 的 torchtext、针对计算机视觉的 torchvision、针对语音处理 的 torchaud

支持百亿特征维度，千亿参数 • 模型版本 • 多模型多版本：多组实验并行执行，提高实验迭代效率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合 • 模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换 • 稳定性优化 • 模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储 % 3 在线机器学习-参数服务器 模型验证 离线训练 实时训练 模型训练 模型部署 在线服务 离线验证 在线发布 在线验证 在线一致性/ 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/ 召回率/… 流量切换 版本更新 全量发布 … verson1 verson2 … kubenetes/olsubmit 模型库 3 在线机器学习-模型服务部署 周期使用验证样本进行点击率预估 • 待部署模型与线上模型进行指标对比，评估是否满足上线条件 • 一键部署 • 基于K8S的deployment模式，一键端口分配与模型服务部署 • 基于ZK的服务发现，一键进行流量灰度与发布 • 性能优化 • 通信优化：特征请求与模型计算单元化，在线样本格式压缩 • 计算优化：基于SSE／AVX 指令优化 3 在线机器学习-模型服务部署 • 模型更新频次效果对比 • FM：数据越新，效果越好

在本书中编写时，很多英文词汇尚无法在业界找到一个共识翻译名，因此作者备注翻译 的英文原文，供读者参考，同时也方便读者日后阅读相关英文文献时，不至于感到陌生。 尽管每天都有深度学习相关算法论文的发布，但是作者相信，深度学习的核心思想和基 础理论是共通的。本书已尽可能地涵盖其中基础、主流并且前沿的算法知识，但是仍然有很 多算法无法涵盖，读者学习完本书后，可以自行搜索相关方向的研究论文或资料，进一步学 进行二次撰写，代码部分完全基于 PyTorch 进行实现。考虑到本人能力有限、行文仓促，可 以预见地，本书会存在部分语句表达不准确、部分素材尚未创作完成、部分参考引用未能及 时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学 者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误 之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 ，高度并行化的 GPU 和海量数据让大 规模神经网络的训练成为可能。 2006 年，Geoffrey Hinton 首次提出深度学习的概念。2012 年，8 层的深层神经网络 AlexNet 发布，并在图片识别竞赛中取得了巨大的性能提升，此后几十层、数百层、甚至 上千层的神经网络模型相继提出，展现出深层神经网络强大的学习能力。业界一般将利用 深层神经网络实现的算法称作深度学习，本质上神经网络和深度学习可认为是相同的。

© 2018 by Keras-Team 前 言 整理 Keras: 基于 Python 的深度学习库 PDF 版的主要原因在于学习 Keras 深度学习库时方 便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用 化，可扩展性）。 • 同时支持卷积神经网络和循环神经网络，以及两者的组合。 • 在 CPU 和 GPU 上无缝运行。 查看文档，请访问 Keras.io。 Keras 兼容的 Python 版本: Python 2.7-3.6。 1.2 指导原则 • 用户友好。Keras 是为人类而不是为机器设计的 API。它把用户体验放在首要和中心位置。 Keras 遵循减少认知困难的最佳实践：它提供一致且简单的 中 你的 Keras 模型可以基于不同的深度学习后端开发。重要的是，任何仅利用内置层构建的 Keras 模型，都可以在所有这些后端中移植：用一种后端训练模型，再将它载入另一种后端中（比 如为了发布）。支持的后端有： • 谷歌的 TensorFlow 后端 • 微软的 CNTK 后端 • Theano 后端 亚马逊也正在为 Keras 开发 MXNet 后端。 如此一来，你的 Keras

些代码示例分散在各种博客帖子和GitHub库中。但是，这些示例通常关注如何实现给定的方法，但忽略了为 什么做出某些算法决策的讨论。虽然一些互动资源已经零星地出现以解决特定主题。例如，在网站Distill1上 发布的引人入胜的博客帖子或个人博客，但它们仅覆盖深度学习中的选定主题，并且通常缺乏相关代码。另 一方面，虽然已经出现了几本教科书，其中最著名的是 (Goodfellow et al., 2016)（中文名《深度学习》），它 这本书将从头开始教授深度学习的概念。有时，我们想深入研究模型的细节，这些的细节通常会被深度学习 框架的高级抽象隐藏起来。特别是在基础教程中，我们希望读者了解在给定层或优化器中发生的一切。在这 些情况下，我们通常会提供两个版本的示例：一个是我们从零开始实现一切，仅依赖张量操作和自动微分； 另一个是更实际的示例，我们使用深度学习框架的高级API编写简洁的代码。一旦我们教了您一些组件是如 何工作的，我们就可以在随后的教程中使用高级API了。 管我们尽了最大努 力，但仍然缺乏对各种技术的正式解释，这既是因为描述这些模型的数学可能非常困难，也是因为对这些主 题的认真研究最近才进入高潮。我们希望随着深度学习理论的发展，这本书的未来版本将能够在当前版本无 法提供的地方提供见解。 有时，为了避免不必要的重复，我们将本书中经常导入和引用的函数、类等封装在d2l包中。对于要保存到包 中的任何代码块，比如一个函数、一个类或者多个导入，我们都会标记为#@save。我们在

首次中国公司在ImageNet竞赛 夺冠，视频分析技术登顶 人脸识别大幅提高精度，商汤科 技首次突破人类肉眼识别准确率 ，领先于Facebook Google5000万美元招入 Hinton，发布基于深度学习的 搜索引擎 Microsoft 深度学习驱动的语音 识别大幅提升精度 软银孙正义设立1000亿美元人 工智能基金，320亿美元收购芯 片架构公司ARM 2016.7 公司简介 使用模型压缩算法，在基本保障准确率的情况下大幅提升速度 - 利用最新的硬件特性，如GPU TensorCore/int8 *示意图来自互联网 Kubernetes在异构系统调度中的挑战 • Kubernetes版本发布快，新特性更新频繁，对异构调度的支持不断加强；但配套设施落后（e.g. Spark on K8s, GitlabCI) • 容器系统调用栈深，需要仔细验证操作系统，内核及异构设备驱动的兼容性 •

pydot flask Pillow (PIL Fork) PIL(Python Imaging Library) 为 Python 解释器添加了图像处理功能。但是，在 2009 年发布 1.1.7 版本后，社区便停止更新和维护。 Pillow 是由 Alex Clark 及社区贡献者 一起开发和维护的一款分叉自 PIL 的图像工具库。 至今，社区依然非常活跃，Pillow 仍在快速迭代。 试。 https://zh.wikipedia.org/wiki/captcha 验证码（CAPTCHA）破解 一些曾经或者正在使用中的验证码系统已被破解。 这包括Yahoo验证码的一个早期版本 EZ-Gimpy，PayPal使用的验证码，LiveJournal、 phpBB使用的验证码，很多金融机构（主要是银行）使用的网银验证码以及很多其他网站 使用的验证码。 俄罗斯的一个黑客组织

说白了就是transformer的encoder部分 并不需要标签，有语料就能训练了 4.BERT Encoder BERT是一个算法模型，它的出现打破了大量的自然语言处 理任务的记录。在BERT的论文发布不久后，Google的研发 团队还开放了该模型的代码，并提供了一些在大量数据集 上预训练好的算法模型下载方式，这使得所有人都可以通 过它来构建一个涉及NLP的算法模型，节约了大量训练语 言模型所需的时间，精力，知识和资源 词嵌入 段嵌入 位置嵌入 52 4.BERT BERT—模型结构 2个BERT的模型都有一个很大的编码器层数，（论 文里面将此称为Transformer Blocks） - 基础版本就 有12层，进阶版本有24层。同时它也有很大的前 馈神经网络（ 768和1024个隐藏层神经元），还有 很多attention heads（12-16个）。这超过了 Transformer论文中的参考配置参数（6个编码器层

. . . . . . . . . . . . . . . . . . . . . . 28 前言及简介 DezemingFamily 系列书和小册子因为是电子书，所以可以很方便地进行修改和重新发布。如果您 获得了 DezemingFamily 的系列书，可以从我们的网站 [https://dezeming.top/] 找到最新版。对 书的内容建议和出现的错误欢迎在网站留言。 0.1 本书前言 20211006：完成本书第一版。 5 1. 准备章节 1.1 导入 pytorch 6 1.2 导入样本数据 7 本章节将神经网络训练之前的准备工作进行全面介绍。但我们并不介绍如何安装 pytorch，一是由 于不同版本的 pytorch 会依赖于不同的 cuda 工具，二是因为官网资料非常齐全，也有很多博客来 介绍，因此没有必要赘述。 1.1 导入 pytorch 首先我们需要明白一个术语：tensor。这个词被翻译为中文叫张量。1

PyTorch功能演示 Torch ▪ 2002年 Torch ▪ 2011年 Torch7 ▪ Lua PyTorch ▪ 2016.10 发布0.1，THNN后端 ▪ 2018.12 发布1.0 ， CAFFE2后端 ▪ 2019.5 发布1.1 ▪ Facebook AI Research 同类框架 https://towardsdatascience.com/battle-