架 TB级模型 分⽚ 存储/更新 百TB数据 分⽚训练 Feature 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 参数按需 获取/更新 Storage 异步训练流⽔线和多级存储：提升性能，降低内存成本 � 问题： � Learner线程中参数拉取和参数更新对性能影响⼤ � 内存成为主要资源瓶颈。由于需要等待全部参数 Hotkey缓存优化 <10台 内存型服务 并发查询优化 数⼗台 ⽹络型服务 TB级模型实时上线 � 问题：TB模型实时多地传输和加载成本⾼ � ⽅案：⾼低频分别上线 � 更灵活的⽤法：模型多切⽚，按需上线 � Dssm � wdl ... 分布式Serving集群 副本1 副本2 Group 1 Group N 副本1 副本2 推理节点 SDK MB级别DNN部分 Sparse

，默认跳转到 http://localhost:8088/tree 53 ⚫Pycharm https://www.jetbrains.com/pycharm/ Pycharm 提供 免费的社区版 与 付费的专业版。专业版额外增加了一些功能， 如项目模板、远程开发、数据库支持等。个人学习 Python 使用免费的社区版 已足够。 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。

，默认跳转到 http://localhost:8088/tree 54 ⚫Pycharm https://www.jetbrains.com/pycharm/ Pycharm 提供 免费的社区版 与 付费的专业版。专业版额外增加了一些功能， 如项目模板、远程开发、数据库支持等。个人学习 Python 使用免费的社区版 已足够。 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。

演示的集成开发环境（IDE）是 PyCharm。 1.4.1 PyCharm 的安装与配置 首先是从 Pycharm 官方网站上下载 Pycharm，版本有专业 版与社区版之分，社区版免费使用而专业版则需要付费使用。 Pycharm 官方网站如下： https://www.jetbrains.com/pycharm/ 点击就可以下载专业版试用或者社区免费版，默认安装之后就 可以通过桌面图标双击打开如下：

2016)（中文名《深度学习》），它 对深度学习背后的概念进行了全面的调查，但这些资源并没有将这些概念的描述与这些概念的代码实现结合 起来。有时会让读者对如何实现它们一无所知。此外，太多的资源隐藏在商业课程提供商的付费壁垒后面。 我们着手创建的资源可以：（1）每个人都可以免费获得；（2）提供足够的技术深度，为真正成为一名应用机 器学习科学家提供起步；（3）包括可运行的代码，向读者展示如何解决实践中的问题；（4）允许我们和社区 块的概念。块（block）可以描述单个层、由多个层组成的组 件或整个模型本身。使用块进行抽象的一个好处是可以将一些块组合成更大的组件，这一过程通常是递归的， 如 图5.1.1所示。通过定义代码来按需生成任意复杂度的块，我们可以通过简洁的代码实现复杂的神经网络。 图5.1.1: 多个层被组合成块，形成更大的模型 从编程的角度来看，块由类（class）表示。它的任何子类都必须定义一个将其输入转换为输出的前向传播函 4所示的“1.选择AMI”中，你必须使用左侧 的“我的AMI”选项来选择你保存的镜像。创建的实例将保留镜像硬盘上存储的信息。例如，你不必重新安 装CUDA和其他运行时环境。 小结 • 我们可以按需启动和停止实例，而不必购买和制造我们自己的计算机。 • 在使用支持GPU的深度学习框架之前，我们需要安装CUDA。 • 我们可以使用端口转发在远程服务器上运行Jupyter笔记本。 练习 1

环境 model.cuda() # 进行一次前向运算，并创建计算图 out = model(x) print('out:', out.shape) 在 PyTorch 中，默认使用按需分配显存方式，可以通过 torch.cuda.memory_allocated 函 数获取目前已分配显存大小，代码如下： # 获取 GPU 0 的总显存 t = torch.cuda.ge ̂变量再次映射变换： ?̃ = ?̂ ∙ ? + ? 其中?参数实现对标准化后的?̂再次进行缩放，?参数实现对标准化的?̂进行平移，不同的 是，?、?参数均由反向传播算法自动优化，实现网络层“按需”缩放平移数据的分布的目 的。 下面我们来学习在 PyTorch 中实现的 BN 层的方法。 10.8.1 前向传播 我们将 BN 层的输入记为?，输出记为?̃。分训练阶段和测试阶段来讨论前向传播过