选择一个合适容量的模型非常重要，目前所采用的多神经元模型仍是线性模型，只有 一层，表达能力偏弱，类似于图 3.8(a)的情况，接下来将扩大模型容量来解决这两个问 题。 3.5 非线性模型 既然线性模型不可行，那么可以给线性模型嵌套一个非线性函数，即可将其转换为非 线性模型。通常把这个非线性函数称为激活函数(Activation Function)，用?表示： = ?(?? + ?) 这里的?代表了某个具体的非线性激活函数，如 ReLU 函数仅保留正的输入部份，清零负的输入，具有单边抑制特性。虽然简单，ReLU 函 数却有优良的非线性特性，而且梯度计算非常简单，训练稳定，是深度学习中使用最广泛 的激活函数。因此，这里通过嵌套 ReLU 函数将模型转换为非线性模型： = ReLU(?? + ?) 3.6 表达能力 针对于一层模型的表达能力偏弱的问题，可以通过重复堆叠多次变换来增加其表达能 力。如果将一层模 其中第一层神经元的输出值?1作为第二层神经元模型的输入，第二层神经元的输出?2作为 第三层神经元的输入，最后一层神经元的输出作为模型的最终输出 。 从网络结构上看，如图 3.10 所示，函数的嵌套表现为网络层的前后相连，每堆叠一个 (非)线性环节，网络层数增加一层。通常把输入节点?所在的层叫作输入层，每一个非线性 模块的输出??连同它的网络层参数??和??等称为一层网络层。特别地，对于网络中间的

读者展示如何解决实践中的问题；（4）允许我们和社区 的快速更新;（5）由一个论坛2作为补充，用于技术细节的互动讨论和回答问题。 这些目标经常是相互冲突的。公式、定理和引用最好用LaTeX来管理和布局。代码最好用Python描述。网页 原生是HTML和JavaScript的。此外，我们希望内容既可以作为可执行代码访问、作为纸质书访问，作为可下 载的PDF访问，也可以作为网站在互联网上访问。目 错误的对齐: Did you yourself already this excellent tutorial looked-at? 其他学习任务也有序列学习的应用。例如，确定“用户阅读网页的顺序”是二维布局分析问题。再比如，对 话问题对序列的学习更为复杂：确定下一轮对话，需要考虑对话历史状态以及现实世界的知识⋯⋯如上这些 都是热门的序列学习研究领域。 28 1. 引言 1.3.2 无监督学习 技术打开了密度估计的大门。驰骋的斑马 (Zhu et al., 2017) 和假名人脸 (Karras et al., 2017) 的例子都证明了这一进展。即使是业余的涂鸦者也可以根据描述 场景布局的草图生成照片级真实图像（(Park et al., 2019) ）。 • 在许多情况下，单个GPU不足以处理可用于训练的大量数据。在过去的十年中，构建并行和分布式训练 算法的能力有了显著提高。

• 国内领先的云计算厂商 关于七牛云 智能多媒体服务 数据洞察 机器学习 内容生产者 内容消费者 内容采集 （上传加速） 内容分发 海量存储 海量富媒体数据的业务布局 视觉智能 Vision Intelligence 数据智能 Data Intelligence 海量存储 ���� ���� ���� 弹性计算 ��� ��� 智能网络