激活函数及其梯度 主讲人：龙良曲 Activation Functions Derivative Sigmoid / Logistic Derivative torch.sigmoid Tanh = 2??????? 2? − 1 Derivative torch.tanh Rectified Linear Unit Derivative F.relu 下一课时 Loss及其梯度

阿里云函数计算技术专家 函数计算在双11小程序场景中的应用 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •吴天龙（花名: 木吴） •阿里云函数计算技术专家 •2013 年加入阿里云，参与分布式数据库， 对象存储等产品的开发。现任阿里云函数 计算架构师，聚焦于 Serverless 产品功 能和大规模资源伸缩调度、性能优化等系 统核心能力的研发。❖ 函数计算介绍 函数计算介绍 ❖ 双11小程序场景介绍 ❖ 技术挑战 ❖ Demo 目录函数计算-介绍 • 通用Serverless计算平 台 • 与云端事件源无缝集成 • 弹性伸缩，按量付费函数计算-介绍双11小程序场景介绍小程序场景的挑战 n 安全隔离 n 开发效率 n 大量的小程序是不活跃的 n 活动高峰期流量激增函数计算-冷启动优化 Download & Extract Code User 10ms~60000ms 预留实例 0ms 0ms函数计算-弹性伸缩 C1 C1 C2 C1 C2 时间 t1 t2函数计算-预留实例 • 预留实例：性能好 • 按量实例：按需使用函数计算-预留实例 预留实例 按量实例 效果 0 0 禁止调用 10 0 只使用预留实例，固定费用 0 10 只使用按量实例，按需付费 10 5 混合模式，兼顾性能和成本函数计算 DemoThank you !

常见函数梯度 主讲人：龙良曲 Common Functions ?? + ? ??? + ?? ??? + ?? [? − (?? + ?)]? ?log(?? + ?) 下一课时 什么是激活函数 Thank You.

激活函数与GPU加速 主讲人：龙良曲 Leaky ReLU simply SELU softplus GPU accelerated 下一课时 测试 Thank You.

的相同的栈式 LSTM 模型 . . . . . . . . . . . . 15 3.2 函数式 API 指引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 开始使用 Keras 函数式 API . . . . . . . . . . . . . . . . . . . . . . 47 4.2.3.11 get_layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.3 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.1 Model . . . . . . . . . . . . . . . . 133 7 损失函数 Losses 134 7.1 损失函数的使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 7.2 可用损失函数 . . . . . . . . . . . . . . . . . . . .

1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 7 7.6 链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 WGAN 原理 13.8 WGAN-GP 实战 13.9 参考文献 第 14 章 强化学习 14.1 先睹为快 14.2 强化学习问题 14.3 策略梯度方法 14.4 值函数方法 14.5 Actor-Critic 方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程

) print ( data_tensor . shape ) 输出都是： torch . Size ( [ 2 , 2 ] ) 对于二维 tensor 之间的相乘，@ 和 .matmul 函数表示矩阵相乘；∗ 和 .mul 表示矩阵元素之 间相乘： 6 Chapter 1. 准备章节 7 y = data_tensor @ data_tensor .T print (y) y torch . u t i l s . data import DataLoader 前面说过，Dataset 可以存储自定义数据，我们可以继承 Dataset 类，在子类中实现一些固定 功能的函数，这样就相当于封装了自己的数据为 Dataset 类型。为了方便起见，我们先描述如何 使用预加载数据，然后第二章就开始构建神经网络模型。等第四章我们再描述如何自定义数据集。 我们一次写一个完整的程序来把数据可视化一下： 表示导出的数据应该怎么转换，我们还可以使用参数 target_transf orm 表 示导出的数据标签应该怎么转换。 注意显示时我们调用了 squeeze() 函数，这是因为原来的数据维度是 (1,28,28) 的三维数据， 使用.squeeze() 函数可以把为 1 的维度去掉，即 shape 变为 (28,28)。程序得到显示结果： 随后我们再把数据导入到 DataLoader 里面： # batch_size

4. 计算损失(输出结果和正确值的差值大小)； 5. 将梯度反向传播回网络的参数； 6. 更新网络的参数，主要使用如下简单的更新原则： weight = weight - learning_rate * gradient 原文链接：pytorch 入门笔记 -03- 神经网络 定义网络 开始定义一个网络： import torch import torch.nn as nn import Linear(in_features=84, out_features=10, bias=True) ) 在模型中必须要定义 forward 函数，backward 函数（用来计算梯度）会被 autograd 自动创建。 可以在 forward 函数中使用任何针对 Tensor 的操作。 net.parameters() 返回可被学习的参数（权重）列表和值 原文链接：pytorch 入门笔记 向和反向定义，每个变量操作至少创建一个函数 点，每一个Tensor 的操作都会创建一个接到创建Tensor 和编码其历史 的函数的Function 节点。 重点如下： ● 定义一个网络 ● 处理输入，调用 backword 还剩： ● 计算损失 ● 更新网络权重 原文链接：pytorch 入门笔记 -03- 神经网络 损失函数 一个损失函数接受一对 (output, target)

cpu_tensor.numpy()  注意：  GPU tensor不能直接转为numpy数组，必须先转到CPU tensor。  如果tensor是标量的话，可以直接使用 item() 函数（只能是标量）将值取出来：loss_output.item() 1.Tensors张量的概念 8  Tensor与NumPy的异同 对比项 NumPy Tensor 相同点 可以定义多维数组，进行切片、改变维度、 tensor 含 义 device （ 是 否 使 用 GPU ） , requires_grad(是否需要求导)等设置参数。 1.Tensors张量的概念 9  Tensor与NumPy的函数对比 . 操作类别 Numpy PyTorch 数据类型 np.ndarray torch.Tensor np.float32 torch.float32; torch.float np.float64 Tensor张量乘法 1. 二维矩阵乘法 torch.mm() torch.mm(mat1, mat2, out=None) 其中???1 ∈ ℝ?×?,???2 ∈ ℝ?×?, 输出的??? ∈ ℝ?×? 该函数一般只用来计算两个二维矩阵的矩阵乘法，并且不支持 broadcast操作。 12 1.Tensor张量乘法 2. 三维带batch的矩阵乘法 torch.bmm() 由于神经网络训练一般采用mini-batch，经常输入的时

. . . . . . . . . . . . . . . . . . . . 81 2.7.1 查找模块中的所有函数和类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.6 定义优化算法 . . . 4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 ii 3.3.6 定义优化算法