## PyTorch ## MLP反向传播 主讲人：龙良曲 ## Chain rule ## $$ w_{jk}^{1} \xrightarrow{\sum} O_{k}^{1} \xrightarrow{\sum} O_{k}^{2} \xrightarrow{\sum} E \xrightarrow{\sum} t_{k} $$ $$ \frac{\partial E}{\partial

## PostgreSQL “反向代理” Redis 高金芳 平安科技（深圳）有限公司 ## 个人介绍 职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan.com.cn ## 个人简介： 高金芳，中国平安集团旗下平安科技数据库技术部数据库架构师，从事数据库相关工作9年。 2007年毕业，从事oracle ERP开发，数据仓库和数据挖掘相关工作。

forward() Step1. ☐ ☐ ☐ class MLP(nn.Module): def __init__(self): super(MLP, self).__init__() ## Step2 ## ☀️ ☀️ ☁️ class MLP(nn.Module): def __init__(self): super(MLP, self).__init__() self.model nn.Linear(200, 10), nn.ReLU(inplace=True), Step3. ☐ ☐ ☐ class MLP(nn.Module): def __init__(self): super(MLP, self).__init__() self.model = nn.Sequential( nn.Linear(784, 200), relu(x, inplace=True) In [57]: layer=nn.ReLU() In [58]: x=layer(x) ## Train ## ☀️ ☀️ ☁️ net = MLP() optimizer = optim.SGD(net.parameters(), lr=learning_rate) criteon = nn.CrossEntropyLoss() for

过程如下： 1. 定义包含一些可学习的参数(或者叫权重)神经网络模型； 2. 在数据集上迭代； 3. 通过神经网络处理输入； 4. 计算损失(输出结果和正确值的差值大小); 5. 将梯度反向传播回网络的参数； 6. 更新网络的参数，主要使用如下简单的更新原则：weight = weight - learning_rate * gradient ## 定义网络 开始定义一个网络： import 0525, -0.0239, -0.0056, -0.0597, 0.0184, -0.0300]], grad_fn=) 将所有参数的梯度缓存清零，然后进行随机梯度的反向传播： net.zero_grad() out.backward(torch.randn(1, 10)) ## note torch.nn 只支持小批量输入。整个 torch.nn 包都只支持小批量样本，而不支持单个样本。 GPU 上运行、导出、加载等。 - nn.Parameter：一种变量，当把它赋值给一个Module时，被自动地注册为一个参数。 - autograd.Function：实现一个自动求导操作的前向和反向定义，每个变量操作至少创建一个函数点，每一个Tensor 的操作都会创建一个接到创建Tensor 和编码其历史的函数的Function 节点。 ## 重点如下： · 定义一个网络 - 处理输入，调用

tensor([[−0.0107, −0.0021, 0.0047, 0.0092, −0.0091, −0.0030, 0.0069, −0.0105, −0.0061, −0.0051]]) ## 下一课时 MLP及梯度 ## Thank You

2.4.3 梯度 ..... 68 2.4.4 链式法则 ..... 68 2.5 自动微分 ..... 69 2.5.1 一个简单的例子 ..... 70 2.5.2 非标量变量的反向传播 ..... 71 2.5.3 分离计算 ..... 71 2.5.4 Python控制流的梯度计算 ..... 72 2.6 概率 ..... 73 2.6.1 基本概率论 .. 157 4.6.4 从零开始实现 ..... 158 4.6.5 简洁实现 ..... 161 4.7 前向传播、反向传播和计算图 ..... 162 4.7.1 前向传播 ..... 163 4.7.2 前向传播计算图 ..... 163 4.7.3 反向传播 ..... 164 4.7.4 训练神经网络 ..... 165 4.8 数值稳定性和模型初始化 ..... . 188 深度学习计算 ..... 191 5.1 层和块 ..... 191 5.1.1 自定义块 ..... 193 5.1.2 顺序块 ..... 194 5.1.3 在前向传播函数中执行代码 ..... 195 5.1.4 效率 ..... 197 5.2 参数管理 ..... 197 5.2.1 参数访问 ..... 198 5.2.2 参数初始化 ..

大会：11月8-9日培训：11月10-11日 AiCon 北京 全球人工智能与机器学习大会 大会：11月21-22日培训：11月23-24日 InfoQ官网 全新改版上线 促进软件开发领域知识与创新的传播 精选内容 华为面试改革重编程；黑客攻击 Git私有库索要赎金1Q新闻 华为面试改革，增加90分钟网上编程和 30分钟当面编程；德国摧毁全球第二大暗网交易平台；黑客攻击Git开发者私… 作者：赵钰曼 Ad Context Features 通用Embedding&MLP范式 享受算力&数据红利、模型capacity爆增 ’ alt=‘OCR图片’/> 基于Embedding&MLP范式的模型改进 User Behaviors Candidate Ad Context Features 基于Embedding&MLP通用范式下的创新方法 DNN DeepFM PNN Wide&Deep 局部相关性：只有部分兴趣和目标相关 反向激活机制：只用关心和目标相关的兴趣，解决多样性问题 自适应定长向量：增强兴趣表达的准确性和灵活性 [KDD2018] https://arxiv.org/abs/1706.06978v4 ’ alt=‘OCR图片’/> 深度兴趣网络DIN一一捕捉相关兴趣 DIN反向激活机制，和目标商品越相关的历史行为得到的激活权重越大 局部相关性：只有部分兴趣和目标相关 ·反向激活机制

RepOptBlock 版本的单层激活值数据分布 为解决这一问题，RepOpt 提出了一种基于优化器的重参数化设计（如下图 3 所 示)，通过梯度掩码（Gradient Mask）的方式在网络训练反向传播的过程中加入先验，保证了训练精度可达到 RepVGG 相近的水平，而网络结构则在训练和推理阶段始终保持普通的 VGG 结构，这种训练方法请参考 RepOpt $ ^{[3]} $ 。该工作中提出的 以及优化子图采样算法，来解决这一问题。 ### 5.1 图数据结构优化 图数据结构的内存占用是制约可训练图规模的重要因素。以 MAG240M-LSC 数据集 $ ^{[13]} $ 为例，添加反向边后图中共有 2.4 亿节点和 35 亿边。在基于子图采样的训练方式下，PyG 和 DGL 单机的图数据结构均需要占用 100GB 以上的内存，其它开源框架的内存占用往往更多。在更大规模的业务场景图 如何抽取有效场景特征交叉。 - 如何打破序列建模下的兴趣封闭性。 - 如何完整地对用户决策场景进行有效刻画。 针对上述问题特点，经过逐层分解，我们发现需要一种更加完整、高效的信息表达方式，能够具备：关系预测能力、全局信息传播能力、高阶表达能力，而我们在图技术的领域中找到相应的解决方案，后文会针对这些问题和图技术的解法依次进行展开，希望这些思考和实践经验能对大家有所帮助或者启发。 ### 1.2 图技术介绍 近些年来，随着图神经网络（Graph