## PyTorch ## MLP反向传播 主讲人：龙良曲 ## Chain rule ## $$ w_{jk}^{1} \xrightarrow{\sum} O_{k}^{1} \xrightarrow{\sum} O_{k}^{2} \xrightarrow{\sum} E \xrightarrow{\sum} t_{k} $$ $$ \frac{\partial E}{\partial

## PostgreSQL “反向代理” Redis 高金芳 平安科技（深圳）有限公司 ## 个人介绍 职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan.com.cn ## 个人简介： 高金芳，中国平安集团旗下平安科技数据库技术部数据库架构师，从事数据库相关工作9年。 2007年毕业，从事oracle ERP开发，数据仓库和数据挖掘相关工作。

过程如下： 1. 定义包含一些可学习的参数(或者叫权重)神经网络模型； 2. 在数据集上迭代； 3. 通过神经网络处理输入； 4. 计算损失(输出结果和正确值的差值大小); 5. 将梯度反向传播回网络的参数； 6. 更新网络的参数，主要使用如下简单的更新原则：weight = weight - learning_rate * gradient ## 定义网络 开始定义一个网络： import 0525, -0.0239, -0.0056, -0.0597, 0.0184, -0.0300]], grad_fn=) 将所有参数的梯度缓存清零，然后进行随机梯度的反向传播： net.zero_grad() out.backward(torch.randn(1, 10)) ## note torch.nn 只支持小批量输入。整个 torch.nn 包都只支持小批量样本，而不支持单个样本。 GPU 上运行、导出、加载等。 - nn.Parameter：一种变量，当把它赋值给一个Module时，被自动地注册为一个参数。 - autograd.Function：实现一个自动求导操作的前向和反向定义，每个变量操作至少创建一个函数点，每一个Tensor 的操作都会创建一个接到创建Tensor 和编码其历史的函数的Function 节点。 ## 重点如下： · 定义一个网络 - 处理输入，调用

yml，由5个容器组成，这几个容器通过Docker link的形式连接在一起，在容器之间通过容器名字互相访问。对终端用户而言，只需要暴露proxy（即Nginx）的服务端口 • Proxy：由Nginx服务器构成的反向代理。 • Registry：由Docker官方的开源 registry 镜像构成的容器实例。 - UI：即架构中的 core services，构成此容器的代码是 Harbor 项目的主体。

Traefik With Docker 4 Traefik With Kubernetes ## Traefik 是什么？ 云原生的边缘路由器 - 让部署微服务更加便捷而诞生的现代 HTTP 反向代理、负载均衡工具 - 它支持多种后台 (Docker, Swarm, Kubernetes, Marathon, Mesos, Consul, EtcD, Zookeeper, BoltDB,

不会用它。 Tanh激活函数：tanh是非常优秀的，几乎适合所有场合。 ReLu激活函数：最常用的默认函数，，如果不确定用哪个激活函数，就使用ReLu或者Leaky ReLu。 ### 4. 反向传播算法 $$ \begin{aligned}\left.\begin{array}{l}x\\w\\b\end{array}\right\}\Longrightarrow z=w^{T}x+b\ y)=(-y\log\alpha-(1-y)\log(1-a))^{\prime}=-\frac{y}{a}+\frac{1-y}{1-a}\end{array}\right.\end{aligned} $$ ### 4. 反向传播算法 因为 $ \frac{dL(a,y)}{dz}=\frac{dL}{dz}=(\frac{dL}{da})\cdot(\frac{da}{dz}) $ 并且 $ \frac{da}{dz}=a\cdot(1-a) a(1-a)=a-y\end{aligned} $$  ### 4. 反向传播算法  $$ \begin{a