## PyTorch ## 什么是梯度 主讲人：龙良曲 ## Clarification 导数, derive - 偏微分, partial derive 梯度, gradient $$ \nabla f=\left(\frac{\partial f}{\partial x_{1}};\frac{\partial f}{\partial x_{2}};\ldots;\frac{\partial

func : Symbol = example() // 函数的抽象语法树 7. let diff_0_func : Symbol = func.differentiate(0) // 对x_0的偏微分 8. let _ = diff_0_func.compute(input) 9. } ## • 其中，diff_0 为 1. let diff_0: Symbol = 2. (Symbol::Constant(5 \frac{\partial f}{\partial f} $ 开始，向后计算中间过程的偏微分 $ \frac{\partial f}{\partial g_{i}} $ ，直至输入参数的微分 $ \frac{\partial g_{i}}{\partial x_{i}} $ 可以同时求出每一个输入的偏微分，适用于输入参数多于输出参数 ## 后向微分 ## - 需前向计算，再后向计算微分 } 5. 6. fn Backward::var(value : Double, diff : Ref[Double]) -> Backward { 7. // 更新一条计算路径的偏微分 df / dvi * dvi / dx 8. { value, backward: fn { d => diff.val = diff.val + d } } 9. } 10. 11

需要依靠简化对现实的假设来获得有用的模型。当数据丰富时，可以用更准确地拟合实际情况的非参数模型来代替。在某种程度上，这反映了物理学在上个世纪中叶随着计算机的出现所经历的进步。现在人们可以借助于相关偏微分方程的数值模拟，而不是用手来求解电子行为的参数近似。这导致了更精确的模型，尽管常常以牺牲可解释性为代价。 与以前工作的另一个不同之处是接受次优解，处理非凸非线性优化问题，并且愿意在证明之前尝试。这