� �� ∂f ∂A11 · · · ∂f ∂An ... ... ... ∂f ∂Am1 · · · ∂f ∂Amn � �� For an n × n matrix, its trace is defined as trA = �n i=1 Aii trABCD = trDABC = trCDAB = trBCDA trA = trAT, tr(A + B) = trA + trB ▽AtrABATC = CAB + C TABT, ▽A|A| = |A|(A−1)T Funky trace derivative ▽AT trABATC = BTATC T + BATC 1Details can be found in “Properties of the Trace and Matrix Derivatives” by John Duchi Feng Li (SDU) TY + θTX TXθ) = 1 2▽θtr(θTX TXθ) − X TY = 1 2(X TXθ + X TXθ) − X TY = X TXθ − X TY Tip: Funky trace derivative ▽AT trABATC = BTATC T + BATC Feng Li (SDU) Linear Regression September 13, 2023 26 / 31

{x:f}') return results results = gd(0.2, f_grad) epoch 10, x: 0.060466 对进行x优化的过程可以绘制如下。 def show_trace(results, f): n = max(abs(min(results)), abs(max(results))) f_line = torch.arange(-n, n, 0.01) d2l show_trace(results, f) 学习率 学习率（learning rate）决定目标函数能否收敛到局部最小值，以及何时收敛到最小值。学习率η可由算法设 计者设置。请注意，如果我们使用的学习率太小，将导致x的更新非常缓慢，需要更多的迭代。例如，考虑同 一优化问题中η = 0.05的进度。如下所示，尽管经过了10个步骤，我们仍然离最优解很远。 show_trace(gd(0.05 说，(11.3.1)中 的O(η2f ′2(x))可能变得显著了。在这种情况下，x的迭代不能保证降低f(x)的值。例如，当学习率为η = 1.1时， x超出了最优解x = 0并逐渐发散。 show_trace(gd(1.1, f_grad), f) epoch 10, x: 61.917364 局部最小值 为了演示非凸函数的梯度下降，考虑函数f(x) = x · cos(cx)，其中c为某常数。这个函数有无穷多个局部最小

1. install Step2. run server damon Step2. run server damon install from source lines: single trace lines: multi-traces visual X 下一课时 train-val-test Thank You.

�������� ��������������������� TensorFlow ��������� ���� ���� ���� add/multiply/mod/sqrt/sin/trace/fft/argmin ���� size/rank/split/reverse/cast/one_hot/quantize ���� clip_by_value/clip_by_norm/clip_by_global_norm

7407&courseId=1209092816&_trace_c _p_k2_=9e74eb6f891d47cfaa6f00b5cb 5f617c https://study.163.com/course/courseMain.h tm?share=2&shareId=480000001847407& courseId=1208894818&_trace_c_p_k2_=8 d1b10e04bd34d69855bb71da65b0549