travellerit would be remarkably convenient for the historia travellery of il the hise fupt might and st was it loflers 与上一节相比，由于深度学习框架的高级API对代码进行了更多的优化，该模型在较短的时间内达到了较低 的困惑度。 328 8. 循环神经网络 小结 • 深度学习 列上的任意时 间步t′，循环神经网络将来自上一时间步的输出yt′−1 和上下文变量c作为其输入，然后在当前时间步将它们 和上一隐状态 st′−1转换为隐状态st′。因此，可以使用函数g来表示解码器的隐藏层的变换： st′ = g(yt′−1, c, st′−1). (9.7.3) 在获得解码器的隐状态之后，我们可以使用输出层和softmax操作来计算在时间步t′时输出yt′的条件概率分 布 在任何解码时间步t′都会被ct′替换。假设输入序列中有T个词元， 解码时间步t′的上下文变量是注意力集中的输出： ct′ = T � t=1 α(st′−1, ht)ht, (10.4.1) 其中，时间步t′ − 1时的解码器隐状态st′−1是查询，编码器隐状态ht既是键，也是值，注意力权重α是使用 (10.3.2) 所定义的加性注意力打分函数计算的。 与 图9.7.2中的循环神经网络编码器‐解码器架构略有不同，图10

4���/OCR/ASR��NLP�� �������� ����������� 内容理解——自动分类技术 • 目的a输入v意视频，通过内容理解的方法对视 频进行类目和标签预测 • 方法a采用1::+8ST9的UHSuHPFH-VQ- UHSuHPFH RTHGLFVLQP的方法 • 效果a • 基类目平均准确率.8(% ������ pu/行i检测技术 • 目的a给定e定长视频，定x感兴趣行i发生的时间段并给出 ��1%���� • �������������� • 测试集a 语kr工标注gTQuPG VTuVh • 目前最高:215 a0.+x • 固定数据尝试e同模型a • 双向8ST9+/VVHPVLQP 0.+x • 0L5>A GTQRQuV 0.8x • 固定模型尝试VHTO HOEHGGLPg初始化方式a 模型 初始化方式 长尾=uHTy

Press, 2019 Zhihua Zhou, Machine Learning, Tsinghua Press, 2016 Tom M. Mitchell, Machine Learning (1st Ed.), China Machine Press, 2008 Ian Goodfellow, Yoshua Bengio, Deep Learning, People’s Posts and Telecommunications World Publishing Corporation, 2015 Christopher M. Bishop, Pattern Recognition and Machine Learning (1st Ed.), Springer, 2006 Feng Li (SDU) Overview September 6, 2023 5 / 57 Prerequisite Courses Linear

▪ 3x3 ▪ 1x1 ▪ 11-19 layers 1x1 Convolution ▪ less computation ▪ c_in => c_out GoogLeNet ▪ 1st in 2014 ILSVRC ▪ 22 layers Stack more layers? ▪ 1000 layers? 下一课时 ResNet Thank You.

downsample = Sequential() self.downsample.add(layers.Conv2D(filter_num, (1, 1), strides=st ride)) else: # 否则，直接连接 self.downsample = lambda x:x 在前向传播时，只需要将ℱ(?)与identity( old_action_log_prob = tf.reshape(old_action_log_prob, [-1,1]) # 通过 MC 方法循环计算 R(st) R = 0 Rs = [] 预览版202112 第 14 章 强化学习 20 for r in reward[::-1]: with tf.GradientTape() as tape1, tf.GradientTape() as tape2: # 取出 R(st)，[b,1] v_target = tf.expand_dims(tf.gather(Rs, index, axis=0), axis =1)

1 intercept term to every example. To do this in Matlab/Octave, the command is m = length (y ) ; % st or e the number of t r a i n i n g examples x = [ ones (m, 1) , x ] ; % Add a column of ones to x

function, file IO, class, ... ■ refs: link1, link2, link3 2. Deep Learning Basics ■ Prof. Lee’s 1st & 2nd lecture videos from last year ■ ref: link1, link2 Some knowledge of NumPy will also be useful