. . . . . . . . 378 10 注意力机制 381 10.1 注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 10.1.1 生物学中的注意力提示 . . . . . . . . . . . . . . . . . . . . . . 10个样本。改变m和n，观察和分析实验结果。 2. 给定两个概率为P(A)和P(B)的事件，计算P(A ∪ B)和P(A ∩ B)的上限和下限。（提示：使用友元图43来 展示这些情况。) 3. 假设我们有一系列随机变量，例如A、B和C，其中B只依赖于A，而C只依赖于B，能简化联合概 率P(A, B, C)吗？（提示：这是一个马尔可夫链44。) 4. 在 2.6.2节中，第一个测试更准确。为什么不运行第一个测试两次，而是同时运行第一个和第二个测试 ϵ) = 1 2 exp(−|ϵ|) 1. 写出模型− log P(y | X)下数据的负对数似然。 2. 请试着写出解析解。 3. 提出一种随机梯度下降算法来解决这个问题。哪里可能出错？（提示：当我们不断更新参数时，在 驻点附近会发生什么情况）请尝试解决这个问题。 94 3. 线性神经网络 Discussions47 3.2 线性回归的从零开始实现 在了解线性回归的关键思想之后

性，但是对于大部分逻辑变换操作 而言，合理性都是可较好判断的。改变张量的存储顺序将在“交换维度”一节介绍。 在算法设计过程中，维度变换操作通常是连续反复进行的，为了保持合理的维度变 换，常用的技巧就是人为跟踪存储的维度顺序。例如根据“图片数量-行-列-通道”初始视 图保存的张量，存储也是按照“图片数量-行-列-通道”的顺序写入的。如果按着“图片数 量-像素-通道”的方式恢复视图，并没有与“图 total_correct/total) 通过简单的 3 层神经网络，训练固定的 20 个 Epoch 后，我们在测试集上获得了 87.25%的准确率。如果使用复杂的神经网络模型，增加数据增强环节，精调网络超参数等 技巧，可以获得更高的模型性能。模型的训练误差曲线如图 5.7 所示，测试准确率曲线如 图 5.8 所示。 图 5.7 MNIST 训练误差曲线 图 5.8 MNIST 测试准确率曲线 MSE: 0.024335 Accuracy: 97.67% 可以看到，通过手动计算梯度公式并手动更新网络参数的方式，我们在简单的二分类任务 上也能获得了较低的错误率。通过精调网络超参数等技巧，还可以获得更好的网络性能。 在每个 Epoch 中，我们在测试集上完成一次准确度测试，并绘制成曲线，如图 7.16 所示。可以看到，随着 Epoch 的进行，模型的准确率稳步提升，开始阶段提升较快，后续

自然语言处理（Natural Language Processing）是一门通过建 立形式化的 计算模型来分析、理解和处理自然语言的学科，也是 一门横跨语言学、计算 机科学、数学等领域的交叉学科。自然语 言处理，是指用计算机对自然语言 的形、音、义等信息进行处理 ，即对字、词、句、篇章的输入、输出、识别、 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器 翻译 、文本摘要、文本分 付费的专业版。专业版额外增加了一些功能， 如项目模板、远程开发、数据库支持等。个人学习 Python 使用免费的社区版 已足够。 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。 注意：安装路径尽量不使用带有 中文或空格 的目录，这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 55 Python 的主要数据类型 ⚫字符串

黄海广 副教授 2 01 经典网络 02 深度残差网络 04 卷积神经网络使用技巧 本章目录 03 其它现代网络 3 01 经典网络 1.经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 4 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成; 10 VGG16 VGG16 11 VGG16 12 01 经典网络 2.深度残差网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 13 2.深度残差网络 梯度消失和梯度爆炸问题 14 2.深度残差网络 Input Conv3-32 Conv3-32 Conv3-32 Max-Pool Conv3-32 ResNets使用了许多same卷积 R1 R2 R3 16 01 经典网络 3.其它现代网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 17 3.谷歌Inception网络 1×1 卷积（Network in Network） 1×1卷积层就是这样实现了一些重要功能的（doing something pretty non-trivial），它给神经网络添加

其中：0 < ?? ∗ < ? 21 4.线性不可分支持向量机 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 22 核技巧 在低维空间计算获得高维空间的计算结果，满足高维，才能在高维下线性可分。 我们需要引入一个新的概 念：核函数。它可以将样本从原始空间映射到一个更高维的特质空间中，使得样本在新的空间中线性可分 。这样我们就可以使用原来的推导来进行计算，只是所有的推导是在新的空间，而不是在原来的空间中进 行，即用核函数来替换当中的内积。 4.线性不可分支持向量机 线性不可分 高维下线性可分 23 核技巧 用核函数来替换原来的内积。 4.线性不可分支持向量机 即通过一个非线性转换后的两个样本间的内积。具体地，?(?, ?)是一个核函数，或正定核， 意味着存在一个从输入空间到特征空间的映射，对于任意空间输入的

��������������� ������� 目录 1、视频搜索的挑战 %、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征 视频搜索的挑战 1�����/���——���� 2����/�����——���� 3������——������ ��������������� 1������������ 内容理解——总结 • ����������check��QU���������7�3� ��������NDCG ��1%���� • �������������� • 测试集a 语kr工标注gTQuPG VTuVh • 目前最高:215 a0.+x • 固定数据尝试e同模型a • 双向8ST9+/VVHPVLQP 0.+x • 0L5>A GTQRQuV HOEHGGLPg 高q基线1% 语k模型 ����——�����fasttext SuHTy vGQCVLVNH NDEHN 语k预测 非语k预测 模型解释 %01)香港小姐竞选 TB0《%01)国际h华小姐》竞选佳丽学t态走猫步无时无刻加紧练m % % 1 HOEHGGLPg初始化 ELg笑工坊唐唐脱口秀 【牛r】0Lg笑工坊 第一季a唐唐神吐槽:最作死的女神 184 3 3 % 语k h国达r秀震惊全场

用场景，相信掌握 Pytorch 框架的开发技术人才也会得到丰厚 回报。 1.2 环境搭建 Pytorch 的开发环境搭建十分的简洁，它的依赖只有 Python 语 言 SDK， 只 要 有 了 Python 语 言 包 支 持， 无 论 是 在 windows 平台、ubuntu 平台还是 Mac 平台都靠一条命令 行就可以完成安装。首先是安装 Python 语言包支持，当前 Pytorch 2（LTS），此外Python语言支持版本3.6表示支持3.6.x版本， 其中 x 表示 3.6 版本下的各个小版本，依此类推 3.7、3.8 同样 如此。本书代码演示以 Python3.6.5 版本作为 Python 支持语 言包。它在 Windows 系统下的安装过程非常简单，只需如下 几步： 1. 下载 Python3.6.5 安装包，地址为： https://www.python.org/ftp/python/3

1)相乘得到(?ሾ1], 1)，和?ሾ1]维度相同， ?ሾ1]′(?ሾ1])的维度为(?ሾ1], 1)，这就变成了两个都是(?ሾ1], 1)向量逐元素乘积。 17 4.反向传播算法 实现反向传播有个技巧，就是要保证矩阵的维度相互匹配。最后得 到??ሾ1]和??ሾ1]： ??ሾ1] = ??ሾ1]??, ??ሾ1] = ??ሾ1] 可以看出??ሾ1] 和??ሾ2] 非常相似，其中?扮演了?ሾ0]的角色，

stopping的优点是，只运行 一次梯度下降，你可以找出?的较小 值，中间值和较大值，而无需尝试?2 正则化超级参数?的很多值。 27 正则化 大部分的计算机视觉任务使用很多的数据 ，所以数据增强是经常使用的一种技巧来 提高计算机视觉系统的表现。计算机视觉 任务的数据增强通常以下方法实现： (1) 随意翻转、镜像。 (2) 随意裁剪。 (3) 扭曲变形图片。 (4) 颜色转换，然后给R、G和B三个通道上

方 法 替 代。 这 里 使 用 了 apply_chat_template() 函数将消息转换为模型能够理解的格式。其中的 add_generation_prompt 参数用于在输入中添加生成提示，该提示指向 <|im_start|>assistant\n 。尤其需要注意的是，我们 遵循先前实践，对 chat 模型应用 ChatML 模板。而 max_new_tokens 参数则用于设置响应的最大长度。此 batch_decode() 函数对响应进行解码。关于输入部分，上述的 messages 是一个 示例，展示了如何格式化对话历史记录和系统提示。默认情况下，如果您没有指定系统提示，我们将直接使 用 You are a helpful assistant. 作为系统提示。 1.3.2 流式输出 借助 TextStreamer ，您可以将与 Qwen 的对话切换到流式传输模式。下面是一个关于如何使用它的示例： https://github.com/QwenLM/Qwen-Agent.git cd Qwen-Agent pip install -e ./ 1.14.2 开发您自己的智能体 Qwen-Agent 提供包括语言模型和提示词等原子级组件，及智能体等高级组件在内的多种组件。以下示例选 取助理组件进行展示，阐述了如何整合自定义工具以及如何迅速开发出一个能够应用这些工具的代理程序。 import json import os