PyTorch + OpenVINO 开发实战系列教程 第一篇 系列文章 OpenVINO TM 工具套件 目录 目录 概述 ��������������������������������������������������������������������������������������������������������������������������������� 基础的数据处理与流程处理， 为后续内容学习打下良好基础。 好了，下面就让我们来一起开启这段 Pytorch 框架的深度学习破冰之旅。 PyTorch + OpenVINO 开发实战系列教程 第一篇 2 1. Pytorch 介绍与基础知识 1.1 Pytorch 介绍 Pytorch 是开放源代码的机器学习框架，目的是加速从研究 原型到产品开发的过程。其 SDK 主要基于 Python 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 机器学习框架，第一个是 torch 框架，第二个是 Chainer，实 现了 Eager 模式与自动微分，Pytoch 集成了这两个框架的优 点， 把 Python 语言作为框架的首选编程语言，所以它的名字 是在

PlaidML Keras 后端。 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 • Keras 内置对多 GPU 数据并行的支持。 • 优步的 Horovod 对 Keras 模型有第一流的支持。 • Keras 模型可以被转换为 TensorFlow 估计器并在 Google Cloud 的 GPU 集群上训练。 • Keras 可以在 Spark（通过 CERN 的 Dist-Keras）和 add(Activation('relu')) 3.1.2 指定输入数据的尺寸 模型需要知道它所期望的输入的尺寸。出于这个原因，顺序模型中的第一层（只有第一层， 因为下面的层可以自动地推断尺寸）需要接收关于其输入尺寸的信息。有几种方法来做到这一 点： • 传递一个 input_shape 参数给第一层。它是一个表示尺寸的元组 (一个整数或 None 的元 组，其中 None 表示可能为任何正整数)。在 input_shape randint(10, size=(100, 1)), num_classes=10) model = Sequential() # Dense(64) 是一个具有 64 个隐藏神经元的全连接层。 # 在第一层必须指定所期望的输入数据尺寸： # 在这里，是一个 20 维的向量。 model.add(Dense(64, activation='relu', input_dim=20)) model.add(Dropout(0

没有学习能力，只能完成固定逻辑的判定。 ? ℎ ? ? ? ∈ {0,1} ∈ {0,1} 图 1.4 MP 神经元模型 1958 年，美国心理学家 Frank Rosenblatt 提出了第一个可以自动学习权重的神经元模 型，称为感知机(Perceptron)，如图 1.5 所示，输出值?与真实值 之间的误差用于调整神经 元的权重参数{? , ? , … , ? }。Frank Rosenblatt 感知机”硬件实现感知 机模型，如图 1.6、图 1.7 所示，输入为 400 个单元的图像传感器，输出为 8 个节点端 子，它可以成功识别一些英文字母。一般认为 1943 年~1969 年为人工智能发展的第一次兴 盛期。 ? ? ? ? ? ? 误差 ? 图 1.5 感知机模型 预览版202112 1.2 神经网络发展简史 5 智能发展的第一次寒冬。 尽管处于 AI 发展的低谷期，仍然有很多意义重大的研究相继发表，这其中最重要的 成果就是误差反向传播算法(Back Propagation，简称 BP 算法)的提出，它依旧是现代深度学 习的核心理论基础。实际上，反向传播的数学思想早在 1960 年代就已经被推导出了，但是 并没有应用在神经网络上。1974 年，美国科学家 Paul Werbos 在他的博士论文中第一次提 出可以将

择Jupyter记事本来混合代码、公式和文本，选择Sphinx作为渲染引擎来生成多个输出，并为论坛提供讨论。 虽然我们的体系尚不完善，但这些选择在相互冲突的问题之间提供了一个很好的妥协。我们相信，这可能是 第一本使用这种集成工作流程出版的书。 1 http://distill.pub 2 http://discuss.d2l.ai 2 目录 在实践中学习 许多教科书教授一系列的主题，每一个都非常详细。例如，Chris 码。一旦我们教了您一些组件是如 何工作的，我们就可以在随后的教程中使用高级API了。 内容和结构 全书大致可分为三个部分，在 图1 中用不同的颜色呈现： 目录 3 图1: 全书结构 • 第一部分包括基础知识和预备知识。1节 提供深度学习的入门课程。然后在 2节 中，我们将快速介绍实 践深度学习所需的前提条件，例如如何存储和处理数据，以及如何应用基于线性代数、微积分和概率基 本概念的各种数值运算。3节 。简而言之，如果有大量的（状态、动作、奖励）三元组可 用，即只要有可能尝试很多东西来了解它们之间的关系，强化学习就会发挥最好的作用。仿真提供了这 样一条途径。 • 深度学习框架在传播思想方面发挥了至关重要的作用。允许轻松建模的第一代框架包括Caffe23、 Torch24和Theano25。许多开创性的论文都是用这些工具写的。到目前为止，它们已经被TensorFlow26 （通常通过其高级API Keras27使用）、CNTK28、Caffe

线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某 种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一 解）。 在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。 1.1 基本符号 我们使用以下符号： 的元素给出。 到目前为止，我们一直在右侧乘以列向量，但也可以在左侧乘以行向量。 这是写的， 表示 ， ， 。 和以前一样，我们可以用两种可行的方式表达 ，这取决于我们是 否根据行或列表达 . 第一种情况，我们把 用列表示： 这表明 的第 个元素等于 和 的第 列的内积。 最后，根据行表示 ，我们得到了向量-矩阵乘积的最终表示: 所以我们看到 是 的行的线性组合，其中线性组合的系数由 的元素给出。 ，则矩阵 是对称矩阵。 如果 ，它是反对称的。 很容易证明，对于任 何矩阵 ，矩阵 是对称的，矩阵 是反对称的。 由此得出，任何方矩阵 可以表示为对称矩阵和反对称矩阵的和，所以： 上面公式的右边的第一个矩阵是对称矩阵，而第二个矩阵是反对称矩阵。 事实证明，对称矩阵在实践中 用到很多，它们有很多很好的属性，我们很快就会看到它们。 通常将大小为 的所有对称矩阵的集合表 示为 ，因此 意味着 是对称的

个单词的时，注意力机 制的部分会去关注“The Animal”，将它的表示的一部分编入“it”的编码中。 23 2.Transformer的工作流程 从微观视角看自注意力机制 计算自注意力的第一步就是从每个编码器的输入 向量（每个单词的词向量）中生成三个向量。也 就是说对于每个单词，我们创造一个查询向量 (Q)、一个键向量(K)和一个值向量(V)。这三个向 量是通过词嵌入与三个权重矩阵后相乘创建的， 对加权值向量求和，然后即得到自注 意力层在该位置的输出。 Attention(?, ?, ?) = softmax ??? ?? ? 25 2.Transformer的工作流程 通过矩阵运算实现自注意力机制 第一步是计算查询矩阵、键矩阵和值矩阵。为此，我们将 将输入句子的词嵌入装进矩阵X中，将其乘以我们训练的权 重矩阵(WQ，WK，WV)。 x矩阵中的每一行对应于输入句子中的一个单词。我 们再次看到词嵌入向量 码向量，这些向量的值 遵循特定的模式。 如果我们假设词嵌入的维数为4，则实际的位置编码如下： 35 2.Transformer的工作流程 图中，每一行对应一个词向量的位置编码，所以第一行对应着输入 序列的第一个词。每行包含512个值，每个值介于1和-1之间。我们 已经对它们进行了颜色编码，所以图案是可见的。 20字(行)的位置编码实例，词嵌入 大小为512(列)。你可以看到它从中 间分裂成两半。这是因为左半部分

只有一项，则直接返回频繁k项集的集合作为算法结果，算法结束。 c) 基于频繁k项集，连接生成候选频繁k+1项集。 3） 令k=k+1，转入步骤2。 12 2.Apriori算法 算法案例 第一次迭代：假设支持度阈值为2，创建大小为1的项集并计算它们的支持度。 订单编号 项目 T1 1 3 4 T2 2 3 5 T3 1 2 3 5 T4 2 5 算法发现频繁项集的过程是： (1)构建FP树； (2)从FP树中挖掘频繁项集。 28 3.FP-Growth算法 FP-growth算法思想 该算法和Apriori算法最大的不同有两点： 第一，不产生候选集 第二，只需要两次遍历数据库，大大提高了效率。 29 3.FP-Growth算法 FP-Tree （ Frequent Pattern Tree ） FP树(FP-Tree)是由数据库的初始项集组成的树状结构。 低节点（即项集与其他项集）的关联。 30 3.FP-Growth算法 算法步骤 FP-growth算法的流程为： 首先构造FP树，然后利用它来挖掘频繁项集。 在构造FP树时，需要对数据集扫描两遍， 第一遍扫描用来统计频率，第二遍扫描至考虑频繁项集。 31 3.FP-Growth算法 FP-Tree （ Frequent Pattern Tree ） FP树(FP-Tree)是由数据库的初始项集组成的树状结构。

索和可视化 ，并且对于机器学习算法来说，分析数据会更快、更容易，而不需要处 理额外的特征。 32 3.PCA(主成分分析) 原始指标的线性 组合 综合指标间不 相关，且方差 递减 第一主成分，第二主成分，… 第p主成分 选取前几个最大的主成分代替原来指标的 信息 尽可能多地找出相关 指标作为原始指标 主成分分析流程图： 33 3.PCA(主成分分析) • 1F PCA识别在训练集中占最大方差量的轴。 在图1中，它是实线。 它还找到与第一个轴正交的 第二个轴，它考虑了剩余方差的最大量。在这个 2D示例中，它是虚线。如果它是一个更高维的数 据集，PCA还会找到与前两个轴正交的第三个轴 ，以及第四个，第五个等等 - 与数据集中的维数 一样多的轴。 定义第 ? 轴的单位向量称为第 ? 个主成分 (PC) 。 • 在图1中，第一个 PC为 ?1，第二个 PC 为 ?2 。 • 基于特征值分解协方差矩阵实现PCA算法 39 (1)基于SVD分解协方差矩阵实现PCA算法 3.PCA(主成分分析) PCA 减少?维到?维： 设有?条?维数据，将原始数据按列组成?行?列矩阵? 第一步是均值归一化。我们需要计算出所有特征的均值，然后令 ?? = ?? − ??。（??为均值）。如 果特征是在不同的数量级上，我们还需要将其除以标准差 ?2。 第二步是计算协方差矩阵（covariance

device_map="auto", attn_implementation="flash_attention_2", ) 为了解决下载问题，我们建议您尝试从 ModelScope 进行下载，只需将上述代码的第一行更改为以下内容： from modelscope import AutoModelForCausalLM, AutoTokenizer 借助 TextStreamer ，chat 的流式模式变 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何 使用 llama.cpp 运行 Qwen。 1.4.1 准备 这个示例适用于 Linux 或 MacOS 系统。第一步操作是：“克隆仓库并进入该目录： git clone https://github.com/ggerganov/llama.cpp cd llama.cpp 然后运行 make 命令： make 4.4 PPL 评测 llama.cpp 为我们提供了评估 GGUF 模型 PPL 性能的方法。为了实现这一点，你需要准备一个数据集，比如 “wiki 测试”。这里我们展示了一个运行测试的例子。 第一步，下载数据集： wget https://s3.amazonaws.com/research.metamind.io/wikitext/wikitext-2-raw-v1.zip? �→ref

<2>是第6830行是1，其余位置都是0的向量（上 图编号2所示）。 and在词典里排第367，所以?<3>就是第367行是1 ，其余值都是0的向量（上图编号3所示）。 因为a是字典第一个单词，?<7>对应a，那么这个 向量的第一个位置为1，其余位置都是0的向量（上 图编号4所示）。 Unknow Word的伪单词，用作为标记。 如果你的词典大小是10,000的话，那么这里的每个向量都是10 2.循环神经网络(RNN) RNN的类型 14 2.循环神经网络(RNN) 语言模型和序列生成 The apple and pear（pair） salad was delicious. 第一句话的概率是: ?(The apple and pair salad) = 3.2 × 10−13， 而第二句话的概率是： ? The apple and pear salad = 5.7 ×