基本数据类型 主讲人：龙良曲 All is about Tensor python PyTorch Int IntTensor of size() float FloatTensor of size() Int array IntTensor of size [d1, d2 ,…] Float array FloatTensor of size [d1, d2, …] string

便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用于学习和科学研究，可自由传播，但切勿擅自用于商业用途，由 此引发一切后果贡献者概不负责。 The main reason of organizing PDF version based 使 用 的 默 认 值 图 像 数 据 格 式 （channel_last 或 channels_first）。 • 用于防止在某些操作中被零除的 epsilon 模糊因子。 • 默认浮点数据类型。 • 默认后端。详见 backend 文档。 同 样， 缓 存 的 数 据 集 文 件 （如 使 用 get_file() 下 载 的 文 件） 默 认 存 储 在 $HOME/.keras/datasets/ # or, for Sequential: model = Sequential.from_config(config) • model.get_weights(): 返回模型权重的张量列表，类型为 Numpy array。 • model.set_weights(weights): 从 Nympy array 中为模型设置权重。列表中的数组必须与 get_weights() 返回的权重具有相同的尺寸。

������������������������������������������������������������������������������������ 5 1.4.2 张量定义与声明 �������������������������������������������������������������������������������������������������� 版本、原型版本（Prototype）。 其中稳定版本长期支持维护没有明显的性能问题与缺陷，理论 上支持向后兼容的版本；Beta 版本是基于用户反馈的改动版 本，可能有 API/SDK 函数改动，性能有进一步需要提升的空间； 原型版本是新功能还不可以，需要开发不能通过 pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch 当前支持绝大数的深度学习常见的算子操作，基于相 关的功能 第一篇 5 上图 1-3 中标量、向量、数组、3D、4D、5D 数据矩阵在深 度学习框架中都被称为张量。可见在深度学习框架中所有的数 据都是张量形式存在，张量是深度学习数据组织与存在一种数 据类型。 ● 算子 / 操作数 深度学习主要是针对张量的数据操作、这些数据操作从简单到 复杂、多数都是以矩阵计算的形式存在，最常见的矩阵操作就 是加减乘除、此外卷积、池化、激活、也是模型构建中非常有

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 4.9.1 分布偏移的类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 4.9.2 分布偏移示例 . . . 的数⋯⋯这个 例子仅仅是机器学习常见应用的冰山一角，而深度学习是机器学习的一个主要分支，本节稍后的内容将对其 进行更详细的解析。 1.2 机器学习中的关键组件 首先介绍一些核心组件。无论什么类型的机器学习问题，都会遇到这些组件： 1. 可以用来学习的数据（data）； 2. 如何转换数据的模型（model）； 3. 一个目标函数（objective function），用来量化模型的有效性； 当处理图像数据时，每一张单独的照片即为一个样本，它的特征由每个像素数值的有序列表表示。比如， 200 × 200彩色照片由200 × 200 × 3 = 120000个数值组成，其中的“3”对应于每个空间位置的红、绿、蓝通 道的强度。再比如，对于一组医疗数据，给定一组标准的特征（如年龄、生命体征和诊断），此数据可以用来 尝试预测患者是否会存活。 当每个样本的特征类别数量都是相同的时候，其特征向

3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 Scikit-learn 并不是专门面向神经网络而设计 的，不支持 GPU 加速，对神经网络相关层的实现也较欠缺。 ❑ Caffe 由华人贾扬清在 2013 年开发，主要面向使用卷积神经网络的应用场合，并不适 合其它类型的神经网络的应用。Caffe 的主要开发语言是 C++，也提供 Python 语言等 接口，支持 GPU 和 CPU。由于开发时间较早，在业界的知名度较高，2017 年 Facebook 推出了 Caffe

，先将图片分成 16x16的patch块， 送入transformer encoder，第一个 cls token的输出送 入mlp head得到 预测结果。 2.模型介绍 20 来自输入空间的注意力表达 输入 输入 输入 注意力 注意力 注意力 2.模型介绍 21 左图展示了模型学习到的图嵌入，中图展示了学习到的位置嵌入，右图展示了不同层注意 力的平均距离。 2.模型介绍 且patch之间的所有空间关 系都需要从头学习。 4.模型缺点与改进 29 改进 作为原始图像块的替代方法，输入序列可以由CNN的特征图形成。 在该混合模型中，将patch嵌入投影E应用于从CNN feature map中提取的patch。 作为一种特殊情况，patches的空间大小可以是1x1，这意味着输入序列是通过简单地打平 feature map的空间维度并投射到Transf image_size：int 类型参数，图片大小。 如果您有矩 形图像，请确保图像尺寸为宽度和高度的最大值 patch_size：int 类型参数，patches数目。 image_size 必须能够被 patch_size整除。 num_classes：int 类型参数，分类数目。 dim：int 类型参数，线性变换nn.Linear(..., dim)后输 出张量的尺寸 。 depth：int 类型参数，Transformer模块的个数。

2022年02月 机器学习-引言 黄海广 副教授 2 目录 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 3 1. 机器学习概述 01 认识Python 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 4 机器学习与人工智能、深度学习的关系 机器学习伴随着人工智能的发展而诞生，它是人工智能 发展到一定阶段的必然产物。 12 机器学习发展史 13 机器学习发展史 14 2. 机器学习的类型 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 15 2. 机器学习的类型 16 ✓ 分类（Classification） ✓ 身高1.65m，体重100kg的男人肥胖吗？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ 如何预测上海浦东的房价？ ✓ 未来的股票市场走向？ 2. 机器学习的类型-监督学习 17 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的 空间中？ 2. 机器学习的类型-无监督学习 18 ✓ 强化学习（Reinforcement Learning）

9 0.95 1 动力 外观 内饰 空间 操控 油耗 舒适性 性价比 汽车细粒度情感分析各属性结果 Accuracy F  定制化Loss，单模型多输出  数据标注灵活  结合数据增强，针对不均衡数据做优化 评论 动力 外观 空间 油耗 2.0T涡轮增压发动机动力强，高速120超车没压力；外观是我和老婆都比较喜欢的 款；后排空间有点小；有点费油啊。 20 其他分类案例 识别客户对话过程用 用户反馈的话题类型， 并进行热点话题分析 等。 准确率：96% 税务问题 分类 识别用户在税务局 中咨询的问题类型， 并进行热点问题分 析。 准确率：99% 广告检测 识别文本是否是广 告。如“去屑洗发 水，全国包邮”。 准确率：92% 案件描述 分类 对案件描述进行分类， 并进行可视化展示。 准确率：93% 政务问题 分类 识别用户所问问题 类型并进行热点问 题分析。 题分析。 准确率：98% 21 EI体验空间 22 Copyright©2018 Huawei Technologies Co., Ltd. All Rights Reserved. The information in this document may contain predictive statements including, without limitation, statements

创建n维数组（矩阵） · 对数组进行函数运算 · 数值积分 · 线性代数运算 · 傅里叶变换 · 随机数产生 ······ NumPy是什么？ 5 NumPy提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处 理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大 型金融公司使用，以及核心的科学计算组织如：Lawrence Livermore， NASA 用其处理一些本来使用 C++，Fortran 中的元素可以是任何对象，所以浪费了CPU运算时间和内存。 NumPy诞生为了弥补这些缺陷。它提供了两种基本的对象： ndarray：全称（n-dimensional array object）是储存单一数据类型的 多维数组。 ufunc：全称（universal function object）它是一种能够对数组进行处 理的函数。 NumPy的官方文档： https://docs.scipy.o ndarray对维数没有限制。 [ ]从内到外分别为第0轴，第1轴，第2轴，第3轴。 NumPy 最重要的一个特点是其 N 维数组对象 ndarray，它是一系列同类型数据 的集合，以 0 下标为开始进行集合中元素的索引。 ndarray 对象是用于存放同类型元素的多维数组。 10 1.1 认识 NumPy 数组对象 shape(4,) shape(4,3,2) shape(3,2) NumPy 数组图示

运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一 解）。 在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。 1.1 基本符号 我们使用以下符号： ，表示 为由实数组成具有 行和 列的矩阵。 ，表示具有 个元素的向量。 通常，向量 将表示列向量: 即，具有 行和 列的矩阵。 如果 我们想要明确地表示行向量: 9 矩阵的值域和零空间 一组向量 是可以表示为 的线性组合的所有向量的集合。 即： 可以证明，如果 是一组 个线性无关的向量，其中每个 ，则 。 换句话说，任何向量 都可以写成 到 的线性组合。 向量 投影到 （这里我们假设 ）得到向量 ，由欧几 里德范数 可以得知，这样 尽可能接近 。 我们将投影表示为 ，并且可以将其正式定义为: 矩阵 的值域（有时也称为列空间），表示为 ，是 列的跨度。换句话说，