通信优化：数据请求(PULL&PUSH)聚合，同模型多矩阵并发，锁粒度优化，性能提升5-10倍 • 缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍 • 分区优化：支持多种分区策略（RANGE/HASH/MOD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍 • 存储优化：自定义存储方式(ByRow&ByKey)，基于row进行矩阵压缩存储，参数内存占用减少90% 减少90% 3 在线机器学习-参数服务器 模型验证 离线训练 实时训练 模型训练 模型部署 在线服务 离线验证 在线发布 在线验证 在线一致性/ 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/ 召回率/… 流量切换 版本更新 全量发布 … verson1 verson2 … kubenetes/olsubmit 模型库 3 在线机器学习-模型服务部署 模型评估 • 模型上线部署前指标评估 • 周期使用验证样本进行点击率预估 • 待部署模型与线上模型进行指标对比，评估是否满足上线条件 • 一键部署 • 基于K8S的deployment模式，一键端口分配与模型服务部署 • 基于ZK的服务发现，一键进行流量灰度与发布 • 性能优化 • 通信优化：特征请求与模型计算单元化，在线样本格式压缩 • 计算优化：基于SSE／AVX 指令优化 3

10.1.1 生物学中的注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 10.1.2 查询、键和值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 10.1.3 注意力的可视化 . 有限的。因此，我们可以从随机偏移量开始划分序 列，以同时获得覆盖性（coverage）和随机性（randomness）。下面，我们将描述如何实现随机采样（random sampling）和 顺序分区（sequential partitioning）策略。 308 8. 循环神经网络 随机采样 在随机采样中，每个样本都是在原始的长序列上任意捕获的子序列。在迭代过程中，来自两个相邻的、随机 seq_data_iter_random(corpus, batch_size, num_steps): #@save """使用随机抽样生成一个小批量子序列""" # 从随机偏移量开始对序列进行分区，随机范围包括num_steps-1 corpus = corpus[random.randint(0, num_steps - 1):] # 减去1，是因为我们需要考虑标签 num_subseqs

图 1.22 Anaconda 安装界面-1 图 1.23Anaconda 安装界面-2 安装完成后，怎么验证 Anaconda 是否安装成功呢？通过键盘上的 Windows 键+R 键， 即可调出运行程序对话框，输入“cmd”并回车即打开 Windows 自带的命令行程序 cmd.exe。或者点击开始菜单，输入“cmd”也可搜索到 cmd.exe 程序，打开即可。输入 conda 信息的条件下，任意变换图片数据，获得新的图片。图 9.37 演示了在原图上叠加高斯噪声 后的图片数据，图 9.38 演示了通过改变图片的观察视角后获得的新图片，图 9.39 演示了 在原图上随机遮挡部分区域获得的新图片。 图 9.37 添加高斯噪声 图 9.38 变换视角 图 9.39 随机擦除 9.8 过拟合问题实战 前面我们大量使用了月牙形状的 2 分 模式崩塌(Mode Collapse)是指模型生成的样本单一，多样性很差的现象。由于判别器 只能鉴别单个样本是否采样自真实分布，并没有对样本多样性进行显式约束，导致生成模 型可能倾向于生成真实分布的部分区间中的少量高质量样本，以此来在判别器中获得较高 的概率值，而不会学习到全部的真实分布。模式崩塌现象在 GAN 中比较常见，如图 13.16 所示，在训练过程中，通过可视化生成网络的样本可以观察到，生成的图片种类非常单

中，我们删除特征 以帮助模型更好地总结新数据并创建更具可解释性的模型。一般来说，特 征选择是减去特征，所以我们只留下那些最重要的特征。 20 特征工程 主要方法 离散型变量处理 分箱/分区 交叉特征 特征缩放 特征提取 …… 特征工程在数据挖掘中有举足轻重的位置数据领域一致认为： 数据和特征决定了机器学习的上限，而模型和算法只能逼近这 个上限而已。 特征工程重要性：

浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 17 边缘检测 神经网络的前几层是通常检测边缘 的，然后，后面的层有可能检测到 物体的部分区域，更靠后的一些层 可能检测到完整的物体 3 × 1 0 × 0 1 × −1 1 × 1 5 × 0 8 × −1 2 × 1 7 × 0 2 × −1 = 3 0 −1 1 0 −8

Transformer的工作流程 从微观视角看自注意力机制 计算自注意力的第一步就是从每个编码器的输入 向量（每个单词的词向量）中生成三个向量。也 就是说对于每个单词，我们创造一个查询向量 (Q)、一个键向量(K)和一个值向量(V)。这三个向 量是通过词嵌入与三个权重矩阵后相乘创建的， 它们的维度是64，而词嵌入和编码器的输入/输 出向量的维度是512. 但实际上不强求维度更小， 这只是一种基于架构上的选择，它可以使多头注 attention）的大部分计算保 持不变。 X1与WQ权重矩阵相乘得到q1, 就是与这个单词相关 的查询向量。最终使得输入序列的每个单词的创建 一个查询向量Q、一个键向量K和一个值向量V。 24 2.Transformer的工作流程 什么是查询向量Q、键向量K和值向量V？ 计算得分 分数除以8，然后通过softmax传递结果。 将每个值向量乘以softmax分数(这是 为了准备之后将它们求和)。 意力层在该位置的输出。 Attention(?, ?, ?) = softmax ??? ?? ? 25 2.Transformer的工作流程 通过矩阵运算实现自注意力机制 第一步是计算查询矩阵、键矩阵和值矩阵。为此，我们将 将输入句子的词嵌入装进矩阵X中，将其乘以我们训练的权 重矩阵(WQ，WK，WV)。 x矩阵中的每一行对应于输入句子中的一个单词。我 们再次看到词嵌入向量 (512，或图中的4个格子)和

集合的格式 是：set( )，其中()内可以是列表、字典或字符串，因为字符串是以列表的形式存储的 ⚫字典(dict) 字典dict也叫做关联数组，用大括号{ }括起来，在其他语言中也称为map，使用键-值（ key-value）存储，具有极快的查找速度，其中key不能重复。 56 Python控制流 ⚫顺序结构 ⚫分支结构 ⚫循环结构 ⚫break、continue和pass ⚫列表生成式 Python模块-Pandas ⚫ 数据合并 pd.merge(left, right) 类数 据库的数据融合操作. 参数：how，融合方式，包括左连接、右连接、内连 接（默认）和外连接；on，连接键；left_on，左 键；right_on，右键；left_index，是否将left 行索引作 为左键；right_index，是否将right行 索引作为右键. 66 Python模块-Pandas ⚫数据融合

集合的格式 是：set( )，其中()内可以是列表、字典或字符串，因为字符串是以列表的形式存储的 ⚫字典(dict) 字典dict也叫做关联数组，用大括号{ }括起来，在其他语言中也称为map，使用键-值（ key-value）存储，具有极快的查找速度，其中key不能重复。 57 Python控制流 ⚫顺序结构 ⚫分支结构 ⚫循环结构 ⚫break、continue和pass ⚫列表生成式 Python模块-Pandas ⚫ 数据合并 pd.merge(left, right) 类数 据库的数据融合操作. 参数：how，融合方式，包括左连接、右连接、内连 接（默认）和外连接；on，连接键；left_on，左 键；right_on，右键；left_index，是否将left 行索引作 为左键；right_index，是否将right行 索引作为右键. 67 Python模块-Pandas ⚫数据融合

解决方案: 多模态预训练 Vit based 下游任务:  视频分类  视频打标签  推荐模型特征 解决方案: 小样本学习 小样本结构化模型 在线预测服务（EAS） • 一键部署 • 多模型 • 蓝绿部署 • 弹性扩缩 • 推理优化 ML Frameworks ML Service (PaaS) AI Service (SaaS) 机器学习框架(PAI- AI SaaS服务（OCR、语音识别、推荐系统、金融风控、疾病预测等） Infrastructure PAI平台（Platform of Artificial Intelligence） • 一键部署、弹性扩缩 • 多框架、多语言 • 推理优化Blade • 多维度监控+报警 • 自定义镜像 • 全托管+半托管 • 分布式训练优化 • 超大资源池 智能标注 可视化建模(Designer)

labelImg $ labelImg $ labelImg [IMAGE_PATH] [PRE-DEFINED CLASS FILE] 检测数据标注方法 1.jpg 1.xml 检测数据标注 快捷键 “Hello TensorFlow” Try it！ 应用：使用 TensorFlow 2 训练 RetinaNet “Hello TensorFlow” Try it！ 应用：使用 RetinaNet