. . . . . . . . . . . . . . . . . . . . 242 21.3 请求新功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 21.4 请求贡献代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 21.5 Pull Requests 合并请求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 21.6 添加新的样例 . . . . . . . . . . . . . . . . . . . . . . . . . . . 技术支持 你可以提出问题并参与开发讨论： • Keras Google group。 • Keras Slack channel。使用 这个链接 向该频道请求邀请函。 你也可以在 Github issues 中张贴漏洞报告和新功能请求（仅限于此）。注意请先阅读规范 文档。 KERAS: 基于 PYTHON 的深度学习库 4 1.7 为什么取名为 Keras? Keras (κέρας)

1.10 vLLM 我们建议您在部署 Qwen 时尝试使用 vLLM 。它易于使用，且具有最先进的服务吞吐量、高效的注意力键值 内存管理（通过 PagedAttention 实现）、连续批处理输入请求、优化的 CUDA 内核等功能。要了解更多关于 vLLM 的信息，请参阅 论文 和 文档 。 1.10.1 安装 默认情况下，你可以通过 pip 来安装 vLLM ：pip install vLLM>=0 Qwen1.5-72B-Chat 的基于 vLLM 的适 配 OpenAI API 的服务 sky launch -c qwen serve-72b.yaml 2. 向该 endpoint 发送续写请求： IP=$(sky status --ip qwen) curl -L http://$IP:8000/v1/completions \ -H "Content-Type: application/json" "prompt": "My favorite food is", "max_tokens": 512 }' | jq -r '.choices[0].text' 3. 向该 endpoint 发送 chat 请求 curl -L http://$IP:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model":

解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 9.6.3 合并编码器和解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 9.7 序列到序列学习（seq2seq） 线性回归刚好是一个很简单的优化问题。与我们将在本书中所讲到的其他大部分模型不同，线性回归的解可 以用一个公式简单地表达出来，这类解叫作解析解（analytical solution）。首先，我们将偏置b合并到参数w中， 合并方法是在包含所有参数的矩阵中附加一列。我们的预测问题是最小化∥y − Xw∥2。这在损失平面上只有 一个临界点，这个临界点对应于整个区域的损失极小点。将损失关于w的导数设为0，得到解析解： 输出（softmax操作前） 只是隐藏单元的仿射函数。仿射函数的仿射函数本身就是仿射函数，但是我们之前的线性模型已经能够表示 任何仿射函数。 我们可以证明这一等价性，即对于任意权重值，我们只需合并隐藏层，便可产生具有参数 W = W(1)W(2) 和b = b(1)W(2) + b(2) 的等价单层模型： O = (XW(1) + b(1))W(2) + b(2) = XW(1)W(2)

索引与切片 4.7 维度变换 4.8 Broadcasting 4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 高级操作 5.7 经典数据集加载 5.8 MNIST 测试实战 5.9 参考文献 网络非常方便。尽管 PyTorch 在 2017 年才发布，但是由于精良紧凑的接口设计， PyTorch 在学术界获得了广泛好评。在 PyTorch 1.0 版本后，原来的 PyTorch 与 Caffe2 进行了合并，弥补了 PyTorch 在工业部署方面的不足。 目前来看，PyTorch 和 TensorFlow 框架是业界使用最为广泛的两个深度学习框架， TensorFlow 在工业界拥有完备的解决方案和用户基础，但是 西。−拉里·佩奇 在介绍完张量的基本操作后，现在来进一步学习张量的进阶操作，如张量的合并与分 割、范数统计、张量填充、张量限幅等。最后通过 MNIST 数据集的测试实战，来加深读 者对 PyTorch 张量进阶操作的理解。 5.1 合并与分割 5.1.1 合并 合并是指将多个张量在某个维度上合并为一个张量。以某学校班级成绩册数据为例， 设张量?保存了某学校 1~4 号班级的成绩册，每个班级

成一个大梯度样本点的子集； （3）对剩下的样本集合(1-a)*100%的样本，随机的选取b *(1-a)*100%个样本点，生成一个小 梯度样本点的集合； （4）将大梯度样本和采样的小梯度样本合并； （5）将小梯度样本乘上一个权重系数1−? ? ； （6）使用上述的采样的样本，学习一个新的弱学习器； （7）不断地重复（1）~（6）步骤直到达到规定的迭代次数或者收敛为止。 40 4 零值），如果两个特征并不完全互斥（如只有一部分情况下是不同时取非零值） ，可以用互斥率表示互斥程度。EFB算法指出如果将一些特征进行融合绑定，则 可以降低特征数量。 论文给出特征合并算法，其关键在于原始特征能从合并的特征中分离出来。 42 4.LightGBM 互斥特征捆绑算法（Exclusive Feature Bundling, EFB） 高维特征往往是稀疏的，而且特征间可能 是相互排斥的（如两个特征不同时取非零 Bundle中有两个特征值，A取值为[0,10]，B取值为 [0,20]，为了保证特征A、B的互斥性，我们可以给特征B 添加一个偏移量转换为C[10,30]， Bundle后的特征其取 值为[0,30]，这样便实现了特征合并。 43 4.LightGBM 直方图算法 直方图算法的基本思想是将连续的特征离散化为?个离散特征，同时构造 一个宽度为?的直方图用于统计信息（含有 ? 个 bin）。利用直方图算法 我们无需遍历数据，只需要遍历

⽆量 RGW/Cos/ kafka 样本 存储 实时样本 ⽣成服务 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 上线 预测 请求 数据 落地 ⽆量 ⽤户⾏为数据上报 特征 库 内容 获取 请求 � 推荐场景的重要性 � PCG的图⽂，视频推荐（腾讯视频，腾讯新 闻，QQ看点，浏览器，微视， QQ⼩世界等） � 腾讯系内容推荐：阅⽂集团，QQ⾳乐 多线程⽆锁：基于模型版本的读写分离 � 多机：多副本并⾏读取 � CPU：固定64位key，基于L1缓存的查 询优化 � 业务需求 � 模型⼤⼩超TB � 单个请求需要15W个key � 耗时要求10ms以下 � 资讯业务请求量⼤ （>10000请求/秒） � 模型有多个版本 � 原有在线分布式存储系统的 问题 � 主备模式资源严重浪费 � 数据读写需要加锁 � ⽀持多模型和模型多版本 Serving集群 推理节点 分布式 Serving集群 推理节点 召回索引服务 业务服务 1. 获取⽤户向量 2. 向量召回 异步 刷库 训练端⽣成⾼频参数集 独⽴通道上线 降低请求⽑刺 Feature 2.1: 短时间内只 有部分参数被⽤到 Feature 2.2 Hotkey变化慢 ⼤规模推荐模型深度学习系统基本解决维度 分布式 系统 ⼤规模 模型 优化

∥?∥ ≥ ? ? = 1 ?T?+? ∥?∥ ≤ −? ? = −1 我们暂且令?为 1（之所以令它等于 1，是为了方便推导和优化 ，且这样做对目标函数的优化没有影响）， 将两个方程合并，我们可以简写为： 至此我们就可以得到最大间隔超平面的上下两个超平面： ?(?T? + ?) ≥ 1 9 2.线性可分支持向量机 01 支持向量机概述 02 线性可分支持向量机 03

单词在实体中的位置{B(begin),I(inside),E(end),S(single)} • 关系类型{CF,CP,...} • 关系角色{1(entity1),2(entity2)} 根据标签序列，将同样关系类型的实体合并成一个三元组作为最后的结果，如果一个句子包含一个以上同一类 型的关系，那么就采用就近原则来进行配对。 目前这套标签并不支持实体关系重叠的情况。 B-CP-1 O B-CP-2 E-CP-2 O B-CF-1

Step2 Step3 Step4 Step4 Step3 Step2 Step1 Step0 40 层次聚类-聚合聚类 聚合聚类 ⚫ 开始将每个样本各自分到一个簇； ⚫ 之后将相距最近的两簇合并，建立一个新的簇； ⚫ 重复此操作直到满足停止条件； ⚫ 得到层次化的类别。 AGENES 聚合聚类 e d c c,d,e d,e a,b,c,d,e b a a,b Step0