支持百亿特征维度，千亿参数 • 模型版本 • 多模型多版本：多组实验并行执行，提高实验迭代效率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合 • 模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换 • 稳定性优化 • 模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储 实时训练 模型训练 模型部署 在线服务 离线验证 在线发布 在线验证 在线一致性/ 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/ 召回率/… 流量切换 版本更新 全量发布 … verson1 verson2 … kubenetes/olsubmit 模型库 3 在线机器学习-模型服务部署 • 模型评估 • 模型上线部署前指标评估 • 排序损失：DeepFM+Pair-Wise Rank Loss 多目标 融合点击模型和 互动模型 单目标 LR、W&D、 FM和DeepFM 等模型排序 排序损失 针对信息流业务场景，从 点击损失升级到排序损 失，基础模型为 DeepFM，排序损失为 BPR 召 回 排 序 • 深度学习模型训练：WeiLearn 样本库 WeiLearn-深度学习模型训练 CTR样本 自然语言样本

NVIDIA GPU 和 Google TPU 等并行加速芯片训练模型参数。如围棋程序 AlphaGo Zero 在 64 块 GPU 上从 零开始训练了 40 天才得以超越所有的 AlphaGo 历史版本；自动网络结构搜索算法使用了 800 块 GPU 同时训练才能优化出较好的网络结构。 目前普通消费者能够使用的深度学习加速硬件设备主要来自 NVIDIA 的 GPU 显卡， 图 1.12 例举了从 合其它类型的神经网络的应用。Caffe 的主要开发语言是 C++，也提供 Python 语言等 接口，支持 GPU 和 CPU。由于开发时间较早，在业界的知名度较高，2017 年 Facebook 推出了 Caffe 的升级版本 Cafffe2，Caffe2 目前已经融入到 PyTorch 库中。 ❑ Torch 是一个非常优秀的科学计算库，基于较冷门的编程语言 Lua 开发。Torch 灵活性 较高，容易实现自定义网络层，这也是 年发布的深度学习框架，最初版本只支持符号式编程。 得益于发布时间较早，以及 Google 在深度学习领域的影响力，TensorFlow 很快成为最 流行的深度学习框架。但是由于 TensorFlow 接口设计频繁变动，功能设计重复冗余， 符号式编程开发和调试非常困难等问题，TensorFlow 1.x 版本一度被业界诟病。2019 年，Google 推出 TensorFlow 2 正式版本，将以动态图优先模式运行，从而能够避免

这本书将从头开始教授深度学习的概念。有时，我们想深入研究模型的细节，这些的细节通常会被深度学习 框架的高级抽象隐藏起来。特别是在基础教程中，我们希望读者了解在给定层或优化器中发生的一切。在这 些情况下，我们通常会提供两个版本的示例：一个是我们从零开始实现一切，仅依赖张量操作和自动微分； 另一个是更实际的示例，我们使用深度学习框架的高级API编写简洁的代码。一旦我们教了您一些组件是如 何工作的，我们就可以在随后的教程中使用高级API了。 管我们尽了最大努 力，但仍然缺乏对各种技术的正式解释，这既是因为描述这些模型的数学可能非常困难，也是因为对这些主 题的认真研究最近才进入高潮。我们希望随着深度学习理论的发展，这本书的未来版本将能够在当前版本无 法提供的地方提供见解。 有时，为了避免不必要的重复，我们将本书中经常导入和引用的函数、类等封装在d2l包中。对于要保存到包 中的任何代码块，比如一个函数、一个类或者多个导入，我们都会标记为#@save。我们在 本书中的大部分代码都是基于PyTorch的。PyTorch是一个开源的深度学习框架，在研究界非常受欢迎。本书 中的所有代码都在最新版本的PyTorch下通过了测试。但是，由于深度学习的快速发展，一些在印刷版中代 码可能在PyTorch的未来版本无法正常工作。但是，我们计划使在线版本保持最新。如果读者遇到任何此类 问题，请查看安装 (page 9) 以更新代码和运行时环境。 下面是我们如何从PyTorch导入模块。

开发者生态社区，因为其开发效率高、特别容 易构建各种复杂的深度学习模型网络，因此很快得到大量人工 智能开发者的认可与追捧，也成为工业界最受欢迎的深度学习 框架之一。 Pytorch 发展至今，其版本跟功能几经迭代，针对不同的场景 任务分裂出不同的分支扩展库，比如针对自然语言处理（NLP） 的 torchtext、针对计算机视觉的 torchvision、针对语音处理 的 torchaud iOS 移动端部署。 在版本发布管理方面，Pytorch 分为三种不同的版本分别是稳 定版本 (Stable Release)、Beta 版本、原型版本（Prototype）。 其中稳定版本长期支持维护没有明显的性能问题与缺陷，理论 上支持向后兼容的版本；Beta 版本是基于用户反馈的改动版 本，可能有 API/SDK 函数改动，性能有进一步需要提升的空间； 原型版本是新功能还不可以，需要开发不能通过 Python 语言版本与系统对应列表如下： 表 -1（参考 Pytorch 官网与 Github） 系统 Python3�6 Python3�7 Python3.8 Linux CPU/GPU 支持 支持 支持 Windows CPU/GPU 支持 支持 支持 Linux (aarch64) CPU 支持 支持 支持 Mac (CPU) 支持 支持 支持 当前最新稳定版本是 Pytorch

generation, vision understanding, audio understanding, tool use, role play, playing as AI agent, etc. 最新版本 Qwen1.5 有以下特点： • 6 种模型规模，包括 0.5B、1.8B、4B、7B、14B 和 72B； • 针对每种尺寸提供基础模型和 Chat 模型，并确保聊天模型按照人类偏好进行校准； Qwen1.5，您可以从 Hugging Face 安装 transformers 库，并使用 Qwen1.5 Collection 中的模型。 我们建议您安装最新版本的 transformers 库，或者至少安装 4.37.0 版本。 1.1.1 Pip 安装 pip install transformers -U 1.1.2 Conda 安装 conda install conda-forge::transformers 从源码安装 pip install git+https://github.com/huggingface/transformers 我们建议您使用 Python3.8 及以上版本和 Pytorch 2.0 及以上版本。 3 Qwen 1.2 快速开始 本指南帮助您快速上手 Qwen1.5 的使用，并提供了如下示例：Hugging Face Transformers 以及 ModelScope

从推荐模型的基础特点看
 袁镱 腾讯 个⼈简介 � ⽆量系统 � 项⽬于17年启动，先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景，⽀持腾讯 IEG，CSIG，QQ⾳乐，阅⽂等业务的部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 推理服务—分布式Serving架构 � 读写架构 � 多线程⽆锁：基于模型版本的读写分离 � 多机：多副本并⾏读取 � CPU：固定64位key，基于L1缓存的查 询优化 � 业务需求 � 模型⼤⼩超TB � 单个请求需要15W个key � 耗时要求10ms以下 � 资讯业务请求量⼤ （>10000请求/秒） � 模型有多个版本 � 原有在线分布式存储系统的 问题 � 主备模式资源严重浪费 主备模式资源严重浪费 � 数据读写需要加锁 � ⽀持多模型和模型多版本 困难 >15亿key/秒 近千台 只读版本 写版本 CPU型服务 Feature 2.2 Hotkey缓存优化 <10台 内存型服务 并发查询优化 数⼗台 ⽹络型服务 TB级模型实时上线 � 问题：TB模型实时多地传输和加载成本⾼ � ⽅案：⾼低频分别上线 � 更灵活的⽤法：模型多切⽚，按需上线 � Dssm

© 2018 by Keras-Team 前 言 整理 Keras: 基于 Python 的深度学习库 PDF 版的主要原因在于学习 Keras 深度学习库时方 便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用 化，可扩展性）。 • 同时支持卷积神经网络和循环神经网络，以及两者的组合。 • 在 CPU 和 GPU 上无缝运行。 查看文档，请访问 Keras.io。 Keras 兼容的 Python 版本: Python 2.7-3.6。 1.2 指导原则 • 用户友好。Keras 是为人类而不是为机器设计的 API。它把用户体验放在首要和中心位置。 Keras 遵循减少认知困难的最佳实践：它提供一致且简单的 每当你在某个输入上调用一个层时，都将创建一个新的张量（层的输出），并且为该层添加 一个「节点」，将输入张量连接到输出张量。当多次调用同一个图层时，该图层将拥有多个节点 索引 (0, 1, 2…)。 在之前版本的 Keras 中，可以通过 layer.get_output() 来获得层实例的输出张量，或者通 过 layer.output_shape 来获取其输出形状。现在你依然可以这么做（除了 get_output()

4.静态图与动态图 23 4.向量化 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 24 4.向量化 非向量化版本的for循环花费了大约718 毫秒，向量化版本花费了大约33毫秒。 举例：如果你想计算向量? = ??， 矩阵乘法的定义就是：?? = σ? ?ij??， 用非向量化实现，? = ??. ?????(?, 1)，

example.com:2222” ], “ps”: [ “ps0.example.com:2222”, “ps1.example.com:2222” ]}) 分布式版本ClusterSpec定义：� 带来的问题：� • ⼿动指定机器很繁琐� • 端⼝冲突� • 机器负载不均� TensorFlow使用现状及痛点 • ⼿动分发训练样本� • ⼿动拉取训练模型� --board-enable true \ #是否开启Tensorboard服务� --conf tf.file.download.thread.nums=10 #其他参数设置� 提交脚本示例（分布式版本）：� TensorFlow on Yarn设计 Yarn首页作业信息：� 作业类型 集群GPU资源概况 作业分配到的GPU数量 TensorFlow on Yarn设计 TensorFlow作业AM页面：�

flask Pillow (PIL Fork) PIL(Python Imaging Library) 为 Python 解释器添加了图像处理功能。但是，在 2009 年发布 1.1.7 版本后，社区便停止更新和维护。 Pillow 是由 Alex Clark 及社区贡献者 一起开发和维护的一款分叉自 PIL 的图像工具库。 至今，社区依然非常活跃，Pillow 仍在快速迭代。 P 试。 https://zh.wikipedia.org/wiki/captcha 验证码（CAPTCHA）破解 一些曾经或者正在使用中的验证码系统已被破解。 这包括Yahoo验证码的一个早期版本 EZ-Gimpy，PayPal使用的验证码，LiveJournal、 phpBB使用的验证码，很多金融机构（主要是银行）使用的网银验证码以及很多其他网站 使用的验证码。 俄罗斯的一个黑客组织