. . . . . . . . . . . . . . . . 25 3.3 Keras FAQ: 常见问题解答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.3.1 Keras FAQ: 常见问题解答 . . . . . . . . . . . . . . . . . . . . . . . . . 5 使用 TensorFlow 以外的后端 默认情况下，Keras 将使用 TensorFlow 作为其张量操作库。请跟随这些指引来配置其他 Keras 后端。 1.6 技术支持 你可以提出问题并参与开发讨论： • Keras Google group。 • Keras Slack channel。使用 这个链接 向该频道请求邀请函。 你也可以在 Github issues 中张贴漏 metrics。对于任何分类问题，你都希望将其设置为 metrics = ['accuracy']。 评估标准可以是现有的标准的字符串标识符，也可以是自定义的评估标准函数。 # 多分类问题 model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy']) # 二分类问题 model.

曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 • 如何解决日志延时问题 • 延迟等待机制，先到先走 • 定时轮寻，最长N分钟等待 • Kafka 堆积监控，实时报警 • 如何解决内存问题 • 调整内存参数 • 关闭多余的监控点 • 如何异常处理 • 自动化监控与修复系统 • Checkpoint 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS Adagrad等优化算法 模型评估 1.独立模型评估 2.配置化 3.UI展示 3 在线机器学习-实时模型训练 • 模型选择 • LR : 基础模型，对特征工程依赖较强 • FM：大规模稀疏数据下的特征组合问题 • DeepFM • 优化算法选择 • FTRL：调节学习率，突出低频特征，非batch优化 • Adagrad : 调节学习率，突出低频特征，实现简单 • SGD： 参数少，效率高，固定学习率 升5-10倍 • 缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍 • 分区优化：支持多种分区策略（RANGE/HASH/MOD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍 • 存储优化：自定义存储方式(ByRow&ByKey)，基于row进行矩阵压缩存储，参数内存占用减少90% 3 在线机器学习-参数服务器 模型验证 离线训练 实时训练

5-7B-Chat", torch_dtype="auto", device_map="auto", attn_implementation="flash_attention_2", ) 为了解决下载问题，我们建议您尝试从 ModelScope 进行下载，只需将上述代码的第一行更改为以下内容： from modelscope import AutoModelForCausalLM, AutoTokenizer fp8_e5m2 1.10.6 常见问题 您可能会遇到令人烦恼的 OOM（内存溢出）问题。我们推荐您尝试两个参数进行修复。第一个参数是 --max-model-len 。我们提供的默认最大位置嵌入（max_position_embedding）为 32768，因此服务时的最 大长度也是这个值，这会导致更高的内存需求。将此值适当减小通常有助于解决 OOM 问题。另一个您可以 关注的参数是 --gp --gpu-memory-utilization 。默认情况下，该值为 0.9 ，您可以将其调高以应对 OOM 问题。这也是为什么您发现一个大型语言模型服务总是占用大量内存的原因。 1.11 SkyPilot 1.11.1 SkyPilot 是什么 SkyPilot 是一个可以在任何云上运行 LLM、AI 应用以及批量任务的框架，旨在实现最大程度的成本节省、最 高的 GPU 可用性以及受管理的执行过程。其特性包括：

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 3.4.1 分类问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.2 网络架构 9.3 分布偏移纠正 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 4.9.4 学习问题的分类法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 4.9.5 机器学习中的公平、责任和透明度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493 11.11.1 一个简单的问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493 11.11.2 学习率调度器 . .

解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 尽管作者试图将读者 总的来说，本书适合于大学三年级左右的理工科本科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 4 个部份：第 1~3 章为第 1 部分，主要介绍人工智能的初 步认知，并引出相关问题；第 4~5 章为第 2 部分，主要介绍 PyTorch 相关基础，为后续算法 实现铺垫；第 6~9 章为第 3 部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 度学习的本质；第 10~15 -PyTorch-book ❑ 姊妹书《TensorFlow 深度学习—深入理解人工智能算法设计》： https://item.jd.com/12954866.html ❑ 联系邮箱(一般问题建议 Github issues 交流)：liangqu.long AT gmail.com ❑ 配套视频课程(收费，提供答疑等全服务，比较适合初学者)： 深度学习与 TensorFlow 入门实战

博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 参数按需 获取/更新 Storage 异步训练流⽔线和多级存储：提升性能，降低内存成本 � 问题： � Learner线程中参数拉取和参数更新对性能影响⼤ � 内存成为主要资源瓶颈。由于需要等待全部参数 就绪，Parameter Server难以利⽤速度慢的存储 介质 样本读取 样本解析 全部参数 内存 1TB 即将⽤到的参数 显存 32/40/80GB 正在训练的参数 分布式训练的慢机与同步问题 � Feature 2.1: 短时间内只有部分item和user被命中， 只有部分参数被⽤到 � GPU训练的优势 � 更少的机器节点，更少的分布式系统相关问题 � 更⾼的性价⽐ 1. 减少节点数 2. 提升节点同 构性 推理服务—分布式Serving架构 � 读写架构

一个巨大的10,000维度的softmax，因为计算成本很高， 而是把它转变为10,000个二分类问题，每个都很容易计算 ，每次迭代我们要做的只是训练它们其中的5个，一般而言 就是? + 1个，其中?个负样本和1个正样本。这也是为什么 这个算法计算成本更低，因为只需更新? + 1个逻辑单元， ? + 1个二分类问题，相对而言每次迭代的成本比更新 10,000维的softmax分类器成本低。 ? ? 模型（Multi- task） GPT-2要 实现的目 标 • GPT-2 调整优化的目的是为了解决零 次 学 习 问 题 （ zero-shot ） （ 注 ： zero-shot问题，就是针对AI在面对 不认识的事物时，也能进行推理） • 多任务模型的特点：跟传统ML需要专 门的标注数据集不同（从而训练出专 业AI），多任务模型不采用专门AI手 段，而是在海量数据喂养训练的基础 量模型和监督学习的组合，在训练任务方 面表现出色，然而这些系统较为脆弱，对 数据分布和任务规范的轻微变化非常敏感， 因而使得AI表现更像狭义专家，并非通才。 GPT-2要 解决和优 化的问题 ◼ GPT-2（2019.2）在GPT-1的基础上进行诸多改进，实现执行任务多样性，开始学习在不需要明确监督的情 况下执行数量惊人的任务 ✓ 在GPT-2阶段，OpenAI去掉了GPT-1阶段

支持向量机求解 函数间隔： ?∗ = ??(?T? + ?) 几何间隔：? = ?(?T?+?) ||?|| ，当数据被正确分类时，几何间隔就是点到超平面的距离 为了求几何间隔最大，SVM基本问题可以转化为求解:( ?∗ ||?||为几何间隔，?∗为函数间隔) ??? ?,? ?∗ ||?|| (??????? ??) ??(?T?? + ?) ≥ ?∗, ? = 1,2, . . − ෍ ?,?=1 ? ?? ?????? ?? ⋅ ?? 2.支持向量机求解 ? = σ?=1 ? ?? ???? σ?=1 ? ?? ?? = 0 15 再把max问题转成min问题： max ? ෍ ?=1 ? ?? − 1 2 ෍ ?,?=1 ? ?? ?????? ?? ⋅ ?? = min ? 1 2 ෍ ?,?=1 ? ?? ???? =1 ? ?? ∗ ?? ?? ⋅ ?? + ?∗，可得?∗ = ? − σ?=1 ? ?? ∗ ?? ?? ⋅ ?? ，?∗ = σ?=1 ? ?? ∗ ???? 以上为SVM对偶问题的对偶形式 2.支持向量机求解 ? = σ?=1 ? ?? ???? σ?=1 ? ?? ?? = 0 添加负号 16 3.线性支持向量机 01 支持向量机概述 02 线性可分支持向量机

这个最后的方程应该看起来非常熟悉，因为它几乎与我们在课程中（我们将很快再次得出）得到的公 式：用于参数的最小二乘估计一样。 看一下投影的定义，显而易见，这实际上是我们在最小二乘问题中 最小化的目标（除了范数的平方这里有点不一样，这不会影响找到最优解），所以这些问题自然是非常 相关的。 当 只包含一列时， ，这给出了向量投影到一条线上的特殊情况： 一个矩阵 的零空间 是所有乘以 时等于0向量的集合，即： 注意， ，考虑以下最大 化问题： 也就是说，我们要找到（范数1）的向量，它使二次型最大化。假设特征值的阶数为 ，此优化问题的最优值为 ，且与 对应的任何特征向量 都是最大值之一。（如果 ，那么有 一个与特征值 对应的唯一特征向量，它是上面那个优化问题的唯一最大值。） 我们可以通过使用对 角化技术来证明这一点：注意，通过公式 推出 ，并利用公式： ，我们可以将上面那个优化问题改写为： 然后，我们得到目标的上界为 视为输入变量 的函数。 更正式地说，设 。 然后 在这个解释中: 在这里，我们可以看到这两种解释确实不同。 一种解释产生 维向量作为结果，而另一种解释产生 维 向量作为结果！ 我们怎么解决这个问题？ 这里，关键是要明确我们要区分的变量。 在第一种情况下，我们将函数 与其参数 进行区分，然后替 换参数 。 在第二种情况下，我们将复合函数 直接与 进行微分。 我们将第一种情况表示为 ，第二种情况表示为