分类问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.2 网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.3 全连接层的参数开销 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 4.5.1 高维线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 4.5.2 从零开始实现 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 9.6 编码器‐解码器架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 9.6.1 编码器 . .

案。 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 美团超大规模模型应用场景 美团推荐 美团搜索 美团广告 美团应用场景简介 LBS相关的推荐 • 模型特点 百亿级别的训练数据 千亿级别的模型特征 秒级实时的模型反馈 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 超大规模模型的有效性 • VC维理论  描述模型的学习能力：VC维越大模型越复杂，学习能力越强  机器学习能力 = 数据 + 特征 + 美团的亿级用户、千万级POI • 特征  大规模离散特征 > 小规模泛化特征 • 模型  DNN > 树模型 > LR 美团超大规模模型应用场景 • 可扩展的机器学习架构  基于Parameter Server架构  数据并行 —— 支持超大规模训练集  模型并行 —— 支持超大规模模型 • 业界千亿级以上的机器学习平台  开源： PaddlePaddle、XDL，etc

@黄波_WB 资深技术专家 2019.5 目录 1.推荐篇 2.平台篇 3.总结篇 1 目录 • 推荐场景 • 推荐 • 在线机器学习 • 深度学习 • 平台背景 • 平台架构 • 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • 信息流 热门流 视频流 关系流 • Checkpoint 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS 样本生成和特征处理 1.配置化 2.多标签样本 3.支持高维HASH 训练预处理 1.标签选择 2.标签UDF 3.样本过滤 4.特征过滤 模型训练 1.支持回归和分类 2.支持LR、FM、 DeepFM等模型 3.支持SGD 、 FTRL 优化算法选择 • FTRL：调节学习率，突出低频特征，非batch优化 • Adagrad : 调节学习率，突出低频特征，实现简单 • SGD： 参数少，效率高，固定学习率 • ID特征处理 • Hash：BKDRhash/CityHash，ID高维度稀疏+实时 3 在线机器学习-实时模型训练 serving serving server server server worker Model

llama.cpp llama.cpp 是一个 C++ 库，用于简化 LLM 推理的设置。它使得在本地机器上运行 Qwen 成为可能。该库是 一个纯 C/C++ 实现，不依赖任何外部库，并且针对 x86 架构提供了 AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 是一个易于使用的工具包，专门用于 4 比特量化模型。相较于 FP16，AutoAWQ 能够将模型的运行速度提升 3 倍，并将内存需求降低至原来的 1/3。AutoAWQ 实现了激活 感知权重量化（AWQ）算法，可用于 LLM 的量化处理。在本文档中，我们将向您展示如何在 Transformers 框 架下使用量化模型，以及如何对您自己的模型进行量化。 1.7.1 如何在 Transformers 中使用 AWQ SkyPilot 是什么 SkyPilot 是一个可以在任何云上运行 LLM、AI 应用以及批量任务的框架，旨在实现最大程度的成本节省、最 高的 GPU 可用性以及受管理的执行过程。其特性包括： • 通过跨区域和跨云充分利用多个资源池，以获得最佳的 GPU 可用性。 • 把费用降到最低——SkyPilot 在各区域和云平台中为您挑选最便宜的资源。无需任何托管解决方案的 额外加价。 • 将服务扩展到多个副本上，所有副本通过单一

. . . . . . . . . . . . . 29 3.3.6.4 处理已保存模型中的自定义层（或其他自定义对象） . . . . . . . 30 3.3.7 为什么训练误差比测试误差高很多？ . . . . . . . . . . . . . . . . . . . . . . 31 3.3.8 如何获取中间层的输出？ . . . . . . . . . . . . . . . 134 7.1 损失函数的使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 7.2 可用损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 7.2.1 mean_squared_error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 13 预训练模型 Applications 158 13.1 可用的模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 13.2 图像分类模型的示例代码

由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了 命令式编程和符号式编程混合方式，灵活性高，运行速度快，文档和案例也较为丰 富。 ❑ Keras 是一个基于 Theano 和 TensorFlow 等框架提供的底层运算而实现的高层框架， 提供了大量快速训练、测试网络的高层接口。对于常见应用来说，使用 Keras 开发效 率非常高。但是由于没有底层实现，需要对底层框架进行抽象，运行效率不高，灵活 性一般。 预览版202112 1.5 深度学习框架 15 程，也称为动态图模式。PyTorch 是采用动态图模式的深度学习框架，开发效率高，调试 方便，所见即所得。一般认为，动态图模式开发效率高，但是运行效率可能不如静态图模 式，更适合算法设计和开发；静态图模式运行效率高，更适合算法部署。然而并不全是如 此，在很多任务上，PyTorch 的速度都优于 TensorFlow，而且 PyTorch 在工业部署上也有成 nvidia.com/cuda-10.1-download- archive，这里选择使用 CUDA 10.1 版本(读者可根据需求自行选择最新版)，依次选择 Windows 平台，x86_64 架构，10 系统，exe(local)本地安装包，再选择 Download 即可下载 CUDA 安装软件。下载完成后，打开安装软件。如图 1.23 所示，选择“Custom”选项， 点击 NEXT 按钮进入图

用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 CTR概要介绍 数据 特征 目标 模型 效果 Ø CTR任务特点 Ø CTR预估常用算法 • LR • GBDT • FM • 大量离散特征、高维稀疏 • 特征关联性挖掘 CTR一般流程 / wAUC Ø 在线评估 • 离线评估与线上效果正相关？ • A/B test测试 • 分目标人群测试：地域、活跃度… A B 小流量-实验组 小流量-对照组 数据对比分析 算法架构 互动行为 点击行为 阅读行为 能力标签 兴趣标签 亲密度 自然属性 账号属性 用户特征 关键词 类型属性 topic 内容标签 内容质量 内容特征 组合特征 标签匹配度 用户互动率 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 为什么选择深度学习 Ø 线性CTR模型 • 优势：简单高效、可解释性强 • 局限性：特征工程繁琐、无法表达高维抽象特征 Ø 深度学习模型（DNN based model） • 优势： 泛化能力强 表达能力强 网络结构灵活 User features Relation features Contextual

华为云深度学习在文本分类中的实践 华为 Cloud&AI 李明磊 3 2 3 1 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 4 文本分类介绍 内容：  买没几天就降价一点都不开心，闪存跑分就五百多点点 ---  外观漂亮音质不错，现在电子产品基本上都是华为的了 ---  汽车不错，省油，性价比高 ---  这个政策好啊，利国利民 --- En Tn … … 分类器 模型： 数据： 手机不错，高大上 正面 手机太差劲了，又贵又卡 负面 续航给力，价格实在 正面 9 1 3 2 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 10 深度学习框架 Standard raw text Tokenization Indexing Pre embedding Classification word removal sklearn model ... 手機不錯，高大上 手机不错，高大上 [手 机 不 错 ，高 大 上] [1, 22, 32, 46, 876, 55, 98, 20] 11 1 2 3 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 12 数据不均衡 13 数据不均衡 预处理方法  上采样  下采样  SMOTE

Need》 中提出了一种新的简单架构——Transformer，它完全基于注意力机制， 完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并 且需要的训练时间明显更少。 ✓ Transformer出现以后，迅速取代了RNN系列变种，跻身主流模型架构基 础。（RNN缺陷正在于流水线式的顺序计算） 图：Transformer模型架构 33 首先通过词嵌入(Word Embedding)将字、词、 增强数据间的结构信息。其次通过Transformer等模式结合 上下文进行推导，生成最终文本。 ◼ Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图：Transformer典型技术场景下的原理介绍如下所述 的不同语料库进行语言模型的生成性预训练，然后对每个特定任务 进行区分性微调，可以实现这些任务上的巨大收益。和之前方法不同，GPT在微调期间使用任务感知输入转换，以实现有效的传输， 同时对模型架构的更改最小。 图：GPT-1模型的核心手段是预训练（Pre-training） 无监督预训练 （Unsupervised pre-training） 不需要标注数据集，即大规 模自学阶段，在保证AI算力