方案设计篇：如何设计可落地的AI解决方案 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么 纯度 排面 SKU 种类 数量 位置 品类 占比 货架 设计 场景 层数 编号 销售执行三板斧：分销达标 销售执行三板斧：新品上架陈列稽查 销售执行三板斧：陈列激励 方案设计： 基于深度学习的检测/分类的AI流水线 货架商品检测 货架商品检测 Bottle（瓶装） Combination（组合装） 货架商品检测 Bottle（瓶装） Combination（组合装） 商品识别 AI 流水线 [[Bbox1], [Bbox2], …] [[Bbox1, Score1, Label1], [Bbox2, Score2, Label2], …] Image 方案交付： 支持在线识别和API调用的 AI SaaS AI SaaS Showcase AI SaaS Showcase AI SaaS Showcase AI SaaS Showcase

前 言 这是一本面向人工智能，特别是深度学习初学者的书，本书旨在帮助更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 进行了合并，弥补了 PyTorch 在工业部署方面的不足。 目前来看，PyTorch 和 TensorFlow 框架是业界使用最为广泛的两个深度学习框架， TensorFlow 在工业界拥有完备的解决方案和用户基础，但是 TensorFlow 2 和 TensorFlow 1.x 版本并不兼容，导致几乎所有基于 TensorFlow 1.x 开发的算法、框架等都需要修改甚至重 写，因此可以将 TensorFlow − ?(?)) 2 ? ?=1 其中?表示采样点的个数。这种误差计算方法称为均方误差(Mean Squared Error，简称 MSE）。 2.2 优化方法 现在来小结一下上述方案：目标是估计参数?和?，使得输入和输出满足线性关系 ?(?) = ??(?) + ?, ? ∈ [1, ?]。但是由于观测误差?的存在，需要通过采样多组数据样本对组 成的数据集(Dataset)：

工程相关的工作，加入美团后，负责超大规模机器学习系统，从无到有搭建起支持千亿 级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 目录 AUC、Loss、MAE、RMSE  支持外部eval工具，计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案，各阶段提供扩展方案，降低算法迭代成本； • 支持Online Learning，提供从近线到在线的模型数据通路； • 提供从召回到排序全流程的模型解决方案，为业务提供最佳实践； • 提供系统的平台化工具，为用户提供易用的界面操作； MLX模型能力 MLX平台架构 MLX平台架构 模型可变计算路径  运行阶段  计算图裁剪 模型训练框架 • 应用场景——离线预计算  模型召回，ANN检索  粗排模型，降低线上计算量 • 分布式Sharding  模型分片存储，支持超大规模模型  数据并行计算，加速Optimizer计算 • 低频特征过滤  Counting Bloom Filter  概率方式 • 模型数据通路  Base + Delta方式

内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 12.4.3 存储器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518 12.4.4 CPU 多机训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545 12.7.4 键值存储 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547 13 计算机视觉 549 （3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条件：（1）是最新的；（2）涵盖了现代机器学习的 所有领域，技术深度丰富；（3）在一本引人入胜的教科书中，

深度学习应用主要的挑战： 2.模型效果优 化困难 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 1.方案复杂 从FM到DeepFM rt 增 加了10倍怎么优化？ 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 从FM到DeepFM rt 增 加了10倍怎么优化？ 2.模型效果优 化困难 1.方案复杂 Data Model Compute Platform 要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化  标准化模型库  标准化解决方案 1.方案复杂 图像 搜索 推荐 语音 视频理解 NLP 广告 CNN RNN GNN MLP Tensorflow PyTorch Parameter

业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 DeepEye可给出图片属于色情、性感和正常 性质属于属于暴恐还是正常。 Ø 高准确率： 在内部业务上测试，准确率97%，覆 盖80%以上的案例 Ø 腾讯云，承担每天数亿的图像审核， 已经 累计支持上百家客户。 Ø 微云，QQ群，支持视频识别的解决方案， 成熟灵活的产品方案，帮助业务扫除掉互 联网暴力、恐怖内容，有效的降低业务风 险。 l 暴恐识别技术 武装份子 管制刀具 枪支弹药 人群聚集 火灾 血腥 极端主义、恐怖主义标识 SACC2017 App 2 App 3 SSH Job 1 Train Job 1 Val Job 2 WK Job 2 WK Job 3 监控/启停 任务调度/资源管理 监控上报 cephfs存储集 群 本地文件系统 数据 模型/日志 client 管理数据 提取模型、 查看日志 提交/管理任务 用户 docker.oa.co m 自动拉取镜像 Redis 冷数据 热任务/监控数据/集群信息

max_new_tokens=512, streamer=streamer, ) 除了使用 TextStreamer 之外，我们还可以使用 TextIteratorStreamer ，它将可打印的文本存储在一 个队列中，以便下游应用程序作为迭代器来使用： # Repeat the code above before model.generate() # Starting here, we add streamer 现在，这个量化后的模型可以直接通过 llama.cpp 运行。 18 Chapter 1. 文档 Qwen 1.9.2 利用 AWQ scales 来量化你的模型 要提升量化模型的质量，一种可能的解决方案是应用 AWQ scales。具体操作步骤如下：首先，在使用 AutoAWQ 运行 model.quantize() 时，请务必记得添加 export_compatible=True 参数，如下所示： 5-7B-Chat-GPTQ-Int8 \ --quantization gptq 此外，vLLM 支持将 AWQ 或 GPTQ 模型与 KV 缓存量化相结合，即 FP8 E5M2 KV Cache 方案。例如： llm = LLM(model="Qwen/Qwen1.5-7B-Chat-GPTQ-Int8", quantization="gptq", kv_cache_dtype= �→"fp8_e5m2")

海纳百川 构建生态 TensorFlow 2 简化概念 1.0 2.0 TensorFlow 2 海纳百川 2.0 TensorFlow 2 构建生态 2.0 TensorFlow 生产级AI方案 TensorFlow 2 核心模块 TensorFlow 2 核心模块概览 tf.keras：分布式和高性能的 Keras • 构建和训练模型的高层次 API • API 完全兼容原生 Keras py_function 重采样 支持多种数据格式 图像文件 文本文件 CSV 文件 NumPy 数组 Python 生成器 TFRecord 支持多种数据来源 本地文件 分布式文件系统 对象存储系统 tf.distribute：一行代码实现分布式 Training API MirroredStrategy TPUStrategy MultiWorkerMirro redStrategy TensorFlow 1.x 工作流 Full of abstract notions TensorFlow 2 工作流 Native Friendly to TensorFlow 生产级 AI 方案 TensorFlow 2 落地应用 TensorFlow 与移动互联网的结合 TensorFlow 与企业服务的结合 - 腾讯互娱 来源：《案例分享 | 腾讯互娱基于 CPU 环境的分布式

or its Affiliates. All rights reserved. 张孝峰 AWS解决方案架构师 March 17, 2017 Amazon 的人工智能&深度学习 围绕数据的“飞轮” 机器学习 深度学习 人工智能 更多的用户 更好的产品 更多的数据 更好的分析 对象存储 数据库 数据仓库 数据流分析 商业智能 Map/Reduce 内存数据库 数据检索 点击流 用户活动 测量两张图片中同一个人的可能性 • 为应用和设备添加人脸 验证 • 扩展了物理安全控制的 应用领域 • 客人对VIP 设施的使用 • 在线考试以及民意调查 时的用户验证 人脸识别 通过针对存储的面部向量的集合找到输入面部图像的最接近 的匹配来识别图像中的人 • 社交应用、消息类应用 中加入朋友标签 • 协助找到始终人口 • 确定可以访问敏感区域 的员工 • 在历史和媒体的档案中 找到“名人”

GBDT+互信息——有效挖掘 非线性特征及组合 皮尔逊相关系数特征评估 标签匹配度特征相关系数特征评估 样本采集 Ø 存在问题 • 头部效应 • 实时反馈类收集与在线存在差异性 Ø 解决方案 • 正负样本比例严重失衡 • 对头部曝光进行降采样，长尾曝光上采样 • 负样本进行下采样 • 后端样本预采样 模型评估 Ø 离线评估 • AUC / wAUC Ø 在线评估 • 离线评估与线上效果正相关？ 视觉标签 打码日志 社交关系 用户特征 发博流 互动流 曝光流 模型服务 模型训练 模型优化 模型评估 模型预测 CTR预估 排序策略 权值映射 业务排序 其他策略 特征工程 特征存储 特征查询 实时数据 自解释特征 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 为什么选择深度学习 Ø 线性CTR模型 • 优势：简单高效、可解释性强