方案设计篇：如何设计可落地的AI解决方案 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么 用户需求：线下门店业绩如何提升？ 全球实体零售发展遭遇天花板 品牌间存量竞争 ——《C时代 新零售——阿里研究院新零售研究报告》 线上销售的广告位：直通车/钻展 线下门店的广告位：黄金位置 用好你的广告位：线上设计 用好你的广告位：线下陈列 缺货 凌乱 销量下降 用好你的广告位：线下陈列 有气势！ 整齐！ 销量上涨！ 品牌线下PK 如何脱颖而出？ 品牌商线下渠道销售的普遍需求 长期⽬目标：货架数字化与业务智能化 促销执行统计 客户需求：棚格图推荐设计与销量预测 如何落地项目第一期？ 短期目标：自动化陈列审核和促销管理 业务落地基础：货架数字化 SKU 种类 数量 位置 品类 占比 货架 设计 场景 层数 编号 业务落地：自动化陈列审核和促销管理 陈列 必分销 新品 纯度 排面 SKU 种类 数量 位置 品类 占比 货架 设计 场景 层数 编号 销售执行三板斧：分销达标

基础理论篇：TensorFlow 2 设计思想 • TensorFlow 2 设计原则 • TensorFlow 2 核心模块 • TensorFlow 2 vs TensorFlow 1.x • TensorFlow 2 落地应用 目录 TensorFlow 2 设计原则 TensorFlow - Infra of AI TensorFlow 2 设计原则 TensorFlow 2

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 百度 阿⾥ ⽆量 问题： CV/NLP低频上线，常⽤的模型 压缩算法不适应推荐场景 思考： 线上服务 成本 训练任务 成本 内存是主要瓶颈 > Embedding table可以设计得更⼩么？Double Hashing Embedding Table与第⼀层fc可以看作低秩矩阵分解 亿 亿 512 512 9 9 原始矩阵 矩阵分解 压缩⼿段除了量化和稀疏化，还有什么？因式分解

用程序所有可能遇到的边界情况，并为这些边界情况设计合 适的规则。当买家单击将商品添加到购物车时，应用程序会向购物车数据库表中添加一个条目，将该用户ID与 商品ID关联起来。虽然一次编写出完美应用程序的可能性微乎其微，但在大多数情况下，开发人员可以从上 述的业务逻辑出发，编写出符合业务逻辑的应用程序，并不断测试直到满足用户的需求。根据业务逻辑设计 自动化系统，驱动正常运行的产品和系统，是一个人类认知上的非凡壮举。 识别“Alexa”这个词，大脑自己也能够识别它。有了这一能 力，我们就可以收集一个包含大量音频样本的数据集（dataset），并对包含和不包含唤醒词的样本进行标记。 利用机器学习算法，我们不需要设计一个“明确地”识别唤醒词的系统。相反，我们只需要定义一个灵活的 程序算法，其输出由许多参数（parameter）决定，然后使用数据集来确定当下的“最佳参数集”，这些参数 通过某种性能度量方式来达到完成任务的最佳性能。 据集，它很可能可以“学习”识别唤醒词。这种“通过用数据集来确定程序行为”的方法可以被看作用数据 编程（programming with data）。比如，我们可以通过向机器学习系统，提供许多猫和狗的图片来设计一个 “猫图检测器”。检测器最终可以学会：如果输入是猫的图片就输出一个非常大的正数，如果输入是狗的图片 就会输出一个非常小的负数。如果检测器不确定输入的图片中是猫还是狗，它会输出接近于零的数⋯⋯这个

更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 限于时间和篇幅关系，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021 年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 tra ： https://github.com/dragen1860/Deep-Learning-with-PyTorch-book ❑ 姊妹书《TensorFlow 深度学习—深入理解人工智能算法设计》： https://item.jd.com/12954866.html ❑ 联系邮箱(一般问题建议 Github issues 交流)：liangqu.long AT gmail.com ❑

大数据 TensorFlow on Yarn 李远策 2017年4月17日 内容大纲 Ø TensorFlow使用现状及痛点� Ø TensorFlow on Yarn设计� Ø TensorFlow on Yarn技术细节揭秘� Ø 深度学习平台演进及SparkFlow介绍� 背景 坐标：360-系统部-⼤数据团队� 专业：Yarn、Spark、MR、HDFS 资源管理）� • 作业的统⼀管理、状态跟踪� • 资源组（Schedule Pool）的划分� • 作业进程的资源隔离� Yarn能解决什么问题：� TensorFlow on Yarn设计 • 同时支持单机和分布式TensorFlow程序� • 支持GPU资源管理和调度� • 不再需要⼿动配置CluserSpec信息，仅需要设置work 和ps的数量� • 训练数据和训练模型基于HDFS统⼀存储� TensorFlow on Yarn设计 • 支持GPU亲和性调度（提⾼通信效率）� • Web的⽅式查看作业的运⾏状况和作业日志� • 在线查看Tensorboard� • HistoryServer支持查看结束作业的日志和状态信息� • 控制已有的TensorFlow作业的迁移成本（最多改三⾏ 代码）� 扩展目标：� TensorFlow on Yarn设计 tensorflow-submit

Checkpoint解决不重不丢问题  外存解决大数据量性能问题  在引擎中流转log key，特征数据在外存 • 分业务场景支持  轻量级predictor：仅支持模型的计算，特征由业务传入，无状态设计  自定义predictor： 提供业务抽象，支持业务自定义逻辑，插件化实现 • 逻辑阶段抽象，业务根据自身需求选择性实现  数据获取： 根据业务的自身逻辑获取特征原始数据  特征抽取： 数百 千万 展位 数十 • 模型的设计 • 样本&特征的设计 • 模型的通路 模型召回解决方案 • 基于双塔的模型召回架构  基于用户和item的DNN结构  产出用户和item两侧向量 • 基于ANN的向量相似度检索  Item侧离线计算，形成ANN词表  用户侧向量实时计算，通过ANN找出相 似item向量 召回模型设计 • LBS的负例采样  与位置相关的negative 与位置相关的negative sampling 样本 & 特征设计 • 特征设计  用户侧：能设计完整的特征，个性化，实时特征  Item侧：预计算带来的副作用，不能使用实时特征 点击(+) 仅曝光 同地域 全体集合 分布偏差大 无效信息多 样本分布 • 在线、近线、离线全流程解决方案 召回模型通路 • 粗排模型 • 精排模型 排序模型解决方案 • 粗排阶段的特点 

用户查询 查询理解 广告召回 点击率预估 排序计价 结果展示 点击及后续行为 广告库 日志收集 展示日志 点击日志 深度学习在搜狗搜索广告的一些应用 无需分词：基于字符粒度表达的问答系统设计 L.X Meng, Y.Li, M.Y Liu, P Shu. Skipping Word: A Character-Sequential Representation based Framework 特征 训练数据 融合模型 Bagging 级联 特征设计 特征选择 特征组合 MxNet TensorFlow Wide&Deep 去噪 特征自动组合 (FM) 特征设计 离散特征 离散特征 容易设计；刻画细致；特 征稀疏； 特征量巨大；模型复杂度 受限 连续特征 连续特征 需要仔细设计；定长；特 征稠密 特征量相对较小，可以 使用多种模型训练

TensorFlow 验证码识别 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 准备模型开发环境 • 生成验证码数据集 • 输入与输出数据处理 • 模型结构设计 • 模型损失函数设计 • 模型训练过程分析 • 模型部署与效果演示 第六部分 目录 准备模型开发环境 第三方依赖包 数据集生成 • Pillow • captcha 模型可视化 • pydot “channels_last” 输出数据处理 One-hot 编码：验证码转向量 输出数据处理 解码：模型输出向量转验证码 argmax “Hello TensorFlow” Try it 模型结构设计 分类问题 图像分类模型 AlexNet Krizhevsky, A., Sutskever, I., Hinton, G.: Imagenet classification with deep 0,0, 0,1,0,0,0,0,0,0,0,0, 0,0,0,0,1,0,0,0,0,0, 1,0,0,0,0,0,0,0,0,0,] AlexNet 验证码识别模型实现 模型损失函数设计 交叉熵（Cross-Entropy, CE） 我们使用交叉熵作为该模型的损失函数。 虽然 Categorical / Binary CE 是更常用的损失函数，不过他们都是 CE 的变体。 CE

120 84 10 F C FC2 LeNet-5 32x32x1 400 6 AlexNet • 2012年，AlexNet 横空出世。它首次证 明了学习到的特征可以超越手工设计 的特征。它一举了打破计算机视觉研 究的现状。 AlexNet 使用了8层卷积神 经网络，并以很大的优势赢得了2012 年 ImageNet 图像识别挑战赛。 LeNet (左)， AlexNet 的10倍。 • 在最后一个卷积层后有两个全连接层，分别有4096个输出。 这两个巨大的全连接层拥有将近 1GB 的模型参数。 由于 早期 GPU 显存有限，原版的 AlexNet 采用了双数据流设计， 使得每个 GPU 只负责存储和计算模型的一半参数。 幸运 的是，现在GPU显存相对充裕，所以我们现在很少需要跨 GPU 分解模型 (因此，我们的AlexNet模型在这方面与原始 论文稍有不同)。 EfficientNet EfficientNet是一种基于自动模型缩放的神 经网络结构，由谷歌团队于2019年提出，该 模型在图像分类、目标检测和图像分割等任 务中取得了不错的结果。 EfficientNet的设计思路来源于模型优化的 两个主要思想： 神经网络结构搜索（Neural Architecture Search，NAS）和模型融合。 其主要贡献在于开创性地提出了通过均匀缩 放（Accurate Scaling）来调整网络深度