构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 … Gray Update Auto Evaluation Log Server Graph Abstraction Data Flow API Manager Pipeline AVA 弹性深度学习平 台 L1 L2 L3 L4 L5 原子API 基础模型 感知层1 API 感知层2 API Vision 综合API 业务逻辑API Argus机器视觉系统 可自定义开发

SQL MapReduce Blink  场景丰富: 图像/视频/推荐/搜索  大数据+大模型: Model Zoo  跨场景+跨模态  开箱即用: 封装复杂性  白盒化, 可扩展性强  积极对接开源系统+模型 FTRL SGD Adam Solutions Librarys 优势: Components Framework EasyVision EasyRec based 下游任务:  视频分类  视频打标签  推荐模型特征 解决方案: 小样本学习 小样本结构化模型 在线预测服务（EAS） • 一键部署 • 多模型 • 蓝绿部署 • 弹性扩缩 • 推理优化 ML Frameworks ML Service (PaaS) AI Service (SaaS) 机器学习框架(PAI-TensorFlow/PAI-PyTorch/Caffe SaaS服务（OCR、语音识别、推荐系统、金融风控、疾病预测等） Infrastructure PAI平台（Platform of Artificial Intelligence） • 一键部署、弹性扩缩 • 多框架、多语言 • 推理优化Blade • 多维度监控+报警 • 自定义镜像 • 全托管+半托管 • 分布式训练优化 • 超大资源池 智能标注 可视化建模(Designer)

海量存储 海量富媒体数据的业务布局 视觉智能 Vision Intelligence 数据智能 Data Intelligence 海量存储 ���� ���� ���� 弹性计算 ��� ��� 智能网络 API �� �� CDN ��� ������� ��� ����� ������ ��������� ������ ���API ���� ��+��

− ?) ⋅ σ?=1 ? ?? 2) 其中： • λ为正则化系数，调整正则化项与训练误 差的比例，λ>0。 • 1≥ρ≥0为比例系数，调整L1正则化与L2正 则化的比例。 正则化 （弹性网络） 28 L2正则化可以防止过拟合 正则化 L1正则化可以产生稀疏模型 图上面中的蓝色轮廓线是没有正则化损失函数的等高线，中心的蓝色点为最优解，左图、右图分别为L1、L2正则化给出的限制。

应⽤用：检测SKU抠图与分类标注流程 • 应⽤用：分类训练集与验证集划分 • 应⽤用：使⽤用TensorFlow 2训练ResNet • 应⽤用：使用ResNet识别货架商品 • 扩展：图像分类常用数据集综述 • 扩展：图像分类更多应⽤用场景介绍 目录 基础：图像分类问题定义与说明 图像分类问题 语义级分类 细粒度分类 图像分类问题 实例级分类 识别问题 图像分类问题 实例级分类 TensorFlow 2 训练 ResNet “Hello TensorFlow” Try it！ 应⽤用：使用ResNet识别货架商品 “Hello TensorFlow” Try it！ 扩展：图像分类常用数据集综述 https://github.com/zalandoresearch/fashion-mnist http://yann.lecun.com/exdb/mnist/ MNIST edu/Image_Datasets/Caltech256/ Caltech 101 & Caltech 256 https://www.pinlandata.com/rp2k_dataset 扩展：图像分类更多应⽤用场景介绍 图像分类应用：牛脸识别与畜牧险维保 图像分类应用：户型图识别（空间、家具） 原始户型图 空间分割 （整体效果） 空间分割 （中间结果） 图像分类应用：智能相册

应用：划分检测训练集与测试集 • 应用：生成CSV 格式数据集与标注 • 应用：使用 TensorFlow 2 训练 RetinaNet • 应用：使用 RetinaNet 检测货架商品 • 扩展：目标检测常用数据集综述 • 扩展：目标检测更多应用场景介绍 目录 基础：目标检测问题定义与说明 目标检测问题 目标检测评估：Ground Truth 目标检测评估： Intersection over Union TensorFlow 2 训练 RetinaNet “Hello TensorFlow” Try it！ 应用：使用 RetinaNet 检测货架商品 “Hello TensorFlow” Try it！ 扩展：目标检测常用数据集综述 通用目标检测数据集 • The ImageNet Large Scale Visual Recognition Challenge ILSVRC • The PASCAL 21841 图像总数: 1400万+ 带有 Bounding box 的图像总数: 1,034,908 带有 SIFT 特征的识别小类: 1000 带有 SIFT 特征的图像总数: 1200万 扩展：目标检测更多应用场景介绍 目标检测应用：仓库流水审计 目标检测应用：仓库流水审计 目标检测应用：仓库盘点 无人智能盘点 人工盘点 目标检测应用：安全防护检测 目标检测应用：内容审核 目标检测应用：车流统计

进程遗留问题，需要⼿动杀死� • 缺乏作业统⼀管理，不便对作业运⾏状态跟踪� • 日志查看不⽅便� � 总结：� TensorFlow使用现状及痛点 • 集群资源的管理（目前支持CPU、内存，需要扩展GPU 资源管理）� • 作业的统⼀管理、状态跟踪� • 资源组（Schedule Pool）的划分� • 作业进程的资源隔离� Yarn能解决什么问题：� TensorFlow on Yarn设计 Web的⽅式查看作业的运⾏状况和作业日志� • 在线查看Tensorboard� • HistoryServer支持查看结束作业的日志和状态信息� • 控制已有的TensorFlow作业的迁移成本（最多改三⾏ 代码）� 扩展目标：� TensorFlow on Yarn设计 tensorflow-submit \� --app-name “tfdemo” \#作业名� --files tfTestDemo 需要知道具体GPU卡号，代码分配 计算任务到指定GPU设备 设备亲和性影响较小 设备亲和性影响较大 TensorFlow on Yarn技术细节揭秘 Yarn支持GPU调度ResourceManager端实现：� 扩展org.apache.hadoop.yarn.api.records.Resource抽象类及其实现，增加：� � public abstract int getGpuCores();� � public

trix Multiplication，简称 matmul)。由于 ?@?的运算结果是形状为[?, ?out]的矩阵，与向量?并不能直接相加，因此批量形式的+号 需要支持自动扩展功能(Broadcasting)，将向量?扩展为形状为[?, ?out]的矩阵后，再与?@? 相加。 考虑两个样本，输入特征长度?in = 3，输出特征长度?out = 2的模型，式(3.1)展开 为： [?1 3]，可以直接与?@?进行相加运算，从而获得线性层的输出张量， 这才是严格意义上的运算过程。实际上，上述插入维度和复制数据的步骤并不需要开发者 手动执行，PyTorch 会自动完成，这是下一节要介绍的自动扩展功能。 考虑另一个例子，输入张量为 2 行 2 列的矩阵，创建张量如下： In [82]: x = torch.arange(4) x = torch.reshape(x,[2,2]) 复制操作呢？这 就是接下来要介绍的 Broadcasting 操作。 4.8 Broadcasting 机制 Broadcasting 称为广播机制(或自动扩展机制)，它是一种轻量级的张量复制手段，在逻 辑上扩展张量数据的形状，但是只会在需要时才会执行实际存储复制操作。对于大部分场 景，Broadcasting 机制都能通过优化手段避免实际复制数据而完成逻辑运算，从而相对于上 一节的

MXNet 概述 MXNet • 节省以及资源效率 • 工程中廉价的GPUs、较小的内存以及网络的限制 • 速度 • 线性的扩展能力 • 简单 • 混合了声明式（declarative）和命令式()代码的特点 为什么选择 MXNet ？ MXNet: 可扩展的深度学习框架 MXNet 框架的特点 命令式 NDArray API 声明式 Symbolic Executor MXNet： 要避开的面孔 • 获得人口学以及情感的数 据推荐最佳照片 • 提高在线约会匹配的推荐 • 动态的个性化广告 人脸比对 测量两张图片中同一个人的可能性 • 为应用和设备添加人脸 验证 • 扩展了物理安全控制的 应用领域 • 客人对VIP 设施的使用 • 在线考试以及民意调查 时的用户验证 人脸识别 通过针对存储的面部向量的集合找到输入面部图像的最接近 的匹配来识别图像中的人 •

• 数据  海量数据： 美团的亿级用户、千万级POI • 特征  大规模离散特征 > 小规模泛化特征 • 模型  DNN > 树模型 > LR 美团超大规模模型应用场景 • 可扩展的机器学习架构  基于Parameter Server架构  数据并行 —— 支持超大规模训练集  模型并行 —— 支持超大规模模型 • 业界千亿级以上的机器学习平台  开源： PaddlePaddle、XDL，etc Entropy、etc • 评估指标  AUC、Loss、MAE、RMSE  支持外部eval工具，计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案，各阶段提供扩展方案，降低算法迭代成本； • 支持Online Learning，提供从近线到在线的模型数据通路； • 提供从召回到排序全流程的模型解决方案，为业务提供最佳实践； • 提供系统的平台化工具，为用户提供易用的界面操作；  与PS通信交换模型参数  计算图的计算 • 计算图框架Graph  计算逻辑抽象op，通过op组合形成模型结构  提供正向（forward）、反向（backward）、Loss的操作扩展 模型训练框架 • 模型可变计算路径  运行阶段  计算图裁剪 模型训练框架 • 应用场景——离线预计算  模型召回，ANN检索  粗排模型，降低线上计算量 • 分布式Sharding