构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 … … 连接 智能 人工智能 = 大数据 + 机器学习 Ataraxia AI Lab (AtLab) 色情 0.01 性感 0.98 正常 0.01 特征 id1 戴眼镜 性别：男 年龄：33 场景：户外／景点／雪山 审查： 非色情 非暴力 很健康 颜值: ?? “C罗正在带球突破，后有球员追堵” 场景一 00:00:00-00:01:05 描述：事件1-XXXX 事件2-XXXX 事件2-XXXX 人物出现:id1, id2 场景二 … 用户行 为 用户数 据 推理结 果 推理服务 数据抽样 和整理 样本 训练 模型 模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow Data

深度学习 + 大数据 TensorFlow on Yarn 李远策 2017年4月17日 内容大纲 Ø TensorFlow使用现状及痛点� Ø TensorFlow on Yarn设计� Ø TensorFlow on Yarn技术细节揭秘� Ø 深度学习平台演进及SparkFlow介绍� 背景 坐标：360-系统部-⼤数据团队� 专业：Yarn、Spark、MR、HDFS 专业：Yarn、Spark、MR、HDFS …� 挑战：深度学习空前⽕爆，各种深度学习框架层出不穷，业务部门 拥抱新兴技术。平台怎么应对？� 机遇：Maybe 深度学习 + ⼤数据 � � TensorFlow使用现状及痛点 场景（1）� 场景（2）� TensorFlow使用现状及痛点 !.train.ClusterSpec({ “worker”: [ “worker0.example TensorFlow使用现状及痛点 • ⼿动分发训练样本� • ⼿动拉取训练模型� TensorFlow使用现状及痛点 • 多⼈多服务器使用混乱，计算资源如何划分？� • 没有GPUs集群资源管理和调度（内存、CPU、GPU、 端⼝），集群资源负载不均� • 训练数据⼿动分发，训练模型⼿动保存� • 进程遗留问题，需要⼿动杀死� • 缺乏作业统⼀管理，不便对作业运⾏状态跟踪� • 日志查看不⽅便�

[探索]聊天机器人 吴金龙@爱因互动 2017年04月17日 吴金龙 • 2005~2010：北大数学院 • 推荐系统 • 2010~2011：阿里云 • PC/手机输入法 • 2011~2017：世纪佳缘 • 用户推荐、网警等数据系统 • 技术部负责人 • 一个AI负责人 • 2017~现在：爱因互动 • 技术合伙人、算法负责人 • ChatbotsChina发起人 • •Microsoft Cortana •微软小冰 2016 •Facebook Messenger •Microsoft Tay IR-Bot: 智能检索机器人 IR-Bot：检索问答系统 IR-Bot：深度学习 • 句子表示、QA匹配 基于深度学习的智能问答 IR-Bot：深度学习 • 句子表示、QQ匹配 Semantic Question Matching with Deep Tracking (DST) • 对话状态应该包含持续对话所需要的各种信息 • DST问题：依据最新的系统和用户动作，更新对话状态 • Q：如何表示对话状态 状态追踪 (DST) 旧状态 用户动作 系统动作 新状态 策略优化 Dialogue Policy Optimization (DPO) • 系统如何做出反馈动作 • 作为序列决策过程进行优化：增强学习 Milica Gašić (2014)

数据增强 主讲人：龙良曲 Big Data ▪ The key to prevent Overfitting Sample more data? Limited Data ▪ Small network capacity ▪ Regularization ▪ Data argumentation Recap Data argumentation ▪ Flip ▪ Rotate

阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 1.方案复杂 从FM到DeepFM rt 增 加了10倍怎么优化？ 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 深度学习应用主要的挑战： 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 从FM到DeepFM rt 增 加了10倍怎么优化？ 2

未来都市 - 智慧城市与基于深度学习的 机器视觉 演讲者／陈宇恒 概要 • 我们是谁 • 智慧城市中机器视觉应用 • 我们是如何构建城市级AI+智慧城市系统 • 大规模深度学习实战系统的几点经验 l商汤科技联合创始人，架构师 lC++/Go/Rust/Ruby开发者 l多个开源项目贡献者 lNIPS国际会议论文作者 @chyh1990 2017.6 2016.3 2015 l单机、简易分布式人脸检测、跟踪、比对平台 l处理数十路到数百路监控摄像头数据 l千万级别深度学习特征检索 l行业试水 2018-2019 l云原生Cloud-Native超大规模视图存储、处理、检 索 l处理数万到数十万路，城市范围级别监控、门禁摄 像头数据 l10-100 Billion级别深度学习特征检索 - PB以上级别数据库存储 - 100PB级别抓拍图片存储 - 每秒万次并发检索请求 每秒万次并发检索请求 l大规模推广应用 l某种程度上说，城市内所有市民都是系统的用户 深度学习算法发展为平台系统赋能 首次超过人眼 2014 2015 98.52% 97.35% 97.45% 人眼 DeepID时代 99.55% 99.15% 30万张人脸训练 DeepID3 DeepID2 8位密码时代 20亿张人脸， 2亿个体训练 1/1亿 错误概率 97% 通过率 6位密码时代

基本数据类型 主讲人：龙良曲 All is about Tensor python PyTorch Int IntTensor of size() float FloatTensor of size() Int array IntTensor of size [d1, d2 ,…] Float array FloatTensor of size [d1, d2, …] string

华为云深度学习在文本分类中的实践 华为 Cloud&AI 李明磊 3 2 3 1 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 4 文本分类介绍 内容：  买没几天就降价一点都不开心，闪存跑分就五百多点点 ---  外观漂亮音质不错，现在电子产品基本上都是华为的了 ---  汽车不错，省油，性价比高 ---  这个政策好啊，利国利民 --- 在目标语料上训练 分类器 … … BERT E[ C E1 T1 E2 T2 En Tn … … 模型： 数据： 目标： 预测mask词和下一句 … … BERT E[ C E1 T1 E2 T2 En Tn … … 分类器 模型： 数据： 手机不错，高大上 正面 手机太差劲了，又贵又卡 负面 续航给力，价格实在 正面 9 1 3 2 4 分类 46, 876, 55, 98, 20] 11 1 2 3 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 12 数据不均衡 13 数据不均衡 预处理方法  上采样  下采样  SMOTE  数据增广 集成方法  SMOTEbagging 改损失函数  Focal loss “An Insight into Classification

Lipton, Mu Li, and Alexander J. Smola Aug 18, 2023 目录 前言 1 安装 9 符号 13 1 引言 17 2 预备知识 39 2.1 数据操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 2.1 . . . . . . . . . . . . . . . . . . . 47 2.2 数据预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.2.1 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 . . . . . . . . . . . . . . . . . . . . . . .

� ⽆量系统 � 项⽬于17年启动，先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景，⽀持腾讯 IEG，CSIG，QQ⾳乐，阅⽂等业务的部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 管理 ⽆量 RGW/Cos/ kafka 样本 存储 实时样本 ⽣成服务 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 上线 预测 请求 数据 落地 落地 ⽆量 ⽤户⾏为数据上报 特征 库 内容 获取 请求 � 推荐场景的重要性 � PCG的图⽂，视频推荐（腾讯视频，腾讯新 闻，QQ看点，浏览器，微视， QQ⼩世界等） � 腾讯系内容推荐：阅⽂集团，QQ⾳乐 � Facebook推荐场景推理成本占AI推理成本的 >72% [ISCA2020 RecNMP] � 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离 线训练，在线推理服务和持续上线