阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 推理: Ring All-reduc同步训练 [HybridBackend/SOK] 特征选择 [VariationalDropout] 通信优化 [GRPC++] 实时训练 [增量更新] 混合精度 [bf16] 工程优化: 千亿特征优化 模型蒸馏 AVX/SSE优化 Graph优化 [User Graph去重] 内存Allocate优化 ParallelStringOp [split/type 机器学习框架(PAI-TensorFlow/PAI-PyTorch/Caffe /Alink/…) 计算引擎(MaxCompute / EMR / Flink) 基础硬件（CPU/GPU/FPGA/NPU） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模（DSW） • JupyterLab、WebIDE • 多框架兼容 • 可视化+tensorboard

华为云深度学习在文本分类中的实践 华为 Cloud&AI 李明磊 3 2 3 1 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 4 文本分类介绍 内容：  买没几天就降价一点都不开心，闪存跑分就五百多点点 ---  外观漂亮音质不错，现在电子产品基本上都是华为的了 ---  汽车不错，省油，性价比高 ---  这个政策好啊，利国利民 --- 85 0.9 0.95 人工标注 系统标注 效果：F1 未标注集合 ???????????? ???????????? 种子语料 机器学习模型 人工标注 15 华为云主动学习平台 16 华为云主动学习平台 17 1 2 4 3 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 18 情感分析 0.00% 20.00% 40.00% 60.00%

AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何 使用 llama.cpp 11.1 SkyPilot 是什么 SkyPilot 是一个可以在任何云上运行 LLM、AI 应用以及批量任务的框架，旨在实现最大程度的成本节省、最 高的 GPU 可用性以及受管理的执行过程。其特性包括： • 通过跨区域和跨云充分利用多个资源池，以获得最佳的 GPU 可用性。 • 把费用降到最低——SkyPilot 在各区域和云平台中为您挑选最便宜的资源。无需任何托管解决方案的 额外加价。 • • 将服务扩展到多个副本上，所有副本通过单一 endpoint 对外提供服务 • 所有内容均保存在您的云账户中（包括您的虚拟机和 bucket） • 完全私密 - 没有其他人能看到您的聊天记录 22 Chapter 1. 文档 Qwen 1.11.2 安装 SkyPilot 我们建议您按照 指示 安装 SkyPilot。以下为您提供了一个使用 pip 进行安装的简单示例： # You can

项⽬于17年启动，先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景，⽀持腾讯 IEG，CSIG，QQ⾳乐，阅⽂等业务的部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 for Distributed Training Dense参数，每次 都⽤，快速收敛 Sparse参数，随数 据变化，收敛度差 异⼤ 基于动态阈值 的稀疏化压缩 float16压缩 特点 混合压缩 ⽅案 效果 ～-90% -50% 训练速度提升 10%-30% 在线推理服务成本⾼，上线模型可以变⼩么？---模型压缩 模型的⼤⼩由什么决定？ Key + embedding values 变⻓Embedding 特征出现次数少，⽤1个float 结合show/click，有效果提升 2. 更少的key： group lasso key级别的稀疏化 3. 更短的values a) 混合精度： float16+int8+int4 b) 量化压缩，1bit或2bit 优点：与优化器⽆关 缺点：1. 只适合低频特征多的场景 2. 变⻓编码，不利于性能优化

COPYRIGHTS RESERVED 2 2019 KE.COM ALL COPYRIGHTS RESERVED 3 自我介绍 周玉驰  硕士毕业于中科院  先后就职于华为，百度和医渡云  目前就职于贝壳找房  主要负责两个方向  房源策略算法  房客人关系图谱 扫一扫二维码图案，加我微信 2019 KE.COM ALL COPYRIGHTS RESERVED 4 LSTM 2019 KE.COM ALL COPYRIGHTS RESERVED 22 DNN 2019 KE.COM ALL COPYRIGHTS RESERVED 23 深度学习模型结构  混合模型：DNN + RNN  Deep neural networks (DNN) - 全连接的多层感知机 - BatchNormalization - 激活层（RELU） - dropout正则化 ALL COPYRIGHTS RESERVED 46 总结&思考  AI选房解决的是房地产领域的TopN排序问题  AI选房采用了DNN + RNN的混合网络结构 - DNN，静态数据；RNN，时序数据 - DNN+RNN的混合模型，提供了静态数据+时序数据的解决方案  模型输出值并不能直接适用于业务，需要做一些转换 - 为了便于经纪人理解和指导经纪人， 采用分数映射和雷达图两种方式

计算自身位置（在空间中的位置和朝向） • 构建环境地图（稀疏或者稠密的三维点云） 稀疏SLAM 稠密SLAM SLAM系统常用的框架 输入 • 传感器数据 前台线程 • 根据传感器数据进行跟踪求解， 实时恢复每个时刻的位姿 后台线程 • 进行局部或全局优化，减少误差累积 • 场景回路检测 输出 • 设备实时位姿 • 三维点云 RGB图 深度图 IMU测量值 优化以减少误差累积 回路检测 VR》 SLAM应用介绍 • 增强现实：Google Tango Google的Tango项目演示视频 Tango为终端开发者提供了从硬件到软件的整套AR开发套件 SLAM应用介绍 • 混合现实：微软HoloLens HoloLens融合了场景位置感知和头盔显示技术，并提供了完整的软硬件解决方案。 Hololens部分传感器 左右双目+前视RGB摄像头+深度传感器 Hololens宣传视频 小范围内定位精度较高 • 无需预先布置场景 基本原理：多视图几何 投影函数 主要模块 • 特征跟踪 • 获得一堆特征点轨迹 • 相机姿态恢复与场景三维结构恢复 • 求解相机参数和三维点云 • 如何处理循环回路序列和多视频序列？ • 如何高效高精度地处理大尺度场景？ • 如何处理动态场景？ • 如何处理快速运动和强旋转？ 复杂环境下的主要挑战 我们课题组的工作 • 面向大尺度场景的运动恢复结构

. . . . . . . . . . . . . . . . 504 12.1.2 混合式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 12.1.3 Sequential的混合式编程 . . . . . . . . . . . . . . . . . . . . . 载的PDF访问，也可以作为网站在互联网上访问。目前还没有完全适合这些需求的工具和工作流程，所以我 们不得不自行组装。我们在 16.5节 中详细描述了我们的方法。我们选择GitHub来共享源代码并允许编辑，选 择Jupyter记事本来混合代码、公式和文本，选择Sphinx作为渲染引擎来生成多个输出，并为论坛提供讨论。 虽然我们的体系尚不完善，但这些选择在相互冲突的问题之间提供了一个很好的妥协。我们相信，这可能是 第一本使用这种集成工作流程出版的书。 ti‐label classification）。举个例子，人们在技术博客 上贴的标签，比如“机器学习”“技术”“小工具”“编程语言”“Linux”“云计算”“AWS”。一篇典型的文章可 能会用5～10个标签，因为这些概念是相互关联的。关于“云计算”的帖子可能会提到“AWS”，而关于“机 器学习”的帖子也可能涉及“编程语言”。 此外，在处理生物医学文献时，我们也会遇到这类问题。正确地标记文献很重要，有利于研究人员对文献

捕获简单线性关系，模型 简单 ⚫ 代表算法有AR， ARIMA 基于深度学习的 时间序列预测 ⚫ 利用多维时间序列之间的 信息 ⚫ 对变周期序列，多维空间 依赖序列预测较弱 ⚫ 代表算法有RNN，LSTM 混合多维时间序列预测 ⚫ 提取多维序列之间更加复杂 的关系 ⚫ 提取维度之间空间依赖关系， 长短期依赖关系 ⚫ 算法有LSTNet，TPA-LSTM 多维时间序列预测方法解决机房温度预测 对数据包含的信息提取能力越来越强

除此之外，初始化时的位置嵌入不携带关于patch二维位置的信息，并且patch之间的所有空间关 系都需要从头学习。 4.模型缺点与改进 29 改进 作为原始图像块的替代方法，输入序列可以由CNN的特征图形成。 在该混合模型中，将patch嵌入投影E应用于从CNN feature map中提取的patch。 作为一种特殊情况，patches的空间大小可以是1x1，这意味着输入序列是通过简单地打平 feature

Gigabit 深度学习框架 – MXNet 概述 MXNet • 节省以及资源效率 • 工程中廉价的GPUs、较小的内存以及网络的限制 • 速度 • 线性的扩展能力 • 简单 • 混合了声明式（declarative）和命令式()代码的特点 为什么选择 MXNet ？ MXNet: 可扩展的深度学习框架 MXNet 框架的特点 命令式 NDArray API 声明式 Symbolic