深度学习 + 大数据 TensorFlow on Yarn 李远策 2017年4月17日 内容大纲 Ø TensorFlow使用现状及痛点� Ø TensorFlow on Yarn设计� Ø TensorFlow on Yarn技术细节揭秘� Ø 深度学习平台演进及SparkFlow介绍� 背景 坐标：360-系统部-⼤数据团队� 专业：Yarn、Spark、MR、HDFS 专业：Yarn、Spark、MR、HDFS …� 挑战：深度学习空前⽕爆，各种深度学习框架层出不穷，业务部门 拥抱新兴技术。平台怎么应对？� 机遇：Maybe 深度学习 + ⼤数据 � � TensorFlow使用现状及痛点 场景（1）� 场景（2）� TensorFlow使用现状及痛点 !.train.ClusterSpec({ “worker”: [ “worker0.example ⼿动拉取训练模型� TensorFlow使用现状及痛点 • 多⼈多服务器使用混乱，计算资源如何划分？� • 没有GPUs集群资源管理和调度（内存、CPU、GPU、 端⼝），集群资源负载不均� • 训练数据⼿动分发，训练模型⼿动保存� • 进程遗留问题，需要⼿动杀死� • 缺乏作业统⼀管理，不便对作业运⾏状态跟踪� • 日志查看不⽅便� � 总结：� TensorFlow使用现状及痛点 •

数据增强 主讲人：龙良曲 Big Data ▪ The key to prevent Overfitting Sample more data? Limited Data ▪ Small network capacity ▪ Regularization ▪ Data argumentation Recap Data argumentation ▪ Flip ▪ Rotate

构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 … … 连接 智能 人工智能 = 大数据 + 机器学习 Ataraxia AI Lab (AtLab) 色情 0.01 性感 0.98 正常 0.01 特征 id1 戴眼镜 性别：男 年龄：33 场景：户外／景点／雪山 审查： 非色情 非暴力 很健康 颜值: ?? “C罗正在带球突破，后有球员追堵” 场景一 00:00:00-00:01:05 描述：事件1-XXXX 事件2-XXXX 事件2-XXXX 人物出现:id1, id2 场景二 … 用户行 为 用户数 据 推理结 果 推理服务 数据抽样 和整理 样本 训练 模型 模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow Data

基本数据类型 主讲人：龙良曲 All is about Tensor python PyTorch Int IntTensor of size() float FloatTensor of size() Int array IntTensor of size [d1, d2 ,…] Float array FloatTensor of size [d1, d2, …] string

自定义数据集实战 主讲：龙良曲 Pokemon Go! Pokemon Dataset https://www.pyimagesearch.com/2018/04/16/keras-and-convolutional-neural-networks-cnns/ Download ▪ 链接: https://pan.baidu.com/s/1V_ZJ7ufjUUFZwD2NHSNMFw

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.1 导入 pytorch 6 1.2 导入样本数据 7 2 构建神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 构建自己的数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.1 自定义 Variable 数据与网络训练 19 4.2 准确率的可视化 22 4.3 分类结果的可视化 23 4.4 自定义 Dataset 数据集 25 20211006：完成本书第一版。 5 1. 准备章节 1.1 导入 pytorch 6 1.2 导入样本数据 7 本章节将神经网络训练之前的准备工作进行全面介绍。但我们并不介绍如何安装 pytorch，一是由 于不同版本的 pytorch 会依赖于不同的 cuda 工具，二是因为官网资料非常齐全，也有很多博客来 介绍，因此没有必要赘述。 1.1 导入 pytorch 首先我们需要明白一个术语：tensor。这个词被翻译为中文叫张量。1

参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 高级操作 5.7 经典数据集加载 5.8 MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9.4 模型设计 9.5 正则化 9.6 Dropout 9.7 数据增强 9.8 过拟合问题实战 9.9 参考文献 第 10 章 卷积神经网络 10.1 全连接网络的问题 10.2 卷积神经网络

完成全部代码构建与程序演示。本章的主要目标是帮助初 次接触 Python 与 Pytorch 的读者搭建好开发环境，认识与理解 Pytorch 框架 中常见的基础操作函数、学会使用它们完成一些基础的数据处理与流程处理， 为后续内容学习打下良好基础。 好了，下面就让我们来一起开启这段 Pytorch 框架的深度学习破冰之旅。 PyTorch + OpenVINO 开发实战系列教程 第一篇 2 原型版本是新功能还不可以，需要开发不能通过 pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch 当前支持绝大数的深度学习常见的算子操作，基于相 关的功能模块可以快速整合数据、构建与设计模型、实现模型 训练、导出与部署等操作。这些功能的相关模块主要有如下： 1）torch.nn 包，里面主要包含构建卷积神经网络的各种算子 操作，主要包括卷积操作（Conv2d、Conv1d、Conv3d）激 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。 3）torch 开头的一些包与功能，主要包括支持模型导出功能 的 torch.onnx 模块、优化器

PYCON CHINA 基于深度学习的多维时间序列 预测在数据机房中的应用 目 录 1 背景介绍 2 研究目标 3 研究内容 4 后续工作 1. 背景介绍 数据机房面临的能耗问题 数据机房面临电量消耗巨大的问题 空调是数据机房中电量消耗最大的设备 空调为什么那么耗电？怎么优化节能？ 低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散 的全面感知 空调对温度的控制 存在延迟 多 维 感 知 温 度 预 测 控 制 2. 研究目标 对数据机房的温度进行预测 ⚫ 根据机房的历史运行数据变化预测未来 XX 分钟机房的温度值，从而实现空调的预测控制。 风机状态 服务负载 天气状况 室外温度 室外湿度 门禁状态 时序数据 温度预测 预测控制 节能调节 3. 研究内容 ⚫ 时间序列预测方法的比较 传统时间序列预测 ⚫ 混合多维时间序列预测 ⚫ 提取多维序列之间更加复杂 的关系 ⚫ 提取维度之间空间依赖关系， 长短期依赖关系 ⚫ 算法有LSTNet，TPA-LSTM 多维时间序列预测方法解决机房温度预测 对数据包含的信息提取能力越来越强 选择 LSTNet 作为温度预测建模算法 ⚫ Convolutional Layer 捕捉时间维度上的短期依赖和维度之间的空间依赖关系 ⚫ Recurrent and

张量（大于等于3阶张量） 1.2 5  创建张量的几种方法  用现有数据创建张量，使用 torch.tensor()  如torch.tensor([[1., -1.], [1., -1.]])  要创建具有特定大小的张量，请使用torch.*  如torch.randn() #满足标准正态分布的一组随机数据  创建与另一个张量具有相同大小的张量，请使用 torch.*_like 1.Tensors张量的概念 6  查看张量的属性  查看Tensor类型  tensor1 = torch.randn(2,3) #形状为(2,3)一组从标准正态分布 中随机抽取的数据  tensor1.dtype # torch.float32  查看Tensor维度和形状  tensor1.shape #查看形状或尺寸  tensor1.ndim #查看维度 tensor  gpu_tensor.cpu()  numpy转为CPU tensor  torch.from_numpy(numpy_test )  CPU tensor转为numpy数据  cpu_tensor.numpy()  注意：  GPU tensor不能直接转为numpy数组，必须先转到CPU tensor。  如果tensor是标量的话，可以直接使用 item()