TensorFlow on Yarn 李远策 2017年4月17日 内容大纲 Ø TensorFlow使用现状及痛点� Ø TensorFlow on Yarn设计� Ø TensorFlow on Yarn技术细节揭秘� Ø 深度学习平台演进及SparkFlow介绍� 背景 坐标：360-系统部-⼤数据团队� 专业：Yarn、Spark、MR、HDFS …� 集群资源的管理（目前支持CPU、内存，需要扩展GPU 资源管理）� • 作业的统⼀管理、状态跟踪� • 资源组（Schedule Pool）的划分� • 作业进程的资源隔离� Yarn能解决什么问题：� TensorFlow on Yarn设计 • 同时支持单机和分布式TensorFlow程序� • 支持GPU资源管理和调度� • 不再需要⼿动配置CluserSpec信息，仅需要设置work 和ps的数量� TensorFlow on Yarn设计 • 支持GPU亲和性调度（提⾼通信效率）� • Web的⽅式查看作业的运⾏状况和作业日志� • 在线查看Tensorboard� • HistoryServer支持查看结束作业的日志和状态信息� • 控制已有的TensorFlow作业的迁移成本（最多改三⾏ 代码）� 扩展目标：� TensorFlow on Yarn设计 tensorflow-submit

处理的差值，越小越均衡 2）注意：如果测试过程中，出现异常 （1）可以在 yarn-site.xml 中设置虚拟内存检测为 false yarn.nodemanager.vmem-check-enabled false （2）分发配置并重启 Yarn 集群 3）测试结果分析 （1）由于副本 1 就在本地，所以该副本不参与测试 一共参与测试的文件：10 个文件 * 2 个副本 = 20 个 压测后的速度：1.61 实测速度：1.61M/s * 20 个文件 ≈ 32M/s 三台服务器的带宽：12.5 + [atguigu@hadoop105 hadoop-3.1.3]$ hdfs --daemon start datanode [atguigu@hadoop105 hadoop-3.1.3]$ yarn --daemon start nodemanager 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————

HDFS（数据存储） Yarn（资源调度） Common（辅助工具） MapReduce （计算+资源调度） HDFS（数据存储） Common（辅助工具） Hadoop1.x组成 Hadoop2.x组成 在 Hadoop1.x 时 代 ， Hadoop中的MapReduce同 时处理业务逻辑运算和资 源的调度，耦合性较大。 在Hadoop2.x时代，增 加了Yarn。Yarn只负责 资 块数据，以及块数据的校验和。 3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。 1.5.2 YARN 架构概述 Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。 尚硅谷大数据技术之 Hadoop（入门） Hadoop（入门） ————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 YARN架构概述 client client Resource Manager Job Submission 作业提交 1）ResourceManager（RM）：整个集群资源（内存、CPU等）的老大 3）Applica

Spark的大 规模机器／深度学习顷目。 • 超过9年的互联网、云计算、大数据的工作经验。 概要 • Hadoop的历叱 • Hadoop 3介绍  Common  HDFS  YARN  MapReduce • Hadoop的未来发展方向 Hadoop的历叱 2004 2005 2012 2007 2008 2009 2010 2011 2006 2013 2014 2015 文件存储层 HDFS 资源／任务调度 YARN 计算引擎MapReduce 计算引擎Spark NoSQL HBase 数据仓 库SQL 机器/深 度学习 Batch 任务 流处理 搜索 … Kafka Hadoop 3介绍 • Common  JDK 8+ 升级  Classpath隔离  Shell脚本的重构 • HDFS • YARN • MapReduce Classpath隔离 • Common • HDFS  纠错码(Erasure Coding)  多个Standby Namenode  Datanode内部balance工具  云计算平台的支持 • YARN • MapReduce HDFS纠错码(Erasure Coding) • 一个简单的例子 1备份: 1,0 需要额外的2位 XOR编码: 1,0 需要额外的1位 HDFS纠错码(Erasure

的资源处于闲置状态，造成资源的浪 费和成本的提升。在离线混部集群，通过动态调度削峰填谷，当在线集群的使用率处于波谷时段，将离线任务调度到 在线集群，可以显著的提高资源的利用率。然而，Hadoop Yarn目前只能通过NodeManager上报的静态资源情况进行分配， 无法基于动态资源调度，无法很好的支持在线、离线业务混部的场景。 • 操作系统镜像及部署复杂性拖慢应用发布：虚拟机或裸金属设备所依赖的 迁移风险高 组织架构造成额外的成本 主要体现在Yarn的复杂性 主要体现在领域专业性上 应用改造成本高：将运行在Hadoop平台的大数据应用迁移到云原生平台，一方面需要大数据团队将业务应用进行 容器化改造，如系统任务的启动方式、基础设施的适配（环境变量、配置文件获取方式的变更等），这些都需要 大数据团队来做适配，在资源管理的方式，则从适配Yarn修改为适配Kubernetes，总体改造成本比较高；另一方面， 依赖于社 区的努力。 迁移风险高：一次变更引入的改动越多，引发故障的几率也越多。在Hadoop领域，大数据应用的资源，由 Hadoop Yarn负责管理和调度，具体来说，大数据应用运行在Yarn提供的Container之中，这里的Container，是Yarn中资源的抽 象，并非Linux Container，将其迁移至以容器为技术的云原生架构，跨越了底层基础架构，改动面比较大，风险相 对也更高。

......................................................................................... 3 1.6 YARN 介绍 .............................................................................................. SH .................................................................................. 4 2.2.2 配置 YARN-ENV.SH ....................................................................................... 5 MAPRED-SITE.XML .............................................................................. 6 2.2.6 配置 YARN-SITE.XML ................................................................................... 6 2

yml,circle.yml}",, "!**/{npm-debug.log,yarn.lock,.yarn-integrity,.yarn-metadata.json}" "!**/{npm-debug.log,yarn.lock,.yarn-integrity,.yarn-metadata.json}",, "!build" "!build", yml,.travis.yml,circle.yml}",, "!**/{npm-debug.log,yarn.lock,.yarn-integrity,.yarn-metadata.json}" "!**/{npm-debug.log,yarn.lock,.yarn-integrity,.yarn-metadata.json}",, 是从官⽹ Application Contents - electron-builder yml,circle.yml}",, "!**/{npm-debug.log,yarn.lock,.yarn-integrity,.yarn-metadata.json}" "!**/{npm-debug.log,yarn.lock,.yarn-integrity,.yarn-metadata.json}",, ]],, 其中的 **/* 包含了根⽬录下的各种核⼼⽂件，包括⼊⼝⽂件

Hadoop 概述 本章内容提要 ● Hadoop 的组件 ● HDFS、MapReduce、YARN、ZooKeeper 和 Hive 的角色 ● Hadoop 与其他系统的集成 ● 数据集成与 Hadoop Hadoop 是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当 的核心，然而它并不会威胁到你的预算。如果要分析一组数 据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 Hadoop 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 操作系统。 ZooKeeper 是另一个 Hadoop Stack 组件，它能通过共享层次名 称空间的数据寄存器(称为 znode)，使得分布式进程相互协调工作。 的工作流程就像一个有着大量齿轮 的古老时钟。在移动到下一个之前，每一个齿轮执行一项特定任务。 它展现了数据被切分为更小尺寸以供处理的过渡状态。 主节点 客户端 HDFS 分布式数据存储 YARN 分布式数据处理 从属 NAMENODE 活动 NAMENODE 备用 NAMENODE 调度器 共享编辑日志 或者 JOURNAL NODE 从节点 容器

backend and brings new features to JavaScript-related Gradle build scripts: 稳定版 JS IR 编译器后端 报告 yarn.lock 已更新的新设置 Kotlin 1.8.0 134 通过 Gradle 属性添加浏览器测试目标 向项目添加 CSS 支持的新方式 稳定版 JS IR 编译器后端 Starting help of our migration guide. 报告 yarn.lock 已更新的新设置 If you use the yarn package manager, there are three new special Gradle settings that could notify you if the yarn.lock file has been updated. You notified if yarn.lock has been changed silently during the CI build process. These three new Gradle properties are: YarnLockMismatchReport , which specifies how changes to the yarn.lock file are

backend and brings new features to JavaScript-related Gradle build scripts: 稳定版 JS IR 编译器后端 报告 yarn.lock 已更新的新设置 通过 Gradle 属性添加浏览器测试目标 向项目添加 CSS 支持的新方式 稳定版 JS IR 编译器后端 Starting with this release help of our migration guide. 报告 yarn.lock 已更新的新设置 If you use the yarn package manager, there are three new special Gradle settings that could notify you if the yarn.lock file has been updated. You notified if yarn.lock has been changed silently during the CI build process. These three new Gradle properties are: YarnLockMismatchReport , which specifies how changes to the yarn.lock file are