阿里自研分布式存储服务，类似 HDFS。MaxCompute 对外目前只暴露表接口，不能直接访问文件系统。 Alibaba Cloud MaxCompute 解决方案 15 资源调度 Fuxi 阿里自研的资源调度系统，类似 Yarn。 数据上传下载 Tunnel 不暴露文件系统，通过 Tunnel 进行批量数据上传下载。 流式接入 Datahub MaxCompute 配套的流式数据接入服务，粗略地类似 统一的命令行工具和 JAVA/PYTHON SDK 开发&诊断 Dataworks/Studio/Logview 配套的数据同步、作业开发、工作流编排调度、作业运维 及诊断工具。开源社区常见的 Sqoop、Kettle、Ozzie 等 实现数据同步和调度。 整体 不是孤立的功能，完整的企 业服务 不需要多组件集成、调优、定制，开箱即用。 3 MaxCompute 迁移场景分析 3 迁移基于 Hadoop 的数据湖/数据仓库业务负载 根据 MaxCompute 产品的定位和特性，您可以将基于 Hadoop 为核心的数据湖、数据仓库及 周边配套工具（数据集成、数据开发、作业调度、数据治理等）业务负载迁移至 MaxCompute 及 Dataworks 的云原生大数据平台解决方案。 工作负载 Hadoop 开源生态 MaxCompute 产品组件/MaxCompute

MapReduce（计算） HDFS（数据存储） Yarn（资源调度） Common（辅助工具） MapReduce （计算+资源调度） HDFS（数据存储） Common（辅助工具） Hadoop1.x组成 Hadoop2.x组成 在 Hadoop1.x 时 代 ， Hadoop中的MapReduce同 时处理业务逻辑运算和资 源的调度，耦合性较大。 在Hadoop2.x时代，增 加了Yarn。Yarn只负责 Spark Streaming 实时计算 Spark Sql 数据查询 Oozie任务调度 Azkaban任务调度 业务模型、数据可视化、业务应用 Z o o k e e p e r 数 据 平 台 配 置 和 调 度 数据来源层 数据传输层 数据存储层 资源管理层 数据计算层 任务调度层 业务模型层 Storm实时计算 Flink 图中涉及的技术名词解释如下： 上存储的大数 据进行计算。 5）Flink：Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。 6）Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。 7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库， 它是一个适合于非结构化数据存储的数据库。 8）Hive：Hive 是基于 Hadoop

相关 yarn.resourcemanager.scheduler.client.thread-count ResourceManager 处理调度 器请求的线程数量 yarn.resourcemanager.scheduler.class 配置调度器 （2）Nodemanager 相关 yarn.nodemanager.resource.memory-mb ores 容器最大核数 2）参数具体使用案例 详见《尚硅谷大数据技术之 Hadoop（Yarn）》，第 2.1 节。 9.2 容量调度器使用 详见《尚硅谷大数据技术之 Hadoop（Yarn）》，第 2.2 节。 9.3 公平调度器使用 详见《尚硅谷大数据技术之 Hadoop（Yarn）》，第 2.3 节。 尚硅谷大数据技术之 Hadoop（生产调优手册） Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 10.3.4 Yarn 参数调优 （1）修改 yarn-site.xml 配置参数如下： The class to use as the resource scheduler.

Hortonworks创立 Hadoop 1.0发布 Hadoop 2.0 GA Spark成为顶级顷目 Hadoop 3.0 2017 Hadoop生态系统 文件存储层 HDFS 资源／任务调度 YARN 计算引擎MapReduce 计算引擎Spark NoSQL HBase 数据仓 库SQL 机器/深 度学习 Batch 任务 流处理 搜索 … Kafka Hadoop 3介绍 Common • HDFS • YARN  YARN Timeline Service v.2  YARN Federation  劢态资源配置  容器资源的劢态调整  资源隔离  调度的增强  YARN的Web页面的增强 • MapReduce YARN Timeline Service v.2 • 扩展性 分布式读写 读写分离 HBase存储 YARN Timeline 允许运行时劢态的调整分配给容器的资源 资源隔离 • 磁盘资源的隔离－ YARN-2619 • 网络IO的隔离－ YARN-2140 • Docker Container－ YARN-3611 调度的增强 • 在同一个队列(queue)的优先级－ YARN-1963 YARN的Web页面的增强 • YARN-3368 Hadoop 3介绍 • Common • HDFS • YARN

提供了一套基础设计来处理大多数困难的工作以保证任务可以成功 执行，比如 Hadoop 决定如果将提交的 job 分解为多个独立的 map 和 reduce 任务 （task）来执行，它就会对这些 task 进行调度并为其分配合适的资源，决定将某 个 task 分配到集群中哪个位置（如果可能，通常是这个 task 所要处理的数据所在 的位置，这样可以最小化网络开销）。Hadoop 会监控每一个 task 确保其成功完 理 框 架 中 ， resourcemanager 为 master，nodemanager 是 slave。Resourcemanager 负责对各个 nademanger 上资源进行统一管理和调度。当用户提交一个应用程序时，需要提供 一个用以跟踪和管理这个程序的 ApplicationMaster，它负责向 ResourceManager 申请资源，并要求 NodeManger 启动可以占用一定资源的 nager、 ApplicationMaster 和 Container 等几个组件构成。 ResourceManager 是 Master 上一个独立运行的进程，负责集群统一的资源管 理、调度、分配等等；NodeManager 是 Slave 上一个独立运行的进程，负责上报 节点的状态；App Master 和 Container 是运行在 Slave 上的组件，Container 是

。 主节点 客户端 HDFS 分布式数据存储 YARN 分布式数据处理 从属 NAMENODE 活动 NAMENODE 备用 NAMENODE 调度器 共享编辑日志 或者 JOURNAL NODE 从节点 容器 容器 容器 资源管理器 数据节点 数据节点 数据节点 节点管理器 节点管理器 节点管理器 图 1-1 源管理器是主节点。它了解从节点所在的位置(较底层)以及它们拥 有多少资源。它运行了多种服务，其中最重要的是用于决定如何分 配资源的资源调度器。节点管理器(每个群集中有多个)是此基础设 施的从节点。当开始运行时，它向资源管理器声明自己。此类节点 有能力向群集提供资源，它的资源容量即内存和其他资源的数量。 在运行时，资源调度器将决定如何使用该容量。Hadoop 2 中的 YARN 框架允许工作负载在各种处理框架之间动态共享群集资源，这些框

MDCS 10 Hadoop Hadoop是跨计算机集群的分布式大数据处理平台，由两部分组成： • YARN (Yet Another Resource Negotiator) – 资源调度模型，实现数据跨节点的最小移动 • Map/Reduce – 跨节点分布式计算模型 • HDFS (Hadoop Distributed File System) - 跨节点的分布式文件系统 Hadoop

Hadoop的进程 (mapper) 启动之后，作业监控器进程将监视启动程序脚本。一旦mapper 完成 Hadoop 集群中数据的处理之后，bash 脚本即完成，如图 4 所示。 作业监控器将监视数据库调度程序队列，并在 shell 脚本完成时发出通知（第 7 步）。作业监 控器检查数据队列中的剩余数据元素（第 8 步）。只要队列中存在数据，表函数调用就会继 续处理数据（第 6 步）。 6

数据源 • 监管：为相关资产添加标记、条款和自定义属性 • 收集：通过收集来捕获资产，并开展具体的分析或治理 工作 • 协作：共享其他内容管理和治理集合 • 治理：创建并引用信息治理策略和规则；应用数据质 量、屏蔽、归档和清除操作 • 卸载：单击HDFS来复制数据并执行分析，以便强化仓库 • 分析：分析已卸载的数据 • 重用和信任：了解如何通过沿袭功能运用数据进行分析 和报告