（5）再观察上一个窗口 Safe mode is OFF （6）HDFS 集群上已经有上传的数据了 6.3 慢磁盘监控 “慢磁盘”指的时写入数据非常慢的一类磁盘。其实慢性磁盘并不少见，当机器运行时 间长了，上面跑的任务多了，磁盘的读写性能自然会退化，严重时就会出现写入数据延时的 尚硅谷大数据技术之 Hadoop（生产调优手册） ————————— MapReduce 跑的慢的原因 MapReduce 程序效率的瓶颈在于两点： 1）计算机性能 CPU、内存、磁盘、网络 2）I/O 操作优化 （1）数据倾斜 （2）Map 运行时间太长，导致 Reduce 等待过久 （3）小文件过多 8.2 MapReduce 常用调优参数 MapReduce优化（上） Map1方法 分区1 分区2 写入数据 第一次溢出 虚拟内存物理内存比例 （3）Container 容器相关 yarn.scheduler.minimum-allocation-mb 容器最小内存 yarn.scheduler.maximum-allocation-mb 容器最大内存 yarn.scheduler.minimum-allocation-vcores 容器最小核数 yarn.scheduler.ma

分布式数据处理 从属 NAMENODE 活动 NAMENODE 备用 NAMENODE 调度器 共享编辑日志 或者 JOURNAL NODE 从节点 容器 容器 容器 资源管理器 数据节点 数据节点 数据节点 节点管理器 节点管理器 节点管理器 图 1-1 MapReduce 的功能使得它成为最常用的批处理工具之一。该处 理器的 有多少资源。它运行了多种服务，其中最重要的是用于决定如何分 配资源的资源调度器。节点管理器(每个群集中有多个)是此基础设 施的从节点。当开始运行时，它向资源管理器声明自己。此类节点 有能力向群集提供资源，它的资源容量即内存和其他资源的数量。 在运行时，资源调度器将决定如何使用该容量。Hadoop 2 中的 YARN 框架允许工作负载在各种处理框架之间动态共享群集资源，这些框 架包括 MapReduce、Impala

Batch… Hadoop 3介绍 • Common • HDFS • YARN  YARN Timeline Service v.2  YARN Federation  劢态资源配置  容器资源的劢态调整  资源隔离  调度的增强  YARN的Web页面的增强 • MapReduce YARN Timeline Service v.2 • 扩展性 分布式读写 读写分离 允许YARN的集群扩展到一万个戒更多个节点 YARN的集群的集群对用户来说是一个整体的集群 劢态资源配置 • YARN-291 允许劢态的改变NM的资源配置 容器资源的劢态调整 • YARN-1197 允许运行时劢态的调整分配给容器的资源 资源隔离 • 磁盘资源的隔离－ YARN-2619 • 网络IO的隔离－ YARN-2140 • Docker Container－ YARN-3611

最佳实践5：在企业间实施强大的管理和操作控制 采用Hadoop开展大数据集成的企业势必期望实现强大的 大型机级治理和操作管理，包括： • 操作平台界面，在操作数据集成应用程序的各方人员 （开发人员和其他利益干系人）监控运行时环境时，快 速回答他们的提问 • 工作负载管理，为共享服务环境中的某些项目分配资源 优先级，在繁忙系统上对工作负载进行排队 • 性能分析，深入了解资源使用情况，辨别瓶颈并确定何 时系统可能需要更多的资源

：整个集群资源（内存、CPU等）的老大 3）ApplicationMaster（AM）：单个任务运行的老大 2）NodeManager（NM）：单个节点服务器资源老大 4）Container：容器，相当一台独立的服务器，里面封装了 任务运行所需要的资源，如内存、CPU、磁盘、网络等。 NodeManager Container NodeManager Container NodeManager