Hadoop 优势（4 高） Hadoop优势（4高） 1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失。 2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 Hadoop102 Hadoop103 Hadoop104 Hadoop105 Hadoop106 双11、618可以动 态增加服务器 Hadoop102 Hadoop103 Hadoop104 Hadoop优势（4高） 3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度。 4）高容错性：能够自动将失败的任务重新分配。 Hadoop102 Hadoop103 Hadoop104 Hadoop101 单台服务 器工作 计算任务 集群工作 计算子任务 计算子任务 计算任务汇总 Hadoop102 Hadoop103 的老大 3）ApplicationMaster（AM）：单个任务运行的老大 2）NodeManager（NM）：单个节点服务器资源老大 4）Container：容器，相当一台独立的服务器，里面封装了 任务运行所需要的资源，如内存、CPU、磁盘、网络等。 NodeManager Container NodeManager Container NodeManager App Mstr

务可以成功 执行，比如 Hadoop 决定如果将提交的 job 分解为多个独立的 map 和 reduce 任务 （task）来执行，它就会对这些 task 进行调度并为其分配合适的资源，决定将某 个 task 分配到集群中哪个位置（如果可能，通常是这个 task 所要处理的数据所在 的位置，这样可以最小化网络开销）。Hadoop 会监控每一个 task 确保其成功完 银河麒麟服务器操作系统 拆分成了两个独立的服务：一个全局的资源管理器 ResourceManager 和每个应用程序特有的 ApplicationMaster。其中 ResourceManager 负责整个系统 的资源管理和分配，而 ApplicationMaster 负责单个应用程序的管理。 YARN 总 体 上 仍 然 是 master/slave 结 构 ， 在 整 个 资 源 管 理 框 架 中 ， resourcemanager ResourceManager 是 Master 上一个独立运行的进程，负责集群统一的资源管 理、调度、分配等等；NodeManager 是 Slave 上一个独立运行的进程，负责上报 节点的状态；App Master 和 Container 是运行在 Slave 上的组件，Container 是 yarn 中分配资源的一个单位，包涵内存、CPU 等等资源，yarn 以 Container 为单位分 配资源。

HADOOP_NAMENODE_OPTS=-Xmx3072m 3）Hadoop3.x 系列，配置 NameNode 内存 （1）hadoop-env.sh 中描述 Hadoop 的内存是动态分配的 # The maximum amount of heap to use (Java -Xmx). If no unit # is provided, it will be converted MaxHeapSize = 1031798784 (984.0MB) 查看发现 hadoop102 上的 NameNode 和 DataNode 占用内存都是自动分配的，且相等。 不是很合理。 经验参考： https://docs.cloudera.com/documentation/enterprise/6/release- notes/top CPU 核数，设置为（CPU 核数 - 1） ➢ Number of files：生成 mapTask 数量，一般是集群中（CPU 核数-1），我们测试虚 拟机就按照实际的物理内存-1 分配即可 ➢ Total MBytes processed：单个 map 处理的文件大小 ➢ Throughput mb/sec:单个 mapTak 的吞吐量 计算方式：处理的总文件大小/每一个

• “加盐” • 过多的compaction和compaction丌及时 • 尽量避免：比方说增加compaction thread数，防止阻塞写入 • 过多的split • 预分配region 大对象的高效存储（IDH2.3） 在交通、金融等领域，要求存储大量的图片 • 将图片存入HBase，引起大量的compaction • 将图片存入HDFS，管理使用麻烦 coprocessor 实现，其余功能用MapReduce实现，无缝连接 • 去除了MapReduce的overhead，大大减少了数据传输 • 性能有3X~10X的提升 HBase的性能优化 预分配region 启用压缩已减少HDFS数据量，可提高读性能 Region Server迚程配置大内存（>16G） 每个Region Server拥有的region数量<300 优化表结

允许YARN的集群扩展到一万个戒更多个节点 YARN的集群的集群对用户来说是一个整体的集群 劢态资源配置 • YARN-291 允许劢态的改变NM的资源配置 容器资源的劢态调整 • YARN-1197 允许运行时劢态的调整分配给容器的资源 资源隔离 • 磁盘资源的隔离－ YARN-2619 • 网络IO的隔离－ YARN-2140 • Docker Container－ YARN-3611 调度的增强 • 在同一个队列(queue)的优先级－

大型机级治理和操作管理，包括： • 操作平台界面，在操作数据集成应用程序的各方人员 （开发人员和其他利益干系人）监控运行时环境时，快 速回答他们的提问 • 工作负载管理，为共享服务环境中的某些项目分配资源 优先级，在繁忙系统上对工作负载进行排队 • 性能分析，深入了解资源使用情况，辨别瓶颈并确定何 时系统可能需要更多的资源 • 构建工作流，其中包括通过Oozie直接按作业序列定义 的基