hadoop103:8088 查看 CPU 核数，设置为（CPU 核数 - 1） ➢ Number of files：生成 mapTask 数量，一般是集群中（CPU 核数-1），我们测试虚 拟机就按照实际的物理内存-1 分配即可 ➢ Total MBytes processed：单个 map 处理的文件大小 ➢ Throughput mb/sec:单个 mapTak 的吞吐量 计算方式：处理的总文件大小/每一个 pcores-vcores-multiplier 虚拟核数和物理核数乘数，例 如：4 核 8 线程，该参数就应设为 2 yarn.nodemanager.resource.detect-hardware-capabilities 是否让 yarn 自己检测硬 件进行配置 yarn.nodemanager.pmem-check-enabled 是否开启物理内存检查限制 container yarn.nodemanager nodemanager.vmem-check-enabled 是否开启虚拟内存检查限制 container yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例 （3）Container 容器相关 yarn.scheduler.minimum-allocation-mb 容器最小内存 yarn.scheduler.maximum-allocation-mb

的信息。对于整个 集群来说，HDFS 通过 NameNode 对用户提供了一个单一的命名空间。 DataNode 作为 slave 服务，在集群中可以存在多个。通常每一个 DataNode 都对应于一个物理节点。DataNode 负责管理节点上它们拥有的存储，它将存储划 分为多个 block 块，管理 block 块信息，同时周期性的将其所有的 block 块信息发 送给 NameNode。 1 oop-2.7.7/hdfs/data 银河麒麟服务器操作系统 V4 hadoop 软件适配手册 6 datanode 上数据块的物理存储位置 dfs.replication 1

达到>1万条记录/秒（每记录200字节） 英特尔Hadoop功能增强 － 跨数据中心大表 虚拟大表 分中心 A 分中心 B 分中心 C 特点与优势 全局虚拟大表，访问方便 大表数据分区存放在物理分中心 接入仸何分中心可访问全局数据 高可用性 适合本地高速写入 分布式聚合计算，避免大数据传输 英特尔Hadoop发行版 – 主要特色 经实际验证的企业级 Hadoop 发行版