带来一些不兼容性 • Shell脚本现在更易于调试: --debug ## Hadoop 3介绍 • Common • HDFS ■ 纠错码(Erasure Coding) ■ 多个Standby Namenode Datanode内部balance工具 云计算平台的支持 • YARN • MapReduce ## HDFS纠错码(Erasure Coding) ## • 一个简单的例子 |X|Y|X 性能  ## 多个Standby Namenode HDFS-6440 Journal Node Journal Node Journal Node Write edit logs Read edit logs Active NN collector的Native实现，对于shuffle密集型的task能带来30%的性能提升。 ## Hadoop 的未来 ## HDFS的未来 • 对象存储 - HDFS-7240 • 更高性能的Namenode：更高效的内存使用，锁的改进等 • Erasure Coding的完善 ## YARN的未来 • 更大规模的集群支持 • 更好的资源调度，隔离和多租户 • 支持更多的应用，包括long

### 1.1 NameNode 内存生产配置 ## 1 ）NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1 亿 G MB KB Byte ### 2 ）Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m，如果服务器内存 2000m，如果服务器内存 4G，NameNode 内存可以配置 3g。在 hadoop-env.sh 文件中配置如下。 HADOOP NAMENODE OPTS=-Xmx3072m ### 3 ）Hadoop3.x 系列，配置 NameNode 内存 （1）hadoop-env.sh 中描述 Hadoop 的内存是动态分配的 # The maximum amount of heap to use memory size. # export HADOOP_HEAPSIZE_MIN= HADOOP_NAMENODE_OPTS=-Xmx102400m (2) 查看 NameNode 占用内存 [atguigu@hadoop102 ~]$ jps 3088 NodeManager 2611 NameNode 3271 JobHistoryServer 2744 DataNode 更多 Java –

## HDFS架构概述  1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。  3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。 让天下没有难学的技术 #### 1.5.2 YARN 架构概述 Yet Another Resource Negotiator 简称 YARN，另一种资源协调者，是 |authorized\_keys|存放授权过的无密登录服务器公钥| #### 3.2.4 集群配置 ## 1 ）集群部署规划 注意： NameNode 和 SecondaryNameNode 不要安装在同一台服务器 ➢ ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。 ||hadoop102|hadoop103|hadoop104|

6 配置 YARN-SITE.XML ..... 6 2.2.7 配置 SLAVES ..... 7 3 格式化并启动集群 ..... 7 3.1 格式化 NAMENODE ..... 7 3.2 启动 NAMENODE 和 DATANODE 守护进程 ..... 7 3.3 启动 RESOURCEMANAGER 和 NODEMANAGER 守护进程 ..... 7 4 执行 HDFS 集群包含一个单独的 NameNode 和多个 DataNode。 NameNode 作为 master 服务，它负责管理文件系统的命名空间和客户端对文件的访问。NameNode 会保存文件系统的具体信息，包括文件信息、文件被分割成具体 block 块的信息、以及每一个 block 块归属的 DataNode 的信息。对于整个集群来说，HDFS 通过 NameNode 对用户提供了一个单一的命名空间。 DataNode 都对应于一个物理节点。DataNode 负责管理节点上它们拥有的存储，它将存储划分为多个 block 块，管理 block 块信息，同时周期性的将其所有的 block 块信息发送给 NameNode。 ### 1.5 MapReduce 介绍 MapReduce 是一种计算模型，该模型可以将大型数据处理任务分解成很多单个的、可以在服务器集群中并行执行的任务，而这些任务的计算结果可以合

WebHDFS时，客户端是先通过Namenode节点获取文件所在的Datanode地址，再通过与Datanode节点进行数据交互。 #### 2.2.1 上传文件 UHadoop集群默认配置2个Master节点，同一时刻只有一个节点Namenode处于Active状态，另一个处于Standby状态。下面以uhadoop-*****master1的Namenode为Active为例 数据准备 terasort /tmp/terasort_input /tmp/terasort_output ### 2.5 HDFS日常运维 2.5.1 重启服务 重启Namenode:service hadoop-hdfs-namenode restart 重启Datanode:service hadoop-hdfs-datanode restart 重启ResourceManager: service

s:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:350) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker java:306) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:189) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1767) java:1767) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1751) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1710)

s:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:350) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker java:306) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:189) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1767) java:1767) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1751) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1710)

dfs:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:350) org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker r.java:306) org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:189) org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1767) server.namenode.FSDirectory.checkPermission(FSDirectory.java:1751) org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1710) org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp

dfs:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:350) org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker r.java:306) org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:189) org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1767) server.namenode.FSDirectory.checkPermission(FSDirectory.java:1751) org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1710) org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp

s:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker. check(FSPermissionChecker.java:350) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker. checkPermission(FSPermissionChecker java:306) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker. checkPermission(FSPermissionChecker.java:189) at org.apache.hadoop.hdfs.server.namenode.FSDirectory. checkPermission(FSDirectory.java:1767) java:1767) at org.apache.hadoop.hdfs.server.namenode.FSDirectory. checkPermission(FSDirectory.java:1751) at org.apache.hadoop.hdfs.server.namenode.FSDirectory. checkAncestorAccess(FSDirectory.java:1710)