占用内存 [atguigu@hadoop102 ~]$ jps 3088 NodeManager 2611 NameNode 3271 JobHistoryServer 2744 DataNode 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java 0MB) （3）查看 DataNode 占用内存 [atguigu@hadoop102 ~]$ jmap -heap 2744 Heap Configuration: MaxHeapSize = 1031798784 (984.0MB) 查看发现 hadoop102 上的 NameNode 和 DataNode 占用内存都是自动分配的，且相等。 具体修改：hadoop-env.sh export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS - Xmx1024m" export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m" 尚硅谷大数据技术之 Hadoop（生产调优手册）

HDFS，是一个分布式文件系统。 HDFS架构概述 1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。 2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。 3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。 1.5.2 ReduceTask hadoop102 hadoop103 hadoop104 NameNode ResourceManager DataNode bobo.avi ss1505_wuma.a vi DataNode ss.avi yangge.avi DataNode ss1505_wuma.a vi Container MapTask SecondaryNa meNode 1 de 配置在 同一台机器上。 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager 2）配置文件说明

......................................................................... 7 3.2 启动 NAMENODE 和 DATANODE 守护进程 ................................................... 7 3.3 启动 RESOURCEMANAGER 和 NODEMANAGER 架构。一个 HDFS 集群包含一个单独的 NameNode 和多个 DataNode。 NameNode 作为 master 服务，它负责管理文件系统的命名空间和客户端对文 件的访问。NameNode 会保存文件系统的具体信息，包括文件信息、文件被分割 成具体 block 块的信息、以及每一个 block 块归属的 DataNode 的信息。对于整个 集群来说，HDFS 通过 NameNode NameNode 对用户提供了一个单一的命名空间。 DataNode 作为 slave 服务，在集群中可以存在多个。通常每一个 DataNode 都对应于一个物理节点。DataNode 负责管理节点上它们拥有的存储，它将存储划 分为多个 block 块，管理 block 块信息，同时周期性的将其所有的 block 块信息发 送给 NameNode。 1.5 MapReduce 介绍 MapReduce

2.2 WebHDFS WebHDFS提供HDFS的RESTful接⼝，可通过此接⼝进⾏HDFS⽂件操作。使⽤WebHDFS时，客⼾端是先通过Namenode节点获取⽂件所在的Datanode地址，再通过与Datanode节点 进⾏数据交互。 2.2.1 上传⽂件 上传⽂件 UHadoop集群默认配置2个Master节点，同⼀时刻只有⼀个节点Namenode处于Active状态，另⼀个处于S state standby，请更换uhadoop-******-master2尝试 执⾏上述命令将获取到Location地址，即⽂件的Datanode地址 HTTP/1.1 307 TEMPORARY_REDIRECT Location: http://<DATANODE>:/webhdfs/v1/?op=CREATE... Content-Length: 0 使⽤上述Location地址上传⽂件 webhdfs/v1/tmp/uhadoop.txt?op=APPEND" 执⾏上述命令将获取到Location地址，即⽂件的Datanode地址 HTTP/1.1 307 TEMPORARY_REDIRECT Location: http://<DATANODE>:/webhdfs/v1/?op=CREATE... Content-Length: 0 追加⽂件

Shell脚本现在更易于调试: --debug Hadoop 3介绍 • Common • HDFS  纠错码(Erasure Coding)  多个Standby Namenode  Datanode内部balance工具  云计算平台的支持 • YARN • MapReduce HDFS纠错码(Erasure Coding) • 一个简单的例子 1备份: 1,0 需要额外的2位