2017 share 2）重要目录 （1）bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本 （2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件 （3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能） （4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本 （5）share 目录：存放 NodeManager ResourceManager NodeManager NodeManager 2）配置文件说明 Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认 配置值时，才需要修改自定义配置文件，更改相应属性值。 （1）默认配置文件： 要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置 [core-default.xml] jar/mapred-default.xml （2）自定义配置文件： core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。 3）配置集群 （1）核心配置文件 配置 core-site.xml [atguigu@hadoop102

hadoop103 （2）创建黑名单 [atguigu@hadoop102 hadoop]$ touch blacklist 保持空的就可以 2）在 hdfs-site.xml 配置文件中增加 dfs.hosts 配置参数 dfs.hosts /opt/module/hadoop-3 exclude /opt/module/hadoop-3.1.3/etc/hadoop/blacklist 3）分发配置文件 whitelist，hdfs-site.xml [atguigu@hadoop104 hadoop]$ xsync hdfs-site.xml whitelist 4）第一次添加白名单必须重启集群，不是第一次，只需要刷新 [atguigu@hadoop102 hadoop] vim blacklist 添加如下主机名称（要退役的节点） hadoop105 注意：如果白名单中没有配置，需要在 hdfs-site.xml 配置文件中增加 dfs.hosts 配置参数 dfs.hosts.exclude /opt/module/hadoop-3

......................................................................................... 4 2.2 配置文件修改 ............................................................................................... $ tar -xvf hadoop-2.7.7.tar.gz -C /usr/local/ $ cd /usr/local/hadoop-2.7.7/etc/hadoop/ 2.2 配置文件修改 2.2.1 配置 hadoop-env.sh $ vim hadoop-env.sh 修改 JAVA_HOME: export JAVA_HOME=/usr/lib/jvm

获取 Hive metadata 4. 结果输出 Alibaba Cloud MaxCompute 解决方案 24 说明：①global.json 是一个全局的配置文件，包含了整个迁移过程中的一些配置，例如将要使用的 MaxCompute 的版本，是否打开 hive compatible 开关等。②每一个 database 会有一个独立的目录， 下面会有每一个表的 global.json，同时用户可以编辑这个 json 来自 定义表、字段的生成规则，可编辑的部分如下： Alibaba Cloud MaxCompute 解决方案 33 【注意】：配置文件中默认 hiveCompatible 的设置是 false，如果需要把 hive 上的 udf 的 jar 直接上传到 odps 上，需要打开 hive 兼容。 4. 编辑好 metadata