Hadoop开发指南

• 语言: 中文（简体）
• 格式: .pdf
• 来源: docs.ucloud.cn

摘要

文档主要介绍了Hadoop的安装、配置及使用方法。内容包括在UHost上安装Hadoop客户端的两种方式（控制台安装和自行安装），详细说明了使用HDFS进行文件操作（如上传、追加、读取和删除文件）的步骤，以及如何通过WebHDFS接口进行文件管理。文档还提供了MapReduce任务的提交示例，并介绍了HDFS的日常运维操作，如重启服务、查看状态、修改副本数量等。

AI总结

# Hadoop开发指南总结

## 1. Hadoop客户端安装
- **推荐环境**：在非UHadoop集群机器上安装客户端以确保安全性。
- **安装方式**：
- **控制台安装**：通过控制台一键安装。
- **自行安装**：
- 使用`/root/install_uhadoop_client.sh`脚本部署。
- 通过外网下载最新版本安装脚本：`wget http://new-uhadoop.cn-bj.ufileos.com/install_uhadoop_client_new.sh`。

## 2. HDFS基础操作
- **查询文件**：`hadoop fs -ls [-d] [-h] [-R] []`
- **上传文件**：`hadoop fs -put [-f] [-p] [-l] `
- **下载文件**：`hadoop fs -get [-p] [-ignoreCrc] [-crc] `

## 3. WebHDFS操作
- **上传文件**：通过`curl -i -X PUT`命令上传文件。
- **追加文件**：使用`curl -i -X POST -T`命令追加内容。
- **读取文件**：通过`curl -i -L`命令打开并读取文件。
- **删除文件**：使用`curl -i -X DELETE`命令删除文件。

## 4. MapReduce任务提交
- **示例**：以`terasort`为例。
- 生成输入数据：`hadoop jar /home/hadoop/hadoop-examples.jar teragen 100 /tmp/terasort_input`
- 提交任务：`hadoop jar /home/hadoop/hadoop-examples.jar terasort /tmp/terasort_input /tmp/terasort_output`

## 5. HDFS日常运维
- **重启服务**：
- Namemode：`service hadoop-hdfs-namenode restart`
- Datanode：`service hadoop-hdfs-datanode restart`
- ResourceManager：`service hadoop-yarn-resourcemanager restart`
- NodeManager：`service hadoop-yarn-nodemanager restart`
- **查看状态**：`hdfs dfsadmin -report`
- **修改副本数量**：`hdfs dfs -setrep -R [replication-factor] [targetDir]`

## 6. 环境变量配置
- 修改`/etc/profile`或`~/.bashrc`，添加以下内容：

  export JAVA_HOME=/usr/java/latest
  export HADOOP_HOME_WARN_SUPPRESS=true
  export HADOOP_HOME=/root/hadoop
  export HADOOP_PREFIX=$HADOOP_HOME
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_YARN_HOME=$HADOOP_HOME
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export YARN_HOME=$HADOOP_HOME
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

总结：本文档提供了Hadoop客户端安装、HDFS操作、MapReduce任务提交及日常运维的详细指南，适用于开发和管理Hadoop集群的用户。