Hadoop Shell 命令

• 语言: 中文（简体）
• 格式: .pdf
• 来源: hadoop.apache.org

摘要

文档详细介绍了Hadoop文件系统（FS）Shell命令的使用方法，包括文件操作、权限管理、目录创建、文件删除等功能。每个命令如cat、chmod、mv、rm等都有详细的使用方法和示例，涵盖文件内容查看、权限修改、文件移动、删除等基本操作。文档还介绍了如何使用这些命令进行文件管理，包括递归操作和返回值说明。

AI总结

## Hadoop Shell命令总结

### 1. 基本概述
- **FS Shell**：通过`bin/hadoop fs `形式调用，使用URI路径作为参数，支持HDFS和本地文件系统。
- **命令行为**：大多数命令与Unix Shell类似，但存在差异，具体在各命令详情中说明。
- **输出**：错误信息输出到stderr，其他信息输出到stdout。

### 2. 核心命令及其功能

#### 1.1. `cat`
- **功能**：输出指定文件内容到stdout。
- **使用方法**：`hadoop fs -cat URI [URI ...]`
- **示例**：

  hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
  hadoop fs -cat file:///file3 /user/hadoop/file4

#### 1.2. `chgrp`
- **功能**：更改文件所属组，支持递归操作。
- **使用方法**：`hadoop fs -chgrp [-R] GROUP URI [URI ...]`

#### 1.3. `chmod`
- **功能**：修改文件权限，支持递归操作。
- **使用方法**：`hadoop fs -chmod [-R] mode URI [URI ...]`

#### 1.4. `chown`
- **功能**：更改文件所有者，支持递归操作。
- **使用方法**：`hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ...]`

#### 1.5. `copyFromLocal`
- **功能**：从本地文件系统复制文件到HDFS。
- **使用方法**：`hadoop fs -copyFromLocal URI`

#### 1.6. `copyToLocal`
- **功能**：从HDFS复制文件到本地文件系统。
- **使用方法**：`hadoop fs -copyToLocal [-ignorecrc] [-crc] URI `

#### 1.7. `cp`
- **功能**：复制文件，支持多个源文件，目标必须为目录。
- **使用方法**：`hadoop fs -cp URI [URI ...] `

#### 1.8. `du`
- **功能**：显示指定路径的文件大小，支持单个文件或目录。
- **使用方法**：`hadoop fs -du URI [URI ...]`

#### 1.9. `dus`
- **功能**：显示文件大小。

#### 1.10. `expunge`
- **功能**：清空回收站。

#### 1.11. `get`
- **功能**：从HDFS下载文件到本地。
- **使用方法**：`hadoop fs -get [-ignorecrc] [-crc] `

#### 1.12. `getmerge`
- **功能**：合并目录中的文件到本地目标文件。
- **使用方法**：`hadoop fs -getmerge [addnl]`

#### 1.13. `ls`
- **功能**：列出指定路径的文件或目录内容。

#### 1.14. `lsr`
- **功能**：递归列出指定路径的文件或目录内容。

#### 1.15. `mkdir`
- **功能**：创建目录，支持递归创建父目录。
- **使用方法**：`hadoop fs -mkdir `

#### 1.16. `moveFromLocal`
- **功能**：从本地移动文件到HDFS，目前输出“not implemented”信息。

#### 1.17. `mv`
- **功能**：移动文件或目录，支持多个源路径，目标必须为目录。
- **使用方法**：`hadoop fs -mv URI [URI ...] `

#### 1.18. `put`
- **功能**：从本地上传文件到HDFS，支持标准输入。
- **使用方法**：`hadoop fs -put ... `

#### 1.19. `rm`
- **功能**：删除文件或非空目录。
- **使用方法**：`hadoop fs -rm URI [URI ...]`

#### 1.20. `rmr`
- **功能**：递归删除目录及其内容。
- **使用方法**：`hadoop fs -rmr URI [URI ...]`

#### 1.21. `setrep`
- **功能**：设置文件或目录的副本系数，支持递归。
- **使用方法**：`hadoop fs -setrep [-R] `

#### 1.22. `stat`
- **功能**：返回指定路径的统计信息。
- **使用方法**：`hadoop fs -stat URI [URI ...]`

#### 1.23. `tail`
- **功能**：输出文件尾部1KB内容，支持-f选项。
- **使用方法**：`hadoop fs -tail [-f] URI`

#### 1.24. `test`
- **功能**：检查文件是否存在、是否为0字节或是否为目录。
- **使用方法**：`hadoop fs -test -[ezd] URI`

#### 1.25. `text`
- **功能**：将源文件输出为文本格式，支持zip和TextRecordInputStream格式。
- **使用方法**：`hadoop fs -text `

#### 1.26. `touchz`
- **功能**：创建空文件或更新现有文件的访问时间和修改时间。

### 3. 返回值
- 成功返回0，失败返回-1。

### 4. 注意事项
- 命令行为与Unix Shell类似，但存在差异，具体在各命令详情中说明。
- 权限管理需遵循HDFS权限指南，部分命令需超级用户权限。

以上为Hadoop Shell命令的核心功能和使用方法总结。