Hadoop常用指令

Hadoop常用命令：

1. hadoop fs –ls < path>：等同于本地系统的ls，列出在指定目录下的文件内容，支持pattern匹配。
2. hadoop fs –lsr < path>：类似ls，只不过递归列出所有子目录信息。
3. hadoop fs –du [-h] < path>：分别列出指定文件夹下所有文件的大小（单位bytes，加了-h单位变成M），等价于unix下的针对目录的du –sb < path>/*和针对文件的du –b < path>。
4. hadoop fs –dus [-h] < path>：列出制定文件的总大小。
5. hadoop fs –mv < src> < dst>：将文件 move到指定位置。当src为多个文件时，dst必须是个目录。
6. hadoop fs –cp < src> < dst>：拷贝文件到目标位置，当src为多个文件时，dst必须是个目录。
7. hadoop fs –rm [-skipTrash] < src>：删除指定文件，等价于unix下的rm < src>。
8. hadoop fs –rmr [skipTrash] < src>：递归删掉所有的文件和目录，等价于unix下的rm –rf < src>。
9. hadoop fs –put < localsrc> … < dst>：从本地系统拷贝文件到DFS。
10. hadoop fs –copyFromLocal < localsrc> … < dst>：等价于-put。
11. hadoop fs –moveFromLocal < localsrc> … < dst>：等同于-put，只不过源文件在拷贝后被删除。
12. hadoop fs –get [-ignoreCrc] [-crc] < src> < localdst>：从DFS拷贝文件到本地文件系统，文件匹配pattern，若是多个文件，则dst必须是目录。
13. hadoop fs –getmerge < src> < localdst>：顾名思义，从DFS拷贝多个文件、合并排序为一个文件到本地文件系统。
14. hadoop fs –copyToLocal [-ignoreCrc] [-crc] < src> < localdst>：等价于-get。
15. hadoop fs –cat < src>：展示文件内容。
16. hadoop fs –text < src>：展示文件内容，以文本格式输出。
17. hadoop fs –tail < src>：显示文件末尾的1KB数据。
18. hadoop fs –mkdir < path>：在指定位置创建目录。
19. hadoop fs –setrep [-R] < rep> < path/file>：改变一个文件在hdfs中的副本个数，< rep>为所设置的副本个数，-R标志控制是否递归设置子目录及文件。
20. hadoop fs -stat [format] < path>：返回对应路径的状态信息，[format]可选参数有：%b（文件大小），%o（Block大小），%n（文件名），%r（副本个数），%y（最后一次修改日期和时间）
21. hadoop fs –count [-q] < path>：文件个数及所占空间，输出顺序为目录个数，文件个数，文件总计大小，输入路径。