hadoop常用命令总结

关于hadoop集群安装步骤：http://blog.csdn.net/xiaoyu_bd/article/details/52268676  

以下命令都在/usr/local/hadoop/hadoop-2.6.0/bin目录下执行，如果配置过PATH变量，可去掉程序前的./ 并且可以再任何目录执行。

1、查看指定目录下内容

 ./hdfs dfs -ls /  [文件目录]

eg: ./hdfs dfs -ls /    --------查看根目录

2、打开某个已存在文件

./hdfs dfs -cat  [file_path]

eg:  ./hdfs dfs -cat /test1/aaa

3、将本地文件存储至hadoop

./hdfs dfs -put  [本地地址]  [hadoop目录]

./hdfs dfs -put  /usr/local/hadoop/hadoop-2.6.0/bin/hadoop  /test1/

(hadoop是文件名)

4、将本地文件夹存储至hadoop

 ./hdfs dfs -put [本地目录] [hadoop目录] 
eg:   ./hdfs dfs -put /usr/local/hadoop/hadoop-2.6.0/bin/  /test1/

(bin是文件夹名)

5、将hadoop上某个文件down至本地已有目录下

./hdfs dfs -get  [hadoop目录]  [本地目录]

eg: ./hdfs dfs -get  /test1/aaa   /usr/local/hadoop/hadoop-2.6.0/bin/  

6、删除hadoop上指定文件

./hdfs dfs -rm  [文件地址]

eg:  ./hdfs dfs -rm /test1/aaa

7、删除hadoop上指定文件夹（包含子目录等）

./hdfs dfs -rmr  [目录地址]

eg  ./hdfs dfs -rmr /test1/bin/

8、在hadoop指定目录内创建新目录

eg  ./hdfs dfs  -mkdir /user/t

创建目录只能逐级创建

9、在hadoop指定目录下新建一个空文件

使用touchz命令：

./hdfs dfs  -touchz /user/new.txt

10、将hadoop上某个文件重命名

使用mv命令：

eg：./hdfs dfs  -mv /user/new.txt  /user/aa.txt 

11、将hadoop指定目录下所有内容保存为一个文件，同时down至本地

./hdfs dfs  -getmerge  /user /home/t

12、将正在运行的hadoop作业kill掉

hadoop job –kill  [job-id]

13、查看hadoop内存容量

 hadoop dfsadmin -report

 

希望能够对大家有所帮助，也欢迎大家一起探讨大数据相关的各种疑难杂症问题。

个人 QQ：1053848752 Q群：422643911