hadoop基本操作命令小结

eclipse hadoop开发环境配置已经搞定，接下来就是开发hadoop程序了。但在这之前熟悉下hadoop的基本操作命令非常有必要，以下就先简单的小结下：

启动和关闭Hadoop

启动Hadoop
1.进入HADOOP_HOME目录。
2.执行bin/start-all.sh

关闭Hadoop
1.进入HADOOP_HOME目录。
2.执行bin/stop-all.sh

 

HDFS文件文件系统操作 Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统

类似。并且支持通配符，如*。

 
查看文件列表
查看hdfs中/user/hadoop目录下的文件和目录。
1.进入HADOOP_HOME目录。
2.执行bin/hadoop fs -ls /user/hadoop

列出hdfs中/user/hadoop目录下的所有文件（包括子目录下的文件）。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -lsr /user/hadoop

 

创建文件目录
查看hdfs中/user/hadoop目录下再新建一个叫做newDir的新目录。
1.进入HADOOP_HOME目录。
2.执行bin/hadoop fs -mkdir /user/hadoop/newDir

 

删除文件
删除hdfs中/user/hadoop目录下一个名叫needDelete的文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -rm /user/hadoop/needDelete

删除hdfs中/user/hadoop目录以及该目录下的所有文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -rmr /user/hadoop

 

上传文件
上传一个本机/home/hadoop/newFile的文件到hdfs中/user/hadoop目录下
1.进入HADOOP_HOME目录。
2.执行bin/hadoop fs –put /home/hadoop/newFile /user/hadoop

 

下载文件
下载hdfs中/user/hadoop目录下的newFile文件到本机/home/hadoop/newFile中
1.进入HADOOP_HOME目录。
2.执行bin/hadoop fs –get /user/hadoop/newFile /home/hadoop/newFile

 

查看文件内容
查看hdfs中/user/hadoop目录下的newFile文件
1.进入HADOOP_HOME目录。
2.执行bin/hadoop fs –cat /home/admin/newFile

 

MapReduce Job操作
提交MapReduce Job
原则上说，Hadoop所有的MapReduce Job都是一个jar包。

运行一个/home/hadoop/ hadoop-0.20.2/job.jar的MapReduce Job
1.进入HADOOP_HOME目录。
2.执行bin/hadoop jar job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的JOB 假设Job_Id为: job_201112161201_0069
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop job -kill job_201112161201_0069

 

更多Hadoop的命令
上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多，可以按照如下的方式获取命令的说明信息。
1.进入HADOOP_HOME目录。
2.执行bin/hadoop
可以看到更多命令的说明信息