Hadoop常用命令集合

Hdfs命令

hdfs dfs -du -h /data/1027 //查看1027文件夹下的子文件夹的具体大小hdfs dfs -lshdfs dfs -cat /xm/102602/result/part-r-00000 | head //查看前十行，不加|head查看文件全部内容hdfs dfs -tail /xm/102602/result/part-r-00000 //查看最后多少行hdfs dfs -mkdirhdfs dfs -texthdfs dfs -gethdfs dfs -puthdfs dfs -mvhdfs bfs -cp  //复制hdfs dfs -rm  //删除单个文件hdfs dfs -rm -r //递归删除，可以跟多个目录，批量删除，可以跟/result*这样的参数，意思是删除所有以result开头的文件夹

Hadoop命令

hadoop jar <jar> [mainClass] args… //执行jarhadoop jar <jar> [mainClass] args… //执行jarhadoop namenode -format  //namenode格式化hadoop job -kill job_1505886401930_0217  //kill某个正在运行的job，后面的job_什么的是job的id，这个id也可以在web管理界面看到，就是application_后面的数字集合// 以下命令和上面的hdfs命令功能一样hadoop fs -ls //查看当前目录下所有文件hadoop fs -cat //查看某一个文件具体内容hadoop fs -mkdir //创建目录，添加-p可以创建叠加目录hadoop fs -text //显示文件内容，类似于cat，不过如果path的文件内容是压缩文件的话，那么就执行的是解压的操作hadoop fs -get //取文件，或者说下载文件hadoop fs -put //上传文件到hdfshadoop fs -mv //移动文件或目录 也可以对文件进行重命名操作ls -l //查看文件权限 参考[这里](http://www.linuxidc.com/Linux/2014-10/108114.htm)drwxr-xr-x 2 root root 4096 09-22 17:19 test 第一个字符代表文件类型。d代表目录,-代表非目录；接下来每三个字符为一组权限，分为三组，依次代表所有者权限，同组用户权限，其它用户权限每组权限的三个字符依次代表是否可读，是否可写，是否可执行；r 表示拥有读的权限w 表示拥有写的权限x 表示拥有可执行的权限- 表示没有该权限chmod 754 test4代表读权限，2代表写权限，1代表执行权限7=4 + 2 + 1,表示拥有可读可写可执行权限5=4 + 1,表示拥有可读可执行权限，但是没有写权限0 代表没有任何权限

Hbase命令

http://localhost:16010/ 此乃hbase的web管理界面

看到的表：

start-hbase.sh //执行之前确保hadoop所有组件均已成功启动stop-hbase.shhbase shell // 进入shell命令模式exit // 退出hbase shelllist //查看所有表create 't1', {NAME => 'f1', VERSIONS => 1}, {NAME => 'f2', VERSIONS => 1}, {NAME => 'f3', VERSIONS => 1} //创建表t1put 't1', 'r1', 'f1', 'v1' // 导入数据到t1表，r1代表第一行，f1代表字段列名，v1代表值deleteall 't1','r7' // 删除第7行整行数据flush 't1' // 写到hfile文件中disable 't1' , drop 't1' // 删除表desc 't1'； // 查看表结构alter 'test1',{NAME=>'body',TTL=>'15552000'},{NAME=>'meta', TTL=>'15552000'} // 修改表结构，需要先disable 然后才能alter，最后还得enableget 't1','r1' // 查询t1表下r1列得值count 't1' // 查询表的记录条数truncate 't1' // 清空表中所有数据，包括索引，其实就是删除后重建scan 't1' // 查看t1表里数据

HBase 常用Shell命令
HBase教程
高可用Hadoop平台－HBase集群搭建

其他命令

jps // 这个命令是查看当前已经启动了哪些节点，正常情况下应该有以下几个NodeManager,ResourceManager,NameNode,DataNode,SecondrayNameNode,Jpsstart-all.sh //启动hadoopstop-all.sh //停止hadoopyarn logs -applicationId <applicationId> >> error1.txt //这是把某一个job的日志输出到error1.txt这个文件里hadoop jar app.jar -D mapreduce.job.queuename=root.etl.distcp -D mapreduce.job.priority=HIGH //开始执行jar时调整优先级yarn application -appId application_1478676388082_963529 -updatePriority VERY_HIGH //动态调整已经在执行job的优先级hadoop job -list //作业列表hadoop job -status job_201503171201_0003 //查看作业状态

http://blog.csdn.net/zhaojw_420/article/details/53161624 这里有一份详细命令介绍，仅供参考