Hadoop常用命令

来源:互联网 发布:word mac版 编辑:程序博客网 时间:2024/06/09 20:08

一、hdfs
(1)hdfs dfs:run a filesystem command on the file systems supported in Hadoop
等价于hadoop fs,原因是底层调用的是同一个类

查看hdfs系统根目录
hdfs dfs -ls /

递归查询根目录下信息
hdfs dfs -ls -R /

创建文件夹
hdfs dfs -mkdir /user/tmp/cs
若直接创建文件夹没有指定路径,则创建在/user/hadoop下(hadoop为登录hdfs系统的用户)
hdfs dfs -mkdir cs1

上传/下载文件
hdfs dfs -put /opt/software/hadoop/3.del /tmp
hdfs dfs -get /tmp/3.del /opt/software/hadoop/

查看文件
hdfs dfs -cat /tmp/3.del
hdfs dfs -text /tmp/3.del

给文件/文件夹赋权
hdfs dfs -chmod 777 /tmp/3.del
hdfs dfs -chmod -R 777 /tmp

移动文件
hdfs dfs -mv /tmp/3.del /tmp/cs

复制文件
hdfs dfs -cp /tmp/cs/3.del /tmp

删除文件/文件夹
hdfs dfs -rm /tmp/3.del
hdfs dfs -rm -r /tmp/cs

(2)hdfs dfsadmin:run a DFS admin client

报告文件系统的基本信息和统计信息
hdfs dfsadmin -report

维护HDFS的安全模式
hdfs dfsadmin -safemode enter/leave/get/wait

二、mapred
列出运行的job
mapred job -list

停止job
mapred job -kill job-id

三、yarn
列出状态为(SUBMITTED, ACCEPTED, RUNNING)的应用
yarn application -list

停止应用
yarn application -kill application_id

查看日志(需要配置)
yarn logs -applicationId application_id

原创粉丝点击