Hadoop参考命令大全

列出HDFS文件系统指定目录下文件：hadoop dfs –ls 目录

-d:只显示目录信息，不显示子目录
-h:以M为单位的内存显示
-R:子目录递归显示

HDFS创建目录：hadoop fs -mkdir [-p]
HDFS删除目录：hadoop fs -rmdir [–ignore-fail-on-non-empty] URI [URI …]创建空创建空文件：hadoop fs -touchz pathname

清空所有文件信息： hadoop fs -truncate [-w]

-w:如果要清空文件正在处理，则必须等待其处理完成之后再清空，这个期间该文件不能再次被打开

上传文件到HDFS: Hadoop dfs -put 本地文件路径 HDFS文件目录
从HDFS下载文件：hadoop dfs –get hdfs文件路径 本地目录

本地文件复制到HDFS:Hadoop dfs [-f] [-p] 本地文件路径 HDFS文件目录
本地目录复制到HDFS: hadoop dfs -copyFromLocal 本地路径 HDFS目录路径

复制HDFS文件到本地：hadoop dfs -copyToLocal hdfs文件 本地目录

本地目录移动到HDFS: hadoop fs -moveFromLocal 先复制后删除本地目录
HDFS目录移动本地：hadoop fs -moveToLocal [-crc] hdfs文件路径 本地目录（还未实现）

HDFS文件系统文件移动：hadoop fs -mv URI [URI …] hdfs文件路径

注意：只能在同一个HDFS内部移动，不能通过网络等途径跨文件系统移动

文件数据追加：hadoop fs -appendToFile 本地文件 hdfs文件路径

查询指定目录的子目录信息：hadoop fs -count [-q] [-h] [-v]

-q : 指定输出列参数项
-h: 显示文件的大小
-v: 显示标题行
返回：成功 0 失败 -1

HDFS删除文件目录：hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI …]

-f:如果文件不存在不会显示错误等提示信息
-R/-r:等价：递归删除子目录
-skipTrash:清理垃圾文件，对于从超过文件容量的目录中删除文件很有用

查看HDFS文本文件信息：hadoop dfs –cat hdfs文件路径

查询可用HDFS内存空间：hadoop fs -df [-h] URI [URI …]

-h:将内存以M的形式形式

查询目录下文件信息：hadoop fs -du [-s] [-h] URI [URI …]

-h: -h:将内存以M的形式形式
-s : 统计所有子文件信息，统一展示

个性化查询目录信息： hadoop fs -stat [format] …

%F:显示文件的类型：目录/文件
%u：显示文件的拥有者
%g：显示文件的组别
%o：按照块的文件大小
%r:显示文件的复制因子
%y：显示文件的修改日期
%n：显示文件名

查询文件最后1M的信息： hadoop fs -tail [-f] URI

-f:输出文件增长的数据：动态显示

测试文件的信息：hadoop fs -test -[defsz] URI

-d：判断文件是否是目录类型：0
-e:判断文件是否存在：0
-f：判断文件是否是文件类型: 0
-s：判断文件是否非空: 0
-z：判断文件是0字节 :0

查找文件：hadoop fs -find hdfs文件路径 文件名表达式

例：hdfs dfs -find /user/squirrel -name spark* -print
-name:查找文件名的表达式：支持正则表达式
-print：打印文件路径信息

显示HDFS文件访问授权信息：hadoop fs -getfacl [-R]

-R:显示目录子文件的权限信息
注意：开启文件ACL访问信息查询权限：dfs.namenode.acls.enabled true

设置文件的访问权限：hadoop fs -setfacl [-R] [-b |-k -m |-x acl_spec path] |[–set ]

-b:删除除了基础权限的所有权限
-k：清除默认权限
-R:递归授予子文件权限
-m：修改ACL，添加新的权限信息，原有的权限会保留
-x:清楚指定的ACL实体信息
–set：替换原有的ACL信息，重新授权
例：hadoop fs -setfacl –set user::rw- /file

显示文本文件信息：hadoop dfs -cat 文件路径 或者 hadoop dfs -text 文件路径

设置HDFS文件的备份因子：hadoop fs -setrep [-R] [-w] 备份数 hdfs文件

-W:要求等待备份命令的完成，可能需要消耗很多时间
-R：递归子类文件备份银子设置

合并HDFS的文件到本地：hadoop fs -getmerge [-nl] hdfs文件列表 本地文件路径

-nl:每个文件之间的内容使用空行分开

控制HDFS文件访问权限：dfs -chmod -R 777 HDFS文件路径(避免出现permission denied问题)

hadoop dfsadmin –report:查看hdfs的状态报告

hadoop安全模式处理：hadoop dfsadmin –safemode enter/leave