HDFS文件操作命令格式-注意事项

来源:互联网 发布:php最新面试题 编辑:程序博客网 时间:2024/06/07 19:09

操作命令格式

HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看、修改HDFS 上的文件。进一步,HDFS 的操作命令和Unix/Linux 的命令名称和格式相当一致,因而学习HDFS 命令的成本也大为缩小。
HDFS 的基本命令格式如下:

bin/hadoop dfs–cmd <args>   

注意事项

部分命令(如mkdir 等)需要文件\ 目录名作为参数,参数一般都是URI 格式,args 参数的基本格式是

scheme:// authority/path  

scheme 指具体的文件系统,如果是本地文件,那么scheme 就是file ;如果是HDFS 上的文件,那么scheme 就是hdfs。authority 就是机器的地址和对应的端口。

当然,正如Linux文件有绝对路径和相对路径一样,这里的URI 参数也可以做一定程度省略。当对应的设置为hdfs://namenode:namenodeport 时,如果路径参数为/parent/child,那么它对应的实际文件为:

 hdfs:// namenode:namenodeport/parent/child   

但是有一点要注意,HDFS 没有所谓当前工作目录的概念。HDFS 所有文件元数据都是存在NameNode 节点上的,具体文件的存放由NameNode 掌控,某一个文件可能被分拆放到不同的机器上,也可能为了提高效率将路径不同的文件也放到同一台机器上。所以,为HDFS 提供cd、pwd 操作,都是不现实的。

0 0