HDFS 指令(三)touchz,test,text,stat,appendToFile,checksum,count,chmod
来源:互联网 发布:37诸神黄昏进阶数据 编辑:程序博客网 时间:2024/06/05 05:06
关键词:hdfs命令,touchz,test,text,stat,appendToFile,checksum,count,chmod
本章目的
在这个Hadoop HDFS命令教程中,我们将学习剩下一些重要并且经常使用的HDFS命令,借助这些命令,我们将能够执行HDFS文件操作,如复制文件,更改文件权限,查看文件内容,更改文件所有权,创建目录等。要了解有关世界上最可靠的存储层的更多信息,请参阅HDFS入门指南。
1. touchz
在指定目录创建一个新文件,如果文件存在,则创建失败
命令用法
touchz <path>
例子
hdfs dfs -touchz /user/dataflair/dir2
2. test
测试hdfs中的某个文件或者目录是否存在
-d: 如果测试的路径是一个文件夹, 则返回0,否则返回1。
-e: 如果测试的路径存在, 则返回0,否则返回1。
-f: 如果测试的路径是一个文件, 则返回0,否则返回1。
-s: if 如果测试的路径不是空(文件夹下有文件或者文件夹), 则返回0,否则返回1。
-z: 如果测试的是一个文件,并且这个文件不为空, 则返回0,否则返回1。
命令用法
hdfs dfs -test -[ezd] URI
例子
"hdfs dfs -test -e /test/file/samplehdfs dfs -test -z /test/file/samplehdfs dfs -test -d /test/file/sample
3. text
格式化输出文件的内容,允许的格式化包括zip,和 TextRecordInputStream
命令用法
hdfs dfs -text <source>
例子
hdfs dfs -text /user/dataflair/dir1/sample
4. stat
打印有关路径的信息,可以加下面的格式化输出
%b: 文件大小
%n: 文件名
%o: 块大小
%r: 副本个数
%y, %Y: 修改日期.
命令用法
hdfs dfs -stat [format] path
例子
hdfs dfs -stat /user/dataflair/dir1hdfs fs -stat "%o %r" /user/dataflair/dir1
5. appendToFile
appendToFile命令是将一个或者多个文件添加到HDFS系统中,他也是从标准输入中读取,然后添加到目标文件系统汇总
命令用法
hadoop fs -appendToFile <localsource> ... <dst>
例子
hadoop fs -appendToFile /home/dataflair/Desktop/sample /user/dataflair/dir1
6. checksum
Datanode在把数据实际存储之前会验证数据的校验和(checksum的初始值?)如果某个client在读取数据时检测到数据错误, 在抛出ChecksumException
参考: http://blog.csdn.net/oh_mourinho/article/details/52524442
命令用法
hadoop fs -checksum URI
例子
hadoop fs -checksum /user/dataflair/dir1/sample
7. count
统计hdfs对应路径下的目录个数,文件个数,文件总计大小
显示为目录个数,文件个数,文件总计大小,输入路径
命令用法
hdfs dfs -count [-q] <paths>
例子
hdfs dfs -count /user/dataflair
8. chmod
类似于linux,用来修改权限
命令用法
chmod [-R] mode,mode,... <path>...
例子
hdfs dfs -chmod 777 /user/dataflair/dir1/sample
翻译原文:http://data-flair.training/blogs/hadoop-hdfs-commands-tutorial/
- HDFS 指令(三)touchz,test,text,stat,appendToFile,checksum,count,chmod
- svn: Checksum mismatch while updating 'D:\workspace\demo\test\.svn\text-base\test.php.svn-base'
- chmod指令
- HDFS学习笔记(4)IO读写操作之checksum
- linux指令(stat date cal)
- linux下的stat指令以及三种时间
- Linux指令-stat简析
- Test text
- 指令名称 : chmod
- Linux 指令详解: chmod
- Linux 指令详解: chmod
- 指令名称 : chmod
- 指令名称 : chmod
- Linux指令:chmod
- chmod 指令及其使用
- Linux指令--chmod
- linux指令--chmod详解
- chmod指令详细用法
- 【转】【译】fetch用法说明
- 利用WinRAR的自解压格式将Cocos2d-x项目代码打包成.exe文件
- 递归算法典例
- angular核心$watch,$digest,$apply之间的联系
- 2017 计蒜之道 初赛 第一场 阿里的新游戏(找规律,几何,模拟)
- HDFS 指令(三)touchz,test,text,stat,appendToFile,checksum,count,chmod
- memmove和memcpy函数的区别及实现
- Java开学学习实录1
- TypeScript笔记
- java实现验证码类生成中文验证码
- Mac pro使用的那些坑(二)git的安装和git终端打开
- java登录验证码实现代码
- 冒泡排序(C语言实现)
- 链表相关程序练习