hadoop fs –stat命令详解
来源:互联网 发布:linux snmp命令 编辑:程序博客网 时间:2024/06/05 15:24
当向HDFS上写文件时,可以通过设置dfs.block.size配置项来设置文件的block size,这导致HDFS上不同文件的block size是不同的。有时候我们需要知道HDFS上某个文件的block size,比如想知道该该文件作为job的输入会创建几个map等。Hadoop FS Shell提供了一个-stat选项可以达到目的。官方文档描述这个选项时遗漏了可选参数。-stat选项的使用格式是:
{HADOOP_HOME}/bin/hadoop fs –stat [format]
其中可选的format被官方文档遗漏了。下面列出了format的形式:
%b:打印文件大小(目录为0)
%n:打印文件名
%o:打印block size (我们要的值)
%r:打印备份数
%y:打印UTC日期 yyyy-MM-dd HH:mm:ss
%Y:打印自1970年1月1日以来的UTC微秒数
%F:目录打印directory, 文件打印regular file
当使用-stat选项但不指定format时候,只打印文件创建日期,相当于%y:
bin/hadoop fs -stat /liangly/teradata/part-00099
2010-11-02 08:03:49
下面的例子打印文件的block size和备份个数:
bin/hadoop fs -stat "%o %r" /liangly/teradata/part-00099
67108864 3
从打印结果可以看到文件/liangly/teradata/part-00099的block size是64m,有3个备份。
- hadoop fs –stat命令详解
- hadoop fs –stat命令详解
- hadoop fs –stat命令详解
- hadoop学习笔记之<hadoop fs命令详解>
- Hadoop FS Shell命令
- Hadoop FS Shell命令
- Hadoop FS Shell命令
- Hadoop FS Shell命令
- Hadoop FS Shell命令
- Hadoop FS Shell命令
- Hadoop fs命令
- hadoop命令 - fs count
- hadoop fs命令
- Hadoop fs命令
- Hadoop FS Shell命令
- Hadoop FS Shell命令
- hadoop fs 命令
- Hadoop fs 相关命令
- error C2504: “IDXEffect”: 未定义基类
- Ubuntu搭建LAMP服务器(apache+mysql+php),Ubuntu配置php环境
- eclipse快速定位到错误处
- ajax请求到后台的servlet类中,设置页面跳转不生效
- 安卓巴士自测试题——第十二期
- hadoop fs –stat命令详解
- Cocos2d-x 2.0.4 如何制作一个简单的游戏
- 不断上涨的房租及将来悲催的命运
- 命令行将U盘文件系统转换成ntfs
- Cocos2d-x 2.0.4 如何制作一个简单的游戏(2)
- iOS设计模式(02):单例模式
- Linux下的Make与Makefile( 专注Linux下应用与编程)
- Java Annotation入门
- 转 android 反编译