理解hadoop fsck、fs -dus、-count -q的大小输出
来源:互联网 发布:mm商场软件下载 编辑:程序博客网 时间:2024/06/11 00:44
很多hadoop用户经常迷惑hadoop fsck,hadoop fs -dus,hadoop -count -q等hadoop文件系统命令输出的大小以及意义。
这里对这类问题做一个小结。首先我们来明确2个概念:
- 逻辑空间,即分布式文件系统上真正的文件大小
- 物理空间,即存在分布式文件系统上该文件实际占用的空间
为什么逻辑空间一般不等于物理空间?
分布式文件系统为了保证文件的可靠性,往往会保存多个备份(一般是3份),只要备份数不为1的情况下,一般物理空间会是逻辑空间的几倍。关系如下:
HDFS物理空间=逻辑空间*block备份数
hadoop fsck和hadoop fs -dus
执行hadoop fsck和hadoop fs -dus显示的文件大小表示的是文件占用的逻辑空间。
$ hadoop fsck /path/to/directory Total size: 16565944775310 B <=== 看这里 Total dirs: 3922 Total files: 418464 Total blocks (validated): 502705 (avg. block size 32953610 B) Minimally replicated blocks: 502705 (100.0 %) Over-replicated blocks: 0 (0.0 %) Under-replicated blocks: 0 (0.0 %) Mis-replicated blocks: 0 (0.0 %) Default replication factor: 3 Average block replication: 3.0 Corrupt blocks: 0 Missing replicas: 0 (0.0 %) Number of data-nodes: 18 Number of racks: 1FSCK ended at Thu Oct 20 20:49:59 CET 2011 in 7516 milliseconds The filesystem under path '/path/to/directory' is HEALTHY$ hadoop fs -dus /path/to/directoryhdfs://master:54310/path/to/directory 16565944775310 <=== 看这里
正如命令示例所见,hadoop fsck和hadoop fs -dus报告的文件大小都是HDFS文件实际占用的大小,即这个空间大小是没有算块的备份数的。文件真正占用的物理空间=逻辑空间block备份数据,即16565944775310 3=49697834325930,这个49697834325930是物理空间。
hadoop fs -count -q
通过执行hadoop fs -count -q /path/to/directory 可以看到这个目录真正的空间使用情况。执行结果如下:
$ hadoop fs -count -q /path/to/directory QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME none inf 54975581388800 5277747062870 3922 418464 16565944775310 hdfs://master:54310/path/to/directory
fs -count -q会输出8列,分别表示如下:
命名空间的quota(限制文件数)剩余的命名空间quota物理空间的quota (限制空间占用大小)剩余的物理空间目录数统计文件数统计目录逻辑空间总大小路径可以看出通过hadoop fs -count -q 可以看到一个目录比较详细的空间和qutoa占用情况,包含了物理空间、逻辑空间、文件数、目录数、qutoa剩余量等。
阅读全文
0 0
- 理解hadoop fsck、fs -dus、-count -q的大小输出
- hadoop命令 - fs du/dus
- 理解Hadoop HDFS的配额和fs, fsck工具
- hadoop命令 - fs count
- hadoop fs -count 命令
- Hadoop的fsck工具
- Hadoop的fsck工具
- Hadoop的fsck工具
- hadoop fsck
- hadoop fsck
- Q-Q图的理解
- hadoop的fs基本命令
- hadoop fs 与 hadoop dfs 的区别
- Hadoop fs 和Hadoop dfs 的区别
- hadoop fs
- hadoop fsck 命令详解
- hadoop fsck命令详解
- hadoop fsck 命令详解
- 从1到n整数中1出现的次数:O(logn)算法
- Python随笔(1)
- C结构体和枚举
- PHP读取Excel文件内容
- 【总结】有关vue使用微信扫码登录的一点小总结
- 理解hadoop fsck、fs -dus、-count -q的大小输出
- 五分钟带你看懂 Android NestedScrolling 嵌套滑动机制
- 【数据结构 链表排序】
- memset函数 memcpy函数 memcmp函数------ 函数使用笔记
- 2017.06.08-2017.06.11回顾 欺诈事件 SQL不足
- Java学习路线
- ListView滑动触发addTextChangedListener事件
- 双链表的结构及其操作
- Canvas学习系列一:初识canvas