HDFS中的file与block块之间的对应关系举例
来源:互联网 发布:smtp tls 端口 编辑:程序博客网 时间:2024/06/08 04:06
linux中的jdk-6u24-linux-i586.bin是81M
[root@hadoop local]# du -sh *211M hadoop60M hadoop-1.1.2.tar.gz250M jdk81M jdk-6u24-linux-i586.bin8.0K mydata4.0K word2.txt4.0K word.txt
将jdk-6u24-linux-i586.bin上传到HDFS中
[root@hadoop local]# hadoop fs -put jdk-6u24-linux-i586.bin /
通过hadoop fsck查看HDFS中jdk-6u24-linux-i586.bin文件对应的block块以及block块的分布情况
[root@hadoop local]# hadoop fsck /jdk-6u24-linux-i586.bin -files -blocks -locations -racksFSCK started by root from /192.168.80.100 for path /jdk-6u24-linux-i586.bin at Mon Oct 10 05:37:20 PDT 2016/jdk-6u24-linux-i586.bin 84927175 bytes, 2 block(s): OK0. blk_-8238180044705517797_5753 len=67108864 repl=1 [/default-rack/192.168.80.100:50010]1. blk_136889878628398312_5753 len=17818311 repl=1 [/default-rack/192.168.80.100:50010]
我们到DataNode存放数据的目录下查看一下:
[root@hadoop current]# lltotal 83592-rw-r--r--. 1 root root 17818311 Oct 10 05:34 blk_136889878628398312-rw-r--r--. 1 root root 139215 Oct 10 05:34 blk_136889878628398312_5753.meta-rw-r--r--. 1 root root 67108864 Oct 10 05:34 blk_-8238180044705517797-rw-r--r--. 1 root root 524295 Oct 10 05:34 blk_-8238180044705517797_5753.meta
或者
[root@hadoop current]# du -sh *17M blk_136889878628398312136K blk_136889878628398312_5753.meta64M blk_-8238180044705517797516K blk_-8238180044705517797_5753.meta
通过查看,我们发现文件的存储和我们的预想是相同的,说明HDFS中的文件归根到底是要存储到Linux文件系统中的。
阅读全文
0 0
- HDFS中的file与block块之间的对应关系举例
- HDFS中的file与block块之间的对应关系举例
- hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息
- hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息
- spark RDD中的partition和hdfs中的block的关系
- 注释与xml之间的对应关系
- HDFS 的 file size 和 block size
- HDFS------block,packet,chunk的关系
- block(代码块)的介绍以及使用方法和变量之间的关系
- block(代码块)的介绍以及使用方法和变量之间的关系
- SM,SP和GRID,BLOCK,THREAD之间的对应关系是什么?
- 查看Hadoop HDFS 中的一个文件对应block信息
- .net与Java 各个框架之间的对应关系
- 服务器控件类与HTML标签之间的对应关系
- Android系统版本与API Level之间的对应关系
- VB与C++之间数据类型的对应关系
- 服务器控件类与HTML标签之间的对应关系
- Android版本与API level之间的对应关系
- bzoj2438: [中山市选2011]杀人游戏(强联通)
- Android打包错误Expected resource of type id...
- activeMQ启动一闪而过
- 栈的操作
- Chrome插件控制视频播放速度(爱奇艺、优酷)
- HDFS中的file与block块之间的对应关系举例
- node 触发监听事件
- 波特率与晶振
- 大数据学习系列之一 ----- Hadoop环境搭建(单机)
- Dungeon Game
- css左右摆动动画
- ROS学习笔记2 消息发布与订阅
- Java 数组的复制
- Python学习笔记1