hadoop block数据块

来源:互联网 发布:卫计委数据 编辑:程序博客网 时间:2024/06/06 10:54

block数据块是HDFS文件系统基本的存储单位
block(块)128M 小于一个块的文件,不会占据整个块的空间

block数据块大小设置较大的原因:

1)减少文件寻址时间2)减少管理块的数据开销,每个块都需要在NameNode上有对应的记录3)对数据块进行读写,减少建立网络的连接成本

这里写图片描述
一个文件可以划分成多个块进行存储,并保存三个副本以block块落地到文件系统中的。
也可以通过在hdfs-site.xml中对这个值进行修改

    <property>        <name>dfs.block.size</name>        <value>块大小 以KB为单位</value>//只写数值就可以    </property>查看文件所占用的块的信息    hadoop fsck /xxxxx -files -locations -blocks    查看HDFS文件系统上xxxxx这个文件的属性信息,名字,文件存储位置,文件的block数    

抽象成数据块的好处

    1.一个文件有可能大于集群中任意一个磁盘        10T*3/128 = xxx块    2T,2T,2T    文件方式存----->多个block块,这些block块属于一个文件    2.使用块抽象而不是文件可以简化存储子系统    3.块非常适合用于数据备份进而提供数据容错能力和可用性
原创粉丝点击