HDFS数据块
来源:互联网 发布:hp678墨盒数据清零 编辑:程序博客网 时间:2024/06/15 12:01
1.磁盘也是由数据块组成的,一般默认大小是512字节,构建磁盘之上的文件系统一般是磁盘块的整数倍。
2.HDFS也是采用块管理的,但是比较大,在Hadoop1.x中默认大小是64M,Hadoop2.x中大小默认为128M,那为什么HDFS块这么大呢,又为什么Hadoop2.x中数据块更大了呢?
3.Hadoop权威指南中说,为了最小化寻址开销,也就是让文件传输时间明显大于块的寻址时间,还有就是减轻NameNode的负担,因为在NameNode中存储这块所在数据节点的信息。但是也不能过于大,因为MapReducer中一般一个map处理一个块上的数据,如果块很大,任务数会很少(少于集群中的节点个数)这样执行效率会明显降低。
4.使用块有什么好处?假如上传的一个文件非常大,没有任何一块磁盘能够存储,这样这个文件就没法上传了,如果使用块的概念,会把文件分割成许多块,这样这个文件可以使用集群中的任意节点进行存储。数据存储要考虑容灾备份,以块为单位非常有利于进行备份,HDFS默认每个块备份3份,这样如果这个块上或这个节点坏掉,可以直接找其他节点上的备份块。还有就是,有的时候需要将备份数量提高,这样能够分散机群的读取负载,因为可以在多个节点中寻找到目标数据,减少单个节点读取。
阅读全文
0 0
- HDFS数据块
- HDFS-数据块
- HDFS数据块
- Hdfs 数据块丢失处理
- HDFS数据块恢复算法的思考
- HDFS冗余数据块的自动删除
- HDFS-datanode数据块部分笔记
- HDFS源码分析数据块之CorruptReplicasMap
- HDFS冗余数据块的自动删除
- HDFS 冗余数据块的自动删除
- HDFS冗余数据块的自动删除
- HDFS中数据节点数据块存储示例
- 为什么分片大小需要与HDFS数据块大小一致
- Hadoop HDFS中的数据块和Map任务的分片
- hadoop之HDFS:数据块恢复与文件上传测试
- Hadoop HDFS中的数据块和Map任务的分片
- Hadoop HDFS中的数据块和Map任务的分片
- HDFS源码分析(三)-----数据块关系基本结构
- 在终端设备上实现语音识别:ARM开源了TensorFlow预训练模型
- 机器学习笔记--机器学习实战CART算法错误
- 微软推出一波AI新功能:自动生成图表、更贴心的Cortana和搜索
- 想加入Google AI中国团队?你可能得飞去美国面试
- 解决网站赋予777但是还是没有权限问题-welinux相关
- HDFS数据块
- 2018 AI趋势:AI芯片更丰富,用机器学习的企业翻倍 | 德勤报告
- Android Studio Terminal 不是内部或外部命令,也不是可运行程序或批处理文件
- 6大设计原则和23种设计模式
- python 笔记1
- 1.nRF52832裸机教程--开发环境搭建
- android studio
- 神经网络(4)
- ros学习资料汇总