Hadoop-HDFS架构
来源:互联网 发布:费曼feynman知乎 编辑:程序博客网 时间:2024/05/20 11:25
HDFS(hadoop distribute file system)包含如下3个模块:NameNode、DataNode、SecondaryNameNode
1.NameNode
namenode是整个文件系统的管理节点,它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表,接收用户的操作请求。
文件包括:
- fsimage:元数据镜像文件,存储某一时段NameNode内存元数据信息。
- edits:操作日志文件。
- fstime:保存最近一次checkpoint的时间
2.SecondaryNameNode
SecondaryNameNode从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,替换旧的fsimage.
3.DataNode
DataNode提供真实文件数据的存储服务。文件块(block):最基本的存储单位。
对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。
HDFS默认Block大小是128MB,以一个256MB文件,共有256/128=2个Block.不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间Replication,起默认副本是三个。
0 0
- [Hadoop] HDFS架构设计
- Hadoop-HDFS架构
- Hadoop:HDFS架构
- Hadoop HDFS 架构
- hadoop-hdfs-架构
- Hadoop HDFS架构和设计
- Hadoop笔记4--hdfs架构
- Hadoop基本架构之HDFS架构
- Hadoop系列--Hadoop基本架构之HDFS架构
- Hadoop HDFS和MapReduce 架构浅析
- Hadoop学习——HDFS系统架构
- Hadoop学习——HDFS系统架构
- HDFS架构(Apache Hadoop 2.1.1-beta)
- Hadoop学习之HDFS架构(一)
- Hadoop学习之HDFS架构(二)
- Hadoop学习之HDFS架构(三)
- Hadoop学习之HDFS架构(一)
- Hadoop学习之HDFS架构(二)
- S盒的变换
- NPOI导入,导出数据库
- shell 数字运算
- javascript Object.extend的用法
- 即时 在线客服
- Hadoop-HDFS架构
- lightoj1189
- android的thread、looper、handler机制
- 公钥和私钥的区别
- HTTP/1.1与HTTP/1.0的区别
- SelfNote
- Java中对象的深复制(深克隆)和浅复制(浅克隆)介绍
- JAVA菜鸟成长记——JNDI
- 关于fielddata数据占用内存过大的解决方法