NameNode启动过程
来源:互联网 发布:网络摄像头控制器 编辑:程序博客网 时间:2024/05/21 12:45
NameNode(NN代指)中存储的HDFS中文件的元信息,是整个文件系统的管理节点,它维护着整个文件系统的目录结构,文件/目录的元信息和每个文件对应的数据块列表。接收用户请求(上传、下载、删除。。。),接收datanode的心跳和块报告。
NN的启动过程:
首先执行NN中的main函数
main函数的主要工作是创建一个NN对象,并通过join方法等待其他线程运行结束。
createNameNode函数
首先获取startOpt,就是启动dfs时指定的参数(如-format),启动时会对format(hadoop一开始部署完成要进行一次格式化操作,类似磁盘的格式化)和finalize(升级稳定后正式提交)。
之后创建NN的对象。具体的初始化工作是在initialize方法中,进行一堆安全检查,然后创建FSNamesystem对象
this
.namesystem =
new
FSNamesystem(
this
, conf);
开始最重要的FSNamesystem的初始化,同样初始化工作是在initialize方法中完成。完成的最重要的几件事情,创建FSDirectory对象,加载image和edits文件,设置安全状态,之后启动几个monitor线程。分别监控DN的心跳、租约、block的冗余备份数目。
可以看出FSNamesystem对于目录结构的操作都是通过FSDirectory对象进行的。在FSDirectory中有一个表示系统目录根的rootDir,rootDir是INodeDirectoryWithQuota类型,这就表明FSDirectory是作为Inode(类似Linux中的inode)与FSNamesystem之间的桥梁,FSDirectory封装了Inode提供了对外查询的接口。
Inode是一个抽象类,他有两个子类INodeDirectory和INodeFile。顾名思义,INodeFile代表的是一个具体的文件,而INodeDirectory代表的是一个文件目录。
接着看一下INodeDirectory与INodeFile之间的区别。在INodeFile中最重要的一个域是
protected
BlockInfo blocks[] =
null
;
这就是代表每个文件所对应的blockid。而在INodeDirectory中最重要的部分是
private
List<INode> children;
这就是一个文件目录中的目录项的集合,也就是目录树。
之后创建RPCSever和HttpServer,具体实现可以查看Hadoop RPC部分的源代码。
- namenode 启动过程
- NameNode启动过程
- namenode启动过程
- NameNode启动过程
- NameNode启动过程详细剖析
- NameNode启动过程详细剖析
- HDFS中NameNode启动过程
- HDFS之NameNode的启动过程分析
- 四、HDFS中NameNode的启动过程
- Hadoop 学习研究(九): NameNode启动过程
- hdfs中NameNode启动过程介绍
- hadoop namenode启动过程详细剖析及瓶颈分析
- hadoop namenode启动过程详细剖析及瓶颈分析
- hadoop namenode启动过程详细剖析及瓶颈分析
- Hadoop namenode启动过程详细剖析及瓶颈分析
- hadoop namenode启动过程详细剖析及瓶颈分析
- hadoop namenode启动过程详细剖析及瓶颈分析
- hadoop namenode启动过程详细剖析及瓶颈分析
- 华为OJ:查找同构数的数量
- react-native之module的使用
- 打不开以下磁盘映像,image not recognized原因
- perl weixin webwxsync
- lua代码规范
- NameNode启动过程
- 【Android】【Inflate】inflate方法的三个参数
- 《算法竞赛入门经典第二版》习题2-5分数化小数问题
- shell环境变量配置文件-L64
- 11款开放中文分词引擎大比拼
- GXTemplate项目介绍
- hibernate映射文件-id属性列表
- 函数指针
- 基础JavaScript 实例学习