hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置

来源:互联网 发布:excel数据透视图教程 编辑:程序博客网 时间:2024/06/06 00:13

点击browserFilesystem,和命令查看结果一样

当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息


我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点:

就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-site.xml中修改


usr/local/hadoop 是我存放hadoop文件夹的地方


几个关于namenode的重要文件


这里的in_use.lock本身没什么东西,但是它标记着这个namenode被使用,不准其他进程调用

current下存放了重要信息,尤其是fsimage,是namenode核心信息


edits用于事务处理


HA措施之一就是备份多个文件信息,可以用逗号隔开多个目录保存,注:不能在hdfs-default.xml中直接修改,而应该复制到hdfs-site下修改


dfs下的data文件决定datanode存储位置


HA措施之二:secondary用于辅助namenode,合并edits到fsimage。从secondary恢复数据可能存在部分丢失(类似windows备份点),但我认为这里的信息可能储存到了硬盘,而namenode储存的信息可能还包括内存中的信息


HA措施之三:replication,在配置文件中设置副本个数,存在不同datanode上

4 0
原创粉丝点击
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防,我是瞎子 宝宝经常不拉大便怎么办 宝宝便秘 肛裂了怎么办 3个月宝宝不便便怎么办 宝宝8个月不便便怎么办 宝宝在幼儿园不爱说话怎么办 广东学考考了d怎么办 上嘴唇干燥紧绷怎么办 美国大学gpa非常低怎么办 大学手机作弊通报教务处怎么办 崩坏3邮箱验证码过期怎么办 快递员被顾客恶意投诉怎么办 5岁幼儿逻辑思维差怎么办 脸一边胖一边瘦怎么办 夏天穿鞋子脚痒怎么办 脚痒怎么办但不是脚气 脚气脚趾缝烂了怎么办 凉鞋穿久了臭怎么办 运动鞋穿久了臭怎么办 体恤穿久了发臭怎么办 十七八岁青少年逆反心理怎么办 挨刚煮好的粥烫伤改怎么办? 5e的demo有水印怎么办 宝宝湿疹激素一停药复发怎么办 木工家装没事做怎么办 取票之后票丢了怎么办 补牙咬合低了点怎么办 留学生上美国网课上不了网怎么办 大四绩点不够2.0怎么办 ucas申请成绩下来后怎么办 在本校读研毕业东西怎么办 美国硕士gpa低于3.0怎么办 英国t4签证拒签怎么办 abc洗液过敏了怎么办 护士电子化注册忘记用户名怎么办 手机重力感应坏了怎么办 电脑所有驱动都删除了怎么办 毕业生没有签工作档案怎么办 澳洲两年工作签怎么办 上班一年没签劳动合同怎么办 公司拖欠工资怎么办没签劳动合同 brp丢了怎么办回国补