hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
来源:互联网 发布:excel数据透视图教程 编辑:程序博客网 时间:2024/06/06 00:13
点击browserFilesystem,和命令查看结果一样
当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息
我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点:
就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-site.xml中修改
usr/local/hadoop 是我存放hadoop文件夹的地方
几个关于namenode的重要文件
这里的in_use.lock本身没什么东西,但是它标记着这个namenode被使用,不准其他进程调用
current下存放了重要信息,尤其是fsimage,是namenode核心信息
edits用于事务处理
HA措施之一就是备份多个文件信息,可以用逗号隔开多个目录保存,注:不能在hdfs-default.xml中直接修改,而应该复制到hdfs-site下修改
dfs下的data文件决定datanode存储位置
HA措施之二:secondary用于辅助namenode,合并edits到fsimage。从secondary恢复数据可能存在部分丢失(类似windows备份点),但我认为这里的信息可能储存到了硬盘,而namenode储存的信息可能还包括内存中的信息
HA措施之三:replication,在配置文件中设置副本个数,存在不同datanode上
4 0
- hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
- hadoop namenode 高可用(HA)搭建指南 QJM方式
- Hadoop总结一:基础知识-Namenode,Datanode(非HA高可用性配置)
- Hadoop(04) NameNode、DataNode
- Hadoop namenode HA方案
- hadoop namenode ha方案
- Hadoop NameNode无法连接DataNode
- Hadoop DataNode, NameNode无法启动
- Hadoop启动namenode和datanode
- Hadoop之 NameNode---DataNode---SecondaryNameNode
- hadoop 源码中NameNode与DataNode主要的类目录
- hadoop之HA架构----->NameNode的高可靠性缘由
- Hadoop Namenode HA方案比较
- Hadoop Namenode HA方案比较
- Hadoop Namenode HA方案比较
- Hadoop HA Namenode remote access
- hadoop namenode ha--手动切换
- hadoop namenode ha--手动切换
- redboot ecos vmware 相关文章
- QML BOOK 第一章 Meet to Qt
- 指针
- 如何给Activiti表名加前缀
- PHP文本操作类
- hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
- 用shader使图片背景透明
- 火狐Firebug提示:ReferenceError: jQuery is not defined
- Linux下各头文件作用
- (编程解决)List和Hashtable都是可以存储数据的,可为什么有时选择List,有时需要Hashtable,这两个有什么区别?
- Django+apache+python+mod_python的环境搭建
- matlab上&与&&的区别
- php 通过基类和构造函数统一验证程序访问权限
- 如何设置HTML页面自适应宽度的table(表格)