NN HA 对于 Client 透明的实验
来源:互联网 发布:java发送邮件原理 编辑:程序博客网 时间:2024/05/21 07:00
之前转载过一篇【伊利丹】写的NN HA实验记录,该博客描述了主备NN透明切换的过程,也就是说,当主NN挂掉后,自动将备NN切换为主NN了,Hadoop集群正常运行。
今天我继续做了一个实验,目的是实现NN的切换不会对Client端程序造成影响,即NN切换对Client透明。
首先,很重要的一点:
要保证core-site.xml中的
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://hadoop-cluster</value>
- </property>
- <property>
- <name>dfs.nameservices</name>
- <value>hadoop-cluster</value>
- </property>
其次:
/etc/hosts文件中无需为hadoop-cluster指定IP,hadoop-cluster只是一个逻辑名,当程序或者命令通过hadoop-cluster访问HDFS集群时,Hadoop会自动根据hdfs-site.xml的配置,去找到一个active的Namenode。
当然,hdfs-site.xml中的
- <property>
- <name>dfs.namenode.rpc-address.hadoop-cluster.namenode1</name>
- <value>NODE001:8020</value>
- </property>
- <property>
- <name>dfs.namenode.rpc-address.hadoop-cluster.namenode2</name>
- <value>NODE002:8020</value>
- </property>
最后就是Client了,
无论Namenode如何切换,都可以在任意Hadoop节点上正常执行命令 hadoop dfs -ls hdfs://hadoop-cluster/ ,或者在程序中,将HDFS目标地址指定为 hdfs://hadoop-cluster 即可正常运行程序。
关键在于,不通过IP地址或主备NN的主机名访问HDFS,而是通过HDFS的逻辑名访问。
这样的话,命令和程序的执行与当前Active的Namenode是哪个节点毫无关系,一切皆透明,感觉真爽!
0 0
- NN HA 对于 Client 透明的实验
- 【甘道夫】NN HA 对于 Client 透明的实验
- Hadoop2分布式及NN和RM实现HA的实验
- 【伊利丹】Hadoop2.0 NN HA实验记录
- 【伊利丹】Hadoop2.0 NN HA实验记录
- Hadoop2.2.0 NN HA详细配置+Client透明性试验【完整版】
- HDFS HA系列实验之七:NN故障转移处理
- HDFS HA系列实验之七:NN故障转移处理
- 【甘道夫】Hadoop2.2.0 NN HA详细配置+Client透明性试验【完整版】
- 【伊利丹】Hadoop2.0 NN HA实现记录的异常
- HA功能中ZKFC对NN状态的控制
- 实现hadoop NN的HA自动容灾
- HDFS HA系列实验之五:client 配置
- HDFS HA系列实验之五:client 配置
- HDFS HA系列实验之六:Federation之增减NN和Balancer
- HDFS HA系列实验之六:Federation之增减NN和Balancer
- canal-client的HA功能验证
- Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
- javaWeb-day01(程序的调试方法,配置快捷键)
- [iOS diary]UILabel对iOS6.0及以下的适配。UILabel在iOS6.0以下背景为白色,iOS7为透明
- 宏
- android 保存bitmap图片到sd卡中文件夹
- My SQL存储过程
- NN HA 对于 Client 透明的实验
- Android实现自带横线的EditText
- Fragment中startActivityForResult调转Activity时onActivityResult先执行等问题的解决方法
- hdu1800Flying to the Mars (字典树)
- Sublime Text2 中Emmet(之前叫Zencoding)插件安装以及使用 - jnpd
- Linux MySQL的卸载与安装!!!
- 法院判决-房子归我妈,她付给我和我哥各六
- Linux笔记 7 --- 进程控制函数
- 正确使用异步操作