使用ZooKeeper解决Hadoop单点故障(single point of failure)
来源:互联网 发布:兰州淘宝培训班 编辑:程序博客网 时间:2024/06/08 04:39
1、目前Hadoop版本只支持一个主节点,存在单点故障的问题,即如果主节点异常,任务执行情况会丢失,数据可能会损坏。目前通常的建议是,客户端编码时进行异常判断和处理,比如多次请求执行任务。
2、ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组(Group)服务等。
3、ZooKeeper能够用来leader选举,配置信息维护等。在一个分布式的环境中,我们需要一个Master实例或存储一些配置信息,确保文件写入的一致性等。
4、目前ZooKeeper解决Hadoop的单点故障实现的是主备机方式。今后还需要看Hadoop是否能实现多主节点的负载均衡方式,或者在另一台机器上做Namenode故障转移的功能。
- 使用ZooKeeper解决Hadoop单点故障(single point of failure)
- 消除小型 Web 站点单点故障(Single Point of Failure)
- 消除小型 Web 站点单点故障(Single Point of Failure)
- Thread 2: No single point of failure
- 解决Memcached单点故障
- hadoop SNN故障解决
- redis解决单点故障HA(高可用)主从复制
- Hadoop 2.0中单点故障解决方案
- Hadoop 2.0中单点故障解决方案总结
- hadoop系列:zookeeper(1)——zookeeper单点和集群安装
- hadoop系列:zookeeper(1)——zookeeper单点和集群安装
- hadoop系列:zookeeper(1)——zookeeper单点和集群安装
- hadoop系列:zookeeper(1)——zookeeper单点和集群安装
- 解决单点故障:JDBC Master Slave
- Hadoop2.x解决Namenode 单点故障问题
- zookeeper 单点和集群使用
- ZooKeeper 笔记(4) 实战应用之【消除单点故障】
- 使用Redis模拟简单分布式锁,解决单点故障的问题
- 【转】如何完全杀掉带锁的进程并释放资源
- MapReduce技术的开源C语言实现
- XMPP 3920 最靠谱的中文翻译文档(六)
- AbstractSequentialList
- 采用HADOOP的MAPREDUCE使用其他文件系统或数据库系统的方式
- 使用ZooKeeper解决Hadoop单点故障(single point of failure)
- [转]毕业5年决定你的命运 --------值得所有不甘平庸的人看看
- 创造力来自宽松的环境:Google 办公室图赏
- oracle-merge用法详解
- Android系统文件夹结构解析
- hibernate lazy fetch leading json serializ exception
- C++ primer 习题练习:9.28
- windows访问Hbase数据库的配置
- 2010.1.5 迁移到tomcat5.5