CDH HDFS failover 配置
来源:互联网 发布:看摄像头监控软件 编辑:程序博客网 时间:2024/05/29 13:30
CDH默认的有一个(NN)namenode,一个(SNN)secondary namenode,但是这里要注意的是,SNN并不提供failover的能力
也就是说NN挂了,SNN是不会接管服务的,只能从SNN恢复NN,然后启动NN。
CDH也提供了,HDFS failover的能力,但是要依靠zookeeper服务。
配置failover需要具备以下几点要求:
1.namenode和standby namenode在硬件上面最好一致,这样failover后才不会出现性能瓶颈
2.JournalNode部署,最好部署NN,或者SNN上面,磁盘用本地磁盘,不要用SAN,NAS存储。
3.至少部署3个JournalNode,奇数部署,如(3,5,7),最多可以接受(N-1)/2个JournalNode故障
使用cloudera manager配置步骤:
1.确保有zookeeper服务
2.进入HDFS服务
3.点击操作下拉菜单,启用High Availability
a.指定名称,默认是nameservice1
b.namenode hosts选择相关host
c.JournalNode Hosts至少3个
d.JournalNode Edits Directory目录设置
这里截图就不发了,按照提示配置下,基本下一步就可以完成
参考:
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_hag_hdfs_ha_enabling.html
阅读全文
0 0
- CDH HDFS failover 配置
- HDFS-HA的配置-----手动Failover方式
- HDFS-HA的配置-----自动Failover
- HDFS-HA的配置-----自动Failover
- HDFS-HA的配置-----自动Failover
- CDH中配置HDFS HA、Hbase HA
- HDFS-HA的配置-----自动Failover(ZKFC)
- CDH中配置HDFS HA 及shell 脚本
- CDH:hdfs劵故障
- 【配置CDH和管理服务】关闭DataNode前HDFS的调优
- 【配置CDH和管理服务】关闭DataNode前HDFS的调优
- CDH开启kerberos后,HDFS连接的Java——API参数配置
- ASA Failover配置实例
- Flume配置-Failover(转载)
- Oracle RAC FailOver配置
- dataguard broker failover 配置
- HDFS-HA:Hadoop-Cloudera-cdh4版本的HDFS自动Failover(zk-based-failover)分析
- 【集群问题解决】CDH的HDFS平衡问题
- 改进的KMP
- 三元运算符
- throw "uglifyjs is deprecated
- H264关于RTP协议的实现
- a different object with the same identifier value was already associated with the session错误
- CDH HDFS failover 配置
- 学习笔记03.浅析service
- RILD及qcril初始化流程
- 微信小程序 template添加绑定事件
- 使用 Python Scrapy 爬取微博内容【一】
- [Python3.x]网络爬虫(一):利用urllib通过指定的URL抓取网页内容
- Mybatis 总结
- 大华摄像头获取yuv数据
- 计算算法的时间复杂度和空间复杂度