关于zookeeper集群的配置问题
来源:互联网 发布:人脸识别算法 源代码 编辑:程序博客网 时间:2024/05/14 06:02
Hadoop HA集群搭建常见问题:
本篇以五个节点搭建的集群为例,方案如下:
master:zookeeper datanode namenode resourcemanager nodemanager
slave1:zookeeper datanode namenode resourcemanager nodemanager
slave2:zookeeper datanode nodemanager
slave3:zookeeper datenode nodemanager
slave4:zookeeper datanode nodemanager
在配置Hadoop HA集群时,常常会遇到以下问题:
1,若是刚配置好的HA集群,如果在启动的时候有些节点没有启动,或者缺失,我们在启动的过程中单凭shell上面显示的提示是看不出来哪些是失败的哪些是成功的,当然也无从知道失败的原因。
那么唯一的办法就是在启动之后在每个节点上面查看状态:使用jps命令
假如有一个节点的namenode没有启动,那么我们就在相应节点上面查看日志文件,便可以知道没有成功启动的原因了(假如slave1的namenode没有成功启动):
所有节点若是没有成功启动,错误信息一定在这个里面有提示。
2、启动之后可能会出现ActivrNamenode 和 StandbyNamenode显示的livenodes不同数目,这说明两个datanode都和两个namenode之前进行正常的通信,如果配置没有问题的话,就应该是网络问题
zookeeper命令:
配置jobhistoryserver:
在yarn-site.xml增加下面:
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://master:19888/jobhistory/logs</value>
</property>
在mapred-site.xml增加:
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
<description>MapReduce
JobHistory Server Web UI host:port</description>
</property>
- 关于zookeeper集群的配置问题
- zookeeper集群配置问题
- zookeeper集群的配置
- ZooKeeper 集群的配置
- Zookeeper的集群配置
- 【zookeeper】集群安装配置问题
- 配置zooKeeper集群出现路径不通问题的解决方案
- Zookeeper集群的配置方式
- zookeeper集群的安装配置
- Zookeeper集群的安装配置
- Dubbo的Zookeeper单机配置和Zookeeper集群配置
- zookeeper-3.4.5集群的配置
- zookeeper-3.4.5集群的配置
- zookeeper集群的配置和测试
- Zookeeper的集群安装和配置
- zookeeper集群的安装和配置
- ZooKeeper 集群的安装与配置
- Zookeeper 集群的安装和配置
- 接口测试浅谈
- 排序(1)插入排序及交换排序
- 爬虫实战之一--python3及pip安装
- POj 2253 Frogger(变相最短路)
- oraclecode常用语句大全
- 关于zookeeper集群的配置问题
- HDU 5137 How Many Maos Does the Guanxi Worth(枚举+最短路径)
- HDU-1950 Bridging signals (nlogn求LIS)
- 告别Dagger2模板代码:DaggerAndroid原理解析
- 验证RA8875的硬件绘图与使用MCU软件绘图的速度差异
- starUML初识
- Ubuntu 16.04开启SSH服务
- loj #2034. 「SDOI2016」排列计数(错排)
- IntelliJ IDEA配置多个JDK