ZooKeeper+Hadoop的ResourceManager HA集群高可用配置
来源:互联网 发布:linux 查看宕机原因 编辑:程序博客网 时间:2024/04/29 16:40
1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等)
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
5.ssh免登陆
6.安装JDK,配置环境变量等
集群规划:
说明:
1.在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调
安装步骤:
1.安装配置zooekeeper集群(在service1上)
1.1解压
[root@service1 local]#tar -zxvf zookeeper-3.4.6.tar.g-C /zdq/[root@service1 local]#mv zookeeper-3.4.6/ zookeeper
1.2修改配置
[root@service1 local]#cd /zdq/zookeeper/conf/[root@service1 local]#cp zoo_sample.cfg zoo.cfg[root@service1 local]#vim zoo.cfg
修改:
dataDir=/zdq/temp/zookeeper/zookeeper/zkData
在最后添加:
server.1=service1:2888:3888server.2=service2:2888:3888server.3=service3:2888:3888
保存退出
然后创建一个tmp文件夹
[root@service1 local]#mkdir /zdq/zookeeper/zkData
再创建一个空文件
[root@service1 local]#touch /zdq/zookeeper/zkData/myid
最后向该文件写入ID
[root@service1 local]#echo 1 > /zdq/zookeeper/zkData/myid
1.3将配置好的zookeeper拷贝到其他节点(首先分别在service2、service3根目录:/zdq/)
[root@service1 local]#scp -r /zdq/zookeeper/ service2:/zdq/[root@service1 local]#scp -r /zdq/zookeeper/ service3:/zdq/
注意:修改service2、service3对应/zdq/zookeeper/zkData/myid内容
service2:[root@service1 local]#echo 2 > /zdq/zookeeper/zkData/myidservice3:[root@service1 local]#echo 3 > /zdq/zookeeper/zkData/myid
2.安装配置hadoop集群(在service1上操作)
2.1解压
[root@service1 local]#tar -zxvf hadoop-2.7.4.tar.gz -C /zdq/
2.2配置HDFS(hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下)
将hadoop添加到环境变量中
[root@service1 local]#vim /etc/profileexport JAVA_HOME=/zdq/jdk1.8export HADOOP_HOME=/zdq/hadoop-2.7.4export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
[root@service1 local]#cd /zdq/hadoop-2.7.4/etc/hadoop
2.2.1修改hadoo-env.sh
export JAVA_HOME=/zdq/jdk1.8
2.2.2修改core-site.xml
<configuration> <!-- 指定hdfs的nameservice为service1s --> <property> <name>fs.defaultFS</name> <value>hdfs://service1s</value> </property> <!-- 指定hadoop临时目录 --> <property> <name>hadoop.tmp.dir</name> <value>/zdq/hadoop-2.7.4/tmp</value> </property> <!-- 指定zookeeper地址 --> <property> <name>ha.zookeeper.quorum</name> <value>service1:2181,service2:2181,service3:2181</value> </property></configuration>
2.2.3修改hdfs-site.xml
<configuration> <!--指定hdfs的nameservice为mycluster,需要和core-site.xml中的保持一致 --> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <!-- mycluster下面有两个NameNode,分别是service1,service6 --> <property> <name>dfs.ha.namenodes.mycluster</name> <value>service1,service6</value> </property> <!-- service1的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.service1</name> <value>service1:9000</value> </property> <!-- service1的http通信地址 --> <property> <name>dfs.namenode.http-address.mycluster.service1</name> <value>service1:50070</value> </property> <!-- service6的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.service6</name> <value>service6:9000</value> </property> <!-- service6的http通信地址 --> <property> <name>dfs.namenode.http-address.mycluster.service6</name> <value>service6:50070</value> </property> <!-- 指定NameNode的元数据在JournalNode上的存放位置 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://service2:8485;service3:8485;service4:8485/mycluster</value> </property> <!-- 指定JournalNode在本地磁盘存放数据的位置 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/zdq/hadoop-2.7.4/journal</value> </property> <!-- 开启NameNode失败自动切换 --> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <!-- 配置失败自动切换实现方式 --> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行--> <property> <name>dfs.ha.fencing.methods</name> <value> sshfence shell(/bin/true) </value> </property> <!-- 使用sshfence隔离机制时需要ssh免登陆 --> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property> <!-- 配置sshfence隔离机制超时时间 --> <property> <name>dfs.ha.fencing.ssh.connect-timeout</name> <value>30000</value> </property></configuration>
2.2.4修改mapred-site.xml
<configuration> <!-- 指定mr框架为yarn方式 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
2.2.5修改yarn-site.xml
<configuration> <!-- 开启RM高可靠 --> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <!-- 指定RM的cluster id --> <property> <name>yarn.resourcemanager.cluster-id</name> <value>cluster1</value> </property> <!-- 指定RM的名字 --> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <!-- 分别指定RM的地址 --> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>service1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>service6</value> </property> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property> <!-- 指定zk集群地址 --> <property> <name>yarn.resourcemanager.zk-address</name> <value>service1:2181,service2:2181,service3:2181</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
2.2.6修改slaves(slaves是指定子节点的位置,因为要在service1上启动HDFS、在service1启动yarn,所以service1上的slaves文件指定的是datanode的位置,service1上的slaves文件指定的是nodemanager的位置)
service1
service2
service3
2.2.7配置免密码登陆
首先要配置service1到service2、service3、service4、service6的免密码登陆
在service1上生产一对钥匙
[root@service1 local]#ssh-keygen -t rsa
将公钥拷贝到其他节点,包括自己
2.4将配置好的hadoop拷贝到其他节点
[root@service1 local]#scp -r /zdq/hadoop-2.7.4/ service2:/zdq/[root@service1 local]#scp -r /zdq/hadoop-2.7.4/ service3:/zdq/[root@service1 local]#scp -r /zdq/hadoop-2.7.4/ service4:/zdq/[root@service1 local]#scp -r /zdq/hadoop-2.7.4/ service6:/zdq/
注意:严格按照下面的步骤
2.5启动zookeeper集群(分别在service1、service2、service3上启动zk)
[root@service1 local]#cd /zdq/zookeeper/bin/[root@service1 local]#./zkServer.sh start
查看状态:一个leader,两个follower
[root@service1 local]#./zkServer.sh status
2.6启动journalnode(分别在service2、service3、service4上执行)
[root@service1 local]#cd /zdq/hadoop-2.7.4/sbin[root@service1 local]#sbin/hadoop-daemon.sh start journalnode
运行jps命令检验,service2、service3、service4上多了JournalNode进程
2.7格式化HDFS
在service1上执行命令:
[root@service1 local]#hdfs namenode -format[root@service1 local]#hadoop-daemon.sh start namenode
格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件,这里我配置的是/zdq/hadoop-2.7.4/tmp,
然后将/zdq/hadoop-2.7.4/tmp拷贝到service6的/zdq/hadoop-2.7.4/下。
[root@service1 local]#scp -r tmp/ service6:/zdq/hadoop-2.7.4/
在新的节点上实行状态引导(我这里新节点是service6)
[root@service6 local]hdfs namenode -bootstrapStandby
在一个NN上执行,完成edit日志传输到JN
[root@service6 local]hdfs namenode -initializeSharedEdits
2.8格式化ZK(在service1上执行即可)
[root@service1 local]#hdfs zkfc -formatZK
2.9启动HDFS(在service1上执行)
[root@service1 local]#sbin/start-dfs.sh
2.10启动YARN(#####注意#####:是在service3上执行start-yarn.sh,把namenode和resourcemanager分开是因为性能问题,因为他们都要占用大量资源,所以把他们分开了,他们分开了就要分别在不同的机器上启动)
[root@service1 local]#service3:${HADOOP_HOME}/sbin/start-yarn.sh[root@service1 local]#service4:${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
到此,hadoop-2.7.4配置完毕,可以统计浏览器访问:
http://192.168.3.201:50070
NameNode ‘service1:9000’ (active)
http://192.168.3.206:50070
NameNode ‘service6:9000’ (standby)
验证HDFS HA
首先向hdfs上传一个文件
[root@service1 local]#hadoop fs -put /etc/profile /profile[root@service1 local]#hadoop fs -ls /
然后再kill掉active的NameNode
[root@service1 local]#kill -9 <pid of NN>
通过浏览器访问:http://192.168.3.206:50070
NameNode ‘service6:9000’ (active)
这个时候service6上的NameNode变成了active
在执行命令:
[root@service1 local]#hadoop fs -ls /-rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile
刚才上传的文件依然存在!!!
手动启动那个挂掉的NameNode
[root@service1 local]#sbin/hadoop-daemon.sh start namenode
通过浏览器访问:http://192.168.3.206:50070
NameNode ‘service1:9000’ (standby)
验证YARN:
运行一下hadoop提供的demo中的WordCount程序:
[root@service1 local]#hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out
hadoop HA集群搭建完成
- ZooKeeper+Hadoop的ResourceManager HA集群高可用配置
- HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
- HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
- HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
- HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
- 基于zookeeper的高可用Hadoop HA集群安装
- HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置 [复制链接] 韩克拉玛寒 韩克拉玛寒 当前离线 积分2439. 窥视卡 雷达
- Hadoop HA高可用集群配置详解
- Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
- Hadoop2.4的ResourceManager HA高可用配置
- Hadoop 2.6.0+ZooKeeper+Hive HA高可用集群安装
- Hadoop高可用集群(HA+JournalNode+zookeeper)
- 最新Hadoop-2.7.2+hbase-1.2.0+zookeeper-3.4.8 HA高可用集群配置安装
- Hadoop,HA高可用集群
- Hadoop+Zookeeper+NameNode(HA)+ResourceManager(HA)自动切换 配置
- Hadoop的HA机制(Zookeeper集群+Hadoop集群)配置记录
- Hadoop 2.0 HA高可用集群配置详解
- Hadoop 2.0 HA高可用集群安装配置
- 王赟:再续腾讯电商梦,再不嗨就老了!
- 社交软件除了“约“还能如何”玩“?
- 为什么敢称最美手机?vivo X5Pro曝光信息汇总
- 从影像到体验 深度挖掘暴风科技“平台营销”核心价值
- 要做就做万人迷,OPPO R7惊艳亮相戛纳
- ZooKeeper+Hadoop的ResourceManager HA集群高可用配置
- vivo官微表”手品之美”态度 最美手机X5Pro 13日发布
- “甜蜜恋人”吴漫川:红海中的社交,如何给宅男最好的体验?
- 微信朋友圈广告被收编,以后不能任性发广告
- vivo发布手品级手机X5Pro 首次定义手品之美
- 5.8世界微笑日 南航大学生拿OPPO A31记录至美微笑
- PHP Session管理
- 当全金属机身遇到2.5D弧度屏 OPPOR7如何万人迷
- 快乐妈咪借明星造势 母婴安全秤众筹再升温