spark(4)-高可用HA zookeeper原理及环境搭建
来源:互联网 发布:淘宝如何设置全屏海报 编辑:程序博客网 时间:2024/06/07 22:40
1. Spark集群模式及原理
1.1 spark集群示意图
1.2 zookeeper协调spark
Spark本身是Master/Slaves结构的,有一个中心节点(Master),Master负责Spark集群的资源调度和分配。其余的是Worker。
Worker管理单个节点上的资源状况。这里说的资源主要指CPU、内存,当然也包括disk IO,网络IO等。
所谓Active级别的Master就是说现在正在管理集群,并接受外界程序提交请求和资源分配请求的Master。StandBy就是随时准备在Active Master挂掉后切换成Active级别,供集群资源分配需要及提交程序注册程序的需要。使用zookeeper做HA,做成3台机器,Active Master就是Leader。
Zookeeper(资源协同的框架)中包含的有哪些内容?=>所有的Worker、Driver、Application. Driver代表了正在运行的程序。Application是应用程序本身。这些信息都会交给Zookeeper。
Master切换时会不会影响application?不会,因为程序运行前已经向master申请过资源了。申请过后就是Driver与Executors之间的通信,这个过程一般不需要Master参与,除非executor有故障。这就是粗粒度,好处是一次性分配资源好后,不需要再关心资源的分配,而在作业运行过程中可以让driver和executors交互,完成作业或程序运行。
2. Zookeeper配置
2.1 zookeeper安装及初始配置
说明:Zookeeper是与其他组件完全独立的组件。官网:http://zookeeper.apache.org/
① 三台机器下载配置$ZOOKEEPER_HOME及$PATH
[root@master-1a zookeeper]# vim /etc/profile #config zookeeperexport ZOOKEEPER_HOME=/usr/hadoop-env/.version/zookeeper-3.4.10export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf[root@master-1a zookeeper]# cd $ZOOKEEPER_HOME [root@master-1a zookeeper-3.4.10]# pwd/usr/hadoop-env/.version/zookeeper-3.4.10
② 修改默认的数据及日志存储路径(cp conf下的样例配置为zoo.cfg)
[root@master-1a zookeeper-3.4.10]# cd conf/[root@master-1a conf]# vim zoo.cfgdataDir=/usr/hadoop-env/.version/zookeeper-3.4.10/datadataLogDir=/usr/hadoop-env/.version/zookeeper-3.4.10/logs#master-1a、slave01-02三台机器上都装了Zookeeperserver.0=master-1a:2888:3888server.1=slave-01:2888:3888server.2=slave-02:2888:3888
并建立对应的data和logs目录。
③ 进入data,创建myid,设置myid里的值0(对应conf中的server.0)直接写0即可
[root@master-1a data]# vim myid0
④ 其他两台配置相同,注意修改myid分别为1,2
2.2 启动zookeeper
[root@master-1a bin]# cd $ZOOKEEPER_HOME [root@master-1a zookeeper-3.4.10]# ./bin/zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/hadoop-env/.version/zookeeper-3.4.10/bin/../conf/zoo.cfgStarting zookeeper ... already running as process 3187.
① 同样命令将其他两台启动。使用jps可以看到三台机器上都有QuorumPeerMain进程
② 相关命令
./bin/zkServer.sh start #启动./bin/zkServer.sh status #查看leader还是follower./bin/zkServer.sh stop
④ 下边的一个小测验为:关闭leader的所在机器。再查看另外两台机器,将会有一台变为leader
[root@slave-01 zookeeper-3.4.10]# ./bin/zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /usr/hadoop-env/.version/zookeeper-3.4.10/bin/../conf/zoo.cfgMode: leader #slave-01为leader[root@slave-01 zookeeper-3.4.10]# ./bin/zkServer.sh stop #停止该leaderZooKeeper JMX enabled by defaultUsing config: /usr/hadoop-env/.version/zookeeper-3.4.10/bin/../conf/zoo.cfgStopping zookeeper ... STOPPED
[root@master-1a zookeeper-3.4.10]# ./bin/zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /usr/hadoop-env/.version/zookeeper-3.4.10/bin/../conf/zoo.cfgMode: follower[root@master-1a zookeeper-3.4.10]# ./bin/zkServer.sh status #该机器仍然为followerZooKeeper JMX enabled by defaultUsing config: /usr/hadoop-env/.version/zookeeper-3.4.10/bin/../conf/zoo.cfgMode: follower
[root@slave-02 zookeeper-3.4.10]# ./bin/zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /usr/hadoop-env/.version/zookeeper-3.4.10/bin/../conf/zoo.cfgMode: follower[root@slave-02 zookeeper-3.4.10]# ./bin/zkServer.sh status #slave-01停止后,slave-02有幸选为leaderZooKeeper JMX enabled by defaultUsing config: /usr/hadoop-env/.version/zookeeper-3.4.10/bin/../conf/zoo.cfgMode: leader
阅读全文
0 0
- spark(4)-高可用HA zookeeper原理及环境搭建
- Spark学习笔记8-搭建spark的HA(用zookeeper实现spark的高可用)
- Spark集群搭建+基于zookeeper的高可用HA
- zookeeper环境搭建及redis高可用
- Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
- Hadoop HA(高可用)环境的搭建
- Hadoop HA高可用集群环境搭建(CenOS7)
- hadoop 集群高可用环境搭建(zookeeper)
- Spark高可用HA实战
- Hadoop高可用集群搭建(HA)
- Hadoop HA高可用集群原理和搭建
- Redis Cluster高可用(HA)集群环境搭建详细步骤
- Hadoop HDFS通过QJM实现高可用HA环境搭建
- Hadoop高可用集群(HA+JournalNode+zookeeper)
- HA 高可用集群原理
- Hadoop2.7.2高可用(HA)环境下Hbase高可用(HA)环境的搭建(在Ubuntu14.04下以root用户进行配置)
- HDFS集群搭建,高可用双机热备模式(HA)自动切换,hdfs+zookeeper+journalnode,步骤分步原理详解(适合初学者)
- ActiveMq+Zookeeper的高可用集群环境搭建
- MeanShift用于彩色图像分割(OpenCV)
- 欢迎使用CSDN-markdown编辑器
- GAN解读
- 【say something】
- C#匿名方法实现Java匿名类功能
- spark(4)-高可用HA zookeeper原理及环境搭建
- PAT乙级 1028. 人口普查 C语言
- HDU 2700 Parity【字符处理】
- Java实现Python的for...else或while...else逻辑结构
- Linux系统运行时出现的问题
- 隐藏标题栏,状态栏,导航栏,显示全屏
- 自我定位
- navgation
- Linux下安装MySQL