Hadoop的HA集群启动和停止流程
来源:互联网 发布:chrome缓存文件夹 mac 编辑:程序博客网 时间:2024/06/05 15:20
转载自:http://www.cnblogs.com/jun1019/p/6240770.html
假设我们有3台虚拟机,主机名分别是hadoop01、hadoop02和hadoop03。这3台虚拟机的Hadoop的HA集群部署计划如下:
hadoop01
zookeeper
journalnode
nodemanager
datanode
resourcemanager
namenode
zkfc
hadoop02
zookeeper
journalnode
nodemanager
datanode
resourcemanager
namenode
zkfc
hadoop03
zookeeper
journalnode
nodemanager
datanode
从上面的集群部署计划中可以看出,3台机器上都部署了Zookeeper、journalnode、nodemanager、datanode,而只有hadoop01和hadoop02这两台机器上部署有zkfc和ResourceManager以及NameNode。下面是Hadoop的HA集群启动流程:第一步,在Hadoop01机器上启动Zookeeper:[root@hadoop01 ~]# /root/apps/zookeeper/bin/zkServer.sh start第二步,在Hadoop02机器上启动Zookeeper:[root@hadoop02 ~]# /root/apps/zookeeper/bin/zkServer.sh start第三步,在Hadoop03机器上启动Zookeeper:[root@hadoop03 ~]# /root/apps/zookeeper/bin/zkServer.sh start启动Zookeeper之后,可以分别在3台机器上使用如下命令查看Zookeeper的启动状态:/root/apps/zookeeper/bin/zkServer.sh status第四步,在Hadoop01机器上启动HDFS:[root@hadoop01 ~]# /root/apps/hadoop/sbin/start-dfs.sh第五步,在Hadoop01机器上启动YARN:[root@hadoop01 ~]# /root/apps/hadoop/sbin/start-yarn.sh第六步,在Hadoop02机器上单独启动一个ResourceManager:(注意这里使用的是“yarn-daemon.sh”命令,而不是“hadoop-daemon.sh”,不知道为什么使用“hadoop-daemon.sh”无法启动ResourceManager)[root@hadoop02 ~]# /root/apps/hadoop/sbin/yarn-daemon.sh start resourcemanager最后,分别在3台机器上使用jps命令查看进程:[root@hadoop01 ~]# jps2836 ResourceManager2310 DataNode2036 QuorumPeerMain2630 DFSZKFailoverController2481 JournalNode2938 NodeManager3212 Jps2212 NameNode[root@hadoop02 ~]# jps2489 DFSZKFailoverController3281 Jps2193 QuorumPeerMain2292 NameNode2348 DataNode3028 NodeManager2427 JournalNode3244 ResourceManager[root@hadoop03 ~]# jps2734 Jps2420 DataNode2327 QuorumPeerMain2484 JournalNode2616 NodeManager[root@hadoop03 ~]#如果某一个NameNode进程挂掉了的话,就使用如下命令单独启动一个NameNode:/root/apps/hadoop/sbin/hadoop-daemon.sh start namenode================================================================下面是停止Hadoop的HA集群的流程:第一步,在Hadoop01机器上停止HDFS:[root@hadoop01 ~]# /root/apps/hadoop/sbin/stop-dfs.sh第二步,在Hadoop01机器上停止YARN:[root@hadoop01 ~]# /root/apps/hadoop/sbin/stop-yarn.sh第三步,在Hadoop02机器上单独停止ResourceManager:[root@hadoop02 ~]# /root/apps/hadoop/sbin/yarn-daemon.sh stop resourcemanager第四步,在Hadoop01机器上停止Zookeeper:[root@hadoop01 ~]# /root/apps/zookeeper/bin/zkServer.sh stop第五步,在Hadoop02机器上停止Zookeeper:[root@hadoop02 ~]# /root/apps/zookeeper/bin/zkServer.sh stop第六步,在Hadoop03机器上停止Zookeeper:[root@hadoop03 ~]# /root/apps/zookeeper/bin/zkServer.sh stop最后,分别在3台机器上使用jps命令查看进程,确定有关进程是否停止成功。[root@hadoop01 ~]# jps4455 Jps[root@hadoop02 sbin]# jps4713 Jps[root@hadoop03 ~]# jps3208 Jps如果启动或停止Hadoop的时候,遇到了问题,我们想查看一下日志,由于日志中的内容可能会非常多,我们改怎么查看呢?我们以查看hadoop01机器上的namenode的日志为例来说明一下,这里我们使用的是less命令:[root@hadoop01 ~]# less /root/apps/hadoop/logs/hadoop-root-namenode-hadoop01.log使用以上命令进入到日志之后,按回车光标处会显示一个冒号,输入斜杠“/”会进入到搜索模式,输入关键字再按回车,可以在日志中查询关键字小写的字母“n”可以向下搜索关键字,输入大写的字母“N”可以向上查找关键字。在键盘上输入大写的字母“G”,可以瞬间跳转到日志的末尾。输入小写字母“q”可以退出日志。
0 0
- Hadoop的HA集群启动和停止流程
- hadoop集群和HA搭建
- hadoop HA集群的搭建
- hadoop集群及相关服务的启动、停止shell脚本
- HA模式下的Hadoop+ZooKeepeer+Hbase启动和关闭顺序!(针对本实验室的集群)
- HA HADOOP集群和HIVE部署
- hadoop集群搭建-Namenode HA和ResourceManager HA
- Hadoop的HA机制(Zookeeper集群+Hadoop集群)配置记录
- Hadoop集群的HA简单说明
- 基于docker的hadoop HA 集群搭建
- 基于HA机制的Hadoop集群搭建
- Hadoop HA 集群搭建
- 搭建Hadoop HA集群
- Hadoop HA集群搭建
- Hadoop---HA集群搭建
- 编写Strom启动和停止集群的脚本
- Hadoop的启动与停止
- 分布式hadoop集群安装启动流程
- TCP/IP详解学习笔记(12)-TCP的超时与重传
- Swift3创建数组
- 使用Jersey创建RESTful服务
- .NET MVC TempData、ViewData、ViewBag
- linux网络编程之shutdown() 与 close()函数详解
- Hadoop的HA集群启动和停止流程
- 整理的ANDROID开发资源
- (ssl1197)P2563 质数和分解
- 网络通信中的单播、广播和组播的实现
- TCP/IP详解学习笔记(13)-TCP坚持定时器,TCP保活定时器
- 第二次爬虫实战--知乎
- java程序在开发工具上运行正常,打包之后本地运行报错Attempt to refer to a unregistered pool by its alias '**'
- 一文读懂机器学习,大数据/自然语言处理/算法全有了……
- 用vs2013编译用vs2015写的memcached遇到的平台问题