Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
来源:互联网 发布:淘宝客服兼职日结工资 编辑:程序博客网 时间:2024/05/16 07:10
声明:作者原创,转载注明出处。
作者:帅气陈吃苹果
一、服务器环境
二、集群规划
JDK、Hadoop、HBase版本兼容性(NS:不兼容;NT:未测试;Y:兼容):
考虑到HBase与JDK、Hadoop各版本兼容性,我们采用的组件版本如下:
三、安装配置Zookeeper
1、下载及安装
下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz
在master188机器上,下载后解压到/home/hadoop/目录下:
tar -zxvf zookeeper-3.4.11.tar.gz -C /home/hadoop/
2、拷贝 zoo_sample.cfg
进入zookeeper的conf目录,拷贝zoo_sample.cfg
并重命名为zoo.cfg
:
cd zookeeper-3.4.11/conf/cp zoo_sample.cfg zoo.cfg
3、修改 zoo.cfg
vi zoo.cfg
修改如下,若原文件没有dataDir则直接添加:
dataDir=/home/hadoop/zookeeper-3.4.11/data/zkData//在最后添加,指定zookeeper集群主机及端口,机器数必须为奇数server.1=master188:2888:3888server.2=master189:2888:3888server.3=slave190:2888:3888
4、创建并编辑myid
//在zookeeper根目录下创建zoo.cfg中配置的目录mkdir data/zkData/ -p//创建并编辑文件vi myid//输入1,即表示当前机器为在zoo.cfg中指定的server.11//保存退出:wq
5、拷贝zookeeper到其他机器
上述操作是在master188机器上进行的,要将zookeeper拷贝到其他zookeeper集群机器上:
cd /home/hadoopscp -r zookeeper-3.4.11/ hadoop@master189:/home/hadoop/scp -r zookeeper-3.4.11/ hadoop@slave190:/home/hadoop/
集群中各组件的安装目录最好保持一致。
6、修改其他机器的myid
文件
myid
文件是作为当前机器在zookeeper集群的标识,这些标识在zoo.cfg
文件中已经配置好了,但是之前在master188这台机器上配置的myid
为1,所以还需要修改其他机器的myid
文件:
//在master189机器上echo 2 > /home/hadoop/zookeeper-3.4.11/data/zkData/myid//在slave190机器上echo 3 > /home/hadoop/zookeeper-3.4.11/data/zkData/myid
7、启动zookeeper集群
cd zookeeper-3.4.11/bin///分别在master188、master189、slave190上启动./zkServer.sh start//查看状态./zkServer.sh status
三台机器的zookeeper状态必须只有一个leader
,其他都是follower
。
//查看进程,若有QuorumpeerMain,则启动成功jps
四、安装配置Hadoop
1、下载及安装
下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
在master88机器上,解压到/home/hadoop/目录下:
tar -zxcf hadoop-2.6.5.tar.gz -C /home/hadoop/
2、配置
进入配置文件目录,修改配置文件
cd hadoop-2.6.5/etc/hadoop/
1)vi hadoop-env.sh
配置JDK安装路径:
JAVA_HOME=/opt/jdk
2)vi core-site.xml
<configuration> <!-- hdfs地址,ha模式中是连接到nameservice --> <property> <name>fs.defaultFS</name> <value>hdfs://ns1</value> </property> <!-- 这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录,也可以单独指定 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.6.5/tmp</value> </property> <!-- 指定ZooKeeper集群的地址和端口。注意,数量一定是奇数,且不少于三个节点--> <property> <name>ha.zookeeper.quorum</name> <value>master188:2181,master189:2181,slave190:2181</value> </property></configuration>
3)vi hdfs-site.xml
<configuration> <!-- 指定副本数,不能超过机器节点数 --> <property> <name>dfs.replication</name> <value>3</value> </property> <!-- 为namenode集群定义一个services name --> <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <!-- nameservice 包含哪些namenode,为各个namenode起名 --> <property> <name>dfs.ha.namenodes.ns1</name> <value>master188,master189</value> </property> <!-- 名为master188的namenode的rpc地址和端口号,rpc用来和datanode通讯 --> <property> <name>dfs.namenode.rpc-address.ns1.master188</name> <value>master188:9000</value> </property> <!-- 名为master189的namenode的rpc地址和端口号,rpc用来和datanode通讯 --> <property> <name>dfs.namenode.rpc-address.ns1.master189</name> <value>master189:9000</value> </property> <!--名为master188的namenode的http地址和端口号,用来和web客户端通讯 --> <property> <name>dfs.namenode.http-address.ns1.master188</name> <value>master188:50070</value> </property> <!-- 名为master189的namenode的http地址和端口号,用来和web客户端通讯 --> <property> <name>dfs.namenode.http-address.ns1.master189</name> <value>master189:50070</value> </property> <!-- namenode间用于共享编辑日志的journal节点列表 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://master188:8485;master189:8485;slave190:8485/ns1</value> </property> <!-- 指定该集群出现故障时,是否自动切换到另一台namenode --> <property> <name>dfs.ha.automatic-failover.enabled.ns1</name> <value>true</value> </property> <!-- journalnode 上用于存放edits日志的目录 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/hadoop/hadoop-2.6.5/tmp/data/dfs/journalnode</value> </property> <!-- 客户端连接可用状态的NameNode所用的代理类 --> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 一旦需要NameNode切换,使用ssh方式进行操作 --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <!-- 如果使用ssh进行故障切换,使用ssh通信时用的密钥存储的位置 --> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property> <!-- connect-timeout超时时间 --> <property> <name>dfs.ha.fencing.ssh.connect-timeout</name> <value>30000</value> </property></configuration>
4)vi mapred-site.xml
<!-- 采用yarn作为mapreduce的资源调度框架 --><configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
5)vi yarn-site.xml
<configuration> <!-- 启用HA高可用性 --> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <!-- 指定resourcemanager的名字 --> <property> <name>yarn.resourcemanager.cluster-id</name> <value>yrc</value> </property> <!-- 使用了2个resourcemanager,分别指定Resourcemanager的地址 --> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <!-- 指定rm1的地址 --> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>master188</value> </property> <!-- 指定rm2的地址 --> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>master189</value> </property> <!-- 指定当前机器master188作为rm1 --> <property> <name>yarn.resourcemanager.ha.id</name> <value>rm1</value> </property> <!-- 指定zookeeper集群机器 --> <property> <name>yarn.resourcemanager.zk-address</name> <value>master188:2181,master189:2181,slave190:2181</value> </property> <!-- NodeManager上运行的附属服务,默认是mapreduce_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
6)vi slaves
master188master189slave190
3、拷贝hadoop到其他机器
1)拷贝
scp -r hadoop-2.6.5 hadoop@master189:/home/hadoop/scp -r hadoop-2.6.5 hadoop@slave190:/home/hadoop/
2)修改yarn-site.xml
在master189机器,即ResourceManager备用主节点上修改如下属性,表示当前机器作为rm2::
<property> <name>yarn.resourcemanager.ha.id</name> <value>rm2</value> </property>
同时删除slave190机器上的该属性对,因为slave190机器并不作为ResourceManager。
3、启动Hadoop
1)启动Journalnode
cd hadoop-2.6.5/sbin/./hadoop-daemon.sh start //查看进程JouralNode是否启动jps
2)格式化 NameNode和ZKFC
在master188机器上,执行格式化操作:
cd hadoop-2.6.5/bin./hdfs namenode -format./hdfs zkfc -formatZK
3)备用主节点同步主节点元数据
在master189(备用主节点)机器上,执行同步操作:
cd hadoop-2.6.5/bin./hdfs namenode -bootstrapStanby
4)安装fuster
若服务器是最小化安装centeros时,有可能系统没有fuster程序,那么跳过这个安装步骤直接进行后面的操作时,将有可能出现以下问题:
master188作为主节点时,kill掉master188上的NameNode和ResourceManager进程时,可以实现故障转移,master189将从stanby状态自动变成active状态;但是当master189作为主节点时,若kill掉master189上的进程,master188上的进程状态却还是stanby,并不能实现故障自动转移。原因是我们在 hdfs-site.xml中配置了当集群需要故障自动转移时采用SSH方式进行,而因为缺少fuster程序,将在zkfc的日志文件中发现如下错误:
PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 9000 via ssh: bash: fuser: 未找到命令Unable to fence service by any configured methodjava.lang.RuntimeException: Unable to fence NameNode at master189/192.168.29.189:9000
提示未找到fuster程序,导致无法进行fence,所以可以通过如下命令来安装,Psmisc软件包中包含了fuster程序:
//分别在master188、master189、slave190上执行sudo yum install psmisc
5)启动HDFS、YARN、ZookeeperFailoverController
在master188机器上:
cd hadoop-2.6.5/sbin./start-dfs.sh//验证,显示NameNode和DataNodejps./start-yarn.sh//验证,显示ResourceManager和NodeManagerjps./hadoop-daemon.sh start zkfc//验证,显示ZookeeperFailoverControllerjps
在master189机器上,启动ResourceManager,备用主节点的ResourceManager需要手动启动:
cd hadoop-2.6.5/sbinyarn-daemon.sh start resourcemanager
6)查看Namenode、ResourceManager状态
在master188机器上执行:
hdfs haadmin -getServiceState master188yarn rmadmin -getServiceState rm1 hdfs haadmin -getServiceState master189yarn rmadmin -getServiceState rm2
也可以通过Web界面来查看,浏览器中输入 ip:50070 查看HDFS,输入 ip:8088/cluster/cluster 查看YARN。
7)测试高可用
a.主节点—>备用主节点
kill掉主节点的namenode,查看备用主节点的namenode状态是否切换为active;
kill掉主节点的ResourceManager,查看备用主节点的ResourceManager是否切换为active;
b.备用主节点—>主节点
若上述操作执行成功,那么再测试反向故障自动转移
先启动被杀死的原主节点的namenode和ResourceManager
hadoop-daemon.sh start namenode yarn-daemon.sh start resourcemanager
再kill备用主节点的namenode和ResourceManager,查看主节点的状态,若能切换为active,那么Hadoop HA高可用集群搭建完成。
五、安装配置HBase
1、下载及安装
下载地址:http://mirrors.hust.edu.cn/apache/hbase/1.3.1/hbase-1.3.1-bin.tar.gz
在master188机器上,解压到/home/hadoop/目录下:
tar -zxvf hbase-1.3.1-bin.tar.gz
2、配置
进入hbase-1.3.1/conf/目录,修改配置文件:
cd hbase-1.3.1/conf/
1)vi hbase-env.sh
//配置JDKexport JAVA_HOME=/opt/jdk//保存pid文件export HBASE_PID_DIR=/home/hadoop/data/hbase/pids//修改HBASE_MANAGES_ZK,禁用HBase自带的Zookeeper,因为我们是使用独立的Zookeeperexport HBASE_MANAGES_ZK=false
2)vi hbase-site.xml
<configuration> <!-- 设置HRegionServers共享目录,请加上端口号 --> <property> <name>hbase.rootdir</name> <value>hdfs://master188:9000/hbase</value> </property> <!-- 指定HMaster主机 --> <property> <name>hbase.master</name> <value>hdfs://master188:60000</value> </property> <!-- 启用分布式模式 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-- 指定Zookeeper集群位置 --> <property> <name>hbase.zookeeper.quorum</name> <value>master188:2181,master189:2181,slave190:2181</value> </property> <!-- 指定独立Zookeeper安装路径 --> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop/zookeeper-3.4.11</value> </property> <!-- 指定ZooKeeper集群端口 --> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property></configuration>
3)vi regionservers
修改regionservers文件,因为当前是使用独立的Zookeeper集群,所以要指定RegionServers所在机器:
master188master189slave190
4)创建pid文件保存目录
在/home/hadoop/目录下:
mkdir data/hbase/pids -p
3、拷贝HBase到其他机器
cd /home/hadoop/scp -r hbase-1.3.1 hadoop@master189:/home/hadoop/scp -r hbase-1.3.1 hadoop@slave190:/home/hadoop/
4、启动HBase
在主节点上启动HBase(这里的主节点是指NameNode状态为active的节点,而非指文中对本实验的机器声明):
cd hbase-1.3.1/bin./start-hbase.sh//查看HMaster、Regionserver进程是否启动jps
注意:此时Hadoop集群应处于启动状态,并且是在主节点执行start-hbase.sh启动HBase集群,否则HMaster进程将在启动几秒后消失,而备用的HMaster进程需要在备用主节点单独启动,命令是:
./hbase-daemon.sh start master
。
在备用主节点启动HMaster进程,作为备用HMaster:
cd hbase-1.3.1/bin./hbase-daemon.sh start master
5、HA高可用测试
在浏览器中输入 ip:16010
,查看主节点和备用主节点上的HMaster的状态,在备用主节点的web界面中,可以看到“Current Active Master: master188”,表示当前HBase主节点是master188机器;
主节点—>备用主节点
这里的主节点指使用start-hbase.sh命令启动HBase集群的机器
kill掉主节点的HMaster进程,在浏览器中查看备用主节点的HBase是否切换为active;
若上述操作成功,则在主节点启动被杀死的HMaster进程:
cd hbase-1.3.1/bin/./hbase-daemon.sh start master
然后,kill掉备用主节点的HMaster进程,在浏览器中查看主节点的HBase是否切换为active,若操作成功,则HBase高可用集群搭建完成;
6、HBase基本操作
//启动HBase[root@vnet ~] start-hbase.sh//进入HBase Shell[root@vnet ~] hbase shell//查看当前HBase有哪些表hbase(main):> list//创建表t_user,cf1和cf2是列族,列族一般不超过3个hbase(main):> create 't_user','cf1','cf2'//获得表t_user的描述信息hbase(main):> describe 't_user'//禁用表hbase(main):> disable 't_user'//删除表,删除表之前要先把表禁用掉hbase(main):> drop 't_user'//查询表是否存在hbase(main):> exists 't_user'//查看全表数据hbase(main):> scan 't_user'//插入数据,分别是表名、key、列(列族:具体列)、值。HBase是面向列的数据库,列可无限扩充hbase(main):> put 't_user' ,'001','cf1:name','chenxj'hbase(main):> put 't_user' ,'001','cf1:age','18'hbase(main):> put 't_user' ,'001','cf2:sex','man'hbase(main):> put 't_user' ,'002','cf1:name','chenxj'hbase(main):> put 't_user' ,'002','cf1:address','fuzhou'hbase(main):> put 't_user' ,'002','cf2:sex','man'//获取数据,可根据key、key和列族等进行查询hbase(main):> get 't_user','001'hbase(main):> get 't_user','002','cf1'hbase(main):> get 't_user','001','cf1:age'
六、集群启动结果
Hadoop + Zookeeper + HBase 高可用集群启动后,进程状态如下:
七、总结
需要注意的地方:
1)备用节点上的NameNode、ResourceManager、HMaster均需单独启动;
hadoop-daemon.sh start namenodeyarn-daemon.sh start resourcemanagerhbase-daemon.sh start master
2)可以使用-forcemanual参数强制切换主节点与备用主节点,但强制切换后集群的自动故障转移将会失效,需要重新格式化zkfc:
hdfs zdfc -formatZK
;
hdfs haadmin -transitionToActive/transitionToStandby -forcemanual master189yarn rmadmin -transitionToActive/transitionToStandby -forcemanual rm2
3)在备用主节点同步主节点的元数据时,主节点的HDFS必须已经启动;
4)无法查看standby状态的节点上的hdfs;
5)格式化namenode时要先启动各个JournalNode机器上的journalnode进程:
hadoop-daemon.sh start journalnode
;6)若遇到问题,可以先考虑是哪个组件出现问题,然后查看该组件或与该组件相关的组件的日志信息;若各组件web页面无法访问,或存在其他连接问题,可以从「防火墙是否关闭」、「端口是否被占用」、「SSH」、「集群机器是否处于同一网段」内等角度考虑;
- Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
- Hadoop高可用集群搭建(HA)
- Hadoop高可用集群(HA+JournalNode+zookeeper)
- hadoop HA 高可用集群部署搭建
- Hadoop HA高可用集群搭建
- Hadoop HA 高可用集群搭建
- Hadoop集群HA高可用搭建
- Hadoop HA高可用集群搭建总结
- 搭建 hadoop ha 高可用集群
- Hadoop HA高可用集群搭建(2.7.2)
- Hadoop HA高可用集群搭建(2.7.2)
- Hadoop HA高可用集群搭建(2.7.2)
- Hadoop HA高可用集群环境搭建(CenOS7)
- 最新Hadoop-2.7.2+hbase-1.2.0+zookeeper-3.4.8 HA高可用集群配置安装
- hadoop 集群高可用环境搭建(zookeeper)
- Hadoop,HBase高可用集群搭建
- Hadoop,HA高可用集群
- Hadoop 2.6.0+ZooKeeper+Hive HA高可用集群安装
- 金庸群侠传 Windows版:用 Object Pascal 和 SDL 实现的 DOS 游戏《金庸群侠传》的重制版
- 移动端rem 解决方案
- 编程语言习题集(2)
- 图片轮播实现
- 2017/12/15 心情日记
- Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
- HttpSession的用法
- 关于Ajax
- 单独的数字
- 平衡树学习笔记
- Hadoop集群shuffle机制详解
- 二维码研究自我总结
- linux下glibc-2.14安装
- android 保存bitmap到本地