搭建高可用 zookeeper3.4.6 +hadoop2.7.1 +hbase1.2.6 环境

来源：互联网发布：d800微调优化曝光编辑：程序博客网时间：2024/05/29 04:45

一、准备工具

1、六台服务器 zk：master slave1 slave2 ； hadoop 和hbase 共用：hadoop01 hadoop02 hadoop03

直接配好hosts 文件六台服务器配置一样

2、设置 ssh 免密码登陆

分别在每个机器上产生免密码登录需要的公私钥对

[root@hadoop01 ~]ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

[root@hadoop01 ~]cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

将每个机器的公钥文件拷贝一个统一的机器上

(将hadoop01和02的统一拷贝到03上)

[root@hadoop01 ~]# scp /root/.ssh/id_dsa.pub root@hadoop03:/root/.ssh/id_1_dsa.pub

[root@hadoop02 ~]# scp /root/.ssh/id_dsa.pub root@hadoop03:/root/.ssh/id_2_dsa.pub

（在03机器上，将其他机器的公钥添加到信任列表中）

[root@hadoop03 ~]# cat /root/.ssh/id_1_rsa.pub >> /root/.ssh/authorized_keys

[root@hadoop03 ~]# cat /root/.ssh/id_2_rsa.pub >> /root/.ssh/authorized_keys

（03机器上的authorized_keys就保存了所有机器的公钥）

将03机器上的authorized_key2进行同步

[root@hadoop03 ~]# scp /root/.ssh/authorized_keys root@hadoop01:/root/.ssh/

[root@hadoop03 ~]# scp /root/.ssh/authorized_keys root@hadoop02:/root/.ssh/

六台机器都设置好通过ssh hostname （hadoop01/slave1/slave2/hadoop02/haoop03）这样测试不用输入密码即设置成功.

3、第一步配置要配置好JDK1.8

下载安装包

软件容易放在 /home/hadoop/app/ 该目录下方便管理

正常步骤解压然后配置环境变量 vi /etc/profile

unset iunset -f pathmungeexport JAVA_HOME=/home/hadoop/app/jdk1.8export ZK_HOME=/home/hadoop/app/zookeeper-3.4.6export HADOOP_HOME=/home/hadoop/app/hadoop-2.7.1export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport CLASSPATH=.

先把 java_home配置好  六台机器配置一样

测试配置是否成功

如果成功就开始配置zookeeper 了

4、搭建zookeeper 集群环境把下载好的 zookeeper3.4.6 上传到服务器后解压

本人是建立了一个目录因为是root 用户于是在 home下创建了目录

上传到 /home/hadoop/app/ zookeeper-3.4.6.tar.gz 下面 tar -zxvf 解压

cd zookeeper-3.4.6/conf/ 把原有的 zoo_sample.cfg的复制一份将文件名改为zoo.cfg

里面修改为我的三个zookeeper 服务是这三个ip也就是 master 、slave1、slave2

tickTime=2000initLimit=100syncLimit=50dataDir=/home/hadoop/zookeeper/zkdatadataLogDir=/home/hadoop/zookeeper/zkdatalogclientPort=2181server.1=192.168.17.129:2888:3888server.2=192.168.17.131:2888:3888server.3=192.168.17.133:2888:3888

三台装载zookeeper 服务器的都如上操作然后创建 dataDir目录

然后在稀土目录下创建一个 myid 的文件里面内容为根据 zk服务器不同分别是 1 2 3 根据上面的server.1 server.2 server.3

可以直接启动zookeeper了

cd /home/hadoop/app/zookeeper-3.4.6/bin

进入该目录后三台zk服务器都运行下面的命令

./zkServer.sh start 启动zkServer 服务
./zkServer.sh status 查看状态

会有一台 leader 和两台 follower
5、开始搭建hadoop

解压文件配置文件

cd /home/hadoop/app/hadoop-2.7.1/etc/hadoop/

I. core-site.xml

<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>    <property>    <name>fs.defaultFS.name</name>    <value>hdfs://hadoop01:9000</value>  </property>  <!-- 指定hdfs的nameservices名称为mycluster，与hdfs-site.xml的HA配置相同 -->        <property>                <name>fs.defaultFS</name>                <value>hdfs://mycluster</value>         </property>   <property>    <name>hadoop.tmp.dir</name>    <value>/home/hadoop/app/cdh/hadoop-2.7.1/data/tmp</value>  </property>    <property>    <name>fs.trash.interval</name>    <value>10</value>  </property>    <property>      <name>io.file.buffer.size</name>      <value>4096</value> </property>    <property>    <name>ha.zookeeper.quorum</name>    <value>master:2181,slave1:2181,slave2:2181</value>  </property></configuration>

II.hdfs-size.xml

<configuration>      <property>    <name>dfs.replication</name>    <value>3</value>  </property>      <property>    <name>dfs.nameservices</name>    <value>mycluster</value>  </property>    <property>    <name>dfs.ha.namenodes.mycluster</name>    <value>nn1,nn2</value>  </property>  <property>    <name>dfs.namenode.rpc-address.mycluster.nn1</name>    <value>hadoop01:8020</value>  </property>     <property>    <name>dfs.namenode.rpc-address.mycluster.nn2</name>    <value>hadoop02:8020</value>  </property>  <property>    <name>dfs.namenode.http-address.mycluster.nn1</name>    <value>hadoop01:50070</value>  </property>  <property>    <name>dfs.namenode.http-address.mycluster.nn2</name>    <value>hadoop02:50070</value>  </property>   <property>    <name>dfs.namenode.shared.edits.dir</name>    <value>qjournal://hadoop01:8485;hadoop02:8485/mycluster</value>  </property>    <property>    <name>dfs.journalnode.edits.dir</name>    <value>/home/hadoop/app/cdh/hadoop-2.7.1/data/journal</value>  </property>  <property>    <name>dfs.client.failover.proxy.provider.mycluster</name>    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  </property>  <property>    <name>dfs.ha.fencing.methods</name>    <value>sshfence</value>  </property>  <property>    <name>dfs.namenode.name.dir</name>    <value>/home/hadoop/app/cdh/hadoop-2.7.1/data/namenode</value>  </property>  <property>    <name>dfs.datanode.data.dir</name>    <value>/home/hadoop/app/cdh/hadoop-2.7.1/data/datanode</value>  </property>     <property>    <name>dfs.permissions.enabled</name>    <value>false</value>  </property>    <property>    <name>dfs.webhdfs.enabled</name>    <value>true</value>  </property>    <property>    <name>dfs.ha.fencing.ssh.private-key-files</name>    <value>/root/.ssh/id_rsa</value>  </property>    <property>    <name>dfs.ha.automatic-failover.enabled</name>    <value>true</value>  </property></configuration>

III.hadoop-env.sh

导入 jdk 环境变量

export JAVA_HOME=/home/hadoop/app/jdk1.8

在这里顺便把hadoop的环境变量给加到 /etc/profile 中上边环境变量的图中有

IV, mapred-site.xml

<configuration>   <property>    <name>mapreduce.framework.name</name>    <value>yarn</value>  </property></configuration>

V. yarn-site.xml

<configuration><!-- Site specific YARN configuration properties -->   <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value>  </property>    <property>    <name>yarn.nodemanager.remote-app-log-dir</name>    <value>/logs</value>  </property>  <property>    <name>yarn.nodemanager.resource.memory-mb</name>    <value>2048</value>  </property>  <property>    <name>yarn.nodemanager.resource.cpu-vcores</name>    <value>2</value>  </property>  <property>    <name>yarn.resourcemanager.ha.enabled</name>    <value>true</value>  </property>  <property>    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>    <value>true</value>  </property>  <property>    <name>yarn.resourcemanager.cluster-id</name>    <value>yarncluster</value>  </property>  <property>    <name>yarn.resourcemanager.ha.rm-ids</name>    <value>rm1,rm2</value>  </property>  <property>    <name>yarn.resourcemanager.hostname.rm1</name>    <value>hadoop01</value>  </property>  <property>    <name>yarn.resourcemanager.hostname.rm2</name>    <value>hadoop02</value>  </property>  <property>    <name>yarn.resourcemanager.webapp.address.rm1</name>    <value>hadoop01:8088</value>  </property>  <property>    <name>yarn.resourcemanager.webapp.address.rm2</name>    <value>hadoop02:8088</value>  </property>   <property>    <name>yarn.resourcemanager.store.class</name>    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>  </property> <property>    <name>yarn.resourcemanager.zk-address</name>    <value>master:2181,slave1:2181,slave2:2181</value>   </property></configuration>

VI. slaves文件

在里面写好 hadoop01 hadoop02 hadoop03 每个写一行

就是安装hadoop的三台服务的hostname 映射ip

现在就可以启动hadoop了

第一次启动的时候要进行初始化操作

步骤
我这里是以hadoop01 为主其他两个为slave 在配置文件中能看出来
1. 启动journalnode 三台服务器都运行该命令

cd /home/hadoop/app/hadoop-2.7.1/sbin/hadoop-daemon.sh start journalnode
   #运行jps命令检验，上多了JournalNode进程
2.格式化HDFS
   #在hadoop01上执行命令:
   hdfs namenode -format
好多都在这个地方出现问题自己根据配置改改去网上扒扒答案

3.如果zookeeper设置了高可用HA，否则跳过该步，格式化ZK(在hadoop01上执行即可)
   hdfs zkfc -formatZK
4.启动HDFS(在hadoop01上执行)
   sbin/start-dfs.sh

5.启动YARN(#####注意#####：是在hadoop03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
sbin/start-yarn.sh

6、可以搭建hbase 了

修改配置文件

I. hbase-site.xml

<configuration>   <property>        <name>hbase.rootdir</name>        <value>hdfs://hadoop01/hbase</value>    </property>    <property>        <name>hbase.cluster.distributed</name>        <value>true</value>  </property>   <property>        <name>hbase.zookeeper.property.dataDir</name>        <value>/home/hadoop/zookeeper/zkdata</value>  </property>  <property>        <name>hbase.master.info.port</name>        <value>60010</value>  </property>  <property>        <name>hbase.master</name>        <value>mycluster:60000</value>  </property>   <property>        <name>hbase.zookeeper.quorum</name>        <value>master,slave1,slave2</value>  </property>  <property>        <name>hbase.zookeeper.property.clientPort</name>        <value>2181</value>  </property>  <property>        <name>hbase.zookeeper.peerport</name>        <value>2888</value>  </property>  <property>        <name>hbase.zookeeper.leaderport</name>        <value>3888</value>  </property><property>        <name>zookeeper.session.timeout</name>        <value>60000000</value>    </property>    <property>        <name>dfs.support.append</name>        <value>true</value>    </property></configuration>

II. hbase-env.sh

添加
export JAVA_HOME=/home/hadoop/app/jdk1.8/

如果用 hbase 自带的zookeeper 则不用修改下面命令

export HBASE_MANAGES_ZK=false // 用自己配置的zookeeper

III.regionservers 文件添加 regionservers 服务的hostname

然后运行

cd /home/hadoop/app/hbase-1.2.6/bin/

./start-hbase.sh start

jps 三台服务器查看结果

阅读全文

0 0