Hadoop2.6+zookeeper3.4.6+hbase1.1.0.1完全分布式配置方案

Hadoop2.6+zookeeper3.4.6+hbase1.1.0.1完全分布式配置方案

——整合资源，共同学习

[参考博客（工学1号管）：http://wuyudong.com/115.html]

Apache ALL开源软件：http://archive.apache.org/dist/

一、hadoop2.6的配置

参见http://blog.csdn.net/mengzhengyu1025/article/details/50418007

二、zookeeper3.4.6配置

（1）下载Zookeeper3.4.6，放到/usr/etc/hadoop下

cd /usr/etc/hadoop ->tar zxvf zook[table]

（2）环境变量

vim ~/.bashrc -> 

export ZOOKEEPER_HOME=/usr/etc/hadoop/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

（3）配置文件

将conf/zoo_sample.cfg改成conf/zoo.cfg并修改成如下：

dataDir=/home/hadoop/opt/zookeeper-3.4.6/var/data
# the port at which the clients will connect
clientPort=2181
server.1=master:2888:3888
server.2=slave1:2888:3888

（4）创建文件夹

hadoop@master:~/zookeeper-3.4.6$ mkdir var
hadoop@master:~/zookeeper-3.4.6$ cd var
hadoop@master:~/zookeeper-3.4.6/var$ mkdir data
hadoop@master:~/zookeeper-3.4.6/var$ mkdir datalog
hadoop@master:~/zookeeper-3.4.6/var$ cd data
hadoop@master:~/zookeeper-3.4.6/var/data$ vim myid

（5）分发配置信息

 scp -r /home/hadoop/opt/zookeeper-3.4.6 hadoop@slave1:/home/hadoop/opt

启动与关闭zookeeper

hadoop@master:~$ cd ~/opt/zookeeper-3.4.6/bin
hadoop@master:~/opt/zookeeper-3.4.6/bin$ ./zkServer.sh start

JMX enabled by default
Using config: /home/hadoop/opt/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

表示启动成功！

三、Hbase配置

（1）解压hbase-1.1.0.1-bin.tar.gz

hadoop@master hadoop$ tar zxvf hbase-1.1.0.1-bin.tar.gz

（2）将hbase添加到环境变量中

ExportHBASE_HOME=/usr/etc/hadoop/hbase-1.1.0.1

export PATH=$HBASE_HOME/bin:$PATH

（3）修改配置文件修改hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_45

修改hbase-site.xml

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://master:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>master,slave1</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/usr/etc/hadoop/zookeeper-3.4.6</value>

</property>

</configuration>

（4）修改regionservers，将文件内容设置为:

master

slave1

（5）运行HBase

启动hbase时要确保hdfs已经启动，HBase的启动顺序为：HDFS->Zookeeper->HBase，运行命令如下:

hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs namenode -format

hadoop@master:~/opt/hadoop-2.6.0$ sbin/start-dfs.sh

hadoop@master:~/opt/hadoop-2.6.0$ sbin/start-all.sh

hadoop@master:~/opt/zookeeper-3.4.6$ bin/zkServer.sh start

hadoop@master:~/opt/hbase-1.1.0.1$bin/ start-hbase.sh

启动成功后集群会多出如下进程：

root@master ~ # jps

 

运行成功后可以看到QuorumPeerMain进程

再看看slave1的进程：

hadoop@slave1:# jps

 

进入HBase Shell

hadoop@master:/hbase-1.1.0.1/bin #hbase shell

hbase(main):001:0> status

2 servers, 0 dead, 1.0000 average load

（6）web测试

输入master：16010