CentOs7 Hadoop-2.6.0 部署Hbase-1.0.0

来源:互联网 发布:tensorflow如何入门 编辑:程序博客网 时间:2024/06/06 16:38

手头有了设备,正好项目也有用Hbase的打算,于是自己先预研一下。

首先按照官网的教程,上了个单机版的Hbase。过程很简单,java和hadoop早就装好了,怎么装就不说了,步骤是:

1、下载了个最新版的Hbase,写这篇文章的时候是hbase-1.0.0

2、解压后修改conf/hbase-env.sh,找到了JAVA_HOME设置路径的一行,去掉注释后按照自己机器上的java路径进行了设置,我这里是/usr/java/latest,latest是到目标版本的java的一个软链接:

export JAVA_HOME=/usr/java/latest

3、修改conf/hbase-site.xml,configuration里面增加了如下内容:

<configuration>        <property>                <name>hbase.rootdir</name>                <value>file:///test</value>        </property>        <property>                <name>hbase.zookeeper.property.dataDir</name>                <value>zoo</value>        </property></configuration>

这两个路径的从名字就可以判断出,分别是hbase和zookeeper的数据存储路径。单机版hbase的存储路径也可以改为hdfs,但是zookeeper的数据路径无论集群还是单机都只能用本机路径

4、启动hbase并使用shell进行连接

bin/start-hbase.sh

用jps命令可以看到hadoop0上有Hmaster进程,其他节点有RegionServer进程。
使用

bin/hbase shell

连上去以后执行status,可以查看节点状态,只有一个server就对了,然后可以按照文档中的例子建表删表看看。

单机版的装好后,我跳过了伪分布,直接进行了分布式的安装,其实就只是增加一些参数配置就好了。
1、修改conf/hbase-site.xml,configuration里面设置为如下内容:

<configuration>    <property>        <name>hbase.rootdir</name>        <value>hdfs://hadoop0:9000/hbase</value>    </property>    <property>        <name>hbase.cluster.distributed</name>        <value>true</value>    </property>    <property>        <name>hbase.zookeeper.property.dataDir</name>        <value>zoo</value>    </property>    <property>        <name>hbase.zookeeper.quorum</name>        <value>hadoop0,hadoop1,hadoop2</value>    </property></configuration>

其中rootdir设置为了hadoop集群的入口hadoop0:9000
hbase.zookeeper.quorum是用来决定zookeeper什么时候down掉的,当里面设置的设备中其中有一半down掉的时候,zookeeper就会down掉
2、修改conf/regionservers,加入

hadoop1hadoop2hadoop3

目前的想法是hadoop0用来做namenode和Hmaster,其他节点做datanode和HregionServer,因此按照如上进行了配置
3、将hbase复制到每个hadoop节点上,启动
这时候发现hbase shell虽然能连上,但是不能做任何操作,连status都会一直提示master is initializing。啥原因呢?查看错误日志,发现是节点之间的时间不同步导致的。于是安装了ntp,对集群做了下时间同步,再次启动,ok
用ntp做时间同步这里懒得写了-。-,参见下一篇博文吧

这种配置方法是没有独立安装zookeeper,使用了Hbase内置的zookeeper来组建集群。之后实际部署的时候,还是独立安装zookeeper来搞好了

0 0
原创粉丝点击