YARN(Hadoop)学习笔记(5)

来源:互联网 发布:棘轮软件 编辑:程序博客网 时间:2024/05/29 10:38

单结点Hbase搭建

1.下载Apache Hbase的Hbase-0.9*.tar.gz文件

需要注意的是Hbase的版本需要考虑和Hadoop(YARN)版本,如果版本不兼容可能会运行出错。

我的10集群上的运行的是hadoo一代的hadoop-0.20。第一次安装的Hbase是0.98的,结果在运行start-hbase.sh后没有运行出错的log提示,但是通过jps命令无法查看到相关的Hbase进程,并且通过http://10.10.108.10:60010也不能登录网页。之后部署0.92的就没有这个问题。


2.Hbase集群需要有结点server之间有很强的时间同步,需要通过Zookeeper进行协调,所有在部署HBase之前需要事先部署Zookeeper。

不过由于目前部署的是单结点集群,可以不部署Zookeeper。


3.设置全局的变量,环境变量

在/etc/profile/中,export如下变量。我的服务器的部署是这样的:

exportHBASE_HOME=/usr/intern/hbase-0.92

exportPATH=$HBASE_HOME:$PATH:$HBASE_HOME/bin


4.解压Hbase-0.92.tar.gz之后,目录下有bin,conf,hbase_webapps,lib等目录。

conf下存放了配置hbase的相关文件,比如hbase-site.xml,hbase-env.sh

bin下存放的是相关的shell脚本文件,比如启动hbase集群的start-hbase.sh和关闭hbase集群的stop-hbase.sh

lib是存放hbase的库文件。


5.指定hbase的数据存放目录。默认的情况下是在/tmp目录下存放这些数据,不过据有关资料说明,这个目录不能长期保持数据,但我自己没有测试和遇见过,那还是做些修改吧。

指定hbase数据存放的目录是通过变量hbase.rootdir定义的,配置文件在HBASE_HOME/conf下的hbase-site.xml。下面是我的定义

<configuration>

<property>

<name>hbase.rootdir</name>

<value>/usr/intern/tmp/hbase</value>

</property>

</configuration>


6.如果是hbase的集群配置还需要在hbase-site.xml中添加其他的变量,不过由于部署的是单结点,目前就不添加了。等将来部署Hbase集群时再进行补充。

7.配置hbase环境文件hbase-env.sh。添加JAVA_HOME,HADOOP_HOME和HBASE_HOME

下面是我的配置

export  JAVA_HOME=$JAVA_HOME

export  HADOOP_HOME=$HADOOP_HOME

export  HBASE_HOME=$HBASE_HOME


8.配置完成后就可以启动了。在启动之前需要先启动Hadoop集群。

启动Hbase的方式是执行HBASE_HOME/bin下的start-hbase.sh


9.启动后可以通过JPS查看

如果是正常启动会有HMaster进程。通过访问http://10.10.108.10:60010也可以查看的到。


0 0
原创粉丝点击