分布式安装HBase 1.0(Hadoop 2.7)

来源:互联网 发布:javascript读取html 编辑:程序博客网 时间:2024/05/19 17:50

参考 http://www.cnblogs.com/ventlam/archive/2011/01/22/HBaseCluster.html

HBase官方文档 http://abloz.com/hbase/book.html

前提:安装好Hadoop,并且每个节点的Hadoop进程都正常启动

centos6-1:NameNode、Secondary NameNode、DataNode、Resource Manager,fs.defaultFS的地址是hdfs://centos6-1:8020

centos6-2、centos6-3、centos6-4:DataNode、NodeManager

Hadoop版本支持:


安装和部署HBase:

下载最新稳定版本HBase 1.0.1.1,解压到合适目录

添加环境变量export HBASE_HOME

略过修改hbase/conf/hbase-env.sh中的export环境变量

主要修改hbase/conf/hbase-site.xml,根据你的hdfs来设置rootdir,添加hbase.cluster.distributed为true,zookeeper维护的slaves为centos6-2等3个(这里据说只能是奇数个):

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://centos6-1:8020/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <property>
                <name>hbase.master.port</name>
                <value>60000</value>
        </property>
        <property>
                <name>hbase.master.info.port</name>
                <value>60010</value>
        </property>
        <property>
                <name>hbase.regionserver.port</name>
                <value>60020</value>
        </property>
        <property>
                <name>hbase.regionserver.info.port</name>
                <value>60030</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>centos6-2,centos6-3,centos6-4</value>
        </property>
</configuration>

修改hbase/conf/regionservers,添加三个regionserver:

centos6-2
centos6-3
centos6-4

启动hbase:

start-hbase.sh


查看Master节点进程:


查看Slave节点进程:


通过web界面访问,http://centos6-1:60010是master节点的管理界面,60030是regionserver管理界面:



修改最大的打开文件数:

echo "fs.file-max = 65535" >> /etc/sysctl.conf
echo "* - nofile 65535" >> /etc/security/limits.conf
sysctl -p 
然后logout,重新登录系统
ulimit -n变为65535


0 0