大数据分布式集群搭建(7)

来源:互联网 发布:石家庄手机数据恢复 编辑:程序博客网 时间:2024/06/13 17:43

HBASE
—-先部署一个zookeeper集群
(1)上传hbase安装包
(2)解压
(3)配置hbase集群,要修改3个文件
注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
修改hbase-env.sh

export JAVA_HOME=/apps/jdk1.8.0_60    //告诉hbase使用外部的zk    export HBASE_MANAGES_ZK=false

修改 hbase-site.xml

<configuration>        <property>                <name>hbase.rootdir</name>                <value>hdfs://hdp01:9000/hbase</value>        </property>        <property>                <name>hbase.cluster.distributed</name>                <value>true</value>        </property>        <property>                <name>hbase.zookeeper.quorum</name>                <value>hdp02:2181,hdp03:2181,hdp04:2181</value>        </property>        <property>                <name>hbase.master.info.port</name>                <value>60010</value>        </property></configuration>

修改 regionservers

hdp01hdp02hdp03hdp04

修改 backup-masters来指定备用的主节点

[root@mini1 conf]# vi backup-mastershdp02

拷贝hbase到其他节点

scp -r hbase-1.2.1 root@hdp02:/apps/scp -r hbase-1.2.1 root@hdp03:/apps/scp -r hbase-1.2.1 root@hdp04:/apps/

启动所有的hbase进程
首先启动zk集群
./zkServer.sh start
启动hdfs集群
start-dfs.sh
启动hbase,在主节点上运行:
start-hbase.sh

通过浏览器访问hbase管理页面
hdp01:60010

这里写图片描述
这里写图片描述

为保证集群的可靠性,要启动多个HMaster
hbase-daemon.sh start master

如果无法打开Web页面就把端口设置那块去掉,默认端口是16010
访问hdp01:16010即可

运行出现Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
类似错误可以把conf/hbase-env.sh文件下
解决办法:
由于JDK使用的是jdk1.8.0_65

注释掉以下:

# Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

大数据文档:http://www.superkingdom.cn/bigdata/

阅读全文
0 0
原创粉丝点击