大数据分布式集群搭建(7)
来源:互联网 发布:石家庄手机数据恢复 编辑:程序博客网 时间:2024/06/13 17:43
HBASE
—-先部署一个zookeeper集群
(1)上传hbase安装包
(2)解压
(3)配置hbase集群,要修改3个文件
注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
修改hbase-env.sh
export JAVA_HOME=/apps/jdk1.8.0_60 //告诉hbase使用外部的zk export HBASE_MANAGES_ZK=false
修改 hbase-site.xml
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://hdp01:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>hdp02:2181,hdp03:2181,hdp04:2181</value> </property> <property> <name>hbase.master.info.port</name> <value>60010</value> </property></configuration>
修改 regionservers
hdp01hdp02hdp03hdp04
修改 backup-masters来指定备用的主节点
[root@mini1 conf]# vi backup-mastershdp02
拷贝hbase到其他节点
scp -r hbase-1.2.1 root@hdp02:/apps/scp -r hbase-1.2.1 root@hdp03:/apps/scp -r hbase-1.2.1 root@hdp04:/apps/
启动所有的hbase进程
首先启动zk集群
./zkServer.sh start
启动hdfs集群
start-dfs.sh
启动hbase,在主节点上运行:
start-hbase.sh
通过浏览器访问hbase管理页面
hdp01:60010
为保证集群的可靠性,要启动多个HMaster
hbase-daemon.sh start master
如果无法打开Web页面就把端口设置那块去掉,默认端口是16010
访问hdp01:16010即可
运行出现Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
类似错误可以把conf/hbase-env.sh文件下
解决办法:
由于JDK使用的是jdk1.8.0_65
注释掉以下:
# Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
大数据文档:http://www.superkingdom.cn/bigdata/
阅读全文
0 0
- 大数据分布式集群搭建(7)
- 大数据分布式集群搭建(1)
- 大数据分布式集群搭建(2)
- 大数据分布式集群搭建(插曲)
- 大数据分布式集群搭建(3)
- 大数据分布式集群搭建(4)
- 大数据分布式集群搭建(5)
- 大数据分布式集群搭建(6)
- 大数据分布式集群搭建(8)
- 大数据分布式集群搭建(9)
- 【大数据】开发环境搭建(二):hadoop伪分布式集群环境搭建(上)
- 【大数据】开发环境搭建(三):hadoop伪分布式集群环境搭建(下)
- 大数据教程(三) Hadoop集群分布式坏境搭建
- 大数据教程(三)—— Hadoop集群分布式坏境搭建
- 大数据教程(三)—— Hadoop集群分布式坏境搭建
- DayDayUP_大数据学习课程[1]_hadoop2.6.0完全分布式集群环境和伪分布式集群搭建
- 大数据_Kafka_搭建Kafka伪集群(本地集群)
- 大数据集群环境搭建
- js怎么让浏览器自动全屏显示
- viewpager布局复用中FragmentPagerAdapter的坑,源码分析,控件id的一些思考
- AtomicInteger源码分析
- promise的用法
- 使用Git上传项目代码到github
- 大数据分布式集群搭建(7)
- 浅谈标准I/O缓冲区
- css居中补充
- builder设计模式学习笔记
- ios 简单的本地json格式文件解析
- sqlserver表结构(含约束)复制存储过程
- 算法导论5.3-7集合的随机样本
- Dnf史诗装备的爆率的程序模拟
- 安装psql遇到的连接问题 Could not symlink include/ecpg_config.h