CentOs7 Hadoop-2.6.0 部署Hbase-1.0.0
来源:互联网 发布:tensorflow如何入门 编辑:程序博客网 时间:2024/06/06 16:38
手头有了设备,正好项目也有用Hbase的打算,于是自己先预研一下。
首先按照官网的教程,上了个单机版的Hbase。过程很简单,java和hadoop早就装好了,怎么装就不说了,步骤是:
1、下载了个最新版的Hbase,写这篇文章的时候是hbase-1.0.0
2、解压后修改conf/hbase-env.sh,找到了JAVA_HOME设置路径的一行,去掉注释后按照自己机器上的java路径进行了设置,我这里是/usr/java/latest,latest是到目标版本的java的一个软链接:
export JAVA_HOME=/usr/java/latest
3、修改conf/hbase-site.xml,configuration里面增加了如下内容:
<configuration> <property> <name>hbase.rootdir</name> <value>file:///test</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>zoo</value> </property></configuration>
这两个路径的从名字就可以判断出,分别是hbase和zookeeper的数据存储路径。单机版hbase的存储路径也可以改为hdfs,但是zookeeper的数据路径无论集群还是单机都只能用本机路径
4、启动hbase并使用shell进行连接
bin/start-hbase.sh
用jps命令可以看到hadoop0上有Hmaster进程,其他节点有RegionServer进程。
使用
bin/hbase shell
连上去以后执行status,可以查看节点状态,只有一个server就对了,然后可以按照文档中的例子建表删表看看。
单机版的装好后,我跳过了伪分布,直接进行了分布式的安装,其实就只是增加一些参数配置就好了。
1、修改conf/hbase-site.xml,configuration里面设置为如下内容:
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://hadoop0:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>zoo</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop0,hadoop1,hadoop2</value> </property></configuration>
其中rootdir设置为了hadoop集群的入口hadoop0:9000
hbase.zookeeper.quorum是用来决定zookeeper什么时候down掉的,当里面设置的设备中其中有一半down掉的时候,zookeeper就会down掉
2、修改conf/regionservers,加入
hadoop1hadoop2hadoop3
目前的想法是hadoop0用来做namenode和Hmaster,其他节点做datanode和HregionServer,因此按照如上进行了配置
3、将hbase复制到每个hadoop节点上,启动
这时候发现hbase shell虽然能连上,但是不能做任何操作,连status都会一直提示master is initializing。啥原因呢?查看错误日志,发现是节点之间的时间不同步导致的。于是安装了ntp,对集群做了下时间同步,再次启动,ok
用ntp做时间同步这里懒得写了-。-,参见下一篇博文吧
这种配置方法是没有独立安装zookeeper,使用了Hbase内置的zookeeper来组建集群。之后实际部署的时候,还是独立安装zookeeper来搞好了
- CentOs7 Hadoop-2.6.0 部署Hbase-1.0.0
- CentOS7 部署zookeeper-3.4.6 + Hbase-1.0.0
- Centos7,Hadoop-2.5.1下HBase-1.1.2安装部署
- Hadoop-HBase 单机部署
- Hadoop&HBase部署文档
- Hadoop-HBase 单机部署
- Hadoop Hbase 分布式部署
- VMWare+CentOs7+hadoop+hbase 安装
- CentOS7.0部署Docker
- hadoop-2.6.0部署配置
- centos7.1安装部署Hadoop
- HBase 0.90.5 + Hadoop 1.0.0 集成
- hbase、zookeeper及hadoop部署
- hbase、zookeeper及hadoop部署
- Hadoop+Hbase+Zookeeper集群部署
- Hadoop+Hbase+Spark整合部署
- 【Hadoop】HBase部署入门指南
- Hadoop 2.7.0在centos7分布式集群上的部署与测试
- Java IO流
- Java Study note
- 第六周(友元类)
- 最长单调递增子序列。
- SqlServer索引的原理与应用
- CentOs7 Hadoop-2.6.0 部署Hbase-1.0.0
- Java Study之开端
- MVC,MVP 和 MVVM 的图示。非常粗略的理解。
- network device RXQ,TXQ, and related tuning
- RevitAPI: 编译错误 - 未能找到类型或命名空间名称“Autodesk”(是否缺少 using 指令或程序集引用?)
- 并查集_感染者
- C++18题
- Exchange2010日志过大解决方案
- SqlServer 可更新订阅中在订阅库并发获取最大单据号死锁测试及解决法案!