hbase集群安装
来源：互联网 发布：淘宝网禁止出售动植物 编辑：程序博客网 时间：2024/06/14 03:48
1.基本信息
/opt/hbase -> /opt/hbase-1.2.4
2.安装过程
1).使用hadoop账号解压到/opt/hadoop目录下并设置软连接：
[root@bgs-5p173-wangwenting opt]# su hadoop[hadoop@bgs-5p173-wangwenting opt]$ cd /opt/software[hadoop@bgs-5p173-wangwenting software]$ tar -zxvf hbase-${version}-bin.tar.gz -C /opt[hadoop@bgs-5p173-wangwenting software]$ cd /opt[hadoop@bgs-5p173-wangwenting opt]$ ln -s hbase-${version}/ hbase2).进入/opt/hbase/conf目录,修改hbase-env.sh文件内容:
[hadoop@bgs-5p173-wangwenting opt]$ cd /opt/hbase/conf[hadoop@bgs-5p173-wangwenting opt]$ vim hbase-env.sh
export JAVA_HOME=/opt/javaexport HBASE_PID_DIR=/opt/hbase/pidsexport HADOOP_HOME=/opt/hadoopexport HBASE_HOME=/opt/hbaseexport HBASE_MANAGES_ZK=false #不适用hbase自带的zookeeper，所以这里设置false。
一个分布式运行的HBase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下HBase会管理一个zookeep集群。这个集群会随着HBase的启动而启动。当然，你也可以自己管理一个zookeeper集群，但需要配置HBase。你需要修改
conf/hbase-env.sh里面的HBASE_MANAGES_ZK 来切换。这个值默认是true的，作用是让HBase启动的时候同时也启动zookeeper。让HBase使用一个已有的不被HBase托管的Zookeep集群，需要设置
conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 属性为 false，如果我们已经部署过zookeeper集群，那么我们可以不使用hbase自带的zk集群。3).修改hbase-site.xml文件内容:
[hadoop@bgs-5p173-wangwenting opt]$ vim hbase-site.xml添加下面内容<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://bgs-5p173-wangwenting:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>bgs-5p173-wangwenting,bgs-5p174-wangwenting,bgs-5p175-wangwenting</value> </property></configuration>[hadoop@namenode2 conf]$ vim hbase-site.xml<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://abfdhadoop/hbase</value> <description>这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，需要设置为hdfs://example1:8020/hbase。默认情况下HBase是写到/tmp的。不改这个配置，数据会在重启的时候丢失。</description> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> <description>HBase的运行模式。false是单机模式，true是分布式模式。若为false,HBase和Zookeeper会运行在同一个JVM里面。</description> </property> <property> <name>hbase.fs.tmp.dir</name> <value>/user/${user.name}/hbase-staging</value> </property> <property> <name>hbase.tmp.dir</name> <value>/opt/hbase/tmp-dir</value> <description>本地文件系统的临时文件夹。可以修改到一个更为持久的目录上。(/tmp会在重启时清除)</description> </property> <property> <name>hbase.local.dir</name> <value>${hbase.tmp.dir}/local/</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>kafzook2.abfd,kafzook3.abfd,kafzook4.abfd,kafzook5.abfd,kafzook6.abfd</value> <description> Zookeeper集群的地址列表，用逗号分割。例如："host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK，这些ZooKeeper节点就会和HBase一起启动。一般情况下我们会将HBASE_MANAGES_ZK设置为false.</description> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> <description>ZooKeeper的zoo.conf中的配置。 客户端连接的端口</description> </property> <property> <name>hbase.client.scanner.timeout.period</name> <value>1200000</value> </property> <property> <name>hbase.rpc.timeout</name> <value>1200000</value> </property> <property> <name>zookeeper.session.timeout</name> <value>1200000</value> <description> ZooKeeper 会话超时.HBase把这个值传递改zk集群，向他推荐一个会话的最大超时时间</description> </property> <property> <name>hbase.hregion.max.filesize</name> <value>53687091200</value> <description>最大HStoreFile大小。若某个列族的HStoreFile增长达到这个值，这个Hegion会被切割成两个。 默认: 10G,上面我们选择50G</description> </property> <property> <name>hbase.regionserver.handler.count</name> <value>60</value> <description>RegionServers受理的RPC Server实例数量。对于Master来说，这个属性是Master受理的handler数量</description> </property> <property> <name>hbase.column.max.version</name> <value>3</value> </property> <property> <name>hbase.region.replica.replication.enabled</name> <value>true</value> </property> <property> <name>hbase.regionserver.executor.openregion.threads</name> <value>100</value> </property> <!-- balance --> <property> <name>hbase.balancer.period</name> <value>300000</value> </property> <!-- major compaction --> <property> <name>hbase.hregion.majorcompaction</name> <value>0</value> <description>majorcompaction的执行周期,如果设置成0的话表示关闭自动的compact,关闭自动的compact,写程序定时手工compact</description> </property> <property> <name>hbase.hregion.memstore.block.multiplier</name> <value>8</value> <description>如果memstore缓存的内容大小超过flush.size的值的2倍的时候，会进行flush</description> </property> <property> <name>hbase.hstore.flusher.count</name> <value>16</value> </property> <property> <name>hbase.regionserver.thread.compaction.small</name> <value>8</value> </property> </configuration>4).修改/opt/hbase/conf/regionservers文件内容:
[hadoop@bgs-5p173-wangwenting opt]$ vim /opt/hbase/conf/regionservers添加以下内容：bgs-5p174-wangwentingbgs-5p175-wangwenting5).通过scp复制到其它两台机器上:
[hadoop@bgs-5p173-wangwenting opt]$ scp -r /opt/hbase-${version} hadoop@bgs-5p174-wangwenting:/opt[hadoop@bgs-5p174-wangwenting opt]$ ln -s hbase-${version}/ hbase[hadoop@bgs-5p173-wangwenting opt]$ scp -r /opt/hbase-${version} hadoop@bgs-5p175-wangwenting:/opt[hadoop@bgs-5p175-wangwenting opt]$ ln -s hbase-${version}/ hbase6).在bgs-5p173-wangwenting上启动hbase集群:
[hadoop@bgs-5p173-wangwenting opt]$ /opt/hbase/bin/start-hbase.sh
7).查看集群是否启动，运行jps
[hadoop@bgs-5p173-wangwenting opt]$ jps若bgs-5p173-wangwenting如下所示：22898 ResourceManager20739 Jps24383 JobHistoryServer20286 HMaster22722 SecondaryNameNode22488 NameNode[hadoop@bgs-5p174-wangwenting opt]$ jps2141 NodeManager3257 HRegionServer25283 Jps1841 DataNode[hadoop@bgs-5p175-wangwenting opt]$ jps2141 NodeManager3257 HRegionServer25283 Jps1841 DataNode
显示有HMaster和HRegionServer,则说明启动成功8).使用/opt/hbase/bin/hbase shell命令测试安装结果:
[hadoop@bgs-5p173-wangwenting opt]$ /opt/hbase/bin/hbase shell
a.创建表test:
hbase(main):002:0> create "test", "cf"0 row(s) in 2.5840 seconds=> Hbase::Table - test
b.列出全部表:
hbase(main):003:0> listTABLE test 1 row(s) in 0.0310 seconds=> ["test"]
启动Hadoop和HBase之后，执行jps命令，已经看到有HMaster的进程，但是进入到HBase的shell，执行一个命令，会出现下面的错误：
解决方法：
进入到logs目录查看master的日志：发现一直显示下面的内容：
[hadoop@s1 logs]$ vim hbase-hadoop-master-是.log
2017-03-13 17:13:17,374 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...2017-03-13 17:13:27,377 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...2017-03-13 17:13:37,386 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...2017-03-13 17:13:47,393 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...2017-03-13 17:13:57,395 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...2017-03-13 17:14:07,409 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
原来是Hadoop在刚启动的时候，还处在安全模式造成的,手动退出Hadoop的安全模式.然后重新启动hbase服务。
重启后输入list，便不再报错了。
c.插入数据到test表:
hbase(main):001:0> put "test","row","cf:a","value"0 row(s) in 0.4150 secondsd.查看test表信息:
hbase(main):002:0> scan 'test'ROW COLUMN+CELL row column=cf:a, timestamp=1447246157917, value=value 1 row(s) in 0.0270 seconds
若hbase shell测试成功，则进入浏览器访问以下网址:http://172.24.5.173:16010/，
若正常显示，则hbase集群安装成功! 用ip保险一点，用域名首先要在自己的电脑host文件中配置。
9).启动thriftserver2服务
[hadoop@bgs-5p173-wangwenting opt]$ nohup /opt/hbase/bin/hbase-daemon.sh start thrift2 &阅读全文
0 0
- hbase(4):hbase集群安装
- HBase集群+Zookeeper集群安装
- hbase集群安装
- Hbase集群安装配置
- HBase集群安装
- hbase集群安装
- hadoop集群安装hbase
- hbase集群安装
- HBASE集群安装
- 安装hbase集群
- Hbase 集群环境安装
- HBase集群安装配置
- HBase-0.98集群安装
- HBase集群安装
- Hbase集群安装步骤
- <Hadoop>HBase 集群安装
- Hbase集群安装
- HBase集群安装
- 12、Ambari 环境搭建
- 【Linux】PCB中的task_struct结构体
- 5、hadoop的分布式安装
- Django 博客开发教程 11
- 4、linux 上安装mysql
- hbase集群安装
- 10、linux上安装hive
- 6、linux上安装kafka
- java基本数据类型的包装类
- 11、linux上安装mongodb
- 9、linux上安装nginx
- 12、TCP的粘包问题以及数据的无边界性
- 7、linux 上安装storm
- 4、linux上安装zookeeper
