8 HBase结构介绍
来源:互联网 发布:网络订票如何选下铺 编辑:程序博客网 时间:2024/05/17 18:14
HBase介绍
HBase是参考google的bigtable的一个开源产品,建立在hdfs之上的一个提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。是一种介于nosql和RDBMs之间的一种数据库系统,仅支持通过rowkey和range进行数据的检索,主要存储非结构化数据和半结构化数据。
HBase和Hadoop一样,目标是通过横向扩展,添加普通机器来增加存储性能和计算性能。HBase特点:
1. 大(一个表可以有上亿行以及百万级的行)、2. 面向列存储、3. 稀疏(由于null不占用存储空间,所有表结果可以设计的非常稀疏)
HBase组成结构
HBase使用Zookeeper进行集群节点管理,当然HBase自身集成了一个ZK系统,不过一般情况在实际生产环境中不使用。
HBase由master和regionserver两类节点(如果使用HBase自带的zk服务,那么还有HQuorumPeer进程)。Hbase支持提供backup master进行master备份。其中master节点负责和zk进行通信以及存储regionserver的相关位置信息,regionserver节点实现具体对数据的操作,最终数据存储在hdfs上。
RegionServer集群结构
一台机器一个regionsever,包含一个hlog和多个region。
一个region中包含多个store,分为memstore和storefile。
HBase逻辑存储结构
如果只指定rowkey,不指定时间戳,则会读出每个列的最新版本。
HBase物理存储结构
key :rowkey+列簇+列名+时间戳
value:值
HBase安装-前期准备
HBase有三种安装方式,第一种独立模式,第二种是分布式模式(集成zookeeper),第三种是分布式模式(独立zookeeper)。
安装步骤:
1. 安装jdk,至少1.6(版本u18除外)。
2. 安装ssh免密码登录。
3. 修改hostname和hosts,hbase通过hostname获取ip地址。
4. Hadoop安装。
5. 生成环境集群(NTP + ulimit&nproc + hdfs的dfs.datanode.max.xcievers)
6. hbase下载安装
HBase安装
安装步骤:
1. 下载hbase,选择版本hbase-0.98.6-cdh5.3.6,下载地址http://archive.cloudera.com/cdh5/cdh/5/。
2. 解压压缩包到目录/home/hadoop/bigdater/下。
3. 在hbase的根目录下创建一个文件夹hbase来存储临时文件和pid等。默认/tmp。
4. 修改配置信息
5. 指定regionserver节点hostname,修改文件regionservers。
6. 创建到hdfs-site.xml的软连接或者配置连接hdfs的配置信息。(与HBASE_CLASSPATH 的设置只需要有一个存在就可以了)
7. 添加hbase相关信息到环境变量中。
8. 启动hbase集群并验证。
[hadoop@hh softs]$ tar -zxf hbase-0.98.6-cdh5.3.6.tar.gz -C ~/bigdater/[hadoop@hh hbase-0.98.6-cdh5.3.6]$ mkdir hbase
1 下载http://archive.cloudera.com/cdh5/cdh/5/hbase-0.98.6-cdh5.3.6.tar.gz2 解压tar -zxvf xxx3 修改conf/hbase-env.shexport JAVA_HOME=/usr/local/jdkexport HBASE_CLASSPATH=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/etc/hadoopexport HBASE_PID_DIR=/home/hadoop/bigdater/hbase-0.98.6-cdh5.3.6/hbase/pidsexport HBASE_MANAGES_ZK=true 【使用hbase集成的zookeeper】4 修改hbase-site.xml hbase.rootdir=hdfs://hh/hbase hbase.cluster.distributed=true hbase.tmp.dir=/home/hadoop/bd/hbase-0.98.6-cdh5.3.6/hbase/tmp5 修改regionservers 将主机名添加进去,每行一个6 修改环境变量 添加HBASE_HOME和PATH###### hbase 0.98.6export HBASE_HOME=/home/hadoop/bigdater/hbase-0.98.6-cdh5.3.6/export PATH=$PATH:$HBASE_HOME/binsource ~/.bash_profile[hadoop@hh tmp]$ hbase version7 启动验证
HBase启动
启动集群命令: start-hbase.sh
停止集群命令: stop-hbase.sh
单独启动/停止进程命令: (单独的启动master或者regionserver)
hbase-daemon.sh (start|stop) (master|regionserver|zookeeper)
hbase-daemons.sh (start|stop) (regionserver|zookeeper)【针对集群】
HBase验证
验证分为三种方式:
1. jps查看是否有hbase的正常启动。
2. web界面查看是否启动成功。http://192.168.100.120:60010/
3. shell命令客户端查看是否启动成功。
4. 查看hbase是否安装成功,查看hdfs文件下是否有hbase的文件夹。
local-master-backup.sh start 1local-regionservers.sh start 1可以模拟出多个master和regionserver (最多100个,不只是1个)
HBase其他–备份master【真正的master备份】
如果需要使用hbase的多master结构,那么需要在conf文件夹下添加backup-masters文件,然后一行一个主机名,和regionservers是一样的;或者在hbase-env.sh中添加变量HBASE_BACKUP_MASTERS,对应value为backup-masters存储路径(启动命令一样)。
- 8 HBase结构介绍
- hbase 基本介绍,表结构
- 浅析HBase架构和系统结构介绍(一)
- 浅析HBase架构和系统结构介绍(二)
- 浅析HBase架构和系统结构介绍(三)
- 浅析HBase架构和系统结构介绍(四)
- 浅析HBase架构和系统结构介绍(五)
- 浅析HBase架构和系统结构介绍(六)
- Hbase结构
- HBase(2.1)-HBase介绍
- HBase介绍
- hbase 介绍
- hbase 介绍
- HBase介绍
- hbase介绍
- Hbase介绍
- hbase介绍
- hbase 介绍
- 网站测试流程、要求及测试报告
- 智能一代云平台(十五):Keepalived+Nginx实现高可用,反向代理---Nginx安装及配置
- 关于JFrame里setbackground()失效的解释
- CodeForces
- 超越spark性能数百倍的性能测试
- 8 HBase结构介绍
- PackageManagerService分析之一
- leetCode 483. Smallest Good Base
- 7 MapReduce进阶之shuffle阶段
- SpringMVC概念原理分析
- 查看内存使用情况
- 关于java代码jtable不显示表头的解决
- 互联网+农业:十万亿市场的各个环节都在这里了
- Servlet监听器