hadoop学习记录(三)HBase基本概念
来源:互联网 发布:手机装机必备软件名单 编辑:程序博客网 时间:2024/06/06 08:32
我用的是VMWare + ubuntu16.04 +Hbase1.1.5 +hadoop2.6.0的组合。
经过亲自安装验证,版本间没有发生冲突,可以进行学习和开发。
具体的安装过程参照了厦门大学数据实验室的安装教程,个人感觉这里面的安装步骤非常详细,非常少适合新人上手,只要懂得基本的java和linux基础即可。
下面是厦大数据实验室的链接:http://dblab.xmu.edu.cn/blog/588-2/#more-588
Hbase即hadoop database,这是一个在HFDS上的分布式数据库。与传统关系型数据库的行数据存储不同,Hbase则是以列的形式存储数据。
Hbase中RowKey是类似于传统关系型数据库中的主键,然后字段都会被存在colFamily(列族)中,然后列族中可以有不同的col(列名),colFamily:col唯一确定了一个值,插入数据的时候要定位到表明=>行键=>列族:列名,且一次只能插入一个数据。
例如现在有一个学生表,学生表里有姓名,性别,学号,成绩字段,那么HBase的表结构将会是下面这样:
RowKey行键info:nameinfo:sexinfo:numbergrade:mathgrade:englishstudent1kinsomy student1 male student1 123456 student1 100 student1 100
每次插入一条数据,表中就形成了一个完整的记录,这就是列式数据库的基本结构。
同时每次插入一行的时候,HBase会自动附带一个时间戳timestamp来表示版本。
在定义表的时候,一个表的列族必须作为表模式定义的一部分预先给出。新的列族成员可以随后按需要加入。
例如在定义表的时候,info和grade要先随表定义好,然后可以在需要的时候加入name,math等列族中的成员。
Hbase数据库适合用在数据需要多次写入并且多次查询的场景中,并且查询条件不是很复杂的情况。
由于我才用的是伪分布式的配置,目前只采用了单个节点,因此没有master和salve之说。
HBase内部保留了名为-ROOT-和.META.的特殊目录表,他们维护者当前集群上所有区域的列表、状态和位置。—ROOT—表包含.META.表的区域列表。.META.表包含所有用户空间区域的列表,表中的项使用区域名作为键。区域名由所属的表名,区域的起始行、区域的创建时间以及对其整体进行的MD5哈希值组成。
千万记住的是,如果想要删除一个table,首先要先把该table disable掉,然后再执行删除指令。删除一个表的指令为 drop ‘tablename’。
要想查看一个表是否被disable可以在hbase shell下使用指令 is_disabled 'tablename'
该系列博文仅作为个人学习笔记。
- hadoop学习记录(三)HBase基本概念
- 记录配置Hadoop+zookeeper+Hbase的完整过程(三)
- Hadoop学习笔记(一)HBase脚本分析(三)hbase
- Hadoop学习(1)-基本概念
- Hadoop基础教程-第10章 HBase:Hadoop数据库(10.2 HBase基本概念、框架)(草稿)
- 学习记录---颤抖吧,hadoop!(三)----搭建伪分布式
- Hadoop(三)HBase环境搭建
- Hadoop之关键技术(三)--HBase
- hadoop 集群安装(三) hbase安装
- 机器学习基本概念(三)
- HBase学习笔记(三)
- Hbase学习笔记(三)
- Hadoop学习笔记---基本概念
- Hadoop学习笔记---基本概念
- Hadoop-HBase-Zookeeper安装记录
- Hadoop、HBase集群问题记录
- HBase基本概念(一)
- hbase 学习笔记一---基本概念
- CFileDialog获取文件名长度
- hadoop学习记录(一)HDFS
- hadoop学习记录(二)HDFS java api
- SpringMVC介绍之Validation
- 贪心算法--寻找最大数(三)
- hadoop学习记录(三)HBase基本概念
- python解决SNIMissingWarning和InsecurePlatformWarning警告
- Oracle12C--常用权限速查表
- hadoop学习记录(四)hadoop2.6 hive配置
- Android 字体颜色在一些机型上不适配(textcolor失效)
- 6大主流开源SQL引擎总结,遥遥领先的是谁?
- OpenCV2.4.13+VS2013开发环境配置
- 《数据挖掘导论》学习笔记(一)
- 《数据挖掘导论》学习笔记(二)