HBase学习心得之HBase原理&Java接口操作增删改查

HBase之伟大（总结）

  一：region是按大小分割的，每个表开始只有一个region。随着数据不断插入表，region会不断增大，增大到了某个阀值，HRegion就会等分成两个新的HRegion。

  二：HRegion是Hbase中分布式存储和负载均衡的最小单位，最小单位就表示不同的HRegion能分布在不同的HRegion Server上，但一个HRegion是不能拆分到多个Server上的。

  三：HRegion虽是分布式存储的最小单位，但并不是存储的最小单位。HRegion由一个或多个Store组成，每个Store保存一个Column Family。每个Store又由一个memstore和0至多个storeFile组成。

  四：HBase各个组成部分的作用

         1.Client

            包含访问HBase的接口，client维护着一些cache来加快对HBase的访问，比如region的位置信息。

         2.Zookeeper

            1.保证任何时刻，集群中只有一个master。

            2.存储所有的Region的寻址入口。（Client能够通过Zookeeper访问到Region Server）

            3.实时监控Region Sever状态，将Region Server的上线和下线信息能够实时通知Master。（心跳机制RPC）

            4.存储HBase的schema，包括有哪些table，每个table有哪些Column Family。

         3.Master

            1.为Region Server分配region。

            2.负责Region Server的负载均衡。

            3.发现失效的Region Server，并重新分配其上的region。

            4.HDFS的垃圾回收。

            5.处理schema更新请求。

         4.Region Server

           1.维护Master分配的region，处理对这些的region的I/O请求。

            2.负责切分这些运行过程中变得过大的region。

PS：

      Client访问HBase上的数据过程并不需要master的参与。（寻址访问Zookeeper和Region Server）master仅仅维护着table和region的元数据信息，负载很低。

 

Java接口操作HBase

package cn.hbase;

import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;
import org.junit.Before;
import org.junit.Test;

public class HBaseDemo {

 private Configuration conf;

 /*
  * 在增删改查之前操作
  */
 @Before
 public void init() {
  conf = HBaseConfiguration.create();
  conf.set("hbase.zookeeper.quorum", "192.168.56.110");
 }

 public static void main(String[] args) throws Exception {
  Configuration conf = HBaseConfiguration.create();
  // 客户端连的zookeeper
  /*
   * zookeeper集群
   */
  // conf.set("hbase.zookeeper.quorum",
  // "centos1:2181,centos2:2181,centos3:2181");
  /*
   * zookeeper单节点集群(hadoop+zookeeper+hbase)
   */
  conf.set("hbase.zookeeper.quorum", "192.168.56.110");
  HBaseAdmin admin = new HBaseAdmin(conf);
  // 创建user表
  HTableDescriptor htd = new HTableDescriptor(TableName.valueOf("user"));
  // 增添列族
  HColumnDescriptor hcd_info = new HColumnDescriptor("info");
  HColumnDescriptor hcd_data = new HColumnDescriptor("data");
  // 增添列族属性
  // 3
  hcd_info.setMaxVersions(3);
  // 2
  htd.addFamily(hcd_data);
  htd.addFamily(hcd_info);
  // 1
  admin.createTable(htd);

  admin.close();
 }

 /*
  * 插入
  */
 @Test
 public void testPut() throws Exception {
  // 得到表对象
  HTable table = new HTable(conf, "user");
  // put对象
  Put put = new Put(Bytes.toBytes("rk0001"));
  // 增加列族。列名。值
  put.add(Bytes.toBytes("info"), Bytes.toBytes("name"),
    Bytes.toBytes("zhangsan"));
  put.add(Bytes.toBytes("info"), Bytes.toBytes("age"),
    Bytes.toBytes("120"));
  put.add(Bytes.toBytes("info"), Bytes.toBytes("money"),
    Bytes.toBytes(10000));
  table.put(put);
  table.close();
 }

 /*
  * 批量插入100万条
  */
 public void testPut2() throws Exception {
  // 得到表对象
  HTable table = new HTable(conf, "user");
  // put对象数组
  List<Put> list = new ArrayList<Put>(10000);
  for (int i = 0; i < 1000001; i++) {
   Put put = new Put(Bytes.toBytes("rk0001"));
   // 增加列族。列名。值
   put.add(Bytes.toBytes("info"), Bytes.toBytes("name"),
     Bytes.toBytes("zhangsan" + i));
   list.add(put);
   if (i % 10000 == 0) {
    // 每10000条提交一次
    table.put(list);
    list = new ArrayList<Put>(10000);
   }
  }
  table.put(list);
  table.close();
 }

 /*
  * 取数据
  */
 @Test
 public void testGet() throws Exception {
  HTable table = new HTable(conf, "user");
  Get get = new Get(Bytes.toBytes("rk0001"));
  Result result = table.get(get);
  // 由result对象读取
  String r = Bytes.toString(result.getValue(Bytes.toBytes("info"),
    Bytes.toBytes("name")));
  System.out.println(r);
  table.close();
 }

 /*
  * 取多个
  */
 @Test
 public void testGets() throws Exception {
  HTable table = new HTable(conf, "user");
  Scan scan = new Scan(Bytes.toBytes("rk0001"), Bytes.toBytes("rk0005")); // 包含前面不包含后面
  // 返回结果集
  ResultScanner scanner = table.getScanner(scan);
  for (Result result : scanner) {
   String r = Bytes.toString(result.getValue(Bytes.toBytes("info"),
     Bytes.toBytes("name")));
   System.out.println(r);
  }
  table.close();
 }

 /*
  * 删除
  */
 @Test
 public void testDel() throws Exception {
  HTable table = new HTable(conf, "user");
  Delete delete = new Delete(Bytes.toBytes("rk0001"));
  table.delete(delete);
  table.close();
 }
}