大数据学习系列之三 ----- HBase Java Api 图文详解

版权声明:
作者：虚无境
博客园出处：http://www.cnblogs.com/xuwujing
CSDN出处：http://blog.csdn.net/qazwsxpcm　　　　
个人博客出处：http://www.panchengming.com
原创不易，转载请标明出处，谢谢！

引言

在上一篇中大数据学习系列之二 —– HBase环境搭建(单机) 中，成功搭建了Hadoop+HBase的环境，本文则主要讲述使用Java 对HBase的一些操作。

一、事前准备

1.确认hadoop和hbase成功启动

2.确认防火墙是否关闭

3.maven所需要的依赖架包

<!--hadoop 相关架包 -->        <dependency>            <groupId>org.apache.hadoop</groupId>            <artifactId>hadoop-common</artifactId>            <version>2.8.2</version>        </dependency>        <dependency>            <groupId>org.apache.hadoop</groupId>            <artifactId>hadoop-client</artifactId>            <version>2.8.2</version>        </dependency>        <dependency>            <groupId>org.apache.hadoop</groupId>            <artifactId>hadoop-hdfs</artifactId>            <version>2.8.2</version>        </dependency>        <dependency>            <groupId>org.apache.hadoop</groupId>            <artifactId>hadoop-mapreduce-client-core</artifactId>            <version>2.8.2</version>        </dependency>        <dependency>            <groupId>org.apache.hadoop</groupId>            <artifactId>hadoop-yarn-common</artifactId>            <version>2.8.2</version>        </dependency><!--HBase相关jar -->        <dependency>            <groupId>org.apache.hbase</groupId>            <artifactId>hbase-hadoop-compat</artifactId>            <version>1.3.1</version>        </dependency>        <dependency>            <groupId>org.apache.hbase</groupId>            <artifactId>hbase-server</artifactId>            <version>1.1.2</version>        </dependency><dependency>            <groupId>org.apache.hbase</groupId>            <artifactId>hbase-client</artifactId>            <version>1.1.2</version>        </dependency><dependency>            <groupId>org.apache.hbase</groupId>            <artifactId>hbase-common</artifactId>            <version>1.1.2</version>        </dependency>

4.修改hosts文件（可选）

修改Windows C:\Windows\System32\drivers\etc 目录下的hosts文件，添加hbase的主机ip和主机名做关系映射。

192.168.238.128 master

注:如果不使用映射，那么将代码中的主机名改成IP即可。

5.HBase的原理

这篇文章介绍得很详细:
http://blog.csdn.net/woshiwanxin102213/article/details/17584043

二、测试示例

1.创建表

创建两张表 t_student、t_student_info 这两张表，并添加两个列族
创建成功之后可以在 hbase shell和16010界面中看到。

2.添加数据

成功创建表之后，在这两张表中插入数据。
因为HBase是动态数据库，所以列是可以新增的。
HBase的新增和修改是一个方法，数据相同的，后来的数据会将前面的覆盖掉！

3.查询数据

分别根据表名、行健、列族、列来查询

4.删除数据

删除其中的一条数据

三、代码示例

工具类

import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;import org.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.Admin;import org.apache.hadoop.hbase.client.Connection;import org.apache.hadoop.hbase.client.ConnectionFactory;import org.apache.hadoop.hbase.client.Delete;import org.apache.hadoop.hbase.client.Get;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.client.ResultScanner;import org.apache.hadoop.hbase.client.Scan;import org.apache.hadoop.hbase.client.Table;import org.apache.hadoop.hbase.util.Bytes;import com.alibaba.fastjson.JSONObject;/** *  * Title: HBaseUtil * Description: HBase工具类  * Version:1.0.0 * @author pancm * @date 2017年12月6日 */public class HBaseUtil {    /** hadoop 连接 */    private static Configuration conf = null;    /** hbase 连接 */    private static Connection con = null;    /** 会话 */    private static Admin admin = null;    private static String ip ="master";    private static String port ="2181";    private static String port1 ="9001";   // 初始化连接   static {       // 获得配制文件对象       conf = HBaseConfiguration.create();        // 设置配置参数        conf.set("hbase.zookeeper.quorum", ip);        conf.set("hbase.zookeeper.property.clientPort", port);          //如果hbase是集群，这个必须加上         //这个ip和端口是在hadoop/mapred-site.xml配置文件配置的        conf.set("hbase.master", ip+":"+port1);    }    /**     * 获取连接     *      * @return     */    public synchronized static Connection getConnection() {        try {            if (null == con || con.isClosed()) {                // 获得连接对象                con = ConnectionFactory.createConnection(conf);            }        } catch (IOException e) {            System.out.println("获取连接失败!");            e.printStackTrace();        }        return con;    }    /**     * 连接关闭     */    public static void close() {        try {            if (admin != null) {                admin.close();            }            if (con != null) {                con.close();            }        } catch (IOException e) {            System.out.println("连接关闭失败！");            e.printStackTrace();        }    }    /**     * 创建表     *      * @param tableName     *            表名     * @param columnFamily     *            列族     */    public static void creatTable(String tableName, String[] columnFamily) {        if(null==tableName||tableName.length()==0){            return;        }        if(null==columnFamily||columnFamily.length==0){            return;        }        // 创建表名对象        TableName tn = TableName.valueOf(tableName);        // a.判断数据库是否存在        try {            // 获取会话            admin = getConnection().getAdmin();            if (admin.tableExists(tn)) {                System.out.println(tableName + " 表存在，删除表....");                // 先使表设置为不可编辑                admin.disableTable(tn);                // 删除表                admin.deleteTable(tn);                System.out.println("表删除成功.....");            }            // 创建表结构对象            HTableDescriptor htd = new HTableDescriptor(tn);            for (String str : columnFamily) {                // 创建列族结构对象                HColumnDescriptor hcd = new HColumnDescriptor(str);                htd.addFamily(hcd);            }            // 创建表            admin.createTable(htd);            System.out.println(tableName + " 表创建成功！");        } catch (IOException e) {            e.printStackTrace();        } finally {            close();        }    }    /**     * 数据单条插入或更新     *      * @param tableName     *            表名     * @param rowKey     *            行健 (主键)     * @param family     *            列族     * @param qualifier     *            列     * @param value     *            存入的值     * @return     */    public static void insert(String tableName, String rowKey, String family,            String qualifier, String value) {        Table t = null;        try {            t = getConnection().getTable(TableName.valueOf(tableName));            Put put = new Put(Bytes.toBytes(rowKey));            put.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier),                    Bytes.toBytes(value));            t.put(put);            System.out.println(tableName + " 更新成功!");        } catch (IOException e) {            System.out.println(tableName + " 更新失败!");            e.printStackTrace();        } finally {            close();        }    }    /**     * 数据批量插入或更新     *      * @param tableName     *            表名     * @param list     *            hbase的数据      * @return     */    public static void insertBatch(String tableName, List<?> list) {        if (null == tableName ||tableName.length()==0) {            return;        }        if( null == list || list.size() == 0){            return;        }        Table t = null;        Put put = null;        JSONObject json = null;        List<Put> puts = new ArrayList<Put>();        try {            t = getConnection().getTable(TableName.valueOf(tableName));            for (int i = 0, j = list.size(); i < j; i++) {                json = (JSONObject) list.get(i);                put = new Put(Bytes.toBytes(json.getString("rowKey")));                put.addColumn(Bytes.toBytes(json.getString("family")),                        Bytes.toBytes(json.getString("qualifier")),                        Bytes.toBytes(json.getString("value")));                puts.add(put);            }            t.put(puts);            System.out.println(tableName + " 更新成功!");        } catch (IOException e) {            System.out.println(tableName + " 更新失败!");            e.printStackTrace();        } finally {            close();        }    }    /**     * 数据删除      * @param tableName 表名     * @param rowKey    行健     * @return     */    public static void delete(String tableName, String rowKey) {        delete(tableName,rowKey,"","");    }    /**     * 数据删除      * @param tableName 表名     * @param rowKey    行健     * @param family    列族     * @return     */    public static void delete(String tableName, String rowKey, String family) {        delete(tableName,rowKey,family,"");    }    /**     * 数据删除      * @param tableName 表名     * @param rowKey    行健     * @param family    列族     * @param qualifier 列     * @return     */    public static void delete(String tableName, String rowKey, String family,            String qualifier) {        if (null == tableName ||tableName.length()==0) {            return;        }        if( null == rowKey || rowKey.length() == 0){            return;        }        Table t = null;        try {            t = getConnection().getTable(TableName.valueOf(tableName));            Delete del = new Delete(Bytes.toBytes(rowKey));            // 如果列族不为空            if (null != family && family.length() > 0) {                // 如果列不为空                if (null != qualifier && qualifier.length() > 0) {                    del.addColumn(Bytes.toBytes(family),                            Bytes.toBytes(qualifier));                } else {                    del.addFamily(Bytes.toBytes(family));                }            }                  t.delete(del);            } catch (IOException e) {            System.out.println("删除失败!");            e.printStackTrace();        } finally {          close();        }    }    /**     * 查询该表中的所有数据     *      * @param tableName     *            表名     */    public static void select(String tableName) {        if(null==tableName||tableName.length()==0){            return;        }        Table t = null;        List<Map<String,Object>> list=new ArrayList<Map<String,Object>>();        try {            t = getConnection().getTable(TableName.valueOf(tableName));            // 读取操作            Scan scan = new Scan();            // 得到扫描的结果集            ResultScanner rs = t.getScanner(scan);            if (null == rs ) {                return;            }            for (Result result : rs) {                // 得到单元格集合                List<Cell> cs = result.listCells();                if (null == cs || cs.size() == 0) {                    continue;                }                for (Cell cell : cs) {                    Map<String,Object> map=new HashMap<String, Object>();                    map.put("rowKey", Bytes.toString(CellUtil.cloneRow(cell)));// 取行健                    map.put("timestamp", cell.getTimestamp());// 取到时间戳                    map.put("family", Bytes.toString(CellUtil.cloneFamily(cell)));// 取到列族                    map.put("qualifier", Bytes.toString(CellUtil.cloneQualifier(cell)));// 取到列                    map.put("value", Bytes.toString(CellUtil.cloneValue(cell)));// 取到值                    list.add(map);                }            }            System.out.println("查询的数据:"+list);        } catch (IOException e) {            System.out.println("查询失败!");            e.printStackTrace();        } finally {            close();        }    }    /**     * 根据表名和行健查询     * @param tableName     * @param rowKey     */    public static void select(String tableName, String rowKey) {        select(tableName,rowKey,"","");    }    /**     * 根据表名、行健和列族查询     * @param tableName     * @param rowKey     * @param family     */    public static void select(String tableName, String rowKey, String family) {        select(tableName,rowKey,family,"");    }    /**     * 根据条件明细查询     *      * @param tableName     *            表名     * @param rowKey     *            行健 (主键)     * @param family     *            列族     * @param qualifier     *            列     */    public static void select(String tableName, String rowKey, String family,            String qualifier) {        Table t = null;        List<Map<String,Object>> list=new ArrayList<Map<String,Object>>();        try {            t = getConnection().getTable(TableName.valueOf(tableName));            // 通过HBase中的 get来进行查询            Get get = new Get(Bytes.toBytes(rowKey));            // 如果列族不为空            if (null != family && family.length() > 0) {                // 如果列不为空                if (null != qualifier && qualifier.length() > 0) {                    get.addColumn(Bytes.toBytes(family),                            Bytes.toBytes(qualifier));                } else {                    get.addFamily(Bytes.toBytes(family));                }            }            Result r = t.get(get);            List<Cell> cs = r.listCells();            if (null == cs || cs.size() == 0) {                return;            }            for (Cell cell : cs) {                Map<String,Object> map=new HashMap<String, Object>();                map.put("rowKey", Bytes.toString(CellUtil.cloneRow(cell)));// 取行健                map.put("timestamp", cell.getTimestamp());// 取到时间戳                map.put("family", Bytes.toString(CellUtil.cloneFamily(cell)));// 取到列族                map.put("qualifier", Bytes.toString(CellUtil.cloneQualifier(cell)));// 取到列                map.put("value", Bytes.toString(CellUtil.cloneValue(cell)));// 取到值                list.add(map);            }            System.out.println("查询的数据:"+list);        } catch (IOException e) {            System.out.println("查询失败!");            e.printStackTrace();        } finally {            close();        }    }}

测试代码

import java.util.ArrayList;import java.util.List;import com.alibaba.fastjson.JSONObject;/** * * Title: hbaseTest* Description: HBase 相关测试* Version:1.0.0  * @author pancm* @date 2017年11月23日 */public class hbaseTest {    public static void main(String[] args) {        test();    }    /**     * 一些测试     */    private static void test() {        String tableName1="t_student",tableName2="t_student_info";        String []columnFamily1={"st1","st2"};        String []columnFamily2={"stf1","stf2"};        HBaseUtil.creatTable(tableName1, columnFamily1);        HBaseUtil.creatTable(tableName2, columnFamily2);        HBaseUtil.insert(tableName1, "1001", columnFamily1[0], "name", "zhangsan");        HBaseUtil.insert(tableName1, "1002", columnFamily1[0], "name", "lisi");        HBaseUtil.insert(tableName1, "1001", columnFamily1[1], "age", "18");        HBaseUtil.insert(tableName1, "1002", columnFamily1[1], "age", "20");        HBaseUtil.insert(tableName2, "1001", columnFamily2[0], "phone", "123456");        HBaseUtil.insert(tableName2, "1002", columnFamily2[0], "phone", "234567");        HBaseUtil.insert(tableName2, "1001", columnFamily2[1], "mail", "[e-mail]");        HBaseUtil.insert(tableName2, "1002", columnFamily2[1], "mail", "[e-mail]");        HBaseUtil.select(tableName1); //查询该表所有数据        HBaseUtil.select(tableName1, "1001"); //根据表名和行健查询        HBaseUtil.select(tableName2, "1002",columnFamily2[0]); //根据表名、行健和列族查询        HBaseUtil.select(tableName2, "1002",columnFamily2[1],"mail"); //根据表名、行健、列族、和列查询        HBaseUtil.select(tableName1, "1002"); //根据表名和行健查询        HBaseUtil.delete(tableName1, "1002", columnFamily1[0]);//删除数据        HBaseUtil.select(tableName1, "1002"); //根据表名和行健查询    }}