maven java连接hbase

1、pom

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    <modelVersion>4.0.0</modelVersion>    <groupId>com.yj.hbase-test1</groupId>    <artifactId>hbase-test1</artifactId>    <version>1.0-SNAPSHOT</version>    <properties>        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>        <spring.version>4.2.2.RELEASE</spring.version>        <slf4j.version>1.7.7</slf4j.version>        <xdcs.release.version>0.0.9-SNAPSHOT</xdcs.release.version>    </properties>    <dependencies>        <dependency>            <groupId>junit</groupId>            <artifactId>junit</artifactId>            <version>4.11</version>            <scope>test</scope>        </dependency>        <dependency>            <groupId>org.slf4j</groupId>            <artifactId>slf4j-api</artifactId>            <version>${slf4j.version}</version>        </dependency>        <dependency>            <groupId>org.slf4j</groupId>            <artifactId>slf4j-log4j12</artifactId>            <version>${slf4j.version}</version>        </dependency>        <dependency>            <groupId>org.slf4j</groupId>            <artifactId>jcl-over-slf4j</artifactId>            <version>${slf4j.version}</version>        </dependency>        <dependency>            <groupId>org.apache.hbase</groupId>            <artifactId>hbase-it</artifactId>            <version>1.1.2</version>        </dependency>    </dependencies>    <build>        <plugins>            <plugin>                <groupId>org.apache.maven.plugins</groupId>                <artifactId>maven-compiler-plugin</artifactId>                <version>3.6.1</version>                <configuration>                    <source>1.8</source>                    <target>1.8</target>                </configuration>            </plugin>        </plugins>    </build></project>

2、在resources下新建hbase-site.xml，可以将hbase中conf的这个文件拷贝过来

<?xml version="1.0" encoding="UTF-8"?><configuration>    <!--这里设置让HBase存储文件的地方，可以设置为hdfs://localhost:8000/hbase的hdfs路径-->    <property>        <name>hbase.rootdir</name>        <value>file:///Users/nali/dev_data/hbase/hbase_file</value>    </property>    <!--这里设置让HBase存储内建zookeeper文件的地方-->    <property>        <name>hbase.zookeeper.property.dataDir</name>        <value>/Users/nali/dev_data/hbase/hbase_zookeeper</value>    </property>    <!--zookeeper地址-->    <property>        <name>hbase.zookeeper.quorum</name>        <value>localhost</value>    </property>    <!--zookeeper端口-->    <property>        <name>hbase.zookeeper.property.clientPort</name>        <value>2182</value>    </property>    <!--master节点-->hbase.master.info.port    <property>        <name>hbase.master</name>        <value>localhost</value>    </property>    <!--master节点端口-->    <property>        <name>hbase.master.info.port</name>        <value>60000</value>    </property></configuration>

3、java代码

import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.Objects;import org.apache.commons.lang.math.NumberUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.exceptions.DeserializationException;import org.apache.hadoop.hbase.filter.Filter;import org.apache.hadoop.hbase.filter.PageFilter;import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;import org.apache.hadoop.hbase.util.Bytes;import org.apache.log4j.spi.LoggerFactory;import org.junit.Before;import org.junit.Test;import org.slf4j.Logger;public class HBaseDemo {    // 与HBase数据库的连接对象    Connection connection;    // 数据库元数据操作对象    Admin admin;    Logger logger = org.slf4j.LoggerFactory.getLogger(HBaseDemo.class);    @Before    public void setUp() throws Exception {        // 取得一个数据库连接的配置参数对象        Configuration conf = HBaseConfiguration.create();        // 设置连接参数：HBase数据库所在的主机IP        //conf.set("hbase.zookeeper.quorum", "192.168.137.13");        // 设置连接参数：HBase数据库使用的端口        //conf.set("hbase.zookeeper.property.clientPort", "2181");        // 取得一个数据库连接对象        connection = ConnectionFactory.createConnection(conf);        // 取得一个数据库元数据操作对象        admin = connection.getAdmin();    }    /**     * 创建表     */    @Test    public void createTable() throws IOException{        System.out.println("---------------创建表 START-----------------");        // 数据表表名        String tableNameString = "t_book";        // 新建一个数据表表名对象        TableName tableName = TableName.valueOf(tableNameString);        // 如果需要新建的表已经存在        if(admin.tableExists(tableName)){            System.out.println("表已经存在！");        }        // 如果需要新建的表不存在        else{            // 数据表描述对象            HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);            // 列族描述对象            HColumnDescriptor family= new HColumnDescriptor("base");;            // 在数据表中新建一个列族            hTableDescriptor.addFamily(family);            // 新建数据表            admin.createTable(hTableDescriptor);        }        System.out.println("---------------创建表 END-----------------");    }    /**     * 查询整表数据     */    @Test    public void queryTable() throws IOException{        System.out.println("---------------查询整表数据 START-----------------");        // 取得数据表对象        Table table = connection.getTable(TableName.valueOf("t_book"));        // 取得表中所有数据        ResultScanner scanner = table.getScanner(new Scan());        // 循环输出表中的数据        for (Result result : scanner) {            byte[] row = result.getRow();            System.out.println("row key is:" + new String(row));            List<Cell> listCells = result.listCells();            for (Cell cell : listCells) {                byte[] familyArray = cell.getFamilyArray();                byte[] qualifierArray = cell.getQualifierArray();                byte[] valueArray = cell.getValueArray();                System.out.println("row value is:" + new String(familyArray) + new String(qualifierArray)                        + new String(valueArray));            }        }        System.out.println("---------------查询整表数据 END-----------------");    }    /**     * 按行键查询表数据     */    @Test    public void queryTableByRowKey() throws IOException{        System.out.println("---------------按行键查询表数据 START-----------------");        // 取得数据表对象        Table table = connection.getTable(TableName.valueOf("t_book"));        // 新建一个查询对象作为查询条件        Get get = new Get("row8".getBytes());        // 按行键查询数据        Result result = table.get(get);        byte[] row = result.getRow();        System.out.println("row key is:" + new String(row));        List<Cell> listCells = result.listCells();        for (Cell cell : listCells) {            byte[] familyArray = cell.getFamilyArray();            byte[] qualifierArray = cell.getQualifierArray();            byte[] valueArray = cell.getValueArray();            System.out.println("row value is:" + new String(familyArray) + new String(qualifierArray)                    + new String(valueArray));        }        System.out.println("---------------按行键查询表数据 END-----------------");    }    /**     * 按行键查询表数据     */    @Test    public void queryTableByRowKey1() throws IOException{        System.out.println("---------------按行键查询表数据 START-----------------");        // 取得数据表对象        Table table = connection.getTable(TableName.valueOf("t_book"));        // 新建一个查询对象作为查询条件        Get get = new Get("row8".getBytes());        // 按行键查询数据        Result result = table.get(get);        byte[] row = result.getRow();        System.out.println("row key is:" + new String(row));        List<Cell> listCells = result.listCells();        for (Cell cell : listCells) {            System.out.println("family:" +Bytes.toString(CellUtil.cloneFamily(cell)) );            System.out.println("qualifier:" +Bytes.toString(CellUtil.cloneQualifier(cell)) );            System.out.println("value:" +Bytes.toString(CellUtil.cloneValue(cell)) );            System.out.println("-------------------------------");        }        System.out.println("---------------按行键查询表数据 END-----------------");    }    /**     * 按条件查询表数据     */    @Test    public void queryTableByCondition() throws IOException{        System.out.println("---------------按条件查询表数据 START-----------------");        // 取得数据表对象        Table table = connection.getTable(TableName.valueOf("t_book"));        // 创建一个查询过滤器        Filter filter = new SingleColumnValueFilter(Bytes.toBytes("base"), Bytes.toBytes("name"),                CompareOp.EQUAL, Bytes.toBytes("bookName6"));        // 创建一个数据表扫描器        Scan scan = new Scan();        // 将查询过滤器加入到数据表扫描器对象        scan.setFilter(filter);        // 执行查询操作，并取得查询结果        ResultScanner scanner = table.getScanner(scan);        // 循环输出查询结果        for (Result result : scanner) {            byte[] row = result.getRow();            System.out.println("row key is:" + new String(row));            List<Cell> listCells = result.listCells();            for (Cell cell : listCells) {                System.out.println("family:" +Bytes.toString(CellUtil.cloneFamily(cell)) );                System.out.println("qualifier:" +Bytes.toString(CellUtil.cloneQualifier(cell)) );                System.out.println("value:" +Bytes.toString(CellUtil.cloneValue(cell)) );            }        }        System.out.println("---------------按条件查询表数据 END-----------------");    }    /**     * 按时间戳条件查询表数据     */    @Test    public void queryTableByCondition1() throws IOException{        System.out.println("---------------按条件查询表数据 START-----------------");        // 取得数据表对象        Table table = connection.getTable(TableName.valueOf("t_book"));        // 创建一个查询过滤器        Filter filter = new SingleColumnValueFilter(Bytes.toBytes("base"), Bytes.toBytes("name"),                CompareOp.EQUAL, Bytes.toBytes("bookName6"));        // 创建一个数据表扫描器        Scan scan = new Scan();        // 将查询过滤器加入到数据表扫描器对象        scan.setFilter(filter);        // 执行查询操作，并取得查询结果        ResultScanner scanner = table.getScanner(scan);        // 循环输出查询结果        for (Result result : scanner) {            byte[] row = result.getRow();            System.out.println("row key is:" + new String(row));            List<Cell> listCells = result.listCells();            for (Cell cell : listCells) {                System.out.println("family:" +Bytes.toString(CellUtil.cloneFamily(cell)) );                System.out.println("qualifier:" +Bytes.toString(CellUtil.cloneQualifier(cell)) );                System.out.println("value:" +Bytes.toString(CellUtil.cloneValue(cell)) );            }        }        System.out.println("---------------按条件查询表数据 END-----------------");    }    /**     * 根据时间戳范围查询     * @throws IOException     */    @Test    public void getReusltScannerWithSize() throws IOException {        String startKey = "1503626313145";        String endKey="1603626313145";        long size=500;        // 取得数据表对象        Table table = connection.getTable(TableName.valueOf("member"));        ResultScanner rs = null;        try {            Scan scan = new Scan();            scan.setTimeRange(NumberUtils.toLong(startKey), NumberUtils.toLong(endKey));            scan.setCacheBlocks(false);            scan.setCaching(500);            PageFilter filter = new PageFilter(size);            scan.setFilter(filter);            rs = table.getScanner(scan);        } finally {            if(table != null) {                table.close();            }        }        System.out.println("start");        for (Result r : rs) {            for (Cell cell : r.listCells()) {                System.out.println("qualifier:" +Bytes.toString(CellUtil.cloneQualifier(cell)) );                System.out.println("value:" +Bytes.toString(CellUtil.cloneValue(cell)) );                System.out.println("-------------------------------");            }        }        rs.close();        System.out.println("end");    }    /**     * 清空表     */    @Test    public void truncateTable() throws IOException{        System.out.println("---------------清空表 START-----------------");        // 取得目标数据表的表名对象        TableName tableName = TableName.valueOf("t_book");        // 设置表状态为无效        admin.disableTable(tableName);        // 清空指定表的数据        admin.truncateTable(tableName, true);        System.out.println("---------------清空表 End-----------------");    }    /**     * 删除表     */    @Test    public void deleteTable() throws IOException{        System.out.println("---------------删除表 START-----------------");        // 设置表状态为无效        admin.disableTable(TableName.valueOf("t_book"));        // 删除指定的数据表        admin.deleteTable(TableName.valueOf("t_book"));        System.out.println("---------------删除表 End-----------------");    }    /**     * 删除行     */    @Test    public void deleteByRowKey() throws IOException{        System.out.println("---------------删除行 START-----------------");        // 取得待操作的数据表对象        Table table = connection.getTable(TableName.valueOf("t_book"));        // 创建删除条件对象        Delete delete = new Delete(Bytes.toBytes("row2"));        // 执行删除操作        table.delete(delete);        System.out.println("---------------删除行 End-----------------");    }    /**     * 删除行（按条件）     */    @Test    public void deleteByCondition() throws IOException, DeserializationException{        System.out.println("---------------删除行（按条件） START-----------------");        // 步骤1：调用queryTableByCondition()方法取得需要删除的数据列表        // 步骤2：循环步骤1的查询结果，对每个结果调用deleteByRowKey()方法        System.out.println("---------------删除行（按条件） End-----------------");    }    /**     * 新建列族     */    @Test    public void addColumnFamily() throws IOException{        System.out.println("---------------新建列族 START-----------------");        // 取得目标数据表的表名对象        TableName tableName = TableName.valueOf("t_book");        // 创建列族对象        HColumnDescriptor columnDescriptor = new HColumnDescriptor("more");        // 将新创建的列族添加到指定的数据表        admin.addColumn(tableName, columnDescriptor);        System.out.println("---------------新建列族 END-----------------");    }    /**     * 删除列族     */    @Test    public void deleteColumnFamily() throws IOException{        System.out.println("---------------删除列族 START-----------------");        // 取得目标数据表的表名对象        TableName tableName = TableName.valueOf("t_book");        // 删除指定数据表中的指定列族        admin.deleteColumn(tableName, "more".getBytes());        System.out.println("---------------删除列族 END-----------------");    }    /**     * 插入数据     */    @Test    public void insert() throws IOException{        System.out.println("---------------插入数据 START-----------------");        // 取得一个数据表对象        Table table = connection.getTable(TableName.valueOf("t_book"));        // 需要插入数据库的数据集合        List<Put> putList = new ArrayList<Put>();        Put put;        // 生成数据集合        for(int i = 0; i < 10; i++){            put = new Put(Bytes.toBytes("row" + i));            put.addColumn(Bytes.toBytes("base"), Bytes.toBytes("name"), Bytes.toBytes("bookName" + i));            put.addColumn(Bytes.toBytes("base"), Bytes.toBytes("age"), Bytes.toBytes("1" + i));            putList.add(put);        }        // 将数据集合插入到数据库        table.put(putList);        System.out.println("---------------插入数据 END-----------------");    }}