HBase基础知识(4):批量处理操作
来源:互联网 发布:java json post请求 编辑:程序博客网 时间:2024/05/21 11:27
之前我们学习过添加、检索和删除表中数据的操作了,不过都是基于单个实例或基于列表的操作。下边介绍一些API调用,可以批量处理跨多行的不同操作。
事实上,许多基于列表的操作,如delete(List <Delete> deletes)
或者get(List <Get> gets)
,都是基于batch()方法实现的。它们都是一些为了方便用户使用而保留的方法。如果你是新手,推荐使用batch()方法进行所有操作。
下面的客户端API方法提供了批量处理操作。用户可能注意到这里引入了一个新的名为Row的类,它是Put、Get和Delete的祖先,或者是父类。
void batch(List<Row> actions,Object[] results)throws IOException,InterruptedExceptionObject [] batch(List<Row> actions)throws IOException,InterruptedException
使用同样的父类允许在列表中实现多态,即放入以上3种不同的子类。这种调用跟之前介绍的基于列表的调用方法一样简单调用。
请注意,不可以将针对同一行的Put和Delete操作放在同一个批量处理请求中,为了保证最好的性能,这些操作的处理顺序可能不同,但是这样会产生不可预料的结果。由于资源竞争,某些情况下用户会看到波动的结果。
代码如下
import java.io.IOException;import java.util.ArrayList;import java.util.Collection;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Delete;import org.apache.hadoop.hbase.client.Get;import org.apache.hadoop.hbase.client.HTable;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.rest.protobuf.generated.CellSetMessage.CellSet.Row;import org.apache.hadoop.hbase.util.Bytes;/*HBase批处理操作*/public class HbaseBatch { private final static byte[] ROW1 = Bytes.toBytes("row1"); private final static byte[] ROW2 = Bytes.toBytes("row2"); private final static byte[] COLFMA1 = Bytes.toBytes("colfam1"); private final static byte[] COLFMA2 = Bytes.toBytes("colfam2"); private final static byte[] QUAL1 = Bytes.toBytes("qual1"); private final static byte[] QUAL2 = Bytes.toBytes("qual2"); private static byte[] COLFAM1; @SuppressWarnings("unchecked") public static void main(String[] args) throws IOException { Configuration conf = HBaseConfiguration.create(); HTable table = new HTable(conf, "testtable"); List<Row> batch = new ArrayList<Row>(); Put put = new Put(ROW2); put.add(COLFMA2, QUAL1, Bytes.toBytes("val5")); batch.addAll((Collection<? extends Row>) put); Get get1 = new Get(ROW1); get1.addColumn(COLFAM1, QUAL1); batch.addAll((Collection<? extends Row>) get1); Delete delete = new Delete(ROW1); delete.deleteColumns(COLFAM1, QUAL2); batch.addAll((Collection<? extends Row>) delete); Get get2 = new Get(ROW2); get2.addFamily(Bytes.toBytes("BOGUS")); batch.addAll((Collection<? extends Row>) get2); Object[] results = new Object[batch.size()]; try { //table.batch(batch,results); } catch (Exception e) { e.printStackTrace(); } }}
从控制台上可以看到以下结果:
Before batch call...KV:row1/colfam1:qual1/1/Put/vlen=4,Value:val1KV:row1/colfam1:qual2/2/Put/vlen=4,Value:val2KV:row1/colfam1:qual3/3/Put/vlen=4,Value:val3Result[0]:keyvalues=NONEResult[1]:keyvalues={row1/colfam1:qual1/1/Put/vlen=4}Result[3]:org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyExcepion:org.apache.hadoop.hbase.regionserver.NosuchColumnFamilyException: Column Family BOGUS dose not exist in...After batch call...KV:row1/colfam1:qual1/1/Put/vlen=4,Value: val1KV:row1/colfam1:qual3/3/Put/vlen=4,Value: val3KV:row2/colfam2:qual1/1308836506340/Put/vlen=4,Value:val5Error:org.apache.hadoop.hbase.client.RetireExhaustedWithDetailsException:Failed 1 action:NoSuchColumnFamilyException:1 time,servers with issues:10.0.0.43:60020,
与之前的例子一样,在执行批处量处理之前,由于插入了测试行的数据,因此先打印出了测试行的相关输出。首先输出的是表的原内容,然后是示例代码产生的输出,最后输出的是操作以后表的内容。由输出结果可见,要删除的列被删除了,新添加的列也成功添加了。
Get操作的结果需要观察输出结果的中间部分,即示例代码产生的输出。那些以Result[n](n从0到3)开头的输出是actions参数中对应操作的结果。示例中第一个操作是Put,对应的结果是一个空的Result实例,其中没有KeyValue实例。这是批量处理调用返回值的通常规则,它们给每个输入操作返回一个最佳匹配的结果,可能返回值如下表。
当用户使用batch()功能时,Put实例不会被客户端写入缓冲区缓冲。batch()请求是同步的,会把操作直接发送到服务器端,这个过程没有什么延迟或其他中键操作,这与put()调用明显不同,所以请慎重挑选需要的方法。
有两种不同的批量处理操作看起来非常相似。不同之处在于,一个需要用户输入包含返回结果的Object数组,而另一个由函数帮助用户创建这个数组。
有两种不同的批量处理操作看起来非常相似。不同之处在于,一个需要用户输入包含返回结果的Object数组,而另一个由函数帮助创建这个数组。关键不同在于
void batch(List<Row> actions,Object[] results) throws IOException,InterruptedException
上面这个方法用户可以访问部分结果,而下面这个不行:
Object batch(List<Row> actions) throws IOException,InterruptedException
后面这个方法如果抛出异常的话,不会有任何返回结果,因为新结果数组返回之前,控制流就中断了。
而之前的方法会先向用户提供的数组中填充数据,然后再抛出异常。下面试一下batch()方法特性的汇总。
两种方法的共同点
get、put和delete都支持。如果执行时出现问题,客户端将抛出异常并报告问题。它们都不使用客户端写缓冲区。
void batch(acitons,results)
能够访问成功操作的结果,同时也可以获取远程失败时的异常
Object[] batch(acitons)
只返回客户端异常,不能访问程序执行中的部分结果。
**在检查结果之前,所有的批量处理操作都被执行了:即使用户收到一个操作的异常,其他操作都已执行了。不过,在最坏的情况下,可能所有操作都会返回异常。
另外,批量处理可以感知暂时性错误,如NotServingRegionException会多次重试这个操作,用户可以通过调整hbase.client.retries.number配置项来增加或减少重试次数。**
- HBase基础知识(4):批量处理操作
- HBase基础知识(8):扫描操作之缓存与批量处理
- DBUtils批量处理操作
- hibernate 批量处理操作
- Hbase里scan的批量处理setCaching
- Hbase调用JavaAPI实现批量导入操作
- HBase基础知识(6):扫描操作介绍
- Hibernate批量处理操作(批量查询 批量删除)
- Hbase 基础知识
- HBase 基础知识
- HBase基础知识
- hbase-基础知识
- Hbase基础知识
- hbase基础知识
- HBase基础知识
- hbase基础知识
- Hbase调用JavaAPI实现批量导入操作(应用)
- Hadoop学习之HBase基础知识、操作和原理
- 【Java关键字-访问范围修饰符】private、protected、public和default的区别
- Linux内核信号处理机制介绍
- JS操作sqlite数据库
- 手柄输入子系统事件
- centos安装mysql,允许远程连接
- HBase基础知识(4):批量处理操作
- HDU 5407 CRB and Candies
- Neural Networks for Machine Learning by Geoffrey Hinton (6)
- netty4发送HttpRequest及HttpReponse太大的问题(半包)
- Jquery Mobile 开发问题
- dnf包管理器(简介)
- python __init__和__new__之间的区别
- iOS-系统tabbar加选中条
- 东方财富上半年净利同比大增30倍