Hbase中的Filter

来源:互联网 发布:python pdf转html代码 编辑:程序博客网 时间:2024/05/16 06:58

原文地址:http://blog.csdn.net/liuchuanhong1/article/details/53287080


一、建表

1、表名:“ORDER_TABLE

2、列簇:“user”,“order”,“item

3、表结构如下:

 

二、封装服务

服务代码如下:

[java] view plain copy
  1. @Override  
  2.     public String get(String tableName, Filter filter) {  
  3.         Scan scan = new Scan();  
  4.         scan.setFilter(filter);  
  5.         return htemplate.find(tableName, scan, new ResultsExtractor<String>() {  
  6.   
  7.             @Override  
  8.             public String extractData(ResultScanner results) throws Exception {  
  9.                 for(Result res : results){    
  10.                     for(Cell cell : res.rawCells()){    
  11.                         System.out.println("KV: " + cell + ", Value: " + Bytes.toString(CellUtil.cloneValue(cell)));    
  12.                     }    
  13.                     System.out.println("------------------------------------------------------------");    
  14.                 }  
  15.                 return "chhliu";  
  16.             }  
  17.         });  
  18.     }  

三、内置Filter的使用

Hbase中支持的内置Filter列表如下:


1、RowFilter使用

说明:筛选出匹配的所有的行,支持基于行键过滤数据,可以执行精确匹配,子字符串匹配或正则表达式匹配,过滤掉不匹配的数据。

用法:使用BinaryComparator可以筛选出具有某个行键的行,或者通过改变比较运算符来筛选出符合某一条件的多条数据

示例:

[java] view plain copy
  1. Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("firstRow")));  

测试结果:

[java] view plain copy
  1. KV: firstRow/item:name/1479788712670/Put/vlen=5/mvcc=0, Value: maoyi  
  2. KV: firstRow/item:price/1479788739567/Put/vlen=3/mvcc=0, Value: 100  
  3. KV: firstRow/item:type/1479788725903/Put/vlen=4/mvcc=0, Value: yifu  
  4. KV: firstRow/order:num/1479788660941/Put/vlen=1/mvcc=0, Value: 1  
  5. KV: firstRow/order:payType/1479788691846/Put/vlen=5/mvcc=0, Value: check  
  6. KV: firstRow/order:totalPrice/1479788676517/Put/vlen=3/mvcc=0, Value: 100  
  7. KV: firstRow/user:address/1479788610153/Put/vlen=9/mvcc=0, Value: chongqing  
  8. KV: firstRow/user:name/1479788577571/Put/vlen=6/mvcc=0, Value: chhliu  
  9. KV: firstRow/user:password/1479788593494/Put/vlen=6/mvcc=0, Value: 123456  

从测试结果可以看出,扫描出了所有“firstRow”行的数据。

总结:

RowFilter的使用关键在于CompareFilter.CompareOp这个内部枚举类,该类的定义如下:

[java] view plain copy
  1. @InterfaceAudience.Public  
  2.   @InterfaceStability.Stable  
  3.   public enum CompareOp {  
  4.     /** less than */  
  5.     LESS,  // 检查是否小于比较器里的值  
  6.     /** less than or equal to */  
  7.     LESS_OR_EQUAL,  // 检查是否小于或等于比较器里的值  
  8.     /** equals */  
  9.     EQUAL,  // 检查是否等于比较器里的值  
  10.     /** not equal */  
  11.     NOT_EQUAL, // 检查是否不等于比较器里的值  
  12.     /** greater than or equal to */  
  13.     GREATER_OR_EQUAL,  // 检查是否大于或等于比较器里的值  
  14.     /** greater than */  
  15.     GREATER,  // 检查是否大于比较器里的值  
  16.     /** no operation */  
  17.     NO_OP,  // 默认返回false,因此过滤掉所有的数据  
  18.   }  

该枚举类定义了7中比较运算符,供我们扫描操作

2、QualifierFilter使用

说明:该Filter是一种类似RowFilter的比较过滤器,不同之处是它用来匹配列限定符而不是行健

示例:

[java] view plain copy
  1. Filter filter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new RegexStringComparator("name"));  

测试结果:

[java] view plain copy
  1. KV: firstRow/item:name/1479788712670/Put/vlen=5/mvcc=0, Value: maoyi  
  2. KV: firstRow/user:name/1479788577571/Put/vlen=6/mvcc=0, Value: chhliu  
  3. ------------------------------------------------------------  
  4. KV: secondRow/item:name/1479788846563/Put/vlen=4/mvcc=0, Value: kuzi  
  5. KV: secondRow/user:name/1479788961691/Put/vlen=6/mvcc=0, Value: xyh123  
从上面的测试结果可以看出,扫描出了所有的列名为“name”的列数据。

3、PrefixFilter使用

说明:这是RowFilter的一种特例,它基于行健的前缀值进行过滤,它相当于给扫描构造函数Scan(byte[] startRow, byte[] stopRow),提供了一个停止键,只是你不需要自己计算停止键。

示例:

[java] view plain copy
  1. Filter filter = new PrefixFilter(Bytes.toBytes("second"));  

测试结果:

[java] view plain copy
  1. KV: secondRow/item:name/1479788846563/Put/vlen=4/mvcc=0, Value: kuzi  
  2. KV: secondRow/item:price/1479788812565/Put/vlen=2/mvcc=0, Value: 50  
  3. KV: secondRow/item:type/1479788825867/Put/vlen=4/mvcc=0, Value: yifu  
  4. KV: secondRow/order:num/1479788793253/Put/vlen=1/mvcc=0, Value: 3  
  5. KV: secondRow/order:payType/1479788873259/Put/vlen=4/mvcc=0, Value: cash  
  6. KV: secondRow/order:totalPrice/1479788888925/Put/vlen=3/mvcc=0, Value: 150  
  7. KV: secondRow/user:address/1479788916089/Put/vlen=7/mvcc=0, Value: chengdu  
  8. KV: secondRow/user:name/1479788961691/Put/vlen=6/mvcc=0, Value: xyh123  
  9. KV: secondRow/user:password/1479788935711/Put/vlen=10/mvcc=0, Value: 1234567890  

从上面的测试结果可以看出,所有“second”前缀的行的数据都被扫描出来了。

4、KeyOnlyFilter使用

说明:这个Filter只会返回每行的行键+列簇+列,而不返回值,对不需要值的应用场景来说,非常实用,减少了值的传递。

示例:

[java] view plain copy
  1. Filter filter = new KeyOnlyFilter();  

测试结果:

[java] view plain copy
  1. KV: firstRow/item:name/1479788712670/Put/vlen=0/mvcc=0, Value:   
  2. KV: firstRow/item:price/1479788739567/Put/vlen=0/mvcc=0, Value:   
  3. KV: firstRow/item:type/1479788725903/Put/vlen=0/mvcc=0, Value:   
  4. KV: firstRow/order:num/1479788660941/Put/vlen=0/mvcc=0, Value:   
  5. KV: firstRow/order:payType/1479788691846/Put/vlen=0/mvcc=0, Value:   
  6. KV: firstRow/order:totalPrice/1479788676517/Put/vlen=0/mvcc=0, Value:   
  7. KV: firstRow/user:address/1479788610153/Put/vlen=0/mvcc=0, Value:   
  8. KV: firstRow/user:name/1479788577571/Put/vlen=0/mvcc=0, Value:   
  9. KV: firstRow/user:password/1479788593494/Put/vlen=0/mvcc=0, Value:   
  10. ------------------------------------------------------------  
  11. KV: secondRow/item:name/1479788846563/Put/vlen=0/mvcc=0, Value:   
  12. KV: secondRow/item:price/1479788812565/Put/vlen=0/mvcc=0, Value:   
  13. KV: secondRow/item:type/1479788825867/Put/vlen=0/mvcc=0, Value:   
  14. KV: secondRow/order:num/1479788793253/Put/vlen=0/mvcc=0, Value:   
  15. KV: secondRow/order:payType/1479788873259/Put/vlen=0/mvcc=0, Value:   
  16. KV: secondRow/order:totalPrice/1479788888925/Put/vlen=0/mvcc=0, Value:   
  17. KV: secondRow/user:address/1479788916089/Put/vlen=0/mvcc=0, Value:   
  18. KV: secondRow/user:name/1479788961691/Put/vlen=0/mvcc=0, Value:   
  19. KV: secondRow/user:password/1479788935711/Put/vlen=0/mvcc=0, Value:  

从上面的测试结果,可以看出,Value对应的值都为空。

5、TimestampsFilter使用

说明:该过滤器允许针对返回给客户端的时间版本进行更细粒度的控制,使用的时候,可以提供一个返回的时间戳的列表,只有与时间戳匹配的单元才可以返回。当做多行扫描或者是单行检索时,如果需要一个时间区间,可以在GetScan对象上使用setTimeRange()方法来实现这一点。

示例:

[java] view plain copy
  1. List<Long> timestamps = new ArrayList<Long>();  
  2. timestamps.add(1479788961691L);  
  3. timestamps.add(1479788676517L);  
  4. timestamps.add(1479788812565L);  
  5. Filter filter = new TimestampsFilter(timestamps);  

测试结果:

[java] view plain copy
  1. KV: firstRow/order:totalPrice/1479788676517/Put/vlen=3/mvcc=0, Value: 100  
  2. -----------------------------------------------------------  
  3. KV: secondRow/item:price/1479788812565/Put/vlen=2/mvcc=0, Value: 50  
  4. KV: secondRow/user:name/1479788961691/Put/vlen=6/mvcc=0, Value: xyh123  

从上面的测试结果中,可以看出,返回了时间戳列表中对应的列数据。

6、FirstKeyOnlyFilter使用

说明:该Filter的作用,是找每一行的第一列数据,找到之后,就会停止扫描。

示例:

[java] view plain copy
  1. Filter filter = new FirstKeyOnlyFilter();  

测试结果:

[java] view plain copy
  1. KV: firstRow/item:name/1479788712670/Put/vlen=5/mvcc=0, Value: maoyi  
  2. ------------------------------------------------------------  
  3. KV: secondRow/item:name/1479788846563/Put/vlen=4/mvcc=0, Value: kuzi  
  4. ------------------------------------------------------------  

从上面的测试结果中,只扫描出了“firstRow”和“secondRow”的第一行数据。

7、ColumnPrefixFilter使用

说明:该Filter是按照列名的前缀来扫描单元格的,只会返回符合条件的列数据

示例:

[java] view plain copy
  1. Filter filter = new ColumnPrefixFilter(Bytes.toBytes("pay"));  

测试结果:

[java] view plain copy
  1. KV: firstRow/order:payType/1479788691846/Put/vlen=5/mvcc=0, Value: check  
  2. ------------------------------------------------------------  
  3. KV: secondRow/order:payType/1479788873259/Put/vlen=4/mvcc=0, Value: cash  
  4. ------------------------------------------------------------  

从上面的测试结果可以看出,将列名中带“pay”前缀的列都扫描出来了。

8、ValueFilter使用

说明:该Filter主要是对值进行过滤,用法和RowFilter类似,只不过侧重点不同而已,针对的是单元值,使用这个过滤器可以过滤掉不符合设定标准的所有单元

示例:

[java] view plain copy
  1. Filter filter = new ValueFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("100")));  

测试结果:

[java] view plain copy
  1. KV: firstRow/item:price/1479788739567/Put/vlen=3/mvcc=0, Value: 100  
  2. KV: firstRow/order:totalPrice/1479788676517/Put/vlen=3/mvcc=0, Value: 100  

从上面的测试结果中,我们可以看出,将Value100的列都扫描出来了。

在这里,着重说下ComparatorHbase提供的内置的Comparator有如下几个:


BinaryComparator:会比较给定的值和扫描的值进行比对,如果一致则返回,使用Bytes.compareTo()方法比较。

BinaryPrefixComparator:如果扫描的值中带有给定的前缀,就会返回,使用Bytes.compareTo()方法,从左开始执行基于前缀的字节级比较示例如下:

[java] view plain copy
  1. @Test  
  2. public void testValueFilterBinaryPrefixComparator(){  
  3. Filter filter = new ValueFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("cheng")));  
  4. hService.get("ORDER_TABLE", filter);  
  5. }  

测试结果如下:

[java] view plain copy
  1. KV: secondRow/user:address/1479788916089/Put/vlen=7/mvcc=0, Value: chengdu  

从测试结果可以看出,返回了前缀为“cheng”的列数据

NullComparator:检查给定值是否为空。

BitComparator:执行按位比较。

RegexStringComparator:把传递的值与比较器实例化时提供的正则表达式比较。

SubstringComparator:通过执行contains()方法,检查传递的值是否包含比较器提供的子字符串示例如下:

[java] view plain copy
  1. @Test  
  2.   
  3. public void testValueFilterSubstringComparator(){  
  4. Filter filter = new ValueFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("123456"));  
  5. hService.get("ORDER_TABLE", filter);  
  6. }  

测试结果如下:

[java] view plain copy
  1. KV: firstRow/user:password/1479788593494/Put/vlen=6/mvcc=0, Value: 123456  
  2. ------------------------------------------------------------  
  3. KV: secondRow/user:password/1479788935711/Put/vlen=10/mvcc=0, Value: 1234567890  

从上面的测试结果中,可以看出,只要是值中包含了“123456”字符串的结果,都返回了。

9、ColumnCountGetFilter使用

说明:该Filter用来返回每行最多返回多少列,但返回的总数不超过设置的列数

示例:

[java] view plain copy
  1. Filter filter = new ColumnCountGetFilter(2);  

测试结果:

[java] view plain copy
  1. KV: firstRow/item:name/1479788712670/Put/vlen=5/mvcc=0, Value: maoyi  
  2. KV: firstRow/item:price/1479788739567/Put/vlen=3/mvcc=0, Value: 100  

从上面的测试结果可以看出,总共返回了第一行的2

10、SingleColumnValueFilter使用

说明:根据列的值来决定这一行数据是否返回,落脚点在行,而不是列。我们可以设置filter.setFilterIfMissing(true);如果为true,当这一列不存在时,不会返回,如果为false,当这一列不存在时,会返回所有的列信息。

先来测试这一列存在的情况,当列存在时,无论设置成true或者是false,测试结果没有影响

示例:

[java] view plain copy
  1. SingleColumnValueFilter filter = new SingleColumnValueFilter(Bytes.toBytes("user"), Bytes.toBytes("name"), CompareFilter.CompareOp.EQUAL, new SubstringComparator("chh"));  
  2. filter.setFilterIfMissing(false);// 默认情况下为false  

测试结果:

[java] view plain copy
  1. KV: firstRow/item:name/1479788712670/Put/vlen=5/mvcc=0, Value: maoyi  
  2. KV: firstRow/item:price/1479788739567/Put/vlen=3/mvcc=0, Value: 100  
  3. KV: firstRow/item:type/1479788725903/Put/vlen=4/mvcc=0, Value: yifu  
  4. KV: firstRow/order:num/1479788660941/Put/vlen=1/mvcc=0, Value: 1  
  5. KV: firstRow/order:payType/1479788691846/Put/vlen=5/mvcc=0, Value: check  
  6. KV: firstRow/order:totalPrice/1479788676517/Put/vlen=3/mvcc=0, Value: 100  
  7. KV: firstRow/user:address/1479788610153/Put/vlen=9/mvcc=0, Value: chongqing  
  8. KV: firstRow/user:name/1479788577571/Put/vlen=6/mvcc=0, Value: chhliu  
  9. KV: firstRow/user:password/1479788593494/Put/vlen=6/mvcc=0, Value: 123456  

从上面的测试结果可以看出,当前列“name”存在,且前缀“chh”存在扫描的值“chhliu”中,而该值存在第一行中,所以返回第一行的所有数据。

下面来看下列不存在的情况下,设置成true或者是false的区别

示例:

[java] view plain copy
  1. SingleColumnValueFilter filter = new SingleColumnValueFilter(Bytes.toBytes("user"), Bytes.toBytes("xyh"), CompareFilter.CompareOp.EQUAL, new SubstringComparator("chh"));  
  2. filter.setFilterIfMissing(false);// 默认情况下为false  

测试结果如下:

[java] view plain copy
  1. KV: firstRow/item:name/1479788712670/Put/vlen=5/mvcc=0, Value: maoyi  
  2. KV: firstRow/item:price/1479788739567/Put/vlen=3/mvcc=0, Value: 100  
  3. KV: firstRow/item:type/1479788725903/Put/vlen=4/mvcc=0, Value: yifu  
  4. KV: firstRow/order:num/1479788660941/Put/vlen=1/mvcc=0, Value: 1  
  5. KV: firstRow/order:payType/1479788691846/Put/vlen=5/mvcc=0, Value: check  
  6. KV: firstRow/order:totalPrice/1479788676517/Put/vlen=3/mvcc=0, Value: 100  
  7. KV: firstRow/user:address/1479788610153/Put/vlen=9/mvcc=0, Value: chongqing  
  8. KV: firstRow/user:name/1479788577571/Put/vlen=6/mvcc=0, Value: chhliu  
  9. KV: firstRow/user:password/1479788593494/Put/vlen=6/mvcc=0, Value: 123456  
  10. ------------------------------------------------------------  
  11. KV: secondRow/item:name/1479788846563/Put/vlen=4/mvcc=0, Value: kuzi  
  12. KV: secondRow/item:price/1479788812565/Put/vlen=2/mvcc=0, Value: 50  
  13. KV: secondRow/item:type/1479788825867/Put/vlen=4/mvcc=0, Value: yifu  
  14. KV: secondRow/order:num/1479788793253/Put/vlen=1/mvcc=0, Value: 3  
  15. KV: secondRow/order:payType/1479788873259/Put/vlen=4/mvcc=0, Value: cash  
  16. KV: secondRow/order:totalPrice/1479788888925/Put/vlen=3/mvcc=0, Value: 150  
  17. KV: secondRow/user:address/1479788916089/Put/vlen=7/mvcc=0, Value: chengdu  
  18. KV: secondRow/user:name/1479788961691/Put/vlen=6/mvcc=0, Value: xyh123  
  19. KV: secondRow/user:password/1479788935711/Put/vlen=10/mvcc=0, Value: 1234567890  

从上面的测试结果可以看出,当列“xyh”不存在是,设置成false时,会返回所有的行数据,当我们把false换成true测试时,会发现,没有返回任何数据。

11、SingleColumnValueExcludeFilter使用

说明:该FilterSingleColumnValueFilter作用类似,唯一的区别在于,返回的数据不包含扫描条件的列。

示例:

[java] view plain copy
  1. Filter filter = new SingleColumnValueExcludeFilter(Bytes.toBytes("user"), Bytes.toBytes("name"), CompareFilter.CompareOp.EQUAL, new SubstringComparator("chh"));  

测试结果:

[java] view plain copy
  1. KV: firstRow/item:name/1479788712670/Put/vlen=5/mvcc=0, Value: maoyi  
  2. KV: firstRow/item:price/1479788739567/Put/vlen=3/mvcc=0, Value: 100  
  3. KV: firstRow/item:type/1479788725903/Put/vlen=4/mvcc=0, Value: yifu  
  4. KV: firstRow/order:num/1479788660941/Put/vlen=1/mvcc=0, Value: 1  
  5. KV: firstRow/order:payType/1479788691846/Put/vlen=5/mvcc=0, Value: check  
  6. KV: firstRow/order:totalPrice/1479788676517/Put/vlen=3/mvcc=0, Value: 100  
  7. KV: firstRow/user:address/1479788610153/Put/vlen=9/mvcc=0, Value: chongqing  
  8. KV: firstRow/user:password/1479788593494/Put/vlen=6/mvcc=0, Value: 123456  

从上面的测试结果可以看出,返回的结果总共只有8列的数据,没有扫描条件包含的那一列数据。

12、FilterList使用

说明:

示例:

[java] view plain copy
  1. Filter rowFilter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("firstRow"))); // OK 筛选出匹配的所有的行    
  2. Filter valueFilter = new ValueFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("yifu")));  
  3. List<Filter> listFilter = new ArrayList<Filter>();  
  4. listFilter.add(rowFilter);  
  5. listFilter.add(valueFilter);  
  6. Filter filter = new FilterList(listFilter);  

测试结果:

[java] view plain copy
  1. KV: firstRow/item:type/1479788725903/Put/vlen=4/mvcc=0, Value: yifu  

从上面的测试结果可以看出,firstRowsecondRow中都存在值为“yifu”,但是通过两个过滤器限定后,符合条件的只有firstRow中的“yifu”这一列。FilterList还支持多Filter的“AND”和“OR”操作,示例如下:

[java] view plain copy
  1. Filter rowFilter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("firstRow"))); // OK 筛选出匹配的所有的行    
  2. Filter valueFilter = new ValueFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("yifu")));  
  3. List<Filter> listFilter = new ArrayList<Filter>();  
  4. listFilter.add(rowFilter);  
  5. listFilter.add(valueFilter);  
  6. Filter filter = new FilterList(FilterList.Operator.MUST_PASS_ONE, listFilter);  

测试结果如下:

[java] view plain copy
  1. KV: firstRow/item:name/1479788712670/Put/vlen=5/mvcc=0, Value: maoyi  
  2. KV: firstRow/item:price/1479788739567/Put/vlen=3/mvcc=0, Value: 100  
  3. KV: firstRow/item:type/1479788725903/Put/vlen=4/mvcc=0, Value: yifu  
  4. KV: firstRow/order:num/1479788660941/Put/vlen=1/mvcc=0, Value: 1  
  5. KV: firstRow/order:payType/1479788691846/Put/vlen=5/mvcc=0, Value: check  
  6. KV: firstRow/order:totalPrice/1479788676517/Put/vlen=3/mvcc=0, Value: 100  
  7. KV: firstRow/user:address/1479788610153/Put/vlen=9/mvcc=0, Value: chongqing  
  8. KV: firstRow/user:name/1479788577571/Put/vlen=6/mvcc=0, Value: chhliu  
  9. KV: firstRow/user:password/1479788593494/Put/vlen=6/mvcc=0, Value: 123456  
  10. ------------------------------------------------------------  
  11. KV: secondRow/item:type/1479788825867/Put/vlen=4/mvcc=0, Value: yifu  

AND”还是“OR”通过FilterList.Operator.MUST_PASS_ONE来指定,如果是MUST_PASS_ONR,则是“OR”的关系,如果是MUST_PASS_ALL,则是“AND”的关系,如果不传入这个参数,则默认为“AND”的关系。上面的测试中,使用的是“OR”的关系,也就是说,只要满足“firstRow”或者是“yifu”中的任意一个条件,都会被扫描出来。

原创粉丝点击