程序博客网 > 与人工智能有关的电影

云计算（三十三）-Hbase使用filter快速高效查询

来源：互联网 发布：与人工智能有关的电影 编辑：程序博客网 时间：2024/05/16 11:26

几大Filters
1、Comparision Filters
     1.1  RowFilter
1.2 FamilyFilter
     1.3 QualifierFilter
     1.4 ValueFilter
     1.5 DependentColumnFilter
2、Dedicated Filters
     2.1 SingleColumnValueFilter
     2.2 SingleColumnValueExcludeFilter
     2.3 PrefixFilter
     2.4 PageFilter
     2.5 KeyOnlyFilter
     2.6 FirstKeyOnlyFilter
     2.7 TimestampsFilter
     2.8 RandomRowFilter
3、Decorating Filters
     3.1  SkipFilter
     3.2 WhileMatchFilters

 

一个简单的示例 SingleColumnValueFilter

 

[java] view plaincopy
  1.  public static void selectByFilter(String tablename,List<String> arr) throws IOException{    
  2.         HTable table=new HTable(hbaseConfig,tablename);    
  3.         FilterList filterList = new FilterList();    
  4.         Scan s1 = new Scan();    
  5.         for(String v:arr){ // 各个条件之间是“与”的关系    
  6.             String [] s=v.split(",");    
  7.             filterList.addFilter(new SingleColumnValueFilter(Bytes.toBytes(s[0]),    
  8.                                                              Bytes.toBytes(s[1]),    
  9.                                                              CompareOp.EQUAL,Bytes.toBytes(s[2])    
  10.                                                              )    
  11.             );    
  12.             // 添加下面这一行后，则只返回指定的cell，同一行中的其他cell不返回    
  13. //          s1.addColumn(Bytes.toBytes(s[0]), Bytes.toBytes(s[1]));    
  14.         }    
  15.         s1.setFilter(filterList);    
  16.         ResultScanner ResultScannerFilterList = table.getScanner(s1);    
  17.         for(Result rr=ResultScannerFilterList.next();rr!=null;rr=ResultScannerFilterList.next()){    
  18.             for(KeyValue kv:rr.list()){    
  19.                 System.out.println("row : "+new String(kv.getRow()));    
  20.                 System.out.println("column : "+new String(kv.getColumn()));    
  21.                 System.out.println("value : "+new String(kv.getValue()));    
  22.             }    
  23.         }    
  24.     }    


MultipleColumnPrefixFilter

api上介绍如下

[html] view plaincopy
  1. This filter is used for selecting only those keys with columns that matches a particular prefix. For example, if prefix is 'an', it will pass keys will columns like 'and', 'anti' but not keys with columns like 'ball', 'act'.   

构造方法如下

[html] view plaincopy
  1. public MultipleColumnPrefixFilter(byte[][] prefixes)  

传入多个prefix
源码里说明如下

[html] view plaincopy
  1. public MultipleColumnPrefixFilter(final byte [][] prefixes) {  
  2.      if (prefixes != null) {  
  3.        for (int i = 0; i < prefixes.length; i++) {  
  4.          if (!sortedPrefixes.add(prefixes[i]))  
  5.            throw new IllegalArgumentException ("prefixes must be distinct");  
  6.        }  
  7.      }  
  8.    }  

示例代码如下：是我从网上找的，看了，没啥难理解的，

[html] view plaincopy
  1. +public class TestMultipleColumnPrefixFilter {  
  2. +  
  3. +  private final static HBaseTestingUtility TEST_UTIL = new  
  4. +      HBaseTestingUtility();  
  5. +  
  6. +  @Test  
  7. +  public void testMultipleColumnPrefixFilter() throws IOException {  
  8. +    String family = "Family";  
  9. +    HTableDescriptor htd = new HTableDescriptor("TestMultipleColumnPrefixFilter");  
  10. +    htd.addFamily(new HColumnDescriptor(family));  
  11. +    // HRegionInfo info = new HRegionInfo(htd, null, null, false);  
  12. +    HRegionInfo info = new HRegionInfo(htd.getName(), null, null, false);  
  13. +    HRegion region = HRegion.createHRegion(info, HBaseTestingUtility.  
  14. +        getTestDir(), TEST_UTIL.getConfiguration(), htd);  
  15. +  
  16. +    List<String> rows = generateRandomWords(100, "row");  
  17. +    List<String> columns = generateRandomWords(10000, "column");  
  18. +    long maxTimestamp = 2;  
  19. +  
  20. +    List<KeyValue> kvList = new ArrayList<KeyValue>();  
  21. +  
  22. +    Map<String, List<KeyValue>> prefixMap = new HashMap<String,  
  23. +        List<KeyValue>>();  
  24. +  
  25. +    prefixMap.put("p", new ArrayList<KeyValue>());  
  26. +    prefixMap.put("q", new ArrayList<KeyValue>());  
  27. +    prefixMap.put("s", new ArrayList<KeyValue>());  
  28. +  
  29. +    String valueString = "ValueString";  
  30. +  
  31. +    for (String row: rows) {  
  32. +      Put p = new Put(Bytes.toBytes(row));  
  33. +      for (String column: columns) {  
  34. +        for (long timestamp = 1; timestamp <= maxTimestamp; timestamp++) {  
  35. +          KeyValue kv = KeyValueTestUtil.create(row, family, column, timestamp,  
  36. +              valueString);  
  37. +          p.add(kv);  
  38. +          kvList.add(kv);  
  39. +          for (String s: prefixMap.keySet()) {  
  40. +            if (column.startsWith(s)) {  
  41. +              prefixMap.get(s).add(kv);  
  42. +            }  
  43. +          }  
  44. +        }  
  45. +      }  
  46. +      region.put(p);  
  47. +    }  
  48. +  
  49. +    MultipleColumnPrefixFilter filter;  
  50. +    Scan scan = new Scan();  
  51. +    scan.setMaxVersions();  
  52. +    byte [][] filter_prefix = new byte [2][];  
  53. +    filter_prefix[0] = new byte [] {'p'};  
  54. +    filter_prefix[1] = new byte [] {'q'};  
  55. +      
  56. +    filter = new MultipleColumnPrefixFilter(filter_prefix);  
  57. +    scan.setFilter(filter);  
  58. +    List<KeyValue> results = new ArrayList<KeyValue>();    
  59. +    InternalScanner scanner = region.getScanner(scan);  
  60. +    while(scanner.next(results));  
  61. +    assertEquals(prefixMap.get("p").size() + prefixMap.get("q").size(), results.size());  
  62. +  }  
  63. +  
  64. +  @Test  
  65. +  public void testMultipleColumnPrefixFilterWithManyFamilies() throws IOException {  
  66. +    String family1 = "Family1";  
  67. +    String family2 = "Family2";  
  68. +    HTableDescriptor htd = new HTableDescriptor("TestMultipleColumnPrefixFilter");  
  69. +    htd.addFamily(new HColumnDescriptor(family1));  
  70. +    htd.addFamily(new HColumnDescriptor(family2));  
  71. +    HRegionInfo info = new HRegionInfo(htd.getName(), null, null, false);  
  72. +    HRegion region = HRegion.createHRegion(info, HBaseTestingUtility.  
  73. +        getTestDir(), TEST_UTIL.getConfiguration(), htd);  
  74. +  
  75. +    List<String> rows = generateRandomWords(100, "row");  
  76. +    List<String> columns = generateRandomWords(10000, "column");  
  77. +    long maxTimestamp = 3;  
  78. +  
  79. +    List<KeyValue> kvList = new ArrayList<KeyValue>();  
  80. +  
  81. +    Map<String, List<KeyValue>> prefixMap = new HashMap<String,  
  82. +        List<KeyValue>>();  
  83. +  
  84. +    prefixMap.put("p", new ArrayList<KeyValue>());  
  85. +    prefixMap.put("q", new ArrayList<KeyValue>());  
  86. +    prefixMap.put("s", new ArrayList<KeyValue>());  
  87. +  
  88. +    String valueString = "ValueString";  
  89. +  
  90. +    for (String row: rows) {  
  91. +      Put p = new Put(Bytes.toBytes(row));  
  92. +      for (String column: columns) {  
  93. +        for (long timestamp = 1; timestamp <= maxTimestamp; timestamp++) {  
  94. +          double rand = Math.random();  
  95. +          KeyValue kv;  
  96. +          if (rand < 0.5)   
  97. +            kv = KeyValueTestUtil.create(row, family1, column, timestamp,  
  98. +                valueString);  
  99. +          else   
  100. +            kv = KeyValueTestUtil.create(row, family2, column, timestamp,  
  101. +                valueString);  
  102. +          p.add(kv);  
  103. +          kvList.add(kv);  
  104. +          for (String s: prefixMap.keySet()) {  
  105. +            if (column.startsWith(s)) {  
  106. +              prefixMap.get(s).add(kv);  
  107. +            }  
  108. +          }  
  109. +        }  
  110. +      }  
  111. +      region.put(p);  
  112. +    }  
  113. +  
  114. +    MultipleColumnPrefixFilter filter;  
  115. +    Scan scan = new Scan();  
  116. +    scan.setMaxVersions();  
  117. +    byte [][] filter_prefix = new byte [2][];  
  118. +    filter_prefix[0] = new byte [] {'p'};  
  119. +    filter_prefix[1] = new byte [] {'q'};  
  120. +      
  121. +    filter = new MultipleColumnPrefixFilter(filter_prefix);  
  122. +    scan.setFilter(filter);  
  123. +    List<KeyValue> results = new ArrayList<KeyValue>();    
  124. +    InternalScanner scanner = region.getScanner(scan);  
  125. +    while(scanner.next(results));  
  126. +    assertEquals(prefixMap.get("p").size() + prefixMap.get("q").size(), results.size());  
  127. +  }  
  128. +    
  129. +  @Test  
  130. +  public void testMultipleColumnPrefixFilterWithColumnPrefixFilter() throws IOException {  
  131. +    String family = "Family";  
  132. +    HTableDescriptor htd = new HTableDescriptor("TestMultipleColumnPrefixFilter");  
  133. +    htd.addFamily(new HColumnDescriptor(family));  
  134. +    HRegionInfo info = new HRegionInfo(htd.getName(), null, null, false);  
  135. +    HRegion region = HRegion.createHRegion(info, HBaseTestingUtility.  
  136. +        getTestDir(), TEST_UTIL.getConfiguration(),htd);  
  137. +  
  138. +    List<String> rows = generateRandomWords(100, "row");  
  139. +    List<String> columns = generateRandomWords(10000, "column");  
  140. +    long maxTimestamp = 2;  
  141. +  
  142. +    String valueString = "ValueString";  
  143. +  
  144. +    for (String row: rows) {  
  145. +      Put p = new Put(Bytes.toBytes(row));  
  146. +      for (String column: columns) {  
  147. +        for (long timestamp = 1; timestamp <= maxTimestamp; timestamp++) {  
  148. +          KeyValue kv = KeyValueTestUtil.create(row, family, column, timestamp,  
  149. +              valueString);  
  150. +          p.add(kv);  
  151. +        }  
  152. +      }  
  153. +      region.put(p);  
  154. +    }  
  155. +  
  156. +    MultipleColumnPrefixFilter multiplePrefixFilter;  
  157. +    Scan scan1 = new Scan();  
  158. +    scan1.setMaxVersions();  
  159. +    byte [][] filter_prefix = new byte [1][];  
  160. +    filter_prefix[0] = new byte [] {'p'};  
  161. +   
  162. +    multiplePrefixFilter = new MultipleColumnPrefixFilter(filter_prefix);  
  163. +    scan1.setFilter(multiplePrefixFilter);  
  164. +    List<KeyValue> results1 = new ArrayList<KeyValue>();    
  165. +    InternalScanner scanner1 = region.getScanner(scan1);  
  166. +    while(scanner1.next(results1));  
  167. +      
  168. +    ColumnPrefixFilter singlePrefixFilter;  
  169. +    Scan scan2 = new Scan();  
  170. +    scan2.setMaxVersions();  
  171. +    singlePrefixFilter = new ColumnPrefixFilter(Bytes.toBytes("p"));  
  172. +   
  173. +    scan2.setFilter(singlePrefixFilter);  
  174. +    List<KeyValue> results2 = new ArrayList<KeyValue>();    
  175. +    InternalScanner scanner2 = region.getScanner(scan1);  
  176. +    while(scanner2.next(results2));  
  177. +      
  178. +    assertEquals(results1.size(), results2.size());  
  179. +  }  
  180. +    
  181. +  List<String> generateRandomWords(int numberOfWords, String suffix) {  
  182. +    Set<String> wordSet = new HashSet<String>();  
  183. +    for (int i = 0; i < numberOfWords; i++) {  
  184. +      int lengthOfWords = (int) (Math.random()*2) + 1;  
  185. +      char[] wordChar = new char[lengthOfWords];  
  186. +      for (int j = 0; j < wordChar.length; j++) {  
  187. +        wordChar[j] = (char) (Math.random() * 26 + 97);  
  188. +      }  
  189. +      String word;  
  190. +      if (suffix == null) {  
  191. +        word = new String(wordChar);  
  192. +      } else {  
  193. +        word = new String(wordChar) + suffix;  
  194. +      }  
  195. +      wordSet.add(word);  
  196. +    }  
  197. +    List<String> wordList = new ArrayList<String>(wordSet);  
  198. +    return wordList;  
  199. +  }  
  200. +}  
  201. +  
  202. .  


ColumnPrefixFilter

[html] view plaincopy
  1. public class ColumnPrefixFilterextends FilterBaseThis filter is used for selecting only those keys with columns that matches a particular prefix. For example, if prefix is 'an', it will pass keys will columns like 'and', 'anti' but not keys with columns like 'ball', 'act'.   

上面是类的说明
只有一个有参构造 ColumnPrefixFilter(byte[] prefix) 
这个类用法很简单，就是匹配前缀是prefix的rowkey，但是，不知道大家用了之后有什么感觉，我是用了，但是不起作用，有起作用的大牛告诉我下。

无奈之下，只好选择PrefixFilter

PrefixFilter

类说明 ：

Pass results that have same row prefix.

同样的构造方法，跟ColumnPrefixFilter一模一样，用法也相同，

基本上几个Filter就是这些了，慢慢的我再更新这个文章

上段代码，我自己写的，使用中的代码

[java] view plaincopy
  1. public static String getKeywordTableRowkeyUseFilter(String filterString1,String filterString2) {  
  2.     FilterList filterList = new FilterList();  
  3.     String rowkeyValue = "" ;  
  4.     Scan s1 = new Scan();  
  5.         String [] sf1=filterString1.split(",");  
  6.         filterList.addFilter(new SingleColumnValueFilter(Bytes.toBytes(sf1[0]),  
  7.                                                          Bytes.toBytes(sf1[1]),  
  8.                                                          CompareOp.EQUAL,Bytes.toBytes(sf1[2])  
  9.                                                          ));  
  10.         String [] sf2=filterString2.split(",");  
  11.         filterList.addFilter(new SingleColumnValueFilter(Bytes.toBytes(sf2[0]),  
  12.                    Bytes.toBytes(sf2[1]),  
  13.                    CompareOp.EQUAL,Bytes.toBytes(sf2[2])  
  14.                    ));  
  15.         filterList.addFilter(new ColumnPrefixFilter(Bytes.toBytes("3274980668:"))) ;  
  16.         filterList.addFilter(new PrefixFilter(Bytes.toBytes("3274980668:"))) ;  
  17.   
  18.     s1.setFilter(filterList);  
  19.     ResultScanner ResultScannerFilterList;  
  20.     try {  
  21.         ResultScannerFilterList = tableKeyword.getScanner(s1);  
  22.         for(Result rr=ResultScannerFilterList.next();rr!=null;rr=ResultScannerFilterList.next()){  
  23.             String rowkeyValueTmp  = new String(rr.getRow()) ;  
  24.               
  25.             rowkeyValue = rowkeyValue + "##" + rowkeyValueTmp ;  
  26.               
  27.         }  
  28.     } catch (IOException e) {  
  29.         // TODO Auto-generated catch block  
  30.         e.printStackTrace();  
  31.     }  
  32.     log.warn("rowkeyValue" + rowkeyValue) ;  
  33.     return rowkeyValue ;  
  34. }  


PrefixFilter和ColumnPrefixFilter的用法几乎一样，但是在开发中，建议使用PrefixFilter

0 0
与人工智能有关的电影 与人工智能有关的电影
原创粉丝点击
热门IT博客
揭秘淘宝刷到单流程图揭秘淘宝刷到单流程图
全球电子元器件数据库全球电子元器件数据库
网络控制器有叹号
php重庆好找工作吗
招聘网络主播
成都知美术馆开放时间
苹果蓝牙共享网络
单片机wifi模块传输
浏览器打不开淘宝
网络蜘蛛与源代码
音乐佳葫芦丝淘宝网
成都网络推广公司
音乐可视化软件
玉兔miki淘宝照片
netsnmp windows配置
淘宝代购衣服是正品吗
白岩松事件犯众怒知乎
网络批发玩具平台
macbookair删除软件
xp升级win7软件
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 消防栓标志 室内消防栓多少米内禁止堆物 消防栓玻璃价格 消防栓漏水打什么电话 消防栓接头型号 消防栓的使用方法5步骤 室内消防栓的使用方法 消防栓泵 消防栓的使用方法步骤 消防栓阀门价格 消防栓多少钱一个 消防栓的使用方法 消防栓尺寸规格 船用消防栓 地下消防栓 消防栓型号 消防栓水泵 消防栓使用方法步骤图 消防栓价格 消防栓的英文 消防栓结构 消防栓的拼音 消防栓厂家 室内消防栓 消防栓怎么使用 消防栓 英文 消防栓的作用 消防栓门 如何使用消防栓 室内消防栓图片 消防栓英文 消防栓箱 消防栓箱厂家 消防栓装饰 消防栓生产厂家 防火栓 消防栓检查 消防栓多少钱 一个消防栓多少钱 地下消火栓图片 消防栓箱多少钱一个

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里