HBase中的MapReduce 使用多个Scan和多个表
来源:互联网 发布:sybase数据库学习 编辑:程序博客网 时间:2024/06/06 18:36
HBase0.94.5中加入了这个功能。org.apache.hadoop.hbase.mapreduce 包中有一个MultiTableInputFormat类,可以转换多个scan中的数据,然后供MapReduce中mapper或者reducer使用。
用法如下:
List scans = new ArrayList(); Scan scan1 = new Scan(); scan1.setStartRow(firstRow1); scan1.setStopRow(lastRow1); scan1.setAttribute(Scan.SCAN_ATTRIBUTES_TABLE_NAME, table1); scans.add(scan1); Scan scan2 = new Scan(); scan2.setStartRow(firstRow2); scan2.setStopRow(lastRow2); scan1.setAttribute(Scan.SCAN_ATTRIBUTES_TABLE_NAME, table2); scans.add(scan2); TableMapReduceUtil.initTableMapperJob(scans, TableMapper.class, Text.class, IntWritable.class, job);
jira中添加此功能的讨论链接:https://issues.apache.org/jira/browse/HBASE-3996
- HBase中的MapReduce 使用多个Scan和多个表
- MR(MapReduce)查询hbase数据-用到TableMapper和Scan
- HBase中的Scan操作
- 用MR(MapReduce)查询hbase数据-用到TableMapper和Scan
- [JAVA][DB]用MR(MapReduce)查询hbase数据(Mapper参数传递)-用到TableMapper和Scan
- 用MR(MapReduce)查询hbase数据-用到TableMapper和Scan
- mapreduce操作hbase多个输入表
- Hbase scan过滤器的使用
- HBase常用功能和HBase+MapReduce使用总结
- HBase MapReduce 使用
- 使用mapreduce操作Hbase
- HBase和MapReduce
- Hbase scan
- MapReduce处理HBase中的数据
- hbase shell 中,使用filter进行scan
- Hbase Scan接口使用注意问题
- hbase shell - 使用filter进行scan
- 使用Spark RDD实现HBase分布式scan
- POJ 2352 Stars
- Praat脚本如何实现将数字的文件名根据需要设定同样的位数以0补充
- 阿里云linux绑定域名
- maven中跳过单元测试
- 快捷键
- HBase中的MapReduce 使用多个Scan和多个表
- 【base库学习】进程绑定cpu方法
- 在线工具
- 一些CSS兼容的小技巧
- 自动修改windwos注册表信息
- qt中让控件位置岁窗口大小自动调整,并且自身大小不变
- linux定时删除文件
- Ubuntu下eclipse安装
- Agri-Net