一个计算HBase表中行数的MapReduce程序
来源:互联网 发布:js移除元素的属性值 编辑:程序博客网 时间:2024/06/05 10:10
public class RowCounter{
static final String NAME="rowcounter";
static class RowCounterMapper extends TableMapper<ImmutableBytesWritable ,Result>{
public static enum Counters {ROWS}
@overrideion
public void map(ImmutableBytesWritable row, Result values, Context contet ){
for(KeyVlaue value : values.list()){
if(value.getValue().length >0){
context.getCounter(Counters.ROWS).increments(1);
break
}}}}
public static Job createSubmitatableJob(Configuration conf, String [] args)
String tableName = args[0];
Job job= new Job(conf, NAME +"_"+tableName);
job.setJarByClASS(RowConter.class)
StringBuilder sb= new StringBuilder();
final int columnoffset= 1;
for(int i=columnoffset; i<args.length;i++){
if(i > columnoffset){
sb.append(" ");
}
sb.append(args[i)
}
Scan scan = new Scan();
scan.setFilter (new FirstKeyOnlyFilter());
if(sb.length>0){
for (String columnName : sb.toString().split(" "){
String [] fields = columnName.split(" :");
if(filds.length ==1 ){
scan.addFamily(Bytes.toBytes(fields[0])
else{
scan.addColmn(Bytes.toBytes(fields[0],Bytes.toBytes(fields[1]);}}
//Second argument is the table name
job.setOutputFormatClass(NullOutputFormat.class);
TableMapRecueUtils.intiTableMapperJob(tableName, scan, RowCounterMapper.class,ImmutableBytesWritable.calss,Result.class,job);
job..setNmReduceTasks(0);
return job;
}
public static void main(String[] args) {
Configuration conf = HBaseConfiguration.create();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainningArgs();
if(otherArgs.length<1){
System.err.println("Usage:RowConter talbenam[e [<clolmn1 >< column2>..]
System.exit(-1);
}
job job= createSubmittableJob(conf, otherArgs);
System.exit(job.waitForCompletion(true) :0?1);
}
page= 509 hadoop权威指南
- 一个计算HBase表中行数的MapReduce程序
- 通过MapReduce程序实现对hbase表数据的插入
- 一个统计Word文档中行数的VBA例程
- hbase的mapreduce程序小抄
- 通用MapReduce程序复制HBase表数据
- 一个完整的mapreduce程序
- 一个完整的MapReduce程序
- MapReduce跑数导入HBase
- 计算单词数量的mapreduce程序
- 计算均值mean的MapReduce程序Computing mean with MapReduce
- Mapreduce多表关联与词频统计程序运行结果输出到Hbase的两个途径
- 编写MapReduce程序访问HBase 遇到的问题与解决方法
- mapreduce里程计算的一个简单的reduce计算demo
- 计算一个数的位数
- Oracle数据库中行数的表达rownum
- hadoop权威指南mapreduce的一个程序
- 使用Hadoop的mapReduce实现计算单词数
- 如何通过Java程序提交yarn的mapreduce计算任务
- 浅谈vector存储内容与空间利用
- *LeetCode-Contains Duplicate III
- Java程序员常犯的10个错误
- 数据结构实践——队列数组
- notepad++使用技巧总结
- 一个计算HBase表中行数的MapReduce程序
- 黑马程序员——基础知识——数组
- 传统轮播
- POJ 3074 解题报告
- 关于显著性检测的思考
- 今天继续码~python的文件访问~
- Servlet学习
- 《机器学习实战》笔记之九——树回归
- 数据结构实践项目——队列