mapreduce读取文件内容输出到hbase
来源:互联网 发布:删了windows.old就崩溃 编辑:程序博客网 时间:2024/05/16 10:24
package hadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;import org.apache.hadoop.hbase.mapreduce.TableReducer;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;public class FileToHbase {static class FileMapper extends Mapper<LongWritable, Text, Text, IntWritable>{@Overrideprotected void map(LongWritable key, Text value,Context context)throws IOException, InterruptedException {String line = value.toString();String[] lines = line.split(" ");for(String string:lines){context.write(new Text(string), new IntWritable(1));}}}static class FileReduce extends TableReducer<Text, IntWritable, ImmutableBytesWritable>{@Overrideprotected void reduce(Text key, Iterable<IntWritable> values,Context context)throws IOException, InterruptedException {int sum=0;for(IntWritable ints:values){sum += ints.get();}Put put = new Put(("row"+key).getBytes());put.add("f".getBytes(), key.getBytes(), (sum+"").getBytes());context.write(new ImmutableBytesWritable("result".getBytes()), put);}}public static void main(String[] args) throws Exception {Configuration conf = HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", "192.168.10.250");conf.set("hbase.zookeeper.property.clientPort", "2181");Job job = Job.getInstance(conf,"hbasedemo");job.setJarByClass(FileToHbase.class);FileInputFormat.addInputPath(job, new Path("/test/test.txt"));job.setMapperClass(FileMapper.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(IntWritable.class);TableMapReduceUtil.initTableReducerJob("result", FileReduce.class, job);boolean b = job.waitForCompletion(true);if(!b){System.exit(1);}}}
阅读全文
0 0
- mapreduce读取文件内容输出到hbase
- mapreduce读取hbase数据输出到文件中
- MapReduce读取HBase内容到hdfs
- 读取文件内容输出到控制台方法
- MapReduce读取txt文件存储至HBase,以文件名作Key,整个文件内容作Value
- MapReduce读取txt文件存储至HBase,以文件名作Key,整个文件内容作Value
- 从hbase读取内容到hdfs文件上
- MapReduce统计结果输出到hbase
- mapreduce读取hbase内容,结果放到hbase中
- mapreduce读取hbase值,结果输出到多个hbase表中
- java 控制台输出读取到的.xls文件内容
- php 读取文件自身内容,与读取文件输出内容
- php 读取文件自身内容,与读取文件输出内容
- MapReduce操作hbase实例代码 MapReduce读取文件,存入hbase实例
- 读取文件内容到NSString
- java输出内容到文件
- MapReduce编程实现txt文件中的内容导入HBase
- MapReduce编程实现txt文件中的内容导入HBase
- HiAR Glasses六月底预售,第三季度发货(用AR看世界,世界大有不同)
- 通过HIDDEV编程接口读取易方数码笔的坐标数据
- gradle加速下载jar包 标签: gradle
- springmvc + mybatis程序中出现的配置文件介绍以及配置
- 设计模式 之 准备开始之前(转载23种经典的jdk中设计模式)
- mapreduce读取文件内容输出到hbase
- 基础、柱标高
- XXE攻击指南
- 如何在 XAMPP 中设置多个网站
- IIPP Week 2
- PhotoShop CS5 EXTENED(12.0 x64)快捷键汇总
- java.lang.IllegalStateException: This Activity already has an action bar supplied by the window deco
- Custom Animation——自定义动画
- 以浏览器打开网页为例分析计算机内部一系列操作动作