worldcount程序java版本
来源:互联网 发布:网络光纤型号 编辑:程序博客网 时间:2024/06/05 15:04
程序如下
package com.lijie.worldcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("hdfs://lijie:9000/test/lijie.txt")); FileOutputFormat.setOutputPath(job, new Path("hdfs://lijie:9000/test/out111")); System.exit(job.waitForCompletion(true) ? 0 : 1); }}
0 0
- worldcount程序java版本
- WorldCount程序分析
- Hadoop WorldCount程序
- Hadoop学习笔记(七)---简单WorldCount程序的实现
- WorldCount运行讲解
- SparkStreaming的worldCount实例
- spark: scala实现worldcount
- java程序获取jdk版本等信息
- 网站访问机器人程序的java版本和C#版本。
- Java版本和C++版本的简单Stack程序
- cloudcomputing.ruc题目1000:WorldCount
- 使用Hadoop运行WorldCount示例
- 把程序中的注释去掉的Java实现(初级版本)
- 在Ubuntu下开发java程序注意jdk的版本
- 各种不同版本之Java 程序的开发
- 简单的局域网聊天程序(java版本的)
- Eclipse(Java版本)安装CDT编写C/C++程序
- java socket控制台版本聊天室程序源码下载
- Redis3.2的安装配置与JReid测试
- Java 8 in Action (3) -- Lambda的简单使用
- RadioButton 的并列布局
- ip段/数字,如192.168.0.1/24
- 剑指Offer面试题45:圆圈中最后剩下的数字
- worldcount程序java版本
- EXT2 文件系统
- oracle体系:
- Cookie
- stl各个容器的使用时机
- android.view.WindowManager$BadTokenException: Unable to add window — token null
- CSS3快速上手之4:多重背景
- 简单易学的机器学习算法——极限学习机(ELM)
- 第七周项目3——负数把正数赶出队列