Hadoop入门之Hadoop中的HelloWorld程序
来源:互联网 发布:零售药店收银软件 编辑:程序博客网 时间:2024/05/01 17:58
在linux平台上执行wordcount,有官方示例,相应的jar包放在hadoop-2.0.0-cdh4.5.0\share\hadoop\mapreduce1下的hadoop-examples-2.0.0-mr1-cdh4.5.0.jar(注:本人用的是CDH4.5.0版本),我们首先需要准备好数据:
echo "Hello World Hello Hadoop" > 1.txtecho "Hello Hadoop Bye " >2.txt
然后把数据put到HDFS里:
hadoop fs -mkdir /inputhadoop fs -put /root/1.txt /inputhadoop fs -put /root/2.txt /input
再然后进入到jar所在的目录里“
cd hadoop-2.0.0-cdh4.5.0\share\hadoop\mapreduce1
执行命令:
hadoop jar hadoop-mapreduce-examples-2.0.0-cdh4.5.0.jar WordCount /input /output
其中,/output是执行结果输出目录。
到此,HelloWorld就顺利执行了,你可以用hadoop fs -cat /output/part 命令来查看结果.
接下来,我们在看看在window上的eclipse如何执行。
首先贴出代码:
public class WordCount { // mapper public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> { private static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer token = new StringTokenizer(line); while (token.hasMoreElements()) { word.set(token.nextToken()); context.write(word, one); } }; } // reduce public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> { protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable value : values) { sum += value.get(); } context.write(key, new IntWritable(sum)); }; } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); System.setProperty("HADOOP_USER_NAME", "root");//这句话很重要,要不然会告你没有权限执行 Job job = new Job(conf); String[] ioArgs = new String[] { "hdfs://192.168.1.101:7001/input", "hdfs://192.168.1.101:7001/output" }; String[] otherArgs = new GenericOptionsParser(conf, ioArgs).getRemainingArgs(); job.setJarByClass(WordCount.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); job.setMapperClass(Map.class); job.setReducerClass(Reduce.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); System.exit(job.waitForCompletion(true) ? 0 : 1); }}
然后在eclipse上点执行即可,在执行时可能发现jvm内存不够,添加-Xmx1024M参数执行即可。
0 0
- Hadoop入门之Hadoop中的HelloWorld程序
- 第三周:Hadoop 入门 之helloworld
- hadoop实例之HELLOWORLD
- hadoop实例之HELLOWORLD
- hadoop运行程序详解-helloworld
- Hadoop从入门到精通之 如何运行hadoop程序
- hadoop helloworld
- hadoop MapReudce入门程序
- WordCount:Hadoop中MapReduce的HelloWorld程序
- hadoop中的测试程序
- Hadoop入门之HDFS
- Hadoop入门之MapReduce
- Hadoop之快速入门
- Hadoop入门之HDFS
- Hadoop之MapReduce的HelloWorld(七)
- Hadoop入门基础教程 Hadoop之单词计数
- 入门Hadoop的WordCount程序
- Hadoop入门经典: WordCount程序
- 跨域、跨文档传输数据(三)---- postMessage ; 实现跨文档消息传输;
- 图解用Fiddler做http协议分析入门
- Android xutil3网络模块二次封装
- 使用axis1+spring+hibernate搭建webservice框架(一)
- mongodb常用命令
- Hadoop入门之Hadoop中的HelloWorld程序
- Xcode清除缓存、清理多余证书
- Block (二) 块方法的应用症状枚举
- hdu 1269 迷宫城堡【强连通+Kosaraju】
- 利用.dSYM和.app文件准确定位Crash位置
- OnePlus One Root
- hjr教程-DSP(五):汇编运算与段的理解
- 高级Android工程师面试回忆录
- 【JavaScript】——兼容浏览器的居中显示+关闭页面