windows下用Hadoop4Win + Eclipse4.2.2 运行 WordCount 程序
来源:互联网 发布:中年女装品牌 知乎 编辑:程序博客网 时间:2024/05/17 06:15
1.系统+软件
WinXP + Eclipse Version: 4.2.2
2. 安装Hadoop4Win
http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win
注意:设置环境变量
path添加:c:/hadoop4win/bin;
3. Eclipse
3.1安装插件 需要下载hadoop-0.20.3-dev-eclipse-plugin.jar,将 hadoop-0.20.3-dev-eclipse-plugin.jar改名为hadoop-0.20.2-eclipse-plugin.jar复制到 eclipse安装目录/plugins/ 下。
3.2设置Map/Reduce Location
注:若上图设置出现错误,请安装JDK1.6,并设置Compiler、Installed JREs
如果安装插件成功,打开Window—>Preferens,你会发现Hadoop Map/Reduce选项,在这个选项里你需要配置Hadoop installation directory。配置完成后退出。
3.配置Map/Reduce Locations。
在Window—>Show View中打开Map/Reduce Locations。
在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键--》New Hadoop Location。在弹出的对话框中你需要配置Location name,如hadoop,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为mapred-site.xml、core-site.xml中配置的地址及端口。
4.新建项目。
File--》New--》Other--》Map/Reduce Project
项目名可以随便取,如hadoop-test。
复制 hadoop安装目录/src/example/org/apache/hadoop/example/WordCount.java到刚才新建的项目下面。
5.上传模拟数据文件夹。
为了运行程序,我们需要一个输入的文件夹,和输出的文件夹。输出文件夹,在程序运行完成后会自动生成。我们需要给程序一个输入文件夹。
在当前目录(如hadoop安装目录)下新建文件夹input,并在文件夹下新建两个文件file01、file02,这两个文件内容分别如下:
file01:Hello World Bye World
file02:Hello Hadoop Goodbye Hadoop
6.运行项目。
a..在新建的项目hadoop-test,点击WordCount.java,右键--》Run As--》Run Configurations
b..在弹出的Run Configurations对话框中,点Java Application,右键->New,这时会新建一个application名为WordCount
c..配置运行参数,点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,如
hdfs://localhost:9000/user/Administrator/input
hdfs://localhost:9000/user/Administrator/output
7.点击Run on hadoop,运行程序。
8.等运行结束后,可以在终端中用命令bin/hadoop fs -cat output/* 查看生成的文件内容。
eclipse控制台输出信息:
14/01/08 15:39:52 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
14/01/08 15:39:52 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
14/01/08 15:39:52 INFO input.FileInputFormat: Total input paths to process : 2
14/01/08 15:39:53 INFO mapred.JobClient: Running job: job_local_0001
14/01/08 15:39:53 INFO input.FileInputFormat: Total input paths to process : 2
14/01/08 15:39:53 INFO mapred.MapTask: io.sort.mb = 100
14/01/08 15:39:53 INFO mapred.MapTask: data buffer = 79691776/99614720
14/01/08 15:39:53 INFO mapred.MapTask: record buffer = 262144/327680
14/01/08 15:39:53 INFO mapred.MapTask: Starting flush of map output
14/01/08 15:39:54 INFO mapred.MapTask: Finished spill 0
14/01/08 15:39:54 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
14/01/08 15:39:54 INFO mapred.LocalJobRunner:
14/01/08 15:39:54 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done.
14/01/08 15:39:54 INFO mapred.MapTask: io.sort.mb = 100
14/01/08 15:39:54 INFO mapred.JobClient: map 100% reduce 0%
14/01/08 15:39:54 INFO mapred.MapTask: data buffer = 79691776/99614720
14/01/08 15:39:54 INFO mapred.MapTask: record buffer = 262144/327680
14/01/08 15:39:54 INFO mapred.MapTask: Starting flush of map output
14/01/08 15:39:54 INFO mapred.MapTask: Finished spill 0
14/01/08 15:39:54 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000001_0 is done. And is in the process of commiting
14/01/08 15:39:54 INFO mapred.LocalJobRunner:
14/01/08 15:39:54 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000001_0' done.
14/01/08 15:39:54 INFO mapred.LocalJobRunner:
14/01/08 15:39:54 INFO mapred.Merger: Merging 2 sorted segments
14/01/08 15:39:54 INFO mapred.Merger: Down to the last merge-pass, with 2 segments left of total size: 77 bytes
14/01/08 15:39:54 INFO mapred.LocalJobRunner:
14/01/08 15:39:55 INFO mapred.TaskRunner: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
14/01/08 15:39:55 INFO mapred.LocalJobRunner:
14/01/08 15:39:55 INFO mapred.TaskRunner: Task attempt_local_0001_r_000000_0 is allowed to commit now
14/01/08 15:39:55 INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to hdfs://localhost:9000/user/Administrator/output
14/01/08 15:39:55 INFO mapred.LocalJobRunner: reduce > reduce
14/01/08 15:39:55 INFO mapred.TaskRunner: Task 'attempt_local_0001_r_000000_0' done.
14/01/08 15:39:55 INFO mapred.JobClient: map 100% reduce 100%
14/01/08 15:39:55 INFO mapred.JobClient: Job complete: job_local_0001
14/01/08 15:39:55 INFO mapred.JobClient: Counters: 14
14/01/08 15:39:55 INFO mapred.JobClient: FileSystemCounters
14/01/08 15:39:55 INFO mapred.JobClient: FILE_BYTES_READ=51001
14/01/08 15:39:55 INFO mapred.JobClient: HDFS_BYTES_READ=117
14/01/08 15:39:55 INFO mapred.JobClient: FILE_BYTES_WRITTEN=103727
14/01/08 15:39:55 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=41
14/01/08 15:39:55 INFO mapred.JobClient: Map-Reduce Framework
14/01/08 15:39:55 INFO mapred.JobClient: Reduce input groups=5
14/01/08 15:39:55 INFO mapred.JobClient: Combine output records=6
14/01/08 15:39:55 INFO mapred.JobClient: Map input records=2
14/01/08 15:39:55 INFO mapred.JobClient: Reduce shuffle bytes=0
14/01/08 15:39:55 INFO mapred.JobClient: Reduce output records=5
14/01/08 15:39:55 INFO mapred.JobClient: Spilled Records=12
14/01/08 15:39:55 INFO mapred.JobClient: Map output bytes=82
14/01/08 15:39:55 INFO mapred.JobClient: Combine input records=8
14/01/08 15:39:55 INFO mapred.JobClient: Map output records=8
14/01/08 15:39:55 INFO mapred.JobClient: Reduce input records=6
- windows下用Hadoop4Win + Eclipse4.2.2 运行 WordCount 程序
- Hadoop4Win + Eclipse 运行 WordCount 程序
- Hadoop4Win + Eclipse 运行 WordCount 程序
- Hadoop4Win + Eclipse 运行 WordCount 程序
- 远程windows用eclipse运行wordcount程序
- Windows平台下运行hadoop程序wordCount记录
- ubuntu下hadoop运行wordcount程序
- 在Windows下的Eclipse中如何将WordCount程序提交到集群运行
- windows下idea编写WordCount程序,并打jar包上传到hadoop集群运行
- 用hadoop运行一个简单程序WordCount
- 用hadoop运行一个简单程序WordCount
- hadoop运行WordCount程序
- Hadoop 运行 Wordcount程序
- 运行WordCount程序
- 运行wordCount程序
- 成功在pseudo-distributed mode下运行wordcount 程序
- linux下eclipse上运行hadoop自带wordcount程序
- Eclipse下运行hadoop自带的mapreduce程序--wordcount
- Java排序实现的心得
- 用C#画椭圆或者圆
- Team Foundation Server 2010 安装、部署与配置(七):创建 Team Project 时的一个 Issue:TF218027 .
- C/C++自动变量和静态变量的初始化(这是笔记,不官方)
- 测试类MainClass
- windows下用Hadoop4Win + Eclipse4.2.2 运行 WordCount 程序
- Android Tombstone/Crash的log分析和定位
- SharedPreferences
- 关于Web中的冻结表头
- ViewPager里面包含HorizontalScrollView 触摸项冲突
- Ogre 渲染队列(一)
- Objective C内存管理——如何理解autorelease pool
- 亡羊补牢,为时不晚
- Qt 事件 QMouseEvent 鼠标示例