Hadoop4Win + Eclipse 运行 WordCount 程序
来源:互联网 发布:超级基因优化液女主 编辑:程序博客网 时间:2024/05/13 04:50
1. 系统+软件
WinXP + Eclipse Version: 4.2.1
2. Hadoop4Win
http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win
注意:设置环境变量
path 添加:d:/hadoop4win/bin;
3. Eclipse
3.1 安装插件 需要下载hadoop-0.20.3-dev-eclipse-plugin.jar,否则Run on Hadoop没有反应! Google搜索下载即可!
3.2 设置Map/Reduce Location
主要是端口号,一般网上的说明都是对的!
高级设置没有改动!
4. 运行程序
4.1 建立 Map/Reduce工程
4.2 找到 WordCount.java程序,在安装example文件下就有
4.3 准备处理文档
在windows下编辑两个文本,file01.txt和file02.txt,里面随便写一些英文句子;放到E:\hadoop4win\home\你的登录名
然后在hadoop4win打开的Cygwin终端中:
cd /home/你的用户名
hadoop fs -mkdir input
hadoop fs -put file01 input
hadoop fs -put file02 input
4.4 设置运行参数
Run Config中设置
program arguments:
hdfs://localhost:9000/user/hezhixue/input
hdfs://localhost:9000/user/hezhixue/output
VM arguments:
-Xmx512m
5. 异常处理
5.1 在windows eclipse开发环境运行mapred报错“IOException: Cannot run program "chmod": CreateProcess error=2,”
问题原因:没有安装cygwin 或 没有配置环境变量;
解决办法:安装并配置环境变量 bin到 path下 重启 eclipse 问题解决;
5.2 java.lang.OutOfMemoryError: Java heap space
问题原因:客户端程序运行时java虚拟机内存分配不够
解决办法:修改run configuration,选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存即可解决问题。
- Hadoop4Win + Eclipse 运行 WordCount 程序
- Hadoop4Win + Eclipse 运行 WordCount 程序
- Hadoop4Win + Eclipse 运行 WordCount 程序
- windows下用Hadoop4Win + Eclipse4.2.2 运行 WordCount 程序
- eclipse运行WordCount程序记录
- Hadoop4Win+Eclipse
- 远程windows用eclipse运行wordcount程序
- Hadoop eclipse插件安装和在eclipse运行wordcount程序
- eclipse运行wordcount
- Eclipse运行wordcount步骤
- eclipse运行wordcount
- linux下eclipse上运行hadoop自带wordcount程序
- Eclipse下运行hadoop自带的mapreduce程序--wordcount
- hadoop2.2.0配置eclipse运行wordcount程序问题及解决方法
- eclipse 环境下运行hadoop-2.5.1wordcount程序
- 在eclipse中运行WordCount程序时的错误
- Hadoop 1.x 使用eclipse集成环境运行WordCount程序
- eclipse配置hadoop开发环境并运行WordCount小程序
- 2013年12月4日周2
- 【C语言】14-返回指针的函数与指向函数的指针
- TCP中的定时器
- 【C语言】15-预处理指令1-宏定义
- MFC注册窗口类以及FindWindow按窗口类名查询
- Hadoop4Win + Eclipse 运行 WordCount 程序
- 【C语言】16-预处理指令2-条件编译
- 老外竟然讹诈我们!!!!!!!!
- mysql用户密码设置,root密码
- 常用端口
- 【C语言】17-预处理指令3-文件包含
- bnu 33684 Never Wait for Weights (权值并查集)
- Dijkstra最短路径
- Communication Between Hosting System and Its Plugin Applications(Cross Domains)