eclipse 与hadoop调试环境遇到的问题
来源:互联网 发布:mac os 升级 编辑:程序博客网 时间:2024/06/10 14:49
配置:在win7中使用eclipse,在win7上虚拟一个linux,在linux里安装hadoop。
目的:在eclipse中编写mapreduce程序,连接到hadoop上直接调试执行。
遇到的几个问题如下:
eclipse与hadoop-eclipse-plugin版本问题:试了很多版本,确定eclipse3.3.2版本+hadoop-0.20.2版本可用。hadoop插件就是hadoop自带的。
如果出现问题,把eclipse workspace清空,因为之前试用的plugin会影响到eclipse的环境。
连接问题:
在linux中用 ifconfig 命令查看虚拟机的ip,在eclipse连接时,使用该ip。hadoop配置文件中,都使用ip,不用主机名,比如 core-xml.site mapred master slave
在windows c盘的C:\Windows\System32\drivers\etc目录下修改 hosts文件,将虚拟机的ip和主机名加进去。
连接的时候,在edit hadoop location时,使用的配置和linux下的hadoop配置要一致。
以上基本可以run on hadoop,但是,想通过在线调试,出现了一个很棘手的问题:
在hadoop 的mapred-site.xml配置:
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx200m -agentlib:jdwp=transport=dt_socket,address=8883,server=y,suspend=y</value>
</property>
在eclipse中的edit hadoop location 配置中也要配置 mapred.child.java.opts。
但是,出现以下问题:
12/07/10 10:46:57 WARN mapred.JobClient: Error reading task outputhttp://hadoop:50060/tasklog?plaintext=true& taskid=attempt_201207101045_0001_m_000016_0&filter=stdout
12/07/10 10:46:57 WARN mapred.JobClient: Error reading task outputhttp://hadoop:50060/tasklog?plaintext=true&taskid=attempt_201207101045_0001_m_000016_0&filter=stderr
正在寻找解决方法:
弄了半天,发现是内存不够引起的问题,因为设置的调试环境会另起一个进程,虚拟机可用内存不够起两个-Xmx200m的进程(一个运行,一个调试)。修改-Xmx200m为
-Xmx100m,这样连运行都不行了。所以,至少在这样的环境下是不能进行在线调试的。
- eclipse 与hadoop调试环境遇到的问题
- 在eclipse中调试Hadoop遇到的问题
- eclipse里搭建hadoop环境遇到的问题
- eclipse c语言开发环境遇到的问题与解决
- Hadoop环境搭建与Eclipse调试环境搭建
- Eclipse Hadoop配置遇到的问题
- 搭建hadoop环境遇到的问题
- 搭建hadoop环境遇到的问题
- eclipse搭建Hadoop(2.7.3)开发环境遇到的问题及应对办法
- eclipse调试遇到的问题集锦
- win7下eclipse远程调试Hadoop遇到的问题解决办法
- 配置 eclipse ndk 环境遇到的问题
- Hadoop与HBase中遇到的问题
- Hadoop 安装与环境搭建——遇到的问题及解决方法总结
- win7+sygwin+eclipse的hadoop伪分布式调试环境安装
- hadoop之mapreduse 在Eclipse下的调试环境篇
- Windows上搭建Eclipse的Hadoop调试环境
- windows下Eclipse的Hadoop运行调试环境搭建
- oracle之性能-forall、BULK COLLECT
- UITableView划动删除的实现
- typeid详解
- 分享45个海量免费电子书下载网站
- uva 133 - The Dole Queue
- eclipse 与hadoop调试环境遇到的问题
- 加载、类加载、类加载器
- android ActionBar与Menu
- VC常用数据类型使用转换详解
- jdbc中关于postgresql schema的配置
- Web开发者必备的20款超赞jQuery插件
- 如何查看进程打开了哪些文件
- 解读“Google十诫”
- zlib and gzip