mapreduce调试
来源:互联网 发布:帝国cms技巧 编辑:程序博客网 时间:2024/06/05 21:03
调试mapreduce与调试hadoop源码不相同,调试hadoop的namenode和一下job可以通过下面这些配置:
HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"
#HADOOP_SECONDARYNAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8789,server=y,suspend=y"
#HADOOP_DATANODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8790,server=y,suspend=y"
#HADOOP_BALANCER_OPTS="-agentlib:jdwp=transport=dt_socket,address=8791,server=y,suspend=y"
#HADOOP_JOBTRACKER_OPTS="-agentlib:jdwp=transport=dt_socket,address=8792,server=y,suspend=y"
#HADOOP_TASKTRACKER_OPTS="-agentlib:jdwp=transport=dt_socket,address=8793,server=y,suspend=y"
注意上面这些配置时加入到hadoop-env.sh中,一次最好放开一个,否则可能会出现错误。
但是在本地的eclipse上面调试写好的mapreduce就比较麻烦了,需要远程调试,可以在hadoop的hadoop_home/conf/mapred-site.xml中加入下面这几句话:
<property>
<name>mapred.child.java.opts</name>
<value>-agentlib:jdwp=transport=dt_socket,address=8883,server=y,suspend=y</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>1</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>1</value>
</property>
<property>
<name>mapred.job.reuse.jvm.num.tasks</name>
<value>-1</value>
</property>
其中第一个属性指定监听端口,也可以直接在项目中的src目录下面新建mapred-site.xml,把hadoop的这个文件的内容复制到这里即可。然后开始执行次程序。那么就会在map停住0%,这时候你在debug configuration中的远程(remote java application)新建一个,host是linux的地址,端口就是配置的监听端口,然后apply--debug,就会停在你打的断点除了。
- mapreduce调试
- mapreduce调试
- mapreduce 调试
- MapReduce的调试方法
- eclipse 调试 mapreduce 程序
- mapreduce远程调试
- eclipse调试hbase,mapreduce
- MapReduce远程调试
- eclipse调试mapreduce源码
- Hadoop Mapreduce本地调试
- WordCount MapReduce调试
- Eclipse 中调试Mapreduce程序
- 使用eclipse调试hive mapreduce
- eclipse远程调试mapreduce程序
- MapReduce编程实战之“调试”
- Eclipse调试Hadoop-MapReduce程序
- Hadoop2.4 MapReduce本地调试
- IDEA远程调试mapreduce程序
- hangzhou 02
- 输出GBK所有编码及其代表的字符
- 黑马程序员_银行业务调度系统
- cocos2d-x CSV文件读取 (Excel生成csv文件)
- 用谷歌浏览器来当手机模拟器
- mapreduce调试
- 第九章 内存模型和名称空间
- 畅通工程
- 原生 Android 系统 的震动设计
- CodeForces 351B Jeff and Furik(YY题)
- Linux 网络编程之ioctl函数 .
- BitmapDrawable()不正确使用
- Web开发中的四个域对象: page(jsp有效) request(一次请求) session(一次会话) application(当前web应用)
- 代理IP批量验证程序