使用 IntelliJ 远程调试 HDFS
来源:互联网 发布:飞飞cms哪个是真的 编辑:程序博客网 时间:2024/05/09 07:34
首先找到使用的 hadoop 脚本,例如在Apache的hadoop-1.0.0版本中,hadoop位于 ${HADOOP_HOME}/bin 目录下,本人使用的CDH4.4版本中该脚本则位于 /usr/lib/hadoop/bin目录下。
为了不影响原来的使用,将 bin 目录之下的hadoop脚本复制再复制一份。
cp hadoop hadoop-debug
打开 hadoop-debug 脚本,修改以下内容
#exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"exec "$JAVA" -Xdebug -Xrunjdwp:transport=dt_socket,address=9090,server=y,suspend=y $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
之后,就可以使用 hadoop-debug 命令进行 hadoop 操作的调试了。
例如,如果想调试 hadoop fs -ls 是怎么运行的。那么就可以在 hadoop 源码中的相关地方设置断点。之后,运行 hadoop-debug fs -ls /path/name/ 那么这时候,hadoop是不会运行的。hadoop会在9090端口等待调试器的链接,如果调试器未来到,则程序suspend。
之后就很简单了,在IntelliJ 中对远程主机(往往是本地)的 9090 端口进行远程调试,然后,就会跳到之前设置的断点了。
可以通过这个方法调试很多hadoop的操作,看看这些操作在HDFS上到底发生了什么。
0 0
- 使用 IntelliJ 远程调试 HDFS
- 使用 intellij idea 进行远程调试
- 备忘:使用 intellij idea 进行远程调试
- 使用IntelliJ IDEA进行远程调试
- 使用IntelliJ IDEA进行远程调试
- 34.IntelliJ IDEA 远程调试 Tomcat - IntelliJ IDEA 使用教程
- intellij远程调试
- IntelliJ远程调试教程
- IntelliJ IDEA远程调试
- IntelliJ远程调试教程
- IntelliJ远程调试教程
- IntelliJ远程调试教程
- Debug HDFS (远程调试HDFS)
- eclipse远程调试hdfs程序
- Intellij Idea远程调试小记
- Intellij IDEA远程调试tomcat
- (九)Intellij 远程调试
- intelliJ IDEA 远程调试配置
- C++ 深拷贝 浅拷贝
- i鸡蛋灌饼每个宝宝中心将开展你哈不多给合适的宝贝美女
- 今日作息及食谱(7.12)
- STM32 入门教程 系统时钟 SysTick
- ATM32F10x启动文件的选择
- 使用 IntelliJ 远程调试 HDFS
- LeetCode 69. Sqrt(x)
- oracle 11g ORA-00845错误解决
- LeetCode 70. Climbing Stairs (O(n)时间, O(1)空间实现)
- 20个excel函数
- Word 2010:22个经典小技巧大放送
- 世界巨富如何管理时间
- 阿尔文而特太容易认同与56
- ACdream: ACfun