Eclipse远程调试Spark
来源:互联网 发布:一级建造师学习软件 编辑:程序博客网 时间:2024/06/04 21:06
http://zhangrenhua.com博客已搬家
背景
在安装好spark的前提下,我们写的代码需要进行远程调试怎么办?看了网上很多文档发现每一个是正确的,今天特分享分享。
修改配置文件
修改${spark_home}/bin/spark-class文件,找到JAVA_OPTS:
参数说明:
-Xdebug 启用调试特性
-Xrunjdwp 启用JDWP实现,包含若干子选项:
transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8888 JVM在8888端口上监听请求,这个设定为一个不冲突的端口即可。
server=y y表示启动的JVM是被调试者。如果为n,则表示启动的JVM是调试器。
suspend=y y表示启动的JVM会暂停等待,直到调试器连接上才继续执行。suspend=n,则JVM不会暂停等待。
-Xrunjdwp 启用JDWP实现,包含若干子选项:
transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8888 JVM在8888端口上监听请求,这个设定为一个不冲突的端口即可。
server=y y表示启动的JVM是被调试者。如果为n,则表示启动的JVM是调试器。
suspend=y y表示启动的JVM会暂停等待,直到调试器连接上才继续执行。suspend=n,则JVM不会暂停等待。
启动Spark Application
本文以我自己的代码举例说明:先将写好的代码打包放到服务器上,然后执行下面代码。如参数不懂可查官方文档(注:一定要选择yarn-client模式运行):
spark-submit --class spark.Demo --masteryarn-client /home/hadoop/apptest/spark-demo.jar /tmp/data.txt --executor-memory 1024m
在Eclipse设置远程调试的ip和port
总结
运行的jar文件必须要和Eclipse上的源码保持一致。 0 0
- Eclipse远程调试Spark
- Eclipse远程调试Spark
- Spark代码Eclipse远程调试
- Spark应用远程调试
- idea spark远程调试
- spark远程调试
- idea远程调试 spark
- Spark远程调试IDE调试
- eclipse 编译、调试 Spark
- win7 eclipse 调试spark
- Spark源码IDEA远程调试
- Spark 1.5.0 远程调试
- Spark 1.5.0 远程调试
- Spark 1.5.0 远程调试
- spark源码远程调试开发
- Spark学习笔记之-Spark远程调试
- Websphere+Eclipse远程调试
- Eclipse的远程调试
- mrc 和 arc的转换
- 泛型
- NSCalndar 使用方法
- 【JS学习笔记】08 JavaScript 对象
- NLTK学习笔记(6)
- Eclipse远程调试Spark
- 如果想在main函数之前或main函数之后做一些工作
- Python实现人人网爬虫,爬取用户所有状态信息。
- android之修改系统自带ProgressDialog样式
- 如何查看OpenCV源代码
- hdu 3389 Game 博弈
- makefile详解 自动生成依赖性
- 修改navigationBar上的title的字体遗迹大小
- 使用MyEclipse构建MAVEN项目