Eclipse远程调试Spark
来源:互联网 发布:win10网络连接不上 编辑:程序博客网 时间:2024/06/07 09:37
修改配置文件
修改${spark_home}/bin/spark-class文件:
"$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888 "$@"
参数说明:
-Xdebug 启用调试特性
-Xrunjdwp 启用JDWP实现,包含若干子选项:
transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8888 JVM在8888端口上监听请求,这个设定为一个不冲突的端口即可。
server=y
y表示启动的JVM是被调试者。如果为n,则表示启动的JVM是调试器。suspend=y y表示启动的JVM会暂停等待,直到调试器连接上才继续执行。suspend=n,则JVM不会暂停等待。
启动Spark Application
用eclipse
将项目export
出jar
包,传到集群上使用spark-submit
提交Application
,可以看到在等待:
注意,传到集群上的代码要和本地一样!
在Eclipse设置远程调试的ip和port
- Debug as
- Debug Configurations
- Remote Java Application
- 配置ip和port
0 0
- Eclipse远程调试Spark
- Eclipse远程调试Spark
- Spark代码Eclipse远程调试
- Spark应用远程调试
- idea spark远程调试
- spark远程调试
- idea远程调试 spark
- Spark远程调试IDE调试
- eclipse 编译、调试 Spark
- win7 eclipse 调试spark
- Spark源码IDEA远程调试
- Spark 1.5.0 远程调试
- Spark 1.5.0 远程调试
- Spark 1.5.0 远程调试
- spark源码远程调试开发
- Spark学习笔记之-Spark远程调试
- Websphere+Eclipse远程调试
- Eclipse的远程调试
- 将博客搬至CSDN
- Linux 下开发包安装问题
- PCL库简要说明
- Spark的算子的分类
- PCL中可用的PointT类型
- Eclipse远程调试Spark
- PCL中IO模块和类的介绍
- 从PCD文件写入和读取点云数据
- spring-boot 整合mybatis 配置 可以发布到tomcat中运行
- 连接两个点云中的字段或数据形成新点云以及Opennni Grabber初识
- kd-tree理论以及在PCL 中的代码的实现
- PCL学习八叉树
- Android 使用SwipeBackLayout实现滑动返回上一级页面——实战来袭
- PCL 可视化