spark远程调试
来源:互联网 发布:windows 苹方字体 otf 编辑:程序博客网 时间:2024/05/17 23:55
Master
cd $SPARK_HOME/
在spark的Master节点,在conf/spark-env.sh文件中添加如下参数
export SPARK_MASTER_OPTS=”-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000”
上面的suspend=y表示挂起,address=10000是远程客户端的链接端口
执行
sbin/start-master.sh
执行jps
8341 Jps
8303 – main class information unavailable
可以看到Master被挂起,等待远程连接来启动
在客户端IDE 建立一个remote application
host: 192.168.198.128 port: 10000
如图:
上传不了,擦
找到spark包下的Master.scala类
在main方法里打断点
按debug开始调试
服务端执行jps
8382 Jps
8303 Master
Worker
在Worker所在节点的配置文件在conf/spark-env.sh文件中添加如下参数
export SPARK_WORKER_OPTS=”-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001”
启动Worker:
start-slave.sh spark://node01:7077
执行jps
2209 – main class information unavailable
2239 Jps
在客户端IDE 建立一个remote application
host: 192.168.198.129 port: 10001
如图:
上传不了,擦
找到spark包下的Worker.scala类
在main方法里打断点
按debug开始调试
服务端执行jps
2209 Worker
2254 Jps
Application
待更新…
Executor
待更新…
- Eclipse远程调试Spark
- Spark应用远程调试
- Eclipse远程调试Spark
- idea spark远程调试
- spark远程调试
- idea远程调试 spark
- Spark远程调试IDE调试
- Spark源码IDEA远程调试
- Spark 1.5.0 远程调试
- Spark 1.5.0 远程调试
- Spark 1.5.0 远程调试
- Spark代码Eclipse远程调试
- spark源码远程调试开发
- Spark学习笔记之-Spark远程调试
- Spark作业代码(源码)IDE远程调试
- hive,spark的远程调试设置
- spark关联源码及远程调试设置
- 远程调试spark源码(基于java的调试工具)
- 83. Remove Duplicates from Sorted List
- Nginx搭建图片服务器(Windows)
- 网络游戏粘包处理
- openGL ES学习一
- XunSearch初探 ubuntu16.04 进行安装简单使用
- spark远程调试
- [Unity&photon]photon导入Unity 建立工程 详细步骤教程
- Spring MVC 异常处理详解
- 多线程同步互斥实例——使用synchronized实现线程通信和互斥
- 程序员最核心的竞争力是什么?
- sql语句中的#{}占位符和${}占位符
- 移动APP漏洞自动化检测平台建设
- hadoop入门(一)
- TIN生成坡度、坡向与DEM生成的坡度、坡向有何不同?