Spark基础随笔:Spark1.6 Idea下远程调试的2种方法
来源:互联网 发布:匿名者黑页源码 编辑:程序博客网 时间:2024/06/05 01:59
使用的开发工具:scala2.10.4、Idea16、JDK8
对于电脑配置不错或和Spark集群在同一个网下的朋友,可以使用方法1;若不是请使用方法2
方法1
把自己的电脑作为Driver端,直接把jar包提交到集群,此时Spark的Master与Worker会一直和本机的Driver端保持连接,调试比较方便。
效果图:方法2
1.导入依赖的包和源码
在下载spark中到的导入spark的相关依赖了包和其源码.zip,相关源码的下载地址:https://github.com/apache/spark/tree/v1.6.0
地址最后面是对应的版本号,下载源码便于看注释
2.使用官方求Pi的例子
3.导出项目jar包
确认之后->build->build artifacts->rebuild
4.启动集群
先修改配置文件,再启动集群可能会导致master无法正常启动,下次想取消远程调试,可以把配置文件再改回来
所以请先启动集群
5.修改配置文件spark-class
spark-class在SPARK_HOME/bin下
修改成
$JAVA_OPTS 为我们添加的参数,下面在命令行中为其声明(建议写到配置文件中)
6.提交Spark,开启端口监听
上传之前生成的jar包到master节点,在命令行中执行
出现如下结果,表示master正在监听5005端口
7.Idea配置远程
添加Remote组件,填写master的ip的监听端口
8.启动调试
JAVA_OPTS参数说明:
参考文章列表:
http://blog.csdn.net/lovehuangjiaju/article/details/49227919 Spark1.5远程调试
http://www.thebigdata.cn/QiTa/12370.html 调试参数
阅读全文
0 0
- Spark基础随笔:Spark1.6 Idea下远程调试的2种方法
- Spark基础随笔:Spark1.6 Idea下远程调试
- idea spark远程调试
- idea远程调试 spark
- Spark源码IDEA远程调试
- win7下用Intelij IDEA 远程调试spark standalone 集群
- spark在idea下的开发调试
- IDEA部署Spark1.5.2开发环境--Spark学习(基础)
- Mac下IDEA+Tomcat的远程调试
- IDEA远程调试的
- HDP2.5.0 + Spark1.6.2 通过IDEA(Win64)远程提交spark jobs On YARN
- IDEA本地执行 or 调试Spark Application的方法
- (二)win7下用Intelij IDEA 远程调试spark standalone 集群
- Win下用idea远程在hadoop上调试spark程序及读取hbase
- 详述 IntelliJ IDEA 远程调试 Tomcat 的方法
- 从零搭建基于sbt和IDEA的远程spark调试工程
- 在IDEA下远程调试JavaScript
- intellij IDEA下远程调试hadoop
- ConfigReader(十四)—— ReadGuideHelpConfig
- MySQL系列之源码浅析
- flex AIR读取本地资源
- iOS-获取手机健康步数,去除人为添加的数据
- 常用开发工具
- Spark基础随笔:Spark1.6 Idea下远程调试的2种方法
- springboot bean 注解绑定
- SQL生成临时表id自增列
- c++ vector容器
- php操作redis常用方法及代码实例
- sql 布尔盲注 python脚本实现
- linux内核内存分配
- 做了 3 年企业级 SaaS,我收获的 10 点心得
- matlab把一个目录下的图片缩放到指定大小