ideallij调试spark源码的n中方法

该篇文章介绍多种在ideallij中单步调试spark源码的方法，以sparksql为例来进行说明

方法一 直接通过app的方式进行单步调试

本方法假设开发者已经搭建了spark在ideallij中的的运行环境，并且可以成功运行（注意，是ideallij中运行，而不是通过打jar包的方式运行）

• app源码

package com.tencent.cubeli.sparksql

import org.apache.spark.{SparkConf, SparkContext}

import org.apache.spark.sql.SparkSession

object DataFrameCreate {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local").setAppName("df create")

    val sc = new SparkContext(conf)

    val spark = SparkSession.builder().appName("Spark SQL basic example").config("spark.some.config.option", "some-value").getOrCreate()

    import spark.implicits._

    val df = spark.read.json("file:///Users/waixingren/bigdata-java/spark/sparkproj/data/nation.json")

//    println("=========group by sum wich dataframe===================")

    df.

      filter($"nationkey"<9).

      groupBy("regionkey").

      count.

      show()

   }

}

注意，以上是以local模式运行sparksql，这种方式的优点是driver和executor都在同一个本地jvm中，在单步调试时既可以跟踪driver流程，也可以跟踪executor流程。如果不设置成local模式，那么只能在本地跟踪driver的处理流程。

• 在app中设置断点

如下图所示：

• 调试，点下图的虫子标志

在提交了运行之后，程序会在断点处停止，等待单步调试，如下图所示：

• 下载源码

在上一步停止之后，点击step in(根据keymap映射不同点击的按键有所不同)进入方法，在第一次进入时，ideallij会显示这个方法是它通过反编译反编译出来的，这种代码虽然也可用于调试，但是不包含注释等信息，但是右上角会有一个提示让下载源码，点击下载源码，ideallij后台就会去远程maven仓库下载*source.jar，并自动添加到工程的源码依赖中，这时就可以单步调试spark的源码了

可以看到，这种方式的优点是简便，易于操作，但是缺点也很明显，单步调试的源码并非我们自己的源码，而是从mavne仓库下载的*source.jar文件，如果我们自己修改了源码，就得在maven打包时，打出*source.jar文件，并install到本地maven仓库，才能保证单步调试的是最新的spark源码。

方法二 远程调试方式

该方法要利用ideallij的远程调试功能，eclipse里也有该功能。该方法的优点是，可以调试现网已经在运行的spark集群，缺点是配置稍微优点麻烦。

• 导入源码

选择spark源码根目录，点击“maven”，然后next

这时会有很多maven进行构建时的很多profile让选择，可以根据实际情况进行勾选，不勾选就是用默认的profile：

一路点击next，可以根据实际情况进行修改，不修改也可以，最后点检完成，执行spark源码导入，idealilij会进行该工程的依赖解析，等解析完成后就可以在package试图看到该工程的包试图，说明导入成功。

• 配置远程调试

点击Edit Configurations...

点击“+”，选择remote

配置jvm远程调试选项，主要是host和port需要修改成spark进程所在的host和jmx端口号，如下图，可以修改“Name：”，“Host”，“Port”，这里的host一定要是spark运行的主机，port需要是远程没有被使用的端口，并且要记住此端口，待会要用。

配置完之后保存。

在spark-defaults.conf文件中添加以下配置：

spark.driver.extraJavaOptions  -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005

spark.executor.extraJavaOptions  -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=5005

其中的spark.driver.extraJavaOptions是用来调试driver的，spark.executor.extraJavaOptions是用来调试executor的，如果driver和executor不在同一个节点，那么端口可以相同，如果在同一个节点，那么端口不能一样。如果suspend=y，说明spark进程在启动时会挂起来，等待ideallij远程连接成功之后在继续启动；如果是n，那么不用等待ideallij远程连接，就启动，但是会一直监听这个端口，等待ideallij远程连接。

• 连接

等spark进程挂起或者启动成功之后（根据suspend是y或者n来决定），在ideallij中设置断点，并启动刚才配置的远程连接，就可以连接到spark的jvm进程上，并进行远程的但不调试了