idea调试远程spark服务器（2017.04图文，非转载）

来源：互联网发布：手机淘宝如何撤销投诉编辑：程序博客网时间：2024/06/13 17:50

Spark 1.6

hadoop2.6

jdk1.8

scala 2.10

C:\Windows\System32\drivers\etc 中修改hosts

172.16.11.221 mach40

172.16.11.222 mach41

172.16.11.223 mach42

1）首先在个人WIN7本上搭好java，scala环境，并配置好环境变量，安装好Intelij IDEA，并安装好scala插件。

(这一步不用详细说了，百度N多篇)

2）新建Scala项目

3）设置配套基础（moundle, jdk, libralrys等等不会的请百度，不想细说）

要点来了：

4）创建工程，写代码：

顺序依次：

创建新的scala，选择object类型，这是代码（和网上差不多）：

import org.apache.spark.{SparkConf,SparkContext}object RemoteDebug{  def main(args: Array[String]) {    val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://172.16.11.222:7077")      .setJars(List("D:\\IdeaJar\\SparkPi_jar_Path\\Oldspark.jar"))    val spark = new SparkContext(conf)    val slices = if (args.length > 0) args(0).toInt else 2    val n = 100000 * slices    val count = spark.parallelize(1 to n, slices).map { i =>      val x = Math.random * 2 - 1      val y = Math.random * 2 - 1      if (x * x + y * y < 1) 1 else 0    }.reduce(_ + _)    println("Pi is roughly " + 4.0 * count / n)    spark.stop()  }}

这是目录结构

5）写代码之后，先进行一个jar包打包设置

6) 这里的路径一定要设置好，为jar包的输出路径，一会要写到程序里，使得spark集群的查找

【1】Directory-META-INF 和下一个OUT Directory不一样

OUT Directory是我们要设置的jar包保存路径我的是代码中的这个

 .setJars(List("D:\\IdeaJar\\SparkPi_jar_Path\\Oldspark.jar"))

【2】由于是打包程序本身所以在配置OUT layout时候，我只保留了complie output

【3】include in project build 可选可不选，不选的话返回到程序界面，build打包就成（看百度）

6）创建工程，选择main

7）运行即可

8）效果：

10）看看UI上把

O了，简单讲解完毕有误之处欢迎指出

0 0