Spark的Debug调试

来源：互联网发布：linux安装zip文件编辑：程序博客网时间：2024/06/03 18:42

Spark调试：

本地模式调试

集群模式调试

第一种：

val conf = new SparkConf().setAppName("WC").setMaster("local[2]")

第二种

import org.apache.spark.{SparkConf, SparkContext}/**  * Created by root on 2016/5/14.  */object WordCount {  def main(args: Array[String]) {    //非常重要，是通向Spark集群的入口    val conf = new SparkConf().setAppName("WC")      .setJars(Array("C:\\HelloSpark\\target\\hello-spark-1.0.jar"))      .setMaster("spark://node-1.itcast.cn:7077")    val sc = new SparkContext(conf)    //textFile会产生两个RDD：HadoopRDD  -> MapPartitinsRDD    sc.textFile(args(0)).cache()      // 产生一个RDD ：MapPartitinsRDD      .flatMap(_.split(" "))      //产生一个RDD MapPartitionsRDD      .map((_, 1))      //产生一个RDD ShuffledRDD      .reduceByKey(_+_)      //产生一个RDD: mapPartitions      .saveAsTextFile(args(1))    sc.stop()  }}

阅读全文

0 0