SparkContext类和SparkConf类

来源:互联网 发布:淘宝助手 mac 编辑:程序博客网 时间:2024/06/09 14:33

  任何Spark程序都是SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf包含了Spark集群配置的各种参数。


初始化后,就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。Spark shell会自动初始化一个SparkContext,在编程中的具体实现为:

val conf = new SparkConf().setAppName("AppName").setMaster("local[3] or masterIP:PORT")
val sc = new SparkContext(conf)

SparkContext的简单构造函数为:
val sc = new SparkContext("local[3] or masterIP:PORT","AppName")
1 0