Spark java程序入门(一)初始化spark

来源:互联网 发布:开淘宝店可以兼职吗 编辑:程序博客网 时间:2024/05/02 00:38

把提交spark独立应用时需要初始化spark,告知spark要运行的应用的名字,运行方式,jar包的主类等等

一、在自己的独立应用中使用spark的方法

      在代码中初始化spark:

      SparkConf conf = new SparkConf();   //新建SparkConf对象,通过设置键值对的方式配置spark的运行(具体见下方参数设置方法)

      JavaSparkContext sc = new JavaSparkContext(conf);  //用于联系spark集群,建立RDD,累加器,广播变量等

       之后就可以利用SparkContext对象建立RDD,开始RDD编程啦


二、初始化参数的方式有两种:

       (1)在程序中调用SparkConf对象的方法直接设置,如本地多线程运行wordcount程序,则可用

                 SparkConf conf  = new SparkConf().setMaster("local[*]").setAppName("wordcount");

       (2)在用spark-submit提交程序时直接设置也可以

                  spark-submit  --master:local[*]  --class:Word  wordcount.jar



0 0
原创粉丝点击