Spark java程序入门(一)初始化spark
来源:互联网 发布:开淘宝店可以兼职吗 编辑:程序博客网 时间:2024/05/02 00:38
把提交spark独立应用时需要初始化spark,告知spark要运行的应用的名字,运行方式,jar包的主类等等
一、在自己的独立应用中使用spark的方法
在代码中初始化spark:
SparkConf conf = new SparkConf(); //新建SparkConf对象,通过设置键值对的方式配置spark的运行(具体见下方参数设置方法)
JavaSparkContext sc = new JavaSparkContext(conf); //用于联系spark集群,建立RDD,累加器,广播变量等
之后就可以利用SparkContext对象建立RDD,开始RDD编程啦
二、初始化参数的方式有两种:
(1)在程序中调用SparkConf对象的方法直接设置,如本地多线程运行wordcount程序,则可用
SparkConf conf = new SparkConf().setMaster("local[*]").setAppName("wordcount");
(2)在用spark-submit提交程序时直接设置也可以
spark-submit --master:local[*] --class:Word wordcount.jar
0 0
- Spark java程序入门(一)初始化spark
- Spark Java程序案例入门
- spark java程序入门(三)外部程序调用
- spark-streaming入门(一)
- spark入门知识(一)
- spark(2)-入门spark之java maven wordcount实验
- Spark使用小结(一) —入门
- Spark基础入门(一)--------RDD基础
- Spark入门(一):核心概念简介
- Java开发Spark程序
- java编写spark程序
- java编写spark程序
- spark入门wordcount详解(JAVA)
- spark入门cogroup简单例子(JAVA)
- Spark编程指南入门之Java篇一-基本知识
- Spark编程指南入门之Java篇一-基本知识
- Spark编程指南入门之Java篇一-基本知识
- spark入门(1)
- 第二讲 Kali安全工具之top10
- A Sequence of Numbers (dp)
- 【codevs 1391】伊吹萃香
- 找出缺失的整数
- 为什么说c++不能重定义继承而来的默认参数
- Spark java程序入门(一)初始化spark
- javascript 中的正则表达式
- Tinker 热修复框架 简单上手教程
- 分析与设计(A&D)简介(2)
- matlab如何将矩阵数据转换成txt文件保存
- activemq 控制面板里Number Of Pending Messages、 Messages Enqueued等含义解释
- struts2框架的搭建及demo的简单实现
- unity 携程
- HDU ACM 11 2053 Switch Game