SparkContext类和SparkConf类
来源:互联网 发布:淘宝助手 mac 编辑:程序博客网 时间:2024/06/09 14:33
任何Spark程序都是SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf包含了Spark集群配置的各种参数。
初始化后,就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。Spark shell会自动初始化一个SparkContext,在编程中的具体实现为:
val conf = new SparkConf().setAppName("AppName").setMaster("local[3] or masterIP:PORT")val sc = new SparkContext(conf)
SparkContext的简单构造函数为:
val sc = new SparkContext("local[3] or masterIP:PORT","AppName")
1 0
- SparkContext类和SparkConf类
- spark学习-SparkSQL--07-SparkContext类和SparkConf类
- spark源码阅读(十三)---sparkConf类
- SparkConf
- SparkContext
- SparkContext
- 从零开始学习Spark--第5章 SparkContext类分析
- Spark调度系列-----3.SparkContext对象的创建和SparkContext的作用
- SparkConf用法集锦
- 创建SparkContext
- SparkContext解析
- SparkContext.scala
- SparkContext解密
- SparkContext简介
- SparkContext初始化
- SparkContext源码
- spark启动过程sparkconf实例化
- Spark1.3从创建到提交:2)spark-submit和SparkContext源码分析
- vbs学到的几个常用函数
- javascript的流程控制
- DICOM:DICOM标准学习路线图(初稿)
- Android自定义控件初步之基本知识
- OSI七层与TCP/IP五层网络架构详解
- SparkContext类和SparkConf类
- HDU 5504 GT and sequence 模拟
- Ajax详解
- [leetcode]Reorder List
- 内存管理器(五)Glibc malloc实现(一)(概论)
- 当在浏览器地址栏输入一个URL后回车,将会发生的事情?
- [Object C]_[初级]_[NSArray排序]
- 012.季节判断
- [开源与硬件]USB模块的驱动开发要吃透