Spark入门(一):核心概念简介
来源:互联网 发布:安徽综艺频道网络电视 编辑:程序博客网 时间:2024/05/22 13:39
1.Spark核心概念简介
1.1程序驱动器
每个 Spark 应用都由一个驱动器程序(driver program)来发起集群上的各种
并行操作。驱动器程序包含应用的 main 函数,并且定义了集群上的分布式数据集,还对这
些分布式数据集应用了相关操作。
驱动器程序通过一个 SparkContext 对象来访问 Spark。这个对象代表对计算集群的一个连
接。
使用Scala初始化SparkContext
import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._val conf = new SparkConf().setAppName("wordCount")val sc = new SparkContext(conf)
1.2弹性分布式数据集(RDDs)
Spark 中的 RDD 就是一个不可变的分布式对象集合。每个 RDD 都被分为多个==分区==,这些
分区运行在集群中的不同节点上。用户可以使用两种方法创建 RDD:读取一个外部数据集,或在驱动器程序里分发驱动器程
序中的对象集合。
// sc 就是SparkContextval input = sc.textFile("derby.log") //从外部文件读取数据集创建RDDval words = input.flatMap(line =>line.split(" ")) //从一个RDD生成出另一个RDDval innerInput = sc.parallelize(Array("java","scala","python")) // 内部创建一个RDD,一般测试是用
1.3WordCount实例
import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("wordCount") val sc = new SparkContext(conf) val input = sc.textFile("derby.log") val words = input.flatMap(line =>line.split(" ")) val count = words.map(word => (word,1)).reduceByKey{ case (x,y) => x+y } val out = count.saveAsTextFile("wordcount.txt") }}
2.总结
Spark编程其实就是通过一个驱动器程序创建一个 SparkContext 和一系列 RDD,然后进行并行操作。
阅读全文
1 0
- Spark入门(一):核心概念简介
- spark之核心概念简介
- 银行核心系统概念入门简介
- Spark的核心概念
- Spark核心概念
- Spark核心概念理解
- Spark核心概念
- Spark核心概念
- spark简介(一)
- Spark学习(一)-spark简介
- Spark及其核心概念理解
- Spark核心理解(一)
- Spark简介:适用场景、核心概念、创建RDD、支持语言等介绍
- spring学习(一)________核心概念
- Netty(一)核心概念
- spark-streaming入门(一)
- spark入门知识(一)
- Apache Spark 入门简介
- 135_容器_guava之_只读_函数式编程(过滤、转换、组合 )_约束_集合
- JS中判断null、undefined与NaN的方法
- 超市小票改进版本
- iOS UIStoryboardSegue
- 就当补漏收藏夹。。
- Spark入门(一):核心概念简介
- java zip打包
- java四舍五入方法
- LeakCanary 检测内存泄露
- 轻松自动化---selenium-webdriver(python) (三)
- 数据结构实验之查找三:树的种类统计
- sdk修改时需要注意
- BZOJ3673 可持久化并查集 by zky <可持久化数组+主席树>
- community declares a dependency from configuration 'compile' to configuration 'default' which is not