spark分布式数据集操作
来源:互联网 发布:数据库update语法 编辑:程序博客网 时间:2024/05/16 15:58
分布式数据集操作
分布式数据集支持两种操作:
转换(transformation):根据现有的数据集创建一个新的数据集
动作(actions):在数据集上运行计算后,返回一个值给驱动程序
例如,Map是一个转换,将数据集的每一个元素,都经过一个函数进行计算后,返回一个新的分布式数据集作为结果。而另一方面,Reduce是一个动作,将数据集的所有元素,用某个函数进行聚合,然后将最终结果返回驱动程序,而并行的reduceByKey还是返回一个分布式数据集
所有Spark中的转换都是惰性的,也就是说,并不会马上发生计算。相反的,它只是记住应用到基础数据集上的这些转换(Transformation)。而这些转换(Transformation),只会在有一个动作(Action)发生,要求返回结果给驱动应用时,才真正进行计算。这个设计让Spark更加有效率的运行。例如,我们可以实现,通过map创建一个数据集,然后再用reduce,而只返回reduce的结果给driver,而不是整个大的数据集。
spark提供的一个重要转换操作是Caching。当你cache一个分布式数据集时,每个节点会存储该数据集的所有片,并在内存中计算,并在其它操作中重用。这将会使得后续的计算更加的快速(通常是10倍),缓存是spark中一个构造迭代算法的关键工具,也可以在解释器中交互使用。
下面的表格列出目前支持的转换和动作:
转换(Transformations)
Transformation
Meaning
map(func)
返回一个新的分布式数据集,由每个原元素经过func函数转换后组成
filter(func)
返回一个新的数据集,由经过func函数后返回值为true的原元素组成
flatMap(func)
类似于map,但是每一个输入元素,会被映射为0到多个输出元素(因此,func函数的返回值是一个Seq,而不是单一元素)
sample(withReplacement, frac,seed)
根据给定的随机种子seed,随机抽样出数量为frac的数据 (zqz1981注:实际上应该为“样本数量为数据集势的frac倍”)
union(otherDataset)
返回一个新的数据集,由原数据集和参数联合而成
groupByKey([numTasks])
在一个由(K,V)对组成的数据集上调用,返回一个(K,Seq[V])对的数据集。注意:默认情况下,使用8个并行任务进行分组,你可以传入numTask可选参数,根据数据量设置不同数目的Task
(groupByKey和filter结合,可以实现类似Hadoop中的Reduce功能)
reduceByKey(func, [numTasks])
在一个(K,V)对的数据集上使用,返回一个(K,V)对的数据集,key相同的值,都被使用指定的reduce函数聚合到一起。和groupbykey类似,任务的个数是可以通过第二个可选参数来配置的。
join(otherDataset, [numTasks])
在类型为(K,V)和(K,W)类型的数据集上调用,返回一个(K,(V,W))对,每个key中的所有元素都在一起的数据集
groupWith(otherDataset, [numTasks])
在类型为(K,V)和(K,W)类型的数据集上调用,返回一个数据集,组成元素为(K, Seq[V], Seq[W]) Tuples。这个操作在其它框架,称为CoGroup
cartesian(otherDataset)
笛卡尔积。但在数据集T和U上调用时,返回一个(T,U)对的数据集,所有元素交互进行笛卡尔积。
sortByKey([ascendingOrder])
在类型为( K, V )的数据集上调用,返回以K为键进行排序的(K,V)对数据集。升序或者降序由boolean型的ascendingOrder参数决定
(类似于Hadoop的Map-Reduce中间阶段的Sort,按Key进行排序)
Actions(动作)
Action
Meaning
reduce(func)
通过函数func聚集数据集中的所有元素。Func函数接受2个参数,返回一个值。这个函数必须是关联性的,确保可以被正确的并发执行
collect()
在Driver的程序中,以数组的形式,返回数据集的所有元素。这通常会在使用filter或者其它操作后,返回一个足够小的数据子集再使用,直接将整个RDD集Collect返回,很可能会让Driver程序OOM
count()
返回数据集的元素个数
take(n)
返回一个数组,由数据集的前n个元素组成。注意,这个操作目前并非在多个节点上,并行执行,而是Driver程序所在机器,单机计算所有的元素
(Gateway的内存压力会增大,需要谨慎使用)
first()
返回数据集的第一个元素(类似于take(1))
saveAsTextFile(path)
将数据集的元素,以textfile的形式,保存到本地文件系统,hdfs或者任何其它hadoop支持的文件系统。Spark将会调用每个元素的toString方法,并将它转换为文件中的一行文本
saveAsSequenceFile(path)
将数据集的元素,以sequencefile的格式,保存到指定的目录下,本地系统,hdfs或者任何其它hadoop支持的文件系统。RDD的元素必须由key-value对组成,并都实现了Hadoop的Writable接口,或隐式可以转换为Writable(Spark包括了基本类型的转换,例如Int,Double,String等等)
foreach(func)
在数据集的每一个元素上,运行函数func。这通常用于更新一个累加器变量,或者和外部存储系统做交互
缓存
调用RDD的cache()方法,可以让它在第一次计算后,将结果保持存储在内存。数据集的不同部分,将会被存储在计算它的不同的集群节点上,让后续的数据集使用更快。缓存是有容错功能的,如果任一分区的RDD数据丢失了,它会被使用原来创建它的转换,再计算一次(不需要全部重新计算,只计算丢失的分区)
Shared Variables
共享变量
一般来说,当一个函数被传递给Spark操作(例如map和reduce),通常是在集群结点上运行,在函数中使用到的所有变量,都做分别拷贝,供函数操作,而不会互相影响。这些变量会被拷贝到每一台机器,而在远程机器上,在对变量的所有更新,都不会被传播回Driver程序。然而,Spark提供两种有限的共享变量,供两种公用的使用模式:���播变量和累加器
广播变量
广播变量允许程序员保留一个只读的变量,缓存在每一台机器上,而非每个任务保存一份拷贝。他们可以使用,例如,给每个结点一个大的输入数据集,以一种高效的方式。Spark也会尝试,使用一种高效的广播算法,来减少沟通的损耗。`
广播变量是从变量V创建的,通过调用SparkContext.broadcast(v)方法。这个广播变量是一个v的分装器,它的只可以通过调用value方法获得。如下的解释器模块展示了如何应用:
scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))
broadcastVar: spark.Broadcast[Array[Int]] = spark.Broadcast(b5c40191-a864-4c7d-b9bf-d87e1a4e787c)
scala> broadcastVar.value
res0: Array[Int] = Array(1, 2, 3)
在广播变量被创建后,它能在集群运行的任何函数上,被取代v值进行调用,从而v值不需要被再次传递到这些结点上。另外,对象v不能在被广播后修改,是只读的,从而保证所有结点的变量,收到的都是一模一样的。
累加器
累加器是只能通过组合操作“加”起来的变量,可以高效的被并行支持。他们可以用来实现计数器(如同MapReduce中)和求和。Spark原生就支持Int和Double类型的计数器,程序员可以添加新的类型。
一个计数器,可以通过调用SparkContext.accumulator(V)方法来创建。运行在集群上的任务,可以使用+=来加值。然而,它们不能读取计数器的值。当Driver程序需要读取值的时候,它可以使用.value方法。
如下的解释器,展示了如何利用累加器,将一个数组里面的所有元素相加
scala> val accum = sc.accumulator(0)
accum: spark.Accumulator[Int] = 0
scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)
…
10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s
scala> accum.value
res2: Int = 10
- spark分布式数据集操作
- sparkOnHbase 解决spark读取hbase数据后不能分布式操作
- Spark RDD:弹性分布式数据集
- Spark RDD:弹性分布式数据集
- 【Spark】弹性分布式数据集RDD概述
- Spark弹性分布式数据集RDD详解
- Spark RDD弹性分布式数据集
- [Spark]Spark RDD 指南三 弹性分布式数据集(RDD)
- Spark学习笔记(三)-RDD(弹性分布式数据集)
- Spark学习笔记(二)-弹性分布式数据集RDDs
- 【Spark系列】二、弹性分布式数据集RDD
- Spark 基础学习第一讲:弹性分布式数据集RDD
- 【spark,RDD,1】弹性分布式数据集RDD介绍
- spark读取hbase数据做分布式计算
- spark操作hbase中的数据
- spark-hbase数据操作心得
- Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象
- Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象
- javaScript window对象
- 【OC语法】#import和#include的区别
- java程序员第六课DOM&XML
- 8方法
- android binder机制
- spark分布式数据集操作
- HBase基本操作
- java - final关键字
- 虚拟机安装samba phpstorm
- Java Servlet的配置文件web.xml配置内容和具体含义
- ant编译android项目
- #define new DEBUG_NEW
- 【黑马程序员】C语言数组
- ios 滑动返回出现问题以及解决方法