Spark核心编程:共享变量(Broadcast Variable和Accumulator)
来源:互联网 发布:c语言主函数参数 编辑:程序博客网 时间:2024/06/05 16:24
1.共享变量工作原理
1.默认情况下,如果在一个算子的函数中使用到了某个外部的变量,那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量,那么这种方式是做不到的。因此,Spark提供了两种共享变量,一种是Broadcast Variable(广播变量),另一种是Accumulator(累加变量)。Broadcast Variable会将使用到的变量,仅仅为每个节点拷贝一份,更大的用处是优化性能,减少网络传输以及内存消耗。Accumulator则可以让多个task共同操作一份变量,主要可以进行累加操作。
2.图解共享变量的工作原理:
共享变量的介绍
Broadcast Variable
1.Spark提供的Broadcast Variable,是只读的。并且在每个节点上只会有一份副本,而不会为每个task都拷贝一份副本。因此其最大作用,就是减少变量到各个节点的网络传输消耗,以及在各个节点上的内存消耗。此外,spark自己内部也使用了高效的广播算法来减少网络消耗。
2.调用SparkContext的broadcast()方法,来针对某个变量创建广播变量。然后在算子的函数内,使用到广播变量时,每个节点只会拷贝一份副本了。每个节点可以使用广播变量的value()方法获取值。记住,广播变量,是只读的。
案例:
Java版:
//在Java中,创建共享变量,就是调用SparkContext的broadcast()方法 //获取的返回结果是BroadCast<T>类型 final int factor = 3; final Broadcast<Integer> factorBroadcast = sc.broadcast(factor); List<Integer> numberList = Arrays.asList(1,2,3,4,5); JavaRDD<Integer> numbers = sc.parallelize(numberList); //然集合中的每个数字,都乘上外部定义的那个比变量factor JavaRDD<Integer> multipleNumbers = numbers.map(new Function<Integer, Integer>() { private static final long serialVersionUID = 1L; @Override public Integer call(Integer v1) throws Exception { return v1 * factorBroadcast.value(); } }); multipleNumbers.foreach(new VoidFunction<Integer>() { private static final long serialVersionUID = 1L; @Override public void call(Integer v1) throws Exception { System.out.println(v1); } });
Scala版:
val factor = 3 val factorBroadcast = sc.broadcast(factor) val numbers = Array(1 to 10:_*) val numbersRDD = sc.parallelize(numbers, 4) val numsRDD = numbersRDD.map(_*factorBroadcast.value) numsRDD.foreach(println(_))
结果:
Accumulator
1.Spark提供的Accumulator,主要用于多个节点对一个变量进行共享性的操作。Accumulator只提供了累加的功能。但是确给我们提供了多个task对一个变量并行操作的功能。但是task只能对Accumulator进行累加操作,不能读取它的值。只有Driver程序可以读取Accumulator的值。
2.案例:
Java版:
//创建Accumulator变量 //需要调用SparkContext的accumulator()方法 final Accumulator<Integer> sums = sc.accumulator(0); List<Integer> numberList = Arrays.asList(1,2,3,4,5); JavaRDD<Integer> numbers = sc.parallelize(numberList); numbers.foreach(new VoidFunction<Integer>() { private static final long serialVersionUID = 1L; @Override public void call(Integer v1) throws Exception { //然后在函数内部,就可以对Accumulator变量调用add()方法 sums.add(v1); } }); //在driver程序中,可以调用Accumulator的value()方法,获取其值 System.out.println(sums.value());
Scala版:
val sumAccumulator = sc.accumulator(0) val numbers = Array(1 to 5:_*) val numbersRDD = sc.parallelize(numbers, 4) numbersRDD.foreach(sumAccumulator += _) println(sumAccumulator)
结果:
- Spark核心编程:共享变量(Broadcast Variable和Accumulator)
- Spark共享变量(Broadcast Variable和Accumulator)
- 共享变量(Broadcast Variable和Accumulator)
- Spark 共享变量——累加器(accumulator)与广播变量(broadcast variable)
- spark中的Broadcast variables和Accumulator (广播变量和累加器)
- spark中的Broadcast variables和Accumulator
- spark-broadcast&accumulator使用
- 【Spark Java API】broadcast、accumulator
- 【Spark Java API】broadcast、accumulator
- 第39课:Spark中的Broadcast和Accumulator机制解密
- 大数据Spark “蘑菇云”行动第39课:Spark中的Broadcast和Accumulator机制解密
- spark之广播共享变量broadcast
- 动手实战联合使用Spark Streaming、Broadcast、Accumulator计数器实现在线黑名单过滤和计数
- Spark共享变量-Broadcast广播变量介绍及scala实现
- Spark编程指引(四)------------------共享变量(广播变量和累加器)
- Spark编程指引(四)----共享变量(广播变量和累加器)
- 第103课:动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
- 第103课:动手实战联合使用Spark Streaming、Broadcast、Accumulator实现在线黑名单过滤和计数
- Android7.0运行app报SecurityException MODE_WORLD_READABLE
- 版本更新
- 拓扑排序(C语言 邻接表)
- JNI转换通俗易懂的总结(C++调用java篇)
- RNN与LSTM原理
- Spark核心编程:共享变量(Broadcast Variable和Accumulator)
- Java设计模式-命令模式
- 面试金典-猫狗问题
- [实用教程]CESOFT_Windows Server 2012 R2 或 2016无法安装.Net 3.5.1
- Address already in use: JVM_Bind<null>:8080,Tomcat启动报错
- bootstrap-treeview 前台使用
- Node学习 -- 入门简介
- python笔记-006-字典
- js 必包和面向对象设计