Spark的累加变量

来源:互联网 发布:php调用父类构造函数 编辑:程序博客网 时间:2024/06/10 22:52

当数据需要做累加的时候需要设置累加变量(比如求UV  VV的时候)

设置累加变量的步骤:

scala> val accum = sc.accumulator(0, "My Accumulator")accum: spark.Accumulator[Int] = 0scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)...10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 sscala> accum.valueres2: Int = 10


原创粉丝点击