spark学习-54-Spark RDD的clean()方法

spark里面，大量使用了一个方法, ClosureCleaner.clean()

// 这里调用了SparkContext的clean方法    // clean方法实际上调用了ClosureCleaner的clean方法，这里一再清除闭包中的不能序列化的变量，防止RDD在网络传输过程中反序列化失败。    val cleanF = sc.clean(f)

private[spark] def clean[F <: AnyRef](f: F, checkSerializable: Boolean = true): F = {    // clean方法实际上调用了ClosureCleaner的clean方法，这里一再清除闭包中的不能序列化的变量，防止RDD在网络传输过程中反序列化失败。    ClosureCleaner.clean(f, checkSerializable)    f  }

  def clean(      closure: AnyRef,      checkSerializable: Boolean = true,      cleanTransitively: Boolean = true): Unit = {    // 直接就是调用下面的方法    clean(closure, checkSerializable, cleanTransitively, Map.empty)  }

quora上有一篇参考文章 https://www.quora.com/What-does-Closure-cleaner-func-mean-in-Spark
大概意思，scala支持闭包(jvm上的闭包当然也是一个对像)，闭包会把它对外的引用(闭包里面引用了闭包外面的对像)保存到自己内部，
这个闭包就可以被单独使用了，而不用担心它脱离了当前的作用域；
但是在spark这种分布式环境里，这种作法会带来问题，如果对外部的引用是不可serializable的，它就不能正确被发送到worker节点上去了；
还有一些引用，可能根本没有用到，这些没有使用到的引用是不需要被发到worker上的； ClosureCleaner.clean()就是用来完成这个事的；
ClosureCleaner.clean()通过递归遍历闭包里面的引用，检查不能serializable的, 去除unused的引用；
这个方法在SparkContext中用得很多，对rpc方法，只要传入的是闭包，基本都会使用这个方法，它可以降低网络io,提高executor的内存效率
csdn:http://www.jianshu.com/p/51f5a34e2785
csdn:http://www.cnblogs.com/ivanny/p/spark_ClosureCleaner_clean_function.html