Spark 检查点

一般是在具有容错能力，高可靠的文件系统上(比如HDFS, S3等)设置一个检查点路径，用于保存检查点数据。设置检查点可以在应用程序中使用streamingContext.checkpoint(checkpointDirectory)来指定路径。 
　　如果想要应用程序在失败重启时使用到检查点存储的元数据信息，需要应用程序具有以下两个特性，需要使用StreamingContext.getOrCreate代码在失败时重新创建StreamingContext对象：

• 当应用程序是第一次运行时，创建一个新的StreamingContext对象，然后开始执行程序处理DStream。

• 当应用程序失败重启时，可以从设置的检查点路径获取元数据信息，创建一个StreamingContext对象，并恢复到失败前的状态。

      def functionToCreateContext(): StreamingContext = {        val ssc = new StreamingContext(...)   // 创建一个新的StreamingContext对象        val lines = ssc.socketTextStream(...) // 得到DStreams        ...        ssc.checkpoint(checkpointDirectory)   // 设置checkpoint路径        ssc        }// 用checkpoint元数据创建StreamingContext对象或根据上面的函数创建新的对象        val context = StreamingContext.getOrCreate(checkpointDirectory, functionToCreateContext _)// 设置context的其他参数        context. ...// 启动context        context.start()        context.awaitTermination()

  如果checkpointDirectory路径存在，会使用检查点元数据恢复一个StreamingContext对象。如果路径不存在，或者程序是第一次运行，则会使用functionToCreateContext来创建一个新的StreamingContext对象