大数据Spark“蘑菇云”项目实战第63课： 广告点击系统高可用性和性能优化 checkpoint wal driver高可用 并行度配置

 大数据Spark“蘑菇云”项目实战第63课： 广告点击系统高可用性和性能优化

 

1, 对于window、updateStateByKey等DStream的状态操作，采用HDFS的checkpoint机制；

 

61课程：时间函数

62课程：
分层代码

63课程 高可用性
1、checkpoint 存放hdfs
2、 RDD高可用性，WAL  的高可用性  配置
     writeAheadLog.enable  true
3、driver的可用性

 Driver的高可用性  val ssc = StreamingContext.getOrCreate(checkpointDirectory,
      () => {
        createContext(ip, port, outputPath, checkpointDirectory)
      })
4、配置spark streaming的副本  副本用多一点，使用数据本地性 空间换时间

性能优化
1，提升并行度：减少spark.streaming.blockInterval的时间，例如说变成100ms，使用多个DStream并行化接受数据，

spark.default.parallelism
2,如果进行多次filter操作之后需要coalesce