第20课:Spark Streaming中动态Batch Size实现初探

来源:互联网 发布:鼠标控制软件 编辑:程序博客网 时间:2024/06/16 11:26

1.BatchDuration与ProcessTime

2.动态Batch Size

Batch越小越快,越快越安全

Spark.streaming.receiver.maxRate 设置最大速率

Spark.streaming.backpressure.rateEstimator要设置成true,最大限定数率

0 0
原创粉丝点击