Spark学习笔记(27)详解Spark Streaming的运行日志
来源:互联网 发布:淘宝借钱逾期 编辑:程序博客网 时间:2024/05/18 02:23
本期内容:
1. Spark Streaming日志
2. Spark Streaming在IDE中的日志分析
WordCountLine
15秒钟的时间间隔
日志中ForeachDStream先打印。
SocketInputDStream storage level false,false,false,false,1
但StorageLevel:
rememberDuration也是15s。
在提交作业前,先构建DStreamGraph对象。
driver准备 就绪,receiver也没问题了。75-93line 可以交给Core进行调度了。
75-83 executor的内容
92- 增加job
94- core的内容
SS就是个大Saprk应用程序
154- 监听器 要保证延迟时间一定要小于batchDuration
156- 作业完成后,删除作业:清掉数据和元数据
下面又有作业产生
210- 删除RDD
remove old batch metadta driver级别,是在下一个batch时删除?
rememberDuration的设置略微复杂些,大体是 slideDuration,如果设置了checkpointDuration 则是2*checkpointDuration 或者通过DStreamGraph.rememberDuration(如果设置了的话,譬如通过StreamingContext.remember方法,不过通过该方法设置的值要大于计算得到的值会生效)
另外值得一提的就是后面的DStream 会调整前面的DStream的rememberDuration,譬如如果你用了window* 相关的操作,则在此之前的DStream 的rememberDuration 都需要加上windowDuration。
问题:
remove old batch metadta driver级别,是在下一个batch时删除?
第一个Job出现没有删除RDD的信息,在第二个BatchDuration之前,
阅读全文
0 0
- Spark学习笔记(27)详解Spark Streaming的运行日志
- Spark学习笔记(5)Spark Streaming流计算框架的运行源码
- Spark学习笔记(30)集群运行模式下的Spark Streaming调试
- spark学习笔记:Spark Streaming
- Spark Streaming学习笔记
- Spark Streaming 学习笔记
- Spark Streaming学习笔记
- Spark学习笔记(29)Spark Streaming日志和Web监控台
- Spark定制班第28课:在集成开发环境中详解Spark Streaming的运行日志内幕
- 第28课 :在集成开发环境中详解spark streaming的运行日志内幕
- Spark学习笔记(18)Spark Streaming中空RDD处理
- Spark学习笔记(22)Spark Streaming架构源码图解
- spark学习笔记六:Spark Streaming
- Spark学习笔记之-Spark-Streaming
- Spark Streaming 通过NC运行日志
- spark streaming 多表查询运行日志
- Spark学习笔记-Streaming-1
- Spark学习笔记-Streaming-Flume
- linux 编译Jrtplib
- Pat(A) 1076. Forwards on Weibo (30)
- Spark学习笔记(26)在DStream的Action操作之外也可能产生Job操作
- 坚持了半个月刷CCF的算法题(第十四天)
- hbase扫描优化-扫描缓存-cacheing-timetout-retries-batch
- Spark学习笔记(27)详解Spark Streaming的运行日志
- 07 java的object类和内部类, 匿名类和匿名对象
- java中反射的机制
- Spark学习笔记(28)深入理解Spark 2.x中的Structured Streaming
- 嗯哼~2017美团点评前端面试(一年工作经验)
- uCOS-II系统中的任务就绪表
- log4j自动加载原理
- Spark学习笔记(29)Spark Streaming日志和Web监控台
- Android_资料(更新中...)