Spark定制班第28课:在集成开发环境中详解Spark Streaming的运行日志内幕
来源:互联网 发布:临沂淘宝代运营 编辑:程序博客网 时间:2024/05/18 00:04
本期内容:
1. Spark Streaming日志
2. Spark Streaming在IDE中的日志分析
WordCountLine
15秒钟的时间间隔
日志中ForeachDStream先打印。
SocketInputDStream storage level false,false,false,false,1
但StorageLevel:
rememberDuration也是15s。
在提交作业前,先构建DStreamGraph对象。
driver准备 就绪,receiver也没问题了。75-93line 可以交给Core进行调度了。
75-83 executor的内容
92- 增加job
94- core的内容
SS就是个大Saprk应用程序
154- 监听器 要保证延迟时间一定要小于batchDuration
156- 作业完成后,删除作业:清掉数据和元数据
下面又有作业产生
210- 删除RDD
remove old batch metadta driver级别,是在下一个batch时删除?
rememberDuration的设置略微复杂些,大体是 slideDuration,如果设置了checkpointDuration 则是2*checkpointDuration 或者通过DStreamGraph.rememberDuration(如果设置了的话,譬如通过StreamingContext.remember方法,不过通过该方法设置的值要大于计算得到的值会生效)
另外值得一提的就是后面的DStream 会调整前面的DStream的rememberDuration,譬如如果你用了window* 相关的操作,则在此之前的DStream 的rememberDuration 都需要加上windowDuration。
问题:
remove old batch metadta driver级别,是在下一个batch时删除?
第一个Job出现没有删除RDD的信息,在第二个BatchDuration之前,
0 0
- Spark定制班第28课:在集成开发环境中详解Spark Streaming的运行日志内幕
- 第28课 :在集成开发环境中详解spark streaming的运行日志内幕
- Spark定制班第16课:Spark Streaming源码解读之数据清理内幕彻底解密
- Spark定制班第29课:深入理解Spark 2.x中的Structured Streaming内幕
- Spark定制班第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密
- Spark定制班第5课:基于案例一节课贯通Spark Streaming流计算框架的运行源码
- Spark定制班第5课:基于案例一节课贯通Spark Streaming流计算框架的运行源码
- Spark定制班第31课:集群运行模式下的Spark Streaming调试和难点解决实战经验分享
- Spark定制班第7课:Spark Streaming源码解读之JobScheduler内幕实现和深度思考
- Spark定制班第7课:Spark Streaming源码解读之JobScheduler内幕实现和深度思考
- Spark定制班第20课:Spark Streaming中动态Batch Size实现初探
- Spark定制班第21课:Spark Streaming中动态Batch Size深入及RateController解析
- Spark定制班第24课:Spark Streaming的Transformation、Action、Input和Output源码图解
- Spark定制班第25课:Spark Streaming的StreamingContext启动及JobScheduler启动源码图解
- Spark定制班第26课:Spark Streaming的JobGenerator源码图解
- Spark定制班第27课:Spark Streaming的为什么在DStream的Action操作之外也可能产生Job操作
- Spark定制班第9课:Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考
- Spark定制班第1课:通过案例对Spark Streaming透彻理解三板斧之一:解密Spark Streaming另类实验及Spark Streaming本质解析
- LeakCanary: 让内存泄露无所遁形
- log4j日志异步化大幅提升系统性能
- linux上Zookeeper集群安装及监控
- 二叉搜索树的后序遍历序列
- 打开网页自动弹出QQ对话框的3种方法
- Spark定制班第28课:在集成开发环境中详解Spark Streaming的运行日志内幕
- LeakCanary: 让内存泄露无所遁形
- PHP empty()和isset()的区别
- Android自定义控件,可以滑动的导航栏(Navigation Bar)
- 递归实现二进制转换
- 适配器模式
- ORACLE R12 Workflow Mailer设置
- android 安装提示 app not installed the package appears to be corrupt
- int最大值,最小值的获取