Spark学习笔记(29)Spark Streaming日志和Web监控台
来源:互联网 发布:html 炫酷展示页源码 编辑:程序博客网 时间:2024/06/06 14:12
本期内容:
1. 集群模式下的Spark Streaming日志
2. 集群模式下的Spark Streaming Web监控台
NetworkWordCount程序 batch duration设置300秒。job并行度为1。4个worker的集群。
看web控制台知道,如果不输入数据,Receiver就没有计算任务。数据处理的任务中socket text strearm,flatmap、map处,也没有task运行。reduceByKey处还是有task,以表明有action。即使0数据时,batch duration周期内也有处理时间,因为有打印输出。
如果输入数据,数据处理的任务中socket text strearm,flatmap、map、reduceByKey处,都有数据处理。
没有batch duration周期都会有Job生成。
每个batch duration内有3个job。
TODO 课程不清晰。
最开始只有一个receiver,就只有一个job。当后面有多个receiver时,会有多个job。
预期是运行一个Job,实际是运行了多个Job。系统能根据已有的并行度设置,来尽量多的分配并发资源。
从Spark Streaming的角度讲,只是封装了Runnable对象。
阅读全文
0 0
- Spark学习笔记(29)Spark Streaming日志和Web监控台
- 第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密
- Spark定制班第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密
- spark学习笔记:Spark Streaming
- Spark Streaming学习笔记
- Spark Streaming 学习笔记
- Spark Streaming学习笔记
- Spark学习笔记(27)详解Spark Streaming的运行日志
- Spark学习笔记(18)Spark Streaming中空RDD处理
- Spark学习笔记(22)Spark Streaming架构源码图解
- spark学习笔记六:Spark Streaming
- Spark学习笔记之-Spark-Streaming
- Spark学习笔记(2)解密Spark Streaming运行机制和架构
- Spark学习笔记(19)Spark Streaming架构设计和运行机制大总结
- Spark学习笔记-Streaming-1
- Spark学习笔记-Streaming-Flume
- spark-streaming学习笔记总结
- Spark-Streaming 程序监控
- java中反射的机制
- Spark学习笔记(28)深入理解Spark 2.x中的Structured Streaming
- 嗯哼~2017美团点评前端面试(一年工作经验)
- uCOS-II系统中的任务就绪表
- log4j自动加载原理
- Spark学习笔记(29)Spark Streaming日志和Web监控台
- Android_资料(更新中...)
- XML 解析(转)
- Spark学习笔记(30)集群运行模式下的Spark Streaming调试
- linux中 vim 分屏指令(split)
- spark 加载多个目录; RDD输出到hdfs文件压缩
- Jmeter关联,正则表达式提取器使用
- Spark学习笔记(31)Kafka原理内幕和集群构建与测试实战
- 设计模式的应用场景(18)--命令模式