第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密

来源:互联网 发布:linux最大连接数65536 编辑:程序博客网 时间:2024/06/01 08:16

第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密

1个程序,多个job
 作业调度的时候,更大化的使用集群的资源,封装不同的task
receive运行在executor,多个receive,启动多个job,

spark streaming封装了runable对象,2个或3个job属于同样的batch,
产生jobset,jobset具体处理哪些rdd,根据job的并行度把整个job分成子job

 

 

0 0
原创粉丝点击