Spark中的事件处理分析
来源:互联网 发布:游戏帧数软件 编辑:程序博客网 时间:2024/06/05 15:18
一.当初始化SparkContext时,需要初始化Spark Env需要接受3个参数
_env = createSparkEnv(_conf, isLocal, listenerBus)
上文listenerBus实例是LiveListenerBus同时继承自AsynchronousListenerBus和SparkListenerBus,都属于ListenerBus的子类
A.关于ListenerBusAn event bus which posts events to its listeners.
1.添加监听2.发送事件给所有注册过的监听器(观察者模式),内部依赖子类的onPostEvent(listener, event)
来处理事件SparkListenerBus负责调用listener处理事件
override def onPostEvent(listener: SparkListener, event: SparkListenerEvent): Unit = {
event match {
case stageSubmitted: SparkListenerStageSubmitted =>
listener.onStageSubmitted(stageSubmitted)统一事件处理模式
SparkListener是一个trait并预先定义了一些列的事件处理方法,她的子类只需要根据自身的业务需求进行选择性
的覆盖,然后使用LiveListenerBus的onPostEvent的方法将对应的事件监听器和事件发送给SparkListenerBus,然后根据模式匹配通过监听器自身定义的事件处理方法进行统一的事件处理
0 0
- Spark中的事件处理分析
- Spark中的错误处理
- Android事件处理分析
- Android事件处理分析
- Android事件处理分析
- Android事件处理分析
- Android事件处理分析
- Android事件处理分析
- Android事件处理分析
- Android事件处理分析
- Android事件处理分析
- Android事件处理分析
- 触摸事件处理分析
- Android事件处理分析
- wxWidgets中的事件处理
- C# 中的事件处理
- qt中的事件处理
- JavaScript中的事件处理
- java教程Java系统程序员修炼之道
- Reactor模式和Proactor模式
- windows下关于QT5连接mysql的几点问题
- Second-创建第一个项目
- 国与史
- Spark中的事件处理分析
- centos6.4 常用文件指令
- Linux 之 shell 比较运算符
- php错误级别
- 尖峰日96万订单,59校园狂欢节技术架构剖析
- Fragment学习关注网址
- Third-实现基本交互
- 漫谈代理模式
- ios清除缓存3