StreamingContext实例化过程
来源:互联网 发布:淘宝代运营排名 编辑:程序博客网 时间:2024/06/07 11:49
一.SparkStreaming实例化过程
创建StreamingContext的方法有很多种,示例以SparkCon和任务执行间隔作为参数创建StreamingContext
val ssc = new StreamingContext(conf,Seconds(3))
1.检查SparkContext和CheckPoint,不能同时为空,否则抛出异常
2.检查checkPoint是否启用
3.更新SparkContext,如果SparkContext不存在,则将checkPoint需要的信息写入SparkConf,并以此构建SparkContext;如果SparkContext存在,则使用它
checkpoint需要的信息:
val propertiesToReload = List(
"spark.yarn.app.id",
"spark.yarn.app.attemptId",
"spark.driver.host",
"spark.driver.port",
"spark.master",
"spark.yarn.keytab",
"spark.yarn.principal",
"spark.ui.filters")
4.模式检查,spark.master不能为本地单线程模式
5.通过SparkContext来更新SparkConf和SparkEnv
6.实例化DStreamGraph
private[streaming] val graph: DStreamGraph = {
if (isCheckpointPresent) {
cp_.graph.setContext(this)
cp_.graph.restoreCheckpointData()
cp_.graph
} else {
require(batchDur_ != null, "Batch duration for StreamingContext cannot be null")
val newGraph = new DStreamGraph()
newGraph.setBatchDuration(batchDur_)
newGraph
}
}7.设置checkPoint目录private[streaming] var checkpointDir: String = {
if (isCheckpointPresent) {
sc.setCheckpointDir(cp_.checkpointDir)
cp_.checkpointDir
} else {
null
}
}8.创建Streaming作业调度器,JobScheduler,使用DStreamGraph产生Jobvalscheduler = new JobScheduler(this)9.创建ContextWaitervalwaiter = new ContextWaiter
jobScheduler.receiverTracker.allocateBlocksToBatch(time) // allocate received blocks to batchgraph.generateJobs(time) // generate jobs using allocated blockval jobOption = outputStream.generateJob(time)
0 0
- StreamingContext实例化过程
- JAVA 实例化过程
- 子类实例化过程
- 对象实例化过程
- 对象实例化过程
- 对象实例化过程
- 父子类实例化过程
- c# 类实例化过程
- 子类的实例化过程
- super子类实例化过程
- java 对象实例化过程
- 类的实例化过程
- 对象的实例化过程
- 考题:对象实例化过程
- 一个对象实例化过程
- Java4Android-子类实例化过程
- 子类的实例化过程
- java实例化对象过程
- 关于Asp.net网站的本地发布和遇到问题的解决方法
- systemd.service 中文手册
- liunx系统bugzilla搭建问题&teskllink配置bugzilla
- 深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数
- 应对电商大促峰值的九个方法
- StreamingContext实例化过程
- Xcode7 安装Alcatraz 插件
- compileSdkVersion和appcompat-v7关系研究
- 判断网络状态
- extjs 插入echarts柱状图(附带一个饼图)
- 一点一点学ASP.NET之基础概念——委托
- sdfasdf
- 推荐一个免费的论文查重检测软件WriteCheck
- cJSON学习笔记(一)