Spark_任务执行过程
来源:互联网 发布:手机屏幕挂件软件 编辑:程序博客网 时间:2024/05/22 17:46
下面的例子展示Spark执行的各个阶段,有助于我们了解用户代码如何被编译为下层的执行计划
使用Spark shell实现简单的日志分析应用
输入数据:
//input.txtINFO This is a message with contentINFO This is some other contentINFO Here are some messagesINFO This is a warningERROE Something bad happendWARN More details on the bad thingINFO Back to normal messages%
导入数据
scala> val input = sc.textFile("/Users/lxy/Desktop/input.txt")input: org.apache.spark.rdd.RDD[String] = /Users/lxy/Desktop/input.txt MapPartitionsRDD[1] at textFile at <console>:24
切分为单词并删掉空白行
scala> val tokenized = input. | map(line => line.split(" ")). | filter(words => words.size > 0)tokenized: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[3] at filter at <console>:28
提取出每行的第一个单词(日志等级)并计数
scala> val counts = tokenized. | map(words => (words(0),1)). | reduceByKey{(x,y) => x+y}counts: org.apache.spark.rdd.RDD[(String, Int)] = ShuffledRDD[5] at reduceByKey at <console>:30
使用toDebugString()
方法查看RDD的谱系
//使用不同的缩进等级来表示RDD是否会在物理步骤中进行流水线执行//下图表示物理执行只需要两个步骤scala> counts.toDebugStringres1: String =(2) ShuffledRDD[5] at reduceByKey at <console>:30 [] +-(2) MapPartitionsRDD[4] at map at <console>:29 [] | MapPartitionsRDD[3] at filter at <console>:28 [] | MapPartitionsRDD[2] at map at <console>:27 [] | /Users/lxy/Desktop/input.txt MapPartitionsRDD[1] at textFile at <console>:24 [] | /Users/lxy/Desktop/input.txt HadoopRDD[0] at textFile at <console>:24 []
可以看到调用sc.textFile()
方法首先创建了一个HadoopRDD对象,然后对该RDD进行了映射、筛选和过滤操作。
在调用行动操作之前,RDD都只是存储着能让我们计算出具体值的操作的描述信息,要触发实际计算,需要对RDD调用一个行动操作。比如collect()
将数据收集到驱动器程序中.
scala> counts.collect()res2: Array[(String, Int)] = Array((INFO,5), ("",2), (WARN,1), (ERROE,1))
spark调度器会创建出用于计算行动操作的RDD物理执行计划。我们调用collect()方法,spark的每个分区都会被物化出来并发送到驱动器程序中。spark调度器从最终被调用行动操作的RDD出发向上回溯所有必须要被计算的RDD。调度器会访问RDD的父节点、父节点的父节点,以此类推。递归向上生成所有计算必要的祖先RDD的物理计划。
更复杂的情况是RDD图与执行步骤并不是一一对应的。比如,当调度器进行流水线执行时,或把多个RDD合并到一个步骤中时。当RDD不需要混洗数据就可以从父节点计算出来时,调度器就会自动进行流水线执行。
除了流水线执行的优化外。如果一个RDD已经缓存在集群的内存或磁盘上时,spark的内部调度器也会自动截短RDD的谱系图,实行“短路”计算,直接基于缓存下来的RDD值进行计算。
如果将counts
的值缓存下来,多次调用collect
行动操作,只需一个步骤就可以完成。
特定的行动操作所生成的步骤的集合称为一个作业
一旦步骤图确定下来,任务就会被创建出来并发给内部的调度器。一个物理步骤会启动很多任务,每个任务都是在不同的数据分区上做同样的事情。
任务内部的流程是一样的:
- 从数据存储或者已有RDD或者数据混洗中获取输入数据
- 执行必要的操作来计算出这个操作所代表的RDD
- 把输出写入到一个数据混洗文件中,写入外部存储,或者发回驱动器程序。
- Spark_任务执行过程
- Spark_分区、任务等概念总结
- hadoop任务的执行过程
- taskTracker请求任务执行任务的过程
- Cts框架解析(13)-任务执行过程
- Cts框架解析(14)-任务执行过程
- SpringMvc + Quarzt 动态执行任务实现过程
- Cts框架解析-任务执行过程
- mysql创建定时执行存储过程任务
- plsql定时任务执行存储过程
- MapReduce任务执行过程研究之Collect过程
- Zeus源码解读之定时任务执行与手动执行任务的过程分析
- mysql怎么创建可以定时执行任务的过程语句存储过程定时执行sql
- Windows任务计划定时执行Oracle存储过程
- c#调用存储过程执行任务超时现象
- cron任务执行oracle存储过程的误区
- mapreduce任务执行过程详细分析--源码级分析
- hadoop中的一次集群任务执行超时问题查找过程
- js 判断一个 object 对象是否为空
- PHP 实现多网站共享用户SESSION 数据解决方案
- HDU3917 最大权闭合图
- win7+VS2008安装boost
- IDEA插件配置之Eclipse Code Formatter
- Spark_任务执行过程
- ThreadLocal
- Centos搭建mysql、php、nginx、ftp,shell脚本
- 数据库创建
- mxnet im2rec 使用
- 滑动解锁
- MVP中personter应创建的公共类
- JSP九大内置对象及四个作用域
- 一些常见异常解决方案汇总