Spark 中 map 与 flatMap 的区别
来源:互联网 发布:酷士多网络云手机 编辑:程序博客网 时间:2024/05/02 02:08
vi test.txt
this is 1st line
we have 2nd line too
val tf = sc.textFile("test.txt")
//操作1
var mapResult=tf.map(line=>line.split("\\s+"))
-- Array[Array[String]] = Array(Array(this,is,1st,line),Array(we,have,2nd,line,too))
//操作2
var mapResult=tf.flatMap(line=>line.split("\\s+"))
-- Array[String] = Array(this,is,1st,line,we,have,2nd,line,too)
总结:
- Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;
- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:
操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象
操作2:最后将所有对象合并为一个对象
this is 1st line
we have 2nd line too
val tf = sc.textFile("test.txt")
//操作1
var mapResult=tf.map(line=>line.split("\\s+"))
-- Array[Array[String]] = Array(Array(this,is,1st,line),Array(we,have,2nd,line,too))
//操作2
var mapResult=tf.flatMap(line=>line.split("\\s+"))
-- Array[String] = Array(this,is,1st,line,we,have,2nd,line,too)
总结:
- Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;
- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:
操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象
操作2:最后将所有对象合并为一个对象
0 0
- Spark 中 map 与 flatMap 的区别
- Spark 中 map 与 flatMap 的区别
- Spark 中 map 与 flatMap 的区别
- Spark 中 map 与 flatMap 的区别
- Spark 中map与 flatMap的区别
- Spark 中 map 与 flatMap 的区别
- Spark 中 map 与 flatMap 的区别
- Spark 中 map 与 flatMap 的区别
- [spark]map 与 flatMap 的区别
- Spark之中map与flatMap的区别
- Spark之中map与flatMap的区别
- Spark之中map与flatMap的区别
- spark中flatmap和map的区别
- Spark中map和flatmap的区别
- spark 中map 和flatmap 的区别
- Spark map与flatmap区别
- Spark中map与flatMap
- spark RDD操作map与flatmap的区别
- Horner规则求解多项式的值
- 四大组件之Service 前台服务
- QML的Label实现Tooltip提示效果
- 为什么一个java源文件中只能有一个public类?
- 关于表达式计算的问题
- Spark 中 map 与 flatMap 的区别
- 学习css3到底要学些什么
- Android 自定义RecyclerView布局(一)
- [Usaco2008 Oct]灌水(MST)
- BZOJ1009: [HNOI2008]GT考试
- 重命名 sql server 安装服务器
- LeetCode 21. Merge Two Sorted Lists
- iOS 动画Animation-4-3: CALayer子类:CAShapeLayer
- Dynamic Programing 动态规划试题