flatMap与map的区别
来源:互联网 发布:啪啪啪软件下载 编辑:程序博客网 时间:2024/04/30 01:59
通过实验来区别flatMap和map:
1.首先编辑测试文件:
文件内容为:
2.将测试文件上传到HDFS上:
其中,test.txt为上一步编辑的测试文件,/tmp表示HDFS上的目录,要保证你的HDFS上有该目录,若没有该目录的话,则需要通过以下命令去创建:
可以通过Hadoop提供的图形界面查看你的HDFS上是否拥有该/tmp目录,在浏览器中输入http://localhost:50070/explorer.html#/,注意此处我的Hadoop是伪分布式安装在本地,你可以将localhost:50070替换为自己Hadoop的主机地址和端口号。可以看到目录列表倒数第四行已经存在tmp目录:
在该页面上点击tmp进入该目录,注意到目录列表中已经存在刚才上传的文件test.txt:
3.在Shell中输入spark-shell:
然后在Spark中创建一个RDD来读取HDFS上的文件/tmp/test.txt:
4.查看map函数的返回值:
首先得到map函数返回的RDD:
接着通过collect查看返回的值——文件中的每一行数据返回一个数组对象,这些数组对象再组成一个数组对象,相当于一个二维数组:
5.查看flatMap函数的返回值:
首先得到flatMap函数返回的RDD:
接着通过collect查看返回的值——文件中得所有行数据仅返回一个数组对象:
6.总结:
- map函数会对每一条输入进行指定的操作,然后每一条输入返回一个对象;
- flatMap函数则是两个操作的集合,即先映射再扁平化:i.同map函数一样,对每一条输入进行指定的操作,然后为每一条输入返回一个对象;ii.然后将所有对象合并成一个对象。
0 0
- map 与 flatMap 的区别
- flatMap与map的区别
- map与flatmap区别
- map与flatmap区别
- Spark 中 map 与 flatMap 的区别
- Spark 中 map 与 flatMap 的区别
- Spark 中 map 与 flatMap 的区别
- [spark]map 与 flatMap 的区别
- Spark之中map与flatMap的区别
- Spark 中 map 与 flatMap 的区别
- Spark 中map与 flatMap的区别
- Spark 中 map 与 flatMap 的区别
- Spark之中map与flatMap的区别
- Spark 中 map 与 flatMap 的区别
- Spark 中 map 与 flatMap 的区别
- Spark之中map与flatMap的区别
- Spark map与flatmap区别
- map和flatmap的区别
- android布局优化
- hdu-5818-Joint Stacks-栈模拟/左偏树
- 在Ubuntu上使用Samba共享Linux内核源码
- Java学习笔记(Java中的数组/循环操作/Arrays类)
- android属性动画的使用
- flatMap与map的区别
- javascript RegExp对象
- android帧动画的使用
- hdu3388容斥还有二分
- android主题的切换
- 黄阶低级 - 《 Java 核心》- 3.6 字符串 - 修改0次
- Django零散知识小结
- android轮播图
- POJ-1125 Stockbroker Grapevine (floyd)