Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect
来源:互联网 发布:java非运行异常有哪些 编辑:程序博客网 时间:2024/06/05 17:01
首先以spark的本地模式测试spark API,以local的方式运行spark-shell:
先从parallelize入手吧:
map操作后结果:
下面看下 filter操作:
filter执行结果:
我们用最正宗的scala函数式编程的风格:
执行结果:
从结果 可以看出来,与之前那种分步奏方式结果是一样的
但采用这种方式,即是复合scala风格的写法,也是符合spark的应用程序风格的写法,在spark的编程中,大多数功能的实现都是只要一行代码即可完成。
0 0
- Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect
- Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count
- Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序
- Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
- Spark API编程动手实战-07-join操作深入实战
- Spark API编程动手实战-05-spark文件操作和debug
- Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-02
- Spark API编程动手实战-06-对搜狗日志文件深入实战操作
- Spark API编程动手实战-06-对搜狗日志文件深入实战操作
- spark SQL编程动手实战-01
- Spark API编程动手实战-04-以在Spark 1.2版本实现对union、groupByKey、join、reduce、lookup等操作实践
- 【实践】Spark RDD API实战
- Spark源码核心与开发实战---Spark RDD与Spark API编程实例
- Spark RDD/Core 编程 API入门系列之map、filter、textFile、cache、对Job输出结果进行升和降序、union、groupByKey、join、reduce、look
- Spark RDD API解析及实战
- 第102讲: 动手实战Spark Streaming自定义Receiver并进行调试和测试
- Spark实战:单节点本地模式搭建Spark运行环境
- Spark编程实战
- 12.ios之程序启动原理
- Lua中的table函数库
- ffmpeg开发指南
- RAC DBCA 找不到共享磁盘
- 为Eclipse添加Java和Android SDK源代码
- Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect
- JVM性能调优监控工具jps、jstack、jmap、jhat、jstat使用详解
- 【iOS开发-106】UIPopoverController,[UIPopoverController dealloc] reached while popover is still visible
- 基于DLNA的UPNP协议的分析及实现
- 搭建rac时,DNS检查失败
- python中的异常
- RAC not open OCR/CRS/controlfile 故障
- HttpClient使用详解
- PMP考试六大管理学定律