Spark学习之(三) 小例子
来源:互联网 发布:剑网三怎么在淘宝买金 编辑:程序博客网 时间:2024/05/16 15:38
Spark学习之(三) 小例子
2017年10月8日
14:11
- 使用map filter
scala> sc.parallelize(List(1,2,3,4,5,6)).map(_ * 2).filter(_>5).collect
res1: Array[Int] = Array(6, 8, 10, 12)
- Wordcount
val rdd = sc.textFile("/home/linxi/Documents/workspace/spark/word.data")
//rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
//这里使用reduceByKey,其实就是按key分组然后把value值相加
val wordcount = rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
wordcount.saveAsTextFile("/home/linxi/Documents/workspace/spark/result.data")
//还有一种是groupByKey,这个是纯粹的分组,分完组里面的value会生成一个array。如下:
- 使用union
- 使用Join
生成笛卡尔积
- 排序
将1中生成的结果按照value从大到小排序
小技巧:有sortByKey这个函数,可以把key和value调换位置然后在排序,等排完序之后再把key和value调换回来。
Spark standalone 提交
# Run on a Spark standalone cluster
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://207.184.161.138:7077 \
--executor-memory 20G \
--total-executor-cores 100 \
/path/to/examples.jar \
1000
- Spark学习之(三) 小例子
- Spark MLlib之机器学习(三)
- Spark组件之GraphX学习11--PageRank例子(PageRankAboutBerkeleyWiki)
- pthon学习之小例子
- Spark之Scala学习之路(三)
- jquery小例子(三)
- (三)Spark学习系列
- Spark学习笔记(三)
- spark mllib机器学习之三 FPGrowth
- Spark学习之三-RDD编程
- 我的spark学习之路(三):利用spark做回归分析
- spark一千篇旅游日记0009 之 spark小例子程序03
- spark一千篇旅游日记0007 之 spark小例子程序01
- spark一千篇旅游日记0008 之 spark小例子程序02
- Spark-Spark Streaming例子整理(三)
- Spark-Spark Streaming例子整理(三)
- windows编程几个小例子(三)
- Flume+Kakfa+Spark Streaming整合(运行WordCount小例子)
- linux 命令
- js笔记2
- 通过 /proc/[pid]/ 查看进程状态
- 新生活,新开始
- Ajax跨域的那些坑
- Spark学习之(三) 小例子
- Python 函数相关总结
- Dockerfile 创建简单镜像
- 快速搭建AMP开发环境
- 数据库之行列转换
- 【软考之旅】编译解释程序
- Async Functions (异步函数)
- 通过java代码装配Bean
- LVS-nat方式实现持久连接