spark scala 对RDD进行过滤----filter使用方法
来源:互联网 发布:矩阵谱分解 编辑:程序博客网 时间:2024/05/16 10:21
现有一个 rdd: RDD [(String, Int)]
val rdd = sc.parallelize(Seq(("a",1), ("a",2), ("b",2), ("b",3), ("c",1)))
过滤条件逻辑运算符:>, <, ==
整数类型数据的过滤
rdd.filter(_._2==2)
rdd.filter(_._2>2)
rdd.filter(_._2<2)
rdd.filter(x => x._2==2)
rdd.filter(x => x._2>2)
rdd.filter(x => x._2<2)
传递参数过滤
val ind=2
rdd.filter(x => x._2==ind)
rdd.filter(_._2==ind)
rdd.filter(_._2>ind)
rdd.filter(_._2<ind)
rdd.filter(x => x._2==ind)
rdd.filter(x => x._2>ind)
rdd.filter(x => x._2<ind)
字符串类型过滤
rdd.filter(_._1=="a")
rdd.filter(x => x._1=="a")
传递参数过滤
val str = s"a"
rdd.filter(_._1==str)
rdd.filter(x => x._1==str)
rdd.filter(x => x._2==2)
Array及List对象的过滤与RDD的过滤方法一样
阅读全文
0 0
- spark scala 对RDD进行过滤----filter使用方法
- spark scala 对dataframe进行过滤----filter方法使用
- spark filter过滤rdd元素
- Spark 的键值对(pair RDD)操作,Scala实现
- spark rdd scala相关使用
- Spark-键值对RDD
- Spark RDD/Core 编程 API入门系列之map、filter、textFile、cache、对Job输出结果进行升和降序、union、groupByKey、join、reduce、look
- 对json数组进行排序和filter过滤
- 对json数组进行排序和filter过滤
- SpirngMVC框架下使用filter对字符进行过滤
- Filter 用户权限进行过滤
- Spark-Scala-RDD 入门问题汇总
- Spark 键值对RDD操作
- Spark 协同过滤 in scala
- 通过Mime filter技术对网页源码进行过滤,本文部分摘自《HTML代码过滤技术》
- scala对filter的操作
- Spark RDD进行艺术家数据集清洗
- spark中对rdd的几个操作
- CentOS安装Maven
- 佛系三连 都行 都可以 没关系
- 数组中未出现的最小正整数
- Mac Android签名生成keystore
- Android 8.0 功能(系统篇)
- spark scala 对RDD进行过滤----filter使用方法
- 2017深度学习NLP进展与趋势
- 未来几年,Google Play会提高应用安全性和性能
- java8 Function,Consumer,Predicate 接口
- 封装的OK
- HTML5 history.pushState()和history.replaceState()新增、修改历史记录用法介绍
- 对于日志进行分割的N种方法
- Snippet
- 《极客与团队》【PDF】下载