【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战011--DateSet实用API详解011
来源:互联网 发布:c语言编译器是什么 编辑:程序博客网 时间:2024/06/05 21:12
DateSet的API详解十一
fullOuterJoin
def fullOuterJoin[O](other: DataSet[O], strategy: JoinHint): UnfinishedOuterJoinOperation[T, O]deffullOuterJoin[O](other: DataSet[O]): UnfinishedOuterJoinOperation[T, O]Special fullOuterJoin operation for explicitly telling the system what join strategy to use.全外连接
fullOuterJoin示例一
执行程序:
//1.定义DataSet[(String, String)] val movies: DataSet[(String, String)] = benv.fromElements(("moon","ok"),("dog","good"),("cat","notbad"),("sun","nice"))//2.定义 DataSet[Rating]case class Rating(name: String, category: String, points: Int)val ratings: DataSet[Rating] = benv.fromElements(Rating("moon","youny1",3),Rating("sun","youny2",4),Rating("cat","youny3",1),Rating("dog","youny4",5))//3.两个dataset进行全外连接,指定连接方法val result1 = movies.fullOuterJoin(ratings).where(0).equalTo("name"){ (m, r) => (m._1, if (r == null) -1 else r.points)}//5.显示结果result1.collect
执行结果:
res33: Seq[(String, Int)] = Buffer((moon,3), (sun,4), (cat,1), (dog,5))
web ui中的执行效果:
rightOuterJoin示例二
执行程序:
//1.定义DataSet[(String, String)] val movies: DataSet[(String, String)] = benv.fromElements(("moon","ok"),("dog","good"),("cat","notbad"),("sun","nice"))//2.定义 DataSet[Rating]case class Rating(name: String, category: String, points: Int)val ratings: DataSet[Rating] = benv.fromElements(Rating("moon","youny1",3),Rating("sun","youny2",4),Rating("cat","youny3",1),Rating("dog","youny4",5))//3.两个dataset进行全外连接,指定连接方法val result1 = movies.fullOuterJoin(ratings,JoinHint.REPARTITION_SORT_MERGE).where(0).equalTo("name"){ (m, r) => (m._1, if (r == null) -1 else r.points)}//5.显示结果result1.collect
执行结果:
res41: Seq[(String, Int)] = Buffer((cat,1), (dog,5), (moon,3), (sun,4))
暗示项目说明:
左外连接支持以下项目: JoinHint.OPTIMIZER_CHOOSES JoinHint.BROADCAST_HASH_FIRST JoinHint.REPARTITION_HASH_FIRST JoinHint.REPARTITION_SORT_MERGE
阅读全文
0 0
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战011--DateSet实用API详解011
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战001--DateSet实用API详解001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战002--DateSet实用API详解002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战003--DateSet实用API详解003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战004--DateSet实用API详解004
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战005--DateSet实用API详解005
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战006--DateSet实用API详解006
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战007--DateSet实用API详解007
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战008--DateSet实用API详解008
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战009--DateSet实用API详解009
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战010--DateSet实用API详解010
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战012--DateSet实用API详解012
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战013--DateSet实用API详解013
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战014--DateSet实用API详解014
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战015--DateSet实用API详解015
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战016--DateSet实用API详解016
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战017--DateSet实用API详解017
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战018--DateSet实用API详解018
- 关于I2C心得总结
- 课后作业之父类及子类
- 人脸对齐--Dense Face Alignment
- 【C#】多态性
- python学习——如何查看安装包的版本
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战011--DateSet实用API详解011
- jquery的一些常用方法
- Android 常用开发工具类之 SPUtils (SharedPreference 工具类)
- 【C#】运算符重载
- 在Word2013中如何将PDF文件转换为Word文件
- information_schema系统表——USER_PRIVILEGES
- OpenCV探索之路 图像拼接和图像融合技术
- 正则表达式从入门到实战
- List遍历的时候将其中的元素删除掉