spark-sql 关联问题
来源:互联网 发布:淘宝sdr是什么意思 编辑:程序博客网 时间:2024/06/05 07:01
spark-sql 使用不等关联不出数据,的解决办法
2017-10-20
计划
spark-sql 取出join后另外一个字段匹配不上的记录
select * from ap1 a join ap2 b on a.id=b.id and a.name!=b.name 该结果不是想要的,需要吧不匹配上的数据取出
完成
问题总结,a.name!=b.name 如果 a.name和b.name 其中一个为null,一个为非null,使用a.name!=b.name是关联不出来数据的,解决办法 scala,使用集和的差集,具体参考
http://blog.csdn.net/pzw_0612/article/details/45936165
问题
table ap1
+—————–+———-+
| id| name|
+—————–+———-+
|08-A5-C8-85-12-19| ZhaoNeng|
|08-A5-C8-85-12-12|LiangXiang|
|08-A5-C8-85-12-11| null|
+—————–+———-+
table ap1
+—————–+———-+
| id| name|
+—————–+———-+
|08-A5-C8-85-12-19| ZhaoNeng|
|08-A5-C8-85-12-12|LiangXiang|
|08-A5-C8-85-12-11| HuaWeiA|
+—————–+———-+
select * from ap1 a join ap2 b on a.id=b.id
+—————–+———-+—————–+———-+
| id| name| id| name|
+—————–+———-+—————–+———-+
|08-A5-C8-85-12-19| ZhaoNeng|08-A5-C8-85-12-19| ZhaoNeng|
|08-A5-C8-85-12-11| null|08-A5-C8-85-12-11| HuaWeiA|
|08-A5-C8-85-12-12|LiangXiang|08-A5-C8-85-12-12|LiangXiang|
+—————–+———-+—————–+———-+
select * from ap1 a join ap2 b on a.id=b.id and a.name=b.name
+—————–+———-+—————–+———-+
| id| name| id| name|
+—————–+———-+—————–+———-+
|08-A5-C8-85-12-19| ZhaoNeng|08-A5-C8-85-12-19| ZhaoNeng|
|08-A5-C8-85-12-12|LiangXiang|08-A5-C8-85-12-12|LiangXiang|
+—————–+———-+—————–+———-+
select * from ap1 a join ap2 b on a.id=b.id and a.name!=b.name
该结果不是想要的,需要吧不匹配上的数据取出
+—+—-+—+—-+
| id|name| id|name|
+—+—-+—+—-+
+—+—-+—+—-+
总结
问题总结,a.name!=b.name 如果 a.name和b.name 其中一个为null,一个为非null,使用a.name!=b.name是关联不出来数据的,解决办法 scala,使用集和的差集,具体参考
相关资料信息地址
scala 相关集和计算
http://blog.csdn.net/pzw_0612/article/details/45936165
- spark-sql 关联问题
- Spark SQL 两表关联
- 解决spark sql关联(join)查询使用“or“缓慢的问题
- Spark学习-数据关联问题
- Spark的spark.sql.warehouse.dir问题
- sql关联,笛卡尔乘积问题。
- spark中关联jar包的导入问题
- pl/sql update 关联表的问题
- SQL多表关联求和问题
- eclipse 关联 sql server 的JDBC问题
- SQL关联时发现的问题
- 执行spark sql 遇到的问题
- spark sql on hive安装问题解析
- spark-sql中文字符使用问题
- spark sql group by 出现问题
- spark sql 中出现的问题
- spark mllib 关联规则
- spark关联hdfs
- PullToRefreshListView
- linux下安装nginx
- lesson 23 if语句实现分支结构
- mysql5.7.17高可用复制MySQL Group Replication
- 如何学习Android系统源码
- spark-sql 关联问题
- java空格符完全替换方法
- Easypoi模版导出excel
- android 实现button的点击
- Java开发工具myeclipse和eclipse内存溢出解决方法之一
- JAVA下载单个文件并且返回客户端,不写入本地
- (三)Java设计模式之工厂方法模式
- Java Ecplise 导出Jar包
- VS Code 中Python 开发环境配置(Settings.json、launch.json、Tasks.json)