Hive 以及mysql 中如何做except 数据操作
来源:互联网 发布:quiver linux 编辑:程序博客网 时间:2024/06/06 12:22
在db2 和 oracle 中 ,当我们想知道两张结构相同的table 中,数据差异时候可以采用如下sql :
select * from table1
except
select * from table2
上面语句 求出来的就是 数据在table1 而不再table2 中的数据 ,
但是令人失望的是mysql 和hive 中竟然没有提供这样子的函数
那么有什么方法可以实现类似的功能呢?
select * from (
select count(*) as cnt ,all columns
(
select distinct * from table1 ------加入distinct 是防止数据在同一表里面有重复数据,造成查询结果不准确
union all
select distinct * from table2
)
group by all columns
) where cnt =1
解析 ,
把两个表的数据union 起来 ,通过所有的字段分组 ,求出 分组后 cnt 是 一 的 ,那么就可以
推断出 这条数据 在额外一个表要么不存在,要么有些字段不同
根据在hive 和 db2中的 结果比对 ,发现结果是一致的 ,这样就不用写process 把数据在 load 到 db2 ,麻烦了 。
阅读全文
0 0
- Hive 以及mysql 中如何做except 数据操作
- 使用sqoop做Mysql与Hive数据互倒操作
- mysql hive操作数据
- linux中sqoop部署以及实现mysql数据导入hive
- hive使用mysql做元数据库,以及一些问题处理
- PHP中如何连接Mysql以及读取数据
- Android 连接Mysql进行相关操作——用PHP做中介以及JSON做数据交换
- Android 连接Mysql进行相关操作——用PHP做中介以及JSON做数据交换
- sqoop同步mysql数据到hive中
- sqoop mysql数据导入Hive中
- sqoop将Mysql数据传入Hive中
- sqoop将Mysql数据导入Hive中
- Hive数据仓库-Sqoop将数据从Mysql导入Hive中
- 在Hive中如何实现数据分区
- Hive的安装配置和连接mysql以及基础操作
- Mysql中的date与datetime,以及如何向Mysql中插入“日期+时间”数据
- Java Mysql Hive操作
- HIVE 数据操作 DML
- ShellExecute(打开文件所在文件夹并定位到文件)
- 五分钟搞懂并查集
- 杭电oj1004
- 唯快不破:从TCP协议的原理来谈谈rst复位攻击
- java服务端知识点总结
- Hive 以及mysql 中如何做except 数据操作
- java中的static关键字
- RabbitMQ 概念说明
- 机器学习----训练集、验证集、测试集
- (java重点之二)Java并发
- mac虚拟机下Xocde7真机测试
- c++类之间的继承
- 1+2+3+......+n的和
- Linux磁盘