Hive 以及mysql 中如何做except 数据操作

来源:互联网 发布:quiver linux 编辑:程序博客网 时间:2024/06/06 12:22





在db2 和 oracle 中 ,当我们想知道两张结构相同的table 中,数据差异时候可以采用如下sql :

select * from table1
except
select * from table2
上面语句 求出来的就是 数据在table1 而不再table2 中的数据 ,

但是令人失望的是mysql 和hive 中竟然没有提供这样子的函数

那么有什么方法可以实现类似的功能呢?

select * from (

select  count(*) as cnt  ,all columns
(
select distinct * from table1     ------加入distinct 是防止数据在同一表里面有重复数据,造成查询结果不准确
union all  
select distinct * from table2
)
group by all columns
) where cnt =1

解析 ,

把两个表的数据union 起来 ,通过所有的字段分组 ,求出 分组后 cnt  是 一 的 ,那么就可以
推断出 这条数据 在额外一个表要么不存在,要么有些字段不同


根据在hive 和 db2中的 结果比对 ,发现结果是一致的 ,这样就不用写process 把数据在 load 到 db2 ,麻烦了 。


原创粉丝点击