去除重复数据
来源:互联网 发布:excel图标数据标志 编辑:程序博客网 时间:2024/06/14 14:30
有两个意义上的重复记录,一是完全重复的记录,也即所有字段均都重复,二是部分字段重复的记录。对于第一种重复,比较容易解决,只需在查询语句中使用distinct关键字去重,几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周,通过给表增加主键或唯一索引列即可避免。
select distinct * from t;
对于第二类重复问题,通常要求查询出重复记录中的任一条记录。假设表t有id,name,address三个字段,id是主键,有重复的字段为name,address,要求得到这两个字段唯一的结果集。
-- Oracle、MySQL,使用相关子查询
select * from t t1
where t1.id =
(select min(t2.id)
from t t2
where t1.name = t2.name and t1.address = t2.address);
-- Hive只支持在FROM子句中使用子查询,子查询必须有名字,并且列必须唯一
select t1.*
from t t1,
(select name, address, min(id) id from t group by name, address) t2
where t1.id = t2.id;
-- 还可以使用Hive的row_number()分析函数
select t.id, t.name, t.address
from (select id, name, address,
row_number() over (distribute by name, address sort by id) as rn
from t) t
where t.rn=1;
- 数据去除重复
- list去除重复数据
- 去除重复数据
- list去除重复数据
- 去除重复数据
- DataTable去除重复数据
- 去除字符串重复数据
- 去除字符串重复数据
- 数组去除重复数据
- SQL 去除重复数据
- 单链表中去除重复数据
- List去除重复数据
- 数组去除重复数据
- MySQL去除重复数据
- oracle 去除重复数据
- SQL去除重复数据
- 去除重复数据
- MongoDB去除重复数据
- javaweb开发过程中小工具系列之带事务的QueryRunner
- LayaAir引擎学习日志8----AS3语言中Flash Builder中显示文本Hello Layabox(AS3)
- 1 springBoot 建立web 项目
- Xcode5没有开发者账号无法编译
- 微信小程序-拍照或选择图片并上传文件
- 去除重复数据
- uitableviewcell怎么取字典里面嵌套字典的key??
- AVAssetWriter 输出视频文件在ios8上的结束
- LayaAir引擎学习日志9---- LayaAir IDE中显示文本Hello World(JS)
- 忘记mysql数据库密码时,修改数据库root密码
- 进度条
- APP如何知道手机个人热点的状态
- 采用AFNetWorking 上传base64的图片到服务器,上传的图片解析不了。ASIHttpRequest上传是可以的,请教!
- SpannableString的用法(将文字分段设置样式,显示在TextView中)