欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

oracle sql 去重复记录不用distinct如何实现

程序员文章站 2023-12-03 17:25:28
用distinct关键字只能过滤查询字段中所有记录相同的(记录集相同),而如果要指定一个字段却没有效果,另外distinct关键字会排序,效率很低 。 select dis...
用distinct关键字只能过滤查询字段中所有记录相同的(记录集相同),而如果要指定一个字段却没有效果,另外distinct关键字会排序,效率很低 。
select distinct name from t1 能消除重复记录,但只能取一个字段,现在要同时取id,name这2个字段的值。
select distinct id,name from t1 可以取多个字段,但只能消除这2个字段值全部相同的记录
所以用distinct达不到想要的效果,用group by 可以解决这个问题。
例如要显示的字段为a、b、c三个,而a字段的内容不能重复可以用下面的语句:
select a, min(b),min(c),count(*) from [table] where [条件] group by a
having [条件] order by a desc
为了显示标题头好看点可以把select a, min(b),min(c),count(*) 换称select a as a, min(b) as b,min(c) as c,count(*) as 重复次数
显示出来的字段和排序字段都要包括在group by 中
但显示出来的字段包有min,max,count,avg,sum等聚合函数时可以不在group by 中
如上句的min(b),min(c),count(*)
一般条件写在where 后面
有聚合函数的条件写在having 后面
如果在上句中having加 count(*)>1 就可以查出记录a的重复次数大于1的记录
如果在上句中having加 count(*)>2 就可以查出记录a的重复次数大于2的记录
如果在上句中having加 count(*)>=1 就可以查出所有的记录,但重复的只显示一条,并且后面有显示重复的次数----这就是所需要的结果,而且语句可以通过hibernate
下面语句可以查询出那些数据是重复的:
select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1
将上面的>号改为=号就可以查询出没有重复的数据了。
例如
复制代码 代码如下:

select count(*) from (select gcmc,gkrq,count(*) from gczbxx_zhao t group by gcmc,gkrq having
count(*)>=1 order by gkrq)
select * from gczbxx_zhao where viewid in ( select max(viewid) from gczbxx_zhao group by
gcmc ) order by gkrq desc ---还是这个可行

有一面试题说:distinct去重复的效率很底下,我在网上看到这遍文章的方法好像说是用 group by having 效率很高了?
我在了一个测试,有一商品表,26万条记录,只有商品编号建了索引,对品牌名称字段做 distinct
复制代码 代码如下:

select brand,count(*) from tab_commbaseinfo group by brand having count(*) =1

平均时间是:0.453
复制代码 代码如下:

select distinct brand from tab_commbaseinfo

平均时间是:0.39
搞不懂是否还有其它方法。