一、背景
一張person表，有id和name的兩個字段，id是唯一的不允許重復，id相同則認為是重復的記錄。
二、解決
select id from group by id having count(*) > 1
按照id分組并計數，某個id號那一組的數量超過1條則認為重復。
如何查詢重復的數據
|
1
|
select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1 |
PS：將上面的>號改為=號就可以查詢出沒有重復的數據了。
Oracle刪除重復數據的SQL（刪除所有）：
刪除重復數據的基本結構寫法：
想要刪除這些重復的數據，可以使用下面語句進行刪除
|
1
2
|
delete from 表名 a where 字段1,字段2 in(select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1) |
上面的SQL注意：語句非常簡單，就是將查詢到的數據刪除掉。不過這種刪除執行的效率非常低，對于大數據量來說，可能會將數據庫吊死。
建議先將查詢到的重復的數據插入到一個臨時表中，然后對進行刪除，這樣，執行刪除的時候就不用再進行一次查詢了。如下：
CREATE TABLE 臨時表 AS (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
上面這句話就是建立了臨時表，并將查詢到的數據插入其中。
下面就可以進行這樣的刪除操作了：
|
1
|
delete from 表名 a where 字段1,字段2 in (select 字段1，字段2 from 臨時表); |
Oracle刪除重復數據的SQL（留下一條記錄）：
oracle中，有個隱藏了自動rowid，里面給每條記錄一個唯一的rowid，我們如果想保留最新的一條記錄，我們就可以利用這個字段，保留重復數據中rowid最大的一條記錄就可以了。
使用ROWID查詢重復數據：
|
1
2
3
4
5
|
select a.rowid,a.* from 表名 a where a.rowid != (select max(b.rowid) from 表名 b where a.字段1 = b.字段1 anda.字段2 = b.字段2 ) |
括號中的SQL查詢出rowid最大的記錄，而外面就是查詢出除了rowid最大之外的其他重復的數據了。
由此，我們要刪除重復數據，只保留最新的一條數據，就可以這樣寫了：
刪除重復數據（留下最大ROWID的一條）
|
1
2
3
4
|
delete from 表名 a where a.rowid != (select max(b.rowid) from 表名 b where a.字段1 = b.字段1 anda.字段2 = b.字段2 ) |
刪除重復數據（留下最小ROWID的一條）
|
1
2
3
|
delete tab t where t.rowid > ( select min(t2.rowid) from tab t2 where t.col2 = t2.col2 and t.col8 = t2.col8) |
當然，上面語句的執行效率是很低的，可以考慮建立臨時表，講需要判斷重復的字段、rowid插入臨時表中，然后刪除的時候在進行比較。
|
1
2
3
4
5
6
7
|
create table 臨時表 as select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表 a GROUP BY a.字段1,a.字段2; delete from 表名 a where a.rowid != (select b.dataid from 臨時表 b where a.字段1 = b.字段1 anda.字段2 = b.字段2 );commit; |
對于完全重復記錄的刪除
對于表中兩行記錄完全一樣的情況，可以用下面語句獲取到去掉重復數據后的記錄：
|
1
|
select distinct * from 表名 |
可以將查詢的記錄放到臨時表中，然后再將原來的表記錄刪除，最后將臨時表的數據導回原來的表中。如下：
|
1
2
3
4
|
CREATE TABLE 臨時表 AS (select distinct * from 表名); truncate table 正式表; insert into 正式表 (select * from 臨時表);drop table 臨時表; |
如果想刪除一個表的重復數據，可以先建一個臨時表，將去掉重復數據后的數據導入到臨時表，然后在從臨時表將數據導入正式表中，如下：
|
1
2
|
INSERT INTO t_table_bakselect distinct * from t_table; |
MySQL查詢及刪除重復記錄的方法
查詢及刪除重復記錄的方法（例子演示）
1、查找表中多余的重復記錄，重復記錄是根據單個字段（peopleId）來判斷
|
1
|
select * from table where tableId in (select tableId from table group by tableId having count(tableId) > 1) |
2、刪除表中多余的重復記錄，重復記錄是根據單個字段（tableId）來判斷，只留有rowid最小的記錄。
|
1
|
delete from table where tableId in (select tableId from table group by tableId having count(tableId) > 1) and rowid not in (select min(rowid) from table group by tableId having count(tableId )>1) |
3、查找表中多余的重復記錄（多個字段）
|
1
|
select * from vitae a where (a.tableId,a.seq) in (select tableId,seq from vitae group by tableId,seq having count(*) > 1) |
4、刪除表中多余的重復記錄（多個字段），只留有rowid最小的記錄
|
1
2
|
delete from vitae a where (a.tableId,a.seq) in (select tableId,seq from vitae group by tableId,seq having count(*) > 1)and rowid not in (select min(rowid) from vitae group by tableId,seq having count(*)>1) |
5、查找表中多余的重復記錄（多個字段），不包含rowid最小的記錄
|
1
|
select * from vitae a where (a.tableId,a.seq) in (select tableId,seq from vitae group by tableId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by tableId,seq having count(*)>1) |
6、查詢出一個表中，某一列的值是相同的SQL：
比方說
在A表中存在一個字段“name”，而且不同記錄之間的“name”值有可能會相同，
現在就是需要查詢出在該表中的各記錄之間，“name”值存在重復的項；
|
1
|
Select Name,Count(*) From A Group By Name Having Count(*) > 1 |
如果還查性別也相同大則如下:
|
1
|
Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1 |
oracle查詢表中字段里數據是否有重復
查單個字段：
|
1
|
SELECT TEST_NAME,COUNT(*) FROM T_TEST GROUP BY TEST_NAME HAVING COUNT(*) > 1 |
Oracle查詢重復數據并刪除，只保留一條記錄
1、查找表中多余的重復記錄，重復記錄是根據單個字段（Id）來判斷
|
1
2
3
|
select* from 表 where Id in (select Id from 表 group byId having count(Id) > 1) |
2、刪除表中多余的重復記錄，重復記錄是根據單個字段（Id）來判斷，只留有rowid最小的記錄
|
1
2
3
4
|
DELETEfrom 表 WHERE (id) IN ( SELECT id FROM 表 GROUP BY id HAVING COUNT(id) > 1) ANDROWID NOT IN (SELECT MIN(ROWID) FROM 表 GROUP BY id HAVING COUNT(*) > 1); |
3、查找表中多余的重復記錄（多個字段）
|
1
2
3
|
select* from 表 a where (a.Id,a.seq) in(select Id,seq from 表 group by Id,seq havingcount(*) > 1) |
4、刪除表中多余的重復記錄（多個字段），只留有rowid最小的記錄
|
1
2
3
4
|
deletefrom 表 a where (a.Id,a.seq) in (select Id,seq from 表 group by Id,seq havingcount(*) > 1) and rowid not in (select min(rowid) from 表 group by Id,seq having count(*)>1) |
5、查找表中多余的重復記錄（多個字段），不包含rowid最小的記錄
|
1
2
3
4
|
select* from 表 a where (a.Id,a.seq) in (select Id,seq from 表 group by Id,seq havingcount(*) > 1) and rowid not in (select min(rowid) from 表 group by Id,seq having count(*)>1) |
比如現在有一人員表 （表名：peosons）
若想將姓名、身份證號、住址這三個字段完全相同的記錄查詢出來
|
1
2
3
4
5
|
select p1.*from persons p1,persons p2where p1.id<>p2.idand p1.cardid = p2.cardid and p1.pname = p2.pname andp1.address = p2.address |
可以實現上述效果。
幾個刪除重復記錄的SQL語句
1.用rowid方法
2.用group by方法
3.用distinct方法
1。用rowid方法
據據oracle帶的rowid屬性，進行判斷，是否存在重復，語句如下：
查數據：
|
1
2
|
select * from table1 a where rowid !=（select max（rowid）from table1 b where a.name1=b.name1 and a.name2=b.name2……） |
刪數據：
|
1
2
|
delete from table1 a where rowid !=（select max（rowid）from table1 b where a.name1=b.name1 and a.name2=b.name2……） |
2.group by方法
查數據：
select count（num）， max（name） from student
--列出重復的記錄數，并列出他的name屬性
group by num
having count（num） >1 --按num分組后找出表中num列重復，即出現次數大于一次
刪數據：
|
1
2
3
|
delete from studentgroup by numhaving count（num） >1 |
這樣的話就把所有重復的都刪除了。
3.用distinct方法 -對于小的表比較有用
|
1
2
3
4
|
create table table_new as select distinct * from table1 minuxtruncate table table1;insert into table1 select * from table_new; |
查詢及刪除重復記錄的方法大全
1、查找表中多余的重復記錄，重復記錄是根據單個字段（peopleId）來判斷
|
1
2
3
|
select * from peoplewhere peopleId in （select peopleId from people group bypeopleId having count（peopleId） > 1） |
2、刪除表中多余的重復記錄，重復記錄是根據單個字段（peopleId）來判斷，只留有rowid最小的記錄
|
1
2
3
4
5
6
|
delete from peoplewhere peopleId in （select peopleId from people group bypeopleIdhaving count（peopleId） > 1）and rowid not in （select min（rowid） from people group bypeopleId having count（peopleId ）>1） |
3、查找表中多余的重復記錄（多個字段）
|
1
2
3
|
select * from vitae awhere （a.peopleId,a.seq） in （select peopleId,seq from vitae group by peopleId,seq having count（*） > 1） |
4、刪除表中多余的重復記錄（多個字段），只留有rowid最小的記錄
|
1
2
3
4
5
|
delete from vitae awhere （a.peopleId,a.seq） in （select peopleId,seq from vitae group by peopleId,seq having count（*） > 1）and rowid not in （select min（rowid） from vitae group bypeopleId,seq having count（*）>1） |
5、查找表中多余的重復記錄（多個字段），不包含rowid最小的記錄
|
1
2
3
4
5
|
select * from vitae awhere （a.peopleId,a.seq） in （select peopleId,seq from vitae group by peopleId,seq having count（*） > 1）and rowid not in （select min（rowid） from vitae group bypeopleId,seq having count（*）>1） |
（二）
比方說
在A表中存在一個字段“name”，
而且不同記錄之間的“name”值有可能會相同，
現在就是需要查詢出在該表中的各記錄之間，“name”值存在重復的項；
|
1
2
|
Select Name,Count（*） From A Group By Name Having Count（*） > 1 |
如果還查性別也相同大則如下：
|
1
2
|
Select Name,***,Count（*） From A Group By Name,*** HavingCount（*） > 1 |
（三）
方法一
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
declare @max integer,@id integerdeclare cur_rows cursor local for select 主字段，count（*） from 表名 group by 主字段 having count（*） >； 1open cur_rowsfetch cur_rows into @id,@maxwhile @@fetch_status=0beginselect @max = @max -1set rowcount @maxdelete from 表名 where 主字段 = @idfetch cur_rows into @id,@maxendclose cur_rowsset rowcount 0 |
方法二
＂重復記錄＂有兩個意義上的重復記錄，一是完全重復的記錄，也即所有字段均重復的記錄，二是部分關鍵字段重復的記錄，
比如Name字段重復，而其他字段不一定重復或都重復可以忽略。
1、對于第一種重復，比較容易解決，使用
select distinct * from tableName就可以得到無重復記錄的結果集。
如果該表需要刪除重復的記錄（重復記錄保留1條），可以按以下方法刪除
|
1
2
3
4
|
select distinct * into #Tmp from tableNamedrop table tableNameselect * into tableName from #Tmpdrop table #Tmp |
發生這種重復的原因是表設計不周產生的，增加唯一索引列即可解決。
2、這類重復問題通常要求保留重復記錄中的第一條記錄，操作方法如下
假設有重復的字段為Name,Address，要求得到這兩個字段唯一的結果集
|
1
2
3
4
5
6
|
select identity（int,1,1） as autoID, * into #Tmp fromtableNameselect min（autoID） as autoID into #Tmp2 from #Tmp group byName,autoIDselect * from #Tmp where autoID in（select autoID from#tmp2） |
最后一個select即得到了Name，Address不重復的結果集（但多了一個autoID字段，實際寫時可以寫在select子句中省去此列）
（四）查詢重復
|
1
2
3
4
5
|
select * from tablename where id in （select id from tablenamegroup by idhaving count（id） > 1） |
原文鏈接：http://www.cnblogs.com/qmfsun/p/4871776.html
