MySQL 去除重復(fù)數(shù)據(jù)實(shí)例詳解

有兩個(gè)意義上的重復(fù)記錄，一是完全重復(fù)的記錄，也即所有字段均都重復(fù)，二是部分字段重復(fù)的記錄。對(duì)于第一種重復(fù)，比較容易解決，只需在查詢語(yǔ)句中使用distinct關(guān)鍵字去重，幾乎所有數(shù)據(jù)庫(kù)系統(tǒng)都支持distinct操作。發(fā)生這種重復(fù)的原因主要是表設(shè)計(jì)不周，通過給表增加主鍵或唯一索引列即可避免。

select distinct * from t;

對(duì)于第二類重復(fù)問題，通常要求查詢出重復(fù)記錄中的任一條記錄。假設(shè)表t有id,name,address三個(gè)字段，id是主鍵，有重復(fù)的字段為name,address，要求得到這兩個(gè)字段唯一的結(jié)果集。

-- Oracle、MySQL，使用相關(guān)子查詢

select * from t t1

 where t1.id =

 (select min(t2.id)

  from t t2

  where t1.name = t2.name and t1.address = t2.address);

 -- Hive只支持在FROM子句中使用子查詢，子查詢必須有名字，并且列必須唯一

select t1.*

 from t t1,

   (select name, address, min(id) id from t group by name, address) t2

 where t1.id = t2.id;

 

-- 還可以使用hive的row_number()分析函數(shù)

select t.id, t.name, t.address

 from (select id, name, address,

row_number() over (distribute by name, address sort by id) as rn 

     from t) t 

 where t.rn=1;

感謝閱讀，希望能幫助到大家，謝謝大家對(duì)本站的支持！