主頁 > 知識(shí)庫 > 一條sql語句完成MySQL去重留一

一條sql語句完成MySQL去重留一

熱門標(biāo)簽:400電話申請什么好 好搜地圖標(biāo)注 怎么辦理400電話呢 百度地圖標(biāo)注地方備注 電銷機(jī)器人價(jià)格多少錢一臺(tái) 地圖標(biāo)注圖標(biāo)素材入駐 電話機(jī)器人免費(fèi)嗎 龍圖酒吧地圖標(biāo)注 怎么申請400電話申請

前幾天在做一個(gè)需求的時(shí)候,需要清理mysql中重復(fù)的記錄,當(dāng)時(shí)的想法是通過代碼遍歷寫出來,然后覺得太復(fù)雜,心里想著應(yīng)該可以通過一個(gè)sql語句來解決問題的。查了資料,請教了大佬之后得出了一個(gè)很便利的sql語句,這里分享下這段sql語句和思路。

需求分析

數(shù)據(jù)庫中存在重復(fù)記錄,刪除保留其中一條(是否重復(fù)判斷基準(zhǔn)為多個(gè)字段)

解決方案

碰到這個(gè)需求的時(shí)候,心里大概是有思路的。最快想到的是可以通過一條sql語句來解決,無奈自己對(duì)于復(fù)雜sql語句的道行太淺,所以想找大佬幫忙。

找人幫忙

因?yàn)檫@個(gè)需求有點(diǎn)著急,所以最開始想到的是,可以找這方面的同行來解決,然后分享這個(gè)問題給同事,結(jié)果這貨隨便百度了一下,就甩給我一個(gè)從未用過的sql語句,讓我自己嘗試,心里萬匹那啥啥啥奔騰而過...

自己百度

找到了一條sql語句:

DELETE
FROM
 vitae a
WHERE
 (a.peopleId, a.seq) IN (
  SELECT
   peopleId,
   seq
  FROM
   vitae
  GROUP BY
   peopleId,
   seq
  HAVING
   count(*) > 1
 )
AND rowid NOT IN (
 SELECT
  min(rowid)
 FROM
  vitae
 GROUP BY
  peopleId,
  seq
 HAVING
  count(*) > 1
)

這條語句是在 【MySQL中刪除重復(fù)數(shù)據(jù)只保留一條】 這篇文章里找到的。這條sql思路很明顯,有以下3步:

SELECT peopleId, seq FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1 查詢出表中重復(fù)記錄作為條件

SELECT min(rowid) FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1 查詢出表中重復(fù)記錄中ID最小的值為第二個(gè)條件

最后根據(jù)以上兩個(gè)條件,刪除 重復(fù)記錄中最小ID的其余重復(fù)記錄

但是很無奈的是,運(yùn)行這條語句出現(xiàn)了錯(cuò)誤,大致報(bào)錯(cuò)意思是,不能在查詢的時(shí)候同時(shí)更新這個(gè)表。

代碼解決

根據(jù)上面這個(gè)sql語句想到或許可以通過代碼的方式,兩步來達(dá)到同樣的目的:

先取出重復(fù)的數(shù)據(jù)集

根據(jù)查詢到的數(shù)據(jù)集,循環(huán)刪除其余的重復(fù)數(shù)據(jù)

想法是有了,寫出來也很快,但是一運(yùn)行嚇我一跳,竟然需要 116s 左右,然后自己就想一定要找到可以使用的sql語句,貼一下代碼和運(yùn)行結(jié)果:

完美的【去重留一】SQL

最后在一個(gè)技術(shù)群里得到了完美的答案,看這條sql語句:

DELETE consum_record
FROM
 consum_record, 
 (
  SELECT
   min(id) id,
   user_id,
   monetary,
   consume_time
  FROM
   consum_record
  GROUP BY
   user_id,
   monetary,
   consume_time
  HAVING
   count(*) > 1
 ) t2
WHERE
 consum_record.user_id = t2.user_id 
 and consum_record.monetary = t2.monetary
 and consum_record.consume_time = t2.consume_time
AND consum_record.id > t2.id;

上面這條sql語句,仔細(xì)看一下,揣摩出思路也不難,大概也分為3步來理解:

(SELECT min(id) id, user_id, monetary, consume_time FROM consum_record GROUP BY user_id, monetary, consume_time HAVING count(*) > 1 ) t2 查詢出重復(fù)記錄形成一個(gè)集合(臨時(shí)表t2),集合里是每種重復(fù)記錄的最小ID

consum_record.user_id = t2.user_id and consum_record.monetary = t2.monetary and consum_record.consume_time = t2.consume_time 關(guān)聯(lián) 判斷重復(fù)基準(zhǔn)的字段

根據(jù)條件,刪除原表中id大于t2中id的記錄

看到這個(gè)語句的時(shí)候,心里想這也太厲害了。這么一個(gè)簡單的sql語句,竟然可以解決這么復(fù)雜的問題,漲姿勢了~

運(yùn)行起來也超級(jí)快,原先的代碼循環(huán)執(zhí)行,需要 116s 左右,而這里 0.3s 就可以了,厲害了~

總結(jié)

作為一個(gè)php程序猿,按理來說sql這里是不能拖后腿的,無奈實(shí)際中,需要忙碌的事情太多,現(xiàn)在的sql水平也只是處于在一個(gè)普通的層次中,以后找機(jī)會(huì)一定要補(bǔ)一下這方面的知識(shí)。

今天就分享到這里啦。

您可能感興趣的文章:
  • 解析mysql中:單表distinct、多表group by查詢?nèi)コ貜?fù)記錄
  • mysql SELECT語句去除某個(gè)字段的重復(fù)信息
  • MySQL 去除重復(fù)數(shù)據(jù)實(shí)例詳解
  • MySQL去重的方法整理
  • mysql 開發(fā)技巧之JOIN 更新和數(shù)據(jù)查重/去重
  • Mysql刪除重復(fù)的數(shù)據(jù) Mysql數(shù)據(jù)去重復(fù)
  • mysql去重的兩種方法詳解及實(shí)例代碼
  • MySQL數(shù)據(jù)表合并去重的簡單實(shí)現(xiàn)方法
  • 將MySQL去重操作優(yōu)化到極致的操作方法
  • mysql自聯(lián)去重的一些筆記記錄
  • mysql優(yōu)化小技巧之去除重復(fù)項(xiàng)實(shí)現(xiàn)方法分析【百萬級(jí)數(shù)據(jù)】

標(biāo)簽:內(nèi)江 溫州 廣西 汕尾 浙江 防疫工作 固原 撫順

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《一條sql語句完成MySQL去重留一》,本文關(guān)鍵詞  一條,sql,語句,完成,MySQL,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《一條sql語句完成MySQL去重留一》相關(guān)的同類信息!
  • 本頁收集關(guān)于一條sql語句完成MySQL去重留一的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章