主頁 > 知識庫 > MySQL數(shù)據(jù)表合并去重的簡單實現(xiàn)方法

MySQL數(shù)據(jù)表合并去重的簡單實現(xiàn)方法

熱門標(biāo)簽:400電話申請廠家現(xiàn)貨 百度地圖標(biāo)注要什么軟件 天津公司外呼系統(tǒng)軟件 中國地圖標(biāo)注公司 昌德訊外呼系統(tǒng) 電話機器人的價格多少錢一個月 徐涇鎮(zhèn)騰訊地圖標(biāo)注 自己做地圖標(biāo)注需要些什么 福建外呼電銷機器人加盟

場景:

爬取的數(shù)據(jù)生成數(shù)據(jù)表,結(jié)構(gòu)與另一個主表相同,需要進行合并+去重

解決:(直接舉例)

首先創(chuàng)建兩個表pep,pep2,其中pep是主表

CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后向pep中插入兩條數(shù)據(jù),pep2中插入一條與pep中相同的一條數(shù)據(jù)

insert into pep(no) values('abc');
insert into pep(no) values('caa');

insert into pep2(no) values('abc');

將pep2的數(shù)據(jù)插入pep中

insert into pep (no) select no from pep2;

分組去重創(chuàng)建新的臨時表tmp

create table tmp select id,no from pep group by no;

注意:創(chuàng)建完這個表的id字段類型已經(jīng)不是主鍵自增

 可能也會報錯
 ```Syntax error or access violation: 1055 Expression #1 of SELECT 
 list is not in GROUP BY clause and contains nonaggregated 
 column 'XXX.Y.ZZZZ' which is not functionally dependent on 
 columns in GROUP BY clause; this is incompatible with
 sql_mode=only_full_group_by
 ```
 解決:執(zhí)行以下兩個命令:
 ```
 mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 
 mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 ```

刪除pep表,并將tmp表重命名為pep

drop table pep;
alter table tmp rename to pep;

查看desc結(jié)構(gòu)和select * from pep發(fā)現(xiàn)id的字段類型變了,這里需要改回原來的類型;

alter table pep add primary key (id);
alter table pep modify id int auto_increment;

還有可以使用join來做去重,更快的還可以添加一個字段(可以是幾個字段+起來的的md5值),給這個字段創(chuàng)建一個唯一索引unique,以后插入數(shù)據(jù)的時候,自動回過濾掉重復(fù)的數(shù)據(jù)。

總結(jié)

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,謝謝大家對腳本之家的支持。

您可能感興趣的文章:
  • MySQL 常見的數(shù)據(jù)表設(shè)計誤區(qū)匯總
  • MySQL數(shù)據(jù)表分區(qū)策略及優(yōu)缺點分析
  • MySQL高級特性——數(shù)據(jù)表分區(qū)的概念及機制詳解
  • MySQL如何構(gòu)建數(shù)據(jù)表索引
  • MySQL 索引和數(shù)據(jù)表該如何維護
  • Mysql刪除數(shù)據(jù)以及數(shù)據(jù)表的方法實例
  • MySQL創(chuàng)建數(shù)據(jù)表時設(shè)定引擎MyISAM/InnoDB操作
  • 刪除mysql數(shù)據(jù)表如何操作
  • 關(guān)于MYSQL 你需要知道的數(shù)據(jù)類型和操作數(shù)據(jù)表
  • MySQL創(chuàng)建數(shù)據(jù)表并建立主外鍵關(guān)系詳解
  • MySQL 如何設(shè)計統(tǒng)計數(shù)據(jù)表

標(biāo)簽:昌都 陜西 荊門 北京 黔西 梅河口 鄂爾多斯 駐馬店

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《MySQL數(shù)據(jù)表合并去重的簡單實現(xiàn)方法》,本文關(guān)鍵詞  MySQL,數(shù)據(jù)表,合并,去,重的,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《MySQL數(shù)據(jù)表合并去重的簡單實現(xiàn)方法》相關(guān)的同類信息!
  • 本頁收集關(guān)于MySQL數(shù)據(jù)表合并去重的簡單實現(xiàn)方法的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章