主頁(yè) > 知識(shí)庫(kù) > Mysql提升大數(shù)據(jù)表拷貝效率的解決方案

Mysql提升大數(shù)據(jù)表拷貝效率的解決方案

熱門標(biāo)簽:外呼系統(tǒng)服務(wù) 湘潭電銷機(jī)器人咨詢電話 如何在高德地圖標(biāo)注新地址 外呼系統(tǒng)防封號(hào)違法嗎 高德地圖標(biāo)注中心個(gè)人注冊(cè) 電銷機(jī)器人針對(duì)的 寶應(yīng)電信400電話辦理費(fèi)用 高德地圖標(biāo)注模式 400電話辦理都選易號(hào)網(wǎng)

前言

本文主要給大家介紹了關(guān)于Mysql提升大數(shù)據(jù)表拷貝效率的相關(guān)內(nèi)容,分享出來(lái)供大家參考學(xué)習(xí),我們大家在工作上會(huì)經(jīng)常遇到量級(jí)比較大的數(shù)據(jù)表  ;

場(chǎng)景: 該數(shù)據(jù)表需要進(jìn)行alter操作 比如增加一個(gè)字段,減少一個(gè)字段. 這個(gè)在一個(gè)幾萬(wàn)級(jí)別數(shù)據(jù)量的數(shù)據(jù)表可以直接進(jìn)行alter表操作,但是要在一個(gè)接近1000W的數(shù)據(jù)表進(jìn)行操作,不是一件容易的事;

可能情況:

1.導(dǎo)致數(shù)據(jù)庫(kù)崩潰或者卡死 

2.導(dǎo)致其他進(jìn)程 進(jìn)行數(shù)據(jù)庫(kù)讀寫I/O變慢 

3.還有一個(gè)可能就是數(shù)據(jù)格式不一致 導(dǎo)致數(shù)據(jù)無(wú)法寫入(比如一個(gè)varchar類型要改為int類型,當(dāng)數(shù)據(jù)長(zhǎng)度過(guò)大時(shí)會(huì)報(bào)錯(cuò))

解決方案:--

1.重新創(chuàng)建一張數(shù)據(jù)表  create new_table select * from old_table 這種形式相當(dāng)于復(fù)制一張新的數(shù)據(jù)表    ----(不建議):  這里面僅僅復(fù)制數(shù)據(jù)表的字段和數(shù)據(jù) , 但是表結(jié)構(gòu) 主鍵,索引和默認(rèn)值都不會(huì)拷貝過(guò)來(lái)

2.分成兩個(gè)步驟

1). create new_table like old_table 創(chuàng)建一個(gè)新表,表結(jié)構(gòu)和old_table一致(包含主鍵,索引和默認(rèn)值等)

2). insert into new_table select * from old_table 把old_table的數(shù)據(jù)全部拷貝到new_table里面去 

----(如果數(shù)據(jù)量少的話,在幾萬(wàn)行左右建議使用此方案, 如果數(shù)據(jù)量到達(dá)數(shù)百萬(wàn) 上千萬(wàn)時(shí), 這個(gè)也是不適用的)

擴(kuò)展: 如果你只要拷貝一部分?jǐn)?shù)據(jù)表的話,可以指定 insert into new_table (字段1,字段2) select 字段1,字段2 from old_table [limit n,m] ;

3.

1).通過(guò)select from into outfile 命令來(lái)導(dǎo)出數(shù)據(jù)表數(shù)據(jù)

2).通過(guò)load data infile into 命令來(lái)導(dǎo)入數(shù)據(jù)表數(shù)據(jù)

不多廢話 直接看圖,感受下100萬(wàn)左右的數(shù)據(jù)量  方案2 和 方案3 處理速度相差多少

>select * from money_info into outfile '/var/lib/mysql-files/money.txt'; 
>create table money_info_cyq11 like money_info;
>load data infile '/var/lib/mysql-files/money.txt' into table money_info_cyq11;
>create table money_info_cyq22 like money_info;
>insert into money_info_cyq22 select * from money_info;

速度在4倍左右,網(wǎng)上說(shuō)的20倍還沒(méi)體驗(yàn)到[捂臉]

注:這里還存在一個(gè)問(wèn)題

outfile的目錄是有要求的

>show variables like '%secure%';

通過(guò)這條命令可以看到secure_file_priv  對(duì)應(yīng)out_file的目錄在哪個(gè)位置 , 指定這個(gè)位置導(dǎo)出即可;


總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,如果有疑問(wèn)大家可以留言交流,謝謝大家對(duì)腳本之家的支持。

您可能感興趣的文章:
  • mysql 通過(guò)拷貝數(shù)據(jù)文件的方式進(jìn)行數(shù)據(jù)庫(kù)遷移實(shí)例
  • MySQL備份與恢復(fù)之熱拷貝(4)
  • MySQL中大數(shù)據(jù)表增加字段的實(shí)現(xiàn)思路

標(biāo)簽:馬鞍山 黔南 蘭州 南充 黃山 宿遷 賀州 佛山

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Mysql提升大數(shù)據(jù)表拷貝效率的解決方案》,本文關(guān)鍵詞  Mysql,提升,大,數(shù)據(jù)表,拷貝,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Mysql提升大數(shù)據(jù)表拷貝效率的解決方案》相關(guān)的同類信息!
  • 本頁(yè)收集關(guān)于Mysql提升大數(shù)據(jù)表拷貝效率的解決方案的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章