python使用多線程備份數(shù)據(jù)庫的步驟

一、為什么要用線程池

1.多線程比單線程運(yùn)行要快很多，比如在我工作中，每臺(tái)服務(wù)器至少8個(gè)庫以上，用單線程備份太慢了。

2.不是越多線程就會(huì)越好，而是根據(jù)服務(wù)器的資源來合理定義worker線程，否則會(huì)造成服務(wù)器嚴(yán)重負(fù)載，影響到線上業(yè)務(wù)。

3.備份數(shù)據(jù)庫都是消耗IO操作，用多線程比多進(jìn)程稍微會(huì)更有優(yōu)勢(shì)。

從Python3.2開始，標(biāo)準(zhǔn)庫為我們提供了 concurrent.futures 模塊，它提供了 ThreadPoolExecutor (線程池)和ProcessPoolExecutor (進(jìn)程池)兩個(gè)類。
相比 threading 等模塊，該模塊通過 submit 返回的是一個(gè) future 對(duì)象，它是一個(gè)未來可期的對(duì)象，通過它可以獲悉線程的狀態(tài)主線程(或進(jìn)程)中可以獲取某一個(gè)線程(進(jìn)程)執(zhí)行的狀態(tài)或者某一個(gè)任務(wù)執(zhí)行的狀態(tài)及返回值：
主線程可以獲取某一個(gè)線程（或者任務(wù)的）的狀態(tài)，以及返回值。
當(dāng)一個(gè)線程完成的時(shí)候，主線程能夠立即知道。
讓多線程和多進(jìn)程的編碼接口一致。 

二、線程池練習(xí)

演示例子1:使用submit方法

from concurrent.futures import ThreadPoolExecutor
import time
 
def test_thread(sec):
    time.sleep(sec)
    print(f"sleep {sec} done")
    return sec
 
with ThreadPoolExecutor(max_workers=4) as t:  # 創(chuàng)建一個(gè)最大容納數(shù)量為4的線程池
    task1 = t.submit(test_thread, 1)
    task2 = t.submit(test_thread, 2)  # 通過submit提交執(zhí)行的函數(shù)到線程池中
    task3 = t.submit(test_thread, 3)
 
    print(f"task1: {task1.done()}")  # 通過done來判斷線程是否完成
    print(f"task2: {task2.done()}")
    print(f"task3: {task3.done()}")
 
    time.sleep(2.5)
    print(f"task1: {task1.done()}")
    print(f"task2: {task2.done()}")
    print(f"task3: {task3.done()}")
    print(task1.result())  # 通過result來獲取返回值

結(jié)果輸出:

task1: False
task2: False
task3: False
sleep 1 done
sleep 2 done
task1: True
task2: True
task3: False
1
sleep 3 done

使用 with 語句 ，通過 ThreadPoolExecutor 構(gòu)造實(shí)例，同時(shí)傳入 max_workers 參數(shù)來設(shè)置線程池中最多能同時(shí)運(yùn)行的線程數(shù)目。
使用 submit 函數(shù)來提交線程需要執(zhí)行的任務(wù)到線程池中，并返回該任務(wù)的句柄（類似于文件、畫圖），注意 submit() 不是阻塞的，而是立即返回。
通過使用 done() 方法判斷該任務(wù)是否結(jié)束。上面的例子可以看出，提交任務(wù)后立即判斷任務(wù)狀態(tài)，顯示3個(gè)任務(wù)都未完成。在延時(shí)2.5后，task1 和 task2 執(zhí)行完畢，task3 仍在執(zhí)行中。

演示例子2:使用map方法

import time
from concurrent.futures import ThreadPoolExecutor
 
def spider(page):
    time.sleep(page)
    return page
 
start = time.time()
executor = ThreadPoolExecutor(max_workers=4)
 
i = 1
for result in executor.map(spider, [2, 3, 1, 4]):
    print("task{}:{}".format(i, result))
    i += 1

結(jié)果輸出:

task1:2
task2:3
task3:1
task4:4

from concurrent.futures import ThreadPoolExecutor有兩種方式，一種是submit()函數(shù)，另一種是map()函數(shù)，兩者的主要區(qū)別在于：
1.map可以保證輸出的順序, submit輸出的順序是亂的
2.如果你要提交的任務(wù)的函數(shù)是一樣的，就可以簡(jiǎn)化成map。但是假如提交的任務(wù)函數(shù)是不一樣的，或者執(zhí)行的過程之可能出現(xiàn)異常（使用map執(zhí)行過程中發(fā)現(xiàn)問題會(huì)直接拋出錯(cuò)誤）就要用到submit()
3.submit和map的參數(shù)是不同的，submit每次都需要提交一個(gè)目標(biāo)函數(shù)和對(duì)應(yīng)的參數(shù)，map只需要提交一次目標(biāo)函數(shù)，目標(biāo)函數(shù)的參數(shù)放在一個(gè)迭代器（列表，字典）里就可以。

三、線上數(shù)據(jù)庫測(cè)試

環(huán)境:centos6，數(shù)據(jù)庫版本5.7，數(shù)據(jù)備份2個(gè)1.7G、一個(gè)800M、一個(gè)200M

第一種:shell腳本for的方式備份4個(gè)數(shù)據(jù)庫

#!/bin/bash
backup_path="/data/backup/"
myuser="root"
mypwd="123456"
db_name="test_1000"
current_time=$(date +%Y%m%d%H%M%S)
for i in $(seq 4);do
    /usr/local/mysql/bin/mysqldump -u${myuser} -p${mypwd} --single-transaction --master-data=2 --set-gtid-purged=off "${db_name}${i}" | gzip > ${backup_path}/"${db_name}${i}"_${current_t
ime}.sql.gz
done

查看執(zhí)行時(shí)間　　

mysqldump: [Warning] Using a password on the command line interface can be insecure.
mysqldump: [Warning] Using a password on the command line interface can be insecure.
mysqldump: [Warning] Using a password on the command line interface can be insecure.
mysqldump: [Warning] Using a password on the command line interface can be insecure.
 
real    4m28.421s
user    3m50.360s
sys     0m5.962s

第二種方式:多線程備份　　

可以明顯看到優(yōu)勢(shì)

總結(jié):

在服務(wù)器上有需要備份多個(gè)數(shù)據(jù)庫時(shí)，使用python多線程的方式比傳統(tǒng)的shell腳本循環(huán)備份會(huì)更有優(yōu)勢(shì)，可以充分利用服務(wù)器上的資源，有效提升效率。

以上就是python使用多線程備份數(shù)據(jù)庫的步驟的詳細(xì)內(nèi)容，更多關(guān)于python 多線程備份數(shù)據(jù)庫的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！