MySql分表、分庫、分片和分區(qū)知識深入詳解

一、前言

數(shù)據(jù)庫的數(shù)據(jù)量達到一定程度之后，為避免帶來系統(tǒng)性能上的瓶頸。需要進行數(shù)據(jù)的處理，采用的手段是分區(qū)、分片、分庫、分表。

二、分片（類似分庫）

分片是把數(shù)據(jù)庫橫向擴展（Scale Out）到多個物理節(jié)點上的一種有效的方式，其主要目的是為突破單節(jié)點數(shù)據(jù)庫服務器的 I/O 能力限制，解決數(shù)據(jù)庫擴展性問題。Shard這個詞的意思是“碎片”。如果將一個數(shù)據(jù)庫當作一塊大玻璃，將這塊玻璃打碎，那么每一小塊都稱為數(shù)據(jù)庫的碎片（DatabaseShard）。將整個數(shù)據(jù)庫打碎的過程就叫做分片，可以翻譯為分片。

形式上，分片可以簡單定義為將大數(shù)據(jù)庫分布到多個物理節(jié)點上的一個分區(qū)方案。每一個分區(qū)包含數(shù)據(jù)庫的某一部分，稱為一個片，分區(qū)方式可以是任意的，并不局限于傳統(tǒng)的水平分區(qū)和垂直分區(qū)。一個分片可以包含多個表的內容甚至可以包含多個數(shù)據(jù)庫實例中的內容。每個分片被放置在一個數(shù)據(jù)庫服務器上。一個數(shù)據(jù)庫服務器可以處理一個或多個分片的數(shù)據(jù)。系統(tǒng)中需要有服務器進行查詢路由轉發(fā)，負責將查詢轉發(fā)到包含該查詢所訪問數(shù)據(jù)的分片或分片集合節(jié)點上去執(zhí)行。

三、Scale Out/Scale Up 和 垂直切分/水平拆分

Mysql的擴展方案包括Scale Out和Scale Up兩種。

Scale Out（橫向擴展）是指Application可以在水平方向上擴展。一般對數(shù)據(jù)中心的應用而言，Scale out指的是當添加更多的機器時，應用仍然可以很好的利用這些機器的資源來提升自己的效率從而達到很好的擴展性。

Scale Up（縱向擴展）是指Application可以在垂直方向上擴展。一般對單臺機器而言，Scale Up值得是當某個計算節(jié)點（機器）添加更多的CPU Cores，存儲設備，使用更大的內存時，應用可以很充分的利用這些資源來提升自己的效率從而達到很好的擴展性。

MySql的Sharding策略包括垂直切分和水平切分兩種。

垂直(縱向)拆分：是指按功能模塊拆分，以解決表與表之間的io競爭。比如分為訂單庫、商品庫、用戶庫...這種方式多個數(shù)據(jù)庫之間的表結構不同。

水平(橫向)拆分：將同一個表的數(shù)據(jù)進行分塊保存到不同的數(shù)據(jù)庫中，來解決單表中數(shù)據(jù)量增長出現(xiàn)的壓力。這些數(shù)據(jù)庫中的表結構完全相同。

表結構設計垂直切分。常見的一些場景包括

a).大字段的垂直切分。單獨將大字段建在另外的表中，提高基礎表的訪問性能，原則上在性能關鍵的應用中應當避免數(shù)據(jù)庫的大字段

b). 按照使用用途垂直切分。例如企業(yè)物料屬性，可以按照基本屬性、銷售屬性、采購屬性、生產(chǎn)制造屬性、財務會計屬性等用途垂直切分

c). 按照訪問頻率垂直切分。例如電子商務、Web 2.0系統(tǒng)中，如果用戶屬性設置非常多，可以將基本、使用頻繁的屬性和不常用的屬性垂直切分開

表結構設計水平切分。常見的一些場景包括

a). 比如在線電子商務網(wǎng)站，訂單表數(shù)據(jù)量過大，按照年度、月度水平切分

b). Web 2.0網(wǎng)站注冊用戶、在線活躍用戶過多，按照用戶ID范圍等方式，將相關用戶以及該用戶緊密關聯(lián)的表做水平切分

c). 例如論壇的置頂帖子，因為涉及到分頁問題，每頁都需要顯示置頂貼，這種情況可以把置頂貼水平切分開來，避免取置頂帖子時從所有帖子的表中讀取

四、分表和分區(qū)

分表從表面意思說就是把一張表分成多個小表，分區(qū)則是把一張表的數(shù)據(jù)分成N多個區(qū)塊，這些區(qū)塊可以在同一個磁盤上，也可以在不同的磁盤上。

分表和分區(qū)的區(qū)別

1，實現(xiàn)方式上

mysql的分表是真正的分表，一張表分成很多表后，每一個小表都是完正的一張表，都對應三個文件（MyISAM引擎：一個.MYD數(shù)據(jù)文件，.MYI索引文件，.frm表結構文件）。

2，數(shù)據(jù)處理上

分表后數(shù)據(jù)都是存放在分表里，總表只是一個外殼，存取數(shù)據(jù)發(fā)生在一個一個的分表里面。分區(qū)則不存在分表的概念，分區(qū)只不過把存放數(shù)據(jù)的文件分成了許多小塊，分區(qū)后的表還是一張表，數(shù)據(jù)處理還是由自己來完成。

3，提高性能上

分表后，單表的并發(fā)能力提高了，磁盤I/O性能也提高了。分區(qū)突破了磁盤I/O瓶頸，想提高磁盤的讀寫能力，來增加mysql性能。

在這一點上，分區(qū)和分表的測重點不同，分表重點是存取數(shù)據(jù)時，如何提高mysql并發(fā)能力上；而分區(qū)呢，如何突破磁盤的讀寫能力，從而達到提高mysql性能的目的。

4，實現(xiàn)的難易度上

分表的方法有很多，用merge來分表，是最簡單的一種方式。這種方式和分區(qū)難易度差不多，并且對程序代碼來說可以做到透明的。如果是用其他分表方式就比分區(qū)麻煩了。分區(qū)實現(xiàn)是比較簡單的，建立分區(qū)表，跟建平常的表沒什么區(qū)別，并且對代碼端來說是透明的。

分區(qū)的適用場景

1. 一張表的查詢速度已經(jīng)慢到影響使用的時候。

2.表中的數(shù)據(jù)是分段的

3.對數(shù)據(jù)的操作往往只涉及一部分數(shù)據(jù)，而不是所有的數(shù)據(jù)

CREATE TABLE sales (

    id INT AUTO_INCREMENT,

    amount DOUBLE NOT NULL,

    order_day DATETIME NOT NULL,

    PRIMARY KEY(id, order_day)

) ENGINE=Innodb

PARTITION BY RANGE(YEAR(order_day)) (

    PARTITION p_2010 VALUES LESS THAN (2010),

    PARTITION p_2011 VALUES LESS THAN (2011),

    PARTITION p_2012 VALUES LESS THAN (2012),

PARTITION p_catchall VALUES LESS THAN MAXVALUE);

分表的適用場景

1. 一張表的查詢速度已經(jīng)慢到影響使用的時候。

2.當頻繁插入或者聯(lián)合查詢時，速度變慢。

分表的實現(xiàn)需要業(yè)務結合實現(xiàn)和遷移，較為復雜。

五、分表與分庫

分表能夠解決單表數(shù)據(jù)量過大帶來的查詢效率下降的問題，但是，卻無法給數(shù)據(jù)庫的并發(fā)處理能力帶來質的提升。面對高并發(fā)的讀寫訪問，當數(shù)據(jù)庫master服務器無法承載寫操作壓力時，不管如何擴展slave服務器，此時都沒有意義了。因此，我們必須換一種思路，對數(shù)據(jù)庫進行拆分，從而提高數(shù)據(jù)庫寫入能力，這就是所謂的分庫。

與分表策略相似，分庫可以采用通過一個關鍵字取模的方式，來對數(shù)據(jù)訪問進行路由，如下圖所示

六、分區(qū)與分片區(qū)別

到此這篇關于MySql分表、分庫、分片和分區(qū)知識深入詳解的文章就介紹到這了,更多相關MySql分表、分庫、分片、分區(qū)內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！