數(shù)據(jù)庫中間件MyCat的介紹

1、Mycat 應(yīng)用場景

Mycat 發(fā)展到現(xiàn)在，適用的場景已經(jīng)很豐富，而且不斷有新用戶給出新的創(chuàng)新性的方案，以下是幾個(gè)典型的應(yīng)用場景：

• 1. 單純的讀寫分離，此時(shí)配置最為簡單，支持讀寫分離，主從切換
• 2. 分表分庫，對(duì)于超過 1000 萬的表進(jìn)行分片，最大支持 1000 億的單表分片
• 3. 多租戶應(yīng)用，每個(gè)應(yīng)用一個(gè)庫，但應(yīng)用程序只連接 Mycat，從而不改造程序本身，實(shí)現(xiàn)多租戶化
• 4. 報(bào)表系統(tǒng)，借助于 Mycat 的分表能力，處理大規(guī)模報(bào)表的統(tǒng)計(jì)
• 5. 替代 Hbase，分析大數(shù)據(jù)
• 6. 作為海量數(shù)據(jù)實(shí)時(shí)查詢的一種簡單有效方案，比如 100 億條頻繁查詢的記錄需要在 3 秒內(nèi)查詢出來結(jié)果，除了基于主鍵的查詢，還可能存在范圍查詢或其他屬性查詢，此時(shí) Mycat 可能是最簡單有效的選擇。

MYCAT可以實(shí)現(xiàn)讀寫分離下的讀操作負(fù),mycat載均衡，將大量的讀操作均衡到不同的從庫上，主要出現(xiàn)在一主多從情形下。

MYCAT可實(shí)現(xiàn)數(shù)據(jù)庫的高可用，在數(shù)據(jù)庫主節(jié)點(diǎn)可用的情況下，配置一臺(tái)可寫從節(jié)點(diǎn)，這兩個(gè)節(jié)點(diǎn)都配置在MYCAT中，當(dāng)主節(jié)點(diǎn)宕機(jī)時(shí)，MyCAT會(huì)自動(dòng)將寫操作路由到備用節(jié)點(diǎn)上，但并不支持在切換之后的繼續(xù)主從同步。

當(dāng)讀寫分離已經(jīng)不能滿足持續(xù)增加的訪問量時(shí)，MYCAT可實(shí)現(xiàn)數(shù)據(jù)庫的垂直拆分，將所有的數(shù)據(jù)庫表按照模塊劃分，不同類型的表拆分到不同的數(shù)據(jù)庫服務(wù)器。

隨著業(yè)務(wù)量的增長，垂直拆分之后如果又出現(xiàn)了數(shù)據(jù)庫性能問題，則需要進(jìn)行水平切分，這就是俗稱的分庫分表。將數(shù)據(jù)量很大的表數(shù)據(jù)切分到不同的服務(wù)器庫中，表結(jié)構(gòu)是一樣的，而使用MYCAT實(shí)現(xiàn)水平切分，對(duì)前端應(yīng)用是完全透明的，不用調(diào)整前臺(tái)邏輯。

從定義和分類來看，它是一個(gè)開源的分布式數(shù)據(jù)庫系統(tǒng)，是一個(gè)實(shí)現(xiàn)了MySQL協(xié)議的服務(wù)器，前端用戶可以把它看作是一個(gè)數(shù)據(jù)庫代理，用MySQL客戶端工具和命令行訪問，而其后端可以用MySQL原生協(xié)議與多個(gè)MySQL服務(wù)器通信，也可以用JDBC協(xié)議與大多數(shù)主流數(shù)據(jù)庫服務(wù)器通信，其核心功能是分表分庫，即將一個(gè)大表水平分割為N個(gè)小表，存儲(chǔ)在后端MySQL服務(wù)器里或者其他數(shù)據(jù)庫里。

MyCat發(fā)展到目前的版本，已經(jīng)不是一個(gè)單純的MySQL代理了，它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流數(shù)據(jù)庫，也支持MongoDB這種新型NoSQL方式的存儲(chǔ)，未來還會(huì)支持更多類型的存儲(chǔ)。而在最終用戶看來，無論是那種存儲(chǔ)方式，在MyCat里，都是一個(gè)傳統(tǒng)的數(shù)據(jù)庫表，支持標(biāo)準(zhǔn)的SQL語句進(jìn)行數(shù)據(jù)的操作，這樣一來，對(duì)前端業(yè)務(wù)系統(tǒng)來說，可以大幅降低開發(fā)難度，提升開發(fā)速度

2.傳統(tǒng)關(guān)系型數(shù)據(jù)庫局限性

傳統(tǒng)關(guān)系型數(shù)據(jù)庫由于缺乏擴(kuò)展性在面對(duì)大數(shù)據(jù)時(shí)存在巨大的缺陷，但是關(guān)系模型、事務(wù)機(jī)制對(duì)于大部分系統(tǒng)又不必不可少，目前業(yè)界主流的做法就是將傳統(tǒng)數(shù)據(jù)庫進(jìn)行切分(包括垂直切分、水平切分等)，提高數(shù)據(jù)庫的可擴(kuò)展性。但是切分之后又帶來了新的問題，比如多數(shù)據(jù)源管理問題、跨節(jié)點(diǎn)join問題、分布式事務(wù)問題等。下面探討Mycat如何解決這些問題。

多數(shù)據(jù)源管理問題

針對(duì)多數(shù)據(jù)源管理問題，主要有兩種解決思路，第一:客戶端模式，在每個(gè)應(yīng)用程序模塊中配置管理自己需要的一個(gè)(或者多個(gè))數(shù)據(jù)源，直接訪問各個(gè)數(shù)據(jù)庫，在模塊內(nèi)完成數(shù)據(jù)的整合。第二:通過中間代理層來統(tǒng)一管理所有的數(shù)據(jù)源，后端數(shù)據(jù)庫集群對(duì)前端應(yīng)用程序透明。第一種方式不具備通用性，每個(gè)應(yīng)用程序都需要自行開發(fā)數(shù)據(jù)整合功能，且對(duì)于已經(jīng)建設(shè)完成的系統(tǒng)需要進(jìn)行代碼重構(gòu)，不適宜推廣。目前主要使用的是第二種方式，Mycat 的原理如下: Mycat 的原理中最重要的一個(gè)動(dòng)詞是“攔截”，它攔截了用戶發(fā)送過來的SQL語句，首先對(duì)SQL語句做了一些特定的分析:如分片分析、路由分析、讀寫分離分析、緩存分等，然后將此SQL發(fā)往后端的真實(shí)數(shù)據(jù)庫，并將返回的結(jié)果做適當(dāng)?shù)奶幚?，最終再返回給用戶。

Mycat的原理與其他分布式數(shù)據(jù)庫中間件很類似,但是在架構(gòu)上還是有區(qū)別,Mycat來源于Cobar,但在其基礎(chǔ)上進(jìn)行了很大改進(jìn),Mycat的架構(gòu)如下:

目前主流的分布式數(shù)據(jù)庫中間件還有TDDL、 Amoeba、 Coba等，TDDL不同于其它幾款產(chǎn)品，并非獨(dú)立的中間件，只能算作中間層，是以Jar包方式提供給應(yīng)用調(diào)用。屬于JDBC Shard 的思想，網(wǎng)上也有很多其它類似產(chǎn)品。Amoeba是作為一個(gè)真正的獨(dú)立中間件提供服務(wù)，即應(yīng)用去連接Amoeba操作MySQL集群，就像操作單MySQL一樣，從架構(gòu)中可以看來，Amoeba算中間件中的早期產(chǎn)品，后端還在使用JDBC Driver. Cobar 是Amoeba基礎(chǔ)上進(jìn)化的版本，一個(gè)顯著變化是把后端JDBC Driver改為原生的MySQL通信協(xié)議層，這就意味著不能支持Oracle、ProstgreSQL 等主流數(shù)據(jù)庫。MyCat 又是在Cobar基礎(chǔ)上發(fā)展的版本，后端由BI0改為NIO，并發(fā)量有大幅提高，增加了對(duì)Order By、GroupBy、limit 等聚合功能的支持，支持目前主流的大部分?jǐn)?shù)據(jù)庫。

跨節(jié)點(diǎn)join問題

Mycat支持inner join、leaf/right join、cross join、 Full join等方式跨節(jié)點(diǎn)join,主要是通過全局表，ER分片，Share Join 和catlet(人工智能)四種方式實(shí)現(xiàn):

1、全局表

一個(gè)真實(shí)的業(yè)務(wù)系統(tǒng)中，往往存在大量的類似字典表的表格，它們與業(yè)務(wù)表之間可能有關(guān)系，這種關(guān)系，可以理解為“標(biāo)簽”，而不應(yīng)理解為通常的“主從關(guān)系”，這些表基本上很少變動(dòng)，可以根據(jù)主鍵ID進(jìn)行緩存，下面這張圖說明了一個(gè)典型的“標(biāo)簽關(guān)系”圖:

在分片的情況下，當(dāng)業(yè)務(wù)表因?yàn)橐?guī)模而進(jìn)行分片以后，業(yè)務(wù)表與這些附屬的字典表之間的關(guān)聯(lián)，就成了比較棘手的問題，考慮到字典表具有以下幾個(gè)特性:

• 1.變動(dòng)不頻繁
• 2.數(shù)據(jù)量總體變化不大
• 3.數(shù)據(jù)規(guī)模不大，很少有超過數(shù)十萬條記錄。

鑒于此，MyCAT定義了一種特殊的表，稱之為“全局表”，全局表具有以下特性:

• 1.全局表的插入、更新操作會(huì)實(shí)時(shí)在所有節(jié)點(diǎn)上執(zhí)行，保持各個(gè)分片的數(shù)據(jù)一致性
• 2.全局表的查詢操作，只從一個(gè)節(jié)點(diǎn)獲取
• 3.全局表可以跟任何一個(gè)表進(jìn)行J0IN操作

將字典表或者符合字典表特性的一些表定義為全局表，則從另外一個(gè)方面，很好的解決了數(shù)據(jù)J0IN的難題。通過全局表+基于ER關(guān)系的分片策略，MyCAT可以滿足80%以上的企業(yè)應(yīng)用開發(fā)。

全局表配置方式如下(全局表會(huì)存儲(chǔ)于所以節(jié)點(diǎn)) :

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接