MySQL創(chuàng)建高性能索引的全步驟

一、索引基礎(chǔ)

1. 索引的類型

1.1 B-Tree 索引

大多數(shù)MySQL存儲(chǔ)引擎默認(rèn)使用的是B+樹的索引，不同的存儲(chǔ)引擎用不同的方式使用B+樹索引，MyISAM使用前綴壓縮技術(shù)使得索引更小，但是InnoDB則按照元數(shù)據(jù)格式進(jìn)行存儲(chǔ)；MyISAM索引通過數(shù)據(jù)的物理位置引用被索引的行，而InnoDB則根據(jù)主鍵引用被索引的行。

B樹 和 B+ 樹

B樹：

B+樹：

區(qū)別：

• B樹的關(guān)鍵字和記錄是放在一起的，葉子節(jié)點(diǎn)可以看作外部節(jié)點(diǎn)，不包含任何信息；B+樹的非葉子節(jié)點(diǎn)中只有關(guān)鍵字和指向下一個(gè)節(jié)點(diǎn)的索引，記錄只放在葉子節(jié)點(diǎn)中
• 在 B樹中，越靠近根節(jié)點(diǎn)的記錄查找時(shí)間越快，只要找到關(guān)鍵字即可確定記錄的存在；而 B+樹中每個(gè)記錄 的查找時(shí)間基本是一樣的，都需要從根節(jié)點(diǎn)走到葉子節(jié)點(diǎn)，而且在葉子節(jié)點(diǎn)中還要再比較關(guān)鍵字。從這個(gè)角度看 B樹的性能好像要比 B+樹好，而在實(shí)際應(yīng)用中卻是 B+樹的性能要好些。因?yàn)?B+樹的非葉子節(jié)點(diǎn)不存放實(shí)際的數(shù)據(jù)， 這樣每個(gè)節(jié)點(diǎn)可容納的元素個(gè)數(shù)比 B樹多，樹高比 B樹小，這樣帶來的好處是減少磁盤訪問次數(shù)。盡管 B+樹找到 一個(gè)記錄所需的比較次數(shù)要比 B樹多，但是一次磁盤訪問的時(shí)間相當(dāng)于成百上千次內(nèi)存比較的時(shí)間，因此實(shí)際中 B+樹的性能可能還會(huì)好些，而且 B+樹的葉子節(jié)點(diǎn)使用指針連接在一起，方便順序遍歷（例如查看一個(gè)目錄下的所有 文件，一個(gè)表中的所有記錄等），這也是很多數(shù)據(jù)庫和文件系統(tǒng)使用 B+樹的緣故
  

為什么說 B+樹比 B-樹更適合實(shí)際應(yīng)用中操作系統(tǒng)的文件索引和數(shù)據(jù)庫索引？

• B+樹的磁盤讀寫代價(jià)更低
  • B+樹的內(nèi)部結(jié)點(diǎn)并沒有指向關(guān)鍵字具體信息的指針。因此其內(nèi)部結(jié)點(diǎn)相對 B 樹更小。如果把所有同一內(nèi)部結(jié)點(diǎn) 的關(guān)鍵字存放在同一盤塊中，那么盤塊所能容納的關(guān)鍵字?jǐn)?shù)量也越多。一次性讀入內(nèi)存中的需要查找的關(guān)鍵字也就越多。相對來說 IO 讀寫次數(shù)也就降低了
• B+樹的查詢效率更加穩(wěn)定
  • 由于非終結(jié)點(diǎn)并不是最終指向文件內(nèi)容的結(jié)點(diǎn)，而只是葉子結(jié)點(diǎn)中關(guān)鍵字的索引。所以任何關(guān)鍵字的查找必須走一條從根結(jié)點(diǎn)到葉子結(jié)點(diǎn)的路。所有關(guān)鍵字查詢的路徑長度相同，導(dǎo)致每一個(gè)數(shù)據(jù)的查詢效率相當(dāng)
    

為什么不用紅黑樹？

• B+樹更少的查找次數(shù)
  • 平衡樹查找操作的時(shí)間復(fù)雜度和樹高 h 相關(guān)，O(h)=O(logdN)，其中 d 為每個(gè)節(jié)點(diǎn)的出度。
  • 紅黑樹的出度為 2，而 B+樹 的出度一般都非常大，所以紅黑樹的樹高 h 很明顯比 B+樹 大非常多，查找的次數(shù)也就更多。
• B+樹利用磁盤預(yù)讀特性
  • 為了減少磁盤 I/O 操作，磁盤往往不是嚴(yán)格按需讀取，而是每次都會(huì)預(yù)讀。預(yù)讀過程中，磁盤進(jìn)行順序讀取，順序讀取不需要進(jìn)行磁盤尋道，并且只需要很短的磁盤旋轉(zhuǎn)時(shí)間，速度會(huì)非常快。
  • 操作系統(tǒng)一般將內(nèi)存和磁盤分割成固定大小的塊，每一塊稱為一頁，內(nèi)存與磁盤以頁為單位交換數(shù)據(jù)。數(shù)據(jù)庫系統(tǒng)將索引的一個(gè)節(jié)點(diǎn)的大小設(shè)置為頁的大小，使得一次 I/O 就能完全載入一個(gè)節(jié)點(diǎn)。并且可以利用預(yù)讀特性，相鄰的節(jié)點(diǎn)也能夠被預(yù)先載入
    

1.2 哈希索引

哈希索引基于哈希表實(shí)現(xiàn)，對于每一行數(shù)據(jù)，存儲(chǔ)引擎會(huì)對所有的索引列計(jì)算一個(gè)哈希碼，通過哈希碼能以 O(1) 時(shí)間進(jìn)行查找，但是無法用于排序與分組，并且只支持精確查找，無法用于部分查找和范圍查找。

在MySQL 中，只有Memory引擎顯式支持哈希索引

InnoDB 存儲(chǔ)引擎有一個(gè)特殊的功能叫“自適應(yīng)哈希索引”，當(dāng)某個(gè)索引值被使用的非常頻繁時(shí)，會(huì)在 B+Tree 索引之上再創(chuàng)建一個(gè)哈希索引，這樣就讓 B+Tree 索引具有哈希索引的一些優(yōu)點(diǎn)，比如快速的哈希查找。

1.3 空間數(shù)據(jù)索引（R-Tree）

MyISAM 存儲(chǔ)引擎支持空間數(shù)據(jù)索引（R-Tree），可以用于地理數(shù)據(jù)存儲(chǔ)?？臻g數(shù)據(jù)索引會(huì)從所有維度來索引數(shù)據(jù)，可以有效地使用任意維度來進(jìn)行組合查詢。

必須使用 GIS 相關(guān)的函數(shù)來維護(hù)數(shù)據(jù)。

1.4 全文索引

MyISAM 存儲(chǔ)引擎支持全文索引，用于查找文本中的關(guān)鍵詞，而不是直接比較是否相等。

查找條件使用 MATCH AGAINST，而不是普通的 WHERE。全文索引使用倒排索引實(shí)現(xiàn)，它記錄著關(guān)鍵詞到其所在文檔的映射。

InnoDB 存儲(chǔ)引擎在 MySQL 5.6.4 版本中也開始支持全文索引。

二、索引的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)

• 索引大大減少了服務(wù)器需要掃描的數(shù)據(jù)量
• 通過索引可以幫助服務(wù)器避免排序和臨時(shí)表，降低CPU消耗
• 可以將隨機(jī)IO變?yōu)轫樞騃O，加快IO速度
  

缺點(diǎn)

• 雖然索引大大提高了查詢速度，同時(shí)卻會(huì)降低更新表的速度，如對表進(jìn)行INSERT、UPDATE和DELETE。因?yàn)楦卤頃r(shí)，MySQL不僅要保存數(shù)據(jù)，還要保存一下索引文件每次更新添加了索引列的字段，都會(huì)調(diào)整因?yàn)楦滤鶐淼逆I值變化后的索引信息
• 實(shí)際上索引也是一張表，該表保存了主鍵與索引字段，并指向?qū)嶓w表的記錄，所以索引列也是要占用空間的
  

三、高性能索引策略

1. 獨(dú)立的列

如果MySQL查詢的列不是獨(dú)立的，就不會(huì)使用索引，“獨(dú)立的列”指的是，索引列不能是表達(dá)式的一部分，也不能是函數(shù)的參數(shù)

例如

mysql> SELECT id, name FROM t_user WHERE id + 1 = 5;

MySQL無法解析這個(gè) id + 1 方程式，我們應(yīng)該養(yǎng)成簡化WHERE條件的習(xí)慣

2. 前綴索引

有時(shí)候需要索引很長的字符列，這會(huì)讓索引變得大且慢

比如對于 BLOB、TEXT 和 VARCHAR 類型的列，必須使用前綴索引，只索引開始的部分字符。

前綴長度的選取需要根據(jù)索引選擇性來確定

3. 多列索引

很多人對于多列索引的理解都不夠，一個(gè)常見的錯(cuò)誤就是，為每個(gè)列創(chuàng)建獨(dú)立的索引，或者按照錯(cuò)誤的順序創(chuàng)建多列索引

在多個(gè)列上建立獨(dú)立的單列索引大部分情況下并不能提高M(jìn)ySQL的查詢性能，所以引入“索引合并”的策略，一定程度上可以使用表上的多個(gè)單列索引來定位指定的行。

例如下面的語句中，最好把 username 和 password 設(shè)置為多列索引。

SELECT username, password FROM t_user WHERE username = 'Aiguodala' AND password = 'Aiguodala';

4. 合適的索引列順序

讓選擇性最強(qiáng)的索引列放在前面。

索引的選擇性是指：不重復(fù)的索引值和記錄總數(shù)的比值。最大值為 1，此時(shí)每個(gè)記錄都有唯一的索引與其對應(yīng)。選擇性越高，每個(gè)記錄的區(qū)分度越高，查詢效率也越高。

5. 聚簇索引

聚簇索引并不是一種單獨(dú)的索引類型，而是一種數(shù)據(jù)存儲(chǔ)方式，術(shù)語“聚簇”表示數(shù)據(jù)行和相鄰的鍵值緊湊地存儲(chǔ)在一起。

InnoDB 通過主鍵聚集數(shù)據(jù)，如果沒有定義主鍵，InnoDB會(huì)選擇一個(gè)唯一的非空索引來代替，如果沒有這樣的索引，InnoDB會(huì)隱式的定義一個(gè)主鍵來作為聚簇索引。

聚集的數(shù)據(jù)的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：

• 可以把相關(guān)的數(shù)據(jù)保存在一起
  • 例如實(shí)現(xiàn)電子郵箱時(shí)，根據(jù)用戶ID來聚集數(shù)據(jù)，這樣只需要從磁盤讀取少量的數(shù)據(jù)就可以獲取某個(gè)用戶的全部郵件，如果沒有聚簇索引，獲取每封郵件都會(huì)導(dǎo)致一次磁盤IO
• 數(shù)據(jù)訪問更快，聚簇索引將索引和數(shù)據(jù)保存在同一個(gè)B+樹中，能更快的查找數(shù)據(jù)
• 使用覆蓋索引掃描的查詢可以直接使用頁節(jié)點(diǎn)中的主鍵值
  

缺點(diǎn)：

• 聚簇?cái)?shù)據(jù)最大限度提高了IO密集型應(yīng)用的性能，但是如果數(shù)據(jù)全部放在內(nèi)存中，則訪問的順序就不重要，聚簇索引也沒有優(yōu)勢
• 插入速度嚴(yán)重依賴于插入順序，如果不是按照主鍵的順序加載數(shù)據(jù)，那么加載完成后最好使用OPTIMIZE TABLE命令重新組織一下表，所以建議選擇自增的主鍵
• 更新聚簇索引列的代價(jià)很高，因?yàn)闀?huì)強(qiáng)制InnoDB將每個(gè)被更新的行移動(dòng)到新的位置。
• 基于聚簇索引的表在插入新行，或者主鍵被更新導(dǎo)致需要移動(dòng)行的時(shí)候，可能面臨“頁分裂”的問題。當(dāng)行的主鍵值要求必須將這一行插入到某個(gè)已滿的頁中時(shí)，存儲(chǔ)引擎會(huì)將該頁分裂成兩個(gè)頁面來容納該行，這就是一次分裂操作。頁分裂會(huì)導(dǎo)致表占用更多的磁盤空間。
• 聚簇索引可能導(dǎo)致全表掃描變慢，尤其是行比較稀疏，或者由于頁分裂導(dǎo)致數(shù)據(jù)存儲(chǔ)不連續(xù)的時(shí)候。
  

非聚簇索引

將數(shù)據(jù)存儲(chǔ)于索引分開結(jié)構(gòu)，索引結(jié)構(gòu)的葉子節(jié)點(diǎn)指向了數(shù)據(jù)的對應(yīng)行，myisam通過key_buffer把索引先緩存到內(nèi)存中，當(dāng)需要訪問數(shù)據(jù)時(shí)（通過索引訪問數(shù)據(jù)），在內(nèi)存中直接搜索索引，然后通過索引找到磁盤相應(yīng)數(shù)據(jù)，這也就是為什么索引不在key buffer命中時(shí)，速度慢的原因

6. 覆蓋索引

索引覆蓋所有需要查詢的字段的值

好處：

• 索引條目遠(yuǎn)小于數(shù)據(jù)行大小，所以可以幾大減少數(shù)據(jù)訪問量以及更容易全部放到內(nèi)存
• 索引是按照列值順序存儲(chǔ)，對于IO密級型的范圍查詢會(huì)比隨機(jī)從磁盤讀取每一行數(shù)據(jù)的IO要少得多
• 一些存儲(chǔ)引擎（例如 MyISAM）在內(nèi)存中只緩存索引，而數(shù)據(jù)依賴于操作系統(tǒng)來緩存。因此，只訪問索引可以不使用系統(tǒng)調(diào)用（通常比較費(fèi)時(shí)）。
• InnoDB 的二級索引（非聚簇索引）在葉子結(jié)點(diǎn)保存了行的主鍵值，如果二級主鍵能夠覆蓋查詢，則可以避免對主鍵索引的二次查詢

三、查詢性能優(yōu)化

1. Explain 性能分析

使用 EXPLAIN 關(guān)鍵字可以模擬優(yōu)化器執(zhí)行 SQL 查詢語句，從而知道 MySQL 是如何處理你的 SQL 語句的。分析你的查詢語句或是表結(jié)構(gòu)的性能瓶頸

舉例：

1.1 id：表的讀取順序

id是select查詢的序列號，包含一組數(shù)字，表示查詢中執(zhí)行select子句或操作表的順序

id相同：執(zhí)行順序?yàn)?從上至下執(zhí)行

EXPLAIN SELECT * FROM t1, t2, t3 WHERE t1.id = t2.id AND t2.id = t3.id;

id不同：執(zhí)行順序?yàn)?id大的先執(zhí)行

EXPLAIN SELECT t2.id FROM t2 WHERE t2.id = 
(SELECT t1.id FROM t1 WHERE t1.id = 
(SELECT t3.id FROM t3)
);

1.2 select_type：查詢操作類型

select_type代表查詢的類型，主要是用于區(qū)別普通查詢、聯(lián)合查詢、子查詢等的復(fù)雜查詢