MySQL 內部處處皆緩存，等什么時候看了MySQL的源碼，再來詳細的分析緩存的是如何利用的。這部分主要將各種顯式的緩存優(yōu)化：
- 查詢緩存優(yōu)化
- 結果集緩存
- 排序緩存
- join 連接緩存
- 表緩存Cache 與表結構定義緩存Cache
- 表掃描緩存buffer
- MyISAM索引緩存buffer
- 日志緩存
- 預讀機制
- 延遲表與臨時表
1、查詢緩存優(yōu)化
查詢緩存不僅將查詢語句結構緩存起來，還將查詢結果緩存起來。一段時間內，如果是同樣的SQL,則直接從緩存中讀取結果，提高查找數(shù)據(jù)的效率。但當緩存中的數(shù)據(jù)與硬盤中的數(shù)據(jù)不一致時，緩存就會失效。
mysql> show variables like '%query_cache%';
+------------------------------+---------+
| Variable_name | Value |
+------------------------------+---------+
| have_query_cache | YES |
| query_cache_limit | 1048576 |
| query_cache_min_res_unit | 4096 |
| query_cache_size | 1048576 |
| query_cache_type | OFF |
| query_cache_wlock_invalidate | OFF |
+------------------------------+---------+
have_query_cache 是否支持查詢緩存。
query_cache_limit 如果某條select語句的結果集大小超過了querycachelimit的值時，這個結果集將不會被添加到查詢緩存。
query_cache_min_res_unit 查詢緩存是以塊來申請內存空間的，每次申請的塊大小為設定值。4K 是非常一個合理的值，不必修改。
query_cache_size 查詢緩存的大小。
query_cache_type 查詢緩存的類型，值有 0（OFF）、1（ON）、2（DEMOND）。OFF表示查詢緩存是關閉的。ON 表示查詢總是先到查詢緩存中去查找，除非在select 語句中包含sql_no_cache選項。 DEMOND 表示不適用緩存，除非在select 語句中包含sql_cache選項。
query_cache_wlock_invalidate 該參數(shù)用于設置行級排它鎖與查詢緩存之間的關系，默認為為0（OFF）,表示施加行級排它所的同時，該表的所有查詢緩存依然有效。如果設置為1（ON）,表示事假行級排它鎖的同時，該表的所有查詢緩存失效。
查看查詢緩存的命中率
mysql> show status like 'Qcache%';
+-------------------------+---------+
| Variable_name | Value |
+-------------------------+---------+
| Qcache_free_blocks | 1 |
| Qcache_free_memory | 1031360 |
| Qcache_hits | 0 |
| Qcache_inserts | 0 |
| Qcache_lowmem_prunes | 0 |
| Qcache_not_cached | 0 |
| Qcache_queries_in_cache | 0 |
| Qcache_total_blocks | 1 |
+-------------------------+---------+
查看當前緩存的狀態(tài)信息：
Qcache_free_blocks
表示查詢緩存中處以重現(xiàn)狀態(tài)的內存塊數(shù)（碎片數(shù)量）。如果Qcache_free_blocks 的值較大，則意味著查詢緩存中碎片比較多，表明查詢結果集較小，此時可以減小query_cache_min_res_unit的值。使用flush query cache 會對緩存中的若干個碎片進行整理，從而得到一個比較大的空閑塊。緩存碎片率 = Qcache_free_blocks/ Qcache_total_blocks * 100%
Qcache_free_memory
表示當前MySQL服務實例的查詢緩存還有多少可用內存。
Qcache_hits
表示使用查詢緩存的次數(shù)，該值會依次增加。如果Qcache_hits比較大，則說明查詢緩存使用的非常頻繁，此時需要增加查詢緩存。
Qcache_inserts
表示查詢緩存中此前總共緩存過多少條select 語句的結果集。
Qcache_lowmen_prunes
表示因為查詢緩存已滿而溢出，導致MySQL刪除的查詢結果個數(shù)。如果該值比較大，則表明查詢緩存過小。
Qcache_not_cached
表示沒有進入查詢緩存的select個數(shù)
Qcache_queryies_in_cache
表示查詢緩存中緩存這多少條select語句的結果集
Qcache_total_blocks
查詢緩存的總個數(shù)
緩存命中率的計算方式： 查詢緩存的命中率 = Qcache_hits / Com_select * 100%
其中Com_select為當前MySQL實例執(zhí)行select 語句的個數(shù)。一般情況下Com_select = Qcache_insert + Qcache_not_cached。而 Qcache_not_cached中包含有數(shù)據(jù)頻繁變化而導致查詢緩存失效的select語句，因此命中率一般來說較低。如果拋開失效的因素，查詢緩存的命中率 = Qcache_hits / (Qcache_hits + Qcache_inserts) 如果使用這種公式計算出查詢緩存的命中率比較高的話，這就意味著大部分select語句都命中了查詢緩存。
通過如下命令查看當前系統(tǒng)一共執(zhí)行了多少條select語句
mysql> show status like 'Com_select';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Com_select | 1 |
+---------------+-------+
2、結果集緩存
結果集緩存是會話緩存，MySQL客戶機成功連接服務器之后。MySQL服務器會為每個MySQL客戶機保留結果集緩存。緩存MySQL客戶機連接線程的連接信息以及緩存返回MySQL客戶機的結果集信息,當MySQL客戶機向服務器發(fā)送select 語句時，MySQL將select語句的執(zhí)行結果暫存在結果集緩存中。結果集的緩存大小由 net_buffer_length 參數(shù)值定義:
mysql> show variables like 'net_buffer_length';
+-------------------+-------+
| Variable_name | Value |
+-------------------+-------+
| net_buffer_length | 16384 |
+-------------------+-------+
如果結果集超過net_buffer_length設置的值，則自動擴充容量，但不超過：max_allowd_packet的閾限值：
mysql> show variables like 'max_allowed_packet';
+--------------------+---------+
| Variable_name | Value |
+--------------------+---------+
| max_allowed_packet | 4194304 |
+--------------------+---------+
3、排序緩存
MySQL 常用的有InnoDB 和MyISAM 兩種數(shù)據(jù)存儲引擎。因此在優(yōu)化的時候，每種引擎都會采用適合自己引擎的優(yōu)化方法。關于MySQL 與InnoDB 表結構文件和數(shù)據(jù)日志文件的不同，可以先看本人的博客MySQL 日志系統(tǒng),以便對這些基礎概念有足夠的了解，接下來看引擎的優(yōu)化的方法才能如魚得水，不覺得枯燥。
1、普通排序緩存
排序緩存是會話緩存, 如果客戶機向服務端發(fā)送的SQL語句中含有設計排序的order by 或者group by 子句。MySQL就會選擇相應的排序算法，在普通排序索引上進行排序，提升排序速度。普通排序索引的大小由sort_buffer_size 參數(shù)定義，如果要提升排序的速度，首先應該添加合適的索引，此后則應該增大排序索引緩存sort_buffer_size.
mysql> select @@global.sort_buffer_size / 1024;
+----------------------------------+
| @@global.sort_buffer_size / 1024 |
+----------------------------------+
| 256.0000 |
+----------------------------------+
1 row in set (0.00 sec)
接下來我們來看下與排序緩存相關的參數(shù)有哪些：
mysql> show variables like '%sort%';
+--------------------------------+---------------------+
| Variable_name | Value |
+--------------------------------+---------------------+
| innodb_disable_sort_file_cache | OFF |
| innodb_ft_sort_pll_degree | 2 |
| innodb_sort_buffer_size | 1048576 |
| max_length_for_sort_data | 1024 |
| max_sort_length | 1024 |
| myisam_max_sort_file_size | 9223372036853727232 |
| myisam_sort_buffer_size | 8388608 |
| sort_buffer_size | 262144 |
+--------------------------------+---------------------+
mysql> show status like '%sort%';
+-------------------+-------+
| Variable_name | Value |
+-------------------+-------+
| Sort_merge_passes | 0 |
| Sort_range | 0 |
| Sort_rows | 0 |
| Sort_scan | 0 |
+-------------------+-------+
max_length_for_sort_data
默認大小為1024字節(jié)，對每一列的進行排序操作是，如果該列的值長度較長，通過增加該參數(shù)來提升MySQL性能。
max_sort_length
order by 或者 group by 的時候使用該列的前 max_sort_length字節(jié)進行排序，排序操作完成后，會將此次排序的信息記錄到本次會話的狀態(tài)里。
Sort_merge_passes
使用臨時文件完成排序操作的次數(shù)。MySQL在進行排序操作時，首先嘗試在普通排序緩存中完成排序。如果緩存空間不夠用，MySQL將利用緩存進行多次排序。并把每次的排序結果存放到臨時文件中，最后再把臨時文件中的數(shù)據(jù)做一次排序。Sort_merge_passes值就是記錄了使用文件進行排序的次數(shù)。由于文件排序要牽涉到讀文件，打開文件句柄，然后關閉文件等操作。所以讀取文件的系統(tǒng)消耗比較大，通過增大普通排序緩存sort_buffer_size來減少使用臨時文件排序的次數(shù)，從而增加排序的性能。
Sort_range
使用范圍排序的次數(shù)
Sort_rows
已經(jīng)排序的記錄行數(shù)
Sort_scan
通過全表掃描完成排序的次數(shù)
2、MyISAM排序緩存
當我們使用alter table 語句或者create index 語句創(chuàng)建MyISAM表的索引，或者導入一部分數(shù)據(jù)使用load data infile path，這些操作都會導致索引被重建，重建索引時需要對索引字段進行排序操作，為了加快重建索引的效率，MyISAM提供了排序緩存用于實現(xiàn)索引的排序工作，這些方法都是盡量是排序的工作在內存中完成。MyISAM排序緩存的大小由myisam_sort_buffer_size定義。索引重建之后，該緩存立馬釋放。
但是當排序的緩存超過myisam_sort_buffer_size的閾限時，此時就需要在臨時文件中完成索引字段的排序工作，外存臨時文件的大小由myisam_max_sort_file_size參數(shù)設定，索引重建后，臨時文件立即刪除。
mysql> select @@global.myisam_sort_buffer_size/1024;
+---------------------------------------+
| @@global.myisam_sort_buffer_size/1024 |
+---------------------------------------+
| 8192.0000 |
+---------------------------------------+
mysql> select @@global.myisam_max_sort_file_size /1024;
+------------------------------------------+
| @@global.myisam_max_sort_file_size /1024 |
+------------------------------------------+
| 9007199254739967.7734 |
+------------------------------------------+
3、InnoDB 排序緩存
和MyISAM引擎類似，當執(zhí)行alter table 、create index 創(chuàng)建索引是，InnoDB提供了3個InnoDB排序緩存用于實現(xiàn)索引的排序，每個緩存的大小由innodb_sort_buffer_size定義。
mysql> select @@global.innodb_sort_buffer_size/1024;
+---------------------------------------+
| @@global.innodb_sort_buffer_size/1024 |
+---------------------------------------+
| 1024.0000 |
+---------------------------------------+
4、join 連接緩存
join緩存是會話緩存，如果兩張表相連，但是卻無法使用索引（這時使用join連接緩存的前提），MySQL將為每張表分配join 連接緩存。
mysql> select @@global.join_buffer_size/1024;
+--------------------------------+
| @@global.join_buffer_size/1024 |
+--------------------------------+
| 256.0000 |
+--------------------------------+
join_buffer_size 定義了連接緩存的大小，如上圖，默認為256;
5、表緩存Cache 與表結構定義緩存Cache
MySQL 服務訪問數(shù)據(jù)庫中的表時，實際上MySQL是做的文件的讀取操作。MySQL的數(shù)據(jù)都是存在硬盤上的一個個文件，這個和一些內存的型的數(shù)據(jù)庫不同。當我們查詢一張表，使用select 語句時，不考慮使用查詢緩存，首先要操作系統(tǒng)打開該文件，產生該文件的描述符。操作系統(tǒng)將文件描述符交給MySQL,MySQL才能對數(shù)據(jù)庫進行CURD的操作。打開文件、產生文件描述符都需要消耗系統(tǒng)資源，造成訪問延時。MySQL將已經(jīng)打開的文件，包括文件描述符緩存起來，以后再次訪問該文件時，就無需打開該文件，提高了讀取文件的效率。
表結構并不經(jīng)常變化，當對表進行訪問的時候，除了將該表植入MySQL的表緩存外，MySQL還將表結構放入了表結構定義緩存中，供下次使用。
mysql> show variables like 'table%';
+----------------------------+-------+
| Variable_name | Value |
+----------------------------+-------+
| table_definition_cache | 1400 |
| table_open_cache | 2000 |
| table_open_cache_instances | 1 |
+----------------------------+-------+
mysql> show variables like '%open%';
+----------------------------+----------+
| Variable_name | Value |
+----------------------------+----------+
| have_openssl | DISABLED |
| innodb_open_files | 2000 |
| open_files_limit | 65535 |
| table_open_cache | 2000 |
| table_open_cache_instances | 1 |
+----------------------------+----------+
table_open_cache
設定了可以緩存表以及視圖的數(shù)量限制
table_definition_cache
設定了可以存儲多少張frm 表結構
對于MySQL MyISAM引擎來說，表結構包含MYI 和MYD 以及表結構frm, 當訪問MyISAM 引擎的時候，需要一次性打開兩個文件（MYI 、MYD）,產生兩個文件描述符。
open_files_limit
打開文件的上限
innodb_open_files
如果InnoDB 表使用的是獨立表空間文件（ibd），該參數(shù)設定同一時間能夠打開的文件數(shù)量。
以下是和打開表相關的狀態(tài)值：
mysql> show status like 'Open%';
+--------------------------+-------+
| Variable_name | Value |
+--------------------------+-------+
| Open_files | 18 |
| Open_streams | 0 |
| Open_table_definitions | 70 |
| Open_tables | 63 |
| Opened_files | 125 |
| Opened_table_definitions | 0 |
| Opened_tables | 0 |
+--------------------------+-------+
6、表掃描緩存buffer
表掃描分為順序掃描（Sequential Scan）以及隨機掃描（Random Scan） 兩種方式
順序掃描 當MyISAM表沒有建索引時，查詢速度將進行全表掃描，效率很低。為了提升全表掃描的速度，MySQL提供了順序掃描緩存（read buffer）。此時MySQL按照存儲數(shù)據(jù)的存儲順序因此讀出全部的數(shù)據(jù)塊，每次讀取的數(shù)據(jù)塊緩存在順序掃描緩存中，當read buffer寫滿之后，將數(shù)據(jù)返還給上層調用者。
隨機掃描
當表里有緩存，掃描表的時候，會將表的索引字段放進內存里先拍好序，然后按照已經(jīng)拍好的順序去硬盤中查找數(shù)據(jù)。
7、MyISAM索引緩存buffer
通過緩存MYI索引文件的內容，可以加快讀取索引的速度以及索引的速度。索引緩存只對MyISAM表起作用，且被所有線程共享。查詢語句或者更新索引通過索引訪問表數(shù)據(jù)的時候，MySQL首先檢查索引緩存中是否已經(jīng)存在需要的索引信息，如果有通過緩存中的索引可以直接訪問到索引對應的MYD文件。如果沒有，則會讀取MYI文件，并將相應的索引數(shù)據(jù)讀取到緩存中。索引緩存對MyISAM表的訪問性能起到了至關重要的作用。
mysql> show variables like 'key%';
+--------------------------+---------+
| Variable_name | Value |
+--------------------------+---------+
| key_buffer_size | 8388608 (8M)|
| key_cache_age_threshold | 300 |
| key_cache_block_size | 1024 |
| key_cache_division_limit | 100 |
+--------------------------+---------+
key_buffer_size
設置索引緩存的大小，默認是8M。建議提升。
key_cache_block_size
指定每個索引緩存的區(qū)塊大小，建議設置為4K,即4096
key_cache_division_limit
為了有效的使用緩存。默認情況下MySQL降緩存劃分為兩個索引緩存區(qū)，溫區(qū)（warm area） 以及熱區(qū)（hot area）。key_cache_division_limit參數(shù)以百分比的形式向曾哥索引緩存劃分為多個區(qū)域。當默認值是100的時候，表示索引緩存只有溫區(qū)，將啟用LRU算法淘汰索引緩存中的索引。
key_cahe_age_threshold
控制溫區(qū)域熱區(qū)中的索引何時升級何時降級。如果該值小于100，則有熱區(qū)。移動算法大致類似與LRU算法。
查看當前MySQL服務實例索引讀以及索引寫的狀態(tài)值：
mysql> show status like 'Key%';
+------------------------+-------+
| Variable_name | Value |
+------------------------+-------+
| Key_blocks_not_flushed | 0 |
| Key_blocks_unused | 6698 |
| Key_blocks_used | 0 |
| Key_read_requests | 0 |
| Key_reads | 0 |
| Key_write_requests | 0 |
| Key_writes | 0 |
+------------------------+-------+
8、日志緩存
日志緩存分為二進制日志緩存以及InnoDB重做日志緩存
1、二進制日志緩存
mysql> show variables like '%binlog%cache%';
+----------------------------+----------------------+
| Variable_name | Value |
+----------------------------+----------------------+
| binlog_cache_size | 32768 |
| binlog_stmt_cache_size | 32768 |
| max_binlog_cache_size | 18446744073709547520 |
| max_binlog_stmt_cache_size | 18446744073709547520 |
+----------------------------+----------------------+
mysql> show status like '%binlog%cache%';
+----------------------------+-------+
| Variable_name | Value |
+----------------------------+-------+
| Binlog_cache_disk_use | 0 |
| Binlog_cache_use | 0 |
| Binlog_stmt_cache_disk_use | 0 |
| Binlog_stmt_cache_use | 0 |
+----------------------------+-------+
Mysql 進行創(chuàng)建或者更新的數(shù)據(jù)的時候，會記錄一條二進制日志。然而頻繁的進行I/O操作將對MySQL造成較大的性能影響。因此MySQL開辟了一個二進制日志緩存binlog_cache_size。首先將操作寫入二進制日志，當操作成功之后，將二進制日志寫入硬盤。
2、InnoDB重做日志緩存
事務在commit前，會將產生的重做日志寫入InnoDB重做日志緩存，然后InnoDB【擇機】執(zhí)行輪詢策略，將緩存中的重做日志文件寫入ib_logfile0 以及ib_logfile1重做日志中。
mysql> show variables like 'innodb_log_buffer_size';
+------------------------+---------+
| Variable_name | Value |
+------------------------+---------+
| innodb_log_buffer_size | 8388608 |
+------------------------+---------+
InnoDB重做日志緩存可以確保事務提交前，事務運行期間產生的重做日志保存在InnoDB的日志緩存中，但并不寫入重做日志文件中。寫入時機由innodb_flush_log_at_trx_commit參數(shù)控制。
mysql> show variables like 'innodb_flush_log%';
+--------------------------------+-------+
| Variable_name | Value |
+--------------------------------+-------+
| innodb_flush_log_at_timeout | 1 |
| innodb_flush_log_at_trx_commit | 1 |
+--------------------------------+-------+
0:當緩存中重做日志文件以每秒一次的頻率寫入硬盤緩存，并且同時會更新到硬盤。
1：在每次事務提交的時候，將緩存中重做日志寫到重做日志文件，同時寫入硬盤，默認是該行為。
2:事務提交的時候，寫到緩存，但并不觸發(fā)文件系統(tǒng)到硬盤的同步操作，但此外每秒一次同步硬盤。
9、預讀機制
預讀機制主要利用了前文MySQL優(yōu)化:一 、緩存優(yōu)化所描述的原理。即局部性特征，空間局部性，和時間局部性，這里不再贅述。
1、InnoDB預讀機制
InnoDB采用預讀機制，將“未來即將訪問的數(shù)據(jù)”包括索引加載到預讀緩存中，進而提升數(shù)據(jù)的讀性能。InnoDB支持順序預讀（linear read ahead）與隨機預讀（random read ahead）兩種方式。
數(shù)據(jù)塊（page）是InnoDB硬盤管理的最小單位，一個區(qū)由64個連續(xù)的數(shù)據(jù)塊構成，對于順序預讀而言，InnoDB首選將該數(shù)據(jù)所在數(shù)據(jù)塊置入InnoDB緩存池中，可以預測這些數(shù)據(jù)塊的后續(xù)塊很快就會被訪問，于是這些數(shù)據(jù)塊以及前置的數(shù)據(jù)塊會被置入內存中。根據(jù)innodb_read_ahead_threshold參數(shù)設定預讀前后多少個數(shù)據(jù)塊。
mysql> show variables like 'innodb_read_ahead%';
+-----------------------------+-------+
| Variable_name | Value |
+-----------------------------+-------+
| innodb_read_ahead_threshold | 56 |
+-----------------------------+-------+
2、索引緩存預加載
數(shù)據(jù)庫管理員可以使用MySQL命令 load index into cache 預加載MyISAM表索引
10、MyISAM表延遲插入
mysql> show variables like '%delayed%';
+----------------------------+-------+
| Variable_name | Value |
+----------------------------+-------+
| delayed_insert_limit | 100 |
| delayed_insert_timeout | 300 |
| delayed_queue_size | 1000 |
| max_delayed_threads | 20 |
| max_insert_delayed_threads | 20 |
+----------------------------+-------+
看到這個延遲插入的功能，想起項目里一個有點類似的功能，啟發(fā)了自己的思路。
使用方法為：insert delyed into table values(*);
delyed_insert_limit
默認值為100.當向MySQL表延遲插入100行記錄后，檢查該表是否有select語句在等待執(zhí)行，如果有，暫停insert語句執(zhí)行。
delayed_insert_timeout
在超時范圍內，如果delayed 隊列里沒有數(shù)據(jù)，延遲插入線程將關掉。
delayed_queue_size
延遲插入的隊列長度,超出將阻塞，直到有足夠的空間。
max_delayed_threads
延遲插入的線程數(shù)。
MyISAM表的批量延遲插入
類似 insert into table values(1),values(2),values(n)。MyISAM將進行批量插入。先將插入的數(shù)據(jù)放入緩存。當緩存被寫滿或者提交完畢了，MySQL一次性的將緩存中的寫入硬盤。通過批量插入可以大大縮減MySQL客戶機與服務機的連接語法分析等消耗，使得效率比分開執(zhí)行單個insert語句快的多。
mysql> select @@global.bulk_insert_buffer_size/(1024*1024);
+----------------------------------------------+
| @@global.bulk_insert_buffer_size/(1024*1024) |
+----------------------------------------------+
| 8.0000 |
+----------------------------------------------+
默認批量插入的大小為8M。如果業(yè)務上有需要，可以設定的大一些，以提高批量插入的性能。
MyISAM表的索引延遲更新
索引可以加快數(shù)據(jù)檢索，但是對于更新來說，不僅需要修改記錄，可能還需要修改索引，因此索引會導致數(shù)據(jù)更新操作變慢，如果將MySQL的delay_key_write參數(shù)設置為1（ON）,可以彌補這一缺陷。開啟后更新操作修改數(shù)據(jù)的時候先將數(shù)據(jù)的更新提交到硬盤，索引的更新全部在索引緩存里完成。在關閉表的時候，一起更新到硬盤，這樣就可以使索引更新的更快。僅對MyISAM有效。
mysql> show variables like 'delay_key_write';
+-----------------+-------+
| Variable_name | Value |
+-----------------+-------+
| delay_key_write | ON |
+-----------------+-------+
InnoDB延遲更新
非聚簇索引的更新操作通常會帶來隨機I/O，降低InoDB的性能。當更新（insert, delete ，update=insert+delete）非聚簇索引的數(shù)據(jù)時，會先檢查非聚簇索引頁是否位于InnoDB緩存池中，如果是直接更新，否則先將“信息修改”記錄在更新緩存中（change buffer）
這篇博客的內容比較多，總結提煉下來以備以后查看。對整個MySQL的優(yōu)化先有個整體的框架，徐徐漸進慢慢進步。這些參數(shù)可以不用記憶，用到的時候到博客中查找或者百度即可。了解道，知道術，就可以完成優(yōu)化的過程。知道原理比記憶枯燥的原理要簡單的多。對MySQL優(yōu)化感興趣的博友可以關注我的博客，以便看到后續(xù)的分享。
您可能感興趣的文章:- MySQL優(yōu)化之緩存優(yōu)化
- 清空mysql 查詢緩存的可行方法
- mysql的查詢緩存說明
- 使用Memcache緩存mysql數(shù)據(jù)庫操作的原理和緩存過程淺析
- 淺析MySQL內存的使用說明（全局緩存+線程緩存）
- MySQL高速緩存啟動方法及參數(shù)詳解(query_cache_size)
- MySQL緩存的查詢和清除命令使用詳解
- mysql 設置查詢緩存
- MySQL DBA教程：Mysql性能優(yōu)化之緩存參數(shù)優(yōu)化
