一篇文章揭秘Redis的磁盤持久化機制

前言

Redis 是內(nèi)存數(shù)據(jù)庫，數(shù)據(jù)都是存儲在內(nèi)存中，為了避免進(jìn)程退出導(dǎo)致數(shù)據(jù)的永久丟失，需要定期將 Redis 中的數(shù)據(jù)以數(shù)據(jù)或命令的形式從內(nèi)存保存到本地磁盤。當(dāng)下次 Redis 重啟時，利用持久化文件進(jìn)行數(shù)據(jù)恢復(fù)。Redis 提供了 RDB 和 AOF 兩種持久化機制，前者將當(dāng)前的數(shù)據(jù)保存到磁盤，后者則是將每次執(zhí)行的寫命令保存到磁盤（類似于 MySQL 的 Binlog）。本文將詳細(xì)介紹 RDB 和 AOF 兩種持久化方案，包括操作方法和持久化的實現(xiàn)原理。

正文

Redis 是一個基于 K-V 存儲的數(shù)據(jù)庫服務(wù)器，下面先介紹 Redis 數(shù)據(jù)庫的內(nèi)部構(gòu)造以及 K-V 的存儲形式，有助于我們更容易理解 Redis 的持久化機制。

1. Redis數(shù)據(jù)庫結(jié)構(gòu)

一個單機的 Redis 服務(wù)器默認(rèn)情況下有 16 個數(shù)據(jù)庫（0-15號），默認(rèn)使用的是 0 號數(shù)據(jù)庫，可以使用 SELECT 命令切換數(shù)據(jù)庫。

Redis 中的每個數(shù)據(jù)庫都由一個 redis.h/redisDb 結(jié)構(gòu)表示，它記錄了單個 Redis 數(shù)據(jù)庫的鍵空間、所有鍵的過期時間、處于阻塞狀態(tài)和就緒狀態(tài)的鍵、數(shù)據(jù)庫編號等等。

typedef struct redisDb {
 // 數(shù)據(jù)庫鍵空間，保存著數(shù)據(jù)庫中的所有鍵值對
 dict *dict;
 // 鍵的過期時間，字典的鍵為鍵，字典的值為過期事件 UNIX 時間戳
 dict *expires;
 // 正處于阻塞狀態(tài)的鍵
 dict *blocking_keys;
 // 可以解除阻塞的鍵
 dict *ready_keys;
 // 正在被 WATCH 命令監(jiān)視的鍵
 dict *watched_keys;
 struct evictionPoolEntry *eviction_pool;
 // 數(shù)據(jù)庫編號
 int id;
 // 數(shù)據(jù)庫的鍵的平均 TTL，統(tǒng)計信息
 long long avg_ttl;
} redisDb;

由于 Redis 是一個鍵值對數(shù)據(jù)庫（key-value pairs database）， 所以它的數(shù)據(jù)庫本身也是一個字典，對應(yīng)的結(jié)構(gòu)正是 redisDb。其中，dict 指向的是一個記錄鍵值對數(shù)據(jù)的字典，它的鍵是一個字符串對象，它的值則可以是字符串、列表、哈希表、集合和有序集合在內(nèi)的任意一種 Redis 類型對象。 expires 指向的是一個用于記錄鍵的過期時間的字典，它的鍵為 dict 中的數(shù)據(jù)庫鍵，它的值為這個數(shù)據(jù)庫鍵的過期時間戳，這個值以 long long 類型表示。

2. RDB持久化

RDB 持久化（也稱作快照持久化）是指將內(nèi)存中的數(shù)據(jù)生成快照保存到磁盤里面，保存的文件后綴是 .rdb。rdb 文件是一個經(jīng)過壓縮的二進(jìn)制文件，當(dāng) Redis 重新啟動時，可以讀取 rdb 快照文件恢復(fù)數(shù)據(jù)。RDB 功能最核心的是 rdbSave 和 rdbLoad 兩個函數(shù)， 前者用于生成 RDB 文件并保存到磁盤，而后者則用于將 RDB 文件中的數(shù)據(jù)重新載入到內(nèi)存中：

RDB 文件是一個單文件的全量數(shù)據(jù)，很適合數(shù)據(jù)的容災(zāi)備份與恢復(fù)，通過 RDB 文件恢復(fù)數(shù)據(jù)庫耗時較短，通常 1G 的快照文件載入內(nèi)存只需 20s 左右。Redis 提供了手動觸發(fā)保存、自動保存間隔兩種 RDB 文件的生成方式，下面先介紹 RDB 的創(chuàng)建和載入過程。

2.1. RDB的創(chuàng)建和載入

2.1.1. 手動觸發(fā)保存

Redis 提供了兩個用于生成 RDB 文件的命令，一個是 SAVE，另一個是 BGSAVE。而觸發(fā) Redis 進(jìn)行 RDB 備份的方式有兩種，一種是通過 SAVE 命令、BGSAVE 命令手動觸發(fā)快照生成的方式，另一種是配置保存時間和寫入次數(shù)，由 Redis 根據(jù)條件自動觸發(fā)保存操作。

1. SAVE命令

SAVE 是一個同步式的命令，它會阻塞 Redis 服務(wù)器進(jìn)程，直到 RDB 文件創(chuàng)建完成為止。在服務(wù)器進(jìn)程阻塞期間，服務(wù)器不能處理任何其他命令請求。

客戶端命令

127.0.0.1:6379> SAVE
OK

服務(wù)端日志

6266:M 15 Sep 2019 08:31:01.258 * DB saved on disk

執(zhí)行 SAVE 命令后，Redis 在服務(wù)端進(jìn)程（PID為6266）執(zhí)行了 SAVE 操作，這個操作發(fā)生期間會一直阻塞 Redis 客戶端的請求處理。

2. BGSAVE命令

BGSAVE 是一個異步式的命令，和 SAVE 命令直接阻塞服務(wù)器進(jìn)程的做法不同，BGSAVE 命令會派生出一個子進(jìn)程，由子進(jìn)程負(fù)責(zé)創(chuàng)建 RDB 文件，服務(wù)器進(jìn)程（父進(jìn)程）繼續(xù)處理客戶的命令。

客戶端命令

127.0.0.1:6379> BGSAVE
Background saving started

服務(wù)端日志

6266:M 15 Sep 2019 08:31:22.914 * Background saving started by pid 6283
6283:C 15 Sep 2019 08:31:22.915 * DB saved on disk
6266:M 15 Sep 2019 08:31:22.934 * Background saving terminated with success

通過服務(wù)端輸出的日志，可以發(fā)現(xiàn)Redis 在服務(wù)端進(jìn)程（PID為6266）會為 BGSAVE 命令單獨創(chuàng)建（fork）一個子進(jìn)程（PID為6283），并由子進(jìn)程在后臺完成 RDB 的保存過程，在操作完成之后通知父進(jìn)程然后退出。在整個過程中，服務(wù)器進(jìn)程只會消耗少量時間在創(chuàng)建子進(jìn)程和處理子進(jìn)程信號量上面，其余時間都是待命狀態(tài)。

BGSAVE 是觸發(fā) RDB 持久化的主流方式，下面給出 BGSAVE 命令生成快照的流程：

1. 客戶端發(fā)起 BGSAVE 命令，Redis 主進(jìn)程判斷當(dāng)前是否存在正在執(zhí)行備份的子進(jìn)程，如果存在則直接返回
2. 父進(jìn)程 fork 一個子進(jìn)程 （fork 的過程中會造成阻塞的情況），這個過程可以使用 info stats 命令查看 latest_fork_usec 選項，查看最近一次 fork 操作消耗的時間，單位是微秒
3. 父進(jìn)程 fork 完成之后，則會返回 Background saving started 的信息提示，此時 fork 阻塞解除
4. fork 創(chuàng)建的子進(jìn)程開始根據(jù)父進(jìn)程的內(nèi)存數(shù)據(jù)生成臨時的快照文件，然后替換原文件
5. 子進(jìn)程備份完畢后向父進(jìn)程發(fā)送完成信息，父進(jìn)程更新統(tǒng)計信息

3. SAVE和BGSAVE的比較