前言
mongodb的副本集架構，主庫和從庫的數(shù)據(jù)相同步，如果主庫的機器壞掉，沒什么關系，從庫上還有相同的副本數(shù)據(jù)。但如果某人惡意操作或誤操作，一下子批量刪除或drop整個庫，這樣主庫和從庫的數(shù)據(jù)都會沒有，造成巨大損失。因此，對mongodb數(shù)據(jù)庫定期備份是非常重要的。備份如果每次都全量備份，會消耗大量時間，并且對 mongodb性能也有影響，從而需要能增量備份。mongodb的增量備份網(wǎng)上沒有現(xiàn)成的工具，故仔細研究了下寫了個腳本。
mongodb集群架構時，從庫是通過異步復制主庫的Oplog文件，從而達到與主庫的同步。
Oplog 記錄了MongoDB數(shù)據(jù)庫的更改操作信息，其保存在local庫的oplog.rs表，在集群架構才存在，單機不會有，故增量備份不能在單機下使用。 oplog有大小限制，超過指定大小，新的記錄會覆蓋舊的操作記錄。
mongodb增量備份原理
如何將某段時間的oplog下載下來，我拼接好的例子：
mongodump -h 127.0.0.1 --port 27117 -d local -c oplog.rs -u admin -p xxx --authenticationDatabase admin -q '{ts:{$gt:{$timestamp:{t:1451355000,i:1}},$lt:{$timestamp:{t:1451357430,i:1}}},ns:/^test_db\\./}' -o oplog_backup
上述是導出1451355000-1451357430時間之間的oplog,導出oplog需要切換到admin權限賬戶。
原理很簡單，但具體實現(xiàn)還是需要很多考慮，具體看代碼。腳本在一個周期內(nèi)（如一星期）先備份一次全量數(shù)據(jù)庫，后面每次進行增量備份。腳本地址：http://git.oschina.net/passer/mongodb_backup_script
增量腳本執(zhí)行時的流程
- 讀取上一個周期執(zhí)行信息判斷是否需要創(chuàng)建新的周期
- 獲得mongodb上oplog最近記錄的時間點current timestamp position
- 從本地讀取上一次執(zhí)行時mongodb的oplog時間點
- dump導出全量數(shù)據(jù)或增量oplog文件到本地，增量oplog文件的導出范圍是 上次oplog記錄點到最新時間內(nèi)的oplog文件
- 保存步驟2獲取的current timestamp position到本地，作為下一次執(zhí)行步驟3中的時間點
- 進行壓縮
- 上傳到oss
- 刪除本地備份文件
全量腳本執(zhí)行時的流程
- 備份mongodb數(shù)據(jù)庫到本地
- 進行壓縮
- 上傳到oss
- 檢驗oss與本地文件的大小是否相同
- 刪除本地備份文件
恢復時腳本執(zhí)行的流程
- 從oss上下載指定周期的備份文件到本地
- 對全量文件和增量oplog的zip文件進行解壓
- 用 mongorestore對全量文件進行導入
- 用 mongorestore --oplogReplay 分別對各時間段的oplog文件進行導入
總結
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。
您可能感興趣的文章:- mongodb增量/全量備份腳本的實現(xiàn)詳解
- mongodb 數(shù)據(jù)庫操作--備份 還原 導出 導入
- MongoDB整庫備份與還原以及單個collection備份、恢復方法
- MongoDB備份、還原、導出、導入、克隆操作示例
- Windows下自動備份MongoDB的批處理腳本
- Mongodb實現(xiàn)定時備份與恢復的方法教程
- Windows或Linux系統(tǒng)中備份和恢復MongoDB數(shù)據(jù)的教程
- Linux下MongoDB數(shù)據(jù)庫實現(xiàn)自動備份詳解
- 淺談MongoDB的備份方式
- MongoDB使用自帶的命令行工具進行備份和恢復的教程
