Mongodb復(fù)制集數(shù)據(jù)同步流程

lyhabc

Mongodb復(fù)制集里的Secondary會從Primary上同步數(shù)據(jù)，以保持副本集所有節(jié)點的數(shù)據(jù)保持一致，數(shù)據(jù)同步主要包含2個過程

initial sync
replication （oplog sync）
先通過init sync同步全量數(shù)據(jù)，再通過replication不斷重放Primary上的oplog同步增量數(shù)據(jù)。

initial sync

Secondary啟動后，如果滿足以下條件之一，會先進(jìn)行initial sync

Secondary上oplog為空，比如新加入的空節(jié)點
local.replset.minvalid集合里_initialSyncFlag標(biāo)記被設(shè)置。當(dāng)initial sync開始時，同步線程會設(shè)置該標(biāo)記，當(dāng)initial sync結(jié)束時清除該標(biāo)記，故如果initial sync過程中途失敗，節(jié)點重啟后發(fā)現(xiàn)該標(biāo)記被設(shè)置，就知道應(yīng)該重新進(jìn)行initial sync。
BackgroundSync::_initialSyncRequestedFlag被設(shè)置。當(dāng)向節(jié)點發(fā)送resync命令時，該標(biāo)記會被設(shè)置，此時會強制重新initial sync。
** initial sync同步流程 **

minValid集合設(shè)置_initialSyncFlag
獲取同步源當(dāng)前最新的oplog時間戳t0
從同步源Clone所有的集合數(shù)據(jù)
獲取同步源最新的oplog時間戳t1
同步t0~t1所有的oplog
獲取同步源最新的oplog時間戳t2
同步t1~t2所有的oplog
從同步源讀取index信息，并建立索引
獲取同步源最新的oplog時間戳t3
同步t2~t3所有的oplog
minValid集合清除_initialSyncFlag，initial sync結(jié)束
replication (sync oplog)

initial sync結(jié)束后，Secondary會建立到Primary上local.oplog.rs的tailable cursor，不斷從Primary上獲取新寫入的oplog，并應(yīng)用到自身。

Tailable cursor每次會獲取到一批oplog，Secondary采用多線程重放oplog以提高效率，通過將oplog按照所屬的namespace進(jìn)行分組，劃分到多個線程里，保證同一個namespace的所有操作都由一個線程來replay，以保證統(tǒng)一namespace的操作時序跟primary上保持一致（如果引擎支持文檔鎖，只需保證同一個文檔的操作時序與primary一致即可）。

同步場景分析

1. 副本集初始化

初始化選出Primary后，此時Secondary上無有效數(shù)據(jù)，oplog是空的，會先進(jìn)行initial sync，然后不斷的應(yīng)用新的oplog

2. 新成員加入

因新成員上無有效數(shù)據(jù)，oplog是空的，會先進(jìn)行initial sync，然后不斷的應(yīng)用新的oplog

3. 有數(shù)據(jù)的節(jié)點加入

有數(shù)據(jù)的節(jié)點加入有如下情況

該節(jié)點與副本集其他節(jié)點斷開連接，一段時間后恢復(fù)
該節(jié)點從副本集移除（處于REMOVED）狀態(tài)，通過replSetReconfig命令將其重新加入
其他? 因同一個副本集的成員replSetName配置必須相同，除非有誤配置，應(yīng)該不會有其他場景
此時，如果該節(jié)點最新的oplog時間戳，比所有節(jié)點最舊的oplog時間戳還要小，該節(jié)點將找不到同步源，會一直處于RECOVERING而不能服務(wù)；反之，如果能找到同步源，則直接進(jìn)入replication階段，不斷的應(yīng)用新的oplog。

因oplog太舊而處于RECOVERING的節(jié)點目前無法自動恢復(fù)，需人工介入處理（故設(shè)置合理的oplog大小非常重要），最簡單的方式是發(fā)送resync命令，讓該節(jié)點重新進(jìn)行initial sync。

參考資料

Replica Set Data Synchronization
Resync a Member of a Replica Set
Create tailable cursor