【大話IT】論一名分布式存儲(chǔ)工程師的自我修養(yǎng)之備份容災(zāi)

qingduo04

支持楠楠同學(xué)，好書...............

占座更新

cddy2016

數(shù)據(jù)備份，非常重要！

cjfeii

贊一個(gè)  

cjfeii

分布式系統(tǒng)涉及到的技術(shù)比較多

fengzhanhai

求書一本

yehuafeilang

數(shù)據(jù)一致性看起來容易做起來難，現(xiàn)在一般都是打時(shí)間戳，按時(shí)間來同步的吧

yehuafeilang

1.在數(shù)據(jù)備份時(shí)，如何保證多個(gè)數(shù)據(jù)副本的一致性？
    就我個(gè)人理解，分布式系統(tǒng)的存儲(chǔ)，涉及到了不同的物理區(qū)，只要分開了，那各物理區(qū)之間就必定涉及到通信，那只要涉及到通信了，肯定存在某一個(gè)時(shí)刻只完成一部分的業(yè)務(wù)操作，在通信完成的這一段時(shí)間內(nèi)，數(shù)據(jù)就是不一致性的。如果要求保證一致性，那么就必須在通信完成這一段時(shí)間內(nèi)保護(hù)數(shù)據(jù)，使得任何訪問這些數(shù)據(jù)的操作不可用，或者數(shù)據(jù)就別分開了，數(shù)據(jù)庫(kù)里面那個(gè)CAP原理在這兒也很適用。
    不過，在保持多個(gè)數(shù)據(jù)副本一致性上也有很多前輩的努力的，例如加鎖，有各種各樣的算法，大致意思就是在整個(gè)數(shù)據(jù)處理過程中將數(shù)據(jù)處于鎖定狀態(tài)，在用戶修改數(shù)據(jù)的同時(shí)，其它用戶不允許修改，等這個(gè)用戶完事提交了，數(shù)據(jù)同步完成了再解鎖，不過這樣會(huì)大大影響效率。還有就是如果對(duì)數(shù)據(jù)的一致要求沒那么高，那就保持?jǐn)?shù)據(jù)的弱一致性。接著前面的例子，用戶在修改數(shù)據(jù)的同時(shí)，允許其他用戶同樣也可以修改，這時(shí)候數(shù)據(jù)是不一致的，等大家都修改完了，再同步數(shù)據(jù)，這時(shí)數(shù)據(jù)又是一致的了。
2.系統(tǒng)出現(xiàn)機(jī)器或網(wǎng)絡(luò)故障時(shí)，如何保持系統(tǒng)的高可用性？
    這個(gè)是接著問題1的吧，既然已經(jīng)保存了多個(gè)數(shù)據(jù)副本，數(shù)據(jù)又能有條件的保持一致，那么，只要多個(gè)副本的數(shù)據(jù)是一致的，在機(jī)器故障引起某些副本失效時(shí)，其它副本仍然能提供服務(wù)，并能夠在最短的時(shí)間內(nèi)修復(fù)故障。
3.有哪些主流的分布式系統(tǒng)常用的技術(shù)？
分布式計(jì)算，分布式存儲(chǔ)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫(kù)，容器，微服務(wù)等

laputa73

分布式原理比較復(fù)雜，不過我等吃瓜群眾拿來用就好了。
副本提升可靠性。寫一致性就交給作者了。
小文件fastdfs,
大文件hdfs,
日志es
對(duì)象SSDB
配置狀態(tài)：etcd/zookeeper
ceph/swift這些還是先觀望。

blacksapper

1.在數(shù)據(jù)備份時(shí)，如何保證多個(gè)數(shù)據(jù)副本的一致性？
答：一個(gè)是設(shè)定主從，進(jìn)行差異備份，數(shù)據(jù)庫(kù)進(jìn)行行級(jí)鎖。通過判定日志時(shí)間確定“最新”的副本。
2.系統(tǒng)出現(xiàn)機(jī)器或網(wǎng)絡(luò)故障時(shí)，如何保持系統(tǒng)的高可用性？
答：硬件層面高可用采用N機(jī)N線來解決，如三級(jí)雙線（電信、聯(lián)通）。軟件層面采用資源池，邏輯復(fù)用等方式提交，如果邏輯提交失敗再次提交或者讓用戶重新提交。也可以像12306或者小米那樣進(jìn)入排隊(duì)進(jìn)程。
3.有哪些主流的分布式系統(tǒng)常用的技術(shù)？
1.內(nèi)存數(shù)據(jù)庫(kù)2.數(shù)據(jù)保存在內(nèi)存中，需要的時(shí)候才寫入到硬盤中，通過邏輯分成實(shí)現(xiàn)大規(guī)模，高可用。

aloki

備份雖然重要，但其有效性和可還原性更不可忽視。