話題討論：大規(guī)模高并發(fā)下的分布式存儲(chǔ)架構(gòu)設(shè)計(jì)

daifan

什么是傳統(tǒng)存儲(chǔ)
我們一般將傳統(tǒng)存儲(chǔ)成為物理存儲(chǔ)，比如直連存儲(chǔ)（個(gè)人電腦）、存儲(chǔ)域網(wǎng)絡(luò)（SAN）、網(wǎng)絡(luò)附加存儲(chǔ)（NAS）。他主要用于存儲(chǔ)數(shù)據(jù)，也作為一種災(zāi)難管理的方式。在傳統(tǒng)存儲(chǔ)中，我們使用LAN / WAN將數(shù)據(jù)存儲(chǔ)在計(jì)算機(jī)或與我們的計(jì)算機(jī)連接的服務(wù)器中。數(shù)據(jù)信息存儲(chǔ)在磁盤中，可以在需要時(shí)重新格式化或重新配置，也可以增加磁盤數(shù)量以擴(kuò)大存儲(chǔ)限制。
什么是分布式存儲(chǔ)
簡(jiǎn)單來(lái)說(shuō)，就是存儲(chǔ)設(shè)備分布在不同的地理位置，數(shù)據(jù)就近存儲(chǔ)，將數(shù)據(jù)分散在多個(gè)存儲(chǔ)節(jié)點(diǎn)上，各個(gè)節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)相連，對(duì)這些節(jié)點(diǎn)的資源進(jìn)行統(tǒng)一的管理，從而大大緩解帶寬壓力，同時(shí)也解決了傳統(tǒng)的本地文件系統(tǒng)在文件大小、文件數(shù)量等方面的限制。

zhmw

希望DTCC越辦越好，希望我可以抽到禮品。

danny_2018

采用分布式存儲(chǔ)系統(tǒng)，最重要的是可靠性！

aloki

1、為了使分布式存儲(chǔ)系統(tǒng)獲得更高性能，您會(huì)采用哪些措施？
為了使分布式存儲(chǔ)系統(tǒng)獲得更高性能,需要從硬件和軟件兩個(gè)方面來(lái)考量。硬件方面當(dāng)然是采用性能越優(yōu)的越好，軟件方面則要根據(jù)業(yè)務(wù)邏輯采用合適的分布式協(xié)議。

2、分布式存儲(chǔ)系統(tǒng)的高并發(fā)能力應(yīng)如何實(shí)現(xiàn)？
說(shuō)起來(lái)很簡(jiǎn)單，就是“分”。如何“分”，簡(jiǎn)單的說(shuō)就是把不同的業(yè)務(wù)分拆到不同的服務(wù)器上去跑（垂直拆分），相同的業(yè)務(wù)壓力分拆到不同的服務(wù)器去跑（水平拆分），并時(shí)刻不要忘記備份、擴(kuò)展、意外處理等討厭的問(wèn)題。說(shuō)起來(lái)都比較簡(jiǎn)單，但設(shè)計(jì)和實(shí)現(xiàn)起來(lái)，就會(huì)比較困難。

3、使存儲(chǔ)系統(tǒng)獲得更高網(wǎng)絡(luò)帶寬的方法有哪些？
由于不同業(yè)務(wù)系統(tǒng)對(duì)存儲(chǔ)的性能要求不同，一般小文件（小于1MB）讀寫型的系統(tǒng)中對(duì)IO的要求較高，大文件的讀寫型系統(tǒng)對(duì)存儲(chǔ)設(shè)備帶寬的要求比較高。不用應(yīng)用模式下系統(tǒng)對(duì)存儲(chǔ)設(shè)備的要求不同，瓶頸點(diǎn)出現(xiàn)的位置和特點(diǎn)也不一樣。帶寬與所配置的磁盤個(gè)數(shù)也有一定關(guān)系，一般會(huì)通過(guò)增加磁盤數(shù)量、增加擴(kuò)展柜數(shù)量、跨擴(kuò)展柜創(chuàng)建RAID組、增加主機(jī)通道數(shù)量等方式最大限度地利用存儲(chǔ)控制器前端和后端的總可用帶寬，使得磁盤、磁盤通道、主機(jī)通道等的總帶寬大于控制器的總帶寬，這樣在工作站訪問(wèn)時(shí)存儲(chǔ)設(shè)備時(shí)，才能最大地發(fā)揮出控制器的帶寬性能。

4、怎樣在控制總體成本的情況下，合理地為海量數(shù)據(jù)提供存儲(chǔ)空間，并能滿足數(shù)據(jù)量快速增長(zhǎng)的需求？
魚與熊掌不可兼得，既要合理又要滿足快速增長(zhǎng)需求，還要控制總成本，如果有這樣的方案的話，估計(jì)會(huì)很受歡迎。

5、真正可靠的數(shù)據(jù)保護(hù)往往需要一套復(fù)雜的策略，實(shí)現(xiàn)多級(jí)數(shù)據(jù)保護(hù)與容災(zāi)，這需要分布式存儲(chǔ)系統(tǒng)具備哪些功能？
一般使用多幅本技術(shù)來(lái)提高存儲(chǔ)系統(tǒng)的可靠性，也就是數(shù)據(jù)需要有冗余，比較經(jīng)典的做法是 3 副本，并且在磁盤損壞時(shí)及早修復(fù)丟失的數(shù)據(jù)，以避免所有的副本損壞造成數(shù)據(jù)丟失。

6、海量非結(jié)構(gòu)化場(chǎng)景下，應(yīng)用類型、數(shù)據(jù)類型復(fù)雜，為獲得高效便捷的數(shù)據(jù)管理功能，需要在哪些方面做好準(zhǔn)備？
從業(yè)務(wù)層面出發(fā)，考慮實(shí)際的需求。比如你所處的企業(yè)如果數(shù)據(jù)量很大，則需要在IT架構(gòu)上做準(zhǔn)備，考慮包括數(shù)據(jù)是怎么收集的、從哪里收集、如何與其他數(shù)據(jù)進(jìn)行匹配等問(wèn)題。而在操作過(guò)程中，則可以首先嘗試一些開源的工具進(jìn)行小范圍測(cè)試，做一些基本了解，然后再找相關(guān)的專家仔細(xì)進(jìn)行評(píng)估。

7、針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景，您認(rèn)為分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與建設(shè)還應(yīng)關(guān)注什么？如何實(shí)現(xiàn)？（可選回答）
1）數(shù)據(jù)的分布方式
·hash分布
·按數(shù)據(jù)范圍分布
·按數(shù)據(jù)量分布
·一致性哈希

2）副本的保存方式
·以機(jī)器為單位
·以數(shù)據(jù)段為單位

3）副本的控制
·中心化的副本控制
·去中心化，個(gè)副本之間沒(méi)有中心控制

4）節(jié)點(diǎn)狀態(tài)監(jiān)控
·heartbeat
·lease機(jī)制

xdsnet

1、 為了使分布式存儲(chǔ)系統(tǒng)獲得更高性能，您會(huì)采用哪些措施？
其實(shí)分布式存儲(chǔ)和分布式數(shù)據(jù)庫(kù)類似，獲得更高的性能需要盡量消除單點(diǎn)瓶頸，這些瓶頸是由于單點(diǎn)IO性能上限帶來(lái)的，一般合理的方案也就和分布式數(shù)據(jù)庫(kù)類似，進(jìn)行合理的文件分庫(kù)，分庫(kù)的方案很多，簡(jiǎn)單的基于文件名分庫(kù)，或者根據(jù)其他特征值分庫(kù)，從而盡量的把文件內(nèi)容均勻的進(jìn)行分布部署，以盡量減少單點(diǎn)瓶頸影響。在這個(gè)過(guò)程中還需要注意因?yàn)榉謳?kù)帶來(lái)的管理復(fù)雜度增加產(chǎn)生的新問(wèn)題。

2、分布式存儲(chǔ)系統(tǒng)的高并發(fā)能力應(yīng)如何實(shí)現(xiàn)？
其實(shí)這個(gè)問(wèn)題和上面的問(wèn)題也是相關(guān)聯(lián)的，高并發(fā)在排除了網(wǎng)絡(luò)本身限制后，就體現(xiàn)在IO數(shù)據(jù)讀寫限制上，提升無(wú)非兩個(gè)途徑，盡量提高單機(jī)IO性能和盡量把IO分布開。其中提升單機(jī)IO性能就是拼硬件，而盡量把IO分布開就是拼算法，這個(gè)要和分庫(kù)結(jié)合起來(lái)實(shí)施。

3、使存儲(chǔ)系統(tǒng)獲得更高網(wǎng)絡(luò)帶寬的方法有哪些？
對(duì)主干網(wǎng)絡(luò)，這個(gè)沒(méi)有其他方法，只能隨著技術(shù)的發(fā)展，盡量提高硬件性能，對(duì)于節(jié)點(diǎn)來(lái)說(shuō)可以采用多口綁定的形式提高單個(gè)節(jié)點(diǎn)的帶寬到超過(guò)單個(gè)網(wǎng)口性能極限的層度，但這樣的技術(shù)也不是隨時(shí)都是那么好用。

4、  怎樣在控制總體成本的情況下，合理地為海量數(shù)據(jù)提供存儲(chǔ)空間，并能滿足數(shù)據(jù)量快速增長(zhǎng)的需求？
這個(gè)其實(shí)沒(méi)有什么統(tǒng)一的方法，可能最多有一些原則性的東西，比如核心網(wǎng)絡(luò)組件的可用性、穩(wěn)定性考慮以及對(duì)未來(lái)預(yù)期的處理，盡量變?yōu)榭蓹M向擴(kuò)展的，以滿足今后的擴(kuò)充。對(duì)存儲(chǔ)節(jié)點(diǎn)的添加也是類似，考慮為能方便的進(jìn)行橫向擴(kuò)展（分庫(kù)機(jī)制的合理設(shè)計(jì)）

5、  真正可靠的數(shù)據(jù)保護(hù)往往需要一套復(fù)雜的策略，實(shí)現(xiàn)多級(jí)數(shù)據(jù)保護(hù)與容災(zāi)，這需要分布式存儲(chǔ)系統(tǒng)具備哪些功能？
這個(gè)其實(shí)不同的系統(tǒng)有不同的命名（術(shù)語(yǔ)）體系，大致的功能為：
對(duì) 主控服務(wù)來(lái)說(shuō)，有 命名空間的維護(hù)、數(shù)據(jù)服務(wù)器（節(jié)點(diǎn)、結(jié)點(diǎn)）管理、服務(wù)調(diào)度、主備（主）容災(zāi) 等等功能
對(duì) 數(shù)據(jù)服務(wù)器（結(jié)點(diǎn)、節(jié)點(diǎn)）來(lái)說(shuō)，有 數(shù)據(jù)本地存儲(chǔ)、狀態(tài)維護(hù)、副本管理 等等
對(duì) 客戶端來(lái)說(shuō)，有 接口、緩存 等等

6、  海量非結(jié)構(gòu)化場(chǎng)景下，應(yīng)用類型、數(shù)據(jù)類型復(fù)雜，為獲得高效便捷的數(shù)據(jù)管理功能，需要在哪些方面做好準(zhǔn)備？
其實(shí)盡量的結(jié)構(gòu)化數(shù)據(jù)就是一種有效的策略，這個(gè)可以分類進(jìn)行，雖然全庫(kù)是呈現(xiàn)非結(jié)構(gòu)化、異構(gòu)化的，但對(duì)具體的數(shù)據(jù)應(yīng)用來(lái)說(shuō)，可以是結(jié)構(gòu)化的。這樣對(duì)具體應(yīng)用來(lái)說(shuō)數(shù)據(jù)管理就更便捷。當(dāng)然，這個(gè)也是需要分層進(jìn)行，對(duì)關(guān)鍵、常用任務(wù)進(jìn)行類似處理準(zhǔn)備，對(duì)偶發(fā)的則不一定。

7、  針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景，您認(rèn)為分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與建設(shè)還應(yīng)關(guān)注什么？如何實(shí)現(xiàn)？（可選回答）
我覺得分庫(kù)調(diào)度算法的研究和建設(shè)還是重點(diǎn)，具體的實(shí)現(xiàn)還依據(jù)相應(yīng)研究實(shí)施。

winnie324

海量非結(jié)構(gòu)化場(chǎng)景下，應(yīng)用類型、數(shù)據(jù)類型復(fù)雜，為獲得高效便捷的數(shù)據(jù)管理功能，需要在哪些方面做好準(zhǔn)備？
工具是最重要的。雖然市面上各種管理軟件很多，但往往有其側(cè)重點(diǎn)和應(yīng)用領(lǐng)域，無(wú)法自如地管理各種數(shù)據(jù)信息——除了Excel，但Excel也有它的缺點(diǎn)，它畢竟不是一個(gè)管理系統(tǒng)。好在，近來(lái)發(fā)現(xiàn)了一個(gè)好東東，叫藍(lán)點(diǎn)通用管理系統(tǒng)，它可以由用戶方便地自定義數(shù)據(jù)管理功能，靈活而不失簡(jiǎn)約，堪稱數(shù)據(jù)管理的神器。實(shí)際上，它還不止數(shù)據(jù)管理的應(yīng)用，自定義工作流也是它的強(qiáng)項(xiàng)。

suliver

實(shí)現(xiàn)多級(jí)數(shù)據(jù)保護(hù)與容災(zāi)，這需要分布式存儲(chǔ)系統(tǒng)具備哪些功能？
數(shù)據(jù)容災(zāi)快照技術(shù)可保留1000個(gè)歷史時(shí)間點(diǎn)，連續(xù)數(shù)據(jù)保護(hù)技術(shù)可記錄一段時(shí)間內(nèi)的所有IO變化，提供任意個(gè)時(shí)間點(diǎn)的歷史數(shù)據(jù)。在病毒感染、邏輯錯(cuò)誤，數(shù)據(jù)丟失等等情況發(fā)生的時(shí)候，可以使用飛康的歷史數(shù)據(jù)將數(shù)據(jù)恢復(fù)到前一個(gè)快照、前一秒、甚至災(zāi)難發(fā)生前一個(gè)IO的狀態(tài)！圖形化界面提供保證數(shù)據(jù)分析與快速恢復(fù)，做到數(shù)據(jù)接近零丟失。飛康CDP,NSS和FreeStor都包含了相同的連續(xù)數(shù)據(jù)保護(hù)和容災(zāi)技術(shù)，這項(xiàng)技術(shù)提供了全面的保護(hù)功能，如鏡像、快照、錄像、遠(yuǎn)程復(fù)制，及自動(dòng)化容災(zāi)與雙活，卓越地將文件、數(shù)據(jù)庫(kù)和計(jì)算環(huán)境實(shí)現(xiàn)實(shí)時(shí)備份與瞬間恢復(fù)；提供了隨時(shí)隨地不影響生產(chǎn)與容災(zāi)系統(tǒng)正常運(yùn)行的容災(zāi)演練能力；并且使本地?cái)?shù)據(jù)備份、生產(chǎn)存儲(chǔ)單點(diǎn)保護(hù)、異地?cái)?shù)據(jù)容災(zāi)與雙活，三大功能全面整合。無(wú)論異構(gòu)環(huán)境中的業(yè)務(wù)和系統(tǒng)平臺(tái)如何復(fù)雜，均可輕松實(shí)現(xiàn)最高水平的數(shù)據(jù)保護(hù)和容災(zāi)，保證業(yè)務(wù)的高可用性。

sunoct

近些年分布式系統(tǒng)領(lǐng)域都在做些什么?

tonnyluo

實(shí)現(xiàn)多級(jí)數(shù)據(jù)保護(hù)與容災(zāi).如何讓容災(zāi)系統(tǒng)發(fā)揮最大作用？
初期投資的項(xiàng)目實(shí)施只是容災(zāi)的開始階段，想要讓容災(zāi)系統(tǒng)真正發(fā)揮作用，不斷的演練、檢驗(yàn)、優(yōu)化和擴(kuò)展升級(jí)都是必須的

xduu

實(shí)現(xiàn)多級(jí)數(shù)據(jù)保護(hù)與容災(zāi)，這需要分布式存儲(chǔ)系統(tǒng)具備哪些功能？
容災(zāi)基本上分業(yè)務(wù)層容災(zāi)1，負(fù)載均衡層面做到的7層或4層容災(zāi)。2，數(shù)據(jù)存儲(chǔ)層面做到的 google spanner , casandra等3，基于分布式系統(tǒng)集群實(shí)現(xiàn)的業(yè)務(wù)模塊分離多云多機(jī)房冷熱容災(zāi).比如利用k8s,mesos實(shí)現(xiàn)的跨云dcos構(gòu)建。4，通過(guò)中間件RPC ＋ 單獨(dú)網(wǎng)絡(luò)通道實(shí)現(xiàn)的熱熱容災(zāi)（多機(jī)房，混合云，多個(gè)公有云）