話題討論：大規(guī)模高并發(fā)下的分布式存儲架構(gòu)設(shè)計

cynthia

回復(fù) 10# forgaoqiang
快加入話題吧

yanengineers

使存儲系統(tǒng)獲得更高網(wǎng)絡(luò)帶寬的方法有哪些？
這難道不是減少服務(wù)器和存儲系統(tǒng)的中間介質(zhì)，能用一米光纖不用10米，另外選擇超高速交換機哈 ，個人見解 歡迎交流！

yanengineers

使存儲系統(tǒng)獲得更高網(wǎng)絡(luò)帶寬的方法有哪些？
這難道不是減少服務(wù)器和存儲系統(tǒng)的中間介質(zhì)，能用一米光纖不用10米，另外選擇超高速交換機哈 ，個人見解 歡迎交流！

friendmine

1、  為了使分布式存儲系統(tǒng)獲得更高性能，您會采用哪些措施？
首先是硬件：高性能服務(wù)器，SSD， 光纖通信。
其次軟件：讀寫服務(wù)器要做好熱數(shù)據(jù)處理。
最后：核心Master服務(wù)器要雙機或者無中心。

2、  分布式存儲系統(tǒng)的高并發(fā)能力應(yīng)如何實現(xiàn)？網(wǎng)絡(luò)性能優(yōu)化，程序異步化，數(shù)據(jù)緩存化。

3、  使存儲系統(tǒng)獲得更高網(wǎng)絡(luò)帶寬的方法有哪些？
硬件上光纖光交換。
軟件就是能異步處理就異步處理。

4、  怎樣在控制總體成本的情況下，合理地為海量數(shù)據(jù)提供存儲空間，并能滿足數(shù)據(jù)量快速增長的需求？冷熱數(shù)據(jù)分級，熱數(shù)據(jù)放在緩存中。其次放SSD， 再次放機械硬盤。

5、  真正可靠的數(shù)據(jù)保護往往需要一套復(fù)雜的策略，實現(xiàn)多級數(shù)據(jù)保護與容災(zāi)，這需要分布式存儲系統(tǒng)具備哪些功能？
硬件上：做好硬件的Raid，同時確保每份數(shù)據(jù)不要單獨存放。如果可能要多區(qū)存放。
軟件上：主要還是數(shù)據(jù)存取的路由算法。保證數(shù)據(jù)能夠多區(qū)多機存放。

6、  海量非結(jié)構(gòu)化場景下，應(yīng)用類型、數(shù)據(jù)類型復(fù)雜，為獲得高效便捷的數(shù)據(jù)管理功能，需要在哪些方面做好準(zhǔn)備？
做好數(shù)據(jù)索引是最重要的。

7、  針對海量非結(jié)構(gòu)化數(shù)據(jù)場景，您認(rèn)為分布式存儲系統(tǒng)的設(shè)計與建設(shè)還應(yīng)關(guān)注什么？如何實現(xiàn)？

良好的運維系統(tǒng)也是核心的一部分。

shang2010

回復(fù) 2# jasonhsp

目前技術(shù)行業(yè)主流的觀點，并發(fā)就是短時間高訪問量大吞吐的業(yè)務(wù)場景。學(xué)術(shù)界學(xué)校的并發(fā)就是幾個進程通信問題，深入一點會死鎖。跟社會上不一樣


我認(rèn)為根據(jù)題目這邊，應(yīng)該是討論高訪問量場景下，分布式存儲架構(gòu)的抗壓問題
是吧。。

shang2010

回復(fù) 10# forgaoqiang

夏天來了，哈哈

coyan

分布式存儲系統(tǒng)的高并發(fā)能力應(yīng)如何實現(xiàn)？
從可靠性、易用性和性能三個維度著手分析。
可靠性:是存儲系統(tǒng)的基石，一款存儲系統(tǒng)至少需要提供99.99%的數(shù)據(jù)可靠性，數(shù)據(jù)丟失或者錯亂對于存儲系統(tǒng)是致命的，對大數(shù)據(jù)、云存儲這樣大規(guī)模的分布式集群
易用性:是系統(tǒng)管理員最關(guān)心的問題，主要體現(xiàn)產(chǎn)品設(shè)計、故障處理和系統(tǒng)的擴展性
性能:如果可靠性是存儲系統(tǒng)的基石，那么性能是存儲系統(tǒng)的靈魂，對一款優(yōu)秀存儲系統(tǒng)，高可靠與高性能缺一不可

oswald

分布式存儲系統(tǒng)的高并發(fā)能力應(yīng)如何實現(xiàn)？
數(shù)據(jù)庫拆分要根據(jù)業(yè)務(wù)現(xiàn)狀、模式，選擇合適的拆分方式，緊密結(jié)合業(yè)務(wù)及應(yīng)用架構(gòu)設(shè)計，謹(jǐn)慎拆分，防止過度設(shè)計。
數(shù)據(jù)庫分布式改造要遵循“循序漸進”的拆分原則
拆分方式有垂直拆分和水平拆分兩種，選擇拆分方式要根據(jù)企業(yè)自身業(yè)務(wù)發(fā)展需要。

else

高并發(fā)其實挺容易的，當(dāng)你明白了一萬并發(fā)的原理，然后擴展到百萬、千萬、億萬級很easy
要點有如下幾項：
1、垂直分層：DNS層、跨機房部署、LVS+Nginx負(fù)載均衡，vanish+共享存儲實現(xiàn)動靜分離，Nginx后掛載N臺服務(wù)器集群，服務(wù)器集群后掛載微服務(wù)化、微服務(wù)后掛載數(shù)據(jù)庫分庫分表+消息隊列+任務(wù)調(diào)度，最后端掛載數(shù)據(jù)集群負(fù)責(zé)數(shù)據(jù)的統(tǒng)一歸檔+流計算+異步批處理
2、水平分區(qū)：根據(jù)業(yè)務(wù)劃分業(yè)務(wù)線，每個業(yè)務(wù)線中設(shè)計分區(qū)鍵，根據(jù)userNo設(shè)計用戶隔離，根據(jù)IP地址設(shè)計地區(qū)隔離，根據(jù)用戶級別設(shè)計級別隔離，根據(jù)操作日期設(shè)計時間隔離，根據(jù)關(guān)鍵key進行hash散列，然后考慮一下分區(qū)的擴容、縮容、災(zāi)備、監(jiān)控
3、數(shù)據(jù)同步，跨機房跨集群的困難點在于數(shù)據(jù)同步

sbzyg

使存儲系統(tǒng)獲得更高網(wǎng)絡(luò)帶寬的方法有哪些？
通俗的說，“把數(shù)據(jù)保存好，并且能讀出來”是一個存儲系統(tǒng)的基本能力。從產(chǎn)品特性的角度上講，存儲系統(tǒng)還可以有很多其他的豐富的特性，例如重復(fù)數(shù)據(jù)刪除，數(shù)據(jù)多版本，數(shù)據(jù)快照，數(shù)據(jù)備份，數(shù)據(jù)災(zāi)備等。