話題討論：大規(guī)模高并發(fā)下的分布式存儲架構設計

smanzheng

回復 60# yangyi

實際業(yè)務會很復雜 跨多個數(shù)據(jù)源的時候就不能簡單用存儲過程來解決

東風玖哥

1、  為了使分布式存儲系統(tǒng)獲得更高性能，您會采用哪些措施？
硬件升級：服務器、SSD、網(wǎng)絡（40GB/s, 25GB/s)、網(wǎng)絡交換機、RDMA協(xié)議
網(wǎng)絡通信框架改進：Luna， RDMA+用戶態(tài)驅動+私有I/O協(xié)議
線程模型改進：用戶態(tài)驅動，加入co-routine協(xié)程，加run to completion模式
數(shù)據(jù)布局改進：采用追加寫，修改元數(shù)據(jù)模式（元數(shù)據(jù)記錄數(shù)據(jù)的位置）
更細致的分層和抽象；針對不同的IO屬性，提供更定制化的策略模塊，滿足不同的IO Profile需求

2、  分布式存儲系統(tǒng)的高并發(fā)能力應如何實現(xiàn)？
把不同的業(yè)務分拆到不同的服務器上去跑（垂直拆分），相同的業(yè)務壓力分拆到不同的服務器去跑（水平拆分），并時刻不要忘記備份、擴展、意外處理等問題。

3、  使存儲系統(tǒng)獲得更高網(wǎng)絡帶寬的方法有哪些？
在同地域100千米范圍內，多個數(shù)據(jù)中心間的延時增加小于1毫秒，帶寬可以做到接近于數(shù)據(jù)中心內部網(wǎng)絡的水平，在系統(tǒng)設計時主要考慮在數(shù)據(jù)分布上，在流量控制和延時上的限制不突出。但是跨地域的容災將延時增大到幾十毫秒，帶寬則下降至少一個數(shù)量級。為了緩解這樣的問題，需要做到數(shù)據(jù)可以異步進行同步，數(shù)據(jù)可以按照重要程度來區(qū)別對待。

4、  怎樣在控制總體成本的情況下，合理地為海量數(shù)據(jù)提供存儲空間，并能滿足數(shù)據(jù)量快速增長的需求？
（1）分布均勻，即每臺設備上的數(shù)據(jù)量要盡可能相近；
（2）負載均衡，即每臺設備上的請求量要盡可能相近；
（3）擴縮容時產生的數(shù)據(jù)遷移盡可能少。

5、  真正可靠的數(shù)據(jù)保護往往需要一套復雜的策略，實現(xiàn)多級數(shù)據(jù)保護與容災，這需要分布式存儲系統(tǒng)具備哪些功能？
（1）系統(tǒng)中所有數(shù)據(jù)至少需要有兩個以上的副本，并且系統(tǒng)的處理能力要有一定的冗余，需要保證在故障機器不能提供服務時，系統(tǒng)不會過載。
（2）需要考慮物理部署，通過把數(shù)據(jù)的不同副本分布在不同機架、不同機房、甚至是不同城市，來把系統(tǒng)的容災能力提升到不同的級別
（3）配置運維中心會監(jiān)控系統(tǒng)存儲層所有節(jié)點的狀態(tài)，存儲節(jié)點會定時上報心跳，如果配置運維中心在一段時間未收到某個存儲節(jié)點的心跳，則把該節(jié)點的狀態(tài)標記為故障，并進行故障處理流程。
（4）在容災切換之后，還需要進行故障節(jié)點的恢復，以便系統(tǒng)恢復到正常的狀態(tài)。

6、  海量非結構化場景下，應用類型、數(shù)據(jù)類型復雜，為獲得高效便捷的數(shù)據(jù)管理功能，需要在哪些方面做好準備？
（1）存儲選擇時的成本比較，從實際業(yè)務入手，對數(shù)據(jù)擴展性要求高、需求變化快的應用，使用分布式存儲方式肯定會節(jié)省一定的成本。
（2）在存儲設備的選擇上是否考慮使用閃存存儲，如果是將訪問量較大的元數(shù)據(jù)放入閃存中，就可以快速提高應用對非結構化數(shù)據(jù)的檢索效率，進而提升整個集群存儲的效能。
（3）存儲高可用設計方面，單點故障在設計初期也要考慮，分布式文件系統(tǒng)的存儲方式，除了要關注存儲節(jié)點還要關注計算節(jié)點的高可用。

7、  針對海量非結構化數(shù)據(jù)場景，您認為分布式存儲系統(tǒng)的設計與建設還應關注什么？如何實現(xiàn)？（可選回答）
（1）合理設計過期時間，減少內存占用
（2）數(shù)據(jù)結構選用方面，考慮需求的同時還需考慮性能因素。
（3）設計實用高效命令。
（4）重點關注存儲節(jié)點底層磁盤I/O、系統(tǒng)讀寫cache大小等。
（5）不同的分布式文件系統(tǒng)對客戶端的支持是有差別的，要關注文件系統(tǒng)I/O吞吐是否能夠對客戶端增加有較好的可擴展性。

chenyx

1、  為了使分布式存儲系統(tǒng)獲得更高性能，您會采用哪些措施？
   如果資金允許的情況下，采用全閃存架構無疑是提高IO的最直接的辦法。但是對于海量的存儲要求，全SSD應該是不切實際的一種架構。目前業(yè)界普遍的做法是通過SSD來做Cache層，通過大容量的機械硬盤來做數(shù)據(jù)存儲以滿足大容量數(shù)據(jù)的要求。另外，由于是分布式存儲，網(wǎng)絡交換肯定是要考量的部分，單獨的10G以及40G的網(wǎng)絡，端口綁定等提高交換性能的措施，肯定要使用。還有最重要的一點，對于非結構化的數(shù)據(jù)，一般都會很大，為了避免數(shù)據(jù)切片影響傳輸速率，交換機支持9K巨型幀是非常有效的加速方法。
2、  分布式存儲系統(tǒng)的高并發(fā)能力應如何實現(xiàn)？
    分布式系統(tǒng)提高性能的方法，就是充分利用分布式架構的特點，通過增加節(jié)點的方式，橫向擴展。通過實踐，在性能和容量兩個方面找到最優(yōu)化的那個。
3、  使存儲系統(tǒng)獲得更高網(wǎng)絡帶寬的方法有哪些？
     使用高速的網(wǎng)絡，比如10G，40G等等，通過端口綁定來增加實際可用的帶寬，購買專用的支持巨型幀的交換機來減少數(shù)據(jù)切片等等。
4、  怎樣在控制總體成本的情況下，合理地為海量數(shù)據(jù)提供存儲空間，并能滿足數(shù)據(jù)量快速增長的需求？
分布式存儲擴展，只需要向存儲集群增加節(jié)點，讓控制節(jié)點可以控制存儲節(jié)點，就能滿足存儲增長的需求。
5、  真正可靠的數(shù)據(jù)保護往往需要一套復雜的策略，實現(xiàn)多級數(shù)據(jù)保護與容災，這需要分布式存儲系統(tǒng)具備哪些功能？
   區(qū)別于集中式存儲采用的raid方式的容災，分布式存儲在做冗余的時候，一般是采用數(shù)據(jù)副本存儲的方式來滿足容災和冗余。目前主流的副本為2個或者3個。每增加一個副本，數(shù)據(jù)的可靠性就提高，同時，數(shù)據(jù)的存儲效率也相應降低。
  數(shù)據(jù)副本可以放置在不通的地區(qū)，這個是分布式存儲的特性，輕松滿足兩地三中心等的存儲需求。
6、  海量非結構化場景下，應用類型、數(shù)據(jù)類型復雜，為獲得高效便捷的數(shù)據(jù)管理功能，需要在哪些方面做好準備？
    在數(shù)據(jù)中心之內，目前SDN網(wǎng)絡可以輕松滿足存儲的需求。
    如果有多數(shù)據(jù)中心雙活或者多活的需求，目前的SD-WAN也是非常適合的網(wǎng)絡解決方案。
7、  針對海量非結構化數(shù)據(jù)場景，您認為分布式存儲系統(tǒng)的設計與建設還應關注什么？如何實現(xiàn)？（可選回答）
   數(shù)據(jù)中心是自建還是租用，系統(tǒng)運維是采用自己的人員還是外包等等，這些都需要進行考量。

chenyx

dapan 發(fā)表于 2019-05-13 15:41
使存儲系統(tǒng)獲得更高網(wǎng)絡帶寬的方法有哪些？1.用陣列,組成陣列的存儲器,訪問帶寬成倍上升,代價是要多個存儲 ...

目前主流的超融合解決方式，是不推薦用Raid陣列的，采用直通的方式讓APP直接接管數(shù)據(jù)存儲的策略等。至于冗余，一般是采用多副本的方式。
SSD肯定是會有，但是SSD一般用途是做Cache，一些熱數(shù)據(jù)會存儲在SSD中，冷數(shù)據(jù)會在適當?shù)臅r候，分布式的存儲在集群中的機械硬盤中。

chenyx

yanengineers 發(fā)表于 2019-05-15 22:04
使存儲系統(tǒng)獲得更高網(wǎng)絡帶寬的方法有哪些？這難道不是減少服務器和存儲系統(tǒng)的中間介質，能用一米光纖不用10 ...

光纖長度應該不是主要考量的方面，一般提高帶寬的方式是通過提高端口速率，還有就是通過端口綁定來提供更高的帶寬。

chenyx

存儲策略，除了數(shù)據(jù)區(qū)分冷熱之外，冷數(shù)據(jù)的去重壓縮存儲也是一個提高存儲容量的好辦法，通過去重和壓縮，可以做到1/5甚至是1/20的數(shù)據(jù)存儲比例，這已經是非�？捎^了。去重代來的節(jié)約，可以抵消用于容災和冗余采用的多副本帶來的數(shù)據(jù)存儲效率低下的后果。

R-B

好久沒來了，分布式存儲要火了

王江玉

80G容量要1750元左右，不便宜啊，太貴了點