話題討論：大規(guī)模高并發(fā)下的分布式存儲(chǔ)架構(gòu)設(shè)計(jì)

soloxiao

分布式數(shù)據(jù)中心,兩個(gè)類(lèi)型，一個(gè)存數(shù)據(jù)，一個(gè)跑業(yè)務(wù)。不管是存數(shù)據(jù)的還是跑業(yè)務(wù)的，都會(huì)有一個(gè)站出來(lái)，充當(dāng)指揮官的能力。管理整個(gè)數(shù)據(jù)中心的硬件&軟件基礎(chǔ)信息，共享的數(shù)據(jù)信息，協(xié)調(diào)各個(gè)數(shù)據(jù)中心的資源分配，調(diào)度。然后就是數(shù)據(jù)的存儲(chǔ)，備份，容災(zāi)，等等。具體哪個(gè)是看各自的安排。但是我看到的資料是一般存數(shù)據(jù)的充當(dāng)管理的角色，跑業(yè)務(wù)的就單純跑業(yè)務(wù)。從硬件配置和網(wǎng)絡(luò)帶寬分配來(lái)看，存數(shù)據(jù)的沒(méi)有跑業(yè)務(wù)的需求高。跑業(yè)務(wù)的需要實(shí)時(shí)在線，并發(fā)高，緩存需求大，不像存儲(chǔ)的備份可以后臺(tái)，分時(shí)，處理。別的不知道

wengwb

分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與建設(shè)還應(yīng)關(guān)注什么？如何實(shí)現(xiàn)？
分布式存儲(chǔ)系統(tǒng)可以理解為多臺(tái)單機(jī)存儲(chǔ)系統(tǒng)的各司其職、協(xié)同合作，統(tǒng)一的對(duì)外提供存儲(chǔ)的服務(wù)。所以無(wú)論是存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)的分布式文件系統(tǒng)，存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)的分布式數(shù)據(jù)庫(kù)，還是半結(jié)構(gòu)化數(shù)據(jù)的分布式KV，在系統(tǒng)的設(shè)計(jì)上主要需要滿足以下需求(但不僅限于):基本讀寫(xiě)功能、性能、可擴(kuò)展性、可靠性、可用性。

cynthia

回復(fù) 23# zhmw

要記得回復(fù)問(wèn)題哦

yesye

為了使分布式存儲(chǔ)系統(tǒng)獲得更高性能，您會(huì)采用哪些措施？
承載量是分布式系統(tǒng)存在的原因
當(dāng)一個(gè)互聯(lián)網(wǎng)業(yè)務(wù)獲得大眾歡迎的時(shí)候，最顯著碰到的技術(shù)問(wèn)題，就是服務(wù)器非常繁忙。當(dāng)每天有1000萬(wàn)個(gè)用戶訪問(wèn)你的網(wǎng)站時(shí)，無(wú)論你使用什么樣的服務(wù)器硬件，都不可能只用一臺(tái)機(jī)器就承載的了。因此，在互聯(lián)網(wǎng)程序員解決服務(wù)器端問(wèn)題的時(shí)候，必須要考慮如何使用多臺(tái)服務(wù)器，為同一種互聯(lián)網(wǎng)應(yīng)用提供服務(wù)，這就是所謂“分布式系統(tǒng)”的來(lái)源。

zuike2000

容災(zāi)和備份到底是不是同一個(gè)概念？看過(guò)很多相關(guān)的文反而糊涂了，是不是高可用才是熱備？

yifanwu

針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景，您認(rèn)為分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與建設(shè)還應(yīng)關(guān)注什么？如何實(shí)現(xiàn)？
為了保證系統(tǒng)能夠?qū)�機(jī)房級(jí)別的故障進(jìn)行容錯(cuò),不會(huì)使系統(tǒng)不可用,這就需要在機(jī)房級(jí)別對(duì)系統(tǒng)進(jìn)行冗余處理。而這就需要在架構(gòu)上進(jìn)行良好的設(shè)計(jì)。來(lái)面對(duì)多機(jī)房場(chǎng)景下的技術(shù)挑戰(zhàn)。事實(shí)上，異地多活最大的挑戰(zhàn)在于機(jī)房之間的物理距離更遠(yuǎn),數(shù)據(jù)傳輸?shù)难舆t已經(jīng)不能忽略。在網(wǎng)絡(luò)普遍延遲的情況下,如何根據(jù)業(yè)務(wù)特性設(shè)計(jì)高可用的性能達(dá)標(biāo)的分布式系統(tǒng),將是最大的挑戰(zhàn)。

ywbair

數(shù)據(jù)存儲(chǔ)服務(wù)如何同步?

liangyh

回復(fù) 37# zuike2000

備份是手段，容災(zāi)是目的。
高可用是指服務(wù)的可用率，例如99.99%的高可用性，意思是此服務(wù)出現(xiàn)問(wèn)題的機(jī)率極低。一般是指系統(tǒng)的穩(wěn)定性
而熱備可以提高可用性，例如由90%提高到99%，在服務(wù)出問(wèn)題時(shí)盡快恢復(fù)。
同上，熱備是手段，高可用性是目的。

TigerJin

回復(fù) 39# ywbair

對(duì)于數(shù)據(jù)存儲(chǔ)問(wèn)題是網(wǎng)絡(luò)延遲造成最大影響的地方。在常見(jiàn)的解決方案中有多機(jī)房單集群,和多機(jī)房多集群部署兩種.數(shù)據(jù)的同步可以分為，數(shù)據(jù)庫(kù),緩存,消息隊(duì)列,session等。在多機(jī)房單集群中如何部署？ 及整個(gè)系統(tǒng)中存儲(chǔ)服務(wù)是唯一的一個(gè)集群,只有一個(gè)master節(jié)點(diǎn).做讀寫(xiě)分離設(shè)計(jì),所有機(jī)房上的服務(wù)只能向數(shù)據(jù)存儲(chǔ)集群上的master節(jié)點(diǎn)提交寫(xiě)請(qǐng)求,而在讀數(shù)據(jù)時(shí)向自己機(jī)房上的salve節(jié)點(diǎn)提交請(qǐng)求。數(shù)據(jù)的同步委托給基礎(chǔ)組件完成,可以利用數(shù)據(jù)本身的數(shù)據(jù)同步方案，但通常無(wú)法結(jié)合業(yè)務(wù)特性進(jìn)行優(yōu)化提高性能，redis 本身的數(shù)據(jù)同步在master同步salve時(shí)會(huì)導(dǎo)致salve不可用，mysql自身的同步方案性能和穩(wěn)定性都比較差。這時(shí)需要團(tuán)隊(duì)親自制定化數(shù)據(jù)同步組件。來(lái)保證多個(gè)機(jī)房上的數(shù)據(jù)全量同步。還可以基于消息隊(duì)列來(lái)實(shí)現(xiàn)數(shù)據(jù)同步，但這會(huì)導(dǎo)致額外的帶寬占用,更可以搭建專(zhuān)用網(wǎng)絡(luò)線路解決。無(wú)論任何的同步方式,在業(yè)務(wù)端需要對(duì)訪問(wèn)數(shù)據(jù)庫(kù)的客戶端進(jìn)行重構(gòu)使其能夠支持讀寫(xiě)分離。并且為了防止網(wǎng)絡(luò)延遲，我們可以在客戶端做很多事情,第一,雙寫(xiě):多個(gè)機(jī)房下允許出現(xiàn)多個(gè)Master,那么客戶端進(jìn)行封裝在底層將寫(xiě)請(qǐng)求發(fā)送給多個(gè)Master上。第二:雙讀或回源讀,當(dāng)讀取本機(jī)房數(shù)據(jù)沒(méi)有讀到時(shí),去主機(jī)房讀取或者根據(jù)用戶請(qǐng)求解析出數(shù)據(jù)源在哪個(gè)機(jī)房然后去讀取

post200

分布式存儲(chǔ)系統(tǒng)可靠性如何估算？