話題討論：大規(guī)模高并發(fā)下的分布式存儲(chǔ)架構(gòu)設(shè)計(jì)

cynthia

恭喜一下會(huì)員獲得此話題討論的獎(jiǎng)品

特等獎(jiǎng)： kindle 一個(gè)

         東風(fēng)玖哥 -212 樓  

一等獎(jiǎng)： 愛(ài)奇藝電視果   

         laputa73-8樓      

二等獎(jiǎng)： 紀(jì)念t恤一個(gè)

         aloki-24樓        

         friendmine-14樓

         xdsnet-25樓  

紀(jì)念獎(jiǎng)若干：

         GB_juno-203樓

         hxcai—53樓

         coyan-17樓

以上獲獎(jiǎng)的同學(xué)，請(qǐng)于7月30日之前，將您的用戶信息站內(nèi)發(fā)給管理員cynthia ，如回復(fù)不了站內(nèi)，請(qǐng)加微信：itpubwxt

話題討論：大規(guī)模高并發(fā)下的分布式存儲(chǔ)架構(gòu)設(shè)計(jì)

活動(dòng)背景：

在海量數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)的快速增長(zhǎng)，IT環(huán)境的愈發(fā)復(fù)雜，傳統(tǒng)存儲(chǔ)系統(tǒng)已經(jīng)難以滿足大規(guī)模的IT應(yīng)用對(duì)數(shù)據(jù)存儲(chǔ)的要求。
在此背景下，分布式存儲(chǔ)系統(tǒng)走上舞臺(tái)。它采用分布式的系統(tǒng)架構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器同時(shí)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)，已逐漸成為大規(guī)模數(shù)據(jù)存儲(chǔ)的主要方式。在氣象預(yù)測(cè)、教育科研、能源勘探、廣電媒資、視頻監(jiān)控、生物工程等行業(yè)，往往擁有非常高的海量數(shù)據(jù)存儲(chǔ)需求。但對(duì)于許多企業(yè)來(lái)說(shuō)，分布式存儲(chǔ)系統(tǒng)的建設(shè)仍然困難重重。下面，我們將從此類分布式存儲(chǔ)典型應(yīng)用場(chǎng)景出發(fā)，展開(kāi)話題討論。

討論內(nèi)容：

上述的幾個(gè)典型行業(yè)應(yīng)用場(chǎng)景都具有一個(gè)共同點(diǎn)，就是都會(huì)產(chǎn)生海量的非結(jié)構(gòu)化數(shù)據(jù)，即規(guī)模可達(dá)到PB級(jí)，甚至EB級(jí)的視頻、圖像、文本等數(shù)據(jù)。為了實(shí)現(xiàn)此類場(chǎng)景中數(shù)據(jù)的高效存儲(chǔ)、共享與訪問(wèn)、管理等能力，往往需要存儲(chǔ)系統(tǒng)具備高性能、高并發(fā)、高帶寬、大容量以及高效數(shù)據(jù)保護(hù)與數(shù)據(jù)管理等特性。那么：

1、  為了使分布式存儲(chǔ)系統(tǒng)獲得更高性能，您會(huì)采用哪些措施？

2、  分布式存儲(chǔ)系統(tǒng)的高并發(fā)能力應(yīng)如何實(shí)現(xiàn)？

3、  使存儲(chǔ)系統(tǒng)獲得更高網(wǎng)絡(luò)帶寬的方法有哪些？

4、  怎樣在控制總體成本的情況下，合理地為海量數(shù)據(jù)提供存儲(chǔ)空間，并能滿足數(shù)據(jù)量快速增長(zhǎng)的需求？

5、  真正可靠的數(shù)據(jù)保護(hù)往往需要一套復(fù)雜的策略，實(shí)現(xiàn)多級(jí)數(shù)據(jù)保護(hù)與容災(zāi)，這需要分布式存儲(chǔ)系統(tǒng)具備哪些功能？

6、  海量非結(jié)構(gòu)化場(chǎng)景下，應(yīng)用類型、數(shù)據(jù)類型復(fù)雜，為獲得高效便捷的數(shù)據(jù)管理功能，需要在哪些方面做好準(zhǔn)備？

7、  針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景，您認(rèn)為分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與建設(shè)還應(yīng)關(guān)注什么？如何實(shí)現(xiàn)？（可選回答）

獎(jiǎng)項(xiàng)設(shè)置：

  特等獎(jiǎng)：kindle一個(gè)
一等獎(jiǎng)1名：愛(ài)奇藝電視果一個(gè)
二等獎(jiǎng)3名：中國(guó)數(shù)據(jù)庫(kù)技術(shù)大會(huì)（DTCC）十周年紀(jì)念T恤一件
三等獎(jiǎng)若干：50個(gè) IT168文庫(kù)金幣

jasonhsp

  分布式存儲(chǔ)系統(tǒng)的高并發(fā)能力應(yīng)如何實(shí)現(xiàn)？
并發(fā)（不是并行�。┠Ｐ偷倪x擇和設(shè)計(jì)無(wú)法作為實(shí)現(xiàn)細(xì)節(jié)隱藏在局部，它會(huì)影響到程序代碼的各個(gè)部分，從底層到上層。基本的并發(fā)模型只有這樣幾種：事件驅(qū)動(dòng)、多線程、多進(jìn)程以及較為小眾的多協(xié)程.

markriver

真正可靠的數(shù)據(jù)保護(hù)往往需要一套復(fù)雜的策略，實(shí)現(xiàn)多級(jí)數(shù)據(jù)保護(hù)與容災(zāi)，這需要分布式存儲(chǔ)系統(tǒng)具備哪些功能
1、負(fù)載均衡、2.系統(tǒng)容災(zāi)、3.安全交換、4、數(shù)據(jù)同步

llittle

分布式文件系統(tǒng)設(shè)計(jì)主要關(guān)注幾個(gè)方面：
設(shè)計(jì)特點(diǎn)、分布式能力、性能、容災(zāi)、維護(hù)和擴(kuò)展、成本
分布式文件系統(tǒng)主要關(guān)鍵技術(shù)：
全局名字空間、緩存一致性、安全性、可用性、可擴(kuò)展性
其他關(guān)鍵技術(shù)：
文件系統(tǒng)的快照和備份技術(shù)、熱點(diǎn)文件處理技術(shù)、元數(shù)據(jù)集群的負(fù)載平衡技術(shù)、分布式文件系統(tǒng)的日志技術(shù)

dapan

使存儲(chǔ)系統(tǒng)獲得更高網(wǎng)絡(luò)帶寬的方法有哪些？
1.用陣列,組成陣列的存儲(chǔ)器,訪問(wèn)帶寬成倍上升,代價(jià)是要多個(gè)存儲(chǔ)器和供電不斷.一斷電就陣列全掉了,數(shù)據(jù)丟失后果.
2.采用高緩存了硬盤(pán),IDE接口最高2M緩存.SATA接口最高32M緩存.
3.用SSD,固態(tài)硬盤(pán),每秒讀取速度是190-250M/秒,意未著拷貝1G電影,4秒搞定.80G容量要1750元左右

shang2010

80G容量要1750元左右，不便宜啊

cynthia

1750是現(xiàn)在的價(jià)格嗎？

laputa73

1、  為了使分布式存儲(chǔ)系統(tǒng)獲得更高性能，您會(huì)采用哪些措施？
萬(wàn)兆網(wǎng)絡(luò),ssd

2、  分布式存儲(chǔ)系統(tǒng)的高并發(fā)能力應(yīng)如何實(shí)現(xiàn)？
無(wú)中心或者master/data分離

3、  使存儲(chǔ)系統(tǒng)獲得更高網(wǎng)絡(luò)帶寬的方法有哪些？
萬(wàn)兆網(wǎng)卡，捆綁端口，光纖卡，光纖交換機(jī)。

4、  怎樣在控制總體成本的情況下，合理地為海量數(shù)據(jù)提供存儲(chǔ)空間，并能滿足數(shù)據(jù)量快速增長(zhǎng)的需求？
橫向可擴(kuò)展，可以增加存儲(chǔ)服務(wù)節(jié)點(diǎn)
縱向可擴(kuò)展，服務(wù)器的存儲(chǔ)槽位具備擴(kuò)展性。

5、  真正可靠的數(shù)據(jù)保護(hù)往往需要一套復(fù)雜的策略，實(shí)現(xiàn)多級(jí)數(shù)據(jù)保護(hù)與容災(zāi)，這需要分布式存儲(chǔ)系統(tǒng)具備哪些功能？
分片復(fù)制，機(jī)架感知，跨dc同步，離線備份

6、  海量非結(jié)構(gòu)化場(chǎng)景下，應(yīng)用類型、數(shù)據(jù)類型復(fù)雜，為獲得高效便捷的數(shù)據(jù)管理功能，需要在哪些方面做好準(zhǔn)備？
面向混合數(shù)據(jù)類型，選擇合適的集群方案。
大文件還是中小文件分別應(yīng)對(duì)。文件還是對(duì)象分別處理。
傳統(tǒng)CDN方案對(duì)于文件存儲(chǔ)已經(jīng)很成熟了。
如果是數(shù)據(jù)，有計(jì)算需求，則需要考慮HDFS等大數(shù)據(jù)方案。

7、  針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景，您認(rèn)為分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與建設(shè)還應(yīng)關(guān)注什么？如何實(shí)現(xiàn)？（可選回答）
不要盲目上。先試點(diǎn)再推廣。
運(yùn)維難度大于建設(shè)難度。
機(jī)房的供電很重要。
自建還是云服務(wù)，需要考慮好。

fenyun689

1、  為了使分布式存儲(chǔ)系統(tǒng)獲得更高性能，您會(huì)采用哪些措施？
增加帶寬，提高存儲(chǔ)速度。

3、  使存儲(chǔ)系統(tǒng)獲得更高網(wǎng)絡(luò)帶寬的方法有哪些？
萬(wàn)兆網(wǎng)卡，光纖交換機(jī)。

就知道這些了。

forgaoqiang

感興趣 想要T恤 ~ 占位更新