有關(guān)存儲一些問題的開放討論

asyqm

原帖由 liaoboda 于 2008-9-11 12:24 發(fā)表

必須分布式的，一天目前的數(shù)據(jù)量產(chǎn)生就是10T，存一次，讀一次，寫一次就30T讀寫。還不算其他的。你算下每秒多少？另外這個(gè)量還有可能翻倍。

這個(gè)假設(shè)30T的流量是每天平均分的，那么分散到每秒鐘約0.347GB/s，折合約3.4Gb/s的流量，連一個(gè)端口的4G都撐不滿啊。
退一步說，如果是分布不均勻，集中在每天的2個(gè)小時(shí)內(nèi)，那么每秒約4.16GB/s的數(shù)據(jù)流量，折合約41.6Gb，也就是說大概16個(gè)端口全速工作就可以滿足。
可以分散為2-4臺高端設(shè)備，USPV這個(gè)級別的后端磁盤鏈路是最大64條，每條4Gb，滿足每秒約20Gb的帶寬我想是綽綽有余吧。

liaoboda

原帖由 asyqm 于 2008-9-11 13:26 發(fā)表

這個(gè)假設(shè)30T的流量是每天平均分的，那么分散到每秒鐘約0.347GB/s，折合約3.4Gb/s的流量，連一個(gè)端口的4G都撐不滿啊。
退一步說，如果是分布不均勻，集中在每天的2個(gè)小時(shí)內(nèi)，那么每秒約4.16GB/s的數(shù)據(jù)流量，折 ...

你考慮過沒有這個(gè)是十幾臺機(jī)器在處理這些數(shù)據(jù)，這個(gè)在一個(gè)時(shí)間的IO就有可能要乘十幾，如果前邊是一個(gè)1000臺計(jì)算節(jié)點(diǎn)的集群。

冬瓜頭

如果單單算 time cp的話，據(jù)我所知linux下的cp或者dd都是單一線程的同步阻塞io，而且dd的目標(biāo)如果只是一個(gè)文件的話，而且文件的layout又不能被外部存儲很好的均衡的話，那么達(dá)不到高速是很正常的事情。如果像您所說，幾十臺機(jī)器同時(shí)io，如果真的還是像您描述的那么不像樣，那就是設(shè)置問題了。

liaoboda

原帖由 冬瓜頭 于 2008-9-11 15:12 發(fā)表
如果單單算 time cp的話，據(jù)我所知linux下的cp或者dd都是單一線程的同步阻塞io，而且dd的目標(biāo)如果只是一個(gè)文件的話，而且文件的layout又不能被外部存儲很好的均衡的話，那么達(dá)不到高速是很正常的事情。如果像您 ...

這個(gè)能解釋下嗎？“據(jù)我所知linux下的cp或者dd都是單一線程的同步阻塞io”

liaoboda

原帖由 冬瓜頭 于 2008-9-11 15:12 發(fā)表
如果單單算 time cp的話，據(jù)我所知linux下的cp或者dd都是單一線程的同步阻塞io，而且dd的目標(biāo)如果只是一個(gè)文件的話，而且文件的layout又不能被外部存儲很好的均衡的話，那么達(dá)不到高速是很正常的事情。如果像您 ...

我這幾天在試驗(yàn)ramdisk 和SSD 為什么這個(gè)效果會好很多。謝謝！

冬瓜頭

ramdisk和ssd對隨機(jī)小塊io效果很好。效果好很多是因?yàn)闆]有機(jī)械尋道過程。數(shù)據(jù)不管多隨機(jī)，對于電路來將只不過是與或操作而已，不牽扯機(jī)械尋道，當(dāng)然快了。
大塊連續(xù)io，比機(jī)械硬盤差不多，甚至弱一些。

liaoboda

原帖由 冬瓜頭 于 2008-9-11 15:38 發(fā)表
ramdisk和ssd對隨機(jī)小塊io效果很好。效果好很多是因?yàn)闆]有機(jī)械尋道過程。數(shù)據(jù)不管多隨機(jī)，對于電路來將只不過是與或操作而已，不牽扯機(jī)械尋道，當(dāng)然快了。
大塊連續(xù)io，比機(jī)械硬盤差不多，甚至弱一些。

這個(gè)我基本明白，上邊那個(gè)問題，cp的原理。能解釋下嗎？謝謝！這個(gè)比較重要。

冬瓜頭

我也是搜索到的，至于到底怎么設(shè)計(jì)的，我也無從而知。去看看原代碼吧。
總之cp和dd不會考慮過多并發(fā)的。

liaoboda

原帖由 冬瓜頭 于 2008-9-11 16:20 發(fā)表
我也是搜索到的，至于到底怎么設(shè)計(jì)的，我也無從而知。去看看原代碼吧。
總之cp和dd不會考慮過多并發(fā)的。

那用啥能考慮到多并發(fā)？不過我現(xiàn)在發(fā)現(xiàn)raid0比raid5 要快 都是用cp  只不過現(xiàn)在環(huán)境還不一樣，我在做一個(gè)一模一樣的兩個(gè)環(huán)境 數(shù)據(jù)都一樣。（這樣是試驗(yàn)才有說服力）現(xiàn)在在copy數(shù)據(jù)中。你知道copy 幾T的數(shù)據(jù)是很漫長的事情。

冬瓜頭

用設(shè)計(jì)良好的應(yīng)用程序來做IO。
另外，機(jī)器上fc卡驅(qū)動(dòng)的queue depth也要設(shè)置的合適。