有關(guān)存儲(chǔ)一些問題的開放討論

liaoboda

今天有幾個(gè)計(jì)算所的學(xué)生來我們這里找課題，正好這幾天我和幾個(gè)朋友在討論一些有關(guān)現(xiàn)在存儲(chǔ)的問題。由于我這里資源比較好（幾百臺(tái)機(jī)器，而且和各個(gè)廠商關(guān)系也不錯(cuò)，要幾臺(tái)測(cè)試的機(jī)器還是沒問題的），我也一直想把其中的一些問題搞清楚。我覺得采取我做實(shí)驗(yàn)，然后公布結(jié)果，大家討論，我再做實(shí)驗(yàn)證明。（在這個(gè)過程中，我會(huì)把一些實(shí)驗(yàn)的結(jié)果發(fā)給我的朋友和各個(gè)廠家，比如intel promise  希捷  一些并行文件系統(tǒng)的開發(fā)者，共同分析）。如果有興趣請(qǐng)大家多多發(fā)表自己的意見。

其實(shí)我所做的目的就是一個(gè)提高現(xiàn)有存儲(chǔ)的讀寫速度。我現(xiàn)在這里有上P的存儲(chǔ) 上P的數(shù)據(jù)。以后會(huì)到10P 20P copy數(shù)據(jù)和整個(gè)數(shù)據(jù)的處理現(xiàn)在是一個(gè)很頭疼的問題。如果那幾個(gè)學(xué)生喜歡上CU希望能幫他們選一個(gè)真正實(shí)用的博士畢業(yè)題目。
現(xiàn)在通過以前的實(shí)驗(yàn)和長(zhǎng)期的實(shí)踐，我發(fā)現(xiàn)了下面幾個(gè)問題：
1.現(xiàn)在硬盤實(shí)際的持續(xù)讀寫速度是有限的，SATAII 標(biāo)稱3G/s的硬盤實(shí)際的讀寫速度上限只有60MB/s。SAS 1.5K實(shí)際讀寫速度也只有100MB/s左右。（目前我的朋友基本都同意這個(gè)觀點(diǎn)）
根據(jù)磁盤的IOPS計(jì)算大概也差不多。
2.磁盤的cache 大小對(duì)突發(fā)讀寫有效果，對(duì)持續(xù)的讀寫基本沒用。
3.其實(shí)磁盤陣列的持續(xù)讀寫速度和用NAS SAN 光纖 關(guān)系不大�？赡芑�于一般的應(yīng)用突發(fā)讀寫更多畢竟像我們這么BT的一天產(chǎn)生和處理10來T數(shù)據(jù)的應(yīng)用太少了。
4.raid理論速度和實(shí)際有差別。raid0 raid5對(duì)磁盤速度的提高有限。不是像他們說的那樣越多越快
5.現(xiàn)有的并行文件系統(tǒng)對(duì)大文件效果很好（8臺(tái)能到600MB/s），但是對(duì)2M左右大量文件的處理能力非常差5MB/s.
6.文件系統(tǒng)inode 塊大小 文件的具體關(guān)系和對(duì)速度的影響。
7.文件數(shù)量對(duì)速度的影響。
8.對(duì)持續(xù)大量的讀寫，好的控制器對(duì)速度到底有多大影響。
另外我的朋友有以下的一些觀點(diǎn)：
1.raid0能提高速度。
2.大量持續(xù)的讀寫，軟raid速度比硬raid好。
3.raid5會(huì)比單塊盤慢。
4.傳輸?shù)膯栴}可能存在南橋和硬盤控制器之間。
以上的問題我都會(huì)通過實(shí)驗(yàn)來一個(gè)驗(yàn)證。希望大家多發(fā)言

liaoboda

沒人頂 自己頂下回去了

happy_fish100

原帖由 liaoboda 于 2008-9-4 19:55 發(fā)表
沒人頂 自己頂下回去了

可以看看分布式文件系統(tǒng)，如：FastDFS

liaoboda

原帖由 happy_fish100 于 2008-9-4 22:41 發(fā)表


可以看看分布式文件系統(tǒng)，如：FastDFS

我去看看，和lustre一樣嗎？

liaoboda

我這里是大數(shù)據(jù)量的HPC

夜的小宇宙

原帖由 liaoboda 于 2008-9-4 18:04 發(fā)表
今天有幾個(gè)計(jì)算所的學(xué)生來我們這里找課題，正好這幾天我和幾個(gè)朋友在討論一些有關(guān)現(xiàn)在存儲(chǔ)的問題。由于我這里資源比較好（幾百臺(tái)機(jī)器，而且和各個(gè)廠商關(guān)系也不錯(cuò)，要幾臺(tái)測(cè)試的機(jī)器還是沒問題的），我也一直想把 ...

2.磁盤的cache 大小對(duì)突發(fā)讀寫有效果，對(duì)持續(xù)的讀寫基本沒用。

這一條理論上應(yīng)該是，數(shù)據(jù)讀取的時(shí)候和緩存命中率關(guān)系很大，如果能在緩存中讀取，就不用去磁盤上尋址讀取了，速度當(dāng)然快不少。但我感覺應(yīng)該也是更加適用于數(shù)據(jù)庫這種的離散讀的情況，和流媒體的那種大文件讀取沒有太大關(guān)系。

甚至我很懷疑離散寫的情況下緩存對(duì)寫入速度的影響有多大，反正都是先往緩存中寫入，然后再寫入磁盤的，我覺得緩存對(duì)寫入的影響不會(huì)特別大，無論是離散寫還是大文件寫入

大文件如視頻文件的讀寫我覺得應(yīng)該和控制器和磁盤通道數(shù)量、帶寬有很大的關(guān)系

[ 本帖最后由 夜的小宇宙 于 2008-9-5 10:09 編輯 ]

liaoboda

原帖由 夜的小宇宙 于 2008-9-5 09:53 發(fā)表


2.磁盤的cache 大小對(duì)突發(fā)讀寫有效果，對(duì)持續(xù)的讀寫基本沒用。

這一條理論上應(yīng)該是，數(shù)據(jù)讀取的時(shí)候和緩存命中率關(guān)系很大，如果能在緩存中讀取，就不用去磁盤上尋址讀取了，速度當(dāng)然快不少。但我感覺應(yīng)該 ...

因?yàn)橐郧暗膽?yīng)用多為數(shù)據(jù)庫，所以售前們總喜歡說我這個(gè)產(chǎn)品cache有多大，對(duì)速度提升有多快。（比如EMC NETAPP IBM）如果我的這個(gè)結(jié)論是正確的，那么我會(huì)開始懷疑另外一個(gè)問題了，為什么說SAN比Nas快，因?yàn)镾AN的相應(yīng)速度快，所以多突發(fā)離散的數(shù)據(jù)訪問很好。如果持續(xù)的數(shù)據(jù)就是比帶寬和硬盤的讀寫速度了。可能和infinband和10G網(wǎng)絡(luò)的原理差不多

夜的小宇宙

原帖由 liaoboda 于 2008-9-5 10:50 發(fā)表

因?yàn)橐郧暗膽?yīng)用多為數(shù)據(jù)庫，所以售前們總喜歡說我這個(gè)產(chǎn)品cache有多大，對(duì)速度提升有多快。（比如EMC NETAPP IBM）如果我的這個(gè)結(jié)論是正確的，那么我會(huì)開始懷疑另外一個(gè)問題了，為什么說SAN比Nas快，因?yàn)镾AN的 ...

NAS和SAN完全沒有可比性，一個(gè)傳輸文件，一個(gè)是塊數(shù)據(jù)傳輸，一個(gè)側(cè)重響應(yīng)速度，單秒內(nèi)的多少次IO（IOPS），一個(gè)側(cè)重帶寬，單秒內(nèi)傳輸多少字節(jié)

我覺得可以討論一下：緩存命中率和什么有關(guān)系，未必緩存大命中率就一定好吧

liaoboda

原帖由 夜的小宇宙 于 2008-9-5 11:23 發(fā)表


NAS和SAN完全沒有可比性，一個(gè)傳輸文件，一個(gè)是塊數(shù)據(jù)傳輸，一個(gè)側(cè)重響應(yīng)速度，單秒內(nèi)的多少次IO（IOPS），一個(gè)側(cè)重帶寬，單秒內(nèi)傳輸多少字節(jié)

我覺得可以討論一下：緩存命中率和什么有關(guān)系，未必緩存大命 ...

你說的和我估計(jì)的一樣。SAN是響應(yīng)速度？呵呵 你覺得討論 緩存命中率和什么有關(guān)系 你可以設(shè)計(jì)試驗(yàn)。

wolfheader

原帖由 happy_fish100 于 2008-9-4 22:41 發(fā)表


可以看看分布式文件系統(tǒng)，如：FastDFS

這個(gè)提議太無聊了，我相信你的DFS不能支持龐大的系統(tǒng)，或者說別人也不會(huì)用你的dfs，家里人多的話用一下還可以