有關(guān)存儲一些問題的開放討論

liaoboda

原帖由 klin121628 于 2008-9-6 00:15 發(fā)表
并行文件系統(tǒng)都是很貴很貴的.........

有兩種一中開源的軟件lustre 不用錢的。一種帶硬件的panasas，這個比較貴

smile_hua

原帖由 夜的小宇宙 于 2008-9-5 09:53 發(fā)表


2.磁盤的cache 大小對突發(fā)讀寫有效果，對持續(xù)的讀寫基本沒用。

這一條理論上應(yīng)該是，數(shù)據(jù)讀取的時候和緩存命中率關(guān)系很大，如果能在緩存中讀取，就不用去磁盤上尋址讀取了，速度當(dāng)然快不少。但我感覺應(yīng)該 ...

這個問題我也想搞清楚一些，一般我們出貨的陣列，都將磁盤的緩沖關(guān)掉，說這樣能提升速度，不知緣何。：（

tangye

很不錯的討論

tyrone.dev

2.大量持續(xù)的讀寫，軟raid速度比硬raid好。
很有可能吧，總有一個地方要分條，但主機(jī)的CPU肯定比存儲上的CPU要快一點。只不過軟RAID的話會占主機(jī)的CPU時間。
3.cache多一點，性能高一點。這個應(yīng)當(dāng)是正確的結(jié)論，但是在大量寫時cache不夠用時，有沒有cache就變成一樣了。不連續(xù)時性能高是由于IOPS上不去，當(dāng)然cache很難一下搞滿。所以性能才會高吧。
4.raid5的話，連續(xù)讀應(yīng)當(dāng)比1塊盤好吧.寫才慢
5.FC的協(xié)議要比TCP/IP的傳輸效率要高，但是使用NAS做文件服務(wù)時，傳輸?shù)臄?shù)據(jù)肯定會少一點，NAS的cache利用也會比SAN上存儲上好。做比較的有點不合適。

ljjcover

長見識，關(guān)注中。

冬瓜頭

2.大量持續(xù)的讀寫，軟raid速度比硬raid好。
不知道兄臺這個結(jié)論怎么來的，實驗，經(jīng)驗，理論推導(dǎo)？我看多半是實驗。理論上講，軟raid僅當(dāng)在主機(jī)CPU很空余而且性能比外部控制器cpu強勁時，表現(xiàn)的比硬raid強。但是一旦主機(jī)cpu已經(jīng)高負(fù)荷了，那么此時，硬raid的效果就凸顯了。

3.raid5會比單塊盤慢。
這個不好說吧。得看io的性質(zhì)，我在《大話存儲》中，將IO種類分成：隨機(jī)/連續(xù)，順序/并發(fā)，大塊/小塊。而且對各種raid，不僅是raid5，做了分別針對上面這些情況的相對于單盤的性能分析，有興趣的話，9月末出版之后，希望兄臺可以捧場，買本看看。給點意見。


4.傳輸?shù)膯栴}可能存在南橋和硬盤控制器之間。
南橋和硬盤控制器，不知道兄臺指芯片內(nèi)部的傳輸么？硬盤控制器是說的南橋內(nèi)部集成的么？這個會有什么問題呢？

冬瓜頭

關(guān)于并行文件系統(tǒng)，這個得去本論壇linux半塊集群和虛擬機(jī)亞半塊找nntp大俠取經(jīng)了。
pvfs2，lustre，polyserver，gpfs之類的，具體沒怎么研究。

冬瓜頭

原帖由 smile_hua 于 2008-9-8 11:28 發(fā)表


這個問題我也想搞清楚一些，一般我們出貨的陣列，都將磁盤的緩沖關(guān)掉，說這樣能提升速度，不知緣何。：（

首先澄清。沒有“關(guān)閉磁盤cache”這一說。所謂“關(guān)閉磁盤cache”，這不是一個出廠前的步驟，也不是硬盤上的某個開關(guān)或者電路。
磁盤cache在任何情況下都在使用。不可能有沒有cache的硬盤。
可以看一下scsi協(xié)議。有個fau和dpo的概念看完就知道所謂“關(guān)閉磁盤cache”是什么意思了。
至于為什么要“關(guān)閉”磁盤cache，唯一原因就是為了數(shù)據(jù)一致性。

冬瓜頭

原帖由 liaoboda 于 2008-9-5 12:44 發(fā)表

昨天我給那些學(xué)生提議，建議他們做一個大規(guī)模存儲的解決方案的課題。不過好像沒人感興趣，一般喜歡研究那些復(fù)雜的算法。嘻嘻。
我覺得解決這個問題必須從下邊的幾個方面共同解決。
1.存儲介質(zhì)的工作原理，必 ...

不拍兄臺恥笑，強烈推薦敝人專著《大話存儲》，雖然不能覆蓋所有這些細(xì)節(jié)，但是至少能讓您的學(xué)生對您所說的這些有個比較深刻的理解。

冬瓜頭

原帖由 liaoboda 于 2008-9-5 15:34 發(fā)表
lustre 我試過 計算所的藍(lán)鯨我也試驗過 lustre的效果還可以 但是對大量2M左右的文件就不行了。

是的，小文件對于這類FS來說都是夢魘。由于開銷過大，往往不能二者兼顧。