IBM破記錄 43分鐘狂掃100億份文件

dcas6454

本文摘要
IBM和Violin宣布了一項(xiàng)使用通用并行文件系統(tǒng)（GPFS）掃描文件的世界記錄：它用4個(gè)Violin的閃存陣列在43分鐘內(nèi)掃描了100億份文件。
IBM和Violin宣布了一項(xiàng)使用通用并行文件系統(tǒng)（GPFS）掃描文件的世界記錄：它用4個(gè)Violin的閃存陣列在43分鐘內(nèi)掃描了100億份文件。

這次的記錄是之前一次的37倍，上一次是在3個(gè)小時(shí)內(nèi)掃描了10億份文件。但那次是使用文件系統(tǒng)元數(shù)據(jù)來存儲(chǔ)的，就像是在磁盤驅(qū)動(dòng)器上的文件數(shù)據(jù)一樣。

為什么要做掃描文件這種事情呢？IBM報(bào)道說，需要用GPFS去掃描文件系統(tǒng)才能夠?qū)⑺鼈冊(cè)诖鎯?chǔ)層中移動(dòng)或是歸檔等等。但這并不是一個(gè)研究成果，因此不得不在幕后進(jìn)行。當(dāng)元數(shù)據(jù)存儲(chǔ)在硬盤上的時(shí)候，運(yùn)行的速度就變得越來越慢，這是因?yàn)樵贕PFS系統(tǒng)中的文件越來越多。甚至可以想象得到，最后都沒有足夠的時(shí)間去處理這些數(shù)據(jù)。

因此IBM的研究機(jī)構(gòu)才試著去將元數(shù)據(jù)放入高速閃存陣列中，并觀察系統(tǒng)是否運(yùn)轉(zhuǎn)變快。結(jié)果非常的給力，但這并不令人驚奇，畢竟它是一個(gè)在幕后研究的小項(xiàng)目，因?yàn)橄到y(tǒng)并未用它處理真正的數(shù)據(jù)。

在2月的時(shí)候，IBM在SONAS SPECsfs 2008的標(biāo)準(zhǔn)檢測(cè)中取得了每秒403,326次運(yùn)算的結(jié)果，該測(cè)試使用的系統(tǒng)是一個(gè)單一的GPFS系統(tǒng)，系統(tǒng)使用了1975塊硬盤。

EMC使用flash-heavy VNX系統(tǒng)取得了每秒497,623次運(yùn)算的結(jié)果，此系統(tǒng)使用了436塊200GB的SAS固態(tài)硬盤，另外此系統(tǒng)還包括8個(gè)文件系統(tǒng)。

SONAS是一個(gè)由El Reg 評(píng)定的基于GPFS的系統(tǒng)，重新運(yùn)行IBM的SONAS SPECsfs2008看上去是可行的。但這次是使用幾個(gè)Violin Memory Arrays來處理SONAS數(shù)據(jù)，所以達(dá)到了每秒500000次的運(yùn)算結(jié)果。我們?cè)儐柫薎BM和Violin兩家公司關(guān)于這次的測(cè)試，但并不期待他們做出諸如“是的，我們?cè)谧鲞@個(gè)呢”等類似的回復(fù)。

我們非常驚訝能夠收到IBM存儲(chǔ)系統(tǒng)主管Bruce Hillsberg的回復(fù)：“你們說對(duì)了，如果我們?cè)赟ONAS系統(tǒng)上使用最新的技術(shù)重新運(yùn)行SPECsfs的測(cè)試，將會(huì)有巨大的性能提升�！�