關(guān)于Hadoop在HPC領(lǐng)域的應(yīng)用

試著天真

我們實(shí)驗(yàn)室的集群目前采用的是lustre文件系統(tǒng)，全是大量的圖像文件（單張幾百M(fèi)B的圖片），但是IO速度慢的一比，讀速度大約只有500MB/s，而我們的存儲(chǔ)容量都快2PB了，我想問這個(gè)速度正常么？infiniband網(wǎng)絡(luò)萬兆網(wǎng)卡什么的都用了，由于是菜鳥為什么這么慢我也不懂。這兩天我看到我們的計(jì)算節(jié)點(diǎn)（21個(gè)）上有300G的存儲(chǔ)空間，我在想如果把每個(gè)計(jì)算節(jié)點(diǎn)的存儲(chǔ)空間擴(kuò)大成8TB，然后組一個(gè)HDFS文件系統(tǒng)，之后用spark或者Hadoop進(jìn)行圖像處理，處理完再寫回lustre，不知這個(gè)方案是否可行？
PS：我們的圖像采集完之后都要通過網(wǎng)絡(luò)上傳到集群上然后進(jìn)行圖像處理，是否可以把storm或者spark streaming用于上傳時(shí)的處理，這樣上傳完數(shù)據(jù)基本就處理好了？

lemoncandy

試著天真 發(fā)表于 2015-03-18 17:21
我們實(shí)驗(yàn)室的集群目前采用的是lustre文件系統(tǒng)，全是大量的圖像文件（單張幾百M(fèi)B的圖片），但是IO速度慢的一 ...

你這個(gè)方案可行，如果你的數(shù)據(jù)不是特別重要，hadoop在數(shù)據(jù)安全方面還是有一些欠缺的