互聯(lián)網(wǎng)技術熱點之--分布式文件系統(tǒng)，Lustre路在何方？（獲獎名單已公布2013-4-7）

古丁高手

還是在fat/ntfs/ext3的環(huán)境

流氓無產(chǎn)者

哥比較落后了，只知道nfs/clusterfs,前天面一人，說做過分布式，我問他架構，他說是機密，我問他做哪一層，他說是機密，我問他涉及哪些技術，他依然霸氣地回復是機密，現(xiàn)在做分布式的有那么吊么？
哥得加緊學習了,三蛋哥看好你

zhengwei_zw

機密 亮了。。。。。。。。。。。。。。。

hbsycw

回復 18# yuanzh78

云從技術上講是彈性計算解決方案，云的火熱的確有很大部分炒作嫌疑，因為，云概念的提出主要不是技術創(chuàng)新而是一種商業(yè)模式創(chuàng)新，各路諸侯搶著上，是為了未來的一統(tǒng)江湖。云聽上去很美好，但還真有可能是陷阱~


   

hbsycw

流氓無產(chǎn)者 發(fā)表于 2013-03-06 09:15
哥比較落后了，只知道nfs/clusterfs,前天面一人，說做過分布式，我問他架構，他說是機密，我問他做哪一層， ...

哈哈，機密~

qidunhu

目前打算使用SNFS分布式文件系統(tǒng)，計算節(jié)點的計算量和IO量都很大...

milujite

本期話題：

1、什么場景下需要用到分布式文件系統(tǒng)？有哪些好處？目前的發(fā)展瓶頸是什么？
行業(yè)不同，互聯(lián)網(wǎng)行業(yè)會經(jīng)常使用這些分布式文件系統(tǒng)，互聯(lián)網(wǎng)企業(yè)總是會用各種簡單、低成本的技術實現(xiàn)復雜的功能。投票里的NFS嚴格來說他不是集群文件系統(tǒng)，只能說是網(wǎng)絡文件系統(tǒng)，與CIFS是同類型技術。分布式文件系統(tǒng)一般用在大規(guī)模服務器需要共享訪問同一數(shù)據(jù)的場合。分布式文件系統(tǒng)的好處當然是SCALE-OUT架構帶來的成本和性能優(yōu)勢。SCALE-OUT架構雖然好，但是由于設計復雜，對很多用戶來說，存在畏懼心理。因為用戶確實不知道自己的數(shù)據(jù)具體存放在哪里。

2、您是否使用過或者評估過Lustre，有什么問題或者建議？
為了在多臺SMTP和POP服務器里共享郵件數(shù)據(jù)，曾經(jīng)有測試過LUSTRE，但是由于規(guī)模比較小，并且LUSTRE對大量小文件開銷有點大了，性能也不好。最近EXT4和BTRFS這種傳統(tǒng)的文件系統(tǒng)都已經(jīng)將小文件直接嵌入inode來提高小文件的訪問性能，LUSTRE是否可以借鑒下。

3、分享您在各種互聯(lián)網(wǎng)業(yè)務中評測或者使用各種分布式文件系統(tǒng)的經(jīng)驗，或者您認為使用分布式文件系統(tǒng)能夠給您的業(yè)務基礎架構帶來的優(yōu)勢。
LUSTRE雖然設計時有考慮小文件，并且也有相應的小文件的調(diào)優(yōu)手冊，但是總體來說小文件的性能表現(xiàn)并不好。分布式文件系統(tǒng)在大規(guī)模數(shù)據(jù)并發(fā)訪問上是主流的技術，并且使用低端硬件和技術就能達到高端存儲設備的性能，但是也將存儲架構變得更加復雜。


另外不得不吐槽下，LUSTRE新版本目前怎么下載到？

load2009

nfs側重點是個網(wǎng)絡協(xié)議，而不是個分布式，也不是文件系統(tǒng)，
nfs在4.0版本開始支持server端分布式的概念，4.1版本還支持client在多個server并行讀寫
lustre主要面型HPC的吧，目前top100的super computer里面大部分都是用lustre做存儲的吧
hdfs是跟map reduce之類的計算是緊密結合的
分布式文件系統(tǒng)要看不同的應用場景吧，每種場景都有適合自己的分布式文件系統(tǒng)
例如存儲視頻多媒體數(shù)據(jù)，常需要分布式文件系統(tǒng)支持EC糾刪碼的冗余方式，
目前開源的分布式文件系統(tǒng)大部分是副本方式冗余，EMC跟netapp這種專業(yè)存儲公司倒是有商用設備支持EC，就是比較貴

dbl100

lustre在高性能計算領域用的比較多，它的優(yōu)勢是什么，是開源還是有其它的特點；

另外也有很多其它的商業(yè)版的集群存儲軟件，有大公司有小公司，穩(wěn)定性都還可以；對大文件的處理效率也可以，與他們相比lustre有什么優(yōu)勢

目前gluster比較熱門，而且有很多技術實力一般的廠商只稍加修改就直接變成自己的產(chǎn)品銷售了，對gluster的發(fā)展和技術怎么看，與lustre的對比優(yōu)劣勢是什么

send_linux

qidunhu 發(fā)表于 2013-03-06 10:14
目前打算使用SNFS分布式文件系統(tǒng)，計算節(jié)點的計算量和IO量都很大...

這個能夠詳細說說么？和大家分享分享