互聯(lián)網(wǎng)技術(shù)熱點之--分布式文件系統(tǒng)，Lustre路在何方？（獲獎名單已公布2013-4-7）

shang2010

回復(fù) 9# T-Bagwell


    現(xiàn)在硬盤都是t字級別，基本用到的機會不多見


貴司什么業(yè)務(wù)？？

zhaopingzi

我司正在測試Lustre文件系統(tǒng)

T-Bagwell

回復(fù) 11# shang2010


    比如存儲一些高清視頻資源
    比如安防方面的，交通監(jiān)控，上PB是很輕松的事……

mz198424

就用過NFS
訪問共享文件很方便。。。
其他的沒用過，所以無法比較。。。

brucejin

同管理員所述，分布式文件系統(tǒng)在高存儲量，高性價比上有非常大的優(yōu)勢。
最初的網(wǎng)絡(luò)文件存儲需求，絕大多數(shù)都使用了NFS。NFS的優(yōu)點非常明顯：簡單，易維護，在低吞吐，低并發(fā)的情況下，運行穩(wěn)定。理論上NFSv4比NFSv3性能提升明顯，支持更多的并發(fā)，需要謹慎嘗試。NFS最大的缺點，是單點故障，帶來成本的上升。
中期，就依賴各種存儲硬件系統(tǒng)堆疊，SAN,NSA,iSCSI技術(shù)的運用，或面向文件，或面向塊設(shè)備，提供更好的可用性，更高的性能。缺點是隨著存儲容量的增大而成本上升，在大規(guī)模數(shù)據(jù)爆發(fā)初期，大多選擇此類。
隨著對成本越來越關(guān)注，現(xiàn)今最好的解決方案是分布式文件系統(tǒng)。內(nèi)部進行高可用，備份，同步，監(jiān)控，負載均衡。我們現(xiàn)在大規(guī)模的在應(yīng)用層使用FastDFS。分布式文件系統(tǒng)也有遺憾，大多需要開發(fā)支持，不如NFS，存儲那樣使用簡單。
以上，是我個人的簡單心得。

xike2002

接觸過Hadoop 分布式文件系統(tǒng)HDFS

Hadoop 分布式文件系統(tǒng) (HDFS) 是運行在通用硬件上的分布式文件系統(tǒng)。HDFS 提供了一個高度容錯性和高吞吐量的海量數(shù)據(jù)存儲解決方案。HDFS 已經(jīng)在各種大型在線服務(wù)和大型存儲系統(tǒng)中得到廣泛應(yīng)用，已經(jīng)成為各大網(wǎng)站等在線服務(wù)公司的海量存儲事實標(biāo)準(zhǔn)，多年來為網(wǎng)站客戶提供了可靠高效的服務(wù)。

隨著信息系統(tǒng)的快速發(fā)展，海量的信息需要可靠存儲的同時，還能被大量的使用者快速地訪問。傳統(tǒng)的存儲方案已經(jīng)從構(gòu)架上越來越難以適應(yīng)近幾年來的信息系統(tǒng)業(yè)務(wù)的飛速發(fā)展，成為了業(yè)務(wù)發(fā)展的瓶頸和障礙。

HDFS 通過一個高效的分布式算法，將數(shù)據(jù)的訪問和存儲分布在大量服務(wù)器之中，在可靠地多備份存儲的同時還能將訪問分布在集群中的各個服務(wù)器之上，是傳統(tǒng)存儲構(gòu)架的一個顛覆性的發(fā)展。HDFS 可以提供以下特性：

• 可自我修復(fù)的分布式文件存儲系統(tǒng)

• 高可擴展性，無需停機動態(tài)擴容

• 高可靠性，數(shù)據(jù)自動檢測和復(fù)制

• 高吞吐量訪問，消除訪問瓶頸

• 使用低成本存儲和服務(wù)器構(gòu)建

分布式文件系統(tǒng) HDFS 特性

高吞吐量訪問

HDFS 的每個數(shù)據(jù)塊分布在不同機架的一組服務(wù)器之上，在用戶訪問時，HDFS 將會計算使用網(wǎng)絡(luò)最近的和訪問量最小的服務(wù)器給用戶提供訪問。由于數(shù)據(jù)塊的每個復(fù)制拷貝都能提供給用戶訪問，而不是從單數(shù)據(jù)源讀取，HDFS 對于單數(shù)據(jù)塊的訪問將是傳統(tǒng)存儲方案的數(shù)倍。

對于一個較大的文件，HDFS 將文件的不同部分存放于不同服務(wù)器之上。在訪問大型文件時，系統(tǒng)可以并行從服務(wù)器陣列中的多個服務(wù)器并行讀入，增加了大文件讀入的訪問帶寬。

通過以上實現(xiàn)，HDFS 通過分布式計算的算法，將數(shù)據(jù)訪問均攤到服務(wù)器陣列中的每個服務(wù)器的多個數(shù)據(jù)拷貝之上，單個硬盤或服務(wù)器的吞吐量限制都可以數(shù)倍甚至數(shù)百倍的突破，提供了極高的數(shù)據(jù)吞吐量。



無縫容量擴充

HDFS 將文件的數(shù)據(jù)塊分配信息存放在NameNode 服務(wù)器之上，文件數(shù)據(jù)塊的信息分布地存放在 DataNode 服務(wù)器上。當(dāng)整個系統(tǒng)容量需要擴充時，只需要增加DataNode 的數(shù)量，系統(tǒng)會自動地實時將新的服務(wù)器匹配進整體陣列之中。之后，文件的分布算法會將數(shù)據(jù)塊搬遷到新的DataNode 之中，不需任何系統(tǒng)宕機維護或人工干預(yù)。通過以上實現(xiàn)，HDFS 可以做到在不停止服務(wù)的情況下實時地加入新的服務(wù)器作為分布式文件系統(tǒng)的容量升級，不需要人工干預(yù)文件的重新分布。

高度容錯

HDFS 文件系統(tǒng)假設(shè)系統(tǒng)故障(服務(wù)器、網(wǎng)絡(luò)、存儲故障等)是常態(tài)，而不是異常。因此通過多方面保證數(shù)據(jù)的可靠性。數(shù)據(jù)在寫入時被復(fù)制多份，并且可以通過用戶自定義的復(fù)制策略分布到物理位置不同的服務(wù)器上;數(shù)據(jù)在讀寫時將自動進行數(shù)據(jù)的校驗，一旦發(fā)現(xiàn)數(shù)據(jù)校驗錯誤將重新進行復(fù)制;HDFS 系統(tǒng)在后臺自動連續(xù)的檢測數(shù)據(jù)的一致性，并維持數(shù)據(jù)的副本數(shù)量在指定的復(fù)制水平上。

happy_fish100

回復(fù) 16# xike2002

HDFS更適合做離線存儲，比如分布式計算場合。
HDFS的name server目前還是單點，是明顯的系統(tǒng)瓶頸，不能支持太多的文件數(shù)，比如上億個文件，HDFS基本就不行了。

yuanzh78

原來NFS也屬于分布式的，以前硬件調(diào)試時從主機上load操作系統(tǒng)用
最近云概念很熱，當(dāng)然少不了分布式，個人學(xué)習(xí)了一下，原來弄個分布式并不等于云，但是國內(nèi)很多公司就是湊熱鬧，
用的最多的就是開源hadoop了，非要搞這個，
開始我是選的fast DFS入手的，簡單易用，適用于小文件，安裝也方便，接口也清楚，對付一下也足夠了，但是這種面子工程還是要用
hadoop，說出來人家ibm用的也是這，只好改成hadoop的，也就是拿來安裝上調(diào)調(diào)接口就算是用上了。
hadoop是什么上上樓的hadoop白皮書都說明白了
Lustre沒用過，覺得這種國內(nèi)還是用的少吧，國內(nèi)高端少。

主題列舉的各種分布式文件系統(tǒng)都有自己的不同用途，所以才會開發(fā)出各種系統(tǒng)以適用于不同環(huán)境。
比如fastDFS優(yōu)點就是小文件速度快，那就是HDFS的瓶頸，NFS就適用于網(wǎng)絡(luò)共享。
Lustre則在大規(guī)模集群的存儲架構(gòu)上應(yīng)用有優(yōu)勢。

最后個人認為云概念就是一個陰謀，下一個中國互聯(lián)網(wǎng)泡沫就在這里

wcjzgh

lustre 在處理大文件還可以，但如果一旦遇到小文件，她的處理將會超級差，甚至低于傳統(tǒng)的nfs.
但這個得看應(yīng)用，根據(jù)不同的應(yīng)用上合適的文件系統(tǒng)，才是最佳選擇。

nanqingzhe

NFS目前用的還是很多的，連FAT32都有還在用的