Lustre的學(xué)習(xí)筆記(2006.1.21.)

icymoon

Lustre         
http://lustre.org/docs/whitepaper.pdf

Lustre是由Cluster File Systems公司出的高性能文件系統(tǒng)，于2003年12月發(fā)布1.0版。Lustre是Linux與Clusters兩個單詞混合而成的。
網(wǎng)絡(luò)化存儲架構(gòu)主要有兩種：Storage Area Network結(jié)構(gòu)與Network Attached Storage結(jié)構(gòu)，NFS屬于后者。目前在集群中應(yīng)用較多的也是NFS文件系統(tǒng)。但是存在開銷大，帶寬低，延遲大等一些問題。(我們遇到的問題還包括不夠穩(wěn)定。)而Lustre據(jù)說是比之于傳統(tǒng)的分布式文件系統(tǒng)有很多優(yōu)點(diǎn)，主要是performance和scalability上。

1. Lustre的一些特點(diǎn)
而Lustre除了傳統(tǒng)的分布式文件系統(tǒng)的一些優(yōu)點(diǎn)外（比如分離了計算資源與存儲資源，支持冗余等），還有以下特點(diǎn)：
(1)                 Lustre runs on commodity hardware and uses object based disks for storage and metadata servers for storing file system metadata.
(2)                 It supports strong file and metadata locking semantics to maintain total conherency of the file systems even in the presence of concurrent access.
(3)                 It uses an open networking API, the Portals API.
(4)                 It provides security in the form of authentication, authorization and privacy by leveraging existing security systems.
(5)                 It leverages the underlying jounaling file systems provided by Linux to enable persistent state recovery, enabling resiliency and recoverability from failed OSTs(Object Storage Targets)
(6)                 Its configuration and state information is recorded and managed using open standards such as XML and LDAP.

2. Lustre的基本結(jié)構(gòu)
主要由三部分組成:
l          Clients：客戶端
l          Meta-data Server(MDS)：元數(shù)據(jù)服務(wù)器
l          Object Storage Target(OST)：存儲服務(wù)器
通常這三個部分是分離的，但是也可以運(yùn)行在同一個系統(tǒng)中。相互關(guān)系如下圖所示 (出自Lustre White Paper)




　　
上圖所示是正常情況下三部分的作用關(guān)系。在文件系統(tǒng)級別，Lustre將文件看成是位于MDS的對象，MDS支持所有的文件系統(tǒng)名字空間的操作，比如查找，創(chuàng)建文件，而實際的文件IO請求則是由OST完成的，MDS記錄文件系統(tǒng)元數(shù)據(jù)的改變和集群系統(tǒng)的狀態(tài)，并且負(fù)責(zé)失效管理。
在Lustre中，inode也是唯一的，存儲著到OST上的對象的引用。在一般的文件系統(tǒng)中，新文件　時，文件系統(tǒng)要分配inode并做一些相應(yīng)的初始化，　而在Lustre中，創(chuàng)建一個新文件時，客戶端要去找元數(shù)據(jù)服務(wù)器，由元數(shù)據(jù)服務(wù)器為文件創(chuàng)建inode，然后再由元數(shù)據(jù)服務(wù)器請求OST來創(chuàng)建真正保存數(shù)據(jù)的對象。

3.Lustre支持的網(wǎng)絡(luò)
It is currently in use over TCP and Quadrics networks. Myrinet, Fiber Channel, Stargen and InfiniBand supprot are under development.


本文來自ChinaUnix博客，如果查看原文請點(diǎn)：http://blog.chinaunix.net/u/12325/showart_69760.html