lijunzong 發(fā)表于 2013-03-08 15:27 ![]()
LUSTRE 處理大文件牛b還是小文件牛b?
前期搭建環(huán)境測試了一下 性能還不如GFS 。
分布式文件系統(tǒng)之Lustre功能測試報(bào)告前言對Lustre的研究已經(jīng)有一段時(shí)間了，由剛開始對Lustre的期待，到現(xiàn)在對其在我們目前服務(wù)器環(huán)境上運(yùn)用可行性的懷疑，新的技術(shù)，必須經(jīng)受足夠的考驗(yàn)，才能成為鳳凰涅槃，不斷強(qiáng)壯。 在此不免要對我們當(dāng)前環(huán)境再做一次簡單的描述。提供動(dòng)態(tài)頁面服務(wù)的resin服務(wù)器和提供前端加速的squid服務(wù)器，對磁盤空間的要求很小，因此，每臺服務(wù)器的硬盤上除了裝一個(gè)操作系統(tǒng)，就是resin動(dòng)態(tài)應(yīng)用和squid的磁盤緩存，總的磁盤空間占用不會(huì)超過5G�；谶@樣的環(huán)境，我們不免會(huì)打這些剩余磁盤空間的主意。我們希望找到一款開源的分布式文件系統(tǒng)軟件，來整合我們這些磁盤的剩余空間。 隨著對分布式文件系統(tǒng)的深入了解，我們越來越發(fā)現(xiàn)，我們最初的想法是不正確的，因?yàn)樵谌魏我粋�(gè)大的系統(tǒng)中，存儲(chǔ)都是獨(dú)立的。把應(yīng)用服務(wù)器和存儲(chǔ)分開，才能最大限度的發(fā)揮二者的性能，并且方便進(jìn)行管理。因此，基于這樣的想法，我構(gòu)思了幾種方案。但本篇報(bào)告的重點(diǎn)在Lustre，我構(gòu)思的那幾種方案將另辟一文進(jìn)行描述。 Lustre簡單介紹Lustre文件系統(tǒng)是基于對象存儲(chǔ)的文件系統(tǒng)，它有三個(gè)部分組成： 1． 元數(shù)據(jù)服務(wù)器（Meta Data Server，MDS） 2． 對象存儲(chǔ)服務(wù)器（Object Storage Server，OSS） 3． Lustre客戶端 更詳細(xì)的介紹，請參考之前的分布式文件系統(tǒng)報(bào)告。 實(shí)驗(yàn)環(huán)境因?yàn)楸敬芜M(jìn)行的是Lustre的功能測試，故實(shí)驗(yàn)環(huán)境不進(jìn)行詳細(xì)的介紹。 硬件環(huán)境包括若干臺服務(wù)器，軟件環(huán)境如下： | | | 2.6.9-42.0.10.EL_lustre.1.4.10（官方提供，打過Lustre補(bǔ)丁） | | | | | | |
1． 單節(jié)點(diǎn)的Lustre 2． 多節(jié)點(diǎn)的Lustre 3． Lustre的Failover 4． Lustre的quota | 
免費(fèi)注冊
樓主: send_linux
.png "2015年中國系統(tǒng)架構(gòu)師大會(huì)
日期:2015-06-29 16:11:28")
發(fā)表于 2013-03-07 15:02
發(fā)表于 2013-03-08 09:23
