互聯(lián)網(wǎng)技術(shù)熱點(diǎn)之--分布式文件系統(tǒng)，Lustre路在何方？（獲獎(jiǎng)名單已公布2013-4-7）

thaldn

network is storage

tangye

太高深了，偶爾用一下nfs，其他都沒接觸過

yifangyou

1、什么場景下需要用到分布式文件系統(tǒng)？有哪些好處？目前的發(fā)展瓶頸是什么？
答：1）對(duì)于數(shù)據(jù)完整性要求很高的環(huán)境下，多個(gè)備份的分布式文件系統(tǒng)可以提高數(shù)據(jù)完整性保護(hù)；
      2）對(duì)于會(huì)產(chǎn)生大量數(shù)據(jù)寫入或者讀出的實(shí)時(shí)系統(tǒng)，大量數(shù)據(jù)注定數(shù)據(jù)不能夠存放在一臺(tái)機(jī)器上，注定要分布，這能夠保證數(shù)據(jù)可以高效寫入，保證數(shù)據(jù)完整可靠，即使一臺(tái)宕機(jī)了，也不會(huì)影響業(yè)務(wù)。
    發(fā)展的瓶頸是：
      1)分布式文件系統(tǒng)對(duì)于帶寬要求很高，而目前中國的公共網(wǎng)絡(luò)無法達(dá)到這樣的要求，因此很多分布式文件系統(tǒng)一般都會(huì)在同一個(gè)機(jī)房里，若是跨網(wǎng)傳輸?shù)脑掃�是采用傳統(tǒng)的方式。
      2）分布式文件系統(tǒng)還做不到，隨意增加或者減少機(jī)器，各個(gè)節(jié)點(diǎn)的文件分布能夠像流水一樣互相均衡

2、您是否使用過或者評(píng)估過Lustre，有什么問題或者建議？
答：沒有
3、分享您在各種互聯(lián)網(wǎng)業(yè)務(wù)中評(píng)測或者使用各種分布式文件系統(tǒng)的經(jīng)驗(yàn)，或者您認(rèn)為使用分布式文件系統(tǒng)能夠給您的業(yè)務(wù)基礎(chǔ)架構(gòu)帶來的優(yōu)勢。
答：我在openstack的swift做過開發(fā)，使用過nfs。
     1）nfs的優(yōu)點(diǎn)是：技術(shù)比較成熟，配置簡單
          nfs的缺點(diǎn)：nfs在大量寫入數(shù)據(jù)時(shí)達(dá)不到實(shí)時(shí)同步，并且會(huì)造成IO負(fù)載很重，并且一臺(tái)宿主機(jī)不能夠掛載太多nfs客戶端。
    2）swift的優(yōu)點(diǎn)：
         a.swift的數(shù)據(jù)同步可以自主定義備份的數(shù)量，
         b.使用phthon開發(fā)，數(shù)據(jù)格式使用的是json格式存儲(chǔ)。
         c.使用ring分配存儲(chǔ)節(jié)點(diǎn)和文件,基本上文件會(huì)整個(gè)存儲(chǔ)在一臺(tái)機(jī)器上，不會(huì)被切割
         d.采用的是n個(gè)前端服務(wù)器(proxy)后面掛載多個(gè)存儲(chǔ)節(jié)點(diǎn)的方式，可以隨便增加前端服務(wù)器的個(gè)數(shù)，或者存儲(chǔ)節(jié)點(diǎn)的個(gè)數(shù)。
         e.同步很快
        swift的缺點(diǎn)：
         a.對(duì)系統(tǒng)有要求，必須是烏班圖系統(tǒng)
   
   

DarrenPao

目前還未接觸過分布式文件系統(tǒng)，現(xiàn)在主要采用NFS。

如果分布式文件系統(tǒng)能更好的解決生產(chǎn)中的問題，隨著技術(shù)的發(fā)展，肯定會(huì)被采用，但是前提是是否適用于互聯(lián)網(wǎng)產(chǎn)業(yè)。

patagonia

send_linux 發(fā)表于 2013-03-04 10:16
隨著互聯(lián)網(wǎng)和移動(dòng)信息化的飛速發(fā)展，各種業(yè)務(wù)數(shù)據(jù)爆炸性地增長，海量數(shù)據(jù)不停產(chǎn)生后被存儲(chǔ)，并時(shí)刻需要被高 ...

這里討論ceph的不多，貌似ceph也很有前景，特別是和openstack綁到了一起

摘自網(wǎng)絡(luò)上的一個(gè)專家的博客：



國內(nèi)玩ceph的人很少，我自己還沒測試過。不過這個(gè)東西，一直都聽說。

知道Ceph，是因?yàn)樗�可以�?shí)現(xiàn)亞馬遜的EBS類似的功能。不過他還可以替代swift，有對(duì)象存儲(chǔ)的功能。

現(xiàn)在到底是統(tǒng)一存儲(chǔ)，還是分別不同的軟件完成不同的工作，這是由爭議的。

重要有人把ceph變成產(chǎn)品，這是非常不容易的事情。

http://www.meetup.com/OpenStack-LA/events/60615382/

Openstack有了ceph，會(huì)變得更加完美。尤其是對(duì)于私有云的用戶，或者企業(yè)的應(yīng)用，應(yīng)該是更加合適。

patagonia

另外一篇報(bào)道：

ceph作為OpenStack的后端存儲(chǔ)解決方案
Piston Cloud Computing公司介紹

Piston Cloud Computing,inc 是一間建立于2011年的軟件公司。主要?jiǎng)?chuàng)始人原來都是OpenStack的創(chuàng)建者，包括前NASA、Rackspace的員工。它們的主要產(chǎn)品是“Piston Enterprise OS”,是一款集成OpenStack,并用于大規(guī)模擴(kuò)展的私有云操作系統(tǒng)。這款產(chǎn)品的特點(diǎn)是高安全性、高定制化。在它們的產(chǎn)品介紹中,管理員使用一個(gè)U盤(裝有Piston Enterprise OS)，10分鐘就能在一個(gè)機(jī)架上安裝好私有云。

Ceph Lord

在2012年2月2日，DreamHost和Piston Cloud舉辦了2012年第二次”SFBay OpenStack”活動(dòng)，主題是”Ceph Lords“。

第一個(gè)報(bào)告是由DreamHost的Ben Cherian, Tommi Virtanen and Carl Perry演講，他們介紹了 Ceph and DreamHost的對(duì)象存儲(chǔ)服務(wù)的部署。

第二個(gè)報(bào)告是由Piston Cloud的CTO Christopher MacGown做的演講，他介紹了使用Ceph作OpenStack的塊設(shè)備存儲(chǔ)解決方案。

他的報(bào)告有幾個(gè)要點(diǎn)：
1、shared storage的重要性。
2、storage and computation close to each other。
3、SAN和NAS的缺點(diǎn)(價(jià)格高、數(shù)據(jù)與計(jì)算分離、擴(kuò)展性差、帶寬有限制)。
4、ClusterFS作為塊設(shè)備存儲(chǔ)的缺點(diǎn)(不在kernel、使用fuse，速度慢)。
5、塊設(shè)備存儲(chǔ)解決方案必備條件(線性擴(kuò)展、自動(dòng)化)。
6、ceph的優(yōu)點(diǎn)(在主線kernel中、client運(yùn)行在內(nèi)核態(tài)、支持普通硬件、線性擴(kuò)展)。
7、Piston Cloud如何使用Ceph作為后端存儲(chǔ)解決方案。
在Linux3.2.1上運(yùn)行ceph 0.39,btrfs
使用RBD
自動(dòng)配置ceph，自動(dòng)增加節(jié)點(diǎn)到ceph cluster
配置host的RBD，然nova instance使用local volumes
使用nova volume rbd driver
8、不足之處
ceph在ext4上有一些問題
使用btrfs，但是btrfs在3.x之前的內(nèi)核上都不夠好

tjpm

Lustre主要是用在HPC行業(yè)內(nèi)做共享存儲(chǔ)，國內(nèi)外大的超算中心大都是使用的Lustre的。配置維護(hù)比較麻煩，不是太適合一般的企業(yè)使用。

在超算行業(yè)里，目前Lustre算是久經(jīng)考驗(yàn)并且大規(guī)模使用的文件系統(tǒng)了。

薄餅芥末

milujite 發(fā)表于 2013-03-06 10:59
另外不得不吐槽下，LUSTRE新版本目前怎么下載到？

http://downloads.whamcloud.com/public/lustre/

milujite

薄餅芥末 發(fā)表于 2013-03-25 18:21
http://downloads.whamcloud.com/public/lustre/

好人啊～官方太坑了

wang290

chenyx 發(fā)表于 2013-03-11 10:24
這個(gè)太詳細(xì)了,果斷收藏備用.

謝謝版大的收藏