如何規(guī)劃部署網(wǎng)站的文件服務(wù)器？交流送好禮！（獲獎(jiǎng)名單已公布�。�

coralzd

Purple_Grape 發(fā)表于 2012-09-14 15:45
NFS很平庸，沒(méi)分布式那么花哨，但部署維護(hù)簡(jiǎn)單，用硬盤(pán)和緩存系統(tǒng)來(lái)擴(kuò)展，中小企業(yè)夠用了。

用分布式的都 ...

也不是說(shuō)有錢(qián)才能玩分布式，中小企業(yè)也可以玩分布式滴，分布式?jīng)]有門(mén)檻。

feiyueheu

好熱鬧啊，自己沒(méi)喲部署過(guò)文件系統(tǒng)，來(lái)學(xué)習(xí)啊。只是很多新技術(shù)都沒(méi)有聽(tīng)說(shuō)過(guò)。汗

linux_shell

    glusterfs 我們?cè)谝粋�(gè)節(jié)點(diǎn)上測(cè)試過(guò)，DELL r610 的，近200T 容量。小文件（16k以內(nèi)）寫(xiě)在3.5M左右，讀10M左右。300M 400M 500M 800M 1G 這種大文件做stripe模式的話讀在270M 左右， replicate 模式在117M 左右。最后我們先上使用的是distributed+replicated分布式模式。主要存儲(chǔ)視頻大文件。ps  ：gfs對(duì)網(wǎng)絡(luò)要求很高，測(cè)試時(shí)網(wǎng)通機(jī)房的內(nèi)網(wǎng)貌似不穩(wěn)定socket通訊經(jīng)常失敗，導(dǎo)致多次重聯(lián)。建議內(nèi)網(wǎng)全部千兆線（至少H3C 交換機(jī)）。非常不適合web文件和小文件存儲(chǔ)，當(dāng)然你pv不高就幾百萬(wàn)，淘汰nfs還是可行的。

linux_shell

余大的 fdfs存儲(chǔ)小圖片非常適合，性能也非常不錯(cuò)。之前我公司業(yè)務(wù)主要做搜索引擎和爬蟲(chóng)圖片搜索，日采集入庫(kù)圖片5千萬(wàn)張+都是用的余大的FastDFS，相當(dāng)贊，比mfs glusterfs架構(gòu)模式確實(shí)好很多。話說(shuō)fdfs 在V4版本如果支持大文件存儲(chǔ)的話，就更贊了，哈哈

frogoscar

Hadoop雖然是Java寫(xiě)的，但是性能還不錯(cuò)誒。
還可以配合Symfony什么的)

fengjihu

回復(fù) 53# linux_shell

gfs這個(gè)存儲(chǔ)視頻的話，比如1G-2G的視頻寫(xiě)的速度也是在3.5/s嗎？讀能打到270M？這個(gè)是親測(cè)嗎？還有一個(gè)問(wèn)題要問(wèn)一下大家，如果即有大量的圖片，又有大量的視頻文件（一般1G-2G，有30%4G-6G的）這樣的話想上分布式的話是不是要用兩種分布式文件系統(tǒng)（條件允許的話）？如果想權(quán)衡一下，用一種，那最好是哪一種？
   

linux_shell

回復(fù) 57# fengjihu


    不是說(shuō)了么，小文件在3.5M/S  大文件問(wèn)讀都是 100多M/S。 寫(xiě)在50-70之間。 GFS越大越無(wú)壓力，哈哈。 不適合做圖片小文件存儲(chǔ)

   你想讀在200多M/S的話 只能是單sprite模式，也就是類似“raid0” ，這樣數(shù)據(jù)是沒(méi)有冗余的，自己權(quán)衡吧。

happy_fish100

linux_shell 發(fā)表于 2012-09-15 23:29
余大的 fdfs存儲(chǔ)小圖片非常適合，性能也非常不錯(cuò)。之前我公司業(yè)務(wù)主要做搜索引擎和爬蟲(chóng)圖片搜索，日采集入庫(kù) ...

大文件存儲(chǔ)優(yōu)化，主流做法就是分塊存儲(chǔ)吧，比如對(duì)大文件按64MB分塊存儲(chǔ)。
FastDFS本身是不需要文件索引的，可以根據(jù)文件ID直接定位到文件系統(tǒng)中的文件。
要對(duì)大文件分塊存儲(chǔ)，就會(huì)保存文件索引信息，勢(shì)必對(duì)FastDFS架構(gòu)造成非常大的調(diào)整。
因此FastDFS近期不考慮對(duì)大文件進(jìn)行特殊支持。

happy_fish100

我一直堅(jiān)持這個(gè)觀點(diǎn)：對(duì)于互聯(lián)網(wǎng)應(yīng)用，用通用文件系統(tǒng)，如mooseFS，clusterFS等，太廢紙，也就是性價(jià)比不高。
互聯(lián)網(wǎng)應(yīng)用使用專用文件系統(tǒng)，更合適一些。

大文件分塊這個(gè)特性，也是看你的應(yīng)用場(chǎng)合的。比如HDFS，它的定位就是分布式計(jì)算，因此HDFS支持文件分塊，是天經(jīng)地義、順理成章的事情。
如果你最大的文件也就100多MB，采用文件分塊特性，就是自尋煩惱。
總結(jié)為一句話：只選擇合適的系統(tǒng)。用個(gè)醫(yī)學(xué)上的術(shù)語(yǔ)：對(duì)癥下猛藥！

T-Bagwell

比較贊同余總的說(shuō)法

不過(guò)glusterfs其實(shí)還是有很多優(yōu)勢(shì)的
統(tǒng)一空間，內(nèi)容統(tǒng)一管理，就像使用本地磁盤(pán)一樣方便，大大節(jié)省了應(yīng)用開(kāi)發(fā)的時(shí)間
降低了應(yīng)用部分的難度

至于說(shuō)glusterfs不支持小文，其實(shí)可以考慮組合使用，還是不錯(cuò)的
比如大文件存儲(chǔ)在gluster里，小文件單做一個(gè)其他的小文件系統(tǒng)有優(yōu)勢(shì)的文件系統(tǒng)上面，這樣的話就會(huì)方便很多


擴(kuò)容方面，glusterfs目前還不是很帥，做起來(lái)比較齷齪，尤其是在reblance的時(shí)候，非常耗時(shí)
如果用infiniband網(wǎng)也許好些，用tcp就太遜色了，如果每個(gè)節(jié)點(diǎn)上再搞個(gè)客戶端，非常蛋疼，網(wǎng)絡(luò)流量對(duì)穿導(dǎo)致整個(gè)內(nèi)部流量非常大，大到想死


目前gluserfs還在進(jìn)一步的開(kāi)發(fā)中，還有很多比較有建設(shè)性的東西的

glusterfs的開(kāi)發(fā)非常方便，加一個(gè)自己的模塊也很方便，都是xlator管理的，挺爽的
而且都是posix接口，就像正常使用本地pc一樣使用就可以了
只不過(guò)有些操作太耗時(shí)了，比如readdir