如何規(guī)劃部署網(wǎng)站的文件服務(wù)器？交流送好禮�。ǐ@獎名單已公布�。�

send_linux

獲獎名單已公布，詳情請看： http://72891.cn/thread-3775410-1-1.html

話題背景：
隨著代碼及圖片（特別是圖片）的不斷增多，NFS文件服務(wù)器壓力越來越大，NFS主備的方案可能在網(wǎng)站后期就頂不住壓力了，這個時候，很多高級系統(tǒng)管理員/系統(tǒng)架構(gòu)師會考慮用Nginx/Varnish作為文件緩存來緩解文件服務(wù)器壓力，這確實也是一種解決問題的思路；但現(xiàn)在分布式文件系統(tǒng)越來越流行和成熟，大家有沒有想過用MooseFS或GlusterFS來解決這個問題呢，如果你是作為公司的系統(tǒng)架構(gòu)師/系統(tǒng)管理員，你會考慮用哪種方案來部署你的文件服務(wù)器，是用NFS+DRBD雙機(jī)，還是MooseFS,亦或是GlusterFS?

本期話題：
1.結(jié)合網(wǎng)站當(dāng)前情況，如何規(guī)劃文件系統(tǒng)部署。
2.NFS作為文件服務(wù)器的優(yōu)缺點。
3.MooseFS或GlusterFS的優(yōu)缺點。

本期嘉賓：
余慶（happyfish100）  FastDFS文件系作者
劉晗昭（wenzizone） 高級系統(tǒng)架構(gòu)師
胡安偉（king_819） 金游數(shù)據(jù)運維主管
崔曉輝（ coralzd ） 大眾網(wǎng)高級系統(tǒng)管理員
劉鑫   高級系統(tǒng)運維工程師
余洪春（yuhongchun） 資深項目實施工程師、系統(tǒng)架構(gòu)師


獎項設(shè)置：
最佳案例分享獎：3名，獎勵CU毛衣/毛坎肩一件
最佳交流獎：3名，獎勵《CDN技術(shù)詳解》圖書一本
其他所有參與，且回復(fù)有效的用戶均可以獲得CU積分20分


ChinaUnix定制毛衣

Gray1982

1.當(dāng)前情況考慮下，也考慮下將來幾年的擴(kuò)展嘛
2.NFS的V4版本還是可以的，但它的各種IO在需要很大的情況還不太好
3.MFS看情況吧，文件大小多少需要不同的內(nèi)存，而且雖然說單點可以解決，不太建議用DRBD，一是有點麻煩，二是占用的網(wǎng)絡(luò)IO也不少。

coralzd

大多數(shù)的網(wǎng)站都在用linux，linux內(nèi)存管理優(yōu)秀，有cache機(jī)制，可以將大多數(shù)頻繁訪問的文件放入內(nèi)存，絕大部分避免了從共享存儲讀取的機(jī)會，所以就要求共享存儲方面的冗余機(jī)制要好，畢竟多年積攢的文件，不能全丟了吧。

linux_shell

    glusterfs 我們在一個節(jié)點上測試過，DELL r610 的，近200T 容量。小文件（16k以內(nèi)）寫在3.5M左右，讀10M左右。300M 400M 500M 800M 1G 這種大文件做stripe模式的話讀在270M 左右， replicate 模式在117M 左右。最后我們先上使用的是distributed+replicated分布式模式。主要存儲視頻大文件。ps  ：gfs對網(wǎng)絡(luò)要求很高，測試時網(wǎng)通機(jī)房的內(nèi)網(wǎng)貌似不穩(wěn)定socket通訊經(jīng)常失敗，導(dǎo)致多次重聯(lián)。建議內(nèi)網(wǎng)全部千兆線（至少H3C 交換機(jī)）。非常不適合web文件和小文件存儲，當(dāng)然你pv不高就幾百萬，淘汰nfs還是可行的。

T-Bagwell

比較贊同余總的說法

不過glusterfs其實還是有很多優(yōu)勢的
統(tǒng)一空間，內(nèi)容統(tǒng)一管理，就像使用本地磁盤一樣方便，大大節(jié)省了應(yīng)用開發(fā)的時間
降低了應(yīng)用部分的難度

至于說glusterfs不支持小文，其實可以考慮組合使用，還是不錯的
比如大文件存儲在gluster里，小文件單做一個其他的小文件系統(tǒng)有優(yōu)勢的文件系統(tǒng)上面，這樣的話就會方便很多


擴(kuò)容方面，glusterfs目前還不是很帥，做起來比較齷齪，尤其是在reblance的時候，非常耗時
如果用infiniband網(wǎng)也許好些，用tcp就太遜色了，如果每個節(jié)點上再搞個客戶端，非常蛋疼，網(wǎng)絡(luò)流量對穿導(dǎo)致整個內(nèi)部流量非常大，大到想死


目前gluserfs還在進(jìn)一步的開發(fā)中，還有很多比較有建設(shè)性的東西的

glusterfs的開發(fā)非常方便，加一個自己的模塊也很方便，都是xlator管理的，挺爽的
而且都是posix接口，就像正常使用本地pc一樣使用就可以了
只不過有些操作太耗時了，比如readdir

村口小賣部老王

moosefs  的IO很讓我蛋疼，加入新的存儲節(jié)點會自動將文件復(fù)制到新節(jié)點，操作還可以，可以直接mfsmount，
不想fastdfs那樣需要api，還有文件名可以放進(jìn)去，
而fastdfs則返回一個經(jīng)過計算后的文件名，這樣遷移文件不太好用，不過fastdfs 的效率遠(yuǎn)非moosefs可以比，
現(xiàn)在用fastdfs來做web存儲，moosefs 來做日志和文件備份
nfs現(xiàn)在也在用，只不過不是用在核心上，網(wǎng)絡(luò)有故障，會帶上CPU，load的飆升，
上張moosefs的圖

yuanzh78

本來想用fdfs的，簡單好用
上面意思hadoop名氣大，用了好吹，就只好用hadoop

yuanzh78

地主啊 ，給兩萬分吧 ，衣服就不要了

laputa73

小系統(tǒng)還是考慮ngnix/squid吧。安裝簡單，有緩存。
NFS的好處就是方便，可以fopen, 但是消耗太大了。不適合劣質(zhì)網(wǎng)絡(luò)。
分布式文件系統(tǒng)很有吸引力，但是不知道那個好。而且機(jī)器少了還沒優(yōu)勢吧

xdsnet

其實還有一個方案就是利用諸如mongodb支持的GFS模式來提供分布式存儲方案，這樣數(shù)據(jù)庫和文件的分布式一起解決。