亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標(biāo)題: mfs(mooseFS)文件系統(tǒng) [打印本頁(yè)]

作者: ltgzs777    時(shí)間: 2010-01-13 17:52
標(biāo)題: mfs(mooseFS)文件系統(tǒng)
對(duì)于mfs文件系統(tǒng)也用了半年了,確實(shí)不錯(cuò),最近又翻譯了作者的三篇文章,再此一同發(fā)上,希望對(duì)大家有所幫助。不足之處還請(qǐng)指出,以便完善,謝謝!

感謝網(wǎng)友nonamexz做了精美的pdf文檔 MFS文件系統(tǒng)使用手冊(cè).pdf (453.19 KB, 下載次數(shù): 5904) 。

MFS文件系統(tǒng)
官方的網(wǎng)絡(luò)示意圖是這樣的:


MFS文件系統(tǒng)結(jié)構(gòu):
包含4種角色:  
        管理服務(wù)器managing server (master)
        元數(shù)據(jù)日志服務(wù)器Metalogger server(Metalogger)
        數(shù)據(jù)存儲(chǔ)服務(wù)器data servers (chunkservers)  
        客戶(hù)機(jī)掛載使用client computers  

4種角色作用:
        管理服務(wù)器:負(fù)責(zé)各個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器的管理,文件讀寫(xiě)調(diào)度,文件空間回收以及恢復(fù).多節(jié)點(diǎn)拷貝
        元數(shù)據(jù)日志服務(wù)器: 負(fù)責(zé)備份master服務(wù)器的變化日志文件,文件類(lèi)型為changelog_ml.*.mfs,以便于在master server出問(wèn)題的時(shí)候接替其進(jìn)行工作
        數(shù)據(jù)存儲(chǔ)服務(wù)器:負(fù)責(zé)連接管理服務(wù)器,聽(tīng)從管理服務(wù)器調(diào)度,提供存儲(chǔ)空間,并為客戶(hù)提供數(shù)據(jù)傳輸.
        客戶(hù)端: 通過(guò)fuse內(nèi)核接口掛接遠(yuǎn)程管理服務(wù)器上所管理的數(shù)據(jù)存儲(chǔ)服務(wù)器,.看起來(lái)共享的文件系統(tǒng)和本地unix文件系統(tǒng)使用一樣的效果.



一個(gè)具體的實(shí)例
(一)、安裝和配置元數(shù)據(jù)服務(wù)(master server)
1、下載源代碼
http://ncu.dl.sourceforge.net/pr ... 1/mfs-1.6.11.tar.gz
2、tar zxvf mfs-1.6.11.tar.gz
3、創(chuàng)建用戶(hù) useradd mfs –s /sbin/nologin
4、./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs
5、make ; make install
6、配置
配置文件位于安裝目錄/usr/local/mfs/etc,需要的配置文件有兩個(gè):mfsmaster.cfg和 mfsexports.cfg,
mfsmaster.cfg是主配置文件,mfsexports.cfg是被掛接目錄及權(quán)限設(shè)置。
(1)、mfsmaster.cfg的配置
[root@nas etc]# cp mfsmaster.cfg.dist mfsmaster.cfg
[root@nas etc]# vi mfsmaster.cfg
# WORKING_USER = mfs
# WORKING_GROUP = mfs
# SYSLOG_IDENT = mfsmaster
# LOCK_MEMORY = 0
# NICE_LEVEL = -19
# EXPORTS_FILENAME = /usr/local/mfs/etc/mfsexports.cfg
# DATA_PATH = /usr/local/mfs/var/mfs
# BACK_LOGS = 50
# REPLICATIONS_DELAY_INIT = 300
# REPLICATIONS_DELAY_DISCONNECT = 3600
# MATOML_LISTEN_HOST = *
# MATOML_LISTEN_PORT = 9419
# MATOCS_LISTEN_HOST = *
# MATOCS_LISTEN_PORT = 9420
# MATOCU_LISTEN_HOST = *
# MATOCU_LISTEN_PORT = 9421
# CHUNKS_LOOP_TIME = 300
# CHUNKS_DEL_LIMIT = 100
# CHUNKS_WRITE_REP_LIMIT = 1
# CHUNKS_READ_REP_LIMIT = 5
# REJECT_OLD_CLIENTS = 0



需要注意的是,凡是用#注釋掉的變量均使用其默認(rèn)值,這里我解釋一下這些變量:

#WORKING_USER和WORKING_GROUP:是運(yùn)行master server的用戶(hù)和組;
#SYSLOG_IDENT:是master server在syslog中的標(biāo)識(shí),也就是說(shuō)明這是由master serve產(chǎn)生的;
#LOCK_MEMORY:是否執(zhí)行mlockall()以避免mfsmaster 進(jìn)程溢出(默認(rèn)為0);
#NICE_LEVE:運(yùn)行的優(yōu)先級(jí)(如果可以默認(rèn)是 -19; 注意: 進(jìn)程必須是用root啟動(dòng));
#EXPORTS_FILENAME:被掛接目錄及其權(quán)限控制文件的存放位置
#DATA_PATH:數(shù)據(jù)存放路徑,此目錄下大致有三類(lèi)文件,changelog,sessions和stats;
#BACK_LOGS:metadata的改變log文件數(shù)目(默認(rèn)是 50);
#REPLICATIONS_DELAY_INIT:延遲復(fù)制的時(shí)間(默認(rèn)是300s);
#REPLICATIONS_DELAY_DISCONNECT:chunkserver斷開(kāi)的復(fù)制延遲(默認(rèn)是3600);
# MATOML_LISTEN_HOST:metalogger監(jiān)聽(tīng)的IP地址(默認(rèn)是*,代表任何IP);
# MATOML_LISTEN_PORT:metalogger監(jiān)聽(tīng)的端口地址(默認(rèn)是9419);
# MATOCS_LISTEN_HOST:用于chunkserver連接的IP地址(默認(rèn)是*,代表任何IP);
# MATOCS_LISTEN_PORT:用于chunkserver連接的端口地址(默認(rèn)是9420);
# MATOCU_LISTEN_HOST:用于客戶(hù)端掛接連接的IP地址(默認(rèn)是*,代表任何IP);
# MATOCU_LISTEN_PORT:用于客戶(hù)端掛接連接的端口地址(默認(rèn)是9421);
# CHUNKS_LOOP_TIME :chunks的回環(huán)頻率(默認(rèn)是:300秒);
   注:原文為Chunks loop frequency in seconds (default is 300)
# CHUNKS_DEL_LIMIT :在一個(gè)loop設(shè)備中可以刪除chunks的最大數(shù) (默認(rèn):100)
#REPLICATIONS_DELAY_DISCONNECT chunkserver斷開(kāi)后的復(fù)制延時(shí)(默認(rèn):3600秒)
# CHUNKS_WRITE_REP_LIMIT:在一個(gè)循環(huán)里復(fù)制到一個(gè)chunkserver的最大chunk數(shù)目(默認(rèn)是1)
# CHUNKS_READ_REP_LIMIT :在一個(gè)循環(huán)里從一個(gè)chunkserver復(fù)制的最大chunk數(shù)目(默認(rèn)是5)
# REJECT_OLD_CLIENTS:彈出低于1.6.0的客戶(hù)端掛接(0或1,默認(rèn)是0)
注意mfsexports訪(fǎng)問(wèn)控制對(duì)于那些老客戶(hù)是沒(méi)用的


以上是對(duì)master server的mfsmaster.cfg配置文件的解釋?zhuān)瑢?duì)于這個(gè)文件不需要做任何修改就可以工作。





(2)、mfsexports.cfg的配置
[root@nas etc]# vi mfsexports.cfg  

#*                      /       ro
#192.168.1.0/24         /       rw
#192.168.1.0/24         /       rw,alldirs,maproot=0,password=passcode
#10.0.0.0-10.0.0.5      /test   rw,maproot=nobody,password=test
*                       .       rw
#*                      /       rw,alldirs,maproot=0

192.168.3.98            /tt     rw,alldirs,maproot=0
192.168.3.139           /       rw,alldirs,maproot=0
192.168.3.138           /       rw,alldirs,maproot=0,password=111111

該文件每一個(gè)條目分為三部分:
第一部分:客戶(hù)端的ip地址
第二部分:被掛接的目錄
第三部分:客戶(hù)端擁有的權(quán)限


地址可以指定的幾種表現(xiàn)形式:
       *                  所有的ip地址
       n.n.n.n             單個(gè)ip地址
       n.n.n.n/b           IP網(wǎng)絡(luò)地址/位數(shù)掩碼
       n.n.n.n/m.m.m.m     IP網(wǎng)絡(luò)地址/子網(wǎng)掩碼
       f.f.f.f-t.t.t.t     IP段

目錄部分需要注意兩點(diǎn):
/ 標(biāo)識(shí)MooseFS 根;
. 表示MFSMETA 文件系統(tǒng)

權(quán)限部分:
       ro  只讀模式共享
       rw  的方式共享
       alldirs  許掛載任何指定的子目錄
       maproot   映射為root,還是指定的用戶(hù)
        password  指定客戶(hù)端密碼

7、啟動(dòng)master server
master server可以單獨(dú)啟動(dòng)(所謂單獨(dú)啟動(dòng)就是在沒(méi)有數(shù)據(jù)存儲(chǔ)服務(wù)器(chunkserver)的時(shí)候也可以啟動(dòng),但是不能存儲(chǔ),chunkserver啟動(dòng)后會(huì)自動(dòng)的加入)。安裝配置完MFS后,即可啟動(dòng)它。
執(zhí)行命令 /usr/local/mfs/sbin/mfsmaster start ,可通過(guò)檢查如下:
[root@nas etc]# ps -ef|grep mfs
mfs      12327     1  0 08:38 ?        00:00:00 /usr/local/mfs/sbin/mfsmaster start
8、停止master server
安全停止master server是非常必要的,最好不要用kill。利用mfsmaster –s來(lái)安全停止master serve,一旦是用了kill也是有解決方法的,后文有說(shuō)明。
9、要經(jīng)常性的查看系統(tǒng)日志(tail -f /var/log/messages)
(二)、安裝和配置元數(shù)據(jù)日志服務(wù)器(metalogger)
1、下載源碼
http://ncu.dl.sourceforge.net/pr ... 1/mfs-1.6.11.tar.gz
2、tar zxvf mfs-1.6.11.tar.gz
3、創(chuàng)建用戶(hù) useradd mfs –s /sbin/nologin
4、./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs
5、make ; make install
6、配置
該服務(wù)只有一個(gè)配置文件,那就是mfsmetalogger.cfg。
[root@mail etc]# vi mfsmetalogger.cfg
# WORKING_USER = mfs
# WORKING_GROUP = mfs
# SYSLOG_IDENT = mfsmetalogger
# LOCK_MEMORY = 0
# NICE_LEVEL = -19
# DATA_PATH = /usr/local/mfs/var/mfs
# BACK_LOGS = 50
# META_DOWNLOAD_FREQ = 24
# MASTER_RECONNECTION_DELAY = 5
MASTER_HOST = 192.168.3.34
# MASTER_PORT = 9419
# MASTER_TIMEOUT = 60
# deprecated, to be removed in MooseFS 1.7
# LOCK_FILE = /var/run/mfs/mfsmetalogger.lock


文中的大多數(shù)變量不難理解,類(lèi)似于mfsmaster.cfg中的變量,其中:
META_DOWNLOAD_FREQ需要說(shuō)明一下:
元數(shù)據(jù)備份文件下載請(qǐng)求頻率。默認(rèn)為24小時(shí),即每隔一天從元數(shù)據(jù)服務(wù)器(MASTER)下載一個(gè)metadata.mfs.back文件。當(dāng)元數(shù)據(jù)服務(wù)器關(guān)閉或者出故障時(shí),matedata.mfs.back文件將消失,那么要恢復(fù)整個(gè)mfs,則需從metalogger服務(wù)器取得該文件。請(qǐng)?zhí)貏e注意這個(gè)文件,它與日志文件一起,才能夠恢復(fù)整個(gè)被損壞的分布式文件系統(tǒng)。
這個(gè)文件中需要修改的是MASTER_HOST變量,這個(gè)變量的值是master server的IP地址。
7、啟動(dòng)metalogger服務(wù)
[root@mail sbin]# ./mfsmetalogger start
working directory: /usr/local/mfs/var/mfs
lockfile created and locked
initializing mfsmetalogger modules ...
mfsmetalogger daemon initialized properly
這說(shuō)明metalogger服務(wù)正常啟動(dòng)了。利用命令檢查:
通過(guò)進(jìn)程:
[root@mail sbin]# ps -ef |grep mfs
mfs      12254     1  0 15:25 ?        00:00:00 ./mfschunkserver start
通過(guò)檢查端口:
[root@mail sbin]# lsof -i:9419
COMMAND     PID USER   FD   TYPE  DEVICE SIZE NODE NAME
mfsmetalo 12292  mfs    7u  IPv4 1395372       TCP mail.tt.com:52456->192.168.3.34:9419 (ESTABLISHED)
查看日志服務(wù)器的工作目錄
[root@mail mfs]# pwd
/usr/local/mfs/var/mfs
[root@mail mfs]# ll
total 8
-rw-r----- 1 mfs mfs 249 Jan 13 15:39 changelog_ml.1.mfs
-rw-r----- 1 mfs mfs 519 Jan 13 15:40 sessions_ml.mfs

這是運(yùn)行18小時(shí)后:
[root@mail mfs]# ll
total 1808
-rw-r----- 1 mfs mfs      0 Jan 14 08:40 changelog_ml.0.mfs
-rw-r----- 1 mfs mfs   4692 Jan 13 23:39 changelog_ml.10.mfs
-rw-r----- 1 mfs mfs   4692 Jan 13 22:39 changelog_ml.11.mfs
-rw-r----- 1 mfs mfs   4692 Jan 13 21:39 changelog_ml.12.mfs
-rw-r----- 1 mfs mfs   4692 Jan 13 20:39 changelog_ml.13.mfs
-rw-r----- 1 mfs mfs   4692 Jan 13 19:39 changelog_ml.14.mfs
-rw-r----- 1 mfs mfs   4692 Jan 13 18:39 changelog_ml.15.mfs
-rw-r----- 1 mfs mfs   4692 Jan 13 17:39 changelog_ml.16.mfs
-rw-r----- 1 mfs mfs   4722 Jan 13 16:39 changelog_ml.17.mfs
-rw-r----- 1 mfs mfs    249 Jan 13 15:39 changelog_ml.18.mfs
-rw-r----- 1 mfs mfs   4692 Jan 14 08:39 changelog_ml.1.mfs
-rw-r----- 1 mfs mfs   4692 Jan 14 07:39 changelog_ml.2.mfs
-rw-r----- 1 mfs mfs   4692 Jan 14 06:39 changelog_ml.3.mfs
-rw-r----- 1 mfs mfs   4692 Jan 14 05:39 changelog_ml.4.mfs
-rw-r----- 1 mfs mfs   4692 Jan 14 04:39 changelog_ml.5.mfs
-rw-r----- 1 mfs mfs   4692 Jan 14 03:39 changelog_ml.6.mfs
-rw-r----- 1 mfs mfs   4692 Jan 14 02:39 changelog_ml.7.mfs
-rw-r----- 1 mfs mfs   4692 Jan 14 01:39 changelog_ml.8.mfs
-rw-r----- 1 mfs mfs   4692 Jan 14 00:39 changelog_ml.9.mfs
-rw-r----- 1 mfs mfs 915016 Jan 14 09:00 csstats.mfs
-rw-r----- 1 mfs mfs 777640 Jan 14 08:10 metadata_ml.mfs.back
-rw-r----- 1 mfs mfs    519 Jan 14 09:16 sessions_ml.mfs

8、停止metalogger服務(wù)
[root@mail sbin]# ./mfsmetalogger -s
working directory: /usr/local/mfs/var/mfs
sending SIGTERM to lock owner (pid:12284)
waiting for termination ... terminated

9、如果沒(méi)有啟動(dòng)metalogger服務(wù)
    在master server則會(huì)有如下提示信息產(chǎn)生:
   
    tail -f /var/log/messages
    Dec 30 16:53:00 nas mfsmaster[14291]: no meta loggers connected !!!

(三)、安裝配置數(shù)據(jù)存儲(chǔ)服務(wù)器(chunkserver)
1、下載源代碼
http://ncu.dl.sourceforge.net/pr ... 1/mfs-1.6.11.tar.gz
2、tar zxvf mfs-1.6.11.tar.gz
3、創(chuàng)建用戶(hù) useradd mfs –s /sbin/nologin
4、./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs
5、make ; make install
6、配置
配置文件位于安裝目錄/usr/local/mfs/etc,需要的配置文件有兩個(gè):mfschunkserver.cfg和 mfshdd.cfg,
mfschunkserver.cf是主配置文件,mfshdd.cfg是服務(wù)器用來(lái)分配給 MFS使用的空間,最好是一個(gè)單獨(dú)的硬盤(pán)或者一個(gè)raid卷,最低要求是一個(gè)分區(qū)。
(1)、mfschunkserver.cfg的配置
[root@mail etc]# vi mfschunkserver.cfg

# WORKING_USER = mfs
# WORKING_GROUP = mfs

# DATA_PATH = /usr/local/mfs/var/mfs
# LOCK_FILE = /var/run/mfs/mfschunkserver.pid
# SYSLOG_IDENT = mfschunkserver

# BACK_LOGS = 50

# MASTER_RECONNECTION_DELAY = 30

MASTER_HOST = 192.168.3.34
MASTER_PORT = 9420

# MASTER_TIMEOUT = 60

# CSSERV_LISTEN_HOST = *
# CSSERV_LISTEN_PORT = 9422

# CSSERV_TIMEOUT = 60

# CSTOCS_TIMEOUT = 60

# HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg


文中的大多數(shù)變量不難理解,類(lèi)似于mfsmaster.cfg中的變量,
其中:  
MASTER_HOST: 元數(shù)據(jù)服務(wù)器的名稱(chēng)或地址,可以是主機(jī)名,也可以是ip地址
        CSSERV_LISTEN_PORT :這個(gè)監(jiān)聽(tīng)端口用于與其它數(shù)據(jù)存儲(chǔ)服務(wù)器間的連接,通常是數(shù)據(jù)復(fù)制。
HDD_CONF_FILENAME: 分配給MFS使用的磁盤(pán)空間配置文件的位置。


(2)、mfshdd.cfg的配置

[root@mail etc]# more mfshdd.cfg
/data


在這里/data是一個(gè)給mfs的分區(qū),但在本機(jī)上是一個(gè)獨(dú)立的磁盤(pán)的掛載目錄,用 chown –R mfs:mfs /data 把屬主改變?yōu)閙fs。

7、啟動(dòng)mfschunkserver  
執(zhí)行命令 /usr/local/mfs/sbin/mfschunkserver start ,如果沒(méi)有意外,mfschunkserver 就應(yīng)該作為一個(gè)守護(hù)進(jìn)程運(yùn)行起來(lái)。是否啟動(dòng),檢查如下:
[root@nas etc]# ps -ef|grep mfs
mfs      12327     1  0 08:38 ?        00:00:00 /usr/local/mfs/sbin/ mfschunkserver start
8、停止mfschunkserver
停止mfschunkserver,利用mfschunkserver–s來(lái)安全停止mfschunkserver。

(四)、MFS客戶(hù)端的安裝及配置
由于MFS客戶(hù)端依賴(lài)于fuse,所以要先安裝fuse。
1、        fuse的安裝
(1)、解包 tar zxvf fuse-2.8.1.tar.gz
(2)、./configure
(3)、make;make install
如果所在的系統(tǒng)已經(jīng)安裝了fuse,則跳過(guò)這個(gè)步驟,高版本的Linux內(nèi)核已經(jīng)支持了。
2、        安裝MFS客戶(hù)端
(1)、下載源代碼
http://ncu.dl.sourceforge.net/pr ... 1/mfs-1.6.11.tar.gz
(2)、tar zxvf mfs-1.6.11.tar.gz
(3)、創(chuàng)建用戶(hù) useradd mfs –s /sbin/nologin
(4)、./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs –enable-mfsmount
       說(shuō)明:在這個(gè)過(guò)程中,當(dāng)執(zhí)行到–enable-mfsmount時(shí)可能出現(xiàn)”checking for FUSE… no  configure: error: mfsmount build was forced, but fuse development package is not installed”這樣的錯(cuò)誤,

........
checking for FUSE... no
******************************** mfsmount disabled ********************************
* fuse library is too old or not installed - mfsmount needs version 2.6 or higher *
***********************************************************************************
......

而不能正確安裝MFS客戶(hù)端程序,這是因?yàn)榄h(huán)境變量沒(méi)有設(shè)置,先編輯/etc/profile在此文件中加入如下條目:
export  PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
然后再利用source命令 /etc/profile使修改生效:source /etc/profile即可,也可直接在命令行中直接執(zhí)行:
       export  PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
(5)、make ; make install
3、掛接MFS文件系統(tǒng)
(1)、創(chuàng)建掛接點(diǎn) mkdir /mnt/mfs
(2)、加載fuse模塊到內(nèi)核:modprobe fuse
(3)、掛接MFS
/usr/local/mfs/bin/mfsmount  /mnt/mfs –H 192.168.3.34 –p
然后在輸入密碼就可以了
特別需要注意的是,所有的MFS都是掛接同一個(gè)元數(shù)據(jù)服務(wù)器master的IP,而不是其他數(shù)據(jù)存儲(chǔ)服務(wù)器chunkserver的IP。
4、掛接MFSMETA文件系統(tǒng)
(1)、創(chuàng)建掛接點(diǎn) mkdir /mnt/mfsmeta
(2)、掛接MFSMETA
/usr/local/mfs-old/bin/mfsmount -m /mnt/mfsmeta/  -H 192.168.3.34
(3)、查看目錄內(nèi)容
[root@www ~]# ls -R /mnt/mfsmeta
/mnt/mfsmeta:
reserved  trash

/mnt/mfsmeta/reserved:

/mnt/mfsmeta/trash:
0000015E|f181  undel

/mnt/mfsmeta/trash/undel:
5、查看掛載情況
通過(guò)df命令查看磁盤(pán)使用情況來(lái)檢查是否被掛接成功
root@bzd mfs]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                       73G   25G    45G      36%          /
/dev/sda1             99M   13M    82M      13%          /boot
none                  247M     0    247M     0%           /dev/shm
MFS                   45G   204M   45G      1%                   /mnt/mfs
MFSMETA              72K    72K     0        100%         /mnt/mfsmeta

利用mount命令查看:
[root@www ~]# mount
mfsmeta#192.168.3.34:9421 on /mnt/mfsmeta type fuse (rw,nosuid,nodev,allow_other,default_permissions)
mfs#192.168.3.34:9421 on /mnt/mfs type fuse (rw,nosuid,nodev,allow_other,default_permissions

(5)、卸載已掛接的文件系統(tǒng)
利用Linux系統(tǒng)的umount命令就可以了,例如:
[root@www ~]# umount /mnt/mfs


如果出現(xiàn)下列情況:
[root@www ~]# umount /mnt/mfs
umount: /mnt/mfs: device is busy
umount: /mnt/mfs: device is busy
則說(shuō)明客戶(hù)端本機(jī)有正在使用此文件系統(tǒng),可以查明是什么命令正在使用,然后推出就可以了,最好不要強(qiáng)制退出。


(五)、對(duì)mfscgiserv的使用
Mfscgiserv是用python編寫(xiě)的一個(gè)web服務(wù)器,它的監(jiān)聽(tīng)端口是9425,
可以利用:
       /usr/local/mfs/sbin/mfscgiserv來(lái)啟動(dòng),用戶(hù)利用瀏覽器就可全面監(jiān)控所有客戶(hù)掛接,chunkserver及master server,客戶(hù)端的各種操作等等,絕對(duì)是個(gè)好工具。
     在任何一臺(tái)裝有瀏覽器的機(jī)器上都可以查看:
                          http://192.168.3.34:9425




基本上就這些了。

[ 本帖最后由 ltgzs777 于 2010-1-22 14:42 編輯 ]

MFS文件系統(tǒng)使用手冊(cè).pdf

453.19 KB, 下載次數(shù): 1168

MFS文件系統(tǒng)使用手冊(cè).pdf


作者: ltgzs777    時(shí)間: 2010-01-13 17:54
標(biāo)題: mfs文件系統(tǒng)(二)
編譯和安裝

MooseFS部署的首選方法是從源代碼安裝
源代碼包安裝支持標(biāo)準(zhǔn)./configure && make && make install的步驟,重要的配置選項(xiàng)有:
--disable-mfsmaster –不創(chuàng)建成管理服務(wù)器(用于純節(jié)點(diǎn)的安裝)
--disable-mfschunkserver –不創(chuàng)建成數(shù)據(jù)存儲(chǔ)chunkserver服務(wù)器
--disable-mfsmount –不創(chuàng)建mfsmount和mfstools(如果用開(kāi)發(fā)包安裝,他們會(huì)被默認(rèn)創(chuàng)建的)
--enable-mfsmount –確定安裝mfsmount和mfstools(如果
--prefix=DIRECTORY –鎖定安裝目錄(默認(rèn)是/usr/local)
--sysconfdir=DIRECTORY –選擇配置文件目錄(默認(rèn)是${prefix}/etc))
--localstatedir=DIRECTORY –選擇變量數(shù)據(jù)目錄(默認(rèn)是${prefix}/var,MFS元數(shù)據(jù)被存儲(chǔ)在mfs的子目錄下,默認(rèn)是${prefix}/var/mfs )
--with-default-user  -運(yùn)行守護(hù)進(jìn)程的用戶(hù),如果配置文件中沒(méi)有設(shè)定用戶(hù),默認(rèn)為nobody用戶(hù)
--with-default-group=GROUP  運(yùn)行守護(hù)進(jìn)程的用戶(hù)組,如果配置文件中沒(méi)有設(shè)定用戶(hù)組,默認(rèn)為nogroup用戶(hù)組
例如用FHS(文件系統(tǒng)層次標(biāo)準(zhǔn))的兼容路徑在Linux上的安裝:
   ./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib

編譯安裝遵守標(biāo)準(zhǔn)的DESTDIR= variable,允許安裝包在臨時(shí)目錄(例如以創(chuàng)造二進(jìn)制包)。已經(jīng)存在的配置或這是元數(shù)據(jù)文件將會(huì)被覆蓋掉。

一、管理服務(wù)器(master)
作為管理服務(wù)器(master)是MooseFS部署中重要的一個(gè)元素,在硬件方面,應(yīng)該被安裝在一臺(tái)能夠保證高可靠性和能勝任的整個(gè)系統(tǒng)存取的要求的機(jī)器上。一個(gè)明智的做法是用一個(gè)配有冗余電源、ECC內(nèi)存、磁盤(pán)陣列,如RAID1/RAID5/RAID10。在操作系統(tǒng)方面,管理服務(wù)器的操作系統(tǒng)應(yīng)該是具有POSIX兼容的系統(tǒng)(到目前支持Linux, FreeBSD, Mac OS X and OpenSolaris)。
安裝管理服務(wù)器(master server)的過(guò)程:
1、安裝mfs-master
2、如果是從源碼安裝的話(huà),在configure時(shí)不要加--disable-mfsmaster選項(xiàng)。
3、創(chuàng)建運(yùn)行master的用戶(hù)(如果這樣的用戶(hù)不存在的話(huà))
4、確定存放元數(shù)據(jù)文件的目錄存在,而且能夠被運(yùn)行master的用戶(hù)可寫(xiě)(通過(guò)configure的選項(xiàng)來(lái)設(shè)置運(yùn)行master server的用戶(hù)和元數(shù)據(jù)存儲(chǔ)的路徑,make install命令的執(zhí)行要用root用戶(hù))
5、配置master server服務(wù)器是通過(guò)配置文件mfsmaster.cfg來(lái)做的,要特別注意的是TCP端口的使用
6、添加或創(chuàng)建(依賴(lài)于操作系統(tǒng)和發(fā)布版本)一組啟動(dòng)mfsmaster進(jìn)程的腳本
安裝完管理服務(wù)器后,便可以用mfsmaster命令來(lái)啟動(dòng)master server,如果用root用戶(hù)執(zhí)行mfsmaster命令,則在啟動(dòng)后轉(zhuǎn)為mfsmaster.cfg中指定的用戶(hù)來(lái)運(yùn)行,否則將以執(zhí)行mfsmaster命令的用戶(hù)來(lái)運(yùn)行master server。

二、元數(shù)據(jù)日志服務(wù)器

元數(shù)據(jù)日志守護(hù)進(jìn)程是在安裝master server時(shí)一同安裝的,最小的要求并不比master本身大,可以被運(yùn)行在任何機(jī)器上(例如任一臺(tái)chunkserver),但是最好是放置在MooseFS master的備份機(jī)上,備份master服務(wù)器的變化日志文件,文件類(lèi)型為changelog_ml.*.mfs。因?yàn)橹饕膍aster server一旦失效,可能就會(huì)將這臺(tái)metalogger機(jī)器取代而作為master server。
安裝管理進(jìn)程:
1、從源代碼安裝mfs-master,在執(zhí)行configure時(shí)不要帶有--disable-mfsmaste選項(xiàng)
2、創(chuàng)建有運(yùn)行mfsmetalogger服務(wù)權(quán)限運(yùn)行的用戶(hù)(如果這樣的用戶(hù)不存在的話(huà))
3、確定存放元數(shù)據(jù)文件的目錄存在,而且能夠被運(yùn)行mfsmetalogger服務(wù)的用戶(hù)可寫(xiě)(通過(guò)configure的選項(xiàng)來(lái)設(shè)置運(yùn)行mfsmetalogger服務(wù)的用戶(hù)和元數(shù)據(jù)存儲(chǔ)的路徑,make install命令的執(zhí)行要用root用戶(hù))
4、通過(guò)mfsmetalogger.cfg配置mfsmetalogger服務(wù),要特別注意的是TCP端口,這里要使用MASTER_PORT要必須和mfsmaster.cfg文件中的MATOML_LISTEN_PORT一致。
5、添加或創(chuàng)建(依賴(lài)于操作系統(tǒng)和發(fā)布版本)一組啟動(dòng)mfsmetalogger進(jìn)程的腳本
安裝完管理服務(wù)器后,便可以用mfsmetalogger命令來(lái)啟動(dòng)mfsmetalogger server,如果用root用戶(hù)執(zhí)行mfsmetalogger命令,則在啟動(dòng)后轉(zhuǎn)為mfsmetalogger.cfg中指定的用戶(hù)來(lái)運(yùn)行,否則將以執(zhí)行mfsmetalogger命令的用戶(hù)來(lái)運(yùn)行mfsmetalogger server。
三、數(shù)據(jù)服務(wù)器
安裝完管理服務(wù)器后,將安裝數(shù)據(jù)服務(wù)器(chunkservers),這些機(jī)器的磁盤(pán)上要有適當(dāng)?shù)氖S嗫臻g,而且操作系統(tǒng)要遵循POSIX標(biāo)準(zhǔn)(驗(yàn)證了的有這些:Linux, FreeBSD, Mac OS X and OpenSolaris)。Chunkserver在一個(gè)普通的文件系統(tǒng)上儲(chǔ)存數(shù)據(jù)塊/碎片(chunks/fragments)作為文件。
Linux:
creating:
dd if=/dev/zero of=file bs=100m seek=400 count=0
mkfs -t ext3 file
mounting:
mount -o loop file mount-point
FreeBSD:
creating and mounting:
dd if=/dev/zero of=file bs=100m count=400
mdconfig -a -t vnode -f file -u X
newfs -m0 -O2 /dev/mdX
mount /dev/mdX mount-point
mounting a previously created file system:
mdconfig -a -t vnode -f file -u X
mount /dev/mdX mount-point
Mac OS X:
Start "Disk Utility" from "/Applications/Utilities"
Select from menu "Images->New->Blank Image ..."
注: 每一個(gè)chunkserver的磁盤(pán)都要為增長(zhǎng)中的chunks保留些磁盤(pán)空間,從而達(dá)到創(chuàng)建新的chunk。只有磁盤(pán)都超過(guò)256M并且chunkservers報(bào)告自由空間超過(guò)1GB總量才可以被新的數(shù)據(jù)訪(fǎng)問(wèn)。最小的配置,應(yīng)該從幾個(gè)G字節(jié)的存儲(chǔ)。
安裝數(shù)據(jù)服務(wù)器 (chunkserver):
1、 把預(yù)先隔離的磁盤(pán)空間作為一個(gè)單獨(dú)的文件系統(tǒng),掛接在一個(gè)本地的目錄下(如:/mnt/hd1, /mnt/hd2等等);
2、安裝mfs-chunkserver
在執(zhí)行configure時(shí)要不帶--disable-mfschunkserver選項(xiàng),
3、創(chuàng)建有運(yùn)行chunkserver服務(wù)權(quán)限運(yùn)行的用戶(hù)(如果這樣的用戶(hù)不存在的話(huà))
4、并給予這個(gè)戶(hù)對(duì)整個(gè)MooseFS文件系統(tǒng)寫(xiě)的權(quán)限
5、利用mfschunkserver.cfg文件配置mfschunkserver服務(wù),特別要注意的是TCP端口(MASTER_PORT變量要和mfsmaster.cfg中MATOCS_LISTEN_PORT的值一樣)。
6、在mfshdd.conf文件中列出要用于MooseFS的掛載點(diǎn)
7、添加或創(chuàng)建(依賴(lài)于操作系統(tǒng)和發(fā)布版本)一組啟動(dòng)mfschunkserver進(jìn)程的腳本
注:
Mfschunkserver的本地ip很重要,Mfschunkserver用此ip和mfsmaster進(jìn)行連接,mfsmaster通過(guò)此ip和MFS客戶(hù)端連接(mfsmount),而且其它c(diǎn)hunkservers之間的通訊也是通過(guò)這個(gè)ip,因此這個(gè)ip必須是遠(yuǎn)程可訪(fǎng)問(wèn)的。因此mfsmaster的本地ip地址(MASTER_HOST)設(shè)置必須和chunkserver一樣,以便于正確的連接,通常的做法是mfsmaster,chunkservers和MFS客戶(hù)端在同一網(wǎng)段。一般的回環(huán)地址(localhost, 127.0.0.1)不能用于MASTER_HOST,它將使chunkserver無(wú)法被其她主機(jī)訪(fǎng)問(wèn)(這樣的配置只會(huì)是單機(jī)器的機(jī)器mfsmaster,mfschunkserver和mfsmount運(yùn)行)。
安裝完mfschunkserver后,便可以用mfschunkserver命令來(lái)啟動(dòng)mfschunkserver服務(wù)器,如果用root用戶(hù)執(zhí)行mfschunkserver命令,則在啟動(dòng)后轉(zhuǎn)為mfschunkserver.cfg中指定的用戶(hù)來(lái)運(yùn)行,否則將以執(zhí)行mfschunkserver命令的用戶(hù)來(lái)運(yùn)行mfschunkserver服務(wù)。




四、客戶(hù)端(mfsmount)
mfsmount需要FUSE才可以正常工作,F(xiàn)USE支持多種操作系統(tǒng):Linux, FreeBSD, OpenSolaris and MacOS X。
Linux一個(gè)內(nèi)核模塊的API版本至少必需是7.8的,這個(gè)可以用dmesg命令來(lái)檢測(cè),當(dāng)載入內(nèi)核模塊后,應(yīng)該能看到有一行fuse init (API version 7.8)。一些可用的fuse版本是2.6.0以上,Linux kernel 2.6.20(Linux內(nèi)核從2.6.20后加入了fuse)以上。由于一些小bug,因此比較新模塊被薦使用,如fuse 2.7.2 及 Linux 2.6.24(盡管fuse 2.7.x單獨(dú)沒(méi)有包含getattr/write race condition fix)。在FreeBSD系統(tǒng)上fusefs-kmod版本要0.3.9以上的才可以,在MacOS X Mac上 FUSE要10.5版本。
安裝MooseFS客戶(hù)端:
1、安裝mfs-client,從源代碼安裝,在進(jìn)行configure時(shí)不要加--disable-mfsmount選項(xiàng)就可以了
2、建立被MooseFS掛接的目錄,例如/mnt/mfs。
3、MooseFS用一下的命令掛接:
mfsmount [-h master] [-p port] [-l path] [-w mount-point]
-H MASTER:是管理服務(wù)器(master server)的ip地址
-P PORT: 是管理服務(wù)器(master server)的端口號(hào),要按照mfsmaster.cfg 配置文件中的變量MATOCU_LISTEN_POR的之填寫(xiě)。如果master serve使用的是默認(rèn)端口號(hào)則不用指出。
-S PATH:指出被掛接mfs目錄的子目錄,默認(rèn)是/目錄,就是掛載整個(gè)mfs目錄。
Mountpoint:是指先前創(chuàng)建的用來(lái)掛接mfs的目錄。

[ 本帖最后由 ltgzs777 于 2010-1-14 09:58 編輯 ]
作者: ltgzs777    時(shí)間: 2010-01-13 17:56
標(biāo)題: mfs文件系統(tǒng)(三)
使用  MooseFS
一、掛載文件系統(tǒng)
啟動(dòng)管理服務(wù)器(master server)和數(shù)據(jù)服務(wù)器(chunkservers) (chunkservers一個(gè)是必需的,但至少兩個(gè)推薦) 后,客戶(hù)機(jī)便可以利用mfsmount掛接mfs文件系統(tǒng)。
MooseFS文件系統(tǒng)利用下面的命令:
mfsmount mountpoint [-d] [-f] [-s] [-m] [-n] [-p] [-H MASTER] [-P PORT] [-S PATH] [-o OPT[,OPT...]]
-H MASTER:是管理服務(wù)器(master server)的ip地址
-P PORT: 是管理服務(wù)器(master server)的端口號(hào),要按照mfsmaster.cfg 配置文件中的變量MATOCU_LISTEN_POR的之填寫(xiě)。如果master serve使用的是默認(rèn)端口號(hào)則不用指出。
-S PATH:指出被掛接mfs目錄的子目錄,默認(rèn)是/目錄,就是掛載整個(gè)mfs目錄。
Mountpoint:是指先前創(chuàng)建的用來(lái)掛接mfs的目錄。
在開(kāi)始mfsmount進(jìn)程時(shí),用一個(gè)-m或-o mfsmeta的選項(xiàng),這樣可以?huà)旖右粋(gè)輔助的文件系統(tǒng)MFSMETA,這么做的目的是對(duì)于意外的從MooseFS卷上刪除文件或者是為了釋放磁盤(pán)空間而移動(dòng)的文件而又此文件又過(guò)去了垃圾文件存放期的恢復(fù),例如:
mfsmount -m /mnt/mfsmeta
需要注意的是,如果要決定掛載mfsmeta,那么一定要在mfsmaster的mfsexports.cfg文件中加入如下條目:
*                       .       rw

原文件中有此條目,只要將其前的#去掉就可以了。
基本操作
掛載文件系統(tǒng)后就可以執(zhí)行所有的標(biāo)準(zhǔn)的文件操作了(如創(chuàng)建,拷貝,刪除,重命名文件,等等)。MooseFS是一個(gè)網(wǎng)絡(luò)文件系統(tǒng),因此操作進(jìn)度可能比本地系統(tǒng)要慢。
MooseFS卷的剩余空間檢查可以用和本地文件系統(tǒng)同樣的方法,例如df命令:
$ df -h | grep mfs
mfsmaster:9421         85T   80T  4.9T  95% /mnt/mfs
mfsmaster:9321        394G  244G  151G  62% /mnt/mfs-test
重要的是每一個(gè)文件可以被儲(chǔ)存多個(gè)副本,在這種情況下,每一個(gè)文件所占用的空間要比其文件本身大多了。此外,被刪除且在有效期內(nèi)(trashtime)的文件都放在一個(gè)“垃圾箱”,所以他們也占用的空間,其大小也依賴(lài)文件的份數(shù)。就像其他Unix的文件系統(tǒng)一樣,以防刪除一個(gè)被其它進(jìn)程打開(kāi)文件,數(shù)據(jù)將被一直存儲(chǔ),至少直到文件被關(guān)閉。
二、MooseFS的特定的操作
1、設(shè)定的目標(biāo)
目標(biāo)(goal),是指文件被拷貝的份數(shù),設(shè)定了拷貝的份數(shù)后是可以通過(guò)可以mfsgetgoal命令來(lái)證實(shí)的,也可以通過(guò)mfssetgoal來(lái)改變?cè)O(shè)定。例如:
$ mfsgetgoal /mnt/mfs-test/test1
/mnt/mfs-test/test1: 2
$ mfssetgoal 3 /mnt/mfs-test/test1
/mnt/mfs-test/test1: 3
$ mfsgetgoal /mnt/mfs-test/test1
/mnt/mfs-test/test1: 3
用mfsgetgoal –r和mfssetgoal –r同樣的操作可以對(duì)整個(gè)樹(shù)形目錄遞歸操作。
$ mfsgetgoal -r /mnt/mfs-test/test2
/mnt/mfs-test/test2:
files with goal        2 :                   36
directories with goal  2 :                    1
$ mfssetgoal -r 3 /mnt/mfs-test/test2
/mnt/mfs-test/test2:
inodes with goal changed:                        37
inodes with goal not changed:                     0
inodes with permission denied:                    0
$ mfsgetgoal -r /mnt/mfs-test/test2
/mnt/mfs-test/test2:
files with goal        3 :                   36
directories with goal  3 :                    1
實(shí)際的拷貝份數(shù)可以通過(guò)mfscheckfile 和 mfsfileinfo 命令來(lái)證實(shí),例如:
$ mfscheckfile /mnt/mfs-test/test1
/mnt/mfs-test/test1:
3 copies: 1 chunks
$ mfsfileinfo /mnt/mfs-test/test1
/mnt/mfs-test/test1:
        chunk 0: 00000000000520DF_00000001 / (id:336095 ver:1)
                copy 1: 192.168.0.12:9622
                copy 2: 192.168.0.52:9622
                copy 3: 192.168.0.54:9622
注意:一個(gè)不包含數(shù)據(jù)的零長(zhǎng)度的文件,盡管沒(méi)有設(shè)置為非零的目標(biāo)(the non-zero "goal"),但用命令查詢(xún)將返回一個(gè)空的結(jié)果,例如:
[root@www bin]# touch    /mnt/mfs/mmm
[root@www bin]# ./mfsfileinfo  /mnt/mfs/mmm   
/mnt/mfs/mmm:
但是如果對(duì)此文件進(jìn)行編輯,如:
[root@www bin]# echo "1234"> /mnt/mfs/mmm
然后看:
root@www bin]# ./mfsfileinfo  /mnt/mfs/mmm      
/mnt/mfs/mmm:
        chunk 0: 0000000000000040_00000001 / (id:64 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422
                copy 3: 192.168.3.139:9422
此時(shí)在將文件清空:
[root@www bin]# echo ""> /mnt/mfs/mmm  
然后在看:
[root@www bin]# ./mfsfileinfo  /mnt/mfs/mmm         
/mnt/mfs/mmm:
        chunk 0: 0000000000000041_00000001 / (id:65 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422
                copy 3: 192.168.3.139:9422
副本將任然存在。
假如改變一個(gè)已經(jīng)存在的文件的拷貝個(gè)數(shù),那么文件的拷貝份數(shù)將會(huì)被擴(kuò)大或者被刪除,這個(gè)過(guò)程會(huì)有延時(shí)。可以通過(guò)上面的命令來(lái)證實(shí)。
對(duì)一個(gè)目錄設(shè)定“目標(biāo)”,此目錄下的新創(chuàng)建文件和子目錄均會(huì)繼承此目錄的設(shè)定,但不會(huì)改變已經(jīng)存在的文件及目錄的拷貝份數(shù)。例如:
[root@bzd f]# touch 1
[root@bzd f]# echo “11” > 1
[root@bzd f]# /usr/local/mfs/bin/mfsfileinfo 1   
1:
        chunk 0: 0000000000000043_00000001 / (id:67 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422
                copy 3: 192.168.3.139:9422
[root@bzd f]# cd ..
[root@bzd mfs]# /usr/local/mfs/bin/mfssetgoal 2 f
f: 2
[root@bzd mfs]# cd f/
[root@bzd f]# ls
1
[root@bzd f]# touch 2
[root@bzd f]# echo “222” > 2
[root@bzd f]# /usr/local/mfs/bin/mfsfileinfo 1
1:
        chunk 0: 0000000000000043_00000001 / (id:67 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422
                copy 3: 192.168.3.139:9422
[root@bzd f]# /usr/local/mfs/bin/mfsfileinfo 2
2:
        chunk 0: 0000000000000044_00000001 / (id:68 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422

整個(gè)目錄樹(shù)的內(nèi)容摘要可以用一個(gè)功能增強(qiáng)的等同于du –s的命令mfsdirinfo,mfsdirinfo為MooseFS列出具體的信息。
例如:
$ mfsdirinfo /mnt/mfs-test/test/:
inodes:                         15
  directories:                    4
  files:                          8
chunks:                          6
length:                     270604
size:                       620544
realsize:                  1170432
上述內(nèi)容摘要顯示了目錄、文件及chunks的數(shù)目,還有整個(gè)目錄占用磁盤(pán)空間的情況。
length -文件大小的總和
size –塊長(zhǎng)度總和
realsize –磁盤(pán)空間的使用包括所有的拷貝

這是一個(gè)文件被分成了6個(gè)chunk例子:
[root@bzd mfs]# /usr/local/mfs/bin/mfsfileinfo fdsf.iso
1.img:
        chunk 0: 000000000000053A_00000001 / (id:1338 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422
                copy 3: 192.168.3.139:9422
        chunk 1: 000000000000053B_00000001 / (id:1339 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422
                copy 3: 192.168.3.139:9422
        chunk 2: 000000000000053C_00000001 / (id:1340 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422
                copy 3: 192.168.3.139:9422
        chunk 3: 000000000000053D_00000001 / (id:1341 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422
                copy 3: 192.168.3.139:9422
        chunk 4: 000000000000053E_00000001 / (id:1342 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422
                copy 3: 192.168.3.139:9422
        chunk 5: 000000000000053F_00000001 / (id:1343 ver:1)
                copy 1: 192.168.3.31:9422
                copy 2: 192.168.3.96:9422
                copy 3: 192.168.3.139:9422

三、垃圾箱(trash bin)設(shè)定隔離的時(shí)間(quarantine time)
一個(gè)刪除文件能夠存放在一個(gè)“垃圾箱”的時(shí)間就是一個(gè)隔離時(shí)間,這個(gè)時(shí)間可以用mfsgettrashtime命令來(lái)驗(yàn)證,也可以用mfssettrashtime命令來(lái)設(shè)置,例如:
$ mfsgettrashtime /mnt/mfs-test/test1
/mnt/mfs-test/test1: 604800
$ mfssettrashtime 0 /mnt/mfs-test/test1
/mnt/mfs-test/test1: 0
$ mfsgettrashtime /mnt/mfs-test/test1
/mnt/mfs-test/test1: 0
這些工具也有個(gè)遞歸選項(xiàng)-r,可以對(duì)整個(gè)目錄樹(shù)操作,例如:
$ mfsgettrashtime -r /mnt/mfs-test/test2
/mnt/mfs-test/test2:
files with trashtime                 0 :                   36
directories with trashtime      604800 :                    1
$ mfssettrashtime -r 1209600 /mnt/mfs-test/test2
/mnt/mfs-test/test2:
inodes with trashtime changed:                       37
inodes with trashtime not changed:                    0
inodes with permission denied:                        0
$ mfsgettrashtime -r /mnt/mfs-test/test2
/mnt/mfs-test/test2:
files with trashtime           1209600 :                   36
directories with trashtime     1209600 :                    1
時(shí)間的單位是秒(有用的值有:1小時(shí)是3600秒,24 - 86400秒,1 - 604800秒)。就像文件被存儲(chǔ)的份數(shù)一樣, 為一個(gè)目錄 設(shè)定存放時(shí)間是要被新創(chuàng)建的文件和目錄所繼承的。數(shù)字0意味著一個(gè)文件被刪除后, 將立即被徹底刪除,在想回收是不可能的
刪除文件可以通過(guò)一個(gè)單獨(dú)安裝MFSMETA文件系統(tǒng)。特別是它包含目錄 / trash (包含任然可以被還原的被刪除文件的信息)和 / trash/undel (用于獲取文件)。只有管理員有權(quán)限訪(fǎng)問(wèn)MFSMETA(用戶(hù)的uid 0,通常是root)。
$ mfssettrashtime 3600 /mnt/mfs-test/test1
/mnt/mfs-test/test1: 3600
$ rm /mnt/mfs-test/test1
$ ls  /mnt/mfs-test/test1
ls: /mnt/mfs-test/test1: No such file or directory
# ls -l /mnt/mfs-test-meta/trash/*test1
-rw-r--r-- 1 user      users     1 2007-08-09 15:23 /mnt/mfs-test-meta/trash/00013BC7|test1
被刪文件的文件名在 “垃圾箱”目錄里還可見(jiàn),文件名由一個(gè)八位十六進(jìn)制的數(shù)i-node和被刪文件的文件名組成,在文件名和i-node之間不是用“/”,而是用了“|”替代。如果一個(gè)文件名的長(zhǎng)度超過(guò)操作系統(tǒng)的限制(通常是255個(gè)字符),那么部分將被刪除。通過(guò)從掛載點(diǎn)起全路徑的文件名被刪除的文件任然可以被讀寫(xiě)。需要注意的是被刪除的文件在用全路徑文件名(注意文件名是兩部分)時(shí)一定要用單引號(hào)引起來(lái)。例如:
# cat '/mnt/mfs-test-meta/trash/00013BC7|test1'
test1
# echo 'test/test2' > '/mnt/mfs-test-meta/trash/00013BC7|test1'
# cat '/mnt/mfs-test-meta/trash/00013BC7|test1'
test/test2
移動(dòng)這個(gè)文件到trash/undel子目錄下,將會(huì)使原始的文件恢復(fù)到正確的MooseFS文件系統(tǒng)上 路徑下(如果路徑?jīng)]有改變)。例如:
[root@www mfs]# ll dgg   
-rw-r--r--  1 root root 8 Jan 13 08:45 dgg
[root@www mfs]# rm -f dgg
[root@www mfs]# ll dgg   
ls: dgg: No such file or directory
[root@www trash]# ls
0000000B|dgg   00000047|f1    undel
[root@www trash]# mv '/mnt/mfsmeta/trash/0000000B|dgg' ./undel/
[root@www trash]# ls
undel 00000047|f1
[root@www mfs]# ll dgg
-rw-r--r--  1 root root 8 Jan 13 08:45 dgg
注意:如果在同一路徑下有個(gè)新的同名文件,那么恢復(fù)不會(huì)成功
從“垃圾箱”中刪除文件結(jié)果是釋放之前被它站用的空間(刪除有延遲,數(shù)據(jù)被異步刪除)。在這種被從“垃圾箱”刪除的情況下,該文件是不可能恢復(fù)了。
可以通過(guò)mfssetgoal工具來(lái)改變文件的拷貝數(shù),也可以通過(guò)mfssettrashtime工具來(lái)改變存儲(chǔ)在“垃圾箱”中的時(shí)間。
在 MFSMETA的目錄里,除了trash和trash/undel兩個(gè)目錄外,還有第三個(gè)目錄reserved,該目錄內(nèi)有已經(jīng)刪除的文件,但卻有一直打開(kāi)著。在用戶(hù)關(guān)閉了這些被打開(kāi)的文件后,reserved目錄中的文件將被刪除,文件的數(shù)據(jù)也將被立即刪除。在reserved目錄中文件的命名方法同trash目錄中的一樣,但是不能有其他功能的操作。
四、快照
MooseFS系統(tǒng)的另一個(gè)特征是利用mfsmakesnapshot工具給文件或者是目錄樹(shù)做快照,例如:
$ mfsmakesnapshot source ... destination

Mfsmakesnapshot是在一次執(zhí)行中整合了一個(gè)或是一組文件的拷貝,而且任何修改這些文件的源文件都不會(huì)影響到源文件的快照, 就是說(shuō)任何對(duì)源文件的操作,例如寫(xiě)入源文件,將不會(huì)修改副本(或反之亦然)。
文件快照可以用mfsappendchunks,就像MooseFS1.5中的mfssnapshot一樣,,作為選擇,二者都可以用。例如:
$ mfsappendchunks destination-file source-file ...
當(dāng)有多個(gè)源文件時(shí),它們的快照被加入到同一個(gè)目標(biāo)文件中(每個(gè)chunk的最大量是chunk)。
五、額外的屬性
文件或目錄的額外的屬性(noowner, noattrcache, noentrycache),可以被mfsgeteattr,mfsseteattr,mfsdeleattr工具檢查,設(shè)置,刪除,其行為類(lèi)似mfsgetgoal/mfssetgoal or或者是mfsgettrashtime/mfssettrashtime,詳細(xì)可見(jiàn)命令手冊(cè)。

[ 本帖最后由 ltgzs777 于 2010-1-21 17:13 編輯 ]
作者: ltgzs777    時(shí)間: 2010-01-13 17:57
標(biāo)題: mfs文件系統(tǒng)(四)
MooseFS  維護(hù)
一、啟動(dòng)MooseFS集群
最安全的啟動(dòng)MooseFS集群(避免任何讀或?qū)懙腻e(cuò)誤數(shù)據(jù)或類(lèi)似的問(wèn)題)的方式是按照以下命令步驟:
1.啟動(dòng)mfsmaster進(jìn)程
2.啟動(dòng)所有的mfschunkserver進(jìn)程
3.啟動(dòng)mfsmetalogger進(jìn)程(如果配置了mfsmetalogger)
當(dāng)所有的chunkservers連接到MooseFS master后,任何數(shù)目的客戶(hù)端可以利用mfsmount去掛接被export的文件系統(tǒng)。(可以通過(guò)檢查master的日志或是CGI監(jiān)視器來(lái)查看是否所有的chunkserver被連接)。

二、停止MooseFS集群
安全的停止MooseFS集群:
1.在所有的客戶(hù)端卸載MooseFS 文件系統(tǒng)(用umount命令或者是其它等效的命令)
2.用mfschunkserver –s命令停止chunkserver進(jìn)程
3.用mfsmetalogger –s命令停止metalogger進(jìn)程
4.用mfsmaster –s命令停止master進(jìn)程

三、MooseFS chunkservers的維護(hù)
假如每個(gè)文件的goal(目標(biāo))都不小于2,并且沒(méi)有under-goal文件(這些可以用mfsgetgoal –r和mfsdirinfo命令來(lái)檢查),那么一個(gè)單一的chunkserver在任何時(shí)刻都可能做停止或者是重新啟動(dòng)。以后每當(dāng)需要做停止或者是重新啟動(dòng)另一個(gè)chunkserver的時(shí)候,要確定之前的chunkserver被連接,而且要沒(méi)有under-goal chunks。

四、MooseFS元數(shù)據(jù)的備份
通常元數(shù)據(jù)有兩部分的數(shù)據(jù)
1.主要元數(shù)據(jù)文件metadata.mfs,當(dāng)mfsmaster運(yùn)行的時(shí)候會(huì)被命名為metadata.mfs.back
2.元數(shù)據(jù)改變?nèi)罩綾hangelog.*.mfs,存儲(chǔ)了過(guò)去的N小時(shí)的文件改變(N的數(shù)值是由BACK_LOGS參數(shù)設(shè)置的,參數(shù)的設(shè)置在mfschunkserver.cfg配置文件中)。
主要的元數(shù)據(jù)文件需要定期備份,備份的頻率取決于取決于多少小時(shí)changelogs儲(chǔ)存。元數(shù)據(jù)changelogs應(yīng)該實(shí)時(shí)的自動(dòng)復(fù)制。自從MooseFS 1.6.5,這兩項(xiàng)任務(wù)是由mfsmetalogger守護(hù)進(jìn)程做的。

五、MooseFS master的恢復(fù)
一旦mfsmaster崩潰(例如因?yàn)橹鳈C(jī)或電源失。,需要最后一個(gè)元數(shù)據(jù)日志changelog并入主要的metadata中。這個(gè)操作時(shí)通過(guò)mfsmetarestore工具做的,最簡(jiǎn)單的方法是:
mfsmetarestore -a
如果master數(shù)據(jù)被存儲(chǔ)在MooseFS編譯指定地點(diǎn)外的路徑,則要利用-d參數(shù)指定使用,如:
mfsmetarestore -a -d /storage/mfsmaster

六、從備份恢復(fù)MooseFS master
為了從備份中恢復(fù)一個(gè)master,需要做:
1、安裝一個(gè)mfsmaster
2、利用同樣的配置來(lái)配置這臺(tái)mfsmaster(利用備份來(lái)找回mfsmaster.cfg),可見(jiàn)配置文件也是需要備份的。
3、找回metadata.mfs.back文件,可以從備份中找,也可以中metalogger主機(jī)中找(如果啟動(dòng)了metalogger服務(wù)),然后把metadata.mfs.back放入data目錄,一般為${prefix}/var/mfs。
4、從在master宕掉之前的任何運(yùn)行metalogger服務(wù)的服務(wù)器上拷貝最后metadata文件,然后放入mfsmaster的數(shù)據(jù)目錄。
5、利用mfsmetarestore命令合并元數(shù)據(jù)changelogs,可以用自動(dòng)恢復(fù)模式mfsmetarestore –a,也可以利用非自動(dòng)化恢復(fù)模式,語(yǔ)法如下:
mfsmetarestore -m metadata.mfs.back -o metadata.mfs changelog_ml.*.mfs

[ 本帖最后由 ltgzs777 于 2010-1-14 11:24 編輯 ]
作者: 無(wú)牙    時(shí)間: 2010-01-13 18:46
為了方便大家閱讀,我把4個(gè)主題合成了1個(gè)主題。
作者: brucewoo    時(shí)間: 2010-01-14 00:12
學(xué)習(xí)一下
作者: colderhua    時(shí)間: 2010-01-14 08:50
好東西,謝LZ
作者: wolfheader    時(shí)間: 2010-01-14 09:00
好東西,謝謝
作者: ltgzs777    時(shí)間: 2010-01-14 10:16
標(biāo)題: 回復(fù) #8 wolfheader 的帖子
謝謝回復(fù)
不辛,為人民服務(wù)
作者: kevinadmin    時(shí)間: 2010-01-14 10:41
好東西,最近要測(cè)試一下了,呵呵
作者: zhuzhelove_cu    時(shí)間: 2010-01-14 10:57
:wink: 先收藏,有機(jī)會(huì)拿出來(lái)試下
作者: shinelian    時(shí)間: 2010-01-14 13:29
標(biāo)題: 你在生產(chǎn)環(huán)境正式使用了沒(méi)?
介紹幾個(gè)生產(chǎn)環(huán)境的實(shí)際案例噢。
作者: ltgzs777    時(shí)間: 2010-01-14 14:07
標(biāo)題: 回復(fù) #12 shinelian 的帖子
那個(gè)例子就是在生產(chǎn)環(huán)境下的
只是有些東西我做了改動(dòng)
作者: shinelian    時(shí)間: 2010-01-14 15:38
太好了。
能否提供一些數(shù)據(jù),現(xiàn)在中國(guó)有很多人在測(cè)試,我也剛在測(cè)試,有很多地方不太明白了,很多場(chǎng)景還沒(méi)碰到過(guò),希望指點(diǎn)1,2
見(jiàn)我的帖子。 http://72891.cn/thread-1644309-1-1.html

歡迎加入qq群102082446 ,專(zhuān)門(mén)討論分布式文件系統(tǒng),通關(guān)密碼:i love cuer!
希望能給廣大的愛(ài)好者提供一些幫助,謝謝了。
作者: ltgzs777    時(shí)間: 2010-01-14 17:22
標(biāo)題: 回復(fù) #14 shinelian 的帖子
以加入
作者: shinelian    時(shí)間: 2010-01-14 17:30
感謝支持。
作者: ltgzs777    時(shí)間: 2010-01-15 13:19
標(biāo)題: 回復(fù) #5 無(wú)牙 的帖子
我翻譯的三篇 文章都是作者同意的,而且是作者發(fā)給我的,也和作者說(shuō)明了要把他的翻譯為中文并進(jìn)行推廣,按照作者說(shuō)的意思是只希望更多的人用他的projet。
作者: shinelian    時(shí)間: 2010-01-15 14:25
分布式文件系統(tǒng) 專(zhuān)業(yè)群
1. qq群:(討論非常熱烈)
   102082446  (通關(guān)密碼:我愛(ài)分布式文件系統(tǒng))
2. bbs討論:
    mfs權(quán)威指南(moosefs)分布式文件系統(tǒng)一站式解決方案(部署,性能測(cè)試)不斷更新ing
     http://72891.cn/thread-1644309-1-1.html

mfs優(yōu)勢(shì):
0. 通用文件系統(tǒng),不需要修改上層應(yīng)用就可以使用。
1. 可以在線(xiàn)擴(kuò)容。
2. 部署簡(jiǎn)單。
3. google filesystem的一個(gè)c實(shí)現(xiàn)。
4. 提供web gui監(jiān)控接口。
5. 提高隨機(jī)讀或?qū)懙男?br /> 6. 提高海量小文件的讀寫(xiě)效率
作者: ltgzs777    時(shí)間: 2010-01-15 16:15
標(biāo)題: 修改
為避嫌,我做了一處修改
作者: shinelian    時(shí)間: 2010-01-15 16:20
恩,希望t哥多多分享一些技術(shù)經(jīng)驗(yàn)。
作者: fsm11    時(shí)間: 2010-01-15 17:36
有單點(diǎn)故障
作者: ltgzs777    時(shí)間: 2010-01-15 22:58
標(biāo)題: 回復(fù) #21 fsm11 的帖子
這個(gè)不是問(wèn)題,在生產(chǎn)環(huán)境中,我做的HA,只是按別人的做的就沒(méi)有寫(xiě)入,再說(shuō)也不屬于這個(gè)話(huà)題。
作者: shinelian    時(shí)間: 2010-01-15 23:30
標(biāo)題: 回復(fù) #21 fsm11 的帖子
單點(diǎn)故障有很多方式解決,drbd 或者現(xiàn)在的mfs 1.6.11 的日志服務(wù)器。
作者: ltgzs777    時(shí)間: 2010-01-16 09:13
標(biāo)題: 回復(fù) #23 shinelian 的帖子
drbd是個(gè)不錯(cuò)的選擇
1.6.11的元數(shù)據(jù)日志服務(wù)器也需要和其他的HA軟件協(xié)作才能做到無(wú)單點(diǎn)故障,元數(shù)據(jù)日志服務(wù)器只能保證元數(shù)據(jù)不丟失,但它不能在master server出問(wèn)題是接替其工作。
作者: seposal    時(shí)間: 2010-01-16 14:14
現(xiàn)在這樣類(lèi)似的文件系統(tǒng)越來(lái)越豐富了。。

呵呵
作者: shinelian    時(shí)間: 2010-01-16 14:30
標(biāo)題: 回復(fù) #24 ltgzs777 的帖子
1.   確實(shí)如此,目前關(guān)于master的高可用的方案,市面上還沒(méi)有非常成功的案例,可以分享一下你案例里面是如何實(shí)際操作的嗎。
2.  今天早晨在qq群里面,hzqbbc和我也討論到,mfs master 把文件結(jié)構(gòu)放內(nèi)存里面,如果mfs master掉電,cache無(wú)法刷到磁盤(pán)上。
3.  雖然mfs可以設(shè)定的goal,但還是存在數(shù)據(jù)備份歸檔的問(wèn)題,大家都知道海量文件的備份歸檔是個(gè)問(wèn)題,大家的方案派系有很多,如rsync系  , inotify系 , 修改業(yè)務(wù)邏輯系 。
作者: ltgzs777    時(shí)間: 2010-01-16 16:09
標(biāo)題: 回復(fù) #26 shinelian 的帖子
不分享,不想給自己找麻煩
到時(shí)候又感謝這個(gè),又感謝那個(gè)的,實(shí)際上要是沒(méi)有開(kāi)源的,什么都別想,連人家都不求回報(bào),而我們這些用戶(hù)卻是爭(zhēng)名奪利的,真是沒(méi)意思!
作者: bingzhongdian    時(shí)間: 2010-01-17 15:42
LZ,這個(gè)是好貼啊,雖然對(duì)于這塊現(xiàn)在沒(méi)涉及,不過(guò)還是要頂下
作者: ltgzs777    時(shí)間: 2010-01-18 08:48
標(biāo)題: 回復(fù) #28 bingzhongdian 的帖子
只希望對(duì)你們有所幫助
作者: puluto    時(shí)間: 2010-01-18 15:34
感謝,不錯(cuò)哈。
作者: ltgzs777    時(shí)間: 2010-01-20 08:47
標(biāo)題: 回復(fù) #24 ltgzs777 的帖子
怎么有人看帖沒(méi)人回帖呀?
作者: ltgzs777    時(shí)間: 2010-01-20 10:31
標(biāo)題: 以作更新
(5)、卸載已掛接的文件系統(tǒng)
利用Linux系統(tǒng)的umount命令就可以了,例如:
[root@www ~]# umount /mnt/mfs


如果出現(xiàn)下列情況:
[root@www ~]# umount /mnt/mfs
umount: /mnt/mfs: device is busy
umount: /mnt/mfs: device is busy
則說(shuō)明客戶(hù)端本機(jī)有正在使用此文件系統(tǒng),可以查明是什么命令正在使用,然后推出就可以了,最好不要強(qiáng)制退出。
作者: Aquester    時(shí)間: 2010-01-21 13:57
當(dāng)前,分布式文件系統(tǒng)的實(shí)現(xiàn)版本非常多,MFS,KFS,FFS,GFS等,最為廣泛的當(dāng)屬HDFS,這個(gè)帖非常不錯(cuò),含金量高,歡迎加入Hadoop社區(qū)分享這方面的經(jīng)驗(yàn),Hadoop技術(shù)論壇:http://www.hadoopor.com或:http://hadoop.hadoopor.com
作者: ltgzs777    時(shí)間: 2010-01-21 14:28
標(biāo)題: 回復(fù) #33 Aquester 的帖子
是的這種半分布式文件系統(tǒng)很多。
Hadoop的基礎(chǔ)是Java,如果你和moosefs比較過(guò),你就會(huì)知道哪個(gè)的效率更高!
作者: ltgzs777    時(shí)間: 2010-01-22 10:45
標(biāo)題: 更新
做了更新
作者: ltgzs777    時(shí)間: 2010-01-22 10:48
標(biāo)題: 更新
4、掛接MFSMETA文件系統(tǒng)
(1)、創(chuàng)建掛接點(diǎn) mkdir /mnt/mfsmeta
(2)、掛接MFSMETA
/usr/local/mfs-old/bin/mfsmount -m /mnt/mfsmeta/  -H 192.168.3.34
(3)、查看目錄內(nèi)容
[root@www ~]# ls -R /mnt/mfsmeta
/mnt/mfsmeta:
reserved  trash

/mnt/mfsmeta/reserved:

/mnt/mfsmeta/trash:
0000015E|f181  undel

/mnt/mfsmeta/trash/undel:
作者: michael1983    時(shí)間: 2010-01-22 17:06
新出的文件系統(tǒng)?
哪家做的?厲害啊
作者: ltgzs777    時(shí)間: 2010-01-24 21:31
標(biāo)題: 回復(fù) #37 michael1983 的帖子
老外用c寫(xiě)的
作者: notnumb    時(shí)間: 2010-01-25 12:37
提示: 作者被禁止或刪除 內(nèi)容自動(dòng)屏蔽
作者: ltgzs777    時(shí)間: 2010-01-25 13:57
標(biāo)題: 回復(fù) #39 notnumb 的帖子
你的擔(dān)心是多余的,它是負(fù)載均衡的
作者: ltgzs777    時(shí)間: 2010-01-26 11:28
標(biāo)題: 另一篇文檔,master冗余
http://72891.cn/thread-1651099-1-1.html
作者: yzsong_2008    時(shí)間: 2010-01-26 15:14
是呀,是好東西,不錯(cuò),看下載一下,再慢慢看
作者: notnumb    時(shí)間: 2010-01-27 11:58
提示: 作者被禁止或刪除 內(nèi)容自動(dòng)屏蔽
作者: ltgzs777    時(shí)間: 2010-01-28 22:23
標(biāo)題: 回復(fù) #43 notnumb 的帖子
讀的時(shí)候是負(fù)載均衡的,因?yàn)榇蟮奈募欠謮K存儲(chǔ)的,所以會(huì)按塊的順序輪詢(xún)。
作者: panbsxy    時(shí)間: 2010-01-29 08:38
學(xué)習(xí)了,又是一種新知識(shí)
作者: warmer2010    時(shí)間: 2010-01-30 13:46
提示: 作者被禁止或刪除 內(nèi)容自動(dòng)屏蔽
作者: skynet    時(shí)間: 2010-02-09 15:09
不頂是不行的。
作者: ltgzs777    時(shí)間: 2010-02-09 15:25
回復(fù) 47# skynet

謝謝!有人看,沒(méi)人頂!都沉下去好幾天了.
作者: 帝之源    時(shí)間: 2010-02-09 20:38
{:3_182:}收藏了
作者: 可惡的    時(shí)間: 2010-02-21 12:31
關(guān)于MooseFS,沒(méi)有了解過(guò)
老東家用過(guò)MogileFS,感覺(jué)還8錯(cuò)的說(shuō)
作者: huifeideluotuo    時(shí)間: 2010-03-17 19:17
好貼,這的頂下!
作者: sky-鵬    時(shí)間: 2010-03-24 15:07
拜讀~~支持原創(chuàng)
作者: zhouweiz    時(shí)間: 2010-03-30 10:55
了解下MFS 系統(tǒng)
作者: fifeapple    時(shí)間: 2010-05-25 11:53
好東西呀,謝謝
作者: smile_hua    時(shí)間: 2010-05-25 15:15
感謝樓主分享這么好的資料~~~
作者: coco520    時(shí)間: 2010-06-05 17:19
有沒(méi)有性能測(cè)試的數(shù)據(jù)呢?
作者: yuanyuan1761    時(shí)間: 2010-06-12 17:15
樓主辛苦了。丷丷
作者: yuanyuan1761    時(shí)間: 2010-06-12 17:47
好東西,頂一下。
作者: yishuihanming    時(shí)間: 2010-06-24 21:23
很不錯(cuò)的東東 收下待測(cè)
作者: ltgzs777    時(shí)間: 2010-07-16 15:48
回復(fù) 56# coco520


  如果你安裝了,可以自己測(cè)試一下。當(dāng)時(shí)做過(guò)很多測(cè)試,只是懶得記載,但可以很負(fù)責(zé)人的告訴你,效果不錯(cuò)。
作者: ltgzs777    時(shí)間: 2010-11-26 15:58
已更新
作者: dawnsong    時(shí)間: 2010-12-08 11:23
了解了,細(xì)節(jié)較多
作者: hanyan_007    時(shí)間: 2010-12-16 14:34
頂下 ~ 剛接觸mfs 在5個(gè)虛擬機(jī)上做測(cè)試呢
作者: hanyan_007    時(shí)間: 2010-12-16 14:34
頂下 ~ 剛接觸mfs 在5個(gè)虛擬機(jī)上做測(cè)試呢
作者: hanyan_007    時(shí)間: 2010-12-16 14:36
頂下 ~ 剛接觸mfs 在5個(gè)虛擬機(jī)上做測(cè)試呢
作者: ltgzs777    時(shí)間: 2011-01-07 08:54
絕對(duì)不要使用虛擬機(jī)。。
作者: yayanet    時(shí)間: 2011-02-10 16:54
回復(fù) 66# ltgzs777


   為什么不要使用虛擬機(jī)?會(huì)有哪些問(wèn)題嗎?
作者: ltgzs777    時(shí)間: 2011-02-11 08:19
你要測(cè)的速度,而虛擬機(jī)用來(lái)用去是同一塊物理磁盤(pán),你說(shuō)能測(cè)出個(gè)性能嗎?
作者: youzhengchuan    時(shí)間: 2011-05-17 16:32
先研究研究,使用MFS是不是像使用HaDoop File System一樣,需要實(shí)現(xiàn)HDFS的API才能使用呢?
作者: shijiang1130    時(shí)間: 2011-07-23 09:33
回復(fù) 1# ltgzs777

thanks for sharing
作者: liangbbs    時(shí)間: 2011-08-01 22:14
學(xué)習(xí)下。≈С!
作者: liangbbs    時(shí)間: 2011-08-06 13:18
學(xué)習(xí)下,準(zhǔn)備實(shí)施!
作者: sharkyan    時(shí)間: 2012-03-29 17:36
好文檔,給力。{:3_200:}
作者: hiders    時(shí)間: 2012-04-10 11:14
學(xué)習(xí)學(xué)習(xí),謝謝分享。
作者: iamrobot    時(shí)間: 2012-05-02 15:45
pdf文件有錯(cuò)誤,打不開(kāi)啊
作者: wawa320    時(shí)間: 2012-05-03 22:30
提示: 作者被禁止或刪除 內(nèi)容自動(dòng)屏蔽
作者: ainiyisi521    時(shí)間: 2012-05-11 18:40
客戶(hù)端掛載后的目錄是777的權(quán)限,這樣不安全吧,想改成774的權(quán)限,但是查了半天也不知道怎么修改,樓主有經(jīng)驗(yàn)嗎?
作者: mdt_all    時(shí)間: 2012-05-24 18:05
    你好,拜讀了您的關(guān)于mfs的帖子,我有些關(guān)于mfs的問(wèn)題想請(qǐng)教,非常感謝!
1、metalogger的備份時(shí)間默認(rèn)是24小時(shí),這個(gè)最小能設(shè)置到多小?如果master出現(xiàn)故障,我怕時(shí)間設(shè)置太長(zhǎng)了,恢復(fù)時(shí)就相當(dāng)于丟數(shù)據(jù)了。
2、網(wǎng)上說(shuō)可以使用DRBD+heartbeat 來(lái)做到master的高可用,不知道您這樣做過(guò)沒(méi)?
3、mfs的性能到底怎么樣?如果我用來(lái)做圖片服務(wù)器的話(huà),大概有幾十T的量,然后上億的小圖片(差不多100k左右吧),用mfs來(lái)做合適嗎?
謝謝了。
作者: ltgzs777    時(shí)間: 2012-06-21 13:46
回復(fù) 78# mdt_all


    可以使用DRBD,備份的時(shí)間可以修改 可以根據(jù)需要定奪。
作者: wenxin1234114    時(shí)間: 2012-10-31 14:07
回復(fù) 1# ltgzs777


    不知道樓主為何把段文字給去掉了:
  1. 當(dāng)我們安裝主控服務(wù)器時(shí),在配置過(guò)程中(./configure),可以取消安裝 chunk server
  2. (--disable-mfschunkserver)以及 MooseFS 客戶(hù)端(--disable-mfsmount).
復(fù)制代碼

作者: xo1980    時(shí)間: 2013-02-27 10:49
好東西,謝謝
作者: spihiker    時(shí)間: 2013-05-14 14:38
生產(chǎn)用的DFS
作者: dongxue951    時(shí)間: 2013-08-06 11:48
謝謝,學(xué)習(xí)下
作者: v6hacker    時(shí)間: 2013-09-16 10:46
好東西阿,,很不錯(cuò),收藏 了
作者: omgzero    時(shí)間: 2014-02-28 12:37
非常感謝:wink:
作者: 寒水依痕仝    時(shí)間: 2014-03-13 18:52
謝謝分享
作者: xxmspace    時(shí)間: 2014-07-22 16:03
有沒(méi)有對(duì)MFSchunk的擴(kuò)展安裝的?
作者: 冰封三萬(wàn)里    時(shí)間: 2015-08-19 15:43
朋友請(qǐng)問(wèn)在么  想咨詢(xún)一下
$ df -h | grep mfs
mfsmaster:9421         85T   80T  4.9T  95% /mnt/mfs
mfsmaster:9321        394G  244G  151G  62% /mnt/mfs-test

這個(gè)你是怎么實(shí)現(xiàn)的  一個(gè)master起了兩個(gè)端口   可以?huà)燧d不同的目錄么   就是比如chunk1掛在9421上    chunk2 掛在9321上    然后客戶(hù)端可以分不同目錄掛載

可以實(shí)現(xiàn)么?
作者: cascle    時(shí)間: 2015-09-22 18:49
好東西,學(xué)習(xí)一下
作者: wq4113    時(shí)間: 2015-11-25 14:48
不錯(cuò),跟著學(xué)習(xí)




歡迎光臨 Chinaunix (http://72891.cn/) Powered by Discuz! X3.2