互聯(lián)網(wǎng)技術(shù)熱點(diǎn)之--分布式文件系統(tǒng)，Lustre路在何方？（獲獎(jiǎng)名單已公布2013-4-7）

wang290

單節(jié)點(diǎn)的Lustre

單節(jié)點(diǎn)的Lustre使用如下配置腳本：

#!/bin/sh # local.sh # Create nodes rm -f local.xml lmc -m local.xml --add net --node node-mds --nid test229 --nettype tcp lmc -m local.xml --add net --node node-ost --nid test229 --nettype tcp lmc -m local.xml --add net --node client --nid '*' --nettype tcp # Cofigure MDS lmc -m local.xml --add mds --node node-mds --mds mds-test --fstype ext3 --dev /dev/hdc7 # Configures OSTs lmc -m local.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 1 --stripe_pattern 0 lmc -m local.xml --add ost --node node-ost --lov lov-test --ost ost-test --fstype ext3 --dev /dev/hdc8 # Configure client (this is a 'generic' client used for all client mounts) lmc -m local.xml --add mtpt --node client --path /mnt/lustre --mds mds-test --lov lov-test

運(yùn)行local.sh腳本，生成XML配置文件。

# ./local.sh

按照OST，MDS，client的順序啟動(dòng)：

# lconf --reformat --node node-ost local.xml # lconf --reformat --node node-mds local.xml # lconf --node client local.xml

至此，單機(jī)上的Lustre已經(jīng)啟動(dòng)完畢，我們可以通過df命令查看現(xiàn)在的磁盤情況：

# df Filesystem           1K-blocks      Used   Available Use%  Mounted on /dev/hdc1             2016016    229380   1684224  12%  / none                  128080         0    128080   0%  /dev/shm /dev/hdc2             3020172    321968   2544784  12%  /home /dev/hdc5             3020140   2144644    722080  75%  /usr /dev/hdc3             3020172     98888   2767864   4%  /var local                53346112    463452  50129060   1%  /mnt/luster

我們看到的掛載在/mnt/lustre目錄下的local就是我們配置的Lustre文件系統(tǒng)，單節(jié)點(diǎn)的Lustre功能已經(jīng)實(shí)現(xiàn)。

多節(jié)點(diǎn)的Lustre

本次實(shí)驗(yàn)將實(shí)現(xiàn)這樣的系統(tǒng)，一個(gè)MDS節(jié)點(diǎn)，多個(gè)OST節(jié)點(diǎn)和Client節(jié)點(diǎn)。具體分配如下：

MDS	test227，sda7，4G
OST1	test225，hda8，55G
OST2	test229，hdc8，55G
Client	任意機(jī)器

Client：使用的配置文件如下，配置腳本改為config.sh，XML文件改為config.xml：

#!/bin/bash # config.sh # Create nodes rm -f config.xml lmc -m config.xml --add net --node node-mds --nid test227 --nettype tcp lmc -m config.xml --add net --node node-ost1 --nid test225 --nettype tcp lmc -m config.xml --add net --node node-ost2 --nid test229 --nettype tcp lmc -m config.xml --add net --node client --nid '*' --nettype tcp # Cofigure MDS lmc -m config.xml --add mds --node node-mds --mds mds-test --fstype ext3 --dev /dev/sda7 # Configures OSTs lmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 1 --stripe_pattern 0 lmc -m config.xml --add ost --node node-ost1 --lov lov-test --ost ost1-test --fstype ext3 --dev /dev/hda8 lmc -m config.xml --add ost --node node-ost2 --lov lov-test --ost ost2-test --fstype ext3 --dev /dev/hdc8 # Configure client (this is a 'generic' client used for all client mounts) lmc -m config.xml --add mtpt --node client --path /mnt/lustre --mds mds-test --lov lov-test

生成confg.xml配置文件，然后將該配置文件復(fù)制到每一臺(tái)服務(wù)器。下面按照OST－MDS－Client的順序初始化并啟動(dòng)Lustre節(jié)點(diǎn)。

初始化OST：

[root@test225 ~]# lconf --reformat --node node-ost1 config.xml [root@test229 ~]# lconf --reformat --node node-ost2 config.xml

初始化MDS：

[root@test227 ~]# lconf --reformat --node node-mds config.xml

初始化Client：

[root@test227 ~]# lconf --node client config.xml

此時(shí)可以通過df命令查看現(xiàn)在的磁盤情況：

[root@test227 ~]# df Filesystem                1K-塊      已用       可用 已用% 掛載點(diǎn) /dev/sda1               2016016    313720    1599884  17%  / none                    517956         0     517956   0%  /dev/shm /dev/sda5              2016016    320396    1593208  17%  /home /dev/sda3              4032124   2274132    1553164  60%  /usr /dev/sda2              4032124    105048    3722248   3%  /var config               108394620    926904  101872560   1%  /mnt/luster

我們看到的掛載在/mnt/lustre目錄下的config就是我們配置的Lustre文件系統(tǒng)，其總的大小剛好等于兩個(gè)OST貢獻(xiàn)的存儲(chǔ)容量。

wang290

Lustre的Failover

可用性的實(shí)現(xiàn)是將硬件或軟件進(jìn)行復(fù)制，當(dāng)其中的一臺(tái)出現(xiàn)故障，另一臺(tái)可以頂替出故障的機(jī)器的工作。我們所說的“Failover”是指這樣的一種方法：當(dāng)主服務(wù)器失效時(shí)，能夠自動(dòng)的將它的應(yīng)用和資源切換到從服務(wù)器。Failover對應(yīng)用來說是透明的。

Lustre的Failover需要兩個(gè)節(jié)點(diǎn)（一個(gè)Failover對），它們連接到一個(gè)共享存儲(chǔ)介質(zhì)。Lustre支持元數(shù)據(jù)和對象存儲(chǔ)的Failover。

Lustre提供一個(gè)文件系統(tǒng)資源。Lustre支持在服務(wù)器級別的Failover。Lustre沒有提供系統(tǒng)組件級別的工具集，而這些確實(shí)完全實(shí)現(xiàn)Failover（失效節(jié)點(diǎn)檢測、電源控制等）所需要的，這些工具集可以從第三方得到。例如Heart beat。

硬件的需求是：一個(gè)連接到共享存儲(chǔ)體（物理存儲(chǔ)，例如SAN、NAS、硬件RAID、SCSI、FC等）的服務(wù)器對。共享的存儲(chǔ)體在兩個(gè)節(jié)點(diǎn)來看，應(yīng)該是一樣的，即有相同的物理LUN。而物理存儲(chǔ)級別的高可用，推薦使用RAID來避免驅(qū)動(dòng)器級別的失效。

為得到一個(gè)全自動(dòng)的高可用Lustre，需要電源管理和HA軟件，用來提供：

1．  資源防護(hù)：物理存儲(chǔ)避免同時(shí)被兩個(gè)節(jié)點(diǎn)訪問。

2．  資源控制：使啟動(dòng)和停止Lustre進(jìn)程成為Failover的一部分，維護(hù)集群狀態(tài)等。

3．  健康監(jiān)控：校驗(yàn)硬件和網(wǎng)絡(luò)的可用，并反映給Lustre。

為實(shí)現(xiàn)正確的資源防護(hù)，Heartbeat軟件必須能夠完全停掉服務(wù)器或者斷開其與共享存儲(chǔ)設(shè)備的連接。絕對不要讓兩個(gè)活動(dòng)的節(jié)點(diǎn)訪問相同的分區(qū)，否則將導(dǎo)致數(shù)據(jù)的毀壞。當(dāng)Heartbeat軟件檢測到一個(gè)服務(wù)器失效了，它將調(diào)用一個(gè)進(jìn)程來停掉失效節(jié)點(diǎn)；然后在第二臺(tái)主機(jī)上啟動(dòng)Lustre。HA軟件通過一個(gè)腳本來控制Lustre資源。為達(dá)這個(gè)目的，CFS提供了這樣的一個(gè)腳本/etc/init.d/lustre。

為達(dá)Failover的目的，提供Lustre資源的服務(wù)器將被配置成主/從對。Failover可以通過lconf來手動(dòng)實(shí)現(xiàn)。當(dāng)執(zhí)行lconf --cleanup --failover命令時(shí)，磁盤設(shè)備將被設(shè)置為只讀。這將允許第二個(gè)節(jié)點(diǎn)使用相同的磁盤。這是軟件Failover，此時(shí)主從節(jié)點(diǎn)都是健康的且是聯(lián)網(wǎng)的。而硬件Failover則是指關(guān)掉一臺(tái)服務(wù)器的電源。

Lustre Failover的實(shí)現(xiàn)需要電源管理，遠(yuǎn)程電源控制，HA軟件。

配置Failover對有兩種方式：active/active和active/passive。Active的節(jié)點(diǎn)正常提供服務(wù)，passive節(jié)點(diǎn)平時(shí)是空閑的，當(dāng)失效時(shí)自動(dòng)轉(zhuǎn)換為active來提供服務(wù)。在使用共享存儲(chǔ)的兩個(gè)節(jié)點(diǎn)上，可以實(shí)現(xiàn)的Failover配置是：

Active/passive

Active/active

他們的區(qū)別是：active/passive中兩個(gè)節(jié)點(diǎn)使用共享存儲(chǔ)的一個(gè)分區(qū)，每一個(gè)時(shí)刻只有一個(gè)節(jié)點(diǎn)提供服務(wù)，同一個(gè)節(jié)點(diǎn)訪問磁盤。Active/active中的共享存儲(chǔ)體必須分成兩個(gè)分區(qū)，兩個(gè)節(jié)點(diǎn)在一個(gè)分區(qū)看來，都是active/passive的，即一個(gè)節(jié)點(diǎn)訪問一個(gè)分區(qū)，另一個(gè)節(jié)點(diǎn)作為該分區(qū)的passive節(jié)點(diǎn)。

Failover在配置上的體現(xiàn)：

Active/passive：

lmc --add ost --ost ost1 --failover --node nodeA --lov lov1 --dev /dev/sda1 lmc --add ost --ost ost1 --failover --node nodeB --lov lov1 --dev /dev/sda1

Active/active：

lmc --add ost --ost ost1 --failover --node nodeA --group nodeA --lov lov1 --dev /dev/sda1 lmc --add ost --ost ost1 --failover --node nodeB --lov lov1 --dev /dev/sda1 lmc --add ost --ost ost2 --failover --node nodeA --lov lov1 --dev /dev/sdb1 lmc --add ost --ost ost2 --failover --node nodeB --group nodeB --lov lov1 --dev /dev/sdb1

由于MDS和OSS的Failover原理一樣，在這里我只進(jìn)行了MDS的Failover。

wang290

Failover環(huán)境的搭建

為了模擬類似共享存儲(chǔ)體的架構(gòu)，我使用了NFS的方式。如下圖：

NFS服務(wù)器export出目錄/mds_fo，分別掛載到前面兩臺(tái)客戶端的/mds_fo目錄，這樣，在NFS客戶端看來，就是有了相同的目錄，且訪問到的數(shù)據(jù)也是一樣的。中間的兩臺(tái)NFS客戶端同時(shí)也作為Lustre的MDS，即元數(shù)據(jù)服務(wù)器，這兩臺(tái)MDS要實(shí)現(xiàn)的功能是Failover，使用的方式是MDS Failover中唯一的方式：active/passive，任意時(shí)間只有一臺(tái)MDS提供服務(wù)，MDS之間的切換用Heartbeat來實(shí)現(xiàn)。最前面的是Lustre的OST，同時(shí)也作為Lustre的客戶端。Lustre中任意一臺(tái)服務(wù)器都可以做Lustre的客戶端。

NFS的配置這里不做贅述。

Lustre的配置文件如下：

#!/bin/sh #config.sh # 創(chuàng)建節(jié)點(diǎn) rm -f config.xml lmc -m config.xml --add net --node test225 --nid test225 --nettype tcp lmc -m config.xml --add net --node test226 --nid test226 --nettype tcp lmc -m config.xml --add net --node test227 --nid test227 --nettype tcp lmc -m config.xml --add net --node client --nid '*' --nettype tcp # 配置主MDS和備份MDS lmc -m config.xml --add mds --dev /mds_fo/mds --size 50000 --failover --group n-mds --node test226 --mds n-mds --fstype ldiskfs lmc -m config.xml --add mds --dev /mds_fo/mds --size 50000 --failover --group n-mds --node test227 --mds n-mds --fstype ldiskfs # 配置OST lmc -m config.xml --add lov --lov lov1 --mds n-mds --stripe_sz 1048576 --stripe_cnt 3 --stripe_pattern 0 lmc -m config.xml --add ost --node test225 --lov lov1 --ost n01-ost1 --fstype ldiskfs --dev /ost_fo/ost --size 50000 # 配置客戶端 lmc -m config.xml --add mtpt --node client --path /mnt/lustre --mds n-mds --lov lov1

在定義節(jié)點(diǎn)的時(shí)候我定義了兩個(gè)MDS：mds1和mds2，配置MDS的時(shí)候用--mds n-mds選項(xiàng)制定兩個(gè)node為同一個(gè)MDS，--failover指定了是Failover配置，--dev /mds_fo/mds使用NFS目錄里的一個(gè)文件塊來做MDS的數(shù)據(jù)存儲(chǔ)。

整個(gè)Lustre的啟動(dòng)順序如下：

啟動(dòng)ost：

[root@test225 lustre]# lconf --reformat --node test225 config.xml

啟動(dòng)mds1：

[root@test226 lustre]# lconf --reformat --node test226 config.xml

啟動(dòng)mds2：

[root@test227 lustre]# lconf --reformat --node test227 config.xml

從命令運(yùn)行后的輸出我們可以看到，雖然使用了--reformat選項(xiàng)，但Lustre并沒有真正的再去reformat共享的mds存儲(chǔ)體，而僅僅是讓mds2連上網(wǎng)絡(luò)。

啟動(dòng)Client：

[root@test225 lustre]# lconf --node client config.xml

此時(shí)可以用df看到磁盤空間：

[root@test225 lustre]# df Filesystem           1K-blocks      Used   Available Use%  Mounted on /dev/hda1              1035660    265124    717928  27%  / none                    517988         0    517988   0%  /dev/shm /dev/hda3              2063536    579692   1379020  30%  /home /dev/hda5              3099260   1877624   1064204  64%  /usr /dev/hda6              3099260     91332   2850496   4%  /var test229:/etc/lustre/       2016032    216096   1697536  12%  /etc/lustre config                    46856      4312     39980  10%  /mnt/luster

此時(shí)在ost（test225）上查看網(wǎng)絡(luò)連接：

[root@test225 lustre]# netstat -na Active Internet connections (servers and established) Proto Recv-Q Send-Q Local Address          Foreign Address             State tcp       0      0 0.0.0.0:32770           0.0.0.0:*                   LISTEN tcp       0      0 0.0.0.0:111             0.0.0.0:*                   LISTEN tcp       0      0 0.0.0.0:22              0.0.0.0:*                   LISTEN tcp       0      0 0.0.0.0:988             0.0.0.0:*                   LISTEN tcp       0      0 192.168.11.225:800      192.168.11.229:2049       ESTABLISHED tcp       0    108 192.168.11.225:22       192.168.10.13:4757        ESTABLISHED tcp       0      0 192.168.11.225:988      192.168.11.226:1021       ESTABLISHED tcp       0      0 192.168.11.225:988      192.168.11.226:1022       ESTABLISHED tcp       0      0 192.168.11.225:988      192.168.11.226:1023       ESTABLISHED udp       0      0 0.0.0.0:32768           0.0.0.0:* udp       0      0 0.0.0.0:111             0.0.0.0:*

可以看到，ost現(xiàn)在是與mds1（test226）進(jìn)行通訊的。

wang290

手工mds切換

Mds1（test226）上先將mds停止：

[root@test226 lustre]# lconf --verbose --cleanup --node test226 --failover --group n-mds config.xml

然后在從mds節(jié)點(diǎn)（test227）上運(yùn)行：

[root@test227 lustre]# lconf --verbose --failover --node test227 --select n-mds=test227 --group n-mds config.xml

Failover的手動(dòng)切換是需要一定時(shí)間的，由于我心太急馬上在client上執(zhí)行df，導(dǎo)致終端停了一會(huì)兒沒反應(yīng)。一會(huì)之后就可以再使用df來查看磁盤空間了。此時(shí)在ost（test225）上看到的網(wǎng)絡(luò)連接是：

[root@test225 lustre]# netstat -na Active Internet connections (servers and established) Proto Recv-Q Send-Q Local Address           Foreign Address             State tcp        0      0 0.0.0.0:32770           0.0.0.0:*                   LISTEN tcp        0      0 0.0.0.0:111             0.0.0.0:*                   LISTEN tcp        0      0 0.0.0.0:22              0.0.0.0:*                   LISTEN tcp        0      0 0.0.0.0:988             0.0.0.0:*                   LISTEN tcp        0      0 192.168.11.225:799      192.168.11.229:2049       ESTABLISHED tcp        0      0 192.168.11.225:988      192.168.11.227:1021       ESTABLISHED tcp        0      0 192.168.11.225:988     192.168.11.227:1023        ESTABLISHED tcp        0      0 192.168.11.225:988     192.168.11.227:1022        ESTABLISHED tcp        0    376 192.168.11.225:22      192.168.10.13:4790         ESTABLISHED udp        0      0 0.0.0.0:32768         0.0.0.0:* udp        0      0 0.0.0.0:111           0.0.0.0:*

已經(jīng)與新的mds進(jìn)行交互了。

至此，Failover的環(huán)境基本搭建起來，手動(dòng)Failover也已經(jīng)實(shí)現(xiàn)，下面將使用Heartbeat進(jìn)行失效節(jié)點(diǎn)的轉(zhuǎn)移。

使用Heartbeat來進(jìn)行Failover的切換

對Heartbeat的認(rèn)識(shí)可以從幾張示意圖開始：

Heartbeat對中的備份服務(wù)器通過心跳線（串口線，以太網(wǎng)橋接線或普通以太網(wǎng)絡(luò)）來監(jiān)測主服務(wù)器的健康狀態(tài)，如果監(jiān)測到主服務(wù)器不健康了，那么備份服務(wù)器就將主服務(wù)器提供的服務(wù)接管過來，這樣對外服務(wù)并沒有因?yàn)閱我还?jié)點(diǎn)的失效而停止，從而達(dá)到了高可用的目的。

         Heartbeat主要有三個(gè)配置文件：ha.cf，authkeys，haresources。

Ha.cf：

logfile /var/log/ha-log logfacility local0 keepalive 2 deadtime 20 warntime 10 initdead 60 udpport 694 bcast eth0 ucast eth0 192.168.11.226 auto_failback on crm no node test226 node test227 ping 192.168.11.229 respawn hacluster /usr/lib/heartbeat/ipfail

Haresources

test226  lustre

Authkeys

auth 2 2 sha1 PConline

         在haresources文件里配置了主節(jié)點(diǎn)為test226，HA資源為lustre，lustre啟動(dòng)腳本位于/etc/init.d目錄，使用lustre腳本可以根據(jù)配置文件/etc/luster/config.xml的配置來啟動(dòng)本機(jī)的Lustre資源。Heartbeat就是使用/etc/init.d/luster start/stop來啟動(dòng)和停止Lustre的。

         這里要說的是，我并沒有真正實(shí)現(xiàn)用Heartbeat來做的Failover。目前的現(xiàn)象是，當(dāng)主節(jié)點(diǎn)失效時(shí)，Heartbeat已經(jīng)把MDS的資源轉(zhuǎn)移到了備份節(jié)點(diǎn)，但是客戶端并沒有能夠和備份節(jié)點(diǎn)建立通訊。

         Lustre的manual上說還需要建立一個(gè)虛擬的IP，但我并沒有在manual上看到怎么來使用這個(gè)VIP。而如果使用Heartbeat V2的話就不需要再建立虛擬IP，但由于時(shí)間關(guān)系，以及是第一次接觸HA，沒有能夠做出來。

使用磁盤配額

         Lustre能夠根據(jù)用戶和組來進(jìn)行文件系統(tǒng)的配額。

         要使磁盤配額生效，必須在創(chuàng)建XML文件的配置腳本里進(jìn)行指定，例如：

${LMC} --add mds --node ft1 --mds mds-l --fstype ldiskfs --dev $MDSDEV --failover --quota quotaon=ug ${LMC} --add ost --node oss-0 --lov lov-l --ost ost-0 --fstype ldiskfs --dev /dev/sda1 –failover --quota quotaon=ug

         在添加mds和ost的時(shí)候指定了--quota quotaon=ug選項(xiàng)。同時(shí)需要將下列命令加入到/etc/modprobe.conf文件。

install mdc /sbin/modprobe lquota; /sbin/modprobe --ignore-install mdc install lov /sbin/modprobe lquota; /sbin/modprobe --ignore-install lov install osc /sbin/modprobe lquota; /sbin/modprobe --ignore-install osc

使用配額進(jìn)行工作必須使用lfs命令。首先使用不帶參數(shù)的lfs命令進(jìn)入lfs環(huán)境：

lfs lfs >

掃描文件系統(tǒng)，創(chuàng)建或更新配額文件。

lfs > quotacheck -gu /mnt/luster

設(shè)置用戶support的限額

lfs > setquota -u support 10240 20480 1000 2000 /mnt/luster

四個(gè)數(shù)字分別表示：<block-softlimit> <block-hardlimit> <inode-softlimit> <inode-hardlimit>

顯示用戶support限額信息

lfs > quota -u support /mnt/lustre Disk quotas for user support (uid 500): Filesystem   blocks   quota    limit     grace    files   quota    limit   grace /mnt/lustre       0   10240   20480               0   1000    2000 mds-test_UUID    0       0       1               0      0       1 ost-test_UUID     0       0       1

wang290

小結(jié)

盡管Lustre有諸多優(yōu)點(diǎn)（整合磁盤空間，提供高的I/O等），但它的不足限制了它在我們環(huán)境中的使用：

1．  安裝Lustre需要內(nèi)核的配合，需要重新編譯內(nèi)核，工作量巨大。

2．  Lustre并沒有對存儲(chǔ)設(shè)備進(jìn)行多個(gè)拷貝，Failover也僅僅實(shí)現(xiàn)的是服務(wù)器節(jié)點(diǎn)的冗余，如果磁盤發(fā)生損壞，整個(gè)Lustre空間將損壞，官方manual也聲明，Lustre的存儲(chǔ)必須基于Raid陣列等硬件冗余才能保證數(shù)據(jù)的完整。

3．  要實(shí)現(xiàn)真正的HA，必須有特殊的硬件，比如說能通過接受軟件命令來自動(dòng)重啟的電源裝置，而這些硬件我們基本上沒有。

如果Lustre應(yīng)用在我們的現(xiàn)有環(huán)境，那么我們需要充分利用Lustre的優(yōu)點(diǎn)，例如設(shè)計(jì)如下的架構(gòu)：

1．  一些對磁盤空間要求不高的應(yīng)用服務(wù)器可以做成無盤的Linux工作站，使用共享的存儲(chǔ)體來啟動(dòng)無盤Linux工作站。

2．  將剩余的磁盤放入磁盤陣列柜，在陣列中對磁盤做Raid5或Raid6的磁盤冗余方案，對陣列前端的機(jī)頭做HA，這樣可以保證磁盤和服務(wù)器節(jié)點(diǎn)的冗余了。

3．  在2的基礎(chǔ)上，將多個(gè)磁盤陣列柜做成Lustre文件系統(tǒng)，這樣我們就可以得到一個(gè)大容量的存儲(chǔ)池，磁盤I/O和數(shù)據(jù)的冗余都將得到保證。而我們的投入僅僅是幾個(gè)陣列柜。

meego2012

send_linux 發(fā)表于 2013-03-04 10:16
隨著互聯(lián)網(wǎng)和移動(dòng)信息化的飛速發(fā)展，各種業(yè)務(wù)數(shù)據(jù)爆炸性地增長，海量數(shù)據(jù)不停產(chǎn)生后被存儲(chǔ)，并時(shí)刻需要被高 ...

大的互聯(lián)網(wǎng)公司數(shù)據(jù)庫比較大，才需要用分布式文件系統(tǒng)吧，小公司估計(jì)暫時(shí)用不上，不過大趨勢是這個(gè)，作為技術(shù)人員，還是應(yīng)該好好了解下，學(xué)習(xí)學(xué)習(xí)！

chenyx

wang290 發(fā)表于 2013-03-10 09:05
分布式文件系統(tǒng)之Lustre功能測試報(bào)告前言對Lustre的研究已經(jīng)有一段時(shí)間了，由剛開始對Lustre的期待，到現(xiàn) ...

這個(gè)太詳細(xì)了,果斷收藏備用.

float001

沒用過分布式文件系統(tǒng)的路過

allone_2

NFS 接觸過，其他沒有接觸環(huán)境！

c04n05

知道這么幾個(gè)東西。用的話也只用過NFS。