HA-Lustre-MDS安裝配置

johnlya

HA-Lustre-MDS安裝配置
一、Lustre應用場景：
MDS的IP地址為192.168.187.200，需要將數(shù)據(jù)存儲到iscsi共享盤的第一個分區(qū)(sdb1)上。
1、硬件配置：
MDS_MASTER：eth0:192.168.187.131
          eth1:10.0.0.1
MDS_SLAVE： eth0:192.168.187.132
          eth1:10.0.0.2
其中eth1網(wǎng)卡用于心跳功能；
2、網(wǎng)絡拓樸圖：




二、軟件安裝：
1、tar -zxvf libnet.tar.gz
cd libnet
./configure
make
make install
2、 heartbeat-2.0.2.tar.gz
tar -zxvf heartbeat-2.0.2.tar.gz
cd heartbeat-2.0.2
./ConfigureMe configure
make
useradd hacluster
groupadd haclient
gpasswd –a hacluster haclient
make install
二、Heartbeat配置：
1、/etc/ha.d/ha.cf
# Suggested fields - logging
debugfile /var/log/ha-debug
logfile /var/log/ha-log
logfacility local0
# Required fields - Timing
keepalive 2
deadtime 10
initdead 120
# If using serial Heartbeat
#baud 19200
#serial /dev/ttyS0
# For Ethernet broadcast
udpport 1694
bcast eth1
# Use manual failback
auto_failback off
# Cluster members - name must match `hostname`
node MDS_MASTER
node MDS_SLAVE
# remote health ping
ping 192.168.187.1
respawn hacluster /usr/lib/heartbeat/ipfail

#crm yes
#apiauth cibmon uid=hacluster
#irespawn hacluster /usr/lib/heartbeat/cibmon -d
#respawn hacluster /usr/lib/heartbeat/ccm
2、/etc/ha.d/haresources
當切換資源時應該切換哪些資源，例如IP、磁盤……等。在heartbeat中，通過/etc/ha.d/haresources文件來配置共享的資源，在我們的案例中，/etc/ha.d/haresources文件的主要內(nèi)容如下：
MDS_MASTER 192.168.187.200 Filesystem::/dev/sdb1::/mnt/johnlya/mdt::luster
#設置HAMaster為主節(jié)點，集群服務器的ip地址為192.168.187.200
3、/etc/ha.d/authkeys
/etc/ha.d/authkeys文件的內(nèi)容如下:
auth 1
1 sha1 key-for-sha1-any-text-you-want
更改文件的權限：
chmod 600 /etc/ha.d/authkeys
4、使用同樣的方法配置HASlave
5、Lustre配置啟動流程
[MDS_MASTER]# mkfs.lustre --fsname=johnlya --mdt --mgs --reformat --failnode=MDS_SLAVE /dev/sda1
[MDS_MASTER]# mount -t lustre /dev/sda1 /mnt/johnlya/mdt

[OSS_MASTER]# mkfs.lustre --fsname=johnlya --ost --reformat --mgsnode=MDS_SLAVE@tcp0 --mgsnode=MDS_MASTER@tcp0 --failnode=OSS_SLAVE /dev/sdb1
[OSS_MASTER]# mount -t lustre /dev/sdb1 /mnt/johnlya/ost

[CLIENT]# mount -t lustre MDS_SLAVE@tcp0:MDS_MASTER@tcp0:/johnlya /mnt/johnlya/client/

6、測試
MDS_MASTER：
service heartbeat restart
如果不出現(xiàn)錯誤，mount服務應該被heartbeat啟動，同時heartbeat為主節(jié)點設置IP地址192.168.187.200。使用ifconfig eth0:0可以看到IP地址為192.168.187.200。 10秒后能看到/mnt/johnlya/mdt掛載成功。
MDS_SLAVE：
service heartbeat restart
       直接關閉節(jié)點MDS_MASRTER(模擬故障)。 10秒后，在節(jié)點HASlave 上執(zhí)行ifconfig eth0:0，可以看到eth0:0已經(jīng)被設置為192.168.187.200 ，能看到/mnt/johnlya/mdt掛載成功。
三、ISCSI安裝與配置：
    1、iscsitarget-0.4.16.tar.gz
2、iscsi-initiator-utils-4.0.3.0-2.i386.rpm
3、target：
        tar -xzvf iscsitarget-0.4.15.tar.gz
        make;makeinstall
        vi /etc/ietd.conf
        Target iqn.2001-04.com.example:storage.disk2.sys1.idisk
        Lun 4 Path=/dev/sdb1,Type=fileio
        Alias sdb
        iSNSServer 192.168.1.131
        iSNSAccessControl No
  client:
        rpm –ivh iscsi-initiator-utils-4.0.3.0-2.i386.rpm
        vi /etc/iscsi.conf
        DiscoveryAddress=192.168.1.131
        SendAsyncText=yes
        Continuous=yes
        service iscsi start
        iscsi-ls
四、注意事項：
1、安裝時用虛擬機拷貝另一份需要注意將其中一個刪除（/var/lib/heartbeat/hb_uuid）；
2、安裝時最好不要將配置文件從Window下拷貝至Linux下；
3、需要注意用戶權限問題；
4、最重要一點是查看/var/log/ha-debug文件
5、保證權限：
chown hacluster:haclient /usr/lib/ocf/resource.d/heartbeat -R
chown hacluster:haclient /etc/ha.d/resource.d/heartbeat -R
chown hacluster:haclient /var/lib/heartbeat -R
chown hacluster:haclient /var/run/heartbeat.pid -R
chown hacluster:haclient /var/run/heartbeat –R
       6、用客戶端測試時，在另一臺備用機器啟動后，客戶端會出現(xiàn)大約幾分鐘不能訪問的情況，這是屬于正常情況，是Lustre在啟動備份機器并分配網(wǎng)絡資源


本文來自ChinaUnix博客，如果查看原文請點：http://blog.chinaunix.net/u2/69517/showart_693846.html