HDS+HP9000數(shù)據(jù)遷移,重做MC/SG

zlg88

HDS+HP9000數(shù)據(jù)遷移,重做MC/SG


    客戶新購(gòu)HDS USP存儲(chǔ)和Brocade 48000交換機(jī),需要把原HP XP512和HP VA7410上的業(yè)務(wù)和數(shù)據(jù)遷移到新存儲(chǔ)上.原環(huán)境有兩套MC/SG群集,分別是兩臺(tái)RP8420的群集1,兩臺(tái)RP7410和一臺(tái)Superdome的三機(jī)群集2.

方案分幾步走,第一天把群集1的備機(jī)和群集2的一臺(tái)Rp7410備機(jī)拆到HDS USP上,接下來(lái)數(shù)據(jù)復(fù)制到HDS USP上.原系統(tǒng)仍提供服務(wù).
第二天停業(yè)務(wù)把增量數(shù)據(jù)復(fù)制到HDS USP上,遷移應(yīng)用系統(tǒng),由兩臺(tái)連新存儲(chǔ)的主機(jī)提供服務(wù).
接下來(lái)的幾天做測(cè)試,如果測(cè)試失敗則回退到原來(lái)環(huán)境.
測(cè)試階段完成后再把群集1里剩下的一臺(tái)RP8420和群集2里的Superdome移到新存儲(chǔ)上來(lái).然后新環(huán)境重新做兩套群集.原群集2里剩下那臺(tái)RP7410單機(jī)跑次要業(yè)務(wù).


第一天,兩臺(tái)機(jī)器cmhaltnode后把HBA卡的光纖連到Brocade 48000交換機(jī)上,HDS工程師從USP上做MAP.然后ioscan,insf認(rèn)出日立的盤后安裝HDLM,配多路徑,按要求重啟系統(tǒng).
這樣就可以用/usr/DynamicLinkManager/bin/dlnkmgr view -lu命令看到LDEV和盤符的關(guān)系了.注意在群集里不同的主機(jī)上生成的盤符可能不同,只要對(duì)應(yīng)相同的LDEV,那就是同一個(gè)LUN.而且HDLM做出來(lái)的盤符與HPUX缺省的cXtYdZ不同了,是chXtYdZ在做MC/SG時(shí)與傳統(tǒng)的方法不同了.完成后客戶自已復(fù)制數(shù)據(jù).

第二天停業(yè)務(wù)后客戶把增量數(shù)據(jù)復(fù)制到HDS USP上,遷移應(yīng)用系統(tǒng),用兩臺(tái)連新存儲(chǔ)的主機(jī)提供服務(wù).工程師在現(xiàn)場(chǎng)整個(gè)晚上就建了幾個(gè)VG,等了一個(gè)通宵.

過(guò)了幾天遷另一臺(tái)RP8420和Superdome遇到的麻煩就多啦.
由于第二臺(tái)RP8420需要同時(shí)連VA7410和USP,HDS工程師做HDLM多路徑時(shí)沒(méi)把VA7410的LUN全部排除掉,引起宕機(jī)半夜把HP原廠工程師也叫了過(guò)來(lái),排除故障都已經(jīng)快臨晨4點(diǎn)了.Superdome的HPUX 11.11版本又太老,沒(méi)升級(jí)補(bǔ)丁,新版HDLM裝不上,生產(chǎn)系統(tǒng)又不能隨意打補(bǔ)丁.又搞了好長(zhǎng)時(shí)間,好不容易找到一套老版HDLM裝上.客戶申請(qǐng)的停機(jī)時(shí)間也到了,只能停下來(lái)恢復(fù)成第二天的狀態(tài),兩套群集只能配一下不能啟了.下面是配群集的過(guò)程

先做節(jié)點(diǎn)間的信任關(guān)系,/.rhosts和/etc/hosts文件,然后用ping,nslookup,rlogin,arp,netstat一一測(cè)試通過(guò).
在新節(jié)點(diǎn)上做
mkdir /dev/applyvg
mknod /dev/applyvg/group c 64 0x020000
注意這里的0x020000最好與主節(jié)點(diǎn)一致.
在已經(jīng)提供服務(wù)的主機(jī)上做
vgexport -v -p -m /tmp/applyvg.map -f /tmp/applyvg.out applyvg
注意這里沒(méi)有-s參數(shù)了,-f參數(shù)導(dǎo)出盤符.然后把MAP和OUT文件rcp到另一節(jié)點(diǎn)上,先在兩個(gè)節(jié)點(diǎn)上分別執(zhí)行
/usr/DynamicLinkManager/bin/dlnkmgr view -lu
確認(rèn)新節(jié)點(diǎn)的LDEV對(duì)應(yīng)的chXtYdZ盤符,以此對(duì)applyvg.out進(jìn)行改動(dòng).完成后執(zhí)行
vgimport -v -m /tmp/applyvg.map -f /tmp/applyvg.out /dev/applyvg
建鎖盤,鎖盤雖然也在USP上,但不做HDLM多路徑,盤符仍是原來(lái)的cXtYdZ.兩個(gè)節(jié)點(diǎn)上分別執(zhí)行
mkdir /dev/vglock
mkmod /dev/vglock/group c 64 0x030000
在任一節(jié)點(diǎn)上執(zhí)行
pvcreate /dev/rdsk/c33t6d0
vgcreate /dev/vglock /dev/dsk/c33t6d0 /dev/dsk/c43t6d0
這里要把兩條路徑都加入VG
vgexport -v -p -s -m /tmp/vglock.map vglock
把MAP文rcp到另一節(jié)點(diǎn)上執(zhí)行
vgimport -v -s -m /tmp/vglock.map /dev/vglock


配置Cluster
先在一臺(tái)RP8420上清空/etc/cmcluster然后執(zhí)行
cmquerycl -v -C /etc/cmcluster/cluster.conf -n app1 -n app2
返回網(wǎng)絡(luò)權(quán)限錯(cuò)誤,用ping,nslookup,rlogin,arp,netstat測(cè)試找不到原因.兩臺(tái)RP8420的群集就做不下去了.

在Superdome上清空/etc/cmcluster然后執(zhí)行
cmquerycl -v -C /etc/cmcluster/cluster.conf -n db1 -n db2
成功生成/etc/cmcluster/cluster.conf文件,按實(shí)際環(huán)境改了后做
cmcheckconf -v -k -C /etc/cmcluster/cluster.conf
居然返回原來(lái)三機(jī)群集的Check信息.估計(jì)原配置信息沒(méi)刪除干凈,但又找不到在哪里,Superdome和RP7410的群集也做不下去了.

想到用cmdeleteconf來(lái)刪除Superdome上的原配置信息,但環(huán)境已經(jīng)改變,連hostname都更改了.估計(jì)不能解決問(wèn)題,也沒(méi)敢這樣做.Google上也搜不到相關(guān)資料.第二天打HP800電話問(wèn)了才知道配置信息是保存在群集每個(gè)節(jié)點(diǎn)上,刪除時(shí)必需每個(gè)節(jié)點(diǎn)都要?jiǎng)h干凈,我只清空了一個(gè)節(jié)點(diǎn)的/etc/cmcluster.不管做cmquerycl還是cmcheckconf都會(huì)到其它節(jié)點(diǎn)上去找原配置的二進(jìn)制文件.所以這里的故障現(xiàn)象雖然完全不同,原因卻是相同的.

接下來(lái)第二天晚上做就太順利了
在兩臺(tái)RP8420上清空/etc/cmcluster然后執(zhí)行
cmquerycl -v -C /etc/cmcluster/cluster.conf -n app1 -n app2
成功生成/etc/cmcluster/cluster.conf文件,按實(shí)際環(huán)境改了后做
cmcheckconf -v -k -C /etc/cmcluster/cluster.conf
沒(méi)有錯(cuò)誤后執(zhí)行
vgchange -a y vglock
cmapplyconf -v -C /etc/cmcluster/cluster.conf
vgchange -a n vglock
cmruncl-v
確認(rèn)后執(zhí)行
cmhaltcl -f -v
在RP7410和Superdome上清空/etc/cmcluster然后執(zhí)行
cmquerycl -v -C /etc/cmcluster/cluster.conf -n db1 -n db2
成功生成/etc/cmcluster/cluster.conf文件,按實(shí)際環(huán)境改了后做
cmcheckconf -v -k -C /etc/cmcluster/cluster.conf
沒(méi)有錯(cuò)誤后執(zhí)行
vgchange -a y vglock
cmapplyconf -v -C /etc/cmcluster/cluster.conf
vgchange -a n vglock
cmruncl-v
確認(rèn)后執(zhí)行
cmhaltcl -f -v

配置PKG
兩套群集命令都相同
cmmakepkg -p /etc/cmcluster/pkgname/pkgname.ascii
vi /etc/cmcluster/pkgname/pkgname.ascii
cmmakepkg -s /etc/cmcluster/pkgname/pkgname_control.sh
vi /etc/cmcluster/pkgname/pkgname_control.sh
把控制文件pkgname_control.sh通過(guò)rcp到其它節(jié)點(diǎn)
cmcheckconf -v -P /etc/cmcluster/pkgname/pkgname.ascii
沒(méi)有錯(cuò)誤后執(zhí)行
vgchange -c n vglock
vgchange -a y vglock
cmapplyconf -v -P /etc/cmcluster/pkgname/pkgname.ascii
cmruncl -v
測(cè)試應(yīng)用.

總結(jié):
1,做了HDLM多路徑后生成chXtYdZ盤符,在做導(dǎo)出時(shí)去掉-s參數(shù),加上-f參數(shù)
vgexport -v -p -m /tmp/applyvg.map -f /tmp/applyvg.out applyvg
導(dǎo)入時(shí)按本節(jié)點(diǎn)的LDEV對(duì)應(yīng)盤符情況更改out文件,LDEV對(duì)應(yīng)盤符用下面命令確認(rèn)
/usr/DynamicLinkManager/bin/dlnkmgr view -lu
導(dǎo)入時(shí)也得用下面的命令
vgimport -v -m /tmp/applyvg.map -f /tmp/applyvg.out /dev/applyvg
2,刪除原來(lái)群集信息時(shí)一定要在所有節(jié)點(diǎn)上清空/etc/cmcluster,否則會(huì)出現(xiàn)奇奇怪怪的錯(cuò)誤.




本文來(lái)自ChinaUnix博客，如果查看原文請(qǐng)點(diǎn)：http://blog.chinaunix.net/u/4005/showart_473614.html