淺談在VMWare環(huán)境下Solaris + VxVM + VCS 的NFS雙機(jī)服務(wù)安裝測(cè)試過(guò)程

小鷺

昨天終于把虛擬機(jī)vmware下的solaris 10 x86 + vxvm + vcs 雙機(jī)給安裝起來(lái)了，還測(cè)試了一把NFS failover服務(wù)！折騰到半夜1點(diǎn)多，
總結(jié)的教訓(xùn)就是沒(méi)細(xì)看隨軟件包文檔，走了一些彎路，特別是配置NFS 服務(wù)組的時(shí)候，online 資源發(fā)現(xiàn)一些問(wèn)題，
現(xiàn)在都已經(jīng)完美解決了！廢話少說(shuō)，把整個(gè)過(guò)程總結(jié)如下。

一、硬件環(huán)境配置
1). 筆記本, AMD Turion 64 CPU, 3G內(nèi)存，至少留20G空間安裝solaris x86 虛擬機(jī).

二、軟件版本
1). VMWare workstation 6.5 for windows ---->網(wǎng)上可下載
2). solaris 10 x86 u6 版本 --->SUN網(wǎng)站下載
3). Veritas Storage Foundation HA 5.0 for solaris x86-64. 軟件包包含了VCS和VxVM. ---> Symantec 網(wǎng)站可以下載試用版。
   需要另外具備vcs和vxvm liense key.

三、最終安裝結(jié)果
1). 虛擬出共享陣列/磁盤，并讓VxVM控制管理，在DG上劃出一個(gè)Volume，作為VCS雙機(jī)下NFS雙機(jī)共享目錄，實(shí)現(xiàn)Failover 機(jī)制。


四、安裝與配置過(guò)程

1 前提條件：
1). 如果機(jī)器CPU不是支持64位的，Veritas套件肯定是無(wú)法安裝起來(lái)的，我在symantec網(wǎng)站查閱過(guò)版本信息，目前還沒(méi)有支持x86 32位
的版本，如果您機(jī)器不是64位的，請(qǐng)立刻放棄這個(gè)想法，所有的后續(xù)安裝都是徒勞無(wú)功的。
2). 具備第一條件后，還需要vcs和vxvm的license，沒(méi)license就沒(méi)得用，不一定要正式的，demo的也行。

2 安裝Solaris系統(tǒng)，配置共享磁盤
按照常規(guī)步驟安裝Solaris，一共裝2個(gè)做雙機(jī)。一個(gè)個(gè)安裝，復(fù)制的方式大概也行，我沒(méi)試過(guò)，很多人說(shuō)不能用，
也許引起了沖突。所以安裝solaris別怕麻煩，耐心地安裝出2個(gè)系統(tǒng)。
2個(gè)系統(tǒng)都裝完后參考以下配置，沒(méi)列出的基本是默認(rèn)，不指明了。簡(jiǎn)稱A，B機(jī)

1) 增加網(wǎng)卡
   A,B機(jī)配置
    分別有4個(gè)虛擬網(wǎng)卡，全部Custom模式，選擇一個(gè)虛擬網(wǎng)絡(luò)，配置成host-only.
2) 創(chuàng)建虛擬共享磁盤/陣列
   A，B系統(tǒng)全部停掉，在A系統(tǒng)上增加若干個(gè)磁盤，比如我增加了9個(gè)，挺爽！
   最好都選scsi接口，并分配空間。然后在B系統(tǒng)上導(dǎo)入這些增加的磁盤，參數(shù)都選默認(rèn)。
   接下來(lái)要修改虛擬系統(tǒng)的參數(shù)，首先退出vmware，進(jìn)入到A,B系統(tǒng)的存放目錄，打開(kāi)后綴名為 .vmx文件，
   修改配置如下, 下面的配置只挑其中一個(gè)說(shuō)明，另外一個(gè)參考此文件很容易改了。
   
說(shuō)明：虛線內(nèi)的內(nèi)容復(fù)制到vmx文件
----------------
disk.locking = "FALSE"
diskLib.dataCacheMaxSize = "0"
----------------


scsi0.sharedBus = "virtual"
scsi0:1.present = "TRUE"
scsi0:1.fileName = "D:\shared_disks\coordinator01.vmdk"
說(shuō)明：虛線內(nèi)的內(nèi)容復(fù)制到vmx文件
------------------------------
scsi0:1.mode = "persistent"
scsi0:1.shared = "TRUE"
scsi0:1.redo = ""
------------------------------

  第二處增加的內(nèi)容要針對(duì)增加的scsi硬盤的掛載位置做相應(yīng)修改。比如你增加的硬盤內(nèi)容如下
  
  scsi1:3.present = "TRUE"
  scsi1:3.fileName = "D:\shared_disks\coordinator01.vmdk"
  
  那么就增加下面的三行
  scsi1:3.mode = "persistent"
  scsi1:3.shared = "TRUE"
  scsi1:3.redo = ""

全部修改完成后，這些增加的虛擬硬盤就是作為共享陣列了！還弄不明白的，請(qǐng)搜索一下vmware相關(guān)資料。
啟動(dòng)solaris系統(tǒng)，vmware會(huì)報(bào)什么cluster功能不支持的錯(cuò)誤，別管它，照樣玩的通！


3.安裝VxVM
最省時(shí)間的方法就是一次對(duì)A，B倆系統(tǒng)同時(shí)開(kāi)始安裝VxVM，5.0版本是支持這樣做到。具體的配置說(shuō)明這里就
不說(shuō)了，總結(jié)一下就是
1) 要配置ssh 認(rèn)證，修改/etc/ssh/sshd_config,允許root登錄，另外服務(wù)sftp是正常的。
    PermitRootLogin yes
    Subsystem       sftp    /usr/lib/ssh/sftp-server
2) 在存放安裝包的系統(tǒng),假設(shè)是A，生成dsa 驗(yàn)證碼，并存到B上，這樣只要在A上開(kāi)始安裝vxvm，B也可以被照顧到了。
    # ssh-genkey -t dsa
    把/.ssh/id_dsa.pub 文件傳到B上，內(nèi)容復(fù)制到/.ssh/authorized_keys 文件。
   
    A系統(tǒng)執(zhí)行如下2個(gè)命令
    # exec /usr/bin/ssh-agent $SHELL
    # ssh-add
    在A系統(tǒng)驗(yàn)證ssh是否無(wú)需密碼可以直接登錄
    # ssh -l root solB uname -a
    如果上面的命令沒(méi)有提示密碼，恭喜！可以開(kāi)始安裝VxVM了。請(qǐng)參考指導(dǎo)書安裝。
3) 安裝之后發(fā)現(xiàn)A，B兩個(gè)系統(tǒng)識(shí)別的共享盤有錯(cuò)誤，A正常，B在vxdisk list顯示 udid_mismatch, 查證veritas
    資料說(shuō)是bug，要安裝MP3補(bǔ)丁，安裝之后果然都好了。
4）另外創(chuàng)建dg和劃volume都不說(shuō)了吧，大把資料可以查，不是這里講的重點(diǎn)。劃出個(gè)vol1，然后A，B都deport，import
    一下dg，同步信息。
        
4.安裝VCS
其實(shí)VxVM和VCS可以同時(shí)安裝，Storage Foundation的安裝菜單已經(jīng)有這樣的選項(xiàng)了，我擔(dān)心一個(gè)安裝不成功會(huì)干擾其他的，
所以是分開(kāi)裝的。對(duì)ssh配置修改和VxVM的安裝是一模一樣的。指定了cluster的一些參數(shù)，比如cluster name，心跳網(wǎng)卡，
安裝起來(lái)還是挺順利的。不知道為什么Windows Console客戶端連接不上VCS了，這個(gè)問(wèn)題沒(méi)解決。web方式也聯(lián)不上，應(yīng)該是
配置沒(méi)做好.
總結(jié)：心跳網(wǎng)卡一定要A，B各指定2個(gè)。


5.配置NFS雙機(jī)服務(wù)

NFS雙機(jī)服務(wù)是VCS完全支持的功能，系統(tǒng)自帶了agent，不需要額外再去寫啟動(dòng)腳本了，唯一要做的就是把這個(gè)NFS通過(guò)命令
搭建出來(lái)。
需要?jiǎng)?chuàng)建、修改的東西
1) A,B兩邊都創(chuàng)建一個(gè)目錄，作為共享掛載。
   # mkdir /nfsshare

2) 對(duì)卷vol1創(chuàng)建文件系統(tǒng)
   # newfs /dev/vx/dsk/datadg/vol1   

3) A，B系統(tǒng)上要禁止solaris控制nfs 服務(wù)，讓vcs來(lái)控制, 這步很重要，否則NFS雙機(jī)服務(wù)會(huì)很不穩(wěn)定。
   # svccfg delete -f svc:/network/nfs/server:default     

4) 使用腳本創(chuàng)建NFS，參考以下內(nèi)容, 符號(hào)--->后面都是命令解釋, 不屬于命令一部分.
   # hagrp -add hanfs    ----->創(chuàng)建service group
   # haconf -makerw      ----->配置文件可讀寫
   # hagrp -modify hanfs SystemList solarisA 1 solarisB 2  ---->group在solarisA和solarisB上運(yùn)行
   # hagrp -autoenable hanfs -sys solarisA
   # hares -add nfsNIC NIC hanfs
   VCS NOTICE V-16-1-10242 Resource added. Enabled attribute must be set before agent monitors
   # hares -modify nfsNIC Enabled 1
   # hares -modify nfsNIC Device e1000g0  --->指定網(wǎng)卡，NFS的服務(wù)IP會(huì)掛在這個(gè)網(wǎng)卡上
   # hares -modify nfsIP Enabled 1
   # hares -modify nfsIP Device e1000g0
   # hares -modify nfsIP Address 192.168.152.133  --->指定服務(wù)IP
   # hares -modify nfsIP IfconfigTwice 1
   # hares -add nfsDG DiskGroup hanfs             ---->DG, 和vxvm的dg聯(lián)系起來(lái)
   VCS NOTICE V-16-1-10242 Resource added. Enabled attribute must be set before agent monitors  
   # hares -modify nfsDG Enabled 1
   # hares -modify nfsDG DiskGroup datadg         ---->配置屬性
   # hares -modify nfsDG StartVolumes 0
   # hares -add nfsVOL Volume hanfs              ---->增加一個(gè)Volume, vol1映射到這個(gè)resource
   # hares -modify nfsVOL Enabled 1
   # hares -modify nfsVOL Volume vol01           --->配置卷vol01
   # hares -modify nfsVOL DiskGroup datadg      
   # hares -add nfsMOUNT Mount hanfs             --->vol01掛載到/nfsshare
   VCS NOTICE V-16-1-10242 Resource added. Enabled attribute must be set before agent monitors
   # hares -modify nfsMOUNT Enabled 1
   # hares -modify nfsMOUNT MountPoint /nfsshare
   # hares -modify nfsMOUNT BlockDevice /dev/vx/dsk/datadg/vol01
   # hares -modify nfsMOUNT FSType ufs          --->指定掛載文件系統(tǒng)類型, 這步曾經(jīng)漏掉了，結(jié)果服務(wù)起不來(lái)
   # hares -modify nfsMOUNT FsckOpt %-n         ---->掛載上后不要fsck，這個(gè)參數(shù)也不能漏
   # hares -add nfsNFS NFS hanfs                --->增加一個(gè)NFS resource
   VCS NOTICE V-16-1-10242 Resource added. Enabled attribute must be set before agent monitors
   # hares -modify nfsNFS Enabled 1
   # hares -modify nfsNFS Nservers 24
   # hares -add nfsSHARE Share hanfs
   VCS NOTICE V-16-1-10242 Resource added. Enabled attribute must be set before agent monitors
   # hares -modify nfsSHARE Enabled 1
   # hares -modify nfsSHARE PathName /nfsshare
   # hares -modify nfsSHARE Options rw
   # hares -link nfsIP nfsNIC        ---->link確定resource父子關(guān)系
   # hares -link nfsVOL nfsDG
   # hares -link nfsMOUNT nfsVOL
   # hares -link nfsSHARE nfsIP
   # hares -link nfsSHARE nfsMOUNT
   # hares -link nfsSHARE nfsNFS
   # haconf -dump -makero

5) 測(cè)試NFS服務(wù)
   測(cè)試過(guò)程比較枯燥，首先每個(gè)resource要probe一下，然后再online. 例如，
   # hares -probe nfsDG -sys solarisA
   # hares -online nfsDG -sys solarisA   
   
   把所有resource都這么做一次，在A機(jī)probe完了還要做B機(jī)的probe, 再online。這樣才能保證兩邊都可以正常切換。
   測(cè)試過(guò)程中如果發(fā)現(xiàn)什么錯(cuò)誤，可以在/var/VRTSvcs/log/目錄下查看日志。

6) 總結(jié)
   有這么一套VCS虛擬雙機(jī)還是不錯(cuò)滴，在上面可以慢慢玩，不用擔(dān)心別人和你搶雙機(jī)環(huán)境了！
   就是很耗內(nèi)存，機(jī)器不夠強(qiáng)勁的，請(qǐng)謹(jǐn)慎安裝。
      

[ 本帖最后由 小鷺 于 2009-3-11 13:43 編輯 ]

w3wu

支持x86嗎？文檔只寫支持x64啊！

小鷺

x86 CPU, 支持64位。比如我的電腦就是這樣。
安裝32 位 xp 即可。

chx203

高手

brucewoo

Good

studyinwork

樓住辛苦了   就是沒(méi)有vcs和vxvm liense key啊
能否給一個(gè)  wzqawp@126.com

多謝�。。。。。。。。。。。。。。。�

fusmou

能不能發(fā)一份vcs和vxvm liense key給我啊，我的郵箱是fusmou@yahoo.com.cn
或dwfushengmou@gd.chinamobile.com
非常感謝！

yoyosys

好東西,頂樓主一個(gè)

yuhuohu

很久沒(méi)見(jiàn)這么強(qiáng)勁的焊鐵了。。。。感謝LZ分享

umacboy

我都冇vcs和vxvm liense key..可以email to me
umacboyvictor@yahoo.com.hk