HP VM實施簡介

cjhvslhb

有一位叫XP24000的兄弟是北京HP的高級工程師，他曾經(jīng)寫過一篇關(guān)于HP VM 虛擬化實施的BOLG，現(xiàn)在
他的BLOG已經(jīng)不在了，所以我轉(zhuǎn)發(fā)在這里請大家看看。


我想通過之后一系列的文章，記錄我整個實驗環(huán)境搭建的過程和思路。包括：
•        系統(tǒng)規(guī)劃設(shè)計
•        VM搭建
•        MC搭建
•        Oracle Single Instance安裝及ECMT集成
•        Oracle RAC安裝及ECMT集成
•        DP安裝及備份策略
•        備份恢復(fù)演練
對于我來說以前全部是從用戶的OS，底層硬件架構(gòu)出發(fā)去闡述技術(shù)問題和安排培訓(xùn)內(nèi)容，這次，采用了一種全新的思路，從APP的角度去看硬件架構(gòu)的部署和如何發(fā)揮硬件最大的利用率。
在動手之前，首先畫了一張藍圖，梳理思路和規(guī)劃僅有的4×73GB空間，確實費了不少功夫。譬如說當(dāng)初考慮使用vgora即做共享數(shù)據(jù)盤，有做鎖盤使用，但是在實際操作過程會發(fā)生MC和Oracle爭搶VG，有譬如當(dāng)初想嘗試使用ASM Failover包，最終還是失敗（其實我認為是可以實現(xiàn)，可能還是和VG的布局有關(guān)），有機會在嘗試嘗試。。等等
  
Single Instance的規(guī)劃大致是以上的樣子。接下來就是“VM搭建”。
Ignite Configuration Step by Step…
0909 DCOE – 8,406,856
1. DVD Disk 1
/opt/ignite/bin/make_depot –s /cdrom –d /var/opt/ignite/depots/Rev_B_11_31/core_media
2. DVD Disk 2&3
swcopy –s /cdrom \* @ /var/opt/ignite/depot/Rev_B_11_31/core_media
3. make config file
/opt/ignite/bin/make_config –s /var/opt/ignite/depots/Rev_B_11_31/core_media –c /var/opt/ignite/depot/Rev_B_11_31/DCOE_11.31_0909
4. update INDEX file
/opt/ignite/bin/manage_index -n "HP-UX B.11.31 Default" -c "HP-UX B.11.31 DCOE 0909"
/opt/ignite/bin/manage_index -a -f /var/opt/ignite/depots/Rev_B_11_31/DCOE_11.31_0909 -c "HP-UX B.11.31 DCOE 0909"
5. Verify and modify config file
/opt/ignite/bin/manage_index -x -c "HP-UX B.11.31 DCOE 0909"
/opt/ignite/bin/manage_index -c "HP-UX B.11.31 DCOE 0909" -y "HP-UX B.11.31 DCOE on 0909"
6. Start Ignite server and config bootpd service
a) /opt/ignite/lbin/setup_server –n
b) remove “bootps” rows in /etc/inetd.conf
c) inetd –c
7. Add Ignite Client info
#vi /etc/bootptab
///////////////////////////////////////////////////////////////////////////
基于我們上次搭建的系統(tǒng)架構(gòu)，我們開始準備VM的配置。
【準備】在安裝之前首先了解一下VM軟件包的組成部分：
• T2767CC — B.04.10 Integrity VM
• T8718AC — B.04.10 Integrity VM 聯(lián)機遷移軟件包，作為一個單獨產(chǎn)品在 Application Software (AR) DVD 中提供。
• VMGuestLib — B.04.10 Integrity VM Guest Support Libraries，作為 HP-UX VSE-OE 的一部分安裝，它是 Integrity VM 必需的軟件。
• VMGuestSW — B.04.10 Integrity VM Guest 虛擬機支持軟件
• VMProvider — 用于 Integrity VM 的 B.04.10 WBEM Provider，允許使用 HP Integrity VM Manager 管理 VM 主機
• VMKernelSW — B.04.10 Integrity VM 內(nèi)核軟件
• PRM-Sw Krn — 作為 HP-UX VSE-OE 的一部分安裝，對于 Integrity VM 而言是必需的
• B8465BA — 用于 HP-UX 的 HP WBEM Services，作為 VSE-OE 的一部分安裝，對于 Integrity VM 而言是必需的
安裝好以上軟件包以后，可以通過hpvminfo或hpvmstatus進行驗證。
【創(chuàng)建虛擬機】
#[/]machinfo      /*Rx2660配置*/
CPU info:
1 Intel(R) Itanium 2 9000 series processor (1.59 GHz, 18 MB)
532 MT/s bus, CPU version C2
2 logical processors (2 per socket)
Memory: 8170 MB (7.98 GB)
Firmware info:
Firmware revision: 04.04
FP SWA driver revision: 1.18
IPMI is supported on this system.
BMC firmware revision: 5.23
Platform info:
Model: "ia64 hp server rx2660"
Machine ID number: 5308cc47-xxxx-xxxx-xxxx-9f4a56188d07
Machine serial number: SGHxxxxxxx
OS info:
Nodename: demo
Release: HP-UX B.11.31
Version: U (unlimited-user license)
Machine: ia64
ID Number: 1393085511
vmunix _release_version:
@(#) $Revision: vmunix: B.11.31_LR FLAVOR=perf
#hpvmnet -c -S sw01 -n 0   /*創(chuàng)建并啟動VSwitch*/
#hpvmnet -S sw01 -b
/*創(chuàng)建Guest，lvol1作為根盤25GB，lvol3作為oradata，存放oracle本地程序5GB*/
#hpvmcreate -P vm01 -O HPUX -c 1 -r 2G -a network:avio_lan::vswitch:sw01 -a disk:avio_stor::lv:/dev/vg01/rlvol1 -a disk:avio_stor::lv:/dev/vg01/rlvol3
#hpvmcreate -P vm02 -O HPUX -c 1 -r 2G -a network:avio_lan::vswitch:sw01 -a disk:avio_stor::lv:/dev/vg01/rlvol2 -a disk:avio_stor::lv:/dev/vg01/rlvol4
#hpvmmodify -P vm01 -a network:lan:0,2:vswitch:sw01  /*添加私有心跳NIC并配置VLAN1000*/
#hpvmmodify -P vm01 -a network:lan:0,2:vswitch:sw01
#hpvmnet -S sw01 -u portid:3:vlanid:1000
#hpvmnet -S sw01 -u portid:4:vlanid:1000
Guest創(chuàng)建完畢，可以通過hpvmstatus檢查狀態(tài)，通過hpvmstart/hpvmstop啟動和停止VM，使用hpvmconsole切換Host/Guest console.
【安裝OS】
使用hpvmmodify -P vm01 -a dvd:scsi::file:/data/5014-1445.iso，將OS安裝文件添加給Guest，便可以通過EFI安裝OS，如果VM Gueat數(shù)量較多，可以使用Ignite Server的方式或Clone OS的方式進行安裝，我以前好像寫過一個Ignite的配置過程。
安裝好兩臺VM以后，需要準備一下他們之間的共享存儲，以便配置MC。
在配置共享存儲之前，先說說VM都支持存儲類型：
虛擬Disk--獨立的Disk或LUN，MC唯一可以支持的共享存儲類型
虛擬LV--Host系統(tǒng)中LV可以作為Guest的虛擬LV設(shè)備，需要使用字符設(shè)備文件名
虛擬File--Host系統(tǒng)中以文件的形式出現(xiàn)，但不支持NFS
虛擬DVD/FileDVD--Guset通過Host的DVD或Host中的iso文件，訪問光盤或安裝介質(zhì)
虛擬外設(shè)--Tape等，其他外設(shè)
VM外設(shè)所支持的驅(qū)動類型：
scsi -- VM bundle的標準驅(qū)動類型
avio_stor -- 需要單獨安裝的驅(qū)動程序包，可以明顯的提升存儲訪問的性能，同理還有avio_lan的驅(qū)動
#swlist|grep -i avio
  GuestAVIOStor                 B.11.31.0909   HPVM Guest AVIO Storage Software
  GuestAvioLan                  B.11.31.0909   HPVM Guest AVIO LAN Software
  HostAVIOStor                  B.11.31.0909   HPVM Host AVIO Storage Software
  HostAvioLan                   B.11.31.0909   HPVM Host AVIO LAN Software
【配置】
#hpvmdevmgmt -a gdev:/dev/rdisk/disk?
#hpvmdevmgmt -m gdev:/dev/vg01/rlvrdisk/disk?:attr:SHARE=YES
#hpvmdevmgmt -l all      /*確認vmdev表已經(jīng)記錄并更新了該共享設(shè)備*/
#hpvmmodify –P vm01 –a disk:avio_stor::disk:/dev/rdisk/disk?
#hpvmmodify –P vm02 –a disk:avio_stor::disk:/dev/rdisk/disk?
【原理】
為什么只有Disk/Lun才可以支持MC的共享存儲？
因為共享存儲需要在Guest之間進行訪問（激活）的切換，只有VG級別的設(shè)備可以完成Active/Deavtive的動作。
Guest使用共享 I/O 體系結(jié)構(gòu)這種方式來訪問Host提供的完全虛擬化的存儲子系統(tǒng)，Guest存儲子系統(tǒng)模擬Host的實際硬件，同時與Host交互來完成對Host存儲實
體的I/O 操作。Host于Guest之間的連接有共享IO和連接IO的區(qū)別，只有共享IO可以完全控制整個Host的IO子系統(tǒng)，從而完成VG級別的操作。
存儲多路徑的支持？
只能在 VM Host上對所有虛擬 I/O 進行負載均衡和多路徑管理，以實現(xiàn)最佳的總體性能，Guest不建議也無法支持多路徑管理，對于硬件路徑錯誤，VM Host不會向 Guest返回具體的錯誤。

繼續(xù)。。。進入MC的實施階段，先說些題外話，其實MC在經(jīng)歷很多版本以后，并沒有發(fā)生很大的變化，我記得最在接觸時是11.0x版本，然后是07，09，13，14印象中都接觸過，最新的版本是11.18和11.19，同時在MC的周圍也衍生出了很多插件產(chǎn)品，簡單理解插件=“復(fù)雜腳本”，產(chǎn)品=“可以賣錢”，從最早的MC for NFS, Fast Failover, OPS到比較新的for RAC，SAP，再到一些腳本的集合譬如ECMT，產(chǎn)品集合SMS等等。。。在整個MC軟件的演變和發(fā)展過程中，基本的HA理念和HA架構(gòu)沒有任何的變化（忽略架構(gòu)的介紹，又興趣可以google一下，類似的資料很多），只不過是產(chǎn)品越來越細分，但是到了11.18以后出現(xiàn)了multi-package和dependance-package，出現(xiàn)了lagency和modular package的概念，同時對第三方產(chǎn)品的集成能力進一步加強，同時也增加了對MC配置的要求，個人認為已經(jīng)完全脫離以前的配置方法，完全應(yīng)該站在App的角度去考慮和部署，還像以前那種quary/modify/apply的三板斧已經(jīng)完全過時了。。。
在配置MC之前，先配置QS（Quorum Server），用于節(jié)點間的心跳枚舉，以代替兩節(jié)點集群中的鎖盤。我們將QS部署在VM Host中。
【QS下載】
下載地址：https://h20392.www2.hp.com/porta ... oductNumber=B8467BA
【配置QS】
1) Insure the quorum server allows "hacl" traffic on network port 1238.
2) Verify the quorum server entry in /etc/inittab:
   qs:345:respawn:/usr/lbin/qs >> /var/adm/qs/qs.log 2>&1
3) If the 'qs' daemon is not running, start it:
   # init q
   Verify the quorum server is running:
   # cat /var/adm/qs/qs.log
4) Add the cluster node names to the quorum server's authentication file
   /etc/cmcluster/qs_authfile
5) Make the quorum server re-read the authentication file:
   # /usr/lbin/qs -update

【配置MC】
1) # cmquerycl -c cluster.ascii  -n node1 -n node2 -q <QS IP>
   The cluster ASCII file that is generated contains parameters for defining
   the quorum server.  A portion of the file is shown below:
# Quorum Server Parameters. Use the QS_HOST, QS_POLLING_INTERVAL,
# and QS_TIMEOUT_EXTENSION parameters to define a quorum server.
# The QS_HOST is the host name or IP address of the system
# that is running the quorum server process.  The
# QS_POLLING_INTERVAL (microseconds) is the interval at which
# The optional QS_TIMEOUT_EXTENSION (microseconds) is used to increase
# the time interval after which the quorum server is marked DOWN.
#
# The default quorum server interval is calculated from the
# ServiceGuard cluster parameters, including NODE_TIMEOUT and
# HEARTBEAT_INTERVAL. If you are experiencing quorum server
# timeouts, you can adjust these parameters, or you can include
# the QS_TIMEOUT_EXTENSION parameter.
#
# For example, to configure a quorum server running on node
# "qshost" with 120 seconds for the QS_POLLING_INTERVAL and to
# add 2 seconds to the system assigned value for the quorum server
# timeout, enter:
#
# QS_HOST qshost
# QS_POLLING_INTERVAL 120000000
# QS_TIMEOUT_EXTENSION 2000000
The QS_HOST should be pre-loaded.
If the quorum server is on a different network, it may be helpful to adjust
the QS_POLLING_INTERVAL and, if desired, a QS_TIMEOUT_EXTENSION.
QS_HOST <QS IP>  <--- as specified in the cmquerycl command
QS_POLLING_INTERVAL 120000000   <--- Edit this
QS_TIMEOUT_EXTENSION 2000000   <--- Edit this
2) Customize the rest of the cluster.ascii file:
CLUSTER_NAME            <your cluster name>
NODE_TIMEOUT            8000000  (recommended value)
MAX_CONFIGURED_PACKAGES         <your setting>
3) Apply the cluster.ascii file (with the cluster down):
    cmapplyconf -C cluster.ascii
   (Add references to package configuration files if necessary.)
4) Verify that the cluster recognizes the quorum server:
# cmviewcl
  or
# cmviewconf
接下來需要考慮package的配置了。
我測試的都是基于ASM方式的磁盤管理方式，無論是SI（Sigle Instance）還是RAC。但是在SI的架構(gòu)中使用的是lagency的包管理方式，在RAC中使用的集成ECMT的modular的包管理方式
【環(huán)境】
數(shù)據(jù)庫采用的是Oracle 11g R1 SI ASM+SLVM方式。
數(shù)據(jù)庫應(yīng)用程序都安裝在本地： /app
共享VG：vgora
ASM Disk Group：ASM_Group (/dev/vgora/ora_asm1 5G | /dev/vgora/ora_asm2 5G)
【安裝順序】
配置MC
安裝Oracle Software Only
配置asm package /*ASM包作用激活VG，啟動ASM Instance*/
#cmmakepkg -m sg/failover -m sg/volume_group –m sg/external asm.conf
#chmod –R 555 /etc/cmcluster/asm
#vi asm.conf
#rcp asm.sh vm02:/etc/cmcluster/asm
#cmapplyconf -P asm.conf
配置ora package /*ORA包作用dependance ASM包，加載浮動ip，啟動監(jiān)聽，啟動數(shù)據(jù)庫*/
#cmmakepkg -m sg/failover –m sg/dependency –m sg/package_ip –m sg/external ora.conf
#chmod –R 555 /etc/cmcluster/ora
#vi ora.conf
#rcp ora.sh vm02:/etc/cmcluster/ora
#cmapplyconf -P ora.conf
配置之前需要考慮好對應(yīng)包需要使用的modular，最好不要使用sg/all參數(shù)，過多的參數(shù)需要維護并不明智，理解清楚每個包的dependance關(guān)系。需要調(diào)用對應(yīng)的asm.sh和ora.sh腳本啟動和停止應(yīng)用程序（腳本我是從ECTM腳本中提取的）
【腳本】

切換測試…OK
終于有空繼續(xù)完成上次的話題了。先說幾句題外話，隨著Oracle 11gR2 for HPUX的發(fā)布，Oracle的野心也越來越顯露了，通過ASM去控制Oracle涉及到的所有存儲媒介，確實不等不佩服Oracle的切入點，十分的準確，進一步推出自己的ACFS，可以看出Oracle通過控制文件存儲的方式成功遏制住所有廠商，逐漸放棄LVM，放棄VxVM，之前的ASM是第一步，而后的ACFS是第二步（IBM已經(jīng)宣布支持ACFS，HP還在猶豫。。。），同樣對于基礎(chǔ)架構(gòu)的滲入也越來越明顯，Gird 2.0，OVM漸漸滲透入一些主機虛擬化的解決方案，到時候就會更加有意思了。。。

關(guān)于Oracle Rac 10/11g R1 for HPUX：
存儲方面基于ASM的管理方式，大致有三種solution，分別是SLVM，Raw Device，CFS方式
網(wǎng)絡(luò)方面，需要考慮各種HB的組合，以下是一種常見的配置，但是需要注意滿足CLUSTER_INTERCONNECT_SUBNET網(wǎng)絡(luò)的帶寬，這個十分重要。

HA方面，大致的包配置組合方式如下，使用MCeRAC+ECMT：

實際簡單來說就是ASM MNP + DB MNP， MC負責(zé)監(jiān)控本地網(wǎng)絡(luò)和其他硬件故障，啟動和監(jiān)控CRS進程，ASM包負責(zé)激活存儲，啟動ASM進程，DB包負責(zé)啟動監(jiān)聽和數(shù)據(jù)庫實例。這樣架構(gòu)一下就簡單多了，當(dāng)然這只是一個大體的框架，建議使用ECMT的腳本，具體如何使用可以參考ECMT中的Help腳本，建議仔細閱讀。

cjhvslhb

圖片貼不上來，原文在
http://xp24000.spaces.live.com