RHEL4 U5 + CLUSTER4.5 + GFS4.5 + Oracle10g HA調(diào)試文檔（一）

literr

RHEL4 U5 + CLUSTER4.5 + GFS4.5 + Oracle10g  HA調(diào)試文檔

一、客戶需求
客戶的數(shù)據(jù)庫跑的業(yè)務(wù)是營收帳Boss系統(tǒng),對數(shù)據(jù)安全要求較高,需要做oracle的HA(主備),客戶屬于經(jīng)濟(jì)不發(fā)達(dá)地區(qū),希望項目費用精簡.

二、項目分析
經(jīng)過分析,本例項目解決方案,采用RedHat EL4 U5配合Cluster Suite4.5套件,實現(xiàn)一主一備的Oracle10g的HA高可用集群.使用GFS文件系統(tǒng)來格式化磁盤陣列柜.
采用RedHat Linux系統(tǒng)的優(yōu)點在于,成本經(jīng)濟(jì),系統(tǒng)穩(wěn)定,技術(shù)支持較多,且包含Cluster集群套件,更有g(shù)fs全局文件系統(tǒng)對數(shù)據(jù)庫等使用共享存儲空間的支持優(yōu)勢.
RHCS: Red Hat Cluster Suite 是一款能夠提供高性能、高可靠性、負(fù)載均衡、高可用性且經(jīng)濟(jì)廉價的集群工具集,本項目使用其組件之一:高可用集群(HA). 高可用集群通過消除單一故障點和節(jié)點故障轉(zhuǎn)移功能(當(dāng)一個集群節(jié)點失敗后將服務(wù)轉(zhuǎn)移到其他節(jié)點上)來提供高可用性.節(jié)點故障轉(zhuǎn)移功能對客戶端是透明的,當(dāng)節(jié)點失敗后客戶端并不會看到節(jié)點之間的服務(wù)轉(zhuǎn)移.Red Hat Cluster Suite通過高可用服務(wù)管理組件來提供一個高可用集群.
    GFS: Global File System為Red Hat Cluster Suite提供一個集群文件系統(tǒng),CFS允許多個節(jié)點在塊級別上共享存儲.

三、軟硬件歸檔
(1)、硬件平臺:
HP DL380服務(wù)器2臺
CPU:2個Intel(R) Xeon(TM) CPU 2.80GHz;
MEM :4G ;
HardDisk: 72.8 GB
HP Modular Smart Array 500G2磁盤陣列柜1套

(2)、軟件平臺:
RHEL 4 U5、Cluster Suite4.5、GFS Suite4.5、Oracle10g、SSH客戶端、VNC客戶端、Oracle10g客戶端、PL/SQL、Oracle10g for RedHat 腳本

四、軟件獲取
(1)、RHEL 4 U5:5張CD光盤
Cluster Suite4.5 :1張CD光盤
GFS Suite4.5:1張CD光盤
以上7張光盤可向RedHa代理商索取.

(2)、以下軟件可網(wǎng)上下載:
Oracle10gracle網(wǎng)站下載,文件名10201_database_linux32.zip
SSH客戶端:SSHSecureShellClient-3.2.9
VNC客戶端:HA-vnc-4.0-x86_win32-KC
Oracle10g客戶端:10g_win32_db.zip
PL/SQL(oracle工具)L/SQL Developer 7.0
Oracle10g for RedHat 腳本:內(nèi)容見附件

五、IP地址、主機(jī)名規(guī)劃
服務(wù)器1: 公網(wǎng):192.168.16.201/24   私網(wǎng)(心跳):10.10.10.201/24 主機(jī)名smsdb01.scn.com
服務(wù)器2: 公網(wǎng):192.168.16.202/24   私網(wǎng)(心跳):10.10.10.202/24主機(jī)名smsdb02.scn.com
Cluster虛IP:192.168.16.203


六、安裝調(diào)試步驟一覽
Ⅰ、服務(wù)器、磁盤柜的硬件安裝
Ⅱ、RedHat操作系統(tǒng)安裝
Ⅲ、上傳軟件
Ⅳ、Cluster Suite安裝與GFS Suite安裝,自啟動服務(wù)設(shè)置,測試Cluster
Ⅴ、給磁盤柜分區(qū)、建立邏輯卷,并以GFS文件系統(tǒng)格式化磁盤柜的邏輯卷,掛載GFS分區(qū)等
Ⅵ、Oracle10g For Linux安裝
Ⅶ、Oracle10g For Linux建數(shù)據(jù)庫
Ⅷ、Oracle10g手工測試
Ⅸ、Cluster配置、虛IP測試
Ⅹ、Cluster + Oracle10g聯(lián)合測試

七、實際操作步驟

Ⅰ、服務(wù)器、磁盤柜的硬件安裝
服務(wù)器上架:客戶與廠商負(fù)責(zé)
磁盤陣列上架及連接服務(wù)器:客戶與廠商負(fù)責(zé)

Ⅱ、RedHat操作系統(tǒng)安裝
兩臺服務(wù)器要完全一致,除IP地址、主機(jī)名等;
選擇中文與英文2種語言支持,默認(rèn)英文;
硬盤72G,劃分三個區(qū) / 根分區(qū)25G,SWAP分區(qū)2G,剩余空間給/home分區(qū);
把識別出來的HP Modular Smart Array 500G2磁盤柜,全部都劃分為LVM邏輯卷,或者不劃分,等操作系統(tǒng)裝好之后再用fdisk劃分;
2塊網(wǎng)卡分別設(shè)置靜態(tài)IP地址,具體見“第五節(jié)”;
默認(rèn)時區(qū):亞洲/上海
不裝防火墻;使用SELINUX;
軟件安裝要求windows 、Gnome、開發(fā)包、administartor tools 、system tools(加裝vnc服務(wù))等;

Ⅲ、上傳軟件
在本地筆記本電腦中安裝SSHSecureShellClient-3.2.9
(順便安裝VNC客戶端HA-vnc-4.0-x86_win32-KC、Oracle10g客戶端10g_win32_db.zip、PL/SQL(oracle工具)L/SQL Developer 7.0)
打開SSHSecureShell,以root用戶分別SSH連接到服務(wù)器1與服務(wù)器2,在每臺服務(wù)器的root根目錄下建立如下目錄:
/root/ cluster4.5
/root/GFS4.5
/root/oracle10g
利用SSHSecureShell的FTP工具
將cluster4.5光盤中的全部文件,分別上傳到服務(wù)器1與服務(wù)器2的/root/ cluster4.5目錄;
將GFS4.5光盤中的全部文件,分別上傳到服務(wù)器1與服務(wù)器2的/root/ GFS4.5目錄;
將10g_win32_db.zip,分別上傳到服務(wù)器1與服務(wù)器2的/root/ oracle10g目錄;

Ⅳ、Cluster Suite安裝與GFS Suite安裝
(1)、啟動遠(yuǎn)程桌面服務(wù)連接(本項目遠(yuǎn)程連接桌面使用vnc,未使用xmanger)
在服務(wù)器1與服務(wù)器2上,分別以root用戶執(zhí)行以下命令,目的是啟動vnc服務(wù)器端,使得可以遠(yuǎn)程打開redhat的gnome桌面
[root@smsdb01 /]#vncserver :1
[root@smsdb02 /]#vncserver :1
提示配置vnc服務(wù)的密碼,本項目中密碼為******
說明:此舉將在當(dāng)前用戶root的目錄下創(chuàng)建了.vnc目錄,以及xstartup配置文件.在這里要說明一下,第一次執(zhí)行vncserver命令啟動vnc服務(wù)器端,用vnc客戶端連接遠(yuǎn)程桌面時,因一些vnc服務(wù)器端的配置參數(shù)未配置,登陸遠(yuǎn)程桌面色彩等達(dá)不到使用要求,因此:
[root@smsdb01 /]#vi ~/.vnc/xstartup
把下列2句前的#號的注釋去掉
#unset SESSION_MANAGER
#exec /etc/X11/xinit/xinitrc
把
twm &
句前加上#號注釋掉,并加上以下一句
startx &
保存退出
查詢vnc進(jìn)程號,殺掉當(dāng)前vncsever進(jìn)程,重新啟動vnc服務(wù)
[root@smsdb01 /]#ps –ef |grep vnc
[root@smsdb01 /]#vncserver -kill :1
[root@smsdb01 /]# vncserver :1
說明:因linux屬于多進(jìn)程服務(wù)的操作系統(tǒng),因此linux下的vnc服務(wù)進(jìn)程,后面有一個進(jìn)程號.
現(xiàn)在可以用vnc客戶端遠(yuǎn)程連接兩臺服務(wù)器了.

(2)、:安裝Cluster Suite與GFS Suite

A、安裝Cluster Suite
Vnc連接到服務(wù)器1與服務(wù)器2,打開終端,進(jìn)入Cluster的目錄,
[root@smsdb01 /]#cd /root/cluster4.5
執(zhí)行以下命令,給當(dāng)前的目錄下及子目錄下所有文件可執(zhí)行權(quán)限
[root@smsdb01 cluster4.5]#chmod +x –R *
或者
[root@smsdb01 cluster4.5]#chmod 755 –R *
執(zhí)行安裝
[root@smsdb01 cluster4.5]#./autorun
將彈出cluster安裝的對話窗口,一步一步按提示往下走,把所有cluster套件(32個包)全部裝上.
注:安裝過程中,將提示分別插入redhat linuxAS4 U5的第4張和第2張盤(各2次).

B、安裝GFS Suite
Vnc連接到服務(wù)器1與服務(wù)器2,打開終端,進(jìn)入Cluster的目錄,
[root@smsdb01 /]#cd /root/GFS4.5
執(zhí)行以下命令,給當(dāng)前的目錄下及子目錄下所有文件可執(zhí)行權(quán)限
[[root@smsdb01 GFS4.5]#chmod +x –R *
或者
[root@smsdb01 GFS4.5]#chmod 755 –R *
執(zhí)行安裝
[root@smsdb01 GFS4.5]#./autorun
將彈出GFS安裝的對話窗口,一步一步按提示往下走,把所有GFS套件(16個包)全部裝上.

(3)、將cluster與GFS的各項服務(wù)設(shè)置開機(jī)自啟動
在兩臺服務(wù)器上分別執(zhí)行以下命令
[root@smsdb01 /]#chkconfig --add cman
[root@smsdb01 /]#chkconfig --add ccsd
[root@smsdb01 /]#chkconfig --add clvmd
[root@smsdb01 /]#chkconfig --add rgmanager
[root@smsdb01 /]#chkconfig --add gfs
[root@smsdb01 /]#chkconfig --add fenced

[root@smsdb01 /]#chkconfig ccsd on
[root@smsdb01 /]#chkconfig cman on
[root@smsdb01 /]#chkconfig clvmd on
[root@smsdb01 /]#chkconfig rgmanager on
[root@smsdb01 /]#chkconfig gfs on
[root@smsdb01 /]#chkconfig fenced on

Ⅴ、給磁盤陣列柜LVM分區(qū)、建立邏輯卷

(1)、檢查當(dāng)前服務(wù)器的硬盤與磁盤陣列掛接(在服務(wù)器1上執(zhí)行)
[root@smsdb01 /]# fdisk -l
Disk /dev/cciss/c0d0: 72.8 GB, 72833679360 bytes
255 heads, 32 sectors/track, 17433 cylinders
Units = cylinders of 8160 * 512 = 4177920 bytes
Device Boot      Start         End      Blocks   Id  System
/dev/cciss/c0d0p1   *           1        6275    25601984   83  Linux
/dev/cciss/c0d0p2            6276        6776     2044080   82  Linux swap
/dev/cciss/c0d0p3            6777       17433    43480560   83  Linux

Disk /dev/cciss/c1d0: 599.9 GB, 599998871552 bytes
255 heads, 63 sectors/track, 72945 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot      Start         End      Blocks   Id  System

(2)、發(fā)現(xiàn)/dev/cciss/c1d0(容量600G)磁盤陣列,給/dev/cciss/c1d0分區(qū)
[root@smsdb01 /]# fdisk /dev/cciss/c1d0

The number of cylinders for this disk is set to 72945.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
   (e.g., DOS FDISK, OS/2 FDISK)

Command (m for help):

輸入m查看當(dāng)前可用命令,輸入p可查看當(dāng)前磁盤分區(qū)情況,輸入n可建立新的分區(qū),等等
我們輸入p
Command (m for help): p

Disk /dev/cciss/c1d0: 599.9 GB, 599998871552 bytes
255 heads, 63 sectors/track, 72945 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

           Device Boot      Start         End      Blocks   Id  System
可以看到,當(dāng)前沒有分區(qū),我們輸入n,建立一個新的分區(qū)

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
輸入e建立擴(kuò)展分區(qū),輸入p建立主分區(qū),由于我們要把oracle的數(shù)據(jù)庫建立在共享磁盤上,沒有其他用途,所以,我們只建立一個主分區(qū)即可,輸入p
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4):
輸入主分區(qū)號,值為1-4,我們輸入1
Partition number (1-4): 1   
Partition 1 is already defined.  Delete it before re-adding it.
注意:主分區(qū)我已經(jīng)事先建立好了,這里只是演示一下
輸入p,查看一下
Command (m for help): p

Disk /dev/cciss/c1d0: 599.9 GB, 599998871552 bytes
255 heads, 63 sectors/track, 72945 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

           Device Boot      Start         End      Blocks   Id  System
/dev/cciss/c1d0p1   *           1       72945   585930681   83  Linux

注意:因為要建立動態(tài)磁盤系統(tǒng),以使GFS格式化磁盤陣列柜后可以動態(tài)調(diào)整分區(qū)大小,因此需要將剛建立的主分區(qū)類型更改為8e,即lvm類型的動態(tài)磁盤分區(qū).
輸入t
Command (m for help): t
Selected partition 1
Hex code (type L to list codes):
輸入8e
Command (m for help): t
Selected partition 1
Hex code (type L to list codes): 8e
檢查一下,輸入p,見下面的紅色字體
Disk /dev/cciss/c1d0: 599.9 GB, 599998871552 bytes
255 heads, 63 sectors/track, 72945 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

           Device Boot      Start         End      Blocks   Id  System
/dev/cciss/c1d0p1   *           1       72945   585930681   8e  Linux LVM
輸入w,保存一下,OK
Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 16: Device or resource busy.
The kernel still uses the old table.
The new table will be used at the next reboot.
Syncing disks.

激活剛創(chuàng)建好的分區(qū)
[root@smsdb01 /]#partprobe

(3)、在服務(wù)器2上檢查自動識別的LVM分區(qū)(服務(wù)器1上的分區(qū)操作,服務(wù)器2應(yīng)可以自動識別)
[root@smsdb02 ~]#service clvmd status
[root@smsdb02 ~]#service clvmd start
說明:因為我們已經(jīng)安裝了cluster與GFS服務(wù),所以,服務(wù)器1的分區(qū)操作,在服務(wù)器2檢查時,建議重新啟動一下clvmd服務(wù).
[root@smsdb02 ~]# fdisk -l

Disk /dev/cciss/c0d0: 72.8 GB, 72833679360 bytes
255 heads, 32 sectors/track, 17433 cylinders
Units = cylinders of 8160 * 512 = 4177920 bytes

           Device Boot      Start         End      Blocks   Id  System
/dev/cciss/c0d0p1   *           1        6275    25601984   83  Linux
/dev/cciss/c0d0p2            6276        6777     2048160   82  Linux swap
/dev/cciss/c0d0p3            6778       17433    43476480   83  Linux

Disk /dev/cciss/c1d0: 599.9 GB, 599998871552 bytes
255 heads, 63 sectors/track, 72945 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

           Device Boot      Start         End      Blocks   Id  System
/dev/cciss/c1d0p1   *           1       72945   585930681   8e  Linux LVM

注:應(yīng)該也可以看到磁盤陣列柜,以及分區(qū)類型.

(4)、動態(tài)磁盤的建立
提醒:以下A、B、C、D步驟只在服務(wù)器1上操作,步驟E需要在服務(wù)器1與2上都做.

A:建立物理卷
[root@smsdb01 /]# pvcreate /dev/cciss/c1d0p1
查看一下建立的物理卷,注意PV Name以及PV size
[root@smsdb01 /]# pvdisplay
  --- Physical volume ---
  PV Name               /dev/cciss/c1d0p1
  VG Name               oracle10g
  PV Size               558.79 GB / not usable 1.93 MB
  Allocatable           yes
  PE Size (KByte)       4096
  Total PE              143049
  Free PE               21
  Allocated PE          143028
  PV UUID               v1Ff6t-BCYh-hoeb-Jij7-Yujg-uklx-taTUk3

B:建立邏輯卷組,組名為oracle10g
[root@smsdb01 /]#vgcreate oracle10g /dev/cciss/c1d0p1
檢查一下建立的邏輯卷組
[root@smsdb01 /]# vgdisplay

C:建立邏輯卷
注意,邏輯卷大小要小于物理卷的大小(下面有說明),名字是oracle,邏輯卷組名是剛才建立的oracle10g
[root@smsdb01 /]#lvcreate -L  558.7G  -noracle oracle10g
檢查一下建立的邏輯卷
[root@smsdb01 /]# lvdisplay

說明:
1、建立邏輯卷時,大小要小于上面建立物理卷的大小,我是這么理解的,至于小多少可以建立成功,要試驗一下,如果建立不成功,就將容量減小一點.物理卷與邏輯卷大小的關(guān)系,因為時間問題,沒完全弄清楚.
2、在服務(wù)器1建立的物理卷、邏輯卷組以及邏輯卷,在服務(wù)器2上都應(yīng)該自動識別.因為我們已經(jīng)安裝了cluster與GFS服務(wù),所以,服務(wù)器1的分區(qū)操作,在服務(wù)器2檢查時,建議先重新啟動一下clvm服務(wù).在服務(wù)器1與服務(wù)器2上,pvdisplay、vgdisplay、lvdisplay看到的應(yīng)該一致,如果服務(wù)器2上無法看到與服務(wù)器1上相同的信息,或者報錯,那么大多是因為clvmd服務(wù)沒有啟動,關(guān)于clvmd服務(wù),實際上就是基于cluster(集群)的lvm服務(wù),lvm是什么,大致意思是動態(tài)磁盤管理吧！使用命令 service clvmd status檢查clvm狀態(tài),使用service clvmd restart重新啟動clvmd服務(wù).

D:用GFS協(xié)議格式化剛才建立的邏輯卷oracle
[root@smsdb01 /]#mkfs.gfs -p lock_dlm -t SCNracle -j 2 /dev/oracle10g/oracle
說明:
-p lock_dlm 定義為DLM鎖方式,如果不加此參數(shù),當(dāng)在兩個系統(tǒng)中同時掛載此分區(qū)時就會像ext3格式一樣,兩個系統(tǒng)的信息不能同步;
-t SCNracle LM鎖所在的表名字,SCN應(yīng)與cluster.conf中Cluster的name相同;oracle,按Redhat售前工程師的說法,GFS格式化的要是靜態(tài)磁盤,可以是任意名字,而要是lvm的動態(tài)磁盤,則必須是邏輯卷名,我個人經(jīng)過實驗,覺得可以隨便寫,一個標(biāo)志而已;
-j 2 :GFS分區(qū)中最多支持多少個節(jié)點同時掛載,本例就2個oracle數(shù)據(jù)庫,所以值為2.
/dev/oracle10g/oracle :準(zhǔn)備要格式化的邏輯卷分區(qū)

E:將邏輯卷分區(qū)/dev/oracle10g/oracle mount到某個目錄
本項目的oracle安裝在/usr/local/oracle10g/,而庫建在/usr/local/oracle10g/oracle10g_db上,所以,建立相關(guān)目錄(此步驟需要在服務(wù)器1與服務(wù)器2上都做)
[root@smsdb01 /]#mkdir –p  /usr/local/oracle10g/oracle10g_db
[root@smsdb01 /]#mount -t gfs /dev/oracle10g/oracle /usr/local/oracle10g/oracle10g_db
查看掛載的分區(qū)
[root@smsdb01 /]#df –h

注意:如果出現(xiàn)下面的錯誤,無法mount
mount: permission denied
檢查/etc/cluster/cluster.conf文件,尤其是cluster configure工具里的service management里的Faildomain Domain是不是選擇了定義的Faildomain Domain的名字,如smsdbHP.
另外,可以用demsg命令以及tail –f /var/log/messages檢查系統(tǒng)錯誤消息與監(jiān)控日志,幫助查錯.

chenyx

好文，收藏先。。。。