AS4 U5 cluster + ORACLE ,Fence設(shè)備無法發(fā)現(xiàn)

literr

最近跳槽去了乙方,某做廣電的系統(tǒng)集成公司
接手了一個以前工程師搞不定的clauter難題:即在redhat as4 U5上,使用cluster+GFS,做Oracle10g的HA,存儲使用的是HP的DAS(直連存儲),服務(wù)器用的是2臺HP DL380 G2
之前沒搞過DAS直連存儲,也沒調(diào)試過cluster,對oracle也不熟悉,只裝過單機版的oracle……在北京準(zhǔn)備了一個多星期（10天左右）,出差去客戶(南方某省)實施了3天，基本搞定，遺留了2個問題：


問題之一：上面那個帖子，關(guān)于自動mount GFS分區(qū)的問題

問題之二：

本次項目中使用的HP服務(wù)器,內(nèi)置了ilo的fence設(shè)備.我在重新啟動服務(wù)器時按F8進入BIOS,設(shè)置了ilo卡的IP地址(192.168.0.1與2)、用戶名與密碼(redhat/123456789),并將ILO卡連接至交換機,且將心跳網(wǎng)卡的IP地址與之同段相通,修改hosts文件后,此時,在Cluster Management里將有關(guān)fence項加入,試圖使用ilo卡來接替網(wǎng)卡心跳線工作,cluster啟動失敗;使用如下命令檢測ilo卡,也返回超時失敗消息:
[root@smsdb01 ~]#fence_ilo -a 192.168.0.1 -l redhat -p 123456789 -o status


原因暫時不明,fence設(shè)備暫時未使用.

有經(jīng)驗的朋友請伸出援助之手，經(jīng)驗互補，相互幫忙，非常感謝

[ 本帖最后由 literr 于 2008-7-29 11:39 編輯 ]

jerrywjl

詳細的信息，包括：
[root@smsdb01 ~]#fence_ilo -a 192.168.0.1 -l redhat -p 123456789 -o status
錯誤輸出，拓?fù)浣Y(jié)構(gòu)圖，cluster.conf，hosts，route -n等
fence設(shè)備一般不需要系統(tǒng)發(fā)現(xiàn)，在產(chǎn)生fence動作的時候，按照cman <---> fenced <----> fence_agent的方式來進行。也就是說fence_node命令成功才可確認(rèn)fence是OK的。

沒有fence的cluster，危險性是比較高的�？磥鞮Z的活沒有干好��！

literr

呵呵，用直連網(wǎng)線做心跳，可以做重新啟動服務(wù)器（1臺）的測試，但不能做拔網(wǎng)線的測試，更不能撥電源

從接手到去實施，不到2周時間，整天調(diào)試腦袋都大了……oracle 不熟，lvm不熟，直連存儲不熟，cluster不熟……

jerrywjl

原帖由 literr 于 2008-7-29 11:51 發(fā)表
呵呵，用直連網(wǎng)線做心跳，可以做重新啟動服務(wù)器（1臺）的測試，但不能做拔網(wǎng)線的測試，更不能撥電源

從接手到去實施，不到2周時間，整天調(diào)試腦袋都大了……oracle 不熟，lvm不熟，直連存儲不熟，cluster不熟……

忌諱用直連網(wǎng)線做心跳，一旦心跳斷了，誰fence誰？
正確的方式應(yīng)該是使用交換機來連接心跳線，并且我們推薦把心跳和服務(wù)放到一起。

這么折騰出來的cluster客戶能驗收嗎？！

literr

問題就在于fence識別不出來，只好用第2對網(wǎng)卡互連做心跳線了

jerrywjl

原帖由 literr 于 2008-7-29 14:07 發(fā)表
問題就在于fence識別不出來，只好用第2對網(wǎng)卡互連做心跳線了

fence識別不出來？怎么個識別不出來？

literr

在Cluster Management里將有關(guān)fence項加入,試圖使用ilo卡來接替網(wǎng)卡心跳線工作,cluster啟動失敗;使用如下命令檢測ilo卡,也返回超時失敗消息:
[root@smsdb01 ~]#fence_ilo -a 192.168.0.1 -l redhat -p 123456789 -o status

fence在cluster.conf代碼如下

……
<fencedevices>
                <fencedevice agent="fence_ilo" hostname="192.168.0.1" login="redhat" name="hpilo01" passwd="123456789"/>
                <fencedevice agent="fence_ilo" hostname="192.168.0.2" login="redhat" name="hpilo02" passwd="123456789"/>
        </fencedevices>
……
如上，在GUI界面添加fence設(shè)備，保存后，同步cluster.conf文件到另一服務(wù)器，然后重新啟動cluster就報錯誤了（之前已經(jīng)修改/etc/hosts文件并確認(rèn)無誤了）
至于錯誤信息，我記得無非是找不到fence設(shè)備

我現(xiàn)在無法遠程連上客戶的服務(wù)器，沒有權(quán)限，我已經(jīng)回北京了

[ 本帖最后由 literr 于 2008-7-29 16:28 編輯 ]

jerrywjl

如上，在GUI界面添加fence設(shè)備，保存后，同步cluster.conf文件到另一服務(wù)器，然后重新啟動cluster就報錯誤了
至于錯誤信息，我記得無非是找不到fence設(shè)備

我現(xiàn)在無法遠程連上客戶的服務(wù)器，沒有權(quán)限，我已經(jīng)回北京了

我沒有碰到過在RHEL4U5上找不到ILO的情況，從來沒有。所以說關(guān)鍵是提供出錯信息嘛。

yfort

你在服務(wù)器上能ping通hp lio那個口的ip地址嗎？我看你把fence設(shè)備的地址設(shè)成的是私有的ip，建議換成業(yè)務(wù)網(wǎng)段的ip。這樣心跳和數(shù)據(jù)就在一個網(wǎng)口上，可能會好點。

literr

原帖由 yfort 于 2008-7-30 13:12 發(fā)表
你在服務(wù)器上能ping通hp lio那個口的ip地址嗎？

這個我可以確認(rèn),兩臺服務(wù)器起用ilo卡前,我肯定要測試一下互相能否ping通對方和自己ILO卡的IP的

我看你把fence設(shè)備的地址設(shè)成的是私有的ip，建議換成業(yè)務(wù)網(wǎng)段的ip。這樣心跳和數(shù)據(jù)就在一個網(wǎng)口上，可能會好點。

這個客戶似乎不允許,他們的IP早已經(jīng)規(guī)劃好了,不想再分給我2個IP地址的