我的RHEL 3 HA cluster的兩個節(jié)點都掛載了共享存儲

chenyajun5

我在vmware中使用redhat 3 的clustermanager 來做2節(jié)點ha cluster。兩節(jié)點的外部地址分別是172.16.1.130(cluster3)和172.16.1.140(cluster4)，心跳地址分別是10.0.0.130和10.0.0.140，開機后使用clustat發(fā)現(xiàn)兩個都掛載了共享存儲。。這應(yīng)該不正常啊。
在cluster3上，使用clustat -i 5，看到

Cluster Status - Red Hat Clumanager Cluster                            10:15:26
Cluster Quorum Incarnation #9
Shared State: Shared Raw Device Driver v1.2

  Member             Status   
  ------------------ ----------
  172.16.1.130       Active     <-- You are here
  172.16.1.140       Active               

  Service        Status   Owner (Last)     Last Transition Chk Restarts
  -------------- -------- ---------------- --------------- --- --------
  httpd          started  172.16.1.130     10:12:47 Dec 15   2        0
在cluster4上，我看到
Cluster Status - Red Hat Clumanager Cluster                            10:18:57
Cluster Quorum Incarnation #9
Shared State: Shared Raw Device Driver v1.2

  Member             Status   
  ------------------ ----------
  172.16.1.130       Active               
  172.16.1.140       Active     <-- You are here

  Service        Status   Owner (Last)     Last Transition Chk Restarts
  -------------- -------- ---------------- --------------- --- --------
  httpd          started  172.16.1.140     09:58:44 Dec 15   2        0
cluster3是最近一次切換的，外部httpd請求，此時響應(yīng)的是cluster3。應(yīng)該兩個節(jié)點服務(wù)的owner一致啊，為什么會不一致呢？？

nntp

原帖由 chenyajun5 于 2005-12-15 10:16 發(fā)表
我在vmware中使用redhat 3 的clustermanager 來做2節(jié)點ha cluster。兩節(jié)點的外部地址分別是172.16.1.130(cluster3)和172.16.1.140(cluster4)，心跳地址分別是10.0.0.130和10.0.0.140，開機后使用clustat發(fā)現(xiàn)兩個都 ...

disable掉httpd服務(wù)，然后就是單獨看cluster service的狀態(tài).

集群啟動后，察看你的shared storage的狀態(tài)，如果2個node都mount上了，配置就有問題了.

chenyajun5

很奇怪的是有時候每個節(jié)點的clustat 命令顯示的httpd owner是相同的，有時候又不同。
把兩個節(jié)點的httpd都disable以后，兩個節(jié)點都沒有掛載共享存儲。
在cluster3上，
Cluster Status - Red Hat Clumanager Cluster                            13:21:36
Cluster Quorum Incarnation #18
Shared State: Shared Raw Device Driver v1.2

  Member             Status   
  ------------------ ----------
  172.16.1.130       Active     <-- You are here
  172.16.1.140       Active               

  Service        Status   Owner (Last)     Last Transition Chk Restarts
  -------------- -------- ---------------- --------------- --- --------
  httpd          disabled (172.16.1.130)   13:18:34 Dec 15   2        0

在cluster4上，
Cluster Status - Red Hat Clumanager Cluster                            13:22:10
Cluster Quorum Incarnation #18
Shared State: Shared Raw Device Driver v1.2

  Member             Status   
  ------------------ ----------
  172.16.1.130       Active               
  172.16.1.140       Active     <-- You are here

  Service        Status   Owner (Last)     Last Transition Chk Restarts
  -------------- -------- ---------------- --------------- --- --------
  httpd          disabled (172.16.1.140)   13:18:22 Dec 15   2        0
重新enable以后兩個節(jié)點又掛上去了。

[ 本帖最后由 chenyajun5 于 2005-12-15 13:21 編輯 ]

chenyajun5

我的是兩個節(jié)點的，是不是我cluquorumd有問題。我不明白Disk Tiebreaker和 network TieBreaker有啥區(qū)別，好像兩節(jié)點的ha cluster需要使用network TieBreaker，那么那個ip該怎么設(shè)置呢？

lky

2個節(jié)點都把共享盤mount上了，這是最可怕啊，做雙機最怕這個。同時mount上共享分區(qū)，數(shù)據(jù)基本就毀了。
network TieBreaker 設(shè)定的IP地址最好是網(wǎng)絡(luò)中永遠不會down的IP地址，如雙核心交換機的vrrp虛擬地址等。

suran007

樓柱說是在vmware中做的實驗，那共享存儲是怎么做的，我估計就是quorum分區(qū)的問題，要是改用實際設(shè)備就不會有上面的問題

chenyajun5

謝謝大家。。我是采用七月飛雪的那個文章啊，給兩個機器分配一塊共享硬盤，

nntp

原帖由 chenyajun5 于 2005-12-15 13:21 發(fā)表
我的是兩個節(jié)點的，是不是我cluquorumd有問題。我不明白Disk Tiebreaker和 network TieBreaker有啥區(qū)別，好像兩節(jié)點的ha cluster需要使用network TieBreaker，那么那個ip該怎么設(shè)置呢？

你的問題實際上回答了很多其他急沖沖要裝RHCS的人的問題.

我一直說不管RHCS還是 linux-ha 也好，采用的都是不太可靠的 Tiebreaking機制. 為什么RHCS v4你們看到了 PowerSwitch? 其實powerswitch從RHCS v2.1的時候就存在了，只不過在系統(tǒng)配置中一直保留不用而已. 5年前我研究Kimberlite 的時候就發(fā)現(xiàn)實際上，如果在2個node的HA集群環(huán)境中，如果發(fā)生heartbeat出現(xiàn)故障，互相不知對方節(jié)點狀態(tài)的情況下，按照競選機制，每一個node都要重新以自己為主建立一個新的集群，但是只有50%的票選，在這個時候，所有原本有序控制的共享資源，比如存儲，漂移IP之類的，全部會被競搶，出現(xiàn)了所謂的brain-split. Kimberlite很早就看到了這個問題，和我們熟悉的linux-ha.org的項目一樣，因為自身架構(gòu)上帶來的缺陷，只能通過2個手段來盡可能減少這種問題，一個手段就是linux-ha.org很有代表性的heartbeat 子項目，這也是linux-ha.org把heartbeat放在了一個很主要地位的原因，另外一個有代表性的手段就是kimberlite的powerswitch.  市面上其他的低端linux HA產(chǎn)品，比如rose ha之類的產(chǎn)品，在解決brainsplit的道路上，無外乎采用了這兩種手段之一。

發(fā)生brainsplit的時候, kimberlite 就通過一個后臺service, 強行控制一個node的powerswitch 然后poweroff一個node, 即便這個node reboot之后，也不會正常啟動cluster service, 這樣就保證了出現(xiàn) 50-50的資源競搶的時候，可以保護共享資源，并且讓一個優(yōu)先節(jié)點來重組cluster.

network tiebreaker 是很多高端ha系統(tǒng)廣泛采用的方法，通過把一個仲裁單位放在網(wǎng)絡(luò)的一個設(shè)備上(pc, pc server, server, network device)，出現(xiàn)50-50的競搶之后，讓網(wǎng)絡(luò)上的這個設(shè)備來投票參與競搶，2對1的選擇的結(jié)果永遠不會出現(xiàn)50-50的brain-split.所以也比較可靠。

另外一種稍微差一點的做法是用Quorum LUN/disk,  一般用LUN的會多一點，這樣quorum不會出現(xiàn)單點故障.  微軟的MSCS用的就是這種方法。相對前面的network tiebreak來說  lun/disk tierbreaker成本相對比較低，可靠性也比較差.

你的這個httpd的問題，我覺得首先要做的就是你要仔細閱讀手冊，不要有遺漏。第二個是要嚴(yán)格檢查httpd service的配置. 不要有任何違反系統(tǒng)要求的配置項存在。 看我置頂?shù)奶�子，我認(rèn)為大部分的看似奇怪的問題，都是因為配置和環(huán)境與程序本身的要求不一致造成的。軟件本身的缺陷也是要考慮的因素之一。

chenyajun5

多謝版主解答。。如果使用network tiebreaker，需要什么要求呢？我能隨便指定一個IP么？比如我局域網(wǎng)的網(wǎng)關(guān)，是不是需要在專門的網(wǎng)絡(luò)設(shè)備上安裝特定的軟件來實現(xiàn)？。

q1208c

原帖由 chenyajun5 于 2005-12-15 10:16 發(fā)表
我在vmware中使用redhat 3 的clustermanager 來做2節(jié)點ha cluster。兩節(jié)點的外部地址分別是172.16.1.130(cluster3)和172.16.1.140(cluster4)，心跳地址分別是10.0.0.130和10.0.0.140，開機后使用clustat發(fā)現(xiàn)兩個都 ...

不用看后面我就知道, 你的心跳好象沒用上, 不信你 disable 一下其中一個網(wǎng)卡試試.