我的RHEL 3 HA cluster的兩個節(jié)點都掛載了共享存儲

jamesb

我一直說不管RHCS還是 linux-ha 也好，采用的都是不太可靠的 Tiebreaking機制.

我是針對你的這句話所說的，你告訴我，什么叫可靠的tiebreaking機制？

nntp

原帖由 jamesb 于 2005-12-21 15:02 發(fā)表
這里看到的vmware share disk就不正常能夠，你在一段寫的數(shù)據(jù)進去，這邊需要過一段時間才能看到，不知道你有什么辦法解決。

RHCS還是SGLX?

察看我以往發(fā)的帖關于RHCS的態(tài)度，我個人是不推薦RHCS的，即便是現(xiàn)在的v4.

我只能精確的告訴你HP的MC/SG for linux的做法.

共享的share disk 做出來后，首先fdisk ，假設你的shared disk 是 sda.
結(jié)果類似這樣的，下面是我從我的vmware 環(huán)境copy出來的

#fdisk /dev/sda
#fdisk -l /dev/sda

Disk /dev/sda: 10.4 GB, 10486579200 bytes
255 heads, 63 sectors/track, 1274 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot    Start       End    Blocks   Id  System
/dev/sda1             1         1      8001   83  Linux

HP MC/SG要求 quorum LUN 是一個 start 1 end 1的partition.

如果你不用第三個server 做quorum server 來解決brain-split,  Quorum lun/disk 是第二選擇.

這個分區(qū)不要創(chuàng)建文件系統(tǒng),也不要創(chuàng)建raw的操作，切出來后直接讓MC/SG for linux 的core system來讀寫。

無論是在真實的多結(jié)點(2, 3, 4, 8, 16)還是在vmware里面(2 node, 3 node) 都是這樣操作的，看不到類似RHCS之類的sharedisk上quorum的問題.

jamesb

我說的是通常情況，在vmware 里使用同一個文件作為共享磁盤的時候，數(shù)據(jù)更新不是實時同步的，你可以測試一下。用作共享存儲方數(shù)據(jù)沒有問題，但是用作quorum盤就有問題。

nntp

原帖由 jamesb 于 2005-12-21 15:21 發(fā)表
我說的是通常情況，在vmware 里使用同一個文件作為共享磁盤的時候，數(shù)據(jù)更新不是實時同步的，你可以測試一下。用作共享存儲方數(shù)據(jù)沒有問題，但是用作quorum盤就有問題。

我說了，這個和cluster software 怎樣實現(xiàn)quorum 有關系的.

從微軟的Quorum partition里面那個70多MB的quorum file, 到RHCS(也就是kimberlite)的quorum partition,到其他的商業(yè)產(chǎn)品的quorum 機制都是不一樣的，所以不存在一個"同常"的情況.

如果我們把問題討論范圍定義在RHCS之內(nèi)，你的看法我一點意見都沒有，的確是那樣的.而且RHCS從kimberlite老祖宗開始到v2.1 v3.0 v4.0都沒有大的改變.

但是如果是橫向比較HA cluster , 我覺得你說的是不對的。一個好的HA集群產(chǎn)品，在怎樣實現(xiàn)Quorum,怎樣實現(xiàn)Quorum lun/disk/server，差別很大.實際使用效果也差別很大.

boycw

樓主的這個情況我也遇到過了，解決方法如下：
1。刪除2個節(jié)點的/etc/cluster.conf 文件。
2。關閉一個虛擬機，只配置一臺機器，配置好群集，根據(jù)你的配置，成員應該是換成10.0.0.130和10.0.0.140。
3。你可以把廣播心跳和多址傳播心跳兩者都啟用，但是你必須至少啟用其中之一。通過頻道接合的以太網(wǎng)接口來發(fā)送的多址傳播心跳提供了較好的容錯性能。推薦你使用它來實現(xiàn)可用性。及選擇 Enable Broadcast Heartbeating
4。運行 /usr/sbin/shutil -i 來初始化共享貯存區(qū) 注意 這個命令只在一臺節(jié)點上運行
5。啟動另一個虛擬機，復制/etc/cluster.conf 到這個虛擬機。
6。先啟動一個節(jié)點的clustermanager ，等服務全起來以后，再啟動另一個節(jié)點的clustermanager 。
這樣應該可以正常了

lky

原帖由 jamesb 于 2005-12-21 15:21 發(fā)表
我說的是通常情況，在vmware 里使用同一個文件作為共享磁盤的時候，數(shù)據(jù)更新不是實時同步的，你可以測試一下。用作共享存儲方數(shù)據(jù)沒有問題，但是用作quorum盤就有問題。

Vmware Gsx for Linux 我測試的時候也發(fā)現(xiàn)共享盤不同步，但GSX for windows 就沒有這個問題。而且在Linux 下 scsi1.sharedBus = "virtual" 這句是不能加的，windows 下就可以加，不知道是不是這個原因。

joyhappy

實際上，防止split-brain的方式有很多中，在rhes4中，io-fence設備就是這個目的。

通常，當HA的心跳通路全部故障時，如果不借助一些硬件機制，HA基本處于崩潰狀態(tài)。輕者中斷業(yè)務，重者破壞數(shù)據(jù)。實乃HA之死穴。

一般為規(guī)避split-brain，牛的商業(yè)HA軟件采用如下方式解決（如life-keeper, VCS, failsafe）：
1。多種心跳介質(zhì)：
  如串口，網(wǎng)絡，共享磁盤等
2。多條通道：
  可以同時配置多條通道，一條壞了，可以使用其他的。降低split-brain的概率。
3。quorum（投票機制）
4。iofence
   萬一發(fā)生split-brain，可以通過硬件來防止數(shù)據(jù)被破壞。
   1）STONITH（簡單講就是重啟動另一臺機器）
   powerswith方式（通過串口重啟其他機器），需要額外購買一個powerswith的盒子，好像不便宜，所以這種方式市場上真正用的不多；
   也有通過網(wǎng)口重啟其他機器的。
   2）鎖方式
   scsi reservation，這種方式較好，因為只要有共享的SCSI盤陣即可。但hp的盤陣cciss驅(qū)動的好像不支持；
   
個人認為，rhes4中的HA是用過的HA中最差的，好像是給個人配置玩一玩還可以。同真正的商業(yè)的HA軟件相比，無論是易用性、可維護性、穩(wěn)定性都較差。
不過我覺得rh的HA可能會改進得很快，據(jù)說有不少HA的牛人被rh挖過去了。

blue_stone

split brain會對系統(tǒng)造成什么樣的為害？

如果使用cluster filesystem是否可以避免磁盤不一致的情況？

nntp

原帖由 blue_stone 于 2005-12-28 23:41 發(fā)表
split brain會對系統(tǒng)造成什么樣的為害？

如果使用cluster filesystem是否可以避免磁盤不一致的情況？

what's your point?

http://www.google.com  brain-split

http://www.google.com cluster filesystem

ljhb

cluster filesystem只是能保證兩邊寫的時候文件系統(tǒng)不會出錯，但是并不能保證數(shù)據(jù)不會出錯，比如數(shù)據(jù)庫，在沒有并行機制的保證下，兩邊同時起的話，很可能造成數(shù)據(jù)破壞