我的RHEL 3 HA cluster的兩個(gè)節(jié)點(diǎn)都掛載了共享存儲

nntp

原帖由 jamesb 于 2005-12-21 15:02 發(fā)表
這里看到的vmware share disk就不正常能夠，你在一段寫的數(shù)據(jù)進(jìn)去，這邊需要過一段時(shí)間才能看到，不知道你有什么辦法解決。

RHCS還是SGLX?

察看我以往發(fā)的帖關(guān)于RHCS的態(tài)度，我個(gè)人是不推薦RHCS的，即便是現(xiàn)在的v4.

我只能精確的告訴你HP的MC/SG for linux的做法.

共享的share disk 做出來后，首先fdisk ，假設(shè)你的shared disk 是 sda.
結(jié)果類似這樣的，下面是我從我的vmware 環(huán)境copy出來的

#fdisk /dev/sda
#fdisk -l /dev/sda

Disk /dev/sda: 10.4 GB, 10486579200 bytes
255 heads, 63 sectors/track, 1274 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot    Start       End    Blocks   Id  System
/dev/sda1             1         1      8001   83  Linux

HP MC/SG要求 quorum LUN 是一個(gè) start 1 end 1的partition.

如果你不用第三個(gè)server 做quorum server 來解決brain-split,  Quorum lun/disk 是第二選擇.

這個(gè)分區(qū)不要?jiǎng)?chuàng)建文件系統(tǒng),也不要?jiǎng)?chuàng)建raw的操作，切出來后直接讓MC/SG for linux 的core system來讀寫。

無論是在真實(shí)的多結(jié)點(diǎn)(2, 3, 4, 8, 16)還是在vmware里面(2 node, 3 node) 都是這樣操作的，看不到類似RHCS之類的sharedisk上quorum的問題.

jamesb

我說的是通常情況，在vmware 里使用同一個(gè)文件作為共享磁盤的時(shí)候，數(shù)據(jù)更新不是實(shí)時(shí)同步的，你可以測試一下。用作共享存儲方數(shù)據(jù)沒有問題，但是用作quorum盤就有問題。

nntp

原帖由 jamesb 于 2005-12-21 15:21 發(fā)表
我說的是通常情況，在vmware 里使用同一個(gè)文件作為共享磁盤的時(shí)候，數(shù)據(jù)更新不是實(shí)時(shí)同步的，你可以測試一下。用作共享存儲方數(shù)據(jù)沒有問題，但是用作quorum盤就有問題。

我說了，這個(gè)和cluster software 怎樣實(shí)現(xiàn)quorum 有關(guān)系的.

從微軟的Quorum partition里面那個(gè)70多MB的quorum file, 到RHCS(也就是kimberlite)的quorum partition,到其他的商業(yè)產(chǎn)品的quorum 機(jī)制都是不一樣的，所以不存在一個(gè)\"同常\"的情況.

如果我們把問題討論范圍定義在RHCS之內(nèi)，你的看法我一點(diǎn)意見都沒有，的確是那樣的.而且RHCS從kimberlite老祖宗開始到v2.1 v3.0 v4.0都沒有大的改變.

但是如果是橫向比較HA cluster , 我覺得你說的是不對的。一個(gè)好的HA集群產(chǎn)品，在怎樣實(shí)現(xiàn)Quorum,怎樣實(shí)現(xiàn)Quorum lun/disk/server，差別很大.實(shí)際使用效果也差別很大.

boycw

樓主的這個(gè)情況我也遇到過了，解決方法如下：
1。刪除2個(gè)節(jié)點(diǎn)的/etc/cluster.conf 文件。
2。關(guān)閉一個(gè)虛擬機(jī)，只配置一臺機(jī)器，配置好群集，根據(jù)你的配置，成員應(yīng)該是換成10.0.0.130和10.0.0.140。
3。你可以把廣播心跳和多址傳播心跳兩者都啟用，但是你必須至少啟用其中之一。通過頻道接合的以太網(wǎng)接口來發(fā)送的多址傳播心跳提供了較好的容錯(cuò)性能。推薦你使用它來實(shí)現(xiàn)可用性。及選擇 Enable Broadcast Heartbeating
4。運(yùn)行 /usr/sbin/shutil -i 來初始化共享貯存區(qū) 注意 這個(gè)命令只在一臺節(jié)點(diǎn)上運(yùn)行
5。啟動另一個(gè)虛擬機(jī)，復(fù)制/etc/cluster.conf 到這個(gè)虛擬機(jī)。
6。先啟動一個(gè)節(jié)點(diǎn)的clustermanager ，等服務(wù)全起來以后，再啟動另一個(gè)節(jié)點(diǎn)的clustermanager 。
這樣應(yīng)該可以正常了

lky

原帖由 jamesb 于 2005-12-21 15:21 發(fā)表
我說的是通常情況，在vmware 里使用同一個(gè)文件作為共享磁盤的時(shí)候，數(shù)據(jù)更新不是實(shí)時(shí)同步的，你可以測試一下。用作共享存儲方數(shù)據(jù)沒有問題，但是用作quorum盤就有問題。

Vmware Gsx for Linux 我測試的時(shí)候也發(fā)現(xiàn)共享盤不同步，但GSX for windows 就沒有這個(gè)問題。而且在Linux 下 scsi1.sharedBus = \"virtual\" 這句是不能加的，windows 下就可以加，不知道是不是這個(gè)原因。

joyhappy

實(shí)際上，防止split-brain的方式有很多中，在rhes4中，io-fence設(shè)備就是這個(gè)目的。

通常，當(dāng)HA的心跳通路全部故障時(shí)，如果不借助一些硬件機(jī)制，HA基本處于崩潰狀態(tài)。輕者中斷業(yè)務(wù)，重者破壞數(shù)據(jù)。實(shí)乃HA之死穴。

一般為規(guī)避split-brain，牛的商業(yè)HA軟件采用如下方式解決（如life-keeper, VCS, failsafe）：
1。多種心跳介質(zhì)：
  如串口，網(wǎng)絡(luò)，共享磁盤等
2。多條通道：
  可以同時(shí)配置多條通道，一條壞了，可以使用其他的。降低split-brain的概率。
3。quorum（投票機(jī)制）
4。iofence
   萬一發(fā)生split-brain，可以通過硬件來防止數(shù)據(jù)被破壞。
   1）STONITH（簡單講就是重啟動另一臺機(jī)器）
   powerswith方式（通過串口重啟其他機(jī)器），需要額外購買一個(gè)powerswith的盒子，好像不便宜，所以這種方式市場上真正用的不多；
   也有通過網(wǎng)口重啟其他機(jī)器的。
   2）鎖方式
   scsi reservation，這種方式較好，因?yàn)橹灰�有共享的SCSI盤陣即可。但hp的盤陣cciss驅(qū)動的好像不支持；
   
個(gè)人認(rèn)為，rhes4中的HA是用過的HA中最差的，好像是給個(gè)人配置玩一玩還可以。同真正的商業(yè)的HA軟件相比，無論是易用性、可維護(hù)性、穩(wěn)定性都較差。
不過我覺得rh的HA可能會改進(jìn)得很快，據(jù)說有不少HA的牛人被rh挖過去了。

blue_stone

split brain會對系統(tǒng)造成什么樣的為害？

如果使用cluster filesystem是否可以避免磁盤不一致的情況？

nntp

原帖由 blue_stone 于 2005-12-28 23:41 發(fā)表
split brain會對系統(tǒng)造成什么樣的為害？

如果使用cluster filesystem是否可以避免磁盤不一致的情況？

what\'s your point?

http://www.google.com  brain-split

http://www.google.com cluster filesystem

ljhb

cluster filesystem只是能保證兩邊寫的時(shí)候文件系統(tǒng)不會出錯(cuò)，但是并不能保證數(shù)據(jù)不會出錯(cuò)，比如數(shù)據(jù)庫，在沒有并行機(jī)制的保證下，兩邊同時(shí)起的話，很可能造成數(shù)據(jù)破壞

ljhb

我覺得還是以提高冗余度和增加仲裁機(jī)制比較好。使用quorum盤來仲裁有時(shí)候會帶來共享存儲i/o效率降低（老的rh clumanager就有這個(gè)問題），另外fence還有很多方式，比如網(wǎng)絡(luò)，光纖交換機(jī)，存儲，openimpi這些都可以做。scsi reservation有很多存儲不支持，linux下硬件driver這一塊缺陷很多。