請教一個 gpfs tiebreakerDisks 的問題

honglong

簡單說明一下問題，主要是想通過測試了解一下tiebreakerDisks的使用方法。文檔上說要一半以上的tiebreakerDisks可用gpfs集群就可以使用。所以我做了如下測試。\r\n0）集群一共2個server\r\n1）一共有8個nsd\r\n# mmlsnsd -aL\r\n\r\n File system   Disk name    NSD volume ID      NSD servers                                   \r\n---------------------------------------------------------------------------------------------\r\n sharelv       gpfs1nsd     0A30CCCA4994D41F   NSD1,NSD2                \r\n sharelv       gpfs2nsd     7F0000014994D424   NSD2,NSD1                \r\n sharelv       gpfs3nsd     0A30CCCA4994D42B   (directly attached)      \r\n sharelv       gpfs4nsd     0A30CCCA4994D42E   (directly attached)      \r\n sharelv       gpfs11nsd    0A30CCCA4994E404   (directly attached)      \r\n sharelv       gpfs12nsd    0A30CCCA4994E405   (directly attached)      \r\n sharelv       gpfs13nsd    0A30CCCA4994E976   NSD1,NSD2                \r\n sharelv       gpfs14nsd    7F0000014994E977   NSD2,NSD1  \r\n\r\n\r\n2）其中設定了3個為 tiebreakerDisks\r\n#mmchconfig tiebreakerDisks=\"gpfs4nsd;gpfs11nsd;gpfs12nsd\"\r\n3）然后 使用命令stop 其中的 tiebreakerDisks\r\nmmchdisk sharelv stop -d  \"gpfs4nsd\"\r\n4）后來發(fā)現(xiàn)停了所有的tiebreakerDisks gpfs依然可用。\r\n\r\n# mmlsdisk sharelv -L\r\ndisk         driver   sector failure holds    holds                                    storage\r\nname         type       size   group metadata data  status        availability disk id pool         remarks   \r\n------------ -------- ------ ------- -------- ----- ------------- ------------ ------- ------------ ---------\r\ngpfs1nsd     nsd         512       1 yes      yes   ready         up                 1 system        desc\r\ngpfs2nsd     nsd         512       2 yes      yes   ready         up                 2 system        desc\r\ngpfs3nsd     nsd         512       3 no       no    ready         up                 3 system        desc\r\ngpfs4nsd     nsd         512      -1 no       no    ready         down               4 system        \r\ngpfs13nsd    nsd         512       1 yes      yes   ready         up                 5 system        desc\r\ngpfs11nsd    nsd         512      -1 no       no    ready         down               6 system        \r\ngpfs12nsd    nsd         512      -1 no       no    ready         down               7 system        \r\ngpfs14nsd    nsd         512       2 yes      yes   ready         up                 8 system        desc\r\n\r\n\r\n可能是我對tiebreakerDisks的概念理解有問題，請問如何設計一種測試來驗證tiebreakerDisks 的使用方法。謝謝！

我老婆黑社會

你理解錯了,\r\n GPFS CLUSTER 能否正常工作有兩種方式：\r\n  1、Node quorum，這種方式只要有一半以上的Node quorum存活，GPFS CLUSTER就能正常運行。Node quorum數(shù)量沒有限制。\r\n  2、Node quorum with tiebreaker disks,這種方式是tiebreaker disks 要連接到Node quorum,能正常訪問。Node quorum數(shù)量最多8個，tiebreaker disks 最多3個。該種方式GPFS CLUSTER 正常運行下面任意情況都可以：\r\n    1) 只要有一半以上的Node quorum存活, 不管tiebreaker disks 狀態(tài)如何，都能正常運行\(zhòng)r\n    2) 只要至少一個Node quorum能訪問一半以上的tiebreaker disks ,也能正常運行\(zhòng)r\n  \r\n  所以你的情況屬于一半以上的Node quorum存活,你把tiebreaker disks stop 也不影響。明白了嗎？

honglong

這段在手冊里看到過，當時實在是繞不過來是什么意思，以為是一半以上的tiebreaker disks 存活才行，哎英文差呀！不好意思！\r\n既然問了，那就再多請教一個問題 \r\n在ibm網(wǎng)站看 《構建高可用、高性能的 GPFS 集群》一文 ，其中有一段文字是：\r\n“\r\nQuorum 機制的選擇 ，本方案預算只有 4 臺主服務器，如果采用 Node quorum 的方式，整\r\n個系統(tǒng)可用性只能支持一臺主機離線，可用性非常差。如果采用 Break Tie Disk 的方式，整\r\n個系統(tǒng)可用性支持被指定為 quorum 的兩臺主機，任意一臺離線，以及其他 2 臺主機的任意\r\n離線。我們可以看到采用 Break Tie Disk 的方式有較高的可用性。但是由于采用 Break Tie Disk\r\n模式對兩臺設置為 quorum 的主機可用性要求較高，而且靈活性較差。從 FD quorum 的角度\r\n來看，我們只有 2 個存儲，也即 2 個 Failure Group。任意一個存儲的宕機也將會導致文件系\r\n統(tǒng)的關閉。我們必須增加第三個 Failure Group 的磁盤來提高可用性。我們考慮從某一臺服務\r\n器本地拿出一個磁盤作為第三個 Failure Group 的磁盤。\r\n”\r\n\r\n其中的:\r\n1、整個系統(tǒng)可用性只能支持一臺主機離線，可用性非常差。 \r\n2、我們必須增加第三個 Failure Group 的磁盤來提高可用性。\r\n\r\n能幫忙解釋一下，上述兩句是什么概念嗎？謝謝了。\n\n[ 本帖最后由 honglong 于 2009-2-19 19:44 編輯 ]

我老婆黑社會

1、我覺得說法有問題，四個server一般來說要配置3個節(jié)點作為quorum node,如果說的是只允許一個quorum node 離線沒問題，但是只允許一個主機離線，我感覺有點問題。\r\n2、FD是保存 GPFS 文件系統(tǒng)信息的，它是有GPFS內部機制建立的，它的檢測機制和quorum node一樣。當GPFS檢測到可用的信息數(shù)量不占大多數(shù)時，會關閉文件系統(tǒng)。如果你連接了兩個存儲，它會生成兩分，所以一臺存儲down掉，會關閉文件系統(tǒng)。如果你從其他存儲上連接一個盤進來，專門存放FD，此時GPFS會自動生成三分的FD。當一臺存儲down掉后，還有兩分，不會關閉文件系統(tǒng)。你可以看看下面這段話：\r\n  File system descriptor quorum\r\n● In addition to quorum nodes three\r\ndisks, by default (NSDs) are used as\r\nTiebreaker disks\r\n● Where they are created:\r\n– If there are at least five different failure\r\ngroups, five replicas are created.\r\n– If there are at least three different disks,\r\nthree replicas are created.\r\n– If there are only one or two disks, a replica\r\nis created on each disk.\r\n● A majority of the replicas on the\r\nsubset of disks must remain available\r\nto sustain file system operations\r\n● Can add one by creating a\r\ndecOnly NSD

honglong

比較笨！四個server為什么一般來說要配置3個節(jié)點作為quorum node？哎看文檔時也經常出現(xiàn)一些數(shù)字感覺莫名其妙的，大俠解釋一下嗎？\r\n還有就是 從某一臺服務器本地拿出一個磁盤作為第三個 Failure Group 的磁盤。\r\n這和我理解的Failure Group 機制不一樣呀，如果2個Failure Group掛存儲 ，第三個Failure Group  用內置硬盤，這樣內部的復制機制也不對稱呀，一個超大，一個內置。我一直認為\r\nFailure Group 的中的nsd容量應該一致吧。\r\n.十分感謝！

honglong

請樓上的老大，幫忙再解釋一下，謝謝！

我老婆黑社會

1、一般要求cluster里面quorum node的數(shù)量為奇數(shù)，這個很好理解，你偶數(shù)個quorum node的意義和偶數(shù)-1個quorum node一樣。比如說：4個node的cluster，如果設置2個quorum node ，一個掉了就不能用了。設置3個允許掉一個，設置4個還是只能掉一個。\r\n2、第三塊內置的nsd只是用來存放文件系統(tǒng)的描述信息，不存放任何其他數(shù)據(jù)，所以很小都可以。它的目的只是為了保證，即使一個陣列跨掉后，有超過半數(shù)的FD可以訪問，cluster不會跨掉，所以它建立的描述信息都是descOnly，不是其他的dataAndMetadata、dataOnly、metadataOnly。\r\n   它的英文描述如下：\r\n   Indicates that the disk contains no data and no file metadata. Such a disk is used solely to keep a copy of the file system descriptor, and can be used as a third failure group in certain disaster recovery configurations. For more information, see General Parallel File System: Advanced Administration and search on Synchronous mirroring utilizing GPFS replication.

蘋果艾麗

meyer,都是朱諾害你墮入黑暗面…