看雙機(jī)雙柜是怎么解決的······

xintao800

需求：
   某單位要實(shí)現(xiàn)雙機(jī)熱備，但他們服務(wù)器為考慮本地容災(zāi)，服務(wù)器分布在不同樓層（假設(shè)分別為A層、B層）；由于陣列容易形成單點(diǎn)故障，所以增加一臺(tái)冗余陣列，完成全面冗余的本地集群布置。
   
解決方案初步構(gòu)想：
  我們先來考慮集群布置，server1為主服務(wù)器，位于A層;server2為備服務(wù)器，位于B層。這里有個(gè)眾所周知的問題，AB兩層的距離傳統(tǒng)的陣列由于SCSI線纜的長度有限，無法連接，所以考慮增加ISCSI存儲(chǔ)MD3000i，dell的MD3000i的連接方式不是SAS或SCSI，而是網(wǎng)線+千兆網(wǎng)卡的方式.
    有人說ISCSI不如光纖或SAS，事實(shí)上ISCSI要比SAS出色。ISCSI陣列與SAS陣列，如果相同級(jí)別產(chǎn)品來對(duì)比，比如MD3000與MD3000i它們之間的區(qū)別在于接口，其實(shí)硬盤都是SAS硬盤，MD3000的傳輸依賴與sasHBA，速度只有300MB/S，而MD3000i的千兆卡的速度為10GB，對(duì)比是很明顯的。
   再說先光纖，光纖的傳輸為4GB，與千兆網(wǎng)卡的10GB真實(shí)傳輸速度基本是一樣的
有點(diǎn)跑題了，現(xiàn)在我們方案繼續(xù)，AB兩層分別布置server1\server2，server1為主服務(wù)器，位于A層;server2為備服務(wù)器，位于B層。MD3000i我們放在B層（與備機(jī)放在一起），通過網(wǎng)線連接server1\server2，這就組成了一個(gè)標(biāo)準(zhǔn)的雙機(jī)模式。

    第二臺(tái)MD3000i放在A層，與server1在一起，它也直接連接2臺(tái)sever，但始終處于冗余狀態(tài)，2臺(tái)陣列做數(shù)據(jù)的實(shí)時(shí)同步，并開啟數(shù)據(jù)歸檔、回滾功能，可以恢復(fù)之前任何時(shí)間的數(shù)據(jù)，至此整個(gè)配置方案描述完畢。

下面我們看下效果，存在2種情況會(huì)發(fā)生：
    1、集群中其中一個(gè)節(jié)點(diǎn)失效時(shí)，如軟件故障，硬件故障，另一個(gè)節(jié)點(diǎn)會(huì)迅速接管服務(wù)，繼續(xù)為用戶提供應(yīng)用。
     
    2、集群中主陣列產(chǎn)生故障，應(yīng)用全部癱瘓，這時(shí)候需要把數(shù)據(jù)路徑更改為主陣列的數(shù)據(jù)路徑，應(yīng)用恢復(fù)

相關(guān)問題：
1、同步是怎樣布置的？

只需要在主服務(wù)器上設(shè)置同步策略，指定同步路徑即可

2、服務(wù)器故障后修復(fù)后應(yīng)如何恢復(fù)？

在server1（主服務(wù)器）發(fā)生故障后，切換到server2（備服務(wù)器），主機(jī)修復(fù)后（如果重裝系統(tǒng)，可以用之前導(dǎo)出的配置文件服務(wù)集群配置），這時(shí)候備機(jī)為主機(jī)，需要手工切換回原來的主機(jī)（也可以選擇自動(dòng)回切）。

3、陣列故障修復(fù)后該如何恢復(fù)？

由于新修復(fù)的陣列數(shù)據(jù)為以前狀態(tài)，所以應(yīng)該把它設(shè)置為備用陣列。




第二種解決方案。

主機(jī)把陣列認(rèn)為本地硬盤，然后同步到備機(jī)的本地硬盤，因?yàn)閿?shù)據(jù)是實(shí)時(shí)同步，況且有歸檔、恢復(fù)等策略，效果也比較理想，附件中的方案屬于第一種解決方式。




附件： 本地集群容災(zāi)方案.rar (555.27 KB, 下載次數(shù): 642)

2008-05-20 11:35 上傳

點(diǎn)擊文件名下載附件

Magicloud

"MD3000的傳輸依賴與sasHBA，速度只有300MB/S，而MD3000i的千兆卡的速度為10GB"
一般sas設(shè)備間連接使用四路寬端口，帶寬為12Gb/s，單個(gè)千兆網(wǎng)卡帶寬為1Gb/s。
300MB/s是你理解錯(cuò)誤。10GB是怎么算出來的？
況且iscsi還要考慮tcp/ip延遲問題。即使用萬兆網(wǎng)卡都未必比sas快。

[ 本帖最后由 Magicloud 于 2008-5-20 13:07 編輯 ]

xintao800

傳統(tǒng)并行SCSI接口比較起來，SAS不僅在接口速度上得到顯著提升(現(xiàn)在主流Ultra 320 SCSI速度為320MB/sec，而SAS才剛起步速度就達(dá)到300MB/sec，未來會(huì)達(dá)到600MB/sec甚至更多)，而且由于采用了串行線纜，不僅可以實(shí)現(xiàn)更長的連接距離，還能夠提高抗干擾能力，并且這種細(xì)細(xì)的線纜還可以顯著改善機(jī)箱內(nèi)部的散熱情況。
http://publish.it168.com/cword/3554.shtml

{況且iscsi還要考慮tcp/ip延遲問題。即使用萬兆網(wǎng)卡都未必比sas快}
這句話我嚴(yán)重不同意，你的意思是tcp/ip協(xié)議沒有SCSI 協(xié)議快？SAS只不過由原來的并口硬盤該成串口硬盤，我就不信它速度會(huì)提升多少？況且還有硬盤轉(zhuǎn)速限制。
    10GB也不是我算的，是存儲(chǔ)在線的專家算的：http://www.dostor.com/a/p/2007-09-13/0002635068.shtml
（現(xiàn)在，市場(chǎng)上對(duì)于iSCSI依然存在一些誤解和看法。比如有人說iSCSI的速度要比光纖慢。首先我們需要弄清一個(gè)概念，F(xiàn)C與iSCSI的速度是怎樣的？10Gb與4Gb，到底誰快？答案是一樣快。它們所代表的僅僅是每秒傳送的數(shù)據(jù)量，僅僅是一個(gè)帶寬，而非速度。速度是什么？是每秒傳輸?shù)木嚯x。實(shí)際上對(duì)于大部分中小企業(yè)而言，F(xiàn)C和iSCSI的性能沒有什么區(qū)別。特別當(dāng)用戶硬盤數(shù)量在60塊以內(nèi)，這種小IO環(huán)境下的iSCSI和FC對(duì)他們來說，性能上沒有明顯的差異。簡(jiǎn)單來說，用更低的成本獲得的性能幾乎是一樣的。
  
      另外一個(gè)問題，目前依然有人認(rèn)為iSCSI的安全性不如FC好。事實(shí)這兩者的安全性是一樣的，因?yàn)槠髽I(yè)把大部分的存儲(chǔ)設(shè)備放在內(nèi)部網(wǎng)絡(luò)中，其環(huán)境是一樣的。唯一的不同在于，F(xiàn)C的協(xié)議復(fù)雜，熟知的人較少，而IP協(xié)議早已為大眾所熟知。但請(qǐng)不要忽視，F(xiàn)C協(xié)議本身并沒有經(jīng)受過多少考驗(yàn)，而IP協(xié)議自誕生之日起便不斷地被眾多權(quán)威機(jī)構(gòu)、廠商所完善。從某些角度而言，我們甚至可以認(rèn)為，使用iSCSI更為安全一些。
  
      再一個(gè)誤區(qū)是說iSCSI的可管理性不如FC那樣好。實(shí)際上iSCSI不需要更多的管理，因此在管理方面會(huì)更加的簡(jiǎn)便。面對(duì)著基于IP協(xié)議的iSCSI，還想要怎樣的簡(jiǎn)化管理？H3C存儲(chǔ)產(chǎn)品線總裁李治曾經(jīng)舉過一個(gè)簡(jiǎn)單的例子：IP擁有完善的管理維護(hù)工具與機(jī)制，而FC，甚至連一個(gè)最簡(jiǎn)單的ping命令都沒有去提供。孰繁孰簡(jiǎn)，一言以蔽之。
  
      我們不希望在此討論FC與iSCSI孰是孰非的問題，也不想繼續(xù)著FC消亡論。但我們需要看到的是，中小企業(yè)，他們也需要存儲(chǔ)廠商提供企業(yè)級(jí)客戶的量身打造的方案。中國中小企業(yè)市場(chǎng)是“一地碎銀”，銀子誰都想賺，但也不是隨便就能賺到的。廠商也在重視這片沃土的同時(shí)，正視他們的需求，也許，Dell此次發(fā)布MD3000i便將是新一輪SMB戰(zhàn)略實(shí)施的號(hào)角。我們也應(yīng)該相信，隨著中小企業(yè)存儲(chǔ)供需矛盾的日益突出，此類的產(chǎn)品與方案將越來越多的出現(xiàn)在我們的面前。）

shahand

[B]" 再說先光纖，光纖的傳輸為4GB，與千兆網(wǎng)卡的10GB真實(shí)傳輸速度基本是一樣的 "[/B]

xintao800

英特爾公司日前透露，公司將于本周推出10千兆的網(wǎng)絡(luò)接口卡（NIC），其傳輸性能將超過銅質(zhì)電纜，這使公司在不新安裝造價(jià)昂貴的光纖電纜情況下用戶實(shí)現(xiàn)了更高的數(shù)據(jù)傳輸速率：http://www.stor-age.com/stor-age/2008/0505/845573.shtml
InfiniBand的下一個(gè)版本四倍數(shù)據(jù)速率（QDR）問世后，會(huì)把速率再提高一倍，達(dá)到40Gbps：http://www.51cto.com/art/200704/44249.htm

ISCSI真實(shí)速度（帶寬）應(yīng)該是10000Mbps/8=1250MB/s

FC的真實(shí)速度（帶寬）4000Mbps/8=500MB/s
可以看到雙方理論速度（帶寬）差距很大的，即使Magicloud 所言，存在網(wǎng)絡(luò)延時(shí)，2種傳輸模式的速度（真實(shí)傳輸速度）也旗鼓相當(dāng)。
之前我寫的10GB沒有核算成MB，向各位朋友道歉/

從以后的發(fā)展來看，iscsi已經(jīng)在著手40GB的產(chǎn)品，而FC目前在在開發(fā)8GB的產(chǎn)品，有點(diǎn)落后了，嘿嘿

     FC應(yīng)用比較廣泛，成本高，穩(wěn)定，而受歡迎，而iscsi出世不久，所以對(duì)它了解很少。即使速度都到達(dá)那么高，但是硬盤的轉(zhuǎn)速以及主板、CUP帶寬都會(huì)影響到往高速發(fā)展，形成速度的瓶頸。

[ 本帖最后由 xintao800 于 2008-5-20 15:48 編輯 ]

Magicloud

原帖由 xintao800 于 2008-5-20 14:27 發(fā)表
傳統(tǒng)并行SCSI接口比較起來，SAS不僅在接口速度上得到顯著提升(現(xiàn)在主流Ultra 320 SCSI速度為320MB/sec，而SAS才剛起步速度就達(dá)到300MB/sec，未來會(huì)達(dá)到600MB/sec甚至更多)，而且由于采用了串行線纜，不僅可以實(shí) ...

很抱歉，你參考的這兩段是部分錯(cuò)誤的……
sas有兩種接口，3Gb/s一般只用于終端設(shè)備（硬盤）連接，交換機(jī)等設(shè)備間連接使用四路端口，12Gb/s最大帶寬、支持冗余。非標(biāo)準(zhǔn)設(shè)備有八路甚至十六路。
至于10Gb/s，我看文中沒有提到它用什么網(wǎng)卡，我也不相信一個(gè)千兆網(wǎng)卡能跑到10Gb/s。萬兆網(wǎng)嘛，價(jià)錢還是要考慮一下。

[ 本帖最后由 Magicloud 于 2008-5-20 16:47 編輯 ]

Magicloud

原帖由 xintao800 于 2008-5-20 15:24 發(fā)表
英特爾公司日前透露，公司將于本周推出10千兆的網(wǎng)絡(luò)接口卡（NIC），其傳輸性能將超過銅質(zhì)電纜，這使公司在不新安裝造價(jià)昂貴的光纖電纜情況下用戶實(shí)現(xiàn)了更高的數(shù)據(jù)傳輸速率：http://www.stor-age.com/stor-age/2 ...

iscsi的接口速度，確切的講，是與網(wǎng)卡有關(guān)的。換句話說，你用萬兆網(wǎng)卡當(dāng)然比千兆網(wǎng)卡快（持續(xù)速度）。
但注意我上邊提到的tcp/ip延遲問題，這個(gè)問題將導(dǎo)致突發(fā)速度大大降低，我想你的環(huán)境應(yīng)該不是從一臺(tái)機(jī)器“順序”復(fù)制數(shù)據(jù)到另一臺(tái)機(jī)器這么簡(jiǎn)單吧。
而sas使用可靠連接，突發(fā)延遲是不可靠連接（以太網(wǎng)）的三分之一。
我認(rèn)為iscsi的真正優(yōu)勢(shì)在于大規(guī)模san。而不是性能。

[ 本帖最后由 Magicloud 于 2008-5-20 16:52 編輯 ]

acrux

可以用CA XOsoft容災(zāi)同步復(fù)制方案解決上述需求呀。如需幫助請(qǐng)聯(lián)系本人。

QQ:122422936

xintao800

iscsi的接口速度，確切的講，是與網(wǎng)卡有關(guān)的。換句話說，你用萬兆網(wǎng)卡當(dāng)然比千兆網(wǎng)卡快（持續(xù)速度）。
但注意我上邊提到的tcp/ip延遲問題，這個(gè)問題將導(dǎo)致突發(fā)速度大大降低，我想你的環(huán)境應(yīng)該不是從一臺(tái)機(jī)器“順序”復(fù)制數(shù)據(jù)到另一臺(tái)機(jī)器這么簡(jiǎn)單吧。
而sas使用可靠連接，突發(fā)延遲是不可靠連接（以太網(wǎng)）的三分之一。
我認(rèn)為iscsi的真正優(yōu)勢(shì)在于大規(guī)模san。而不是性能。

恩，我也是這么理解的，看來我們都把iscsi分析的透徹?zé)o比了，不過從目前發(fā)展來看，系統(tǒng)瓶頸還沒有有效的解決，不管是SCSI、ISCSI還是SAN都存在系統(tǒng)瓶頸問題
    ISCSI我還是比較看好，雖然起步不是很長時(shí)間，但是它可能是以后的發(fā)展方向。
iscsi基于傳統(tǒng)的tcp/ip協(xié)議傳輸，肯定存在延遲，但由于系統(tǒng)瓶頸的存在，應(yīng)該表現(xiàn)的不很明顯，iscsi理論速度甚至比SAN的速度都高

xintao800

我想你的環(huán)境應(yīng)該不是從一臺(tái)機(jī)器“順序”復(fù)制數(shù)據(jù)到另一臺(tái)機(jī)器這么簡(jiǎn)單吧。

是的，解決起來起來確實(shí)很麻煩，最初也是設(shè)計(jì)跟傳統(tǒng)復(fù)制一樣，基于文件或磁盤塊的方式鏡像，后來因?yàn)閿?shù)據(jù)庫打開過程中是不允許復(fù)制操作的。
    換了種思路去解決，軟件直接截取寫入緩存，使得2邊同時(shí)寫入，再把寫入成功的信息反饋系統(tǒng)，這樣就保證了數(shù)據(jù)的實(shí)時(shí)同步


我1樓設(shè)計(jì)的方案基礎(chǔ)是一個(gè)傳統(tǒng)的雙機(jī)集群，然后把備份陣列連接到本地，成為本地硬盤，寫入的時(shí)候同時(shí)寫入這個(gè)備份硬盤；

當(dāng)然我也考慮另一種方式去實(shí)現(xiàn)，陣列都分別掛載成主、備機(jī)本地硬盤，然后兩個(gè)數(shù)據(jù)盤同步，這中方式我們實(shí)施也很多，但是考慮到以上用戶接受問題，所以推薦了第一種方案