IT運(yùn)維技術(shù)討論之三：如何滿足運(yùn)維不間斷服務(wù)的需求

rickcafe

本期話題：
1.就你工作的的本身，談?wù)勀闶欠裥枰�冗余和高可用�?br />
我們是給客戶做系統(tǒng)建設(shè)和服務(wù)的，很多客戶需要冗余和高可用的系統(tǒng)；

一般來(lái)說(shuō)，只要涉及公共利益的運(yùn)營(yíng)平臺(tái)或企業(yè)核心業(yè)務(wù)系統(tǒng)，都會(huì)有7*24小時(shí)不間斷的服務(wù)要求，比如電子商務(wù)（如網(wǎng)上商城）、金融服務(wù)機(jī)構(gòu)（如網(wǎng)銀、網(wǎng)上交易）、政府公共平臺(tái)（如海關(guān)EDI）、企業(yè)重要生產(chǎn)系統(tǒng)（如ERP、CRM、MES、PDM、SCM）等等。

因?yàn)樯鐣?huì)已經(jīng)信息化了，人們的日常生活、企事業(yè)單位的正常運(yùn)作無(wú)不依賴于IT系統(tǒng)，信息系統(tǒng)對(duì)保障業(yè)務(wù)的連續(xù)性越來(lái)越重要，所以冗余和高可用也是遍地都是。就算是小微企業(yè)的金蝶ERP也不希望跑在單個(gè)硬盤上吧？硬盤壞了，丟失數(shù)據(jù)，停機(jī)好幾天，老板都要罵人了，何況大點(diǎn)的企業(yè)和客戶。


2.如果需要冗余或者高可用，你是如何實(shí)現(xiàn)的？使用商業(yè)解決方案？還是開(kāi)源解決方案？

實(shí)現(xiàn)有很多種檔次的，很多種方式，不一而論，如本地冗余、災(zāi)備系統(tǒng)等……。

服務(wù)器：如RAID技術(shù)、集群技術(shù)等；
存儲(chǔ)：如RAID、本地鏡像、克隆、卷復(fù)制、基于存儲(chǔ)設(shè)備間的數(shù)據(jù)復(fù)制（同步、異步）、存儲(chǔ)虛擬化、CDP等等；
應(yīng)用：同城容災(zāi)、異地容災(zāi)、雙活數(shù)據(jù)中心、兩地三中心、數(shù)據(jù)庫(kù)級(jí)的災(zāi)備（如Oracle的Data Guard、MYSQL、SQL Server的主從模式）、主機(jī)系統(tǒng)+應(yīng)用級(jí)別的容災(zāi)、基于第三方軟件（如VCS）的容災(zāi)，基于虛擬化的容災(zāi)（如VMware的HA、FT、SRM）

商業(yè)還是開(kāi)源？

當(dāng)然是商業(yè)解決方案了。有技術(shù)支持，有服務(wù)，重要的是有法律免責(zé)。否則使用免費(fèi)軟件，系統(tǒng)宕了，數(shù)據(jù)丟了，影響公共利益了，觸犯法律了，需要有人坐牢了，那誰(shuí)來(lái)負(fù)責(zé)呢？總不是是選擇和使用免費(fèi)軟件的IT工程師吧？如果不是他，那還能是誰(shuí)呢？就是他干的，就他級(jí)別最低。所以為了法律風(fēng)險(xiǎn)了也不能用免費(fèi)的、開(kāi)源的。除非是小企業(yè)，什么都是老板說(shuō)了算，出事了他可以跑路，人間蒸發(fā)，那無(wú)所謂了，大家隨便搞吧。


3.你的工作環(huán)境發(fā)生因冗余或者高可用導(dǎo)致的事故嗎？你是如何防止該類事故的再次發(fā)生？

因冗余或高可用導(dǎo)致的事故？這倒是很少聽(tīng)說(shuō)，本來(lái)就解決系統(tǒng)可靠性、可用性的問(wèn)題，結(jié)果自己成了問(wèn)題了，成了故障點(diǎn)。這種現(xiàn)象確實(shí)很罕見(jiàn)。

不過(guò)也不是沒(méi)有，常在河邊走，誰(shuí)能不濕鞋？

以前我維護(hù)過(guò)一個(gè)客戶的sun HA雙機(jī)數(shù)據(jù)庫(kù)系統(tǒng)，集群軟件用的是sun cluster 3.1。sun cluster是別人裝的，可能是安裝有問(wèn)題，用solaris explorer命令采集系統(tǒng)數(shù)據(jù)時(shí)，會(huì)把sun cluster的軟件程序都“采集”進(jìn)來(lái)，造成采集數(shù)據(jù)包往往是200多MB，一般正常的只有1、2MB；有次維護(hù)客戶系統(tǒng)時(shí)，因不太了解sun cluster的技術(shù)細(xì)節(jié)，建議客戶將一些sun cluster生成的“無(wú)用的”日志數(shù)據(jù)移動(dòng)另外一個(gè)備份目錄，以減少explorer的采集數(shù)量，客戶同意了。結(jié)果我剛操作完，sun cluster立刻宕掉了，啟也啟不來(lái)，嚇壞了，定了定神，才想起可能和這個(gè)操作有關(guān)，再將sun cluster的“垃圾數(shù)據(jù)”移回來(lái)，sun cluster就恢復(fù)正常了，虛驚一場(chǎng)。這可是7*24小時(shí)不能宕機(jī)的系統(tǒng)，絕對(duì)影響全市人民利益，每次停機(jī)都要發(fā)公告的，出了事絕對(duì)是重大責(zé)任事故，誰(shuí)也兜不住，市長(zhǎng)都會(huì)打電話的，當(dāng)時(shí)嚇的一身冷汗。

還有一次是IBM小機(jī)雙機(jī)+Oracle RAC，客戶需要更換網(wǎng)絡(luò)設(shè)備，重新插拔所有小機(jī)網(wǎng)線，會(huì)導(dǎo)致Oracle CRS的 VIP暫時(shí)失效，這本來(lái)不是事，但用戶沒(méi)有記得private IP、也記錯(cuò)了public IP地址，導(dǎo)致兩臺(tái)小機(jī)全登錄不進(jìn)去（當(dāng)然登錄不進(jìn)去了），結(jié)果無(wú)法重啟Oracle RAC；當(dāng)時(shí)誤以為是小機(jī)網(wǎng)卡故障了（客戶堅(jiān)持說(shuō)他沒(méi)記錯(cuò)IP），搞的一片緊張，后來(lái)花了幾個(gè)小時(shí)才找到正確的IP，才登錄進(jìn)去維護(hù)，當(dāng)時(shí)也是嚇得半死+一對(duì)霧水+不可思議。

問(wèn)題的原因分析很簡(jiǎn)單。高可用系統(tǒng)往往有其技術(shù)的復(fù)雜一面，如果不了解相關(guān)的技術(shù)和前人的配置，不要自以為是的擅自修改，擅自處理，一定要注意規(guī)范細(xì)節(jié)。

同時(shí)，系統(tǒng)一定要留有完整的安裝配置文檔。如果沒(méi)有文檔，就要在維護(hù)中加以整理完善。在做重要操作時(shí)，一定要有基礎(chǔ)的配置文檔做支撐，有回退的預(yù)案，并向客戶說(shuō)明整個(gè)操作流程，提醒重要的注意點(diǎn)。

千萬(wàn)不要想當(dāng)然。你以為我知道，我以為你知道，你以為我懂，我以為你懂，結(jié)果大家全不知道，全不懂，這才是最可怕的。

為什么容災(zāi)系統(tǒng)需要演練呢？就是因?yàn)榇蠹叶疾皇炻�。去年寧夏銀行宕機(jī)30多個(gè)小時(shí)，造成銀行業(yè)的重大事故，不就是因?yàn)椴欢�不熟不�?huì)操作，沒(méi)買服務(wù)嘛。以為特簡(jiǎn)單的事，隨便一操作，結(jié)果整個(gè)系統(tǒng)都掛掉，掛掉之后因?yàn)榧夹g(shù)水平不行，就判斷不了，解決不了，都傻在那兒。

光有技術(shù)的高可用沒(méi)用的，還要人的高可用。

唉，說(shuō)了半天廢話，就是要完善系統(tǒng)運(yùn)維管理制度、操作規(guī)范、操作流程，**和保存系統(tǒng)的技術(shù)文檔，努力提高自己的技術(shù)水平，按規(guī)矩辦事。

dengbao2001

rickcafe 發(fā)表于 2015-01-31 21:08
本期話題：
1.就你工作的的本身，談?wù)勀闶欠裥枰�冗余和高可用�?/blockquote>

感謝你的分享，你的經(jīng)驗(yàn)值得我們借鑒和學(xué)習(xí)

有機(jī)天使

1.就你工作的的本身，談?wù)勀闶欠裥枰�冗余和高可用�?br />   我們是搞油田應(yīng)用的，這幾年油田對(duì)信息化的**程度明顯增加，陸續(xù)投入了不少錢，所以我現(xiàn)在這邊管理的機(jī)房設(shè)備必須是24小時(shí)不間斷的，因?yàn)榫畧?chǎng)是24小時(shí)工作的，數(shù)據(jù)會(huì)持續(xù)不斷的傳輸?shù)綑C(jī)房，所以主數(shù)據(jù)服務(wù)器必須要冗余。

2.如果需要冗余或者高可用，你是如何實(shí)現(xiàn)的？使用商業(yè)解決方案？還是開(kāi)源解決方案？
  我們的數(shù)據(jù)服務(wù)器是SUN M8000，兩臺(tái)主機(jī)劃分了四個(gè)域，之前一直是采用solaris的Cluster集群來(lái)做，但由于此集群中間出了不少問(wèn)題，而且空閑了2個(gè)域，比較資源浪費(fèi)，所以前陣子我們更換成Oracle RAC集群了，但目前還有點(diǎn)問(wèn)題（莫名的出現(xiàn)某一臺(tái)主機(jī)數(shù)據(jù)庫(kù)內(nèi)存消耗達(dá)到80%以上，可我們生產(chǎn)環(huán)境還沒(méi)正式投入，誰(shuí)知道問(wèn)題出哪里�。�，另外我們對(duì)部分服務(wù)器使用的是windows的故障轉(zhuǎn)移集群，實(shí)現(xiàn)Hyper-V的漂移，另外就是大部分的服務(wù)器是應(yīng)用了vmware虛擬化，用的ESXi 環(huán)境，自帶HA，還是比較方便。但我們有一個(gè)web服務(wù)器目前居然還是裸機(jī)，無(wú)HA，我覺(jué)得實(shí)在不應(yīng)該，由于我們這邊很少linux 的系統(tǒng)，所以開(kāi)源的產(chǎn)品用的很少，對(duì)windows web的HA有啥好的方法嗎？

3、你的工作環(huán)境發(fā)生因冗余或者高可用導(dǎo)致的事故嗎？你是如何防止該類事故的再次發(fā)生？
  服務(wù)器的事故雖然發(fā)生過(guò)，但由于有HA機(jī)制，到?jīng)]太大影響，但存儲(chǔ)出過(guò)2次事故：
（1）、 一次是低端存儲(chǔ)故障：低端存儲(chǔ)當(dāng)初做的時(shí)候可能就沒(méi)做好，由于停電導(dǎo)致磁盤故障，結(jié)果一下壞了3塊盤，而存儲(chǔ)的熱備盤當(dāng)初雖然是設(shè)置了，但不知道為何居然這次沒(méi)起作用，造成了數(shù)據(jù)丟失，而且raid的磁盤分配也存在不合理，導(dǎo)致后期想數(shù)據(jù)恢復(fù)的時(shí)候所需要恢復(fù)的磁盤過(guò)多，成本太高，后來(lái)還好數(shù)據(jù)不是太重要，也就作罷了，如今是將存儲(chǔ)配置全部重新制作，特別是熱備盤這次專門還做了實(shí)驗(yàn)，檢測(cè)是否可以起作用，但存儲(chǔ)的HA確實(shí)么有好的辦法。
（2）、第二次是日立的一個(gè)高端存儲(chǔ)，也是機(jī)房突然停電，UPS待機(jī)時(shí)間不足，造成了日立存儲(chǔ)設(shè)備斷電，部分?jǐn)?shù)據(jù)受損，不過(guò)高端的存儲(chǔ)其本身內(nèi)部機(jī)制還是完善的，所以數(shù)據(jù)總算沒(méi)有大的損失，不過(guò)當(dāng)時(shí)也是嚇壞了，害的存儲(chǔ)工程師坐著飛機(jī)連夜趕赴現(xiàn)場(chǎng)，總算搶救過(guò)來(lái)了，所以我現(xiàn)在對(duì)存儲(chǔ)的高可用也是很頭疼，暫沒(méi)找到合適的方法，不知道大家有啥好的方法嗎？最好是經(jīng)濟(jì)的方案，花大錢的估計(jì)是沒(méi)戲

有機(jī)天使

1.就你工作的的本身，談?wù)勀闶欠裥枰�冗余和高可用�?br />   我們是搞油田應(yīng)用的，這幾年油田對(duì)信息化的**程度明顯增加，陸續(xù)投入了不少錢，所以我現(xiàn)在這邊管理的機(jī)房設(shè)備必須是24小時(shí)不間斷的，因?yàn)榫畧?chǎng)是24小時(shí)工作的，數(shù)據(jù)會(huì)持續(xù)不斷的傳輸?shù)綑C(jī)房，所以主數(shù)據(jù)服務(wù)器必須要冗余。

2.如果需要冗余或者高可用，你是如何實(shí)現(xiàn)的？使用商業(yè)解決方案？還是開(kāi)源解決方案？
  我們的數(shù)據(jù)服務(wù)器是SUN M8000，兩臺(tái)主機(jī)劃分了四個(gè)域，之前一直是采用solaris的Cluster集群來(lái)做，但由于此集群中間出了不少問(wèn)題，而且空閑了2個(gè)域，比較資源浪費(fèi)，所以前陣子我們更換成Oracle RAC集群了，但目前還有點(diǎn)問(wèn)題（莫名的出現(xiàn)某一臺(tái)主機(jī)數(shù)據(jù)庫(kù)內(nèi)存消耗達(dá)到80%以上，可我們生產(chǎn)環(huán)境還沒(méi)正式投入，誰(shuí)知道問(wèn)題出哪里啊），另外我們對(duì)部分服務(wù)器使用的是windows的故障轉(zhuǎn)移集群，實(shí)現(xiàn)Hyper-V的漂移，另外就是大部分的服務(wù)器是應(yīng)用了vmware虛擬化，用的ESXi 環(huán)境，自帶HA，還是比較方便。但我們有一個(gè)web服務(wù)器目前居然還是裸機(jī)，無(wú)HA，我覺(jué)得實(shí)在不應(yīng)該，由于我們這邊很少linux 的系統(tǒng)，所以開(kāi)源的產(chǎn)品用的很少，對(duì)windows web的HA有啥好的方法嗎？

3、你的工作環(huán)境發(fā)生因冗余或者高可用導(dǎo)致的事故嗎？你是如何防止該類事故的再次發(fā)生？
  服務(wù)器的事故雖然發(fā)生過(guò)，但由于有HA機(jī)制，到?jīng)]太大影響，但存儲(chǔ)出過(guò)2次事故：
（1）、 一次是低端存儲(chǔ)故障：低端存儲(chǔ)當(dāng)初做的時(shí)候可能就沒(méi)做好，由于停電導(dǎo)致磁盤故障，結(jié)果一下壞了3塊盤，而存儲(chǔ)的熱備盤當(dāng)初雖然是設(shè)置了，但不知道為何居然這次沒(méi)起作用，造成了數(shù)據(jù)丟失，而且raid的磁盤分配也存在不合理，導(dǎo)致后期想數(shù)據(jù)恢復(fù)的時(shí)候所需要恢復(fù)的磁盤過(guò)多，成本太高，后來(lái)還好數(shù)據(jù)不是太重要，也就作罷了，如今是將存儲(chǔ)配置全部重新制作，特別是熱備盤這次專門還做了實(shí)驗(yàn)，檢測(cè)是否可以起作用，但存儲(chǔ)的HA確實(shí)么有好的辦法。
（2）、第二次是日立的一個(gè)高端存儲(chǔ)，也是機(jī)房突然停電，UPS待機(jī)時(shí)間不足，造成了日立存儲(chǔ)設(shè)備斷電，部分?jǐn)?shù)據(jù)受損，不過(guò)高端的存儲(chǔ)其本身內(nèi)部機(jī)制還是完善的，所以數(shù)據(jù)總算沒(méi)有大的損失，不過(guò)當(dāng)時(shí)也是嚇壞了，害的存儲(chǔ)工程師坐著飛機(jī)連夜趕赴現(xiàn)場(chǎng)，總算搶救過(guò)來(lái)了，所以我現(xiàn)在對(duì)存儲(chǔ)的高可用也是很頭疼，暫沒(méi)找到合適的方法，不知道大家有啥好的方法嗎？最好是經(jīng)濟(jì)的方案，花大錢的估計(jì)是沒(méi)戲

rickcafe

回復(fù) 134# 有機(jī)天使


    請(qǐng)問(wèn)這個(gè)日立存儲(chǔ)是什么型號(hào)的？

dengbao2001

感謝各位呀！

這個(gè)活動(dòng)都結(jié)束了，還有這么多朋友參與活動(dòng)

dengbao2001

汗一個(gè)。。。。。。

shark010

做個(gè)記錄。。。。。