【話題討論】從6·23工行事件 談企業(yè)IT系統(tǒng)災備問題（獲獎名單已公布-2013-7-25）

qingduo04

1,你認為這次事故后,災備系統(tǒng)無法迅速恢復系統(tǒng)的原因是什么?
   a.處理問題時的果斷性、心理素質(zhì)。
  b.現(xiàn)場人員的技術(shù)水平，項目經(jīng)驗
  c.還得看一下災備系統(tǒng)到底能否正常切換。

2,你認為目前銀行的IT系統(tǒng)建設(shè)目前存在哪些問題？
  IT行業(yè)一直是背后支撐著，在銀行業(yè)這種更是OLTP的系統(tǒng)上，只要是系統(tǒng)正常運行，領(lǐng)導一般不重視到底IT怎么建設(shè)，建設(shè)的穩(wěn)定性、規(guī)范性、可用性、可發(fā)展性。所以如果真正做到高可用，容災秒級切換必須有大領(lǐng)導的支持，沒錢什么都不可能做。
  其次還得有專業(yè)的支撐團隊對現(xiàn)有IT問題、性能等做好技術(shù)支持.


3,你認為災備系統(tǒng)的有效性如何得以實現(xiàn)？
  個人覺得有效性基于軟件較好，平時定期的進行演練，按照真正的故障去演練，而不是為了應付而演練，這種罪基本的責任。

beyondfly

DB V10版本升級之前難道就沒有進行好好的測試，就這么上線了？

arron劉

要么就是技術(shù)不熟悉，要么就是從來沒有做個測試。回復 22# beyondfly


   

tomac_cu

1,你認為這次事故后,災備系統(tǒng)無法迅速恢復系統(tǒng)的原因是什么?
我做過銀行的運行。就我個人來看，工行這次的處理已經(jīng)是挺迅速了。
在銀行中運行和維護是兩批人馬，運行人員通常是以財務(wù)為主，技術(shù)為輔。
畢竟回滾是有風險的，如果回滾過程中又出現(xiàn)問題怎么辦？這個決定不是運行人員所能做出來的。
從運行人員來看，因為不知曉其中的技術(shù)原因�？梢缘却�是運行人員的主要使命。
回滾后再執(zhí)行是否會繼續(xù)出錯，運行人員并不知道。所以從風險角度來看，堅持等待是運維人員的唯一出路。
而執(zhí)行回滾這樣的操作，應該是技術(shù)人員的事也就是維護人員。


2,你認為目前銀行的IT系統(tǒng)建設(shè)目前存在哪些問題？
大集中，大安全，大風險


3,你認為災備系統(tǒng)的有效性如何得以實現(xiàn)？
這次事件其實和災備沒什么關(guān)系。現(xiàn)有的災備技術(shù)夠用了。只是需要時間和金錢來維護好。

jieforest

中國工商銀行(601398,SH;1398,HK)信息科技部就6月23日工行系統(tǒng)故障事件(以下簡稱“6·23事件”)正式作出內(nèi)部通報，這份通報稱，工行數(shù)據(jù)中心(上海)主機系統(tǒng)出現(xiàn)故障，是由于IBM提供的主機DB2V10版本內(nèi)存清理機制存在缺陷引發(fā)。

而在技術(shù)問題之外，工行本身的管理問題以及國內(nèi)銀行業(yè)信息系統(tǒng)落后的沉疴可能也是此次事件的誘因。

事件原因直指IBM：軟件存在缺陷

6月28日上午，工行某直屬一級分行信息科技部員工陸續(xù)收到內(nèi)部通報郵件。該通報就6·23事件的情況及原因作了基本描述，但對事件影響范圍、內(nèi)部處理能力判斷均語焉不詳。

通 報稱，“6月23日上午，數(shù)據(jù)中心(上海)監(jiān)控發(fā)現(xiàn)主機CPU利用率升高，經(jīng)分析判斷與6月23日凌晨實施的主機DB2數(shù)據(jù)庫軟件升級版本有關(guān)(從V9升 級到V10)，在緊急回退升級系統(tǒng)軟件版本后系統(tǒng)運行恢復正常�！蓖瑫r，工行總行信息科技部將該事件直接原因歸為IBM公司提供的軟件產(chǎn)品存在缺陷，并稱 這點“經(jīng)IBM公司正式確認”。



工行就6·23事件做出的正式內(nèi)部通報文件

6月23日上午，全國多地中國工商銀行柜臺、ATM、網(wǎng)銀業(yè)務(wù)出現(xiàn)故障，持續(xù)近1個小時。作為服務(wù)2.92億個人客戶及400多萬公司客戶的全國金融服務(wù)巨頭，工行此次故障波及北京、上海、廣州、武漢、哈爾濱等多個大中型城市。

當日，工行將該事故對外模糊描述為：“中國工商銀行部分地區(qū)因計算機系統(tǒng)升級原因造成柜面和電子渠道業(yè)務(wù)辦理緩慢�！边@也是迄今為止工行就6·23事件向用戶發(fā)布的唯一公開解釋。

IBM公開官方資料顯示，工行與IBM的合作始于1997年，至今16年之久。針對通報中提及的“經(jīng)IBM公司正式確認”，記者聯(lián)系多位IBM相關(guān)負責人，但均未得到回應。

工行IT運維能力遭質(zhì)疑

這份內(nèi)部通報由一位不愿透露姓名的工行在職員工提供。該員工表示，自己并不太滿意這份解釋：“對災難備份只字未提，有意將管理問題規(guī)避為技術(shù)問題�！�

通報也提及了一些管理問題，但表述頗為模糊，通報稱，“(數(shù)據(jù)中心上海)沒有按照‘第一時間恢復生產(chǎn)’的要求采取果斷措施及時進行回退，并且回退過程不堅決，耗時較長�！�

銀行的災難備份系統(tǒng)，是指銀行對本地數(shù)據(jù)中心的數(shù)據(jù)、業(yè)務(wù)系統(tǒng)、軟硬件等資源進行同城或異地備份，以確保發(fā)生某些不可預測的災難后，重要信息系統(tǒng)的數(shù)據(jù)安全的一種預防措施。

據(jù)中國銀行業(yè)監(jiān)督管理委員會(以下簡稱“銀監(jiān)會”)發(fā)布的《銀行業(yè)金融機構(gòu)信息系統(tǒng)風險管理指引》，銀行業(yè)金融機構(gòu)應制定信息系統(tǒng)應急預案，并定期演練、評審和修訂；全國性數(shù)據(jù)中心要實現(xiàn)異地災備。

日 前，國內(nèi) 最大的災難備份服務(wù)商萬國數(shù)據(jù)CEO黃偉在接受福布斯中文網(wǎng)采訪時表示，“銀行的IT系統(tǒng)永遠面臨信息安全的挑戰(zhàn)，但悲哀的是，銀行在IT系統(tǒng)和災難備份 中不計成本，但遇到這樣的大面積的安全問題依然無法在短時間內(nèi)恢復系統(tǒng)�！彼�認為，長久以來國內(nèi)銀行的IT系統(tǒng)運作是在給這樣的事件埋下伏筆，他最后指 出，“在國內(nèi)銀行，IT系統(tǒng)的搭建更像是給上級和銀監(jiān)會看的‘政績工程’�！�

2008年，現(xiàn)任銀監(jiān)會副主席郭利根曾就多起國內(nèi)銀行信息科技風險事件發(fā)表講話。他說，工行等國有銀行是國內(nèi)在IT技術(shù)和風險管控上都比較先進的銀行，它們的問題頻發(fā)，“充分暴露出我國銀行業(yè)信息系統(tǒng)的脆弱性�！�

他指出，基礎(chǔ)建設(shè)滯后、軟硬件及核心技術(shù)受制于人和系統(tǒng)管理粗放是當時銀行業(yè)信息科技建設(shè)存在的主要問題，“特別是在業(yè)務(wù)連續(xù)性規(guī)劃、業(yè)務(wù)恢復機制、風險化解和轉(zhuǎn)移措施、技術(shù)恢復方案等方面，存在明顯的‘短板’�！�

整整五年過去，工行6 23事件證明了這些問題仍舊沒有得到有效解決。

arron劉

5年沒有改變,改變就出問題.回復 25# jieforest


   

123書生小甘123

1,你認為這次事故后,災備系統(tǒng)無法迅速恢復系統(tǒng)的原因是什么?
   
硬件（服務(wù)器，主機）的無法更換和接替；軟件未及時做更新和容災機制；人為缺乏統(tǒng)一嚴格的管理和快速的處理。

2,你認為目前銀行的IT系統(tǒng)建設(shè)目前存在哪些問題？

首先，缺乏統(tǒng)一規(guī)劃，今天上個IBM服務(wù)器，明天上個HP存儲，后天加個負載均衡，再后天換個曙光存儲。其次，缺乏集中管理，現(xiàn)在IT管理講節(jié)能，統(tǒng)一規(guī)劃，異構(gòu)存儲，無論再高明的規(guī)劃，需要有優(yōu)秀的人才和管理體制做后盾和調(diào)度。再次，在IT方面的投入沒有得到良好的回饋，也希望銀行領(lǐng)導把信息化看得越來越重，在考慮考慮總體擁有成本（ TCO ）的情況下，更多得考慮IT的規(guī)劃和轉(zhuǎn)型。

3,你認為災備系統(tǒng)的有效性如何得以實現(xiàn)？
比如兩城三地異地容災，本地做雙機備份，本地管理員及時做好數(shù)據(jù)的快照和備份。
說的有點亂，見笑了。:wink:

eric7zhang

回復 1# arron劉

1,你認為這次事故后,災備系統(tǒng)無法迅速恢復系統(tǒng)的原因是什么?
缺少平時的應急演練，同時也沒有考慮到DB2數(shù)據(jù)庫升級后的回退方案。
2,你認為目前銀行的IT系統(tǒng)建設(shè)目前存在哪些問題？
備份固然重要，但只是純粹的數(shù)據(jù)備份投入確實過多。不要把備份想象成一個移動硬盤。應該考慮人員的備份、技術(shù)的備份、風險的備份。
3,你認為災備系統(tǒng)的有效性如何得以實現(xiàn)？
災備最重要的就是和生產(chǎn)數(shù)據(jù)的切換時間，越短越好。平時應該多做模擬演練。


   

桔子T恤

本地鏡像備份，本地實時備份，異地鏡像備份，異地實時備份，如果出現(xiàn)數(shù)據(jù)丟失，這樣我們也能臨時切換走，然后恢復本地數(shù)據(jù)，不過之前肯定要做好一些準備工作，比如異地的數(shù)據(jù)能不能支撐銀行的訪問量，切換異地時如何保障網(wǎng)絡(luò)訪問等。