【號(hào)外、號(hào)外】AWS、百度近期故障頻繁，你怎么看？

qingduo04

獲獎(jiǎng)公布：移動(dòng)電源一個(gè)  (j_cle)
15周年限量版男士商務(wù)晴雨傘一把  (Fl_wolf)
請(qǐng)以上獲獎(jiǎng)人員在6月30日前將姓名、電話、郵箱、公司、職務(wù)、快遞地址站短給hyukhae079408，以便盡快給大家發(fā)放禮品。
【現(xiàn)象+影響】
1.  2017年2月28日晚8點(diǎn)39分，百度移動(dòng)端搜索發(fā)生故障，搜索請(qǐng)求無(wú)法顯示結(jié)果，至晚9點(diǎn)21分恢復(fù)，歷時(shí)42分鐘。據(jù)估計(jì)，故障期間導(dǎo)致手機(jī)用戶上億次的搜索受到影響。
2.  北京時(shí)間2月28日夜間，美國(guó)時(shí)間周二，亞馬遜AWS出現(xiàn)了較高的錯(cuò)誤率，影響了數(shù)千個(gè)在線服務(wù)，包括項(xiàng)目管理工具和費(fèi)用報(bào)告工具等。最終于北京時(shí)間3月1日凌晨，美國(guó)太平洋時(shí)間14： 08，亞馬遜宣布S3恢復(fù)正常。

【原因分析】
1. 據(jù)初步分析，故障原因是由于百度公司的軟件更新中存在BUG(漏洞)，導(dǎo)致服務(wù)器停止服務(wù)。故障發(fā)生后，百度公司緊急處置并恢復(fù)服務(wù)，目前該軟件問(wèn)題已得到修復(fù)
2. 上述故障是由于人為因素所致，此次事故還導(dǎo)致多家客戶的網(wǎng)站和服務(wù)出現(xiàn)了大規(guī)模故障，由于一項(xiàng)錯(cuò)誤的指令，比計(jì)劃中更多的服務(wù)器被移除。此次事故發(fā)生在亞馬遜S3存儲(chǔ)服務(wù)，持續(xù)了超過(guò)3個(gè)半小時(shí)，影響了客戶的數(shù)據(jù)收發(fā)。

【引申】
3月1日**相關(guān)司局立即緊急約談百度公司，了解相關(guān)情況，對(duì)以上情況，**責(zé)令百度公司立即對(duì)本次故障進(jìn)行深入調(diào)查，提出切實(shí)有效的整改措施，堅(jiān)決防止類似問(wèn)題的再次發(fā)生，3日內(nèi)向**提交書面報(bào)告。同時(shí)，下發(fā)緊急通知，要求阿里巴巴、騰訊等各重點(diǎn)互聯(lián)網(wǎng)企業(yè)吸取教訓(xùn)，舉一反三，采取各項(xiàng)有力措施加強(qiáng)安全防范，尤其要做好全國(guó)“兩會(huì)”期間的業(yè)務(wù)服務(wù)保障，確保各類重要系統(tǒng)和業(yè)務(wù)平臺(tái)安全穩(wěn)定運(yùn)行，為廣大網(wǎng)民提供良好的信息服務(wù)。

【議題】
1. 又是人為因素造成的，又是軟件升級(jí)，不管是百度，還是AWS或者其他大系統(tǒng)，該怎樣規(guī)避認(rèn)為因素造成的事故？你怎么看？怎么解決？
2. 怎樣確認(rèn)軟件升級(jí)后，系統(tǒng)的健壯性，該從哪幾方面著手？
3. 當(dāng)前ICT廠家 HA，高可用，容災(zāi)、災(zāi)備等說(shuō)的花里胡哨，但是真正的落地，為什么有那么多的困難之處？你怎么看？怎么解決？
4. 技術(shù)發(fā)展到如今，系統(tǒng)越來(lái)越復(fù)雜繁瑣，在復(fù)雜的系統(tǒng)中怎么能夠快速的定位問(wèn)題所在？

【活動(dòng)時(shí)間】3月6日--4月6日

【活動(dòng)獎(jiǎng)勵(lì)】
活動(dòng)結(jié)束后，我們將會(huì)選取1個(gè)精彩回復(fù)，送移動(dòng)電源一個(gè)，2個(gè)精彩回復(fù)送社區(qū)15周年限量版男士商務(wù)晴雨傘一把。

歡迎各位大俠互動(dòng)。

DTCC 2017 來(lái)啦！

隨著云計(jì)算和大數(shù)據(jù)時(shí)代的來(lái)臨，數(shù)據(jù)正在以前所未有的速度成為各個(gè)領(lǐng)域價(jià)值創(chuàng)造的核心驅(qū)動(dòng)力。

在此背景下，國(guó)內(nèi)最受關(guān)注的數(shù)據(jù)庫(kù)技術(shù)盛會(huì)——2017第八屆中國(guó)數(shù)據(jù)庫(kù)技術(shù)大會(huì)（DTCC2017）將于2017年5月11-13日如約而至。本屆大會(huì)以“數(shù)據(jù)驅(qū)動(dòng)•價(jià)值發(fā)現(xiàn)”為主題，匯集來(lái)自互聯(lián)網(wǎng)、電子商務(wù)、金融、電信、政府、行業(yè)協(xié)會(huì)等20多個(gè)領(lǐng)域的120多位技術(shù)專家，共同探討Oracle、MySQL、NoSQL、云端數(shù)據(jù)庫(kù)、智能數(shù)據(jù)平臺(tái)、區(qū)塊鏈、數(shù)據(jù)可視化、深度學(xué)習(xí)等領(lǐng)域的前瞻性熱點(diǎn)話題與技術(shù)。大會(huì)共設(shè)定2大主場(chǎng)和20個(gè)技術(shù)專場(chǎng)，將吸引5000多名IT人士參會(huì)，為數(shù)據(jù)庫(kù)人群、大數(shù)據(jù)從業(yè)人員、廣大互聯(lián)網(wǎng)人士及行業(yè)相關(guān)人士提供最具價(jià)值的交流平臺(tái)。



官網(wǎng)鏈接：http://dtcc.it168.com/
購(gòu)票鏈接：http://dtcc.it168.com/goupiao.html

歡迎掃碼關(guān)注DTCC官方微信，獲取最新信息！

shang2010

系統(tǒng)測(cè)試不夠就上架，估計(jì)又是新人干的

q786556605

回復(fù) 2# shang2010

春天剛剛跳槽過(guò)去的新手，是誰(shuí)給的他權(quán)力讓他能測(cè)試不嚴(yán)格的產(chǎn)品就發(fā)布，權(quán)限細(xì)致的分配也是 應(yīng)該考慮的。

j_cle

1. 又是人為因素造成的，又是軟件升級(jí)，不管是百度，還是AWS或者其他大系統(tǒng)，該怎樣規(guī)避認(rèn)為因素造成的事故？你怎么看？怎么解決？
首先人為因素，只能從人員管理上來(lái)約束，加強(qiáng)一線人員對(duì)運(yùn)維風(fēng)險(xiǎn)的認(rèn)識(shí)；其次我覺(jué)的應(yīng)該在這方面給運(yùn)維人員以鼓勵(lì)而不是刻板要求，形成有效鼓勵(lì)機(jī)制，大家都積極去這樣做，自然而然會(huì)提高運(yùn)維質(zhì)量。
其次對(duì)于整個(gè)運(yùn)維流程，應(yīng)該建立完整的ITIL流程管理機(jī)制，對(duì)每次上線的影響進(jìn)行評(píng)估，注意上線的操作應(yīng)先做好測(cè)試， 建立有效的回滾應(yīng)對(duì)機(jī)制，制定相對(duì)可控的上線時(shí)間，確保在對(duì)用戶影響最低風(fēng)險(xiǎn)的情況下實(shí)施上線， 一旦升級(jí)或上線發(fā)生問(wèn)題，應(yīng)該確保回滾操作能有效進(jìn)行。
最后推行自動(dòng)化以及容器化部署機(jī)制，降低人為操作頻度， 加強(qiáng)對(duì)系統(tǒng)口令權(quán)限的授權(quán)管理，用權(quán)限對(duì)操作人員的操作進(jìn)行有效管控對(duì)風(fēng)險(xiǎn)進(jìn)行規(guī)避。
2. 怎樣確認(rèn)軟件升級(jí)后，系統(tǒng)的健壯性，該從哪幾方面著手？
在變更/上線/升級(jí)后，應(yīng)該保證有相對(duì)應(yīng)的監(jiān)控系統(tǒng)部署到位，能對(duì)新上線的業(yè)務(wù)在系統(tǒng)硬件，系統(tǒng)服務(wù)上做到有效監(jiān)控，并由監(jiān)控，運(yùn)維以及研發(fā)三線進(jìn)行全程跟蹤，確保已升級(jí)的服務(wù)運(yùn)行穩(wěn)定運(yùn)行
3. 當(dāng)前ICT廠家 HA，高可用，容災(zāi)、災(zāi)備等說(shuō)的花里胡哨，但是真正的落地，為什么有那么多的困難之處？你怎么看？怎么解決？
懂得比較少，自己看來(lái)HA、高可用、容災(zāi)、備份等機(jī)制是在應(yīng)對(duì)大的事故上很好的災(zāi)難恢復(fù)和規(guī)避措施，但是存在一些不足：
1）企業(yè)對(duì)容災(zāi)備份重要性的不足，容災(zāi)備份機(jī)制需要耗費(fèi)龐大的人力物力來(lái)進(jìn)行部署，淺顯一點(diǎn)看是絕對(duì)的成本中心，而且如果系統(tǒng)不發(fā)生問(wèn)題，意味著這些系統(tǒng)的作用更是雞肋。所以幾乎都是在關(guān)鍵業(yè)務(wù)點(diǎn)比如數(shù)據(jù)庫(kù)之類做些這樣的備份。
2）已部署的容災(zāi)系統(tǒng)長(zhǎng)時(shí)間沒(méi)有用到的情況下，其可用性以及本身的有效性不能得到保障，一般工作的重心都放在生產(chǎn)系統(tǒng)上，對(duì)于備用系統(tǒng)的關(guān)注比較少，導(dǎo)致在事故一旦發(fā)生時(shí)原本應(yīng)該起的備用系統(tǒng)沒(méi)有自動(dòng)切換或者在備份時(shí)發(fā)現(xiàn)已經(jīng)有好幾周沒(méi)有進(jìn)行全備了。這就尷尬了。
綜上認(rèn)為出現(xiàn)這些問(wèn)題的主要原因還是對(duì)容災(zāi)備份的不重視導(dǎo)致的。
應(yīng)該加大對(duì)HA、容災(zāi)備份等機(jī)制的投入，成立專門的容災(zāi)部門與操作和監(jiān)控中心平行共同完成對(duì)企業(yè)數(shù)據(jù)以及業(yè)務(wù)的保障，在部署上，備份應(yīng)該走專有備份線路而與上產(chǎn)環(huán)境中的正常業(yè)務(wù)線路和管理線路分開避免容災(zāi)業(yè)務(wù)影響正常業(yè)務(wù)數(shù)據(jù)流量。
4. 技術(shù)發(fā)展到如今，系統(tǒng)越來(lái)越復(fù)雜繁瑣，在復(fù)雜的系統(tǒng)中怎么能夠快速的定位問(wèn)題所在？
1）有效的工作日志記錄，對(duì)每次操作的事件、變更、問(wèn)題等做好記錄以便追蹤定位
2）加強(qiáng)對(duì)技術(shù)人員的培訓(xùn)，特別是一線操作人員，一線往往是跟系統(tǒng)和服務(wù)直接打交道的存在，加大對(duì)一線操作人員的技能培養(yǎng)能夠在事件問(wèn)題發(fā)生時(shí)第一時(shí)間
對(duì)故障進(jìn)行排查和恢復(fù)。
3）建立有效的監(jiān)控機(jī)制，保證系統(tǒng)中發(fā)生的問(wèn)題能在第一時(shí)間反饋出來(lái)。
4）建立有效的事件升級(jí)機(jī)制，保證事件或者事故能在規(guī)定的SLA保障時(shí)間內(nèi)得到升級(jí)，傳遞，解決。

qingduo04

我也拋磚引玉一下

1. 又是人為因素造成的，又是軟件升級(jí)，不管是百度，還是AWS或者其他大系統(tǒng)，該怎樣規(guī)避認(rèn)為因素造成的事故？你怎么看？怎么解決？
如果是人為因素，需要從以下幾個(gè)問(wèn)題進(jìn)行解決

• 管理方面：需要在管理上提高員工的警戒意識(shí)，如履薄冰，戰(zhàn)戰(zhàn)兢兢。
• 流程方面：提前做好操作命令，然后內(nèi)部評(píng)審或者一個(gè)寫，一個(gè)評(píng)審，相互制約，互相擔(dān)責(zé)，操作前進(jìn)行評(píng)審。這樣雖然耗時(shí)間，但是防止意外發(fā)生。
• 操作方面：操作時(shí)，禁止敲非評(píng)審的內(nèi)容。
  

如果是軟件升級(jí)的原因

• 生產(chǎn)環(huán)境和測(cè)試環(huán)境分離，軟件升級(jí)必須在測(cè)試環(huán)境升級(jí)完畢后，并模擬現(xiàn)網(wǎng)的的壓力進(jìn)行測(cè)試。
• 測(cè)試完畢后，確認(rèn)無(wú)問(wèn)題后，再進(jìn)行同步到生產(chǎn)環(huán)境。
• 生產(chǎn)環(huán)境和容災(zāi)環(huán)境必須提前驗(yàn)證，確保生產(chǎn)環(huán)境異常后，能第一時(shí)間進(jìn)行切換。
  

2. 怎樣確認(rèn)軟件升級(jí)后，系統(tǒng)的健壯性，該從哪幾方面著手？

• 對(duì)測(cè)試環(huán)境進(jìn)行升級(jí)，升級(jí)完成后模擬生產(chǎn)環(huán)境進(jìn)行壓力測(cè)試，爭(zhēng)取做全覆蓋測(cè)試。
• 升級(jí)前保障容災(zāi)和生產(chǎn)環(huán)境的切換是否正常？確保生產(chǎn)環(huán)境如果升級(jí)異常，可以切到容災(zāi)環(huán)境。
  

3. 當(dāng)前ICT廠家 HA，高可用，容災(zāi)、災(zāi)備等說(shuō)的花里胡哨，但是真正的落地，為什么有那么多的困難之處？你怎么看？怎么解決？
因?yàn)橐恢痹谝痪�負(fù)責(zé)交付和維護(hù)，廠商過(guò)來(lái)說(shuō)高可用、容災(zāi)，說(shuō)實(shí)話一般是技術(shù)上可行，但是真正羅導(dǎo)實(shí)際項(xiàng)目上，可能總有這樣那樣的事情，造成生產(chǎn)系統(tǒng)異常后，容災(zāi)不能正常切換。
主要原因：

• 投入的問(wèn)題，客戶如果建設(shè)一套和生產(chǎn)一模一樣的系統(tǒng)，投入過(guò)高，部分客戶沒(méi)有這么多預(yù)算。
• 切換的問(wèn)題，容災(zāi)和生產(chǎn)需要定期進(jìn)行切換演練，才能保障生產(chǎn)出問(wèn)題時(shí)，能夠快速切換。
• 操作的問(wèn)題，自動(dòng)化切換的命令，讓系統(tǒng)自動(dòng)切換，避免人為出問(wèn)題。
• 現(xiàn)網(wǎng)改造問(wèn)題，如果前期沒(méi)有考慮容災(zāi)，后續(xù)再進(jìn)行容災(zāi)切換，實(shí)施過(guò)程以及測(cè)試過(guò)程過(guò)于復(fù)雜。
  

4. 技術(shù)發(fā)展到如今，系統(tǒng)越來(lái)越復(fù)雜繁瑣，在復(fù)雜的系統(tǒng)中怎么能夠快速的定位問(wèn)題所在？

• 專崗專人負(fù)責(zé)，避免灰度空間的發(fā)生
• 代碼清晰可讀，方便查詢
  

qingduo04

每天頂一頂，生活更健康

ping192168101

同意八樓的觀點(diǎn)。

qingduo04

回復(fù) 9# ping192168101

歡迎9樓的兄弟繼續(xù)發(fā)言......

qingduo04

每天頂一頂，生活更美好！

qingduo04

各位周末快樂(lè)！
每天頂一頂！