【吐血推薦】網(wǎng)絡(luò)醫(yī)院的故事----連載(ZT)轉(zhuǎn)載結(jié)束，共35篇

chenglima

bestwall

很好的文章，請繼續(xù)的發(fā)，謝謝你的奉獻

mazu

一共38集呢，我會陸續(xù)貼出來。。。。謝謝大家的捧場

vectralcn

真長了不少見識，好！

酸辣粉

好東西大家

lly80

好！��！好好參考下，決不辜負你的努力！

sevenday

好貼，頂！

mazu

[故事之八]插頭故障
        [癥狀]某電信移動計費中心，用戶反映，近三個月移動用戶總數(shù)增加了近30％，但移動計費的營業(yè)收入?yún)s只增加了5％，懷疑計費系統(tǒng)是不是有問題。從計費服務(wù)器查看收費記錄，沒有發(fā)現(xiàn)什么問題。檢查計費服務(wù)器軟件，工作正常。從路由器另一側(cè)的財務(wù)服務(wù)器檢查，內(nèi)部的財務(wù)服務(wù)器顯示的計費數(shù)據(jù)與計費服務(wù)器的數(shù)據(jù)沒有差錯。查找電話局局端記錄，發(fā)現(xiàn)記錄次數(shù)超出移動計費的記錄次數(shù)。最后作實地測試，用移動電話撥打50次，記錄次數(shù)45次，記錄時間與實際通話時間一致的次數(shù)為30次。歷時一周，還不能確定故障位置。
       
[診斷過程]計費服務(wù)器連接到一臺16端口交換機Bay28115的第一插槽5號端口。第6號端口下掛一個100Mbps的以太網(wǎng)，網(wǎng)管機HP Open View也設(shè)置在此。打開網(wǎng)管系統(tǒng)，準備觀察5號端口的工作情況，這時才發(fā)現(xiàn)無法打開5號端口的工作表數(shù)據(jù)記錄。詢問網(wǎng)絡(luò)管理人員，告知3個月前因交換機故障自行更換過備用的Bay28115交換機，更換后系統(tǒng)工作很正常。查看維護工作記錄登記和日志，沒有任何關(guān)于Bay18115的維護說明，也沒有關(guān)于網(wǎng)絡(luò)工作參數(shù)的記錄(記錄上顯示的還是系統(tǒng)開通時的原始數(shù)據(jù))。詢問網(wǎng)管人員為何不設(shè)置并打開交換機工作表的Mib。答曰網(wǎng)管系統(tǒng)是一年前安裝的，平時只用來看看系統(tǒng)設(shè)備是否連接以及是否有報警信號，更多的功能也不會用。前任網(wǎng)絡(luò)管理員已調(diào)任工作崗位，實際上現(xiàn)在已沒有人會使用和設(shè)置網(wǎng)管系統(tǒng)。由于系統(tǒng)開通是有系統(tǒng)承包商負責(zé)的，自行更換交換機后沒有發(fā)現(xiàn)什么問題，也沒再 仔細檢查。用網(wǎng)絡(luò)測試儀的協(xié)議對話分析功能從網(wǎng)管機所在網(wǎng)段觀察計費服務(wù)器的工作情況，發(fā)現(xiàn)服務(wù)器對約有1/3的數(shù)據(jù)包沒有回應(yīng)。為了不影響系統(tǒng)工作，于凌晨3:00在移動用戶使用率底的時候用F683網(wǎng)絡(luò)測試儀模擬服務(wù)器測試5號端口，顯示鏈路工作于10Mbps速率(原始記錄顯示此端口的速度應(yīng)該是100Mbps)。由于交換機沒有啟動SNMP支持功能，故臨時在5號端口安裝了一只10Mbps的集線器與服務(wù)器連接，用網(wǎng)絡(luò)測試儀從這個集線器的任意端口對計費服務(wù)器發(fā)送數(shù)據(jù)并觀察服務(wù)器數(shù)據(jù)流工作情況。發(fā)現(xiàn)大量碰撞和錯誤的FCS幀，當流量為30％時，碰撞及錯誤流量占21％。用電纜測試儀檢查服務(wù)器電纜，發(fā)現(xiàn)靠交換器一端的插頭處近端串擾NEXT嚴重超差。重新更換插頭并正確打線，碰撞率下降為0.5％，錯誤率為0％。去掉臨時集線器，重新啟動交換器的SNMP功能，從交換器某空閑端口向服務(wù)器發(fā)送流量，用網(wǎng)管系統(tǒng)觀察5號計費服務(wù)器端口，當流量為40Mbps時，碰撞率、錯誤率、廣播率等參數(shù)均表現(xiàn)優(yōu)良。服務(wù)器自適應(yīng)恢復(fù)為100Mbps鏈路速度。
        重新進行兩組各50次實際撥打測試，計費數(shù)據(jù)完全正確�？梢曰�本肯定計費功能已全部恢復(fù)正常。
       
[診斷評點]本次故障的原因非常簡單(一個插頭問題)，但表現(xiàn)出來的現(xiàn)象則稍微復(fù)雜一些。該服務(wù)器使用的是一個10/100Mbps的自適應(yīng)以太網(wǎng)卡，設(shè)計鏈路速度為100Mbps。網(wǎng)管人員在更換交換器時曾不小心將插頭拉壞，隨即更換了接頭，但確留下隱患，不過，維護人員并未及時發(fā)現(xiàn)速度方面異常。服務(wù)器鏈路此時的實際工作速度已經(jīng)下降為10Mbps。新交換器沒有啟動SNMP支持功能，網(wǎng)管系統(tǒng)也就不能觀察計費服務(wù)器的端口工作狀態(tài)。在平時的維護工作中，該計費中心的維護人員基本上不用網(wǎng)管系統(tǒng)定期觀測并記錄網(wǎng)絡(luò)的工作參數(shù)，當故障出現(xiàn)時就不能覺察到服務(wù)器工作速度的變化。有趣的是，如果電纜沒有問題，即使將鏈路速度設(shè)置為10Mbps，計費服務(wù)器應(yīng)該還是能正常工作的(計費信息的網(wǎng)絡(luò)流量一般不高)。在本故障中，計費服務(wù)器繁忙時由于碰撞率和錯誤率太高，服務(wù)器無法處理一部分數(shù)據(jù)包，其中已經(jīng)被“掛號”的部分數(shù)據(jù)包將被丟棄，造成計費數(shù)據(jù)不準確。
       
[診斷建議]布線系統(tǒng)平時要定期輪測(一至兩年輪測意義遍)。更換鏈路元件后一定要對鏈路進行測試(尤其是100Mbps鏈路，必須用電纜測試儀測試)。網(wǎng)管系統(tǒng)要指定專人進行維護使用，一般來講，網(wǎng)管系統(tǒng)可以覆蓋約35％左右的網(wǎng)絡(luò)故障，因此強烈建議重要的網(wǎng)絡(luò)要安裝支持SNMP或RMON協(xié)議(多數(shù)網(wǎng)絡(luò)設(shè)備都支持SNMP協(xié)議，部分支持RMON)，啟動已有SNMP、RMON等功能的網(wǎng)絡(luò)設(shè)備，否則網(wǎng)管系統(tǒng)將形同虛設(shè)。維護工作要求有及時完整的記錄，這對提高處理故障的速度是非常必要的。

mazu

[故事之九]交換機軟故障：電路板接觸不良

[癥狀]今天的“病人”是某大型證券公司，在全市有近11個營業(yè)網(wǎng)絡(luò)。以下是該公司信息中心工程師對故障現(xiàn)象的描述：
一段時間以來，整個網(wǎng)絡(luò)交易時常中斷，有時一天內(nèi)會出現(xiàn)2～3次。起初每次持續(xù)的時間很短，沒有引起我們的足夠重視；我們做過簡單的測試，約幾秒鐘至十幾秒鐘不等，規(guī)律性不太明顯，一般開市時都正常。隨后一段時間“病情”不斷加重，發(fā)病頻率不斷增加。好幾個“資深”用戶曾向老總抱怨，近來碰到幾次原本估計十拿九穩(wěn)的網(wǎng)上交易不能及時成交：“當我按下交易確認鍵時，計算機對此卻沒有任何響應(yīng)，也不知道成交了沒有，只好再等上一會兒。我給伙伴們介紹的絕招是，過半分鐘再試，計算機就會顯示成交。不是每次都這樣靈光，但以前極少遇到這種事，而最近一周已經(jīng)遇到好幾次了，好象一天比一天厲害，搞得我們的神經(jīng)緊張兮兮的。”
昨天15:26，臨近下午閉市時，故障現(xiàn)象再次出現(xiàn)：行情數(shù)據(jù)的顯示和更新都正常，就是普遍不響應(yīng)交易命令(但不是絕對不響應(yīng)，其中仍有少數(shù)交易能成交)，11個子交易網(wǎng)絡(luò)均反映受阻。網(wǎng)管人員初步判斷是中心網(wǎng)絡(luò)的問題，立即在電腦科計算中心檢查交易服務(wù)器，CPU利用率、協(xié)議交換及包交換等指示正常，試驗重新登錄服務(wù)器和Ping測試也正常。時間到，轉(zhuǎn)為休市狀態(tài)。休市后保持交易網(wǎng)絡(luò)繼續(xù)運行，啟動模擬交易功能模塊，進入故障診斷作業(yè)程序。在計算中心LAN內(nèi)連續(xù)作了40筆模擬交易均成功。同時在3個子交易網(wǎng)處作對內(nèi)和對外的模擬交易，對內(nèi)100％，對外成功率約15％左右�；�本上可以肯定故障在網(wǎng)絡(luò)本身。保持模擬交易連續(xù)工作狀態(tài)，啟用計算中心的網(wǎng)管系統(tǒng)查看網(wǎng)絡(luò)，服務(wù)器工作狀況指示正常。檢查與其它11個營業(yè)網(wǎng)絡(luò)的聯(lián)系的交換器端口，有流量指示，但時有停頓。對其作Ping測試，偶爾會有中斷(約有3％Ping測試不響應(yīng))。用DSP-100電
纜分析儀檢查與交換機連接的端口電纜鏈路(服務(wù)器、網(wǎng)管機均在此網(wǎng)段內(nèi))，沒有問題。這說明服務(wù)器所在網(wǎng)段是正常的，懷疑是交換機端口損壞。將與服務(wù)器網(wǎng)段的電纜改插在別的交換器端口并作相應(yīng)設(shè)置，網(wǎng)絡(luò)恢復(fù)正常工作，故障消失，確認為交換機端口損壞，心想總算可以松一口氣了。不料，今日開市后不久故障依舊如期“光臨”。

[診斷過程]晚上19:50我們趕到該證券公司所在地，立即啟動系統(tǒng)，自檢顯示正常。然后啟動模擬交易系統(tǒng)，觀察與子交易網(wǎng)絡(luò)的通信情況，表現(xiàn)正常。網(wǎng)絡(luò)拓撲圖上顯示各子交易網(wǎng)絡(luò)是用DDN專線通過路由器與計算中心本地網(wǎng)段的交換器聯(lián)系起來。打開各Router的工作表Mib檢查，無異常和錯誤記錄。逐個檢查交換機各端口工作表Mib，亦無異常和錯誤記錄。交易服務(wù)器和網(wǎng)管機同在一個網(wǎng)段，通過一個智能型集線器連接到交換機端口。打開集線器工作表，記錄數(shù)據(jù)正常。將F683網(wǎng)絡(luò)測試儀接入集線器端口進行連續(xù)監(jiān)測。同時啟動測試儀流量發(fā)送功能，抽查3個子網(wǎng)的通道性能，并做體能測試，持續(xù)流量承受能力為98％，說明網(wǎng)絡(luò)很正常且表現(xiàn)相當優(yōu)秀。
本故障屬于軟故障�？梢杂删W(wǎng)絡(luò)設(shè)備、應(yīng)用軟件、供電設(shè)備、外來干擾等故障引起。由于故障時檢查過本地網(wǎng)絡(luò)，登錄服務(wù)器和進行Ping測試也是正常的，所以可基本判定集線器下掛網(wǎng)段是正常的。為了定位網(wǎng)絡(luò)故障，在某個選定的遠端子交易網(wǎng)絡(luò)處和網(wǎng)管中心同時用F683網(wǎng)絡(luò)測試儀雙向發(fā)送流量作通道性能測試和故障監(jiān)測，并作ICMP Ping連續(xù)測試和ICMP監(jiān)測。為便于觀察和比較，流量發(fā)送的幀長都設(shè)定為100字節(jié)，流量總和約30％(各占15％約10K左右)。在21:30故障如期出現(xiàn)。ICMP Ping測試出現(xiàn)斷層，立即打開交換機和路由器的工作表，記錄的流量等數(shù)據(jù)出現(xiàn)停頓或斷續(xù)，并顯示出現(xiàn)FCS幀錯誤。從遠端打開相應(yīng)工作表的結(jié)果是：路由器接轉(zhuǎn)流量為17％，交換機接轉(zhuǎn)流量為2％，ICMP Ping斷層損失90％。ICMP監(jiān)測顯示不可達97％左右。從中心打開路由器和交換機工作表Mibs，接轉(zhuǎn)流量均為0.5％~0.9％。這表明遠端數(shù)據(jù)可以順利到達路由器但不能在交換機端口順利進行交換。最后用F43電源諧波測試儀測試UPS電源參數(shù)，驗證UPS電源合格�？梢耘卸ù_實是交換機的問題。由于網(wǎng)管中心沒有備用的交換機，已知原交換機供應(yīng)商已經(jīng)停產(chǎn)該型號產(chǎn)品，所以只能考慮更換新型交換機。為了應(yīng)付明天開市，試著確定一個好的代用端口，這樣可以將服務(wù)器網(wǎng)段臨時連接入網(wǎng)，防止明日開市遇到不測事件發(fā)生。
查看交換機與路由器一側(cè)的連接端口，發(fā)現(xiàn)工作表是正常的。因此只需要代換與服務(wù)器連接的端口即可，詢問網(wǎng)管工程師上次故障時曾經(jīng)更換過的是那個端口，答曰第4插槽上的空閑端口都試過。改用第5插槽上僅剩下的一個端口試驗連接，網(wǎng)絡(luò)恢復(fù)正常。由于故障時隱時現(xiàn)，故懷疑第4插槽存在軟故障。重新將端口還原為第4插槽，故障已經(jīng)消失。為重復(fù)故障現(xiàn)象，試著用改錐木柄敲擊第4插槽，故障出現(xiàn)，再次連續(xù)敲擊，則故障時隱時現(xiàn)。取下第4插槽的電路板觀察，發(fā)現(xiàn)插針有較厚的氧化層(黑色氧化物)。用0000#細砂紙打磨插針并用酒精清洗，重新安裝好電路板，故障徹底消除，并且不再隨著敲擊電路板而時隱時現(xiàn)。為保險起見，順便檢查其它7個插槽的電路板，插針均沒有黑色氧化痕跡，證明只有4號插槽的插針在生產(chǎn)時使用了一組不合格的接插元件。交換機應(yīng)屬于不合格產(chǎn)品。暫時確定用第5號插槽的空余端口作代用端口，并要求網(wǎng)絡(luò)不停機持續(xù)運行直到第二天休市為止，進行連續(xù)觀察。

[診斷評點]網(wǎng)絡(luò)故障分硬件故障和軟件故障，有時是軟硬件相結(jié)合的故障。某些情況下從網(wǎng)絡(luò)表現(xiàn)出的故障現(xiàn)象不能立即確定是那一類故障。本故障是由硬件設(shè)備接觸不良引起的故障，原因是計算中心用作分隔網(wǎng)段的交換機其第4插槽的插針接觸不良，使得與交換機第4插槽有關(guān)的接口工作都不太正常，出現(xiàn)斷續(xù)和停頓。設(shè)備在剛啟動的一段時間內(nèi)，機器的元器件溫度較低，工作正常，隨著元器件溫度的升高，器件受熱膨脹，出現(xiàn)接觸不良的故障，所以每天開市后的一段時間網(wǎng)絡(luò)一般都不出問題。多次重復(fù)這一過程故障現(xiàn)象就會由較低頻率的時隱時現(xiàn)轉(zhuǎn)為較高頻率的時隱時現(xiàn)，故障每此持續(xù)時間也會延長，最終可能會演變?yōu)槌掷m(xù)的硬故障現(xiàn)象(硬故障在故障診斷時反而容易些！)。當網(wǎng)絡(luò)維護人員作停機檢查并更換端口后由于元器件溫度降低的關(guān)系，網(wǎng)絡(luò)也會正常工作一段時間。這往往給人一種錯覺，以為故障排除了，但第二天開市一段時間后故障又會重新出現(xiàn)。
由于本故障的故障點在交換機向中心網(wǎng)絡(luò)的一側(cè)，所以從計算中心不能準確地觀察路由器和交換機的工作情況，這樣要從網(wǎng)管系統(tǒng)一側(cè)判斷故障是很有困難的。若改由從路由器的另一側(cè)對路由器和交換機的工作狀況進行實時監(jiān)測，就會發(fā)現(xiàn)流量不均衡的故障現(xiàn)象，加上ICMP Ping測試的損失率為90％以及ICMP監(jiān)測結(jié)果，定位故障就很容易了。由此確定是交換機的問題。
時隱時現(xiàn)的故障我們稱作軟故障(注意，不是軟件故障的含義)，可以由軟件故障引起，也可以是硬件故障引起，是難度比較高的一類故障。這除了需要網(wǎng)絡(luò)維護和管理人員具備一定的軟硬件故障診斷知識外，對診斷經(jīng)驗的積累也有一定的要求。目前，多數(shù)的網(wǎng)絡(luò)維護和管理人員是由計算機專業(yè)的人員來擔(dān)任，對硬件設(shè)備的診斷還比較地不熟悉。

[診斷建議]如何選擇合適的檢測工具對故障監(jiān)測點進行測試是很有講究的。許多故障需要進行多點測試才能定位，這時非常需要的是便攜式的測試工具。網(wǎng)絡(luò)故障的診斷發(fā)展方向是測試工具的網(wǎng)絡(luò)化和故障診斷的網(wǎng)絡(luò)化。一般的網(wǎng)絡(luò)設(shè)備和網(wǎng)上設(shè)備只支持有限的網(wǎng)管功能，所以監(jiān)測網(wǎng)絡(luò)性能和快速定位網(wǎng)絡(luò)故障需要一些必要的固定測試工具(如固定探頭、網(wǎng)管系統(tǒng)等)和移動測試工具(如網(wǎng)絡(luò)測試儀、流量分析儀等)。對重要的網(wǎng)絡(luò)設(shè)備要準備適當?shù)膫溆迷O(shè)備，至少要留足備用通道。網(wǎng)絡(luò)關(guān)鍵設(shè)備不一定要選用最昂貴和功能最齊全的設(shè)備，但一定要選用應(yīng)用比較成熟，可靠性高、用戶數(shù)量大的設(shè)備，這樣技術(shù)支持的難度就會降低。如果將關(guān)鍵網(wǎng)絡(luò)設(shè)備的維護工作交給集成商或廠商來做，那用戶就得準備將網(wǎng)絡(luò)的命運完全交給集成商或廠商來控制，而這是非常危險的。因此對人員進行適當?shù)呐嘤?xùn)并配備合適的、易懂易用的工具是做好網(wǎng)絡(luò)維護工作的必要條件之一。尤其對占維護隊伍總數(shù)90％以上的初級和中級網(wǎng)絡(luò)維護技術(shù)人員和工程人員，這一點更具有實際意義，因為操作復(fù)雜、參數(shù)難懂難記、培訓(xùn)時間長、價格昂貴的工具對他們來說是豪無實際意義的。

藍美

JJ，  辛苦啦，

先喝口水吧，