【吐血推薦】網(wǎng)絡(luò)醫(yī)院的故事----連載(ZT)轉(zhuǎn)載結(jié)束，共35篇

mazu

[故事之三]光纖接頭因雨水侵蝕和污染,導(dǎo)致網(wǎng)絡(luò)癱瘓
        [癥狀]周末，要下班了，我正在計(jì)劃如何安排假期，接某銀行來電，報(bào)告該行某支行下轄的西區(qū)營業(yè)部網(wǎng)絡(luò)癱瘓，營業(yè)部所管理的33臺(tái)ATM取款機(jī)也全部不能提供取款服務(wù)，用戶反響強(qiáng)烈。已經(jīng)兩天了，解決都沒有問題，要求網(wǎng)絡(luò)醫(yī)院立即派人幫助排除。
        西區(qū)營業(yè)部和支行在同一個(gè)大院的兩幢大樓內(nèi)，之間用一對(duì)90米的光纖將營業(yè)部的網(wǎng)絡(luò)與支行的網(wǎng)絡(luò)連接起來，路由器、服務(wù)器等都設(shè)在支行計(jì)算中心(100BaseT以太網(wǎng))。營業(yè)部的網(wǎng)絡(luò)結(jié)構(gòu)為10BaseT以太網(wǎng)，五天前發(fā)現(xiàn)網(wǎng)絡(luò)速度變慢，用戶抱怨ATM取款機(jī)等待時(shí)間太長。由于營業(yè)部沒有配備任何網(wǎng)絡(luò)測試和維護(hù)的工具，為了定位故障，請(qǐng)支行計(jì)算中心的網(wǎng)管人員協(xié)助檢查。從支行一端的網(wǎng)絡(luò)監(jiān)測顯示，一切正常。從計(jì)算中心打開營業(yè)部交換器的Mib，觀察流量正常，為5％，發(fā)現(xiàn)只有很少量CRC/FCS錯(cuò)誤，沒有發(fā)現(xiàn)嚴(yán)重異常，用協(xié)議分析儀捕捉數(shù)據(jù)包觀察，也未發(fā)現(xiàn)嚴(yán)重的問題，遂懷疑是病毒侵害營業(yè)部子網(wǎng)。昨日夜間進(jìn)行了查殺病毒，重裝系統(tǒng)，恢復(fù)數(shù)據(jù)等工作，癥狀大大減輕。但未能經(jīng)受住昨夜暴風(fēng)雨的考驗(yàn)(本周天氣除昨天下午間晴外，連續(xù)降雨)，最終于今晨“死網(wǎng)”。為便于觀察，支行網(wǎng)管人員在計(jì)算中心將連接營業(yè)部的交換機(jī)用集線器暫時(shí)取代，結(jié)果導(dǎo)致支行網(wǎng)絡(luò)速度也變慢。檢查營業(yè)部內(nèi)的交換數(shù)據(jù)無障礙，斷定是傳輸通道的問題。拔下光纖，支行速度恢復(fù)正常，插上光纖則上述現(xiàn)象重新出現(xiàn)。進(jìn)一部測試光纖鏈路，連接和衰減均符合要求。故障排除工作陷于停頓。

[診斷過程]據(jù)網(wǎng)管人員介紹的上述情況，光纖和交換機(jī)已經(jīng)過了網(wǎng)管人員初步檢測，基本正常�？梢猿醪脚卸▎栴}出在鏈路通道上。將F683網(wǎng)絡(luò)測試儀接入營業(yè)部交換機(jī)，觀察網(wǎng)絡(luò)基本正常。進(jìn)行通道測試，檢測營業(yè)部到支行的ICMP Ping測試結(jié)果，成功率約0.8％，路由追蹤支行服務(wù)器，成功率約0.5％。從支行集線器上觀察，流量18％，屬正常范圍，但發(fā)現(xiàn)大量“幻象干擾”錯(cuò)誤“Gosts”(16％)，拔除光纖，則錯(cuò)誤為0％，至此可以肯定錯(cuò)誤與營業(yè)部網(wǎng)絡(luò)及其通道有關(guān)。將營業(yè)部與支行連接的交換機(jī)接口串入一個(gè)4端口的集線器，用F683網(wǎng)絡(luò)測試儀觀察網(wǎng)絡(luò)，流量5％，發(fā)現(xiàn)大量幻象干擾(97％)，拔除光纖，錯(cuò)誤消失。尋找光纖接線箱，發(fā)現(xiàn)支行一側(cè)的接線箱外包裝已被撞擊變形、破損(據(jù)說是半年前安裝空調(diào)時(shí)被吊車臂碰壞)，雨水已將3號(hào)接頭完全浸蝕(3號(hào)接頭用于連接營業(yè)部)。清潔接線箱內(nèi)的所有光纖接頭，用電吹風(fēng)加熱干燥光纖的插頭插座，重新更換并密封接線箱，故障徹底消失。

[診斷評(píng)點(diǎn)]光纖鏈路經(jīng)常被忽視。本故障中，光纖接頭因雨水侵蝕和污染，從營業(yè)部送來的信號(hào)被大量反射，此時(shí)若只測試光纖鏈路的物理性能是合格的。但由于此段光纖只有90米，強(qiáng)反射信號(hào)經(jīng)過較少的衰減后與正常信號(hào)疊加，破壞了數(shù)據(jù)的結(jié)構(gòu)(包括數(shù)據(jù)幀幀頭信號(hào)格式)，網(wǎng)絡(luò)測試儀即認(rèn)為這是幻象干擾信號(hào)而不是正常的數(shù)據(jù)信號(hào)。此時(shí)只有少數(shù)信號(hào)可能僥幸通過。由于集線器和交換器不具備前期碰撞的識(shí)別能力，所以從網(wǎng)管上只能觀察到數(shù)據(jù)幀后半部分被破壞后所表現(xiàn)出來的少量FCS/CRC類型的錯(cuò)誤，此錯(cuò)誤往往被人忽視。
昨天重裝系統(tǒng)后因天氣轉(zhuǎn)晴，光纖接頭性能有所好轉(zhuǎn)，癥狀減輕。昨夜暴雨又使網(wǎng)絡(luò)陷入災(zāi)難境地。加上今天測試光纖鏈路顯示正常，致使故障排除陷于停頓，束手無策。

[建議]交換器對(duì)均衡網(wǎng)絡(luò)負(fù)荷、隔離故障網(wǎng)段對(duì)網(wǎng)絡(luò)的影響有很好的效果，但也因此經(jīng)常成為網(wǎng)管系統(tǒng)監(jiān)測中的“黑洞”。用網(wǎng)絡(luò)測試儀定期監(jiān)測網(wǎng)絡(luò)可以將故障消滅在萌芽狀態(tài)之中。定期測試分很多種，我們將在以后的連載中陸續(xù)介紹。本故障如不及時(shí)處理，其它光纖接頭連接的網(wǎng)絡(luò)也會(huì)陸續(xù)出現(xiàn)嚴(yán)重問題。

mazu

[故事之四]3類插頭代替5類插頭，數(shù)據(jù)幀被反射和串繞破壞，導(dǎo)致網(wǎng)絡(luò)中產(chǎn)生大量的碰撞幀和少量的FCS幀
[癥狀]某大公司IT經(jīng)理黃先生是我的朋友，新年將近，喜事卻不多。今天來電要求幫忙查找“元兇”。
事情是這樣的，公司規(guī)模發(fā)展很快，兩周前對(duì)網(wǎng)絡(luò)實(shí)施了一次比較大的擴(kuò)容工程，新增加了200臺(tái)工作站(為新員工配備)，網(wǎng)絡(luò)規(guī)模由2000個(gè)站點(diǎn)增加到2200個(gè)站點(diǎn)，全部在一個(gè)網(wǎng)段中。該公司采用100BaseT以太網(wǎng)結(jié)構(gòu)，用兩個(gè)路由器實(shí)現(xiàn)與生產(chǎn)基地和開發(fā)基地的連接(新?lián)Q2個(gè)155ATM骨干)，以前我曾建議他們將網(wǎng)段劃分小一些，以便管理和隔離故障，但因網(wǎng)絡(luò)未出現(xiàn)什么大的故障，加上黃先生本人的豐富經(jīng)驗(yàn)和自信以及維護(hù)經(jīng)費(fèi)未落實(shí)等原因，網(wǎng)絡(luò)一直保持了這種大型網(wǎng)段的“危險(xiǎn)結(jié)構(gòu)”。這次擴(kuò)容同時(shí)將兩條廣域網(wǎng)骨干鏈路升級(jí)到155ATM，但網(wǎng)段結(jié)構(gòu)仍然未作根本調(diào)整，計(jì)劃留待下期工程時(shí)再作打算。本周內(nèi)網(wǎng)絡(luò)已多次出現(xiàn)阻塞現(xiàn)象，每天至少兩次，每次阻塞時(shí)間10～30分鐘不等。逐個(gè)仔細(xì)檢查了新安裝的200臺(tái)工作站，沒有發(fā)現(xiàn)任何問題。由于故障不是持續(xù)存在，Boss催得又緊，故令黃先生頗有些“精疲力盡”的感覺。
       
[診斷過程]上午10:00，打開路由器的MIB庫，記錄的參數(shù)基本正常，網(wǎng)絡(luò)平均流量13％。其中有約1.5％左右的碰撞，表明網(wǎng)絡(luò)結(jié)構(gòu)的絕大部分構(gòu)件是好的。給新增加的200臺(tái)工作站Share一個(gè)軟件，然后每40臺(tái)一組同時(shí)下載并操作該軟件，結(jié)果證明200臺(tái)工作站工作基本正常。將F683網(wǎng)絡(luò)測試儀接入網(wǎng)絡(luò)，同時(shí)將F693網(wǎng)絡(luò)流量分析儀也接入網(wǎng)絡(luò)進(jìn)行監(jiān)測。下午14:21分，網(wǎng)絡(luò)阻塞現(xiàn)象出現(xiàn)，持續(xù)時(shí)間15分鐘，F(xiàn)693流量分析儀監(jiān)測的流量正常，平均流量從9％上升到13％，一分鐘后下降為8％，但F683網(wǎng)絡(luò)測試儀的流量報(bào)告為84％左右，其中碰撞幀占82％～87％，少量FCS損壞幀(約2％～4％左右)。記錄該時(shí)間前后的Protocol Matrix協(xié)議對(duì)話圖譜，發(fā)現(xiàn)在15分鐘阻塞時(shí)間內(nèi)共有137個(gè)工作站曾發(fā)送或接收過數(shù)據(jù)，其中4個(gè)工作站一直在持續(xù)收發(fā)數(shù)據(jù)，有一個(gè)工作站發(fā)送的數(shù)據(jù)包流量一直占其它工作站流量總和的15倍左右。幸好黃先生以前對(duì)站點(diǎn)的Mac地址做過文檔備案，依據(jù)儀器顯示的Mac地址我們立即確定了這4個(gè)工作站的使用者(流量最大者是財(cái)務(wù)科陳小姐的地址)。隨即詢問他們最近有無更動(dòng)過硬件和網(wǎng)線，有無增刪或調(diào)整過軟件，回答均是“沒有”。詢問陳小姐剛才在使用何種軟件與生產(chǎn)基地的小張聯(lián)絡(luò) (Protocol Matrix協(xié)議矩陣指示為小張的工作站)。回答是“機(jī)器一直就連在網(wǎng)上，但剛才沒有使用計(jì)算機(jī)”。將網(wǎng)絡(luò)測試儀連接到陳小姐的臺(tái)式機(jī)網(wǎng)卡接口上，模擬發(fā)送流量，結(jié)果碰撞隨流量的增加而大幅增加。測試該鏈路的網(wǎng)卡和網(wǎng)線，顯示插頭為3類插頭，鏈路近端串?dāng)_超差比較多。重新更換5類插頭后，網(wǎng)絡(luò)恢復(fù)正常。經(jīng)過私下再三詢問原因，陳小姐才道出了實(shí)情。
       
[診斷評(píng)點(diǎn)]本故障是由更換不適當(dāng)?shù)?類插頭引起的。新員工小張是陳小姐的多年不見的同學(xué)，也是個(gè)網(wǎng)蟲。此次與陳小姐在新公司相遇，自然倍感親切。一周前小張?jiān)趲完愋〗惆惭b新聲卡時(shí)不慎將插頭損壞，隨意用一個(gè)3類插頭更換之。臨近新年，陳小姐在小張的指點(diǎn)下從網(wǎng)上陸續(xù)下載了不少大容量的賀年卡，均為動(dòng)態(tài)電影格式，可以在網(wǎng)絡(luò)上實(shí)時(shí)傳送播放并加上雙方對(duì)話，非常有趣。該站點(diǎn)平時(shí)使用的財(cái)務(wù)軟件無論是傳輸速度和數(shù)據(jù)量都很小(3k左右)，對(duì)整個(gè)網(wǎng)絡(luò)系統(tǒng)影響不大。但在向小張放送解壓后的動(dòng)態(tài)電影賀年卡時(shí)數(shù)據(jù)流量約在3~4Mbps左右。由于網(wǎng)線問題，事后推算傳輸?shù)臄?shù)據(jù)幀約有13％是有效的，其余均被反射和串繞所破壞須重新發(fā)送，表現(xiàn)為網(wǎng)絡(luò)上大量的碰撞幀和少量的FCS幀。
       
[建議]大型網(wǎng)絡(luò)不劃分網(wǎng)段既不便于管理又很難隔離網(wǎng)絡(luò)故障，此種結(jié)構(gòu)是非常少見的，同時(shí)也是非常危險(xiǎn)的。該公司網(wǎng)絡(luò)大部分采用的是集線器，只有很少幾臺(tái)交換機(jī)，這對(duì)故障隔離也是不利的。另外，一定要對(duì)員工進(jìn)行上機(jī)前教育，不能隨意增刪、更改軟件和網(wǎng)絡(luò)設(shè)置。所幸的是黃先生本人經(jīng)驗(yàn)非常豐富，平時(shí)已將文檔備案工作做得很細(xì)致(國內(nèi)多數(shù)網(wǎng)絡(luò)在文檔備案時(shí)不將網(wǎng)卡的Mac地址備案)，否則是不可能在半小時(shí)內(nèi)查出本故障，一般來講，可能會(huì)耗費(fèi)1～3天左右的時(shí)間才行。
       
[后記]黃先生經(jīng)過此次“洗禮”，也悟出一點(diǎn)當(dāng)好IT經(jīng)理經(jīng)理的絕招。至少他已不再認(rèn)為僅憑經(jīng)驗(yàn)就可以“打遍天下無敵手”。網(wǎng)絡(luò)維護(hù)是一門藝術(shù)，更是一門科學(xué)或工程，沒有適用的工具和科學(xué)的方法是達(dá)不到這最高的“藝術(shù)境界”的。至于陳小姐，我們還是愿意善意地再為她，也為小張保守一段時(shí)間的“秘密”。

mazu

[故事之五] 雛菊鏈效應(yīng)導(dǎo)致網(wǎng)絡(luò)速度變慢
        [癥狀]下午某市工商局信息中心來電，其下轄的某縣工商局今晨與市局的聯(lián)網(wǎng)出現(xiàn)問題，速度與往常相比速度慢了許多。其中與該縣工商大廈七樓的計(jì)算機(jī)基本上不能進(jìn)行數(shù)據(jù)交換。而與其它樓層的計(jì)算機(jī)通信雖然速度較慢但還基本上能維持正常的數(shù)據(jù)交流。由于該市在規(guī)劃計(jì)算機(jī)網(wǎng)絡(luò)廣域聯(lián)網(wǎng)方案時(shí)沒有考慮將來自身維護(hù)的問題，只是簡單地在工程合同中將維護(hù)工作交給工程承包商負(fù)責(zé)，自己沒有配備專門的工具和培訓(xùn)專門的人員來維護(hù)網(wǎng)絡(luò)。該工程承包商當(dāng)時(shí)負(fù)責(zé)此項(xiàng)工程的人員早已離開這家公司，故對(duì)今日的故障只能表示愛莫能助。經(jīng)人介紹找到了網(wǎng)絡(luò)醫(yī)院。
       
[診斷過程]我們當(dāng)晚即乘火車抵達(dá)該市并連夜開始查找故障。該市網(wǎng)絡(luò)規(guī)模挺大，下轄7縣6區(qū)87個(gè)工商所，市縣局之間用64K的DDN鏈路連接，工商所與縣區(qū)局之間用電話線連接。從市局向故障的縣局用F683網(wǎng)測試儀作通道測試，速度4K時(shí)就上不去了，響應(yīng)時(shí)間804ms，ICMP Ping顯示縣局路由器連接成功率在1/7左右。將縣局網(wǎng)下掛的所有網(wǎng)絡(luò)設(shè)備斷電并拔下所有與路由器相連的聯(lián)線插頭，只留下路由器和一臺(tái)集線器、一臺(tái)筆記本電腦與之相連，再作通道測試速度為54k，響應(yīng)時(shí)間46ms，ICMP Ping成功率100％。由此證明故障不在DDN鏈路，而在縣局網(wǎng)絡(luò)本身。
        驅(qū)車前往縣局工商大樓，恢復(fù)大樓網(wǎng)絡(luò)設(shè)備的供電，插上全部線纜插頭，然后將Fluke公司的F683網(wǎng)絡(luò)測試儀接入網(wǎng)絡(luò)進(jìn)行網(wǎng)段掃描，30秒后顯示雙路由器IP地址錯(cuò)誤，伴隨少量FCS類型幀錯(cuò)誤。顯然，故障與地址設(shè)重的這臺(tái)路由器有直接關(guān)系，但網(wǎng)管人員不知道這另一臺(tái)路由器來自何方，查機(jī)器文檔備案資料也無此路由器的資料。經(jīng)再三詢問網(wǎng)絡(luò)管理人員，才想起原來有一個(gè)廢棄的備份路由器，半年前就早已經(jīng)不工作了。雖未從早期不用機(jī)架上拆下來，但一直未讓其上電工作(電纜聯(lián)線也未摘下)。我們檢查該路由器時(shí)卻發(fā)現(xiàn)它正在上電工作��！，系何人所為暫且不查，立即將電源插頭拔下另路由器斷電，一分鐘后市局來電網(wǎng)絡(luò)速度恢復(fù)正常。此時(shí)F683網(wǎng)絡(luò)測試儀雖然顯示雙重地址消失，但仍然有少量FCS類型幀錯(cuò)誤，這說明網(wǎng)絡(luò)還存在問題，而且主要是布線及鏈路設(shè)備的問題。聯(lián)系七樓數(shù)據(jù)交換比其它樓層困難的故障現(xiàn)象，用F683向各樓層的計(jì)算機(jī)定點(diǎn)發(fā)送流量，結(jié)果發(fā)現(xiàn)與一樓、二樓和市局的定點(diǎn)數(shù)據(jù)發(fā)送FCS幀錯(cuò)誤明顯增高，其它樓層正常�；�本可以斷定是由于雛菊鏈效應(yīng)造成的典型故障。據(jù)網(wǎng)絡(luò)管理人員介紹，本網(wǎng)絡(luò)平時(shí)就感覺七樓與市局和一樓、二樓的網(wǎng)絡(luò)連接速度有時(shí)變慢，偶爾會(huì)有中斷現(xiàn)象。查工程圖紙，上面只標(biāo)有一到五樓的布線及網(wǎng)絡(luò)設(shè)備的分布圖。六樓七樓的設(shè)備由于是半年前該局自己增加的，所以沒有標(biāo)示。無賴我們只得沿集線器布線方向查找網(wǎng)絡(luò)連接結(jié)構(gòu)。簡單的計(jì)數(shù)就可以知道，七樓的設(shè)備與一樓、二樓的設(shè)備(路由器在二樓)集線器總數(shù)為5個(gè)，這很容易引起數(shù)據(jù)包的延遲碰撞(在10Base-T網(wǎng)絡(luò)中則表現(xiàn)為FCS類型錯(cuò)誤幀)。
       
[診斷評(píng)點(diǎn)]雛菊鏈效應(yīng)是指局域網(wǎng)(10M網(wǎng))內(nèi)任何兩個(gè)站點(diǎn)之間的集線器數(shù)量超過4個(gè)后引起的數(shù)據(jù)傳輸時(shí)間超長而引發(fā)的網(wǎng)絡(luò)錯(cuò)誤現(xiàn)象。本案中七樓、六樓為后來增加的網(wǎng)絡(luò)，網(wǎng)絡(luò)管理人員沒有規(guī)劃網(wǎng)絡(luò)就想當(dāng)然地將集線器按級(jí)連方式連接起來，結(jié)果出現(xiàn)雛菊鏈效應(yīng)。如果不是有人昨天將備份路由器偶然接入網(wǎng)絡(luò)造成廣域網(wǎng)故障，雛菊鏈效應(yīng)還將作為一隱患長期潛伏下來。
        一般來講，路由地址競爭將引發(fā)嚴(yán)重的路由瓶頸問題，另外路由與服務(wù)器、交換器等地址競爭也同樣會(huì)引起嚴(yán)重的帶寬平衡問題。路由與工作站地址競爭情況會(huì)好一點(diǎn)。
        該市工商局的網(wǎng)絡(luò)維護(hù)和管理可以說基本上處于空白狀態(tài)，這也是國內(nèi)許多網(wǎng)絡(luò)維護(hù)管理的典型現(xiàn)狀。如果說前幾年主要精力放在了網(wǎng)絡(luò)的建設(shè)上，那么現(xiàn)在該是將網(wǎng)絡(luò)的健康維護(hù)工作提到議事日程上來的時(shí)候了。否則隨著網(wǎng)絡(luò)規(guī)模、速度和復(fù)雜性的增加將會(huì)后患無窮。
       
[診斷建議]改變六樓、七樓的集線器連接方式，或者重新做正規(guī)布線；指定專人妥善管理備份路由器；培訓(xùn)網(wǎng)絡(luò)維護(hù)和管理人員，配備適當(dāng)?shù)木S護(hù)工具，對(duì)網(wǎng)絡(luò)的工作狀態(tài)做一些必要的定期測試和登記。另外，網(wǎng)絡(luò)的文檔備案工作非常重要，一定要仔細(xì)做好這項(xiàng)日常工作，硬件備案時(shí)一定要將機(jī)器的Mac地址一一對(duì)應(yīng)備案。

geniusdao

很好，希望能繼續(xù)

ml2hs

好東西,細(xì)細(xì)品味

紫晶

很好接著發(fā)

mazu

[故事之六]服務(wù)器網(wǎng)卡物理功能的失效,導(dǎo)致網(wǎng)絡(luò)癱瘓,僅在小數(shù)據(jù)量時(shí)能夠維持網(wǎng)絡(luò)活性
        [癥狀]某銀行向醫(yī)院求助，其西城區(qū)整個(gè)網(wǎng)絡(luò)癱瘓，與電腦中心的聯(lián)絡(luò)基本中斷，只偶爾有部分交易能達(dá)成，但速度很慢，不知何故。由于電腦中心的網(wǎng)管系統(tǒng)也陷于癱瘓狀態(tài)，無法觀察任何網(wǎng)上設(shè)備的情況。
       
[診斷過程]系統(tǒng)故障是凌晨4:30左右出現(xiàn)的(約4小時(shí)前)，值班員當(dāng)時(shí)發(fā)現(xiàn)網(wǎng)管系統(tǒng)有報(bào)警信號(hào)，20秒鐘后網(wǎng)管機(jī)就基本上處于死機(jī)狀態(tài)了，想進(jìn)一步了解故障，遂將系統(tǒng)重新啟動(dòng)過三次，每次網(wǎng)管機(jī)都在20秒鐘左右失效，而主服務(wù)器和網(wǎng)管機(jī)脫機(jī)自檢均正常。
詢問各營業(yè)所網(wǎng)絡(luò)內(nèi)部工作情況，回答正常，只是交易動(dòng)作無法實(shí)現(xiàn)�？梢曰�本斷定故障就在中心的計(jì)算機(jī)系統(tǒng)中。中心除了配置有HP公司的網(wǎng)管軟件OpenView外，沒有再配備其它任何網(wǎng)絡(luò)維護(hù)工具。所以一旦網(wǎng)管系統(tǒng)不能正常工作，運(yùn)行維護(hù)人員也就無從下手。東城區(qū)和西城區(qū)的網(wǎng)絡(luò)主服務(wù)器分別在兩個(gè)不同的網(wǎng)段中，之間用交換器連接起來。全城結(jié)算主機(jī)與東城區(qū)主服務(wù)器在同一網(wǎng)段。用F683網(wǎng)絡(luò)測試儀接入東城區(qū)正常工作的網(wǎng)段觀察，發(fā)現(xiàn)Cisco5500交換機(jī)的Plot3Port4(第3插槽的第4端口)有異常流量，而該端口連接的正是西城區(qū)主服務(wù)器和網(wǎng)管系統(tǒng)所在的網(wǎng)段。為更仔細(xì)地觀察此網(wǎng)段的工作情況，將F683網(wǎng)絡(luò)測試儀和協(xié)議診斷器PI接入該網(wǎng)段，測得網(wǎng)絡(luò)持續(xù)流量為97％，其中錯(cuò)誤幀占98％。錯(cuò)誤類型為短幀40％，幀常50～60字節(jié)不等，長幀58％，幀長3000～5200字節(jié)不等，并報(bào)告了出錯(cuò)機(jī)器的Mac地址。依此地址查找對(duì)應(yīng)的機(jī)器，遺憾的是該電腦中心沒有Mac地址備份表(只有IP地址和符號(hào)名對(duì)應(yīng)表)。試著用ICMP的Ping查找網(wǎng)管機(jī)和服務(wù)器，顯示Mac地址對(duì)應(yīng)的是服務(wù)器的IP地址。重裝服務(wù)器網(wǎng)卡驅(qū)動(dòng)程序，無效，用F683測試服務(wù)器端口，協(xié)議顯示Unknown，更換服務(wù)器網(wǎng)卡，重裝驅(qū)動(dòng)程序并設(shè)置響應(yīng)參數(shù)，重啟系統(tǒng)即恢復(fù)正常。
       
[診斷評(píng)點(diǎn)]服務(wù)器網(wǎng)卡已經(jīng)損壞，發(fā)出的數(shù)據(jù)幀錯(cuò)誤率為98％，只有不足1％的數(shù)據(jù)正常。所以網(wǎng)絡(luò)偶爾還有交易可以達(dá)成。我們知道，超長幀有封閉網(wǎng)絡(luò)的作用，主要是引起網(wǎng)絡(luò)速度變慢或網(wǎng)絡(luò)癱瘓，而短幀達(dá)到一定流量則會(huì)對(duì)網(wǎng)絡(luò)設(shè)備的工作協(xié)議造成一定程度的破壞，引起設(shè)備死機(jī)(實(shí)際測試中發(fā)現(xiàn)工作站對(duì)此更敏感些)。網(wǎng)管機(jī)上網(wǎng)時(shí)在收到高錯(cuò)誤流量幀后約20秒鐘即被破壞死機(jī)，無法觀測參數(shù)。許多設(shè)備在自檢時(shí)只檢查部分參數(shù)(有些參數(shù)尤其是某些物理參數(shù)無法僅靠自檢來測試)，此案例中網(wǎng)管機(jī)和主服務(wù)器自檢表現(xiàn)正常，而實(shí)際上主服務(wù)器的網(wǎng)卡物理功能已經(jīng)失效，但在自檢時(shí)與操作系統(tǒng)的通信協(xié)議能正常工作，靠1％左右的正常幀可以維持極低的網(wǎng)絡(luò)活性。其它網(wǎng)站會(huì)在高流量錯(cuò)誤幀的“轟炸”中陸續(xù)喪生。
       
[診斷建議]交換機(jī)用來隔離網(wǎng)段和網(wǎng)絡(luò)故障有較好的作用，主服務(wù)器、網(wǎng)管機(jī)等重要網(wǎng)絡(luò)設(shè)備應(yīng)以獨(dú)享交換機(jī)端口為佳，不宜再用共享式集線器連接上其它設(shè)備，這樣可以迅速孤立出故障設(shè)備，減少因網(wǎng)絡(luò)停運(yùn)造成的損失。如果恰好遇到交換器故障，那么根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖就可以迅速定位交換機(jī)的問題，提高維護(hù)工作的時(shí)效性。另外，Mac地址是文檔備案的最重要內(nèi)容之一，除了用于排除網(wǎng)絡(luò)設(shè)備故障有極大方便外，對(duì)于迅速查找我們稱之為“惡意用戶”的非合法上網(wǎng)成員也有很大幫助。

mazu

[故事之七]布線環(huán)境不符合標(biāo)準(zhǔn)，導(dǎo)致網(wǎng)絡(luò)性能急劇下降
        [癥狀]某證券公司求診，要求查找錯(cuò)誤源。近日股市火爆，新增不少用戶，但一周內(nèi)已經(jīng)三次出現(xiàn)交易數(shù)據(jù)錯(cuò)誤，數(shù)據(jù)恢復(fù)也進(jìn)行了三次。雖然涉及的金額不大，與證券交易所的資料核對(duì)不上，昨晚對(duì)歷史記錄和當(dāng)日交易記錄進(jìn)行了比較，發(fā)現(xiàn)在同一時(shí)刻往往有幾個(gè)用戶的交易數(shù)據(jù)出錯(cuò)。懷疑存在病毒或惡意用戶搗亂的可能，用多套軟件查殺病毒，并重新安裝系統(tǒng)，恢復(fù)備份的數(shù)據(jù)。不料今日故障現(xiàn)象依舊出現(xiàn)。
       
[診斷過程]該網(wǎng)絡(luò)99年2月進(jìn)行了改擴(kuò)建，全部采用NT平臺(tái)。最近又新增家50個(gè)站點(diǎn)。根據(jù)一般經(jīng)驗(yàn)，先對(duì)新增加的工作站極其聯(lián)網(wǎng)系統(tǒng)的狀況進(jìn)行常規(guī)檢查。由于現(xiàn)在已經(jīng)休市，網(wǎng)上錯(cuò)誤無法觀察。用流量發(fā)生器模擬網(wǎng)上流量進(jìn)行體能檢查，結(jié)果如下：正常數(shù)據(jù)幀下限幀長64Byte各類型幀體能檢查，網(wǎng)絡(luò)致癱流量為99％,上限幀長1518Byte的致癱流量為99.5％，錯(cuò)誤幀50Byte短幀致癱流量為90％，錯(cuò)誤幀4000Byte超長幀致癱流量為97％，碰撞最高時(shí)為6.4％，略偏高。無新的錯(cuò)誤類型出現(xiàn)。從交換機(jī)處測試只發(fā)現(xiàn)少數(shù)傳輸延遲數(shù)據(jù)包，以上數(shù)據(jù)說明，被檢查的網(wǎng)絡(luò)是一個(gè)“身體素質(zhì)”相當(dāng)好的證券網(wǎng)絡(luò)。仔細(xì)研究發(fā)生錯(cuò)誤的工作站，發(fā)現(xiàn)是在同一個(gè)新增用戶的集線器組當(dāng)中，該網(wǎng)段通過一交換機(jī)接口與服務(wù)器相連。除了對(duì)交易服務(wù)器和行情服務(wù)器分別進(jìn)行體能檢查外，對(duì)該網(wǎng)段內(nèi)的工作站也進(jìn)行體能檢查，各站表現(xiàn)正常。各工作站模擬流量和交易也都正常。可以基本判定，該網(wǎng)絡(luò)是一個(gè)承受能力很強(qiáng)的優(yōu)秀網(wǎng)絡(luò)。由此我們懷疑可能存在“惡意用戶”(注：惡意用戶是指在工作站上安裝自備軟硬件或?qū)⒐ぷ髡揪W(wǎng)卡插頭拔下并將自帶筆記本電腦私自接入的用戶，其目的叵測)。為了跟蹤數(shù)據(jù)出錯(cuò)的情況，將F683網(wǎng)絡(luò)測試儀接入該網(wǎng)段作長期監(jiān)測。第二天故障現(xiàn)象沒有出現(xiàn)。第三天下午開始后10分鐘，即13:10分，網(wǎng)絡(luò)測試儀監(jiān)測到該網(wǎng)段大量錯(cuò)誤出現(xiàn)，其中FCS幀錯(cuò)誤占15％，幻象干擾占85％，約持續(xù)了1分鐘。FCS幀涉及本網(wǎng)段的3個(gè)用戶。該證券系統(tǒng)裝備有CCTV閉路視頻監(jiān)控系統(tǒng)，從長時(shí)錄像機(jī)中可以發(fā)現(xiàn)故障對(duì)應(yīng)時(shí)刻13:10有一個(gè)用戶使用了手機(jī)，仔細(xì)辨別圖像畫面發(fā)現(xiàn)其使用的是對(duì)講機(jī)。
        無風(fēng)不起浪，對(duì)講機(jī)的功率比微蜂窩手機(jī)的功率要大得多，使用頻率也更接近網(wǎng)絡(luò)基帶傳輸?shù)念l帶，容易對(duì)網(wǎng)絡(luò)造成近距離輻射干擾。但是，一個(gè)合格的、完整的UTP電纜系統(tǒng)在5米外還完全能抵抗不超過5W的輻射功率。從故障現(xiàn)象推斷，本網(wǎng)絡(luò)的電纜或接地系統(tǒng)可能有一些問題。隨即決定查找本網(wǎng)段50個(gè)站點(diǎn)的布線系統(tǒng)(擴(kuò)容時(shí)沒有經(jīng)過認(rèn)證測試)，用Fluke的DSP2000電纜測試儀進(jìn)行測試，測試結(jié)果全部通過。只在中心集線器與交換機(jī)端口的插頭發(fā)現(xiàn)接頭線做得很差，外包皮與接頭之間有15厘米的缺失，線纜散開排列，雙絞關(guān)系被破壞。交換機(jī)的物理位置離用戶僅隔一面玻璃幕墻，直線距離1.5米左右�？梢曰�本斷定，對(duì)講機(jī)發(fā)出的較大功率的輻射信號(hào)就是由此處串入系統(tǒng)的。重新按TIA568B標(biāo)準(zhǔn)的要求打線，連接好系統(tǒng)。

[診斷評(píng)點(diǎn)]出問題的網(wǎng)線接頭是擴(kuò)容施工時(shí)的最后一根遺漏的網(wǎng)線，為本部工作人員自己臨時(shí)增補(bǔ)上的。他們不了解TIA568B所要求的打線標(biāo)準(zhǔn)，乃隨意為之。系統(tǒng)中串入干擾的途徑有多種，比如大動(dòng)力線與網(wǎng)線并行距離太近或干脆就在同一個(gè)走線槽內(nèi)；與某些輻射源(包括日光燈、電焊機(jī)、對(duì)講機(jī)、移動(dòng)電臺(tái)等)距離太近；系統(tǒng)設(shè)備的接地回路不良等等。本案是由散列的網(wǎng)線接頭引入近距離的輻射干擾造成。由于對(duì)講機(jī)用戶比較特殊，他們的干擾是短時(shí)的，查找時(shí)有時(shí)需要“守株待兔”。當(dāng)然，如果網(wǎng)線全部經(jīng)過嚴(yán)格的測試，應(yīng)該不會(huì)出現(xiàn)本例故障。

[診斷建議]建議按標(biāo)準(zhǔn)化的布線環(huán)境來設(shè)計(jì)布線系統(tǒng)，更改系統(tǒng)結(jié)構(gòu)后一定要測試電纜。合格的UTP電纜系統(tǒng)抵抗輻射干擾的能力是很強(qiáng)的，但要求電纜系統(tǒng)必須經(jīng)過嚴(yán)格的測試(事實(shí)上多數(shù)布線系統(tǒng)只測試過物理連通性，未做嚴(yán)格認(rèn)證測試，存在著大量的隱患)。大量的問題都出在不起眼的接頭上。建議年檢時(shí)將布線系統(tǒng)作為年檢內(nèi)容全部檢查一遍(也可以以一年或兩年為周期平時(shí)進(jìn)行輪測，測試標(biāo)準(zhǔn)可選用北美標(biāo)準(zhǔn)TIA568A/568B或ISO11801等)。營業(yè)室內(nèi)最好禁止使用大功率對(duì)講機(jī)，部分大功率模擬手機(jī)也要列入禁用清單。故障檢測中，應(yīng)重點(diǎn)檢查最近動(dòng)過的或變更過的設(shè)備，此為經(jīng)驗(yàn)之談。不過，一個(gè)有趣的現(xiàn)象是，當(dāng)你向某個(gè)事后證明他確實(shí)更改過設(shè)置的用戶詢問時(shí)，經(jīng)常得到的答復(fù)卻是：沒有動(dòng)過任何東西。

fyx2008

很好呀，繼續(xù)發(fā)，支持，頂。。。。。。