故障現(xiàn)象

單位一棟匚型樓內(nèi)一個(gè)時(shí)間段有不少用戶反映網(wǎng)絡(luò)慢，總有斷網(wǎng)現(xiàn)象，這些用戶都在南側(cè)樓內(nèi)，而東側(cè)、北側(cè)樓的用戶沒有反映有斷網(wǎng)現(xiàn)象。

查看流量監(jiān)測此樓各交換機(jī)都正常在線，因此判斷只是部分用戶有問題，回話要求查殺自己電腦內(nèi)的病毒。其中有一位4樓用戶斷網(wǎng)較多，他就把電腦的操作系統(tǒng)重新安裝過且查殺過沒有病毒，過一天后反映還是有不定時(shí)斷網(wǎng)現(xiàn)象，這表明樓內(nèi)有較大的病毒攻擊行為，于是進(jìn)入流量監(jiān)測軟件NPM對此樓交換機(jī)及端口逐一查看。

故障排查

圖1 YLL樓4樓南交換機(jī)上聯(lián)口流量圖

單位用戶都是用銳捷認(rèn)證的，在銳捷認(rèn)證里面查到這個(gè)用戶所在交換機(jī)的端口，然后在流量監(jiān)測NPM里查看此端口，這段時(shí)間此端口流量帶寬最高24Mbps。問此用戶，他說最近沒有下載，只是看一些網(wǎng)頁、收發(fā)郵件、QQ說話，基本沒用到這么大的帶寬（單位出口帶寬每IP限制6M電信+6M聯(lián)通）。把此端口關(guān)閉了半天，在這半天內(nèi)還有此樓南側(cè)用戶不斷打電話說網(wǎng)絡(luò)有斷網(wǎng)現(xiàn)象。

然后查看此交換機(jī)（4樓的）接入流量，也在這幾天突然增大到最高值200M，而平時(shí)最高只有幾十M（如圖1）。 接著查看此樓的南側(cè)的1、2、3、5 樓 的 接入交換機(jī)，上聯(lián)口也在這幾天突然增大到最高值200M，而平時(shí)最高只有幾十M，在一樓接入交換機(jī)的界面發(fā)現(xiàn)5號端口傳輸達(dá)到100%，接口是1000M。這很異常，普通用戶根本不可能達(dá)到這大的帶寬的，于是進(jìn)入5號端口界面查看。

故障解決

在一樓交換機(jī)5號端口流量監(jiān)測界面，發(fā)現(xiàn)帶寬跑滿了1Gbps，且?guī)滋於际沁@么高，而這個(gè)端口平時(shí)沒什么流量，這肯定是異常的。

進(jìn)到此交換機(jī)管理界面查看此端口認(rèn)證情況，沒有用戶認(rèn)證，只能查到MAC地址、IP地址，用戶是誰沒法查出來。因此樓的布線數(shù)據(jù)不全，信息標(biāo)記因時(shí)間長看不清，無法確定5號端接的哪個(gè)房間哪個(gè)信息點(diǎn)。

聯(lián)系管理部門，說一樓是實(shí)驗(yàn)室，平時(shí)沒什么人，這幾天更是沒人在里面，管鑰匙的人在外面出差，沒辦法只能將此端口關(guān)閉。關(guān)閉一樓南側(cè)接入交換機(jī)5號端口后，將1到5樓的交換機(jī)都重啟，4樓接入交換機(jī)21號端口也打開了，各交換機(jī)上聯(lián)流量基本正常，各個(gè)端口基本也正常了，之后此樓用戶沒有大面積再報(bào)故障。

故障總結(jié)

這起故障是發(fā)生在去年11月，所有圖片顯示的都是最近12個(gè)月的流量情況。交換機(jī)所有端口情況圖片當(dāng)時(shí)沒保存，無法呈現(xiàn)出來。使用的監(jiān)測軟件是SolarWinds NPM 10的版本。

后來有時(shí)間也查過此樓的交換機(jī)的情況，也關(guān)注一樓接入交換機(jī)5號端口一直是關(guān)閉的，無人反映此點(diǎn)網(wǎng)絡(luò)不通。因管理單位幾百交換機(jī)沒時(shí)間天天守著這臺查看，到現(xiàn)在也不知道是哪個(gè)用戶、哪臺電腦或設(shè)備出現(xiàn)這種情況，是何原因?qū)е碌?。但可喜的是，通過關(guān)閉一個(gè)端口，將這個(gè)樓大面積用戶反映的斷網(wǎng)故障解決了。

由于NPM是7×24小時(shí)監(jiān)測，通過NPM的流量監(jiān)測可發(fā)現(xiàn)一些交換機(jī)端口異常流量變化。通過不同時(shí)間段的流量圖，可以清晰地看到這種流量變化，對異常流量的端口可以及時(shí)發(fā)現(xiàn)并處理，如果能找到對應(yīng)信息點(diǎn)或用戶、設(shè)備，就可以再去處理相應(yīng)的用戶、設(shè)備了。