在日常網(wǎng)絡(luò)維護(hù)過程中，設(shè)備丟包是個棘手的問題，丟包對網(wǎng)絡(luò)最直接的影響就是數(shù)據(jù)轉(zhuǎn)發(fā)不正常，進(jìn)而造成網(wǎng)絡(luò)體驗差，還會給網(wǎng)絡(luò)帶來一定的沖擊。本文從得知故障現(xiàn)象-光傳輸設(shè)備管理異常開始入手，通過對光傳輸設(shè)備進(jìn)行Ping命令測試，得知網(wǎng)絡(luò)中存在丟包現(xiàn)象。采用端口速率協(xié)商和網(wǎng)絡(luò)抓包等方法準(zhǔn)確將故障定位，最終使用端口隔離的辦法將故障排除。

故障現(xiàn)象

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

近日，有同事反映某設(shè)備的網(wǎng)管系統(tǒng)出現(xiàn)間歇性報警，我們立即著手排查。在對故障現(xiàn)象進(jìn)行查看后，發(fā)現(xiàn)設(shè)備網(wǎng)管軟件主要功能是對設(shè)備是否在線進(jìn)行監(jiān)控，如果設(shè)備不在線，網(wǎng)管軟件會出現(xiàn)報警。對該網(wǎng)管系統(tǒng)進(jìn)行短時間的觀察后，發(fā)現(xiàn)設(shè)備處于在線和離線交替狀態(tài)。在網(wǎng)管服務(wù)器上，對離線設(shè)備進(jìn)行了長時間的Ping測試，出現(xiàn)了丟包的現(xiàn)象。

故障分析

為了更好地排除故障，我們首先了解下網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，如圖1所示。

通過圖1我們看到，整個網(wǎng)絡(luò)架構(gòu)由4臺交換機(jī)組成，分別部署在4個基站，即中心、科苑、解放和神道站。網(wǎng)絡(luò)中主要承載BOSS、設(shè)備網(wǎng)管以及視頻監(jiān)控等業(yè)務(wù)。其中4個基站都部署了光傳輸設(shè)備，使用服務(wù)器對這些設(shè)備進(jìn)行統(tǒng)一管理。

在對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行簡單梳理后，接下來就開始進(jìn)行排查。首先需要排除光傳輸設(shè)備物理硬件本身是否出現(xiàn)問題。將連接光傳輸設(shè)備的網(wǎng)線接上測試電腦對服務(wù)器進(jìn)行Ping測試，經(jīng)過長時間的觀察后，并沒有出現(xiàn)丟包現(xiàn)象。這樣就可以假設(shè)設(shè)備網(wǎng)卡和交換機(jī)端口速率協(xié)商是否存在問題。

通過對設(shè)備的配置手冊進(jìn)行查詢后，得知該設(shè)備的網(wǎng)卡默認(rèn)是10M全雙工，將交換機(jī)和設(shè)備互聯(lián)的端口也強制成了10M全雙工，結(jié)果依然出現(xiàn)丟包現(xiàn)象。而且在整個網(wǎng)管系統(tǒng)上出現(xiàn)離線的設(shè)備沒有規(guī)律性，不具有某個設(shè)備離線的特殊性。

接下來準(zhǔn)備使用抓包工具進(jìn)行數(shù)據(jù)分析。通過配置鏡像端口對數(shù)據(jù)信息進(jìn)行抓取和分析，發(fā)現(xiàn)10.232.13.0/24段的地址有異常廣播報文，于是查找到該IP地址位于科苑站。在該基站經(jīng)過對交換機(jī)端口查看，發(fā)現(xiàn)交換機(jī)除了連接光傳輸設(shè)備外，還連接了部分?jǐn)z像頭。

為了盡快排除故障，我們索性將該交換機(jī)上除光傳輸設(shè)備外其他網(wǎng)線拔掉，進(jìn)行逐個插拔。在插拔網(wǎng)線的同時，對光傳輸設(shè)備進(jìn)行Ping測試，最終發(fā)現(xiàn)交換機(jī)端口15插到交換機(jī)上后，光傳輸設(shè)備就出現(xiàn)丟包現(xiàn)象，經(jīng)過排查交換機(jī)端口15是通過收發(fā)器連接硬盤錄像機(jī)。

故障解決

既然找到了故障原因，就需要采取措施。因為二層交換機(jī)的同一VLAN間是互相通信的，那么如何實現(xiàn)連接光傳輸設(shè)備和硬盤錄像機(jī)端口隔離呢？這里就需要使用到端口隔離這個技術(shù)。采用端口隔離特性，可以實現(xiàn)同一VLAN內(nèi)端口之間的隔離。我們只需要將端口加入到隔離組中，就可以實現(xiàn)隔離組內(nèi)端口之間二層數(shù)據(jù)的隔離。

接下來我們就開始配置設(shè)備，具體的配置命令即：

通過上面的配置，我們將連接光傳輸設(shè)備的端口1、3、5口和連接硬盤錄像機(jī)的端口15加入了隔離組，這樣就有效地實現(xiàn)了以上端口的有效隔離。完成端口隔離的配置后，將連接硬盤錄像機(jī)的網(wǎng)線插回交換機(jī)上，進(jìn)行了長時間的觀察，光傳輸設(shè)備沒有出現(xiàn)丟包現(xiàn)象，故障排除。

經(jīng)驗總結(jié)

上面我們從得知故障現(xiàn)象開始入手，運用Ping命令得知故障現(xiàn)象是由于丟包引起的，接下來通過抓包工具以及排除法將故障準(zhǔn)確定位，視頻監(jiān)控大流量數(shù)據(jù)是影響到光傳輸平臺網(wǎng)管軟件正常使用的根本原因。最終使用端口隔離的辦法解決了問題。

后期我們咨詢了光傳輸設(shè)備廠家，得知設(shè)備的網(wǎng)卡有別于筆記本電腦網(wǎng)卡的機(jī)制，所以出現(xiàn)了文章開頭連接光傳輸設(shè)備的網(wǎng)線連接到筆記本電腦上沒有出現(xiàn)丟包現(xiàn)象。針對這次故障的出現(xiàn)，我們制定了網(wǎng)絡(luò)優(yōu)化升級的方案，分兩步走，第一，建議光傳輸設(shè)備廠家后期升級設(shè)備網(wǎng)卡固件，第二，將視頻監(jiān)控和光傳輸網(wǎng)管劃分到不通的VLAN中，使用VLAN進(jìn)行有效隔離，從而實現(xiàn)網(wǎng)絡(luò)的穩(wěn)定和諧。