引言：Ping這個命令對于網(wǎng)絡(luò)運維人員再熟悉不過了，它主要用于檢查網(wǎng)絡(luò)是否連通，可以很好地幫助我們分析和判定網(wǎng)絡(luò)故障。在日常網(wǎng)絡(luò)維護過程中，Ping延遲大甚至丟包的現(xiàn)象最讓我們?yōu)橹^痛。本文運用抓包工具和Ping命令，準(zhǔn)確地揪出故障元兇——ONU自動配置腳本。

故障現(xiàn)象

近日，有同事反映，配置OLT設(shè)備時輸入命令不流暢，有卡頓的現(xiàn)象。得知這一故障現(xiàn)象后我們立即展開排查。

故障分析

使用Ping命令對OLT設(shè)備進行測試，發(fā)現(xiàn)數(shù)據(jù)抖動很大，具體Ping測試結(jié)果如圖1所示。

通過圖1可以看到，Ping該OLT的延遲時間長，而且報文的抖動也比較大。這種延遲長抖動大的問題就會導(dǎo)致遠(yuǎn)程配置設(shè)備卡頓和操作不流暢。

圖1 Ping測試結(jié)果

為了盡快排除故障，我們對其他的OLT設(shè)備也進行了同樣的Ping測試，結(jié)果都是一樣。其實172.16.90.130這是一個設(shè)備的管理地址，那么互聯(lián)網(wǎng)業(yè)務(wù)是不是也和設(shè)備管理業(yè)務(wù)一樣呢？搭建測試環(huán)境使用PC機對BRAS進行Ping測試，結(jié)果是互聯(lián)網(wǎng)業(yè)務(wù)沒有發(fā)現(xiàn)延遲和抖動大的現(xiàn)象。現(xiàn)在基本可以斷定只是網(wǎng)管業(yè)務(wù)受到影響，

我們的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)十分簡單，故障OLT直連BRAS設(shè)備，設(shè)備的網(wǎng)管是通過BRAS另外一個端口連接網(wǎng)管交換機來實現(xiàn)的。為了盡快鎖定故障，我們決定使用抓包工具來分析問題。在對設(shè)備進行抓包前，首先需要配置鏡像端口和源端口，這次出現(xiàn)故障的OLT管理VLAN是VLAN90，所以有針對性地對該VLAN進行分析。OLT設(shè)備的鏡像配置命令如下：

通過上面的配置定義8/5為監(jiān)視端口，被監(jiān)視端口即源端口是8/1,端口8/1上聯(lián) BRAS，端口 8/5連接抓包電腦。

故障解決

通過報文的查看可以發(fā)現(xiàn)一些異常的報文信息，即有一些固定的IP地址給該OLT發(fā)送特定報文。在OLT上使用命令show process cpu和show cpuutilization查看設(shè)備進程占用和OLT的CPU利用率時，發(fā)現(xiàn)CPU利用率有時比較高。同時發(fā)現(xiàn)2個IP地址固定向該OLT發(fā)送報文，其中一個地址即該設(shè)備的管理服務(wù)器，還有一個地址10.66.66.16，該地址每隔一秒就會向OLT發(fā)送數(shù)據(jù)，頻率十分高。

通過對該設(shè)備MAC地址的追蹤確定了該服務(wù)器的用途，該服務(wù)器用于配置ONU，其系統(tǒng)在運行一個自動配置ONU的腳本，它的工作原理是及時發(fā)現(xiàn)ONU上線，主動配置設(shè)備。為了做到及時發(fā)現(xiàn)新上線ONU，該腳本會持續(xù)不斷地向設(shè)置好的OLT發(fā)送命令。

發(fā)現(xiàn)問題后，我們果斷地將該腳本關(guān)閉，這時發(fā)現(xiàn)設(shè)備的CPU利用率立馬得到了下降，隨后也關(guān)閉了設(shè)備網(wǎng)管服務(wù)器的部分服務(wù)進程，故障OLT的CPU利用率從剛才的80%下降到了20%，回到了正常的范圍內(nèi)。這個時候再次對OLT進行Ping測試，網(wǎng)絡(luò)恢復(fù)正常，設(shè)備的Ping延遲普遍在1ms左右，同時遠(yuǎn)程配置該設(shè)備也十分流暢，故障得到解決。

故障總結(jié)

上面我們從得知故障現(xiàn)象到使用Ping命令對設(shè)備測試時發(fā)現(xiàn)延遲長、包抖動大。找到問題的誘因后，運用抓包軟件和show命令將故障原因準(zhǔn)確定位。故障原因是自動配置ONU的腳本頻繁的向OLT發(fā)送查詢命令，OLT的CPU利用率過高，從而導(dǎo)致設(shè)備網(wǎng)管數(shù)據(jù)無法處理。在采取關(guān)閉自動配置腳本的措施后，設(shè)備CPU利用率回歸理性值，故障也隨之恢復(fù)。

通過該故障的排查，為方便后期ONU設(shè)備的配置，我們降低了腳本對OLT執(zhí)行命令的頻率，從而有效地減輕了設(shè)備CPU的利用率，這樣做的好處是在保證設(shè)備工作正常的同時，還能繼續(xù)發(fā)揮自動配置ONU的作用，達(dá)到了一舉兩得的好效果。