核心NE40板卡故障引起下掛終端設備脫網(wǎng)

分公司兩臺核心的NE40路由器分別通過兩條MPLS VPN鏈路上聯(lián)到合肥的NE80核心路由器，而且這兩臺路由器之間也有通路，這樣的網(wǎng)絡結(jié)構(gòu)保證了在出現(xiàn)一條上聯(lián)電路故障的時候，數(shù)據(jù)流量仍然可以從正常的鏈路流出。因此在很長時間內(nèi)分公司DCN網(wǎng)絡都是相當穩(wěn)定的，沒有大規(guī)模網(wǎng)絡阻塞事件的發(fā)生。

但是有一次當各個部門（不是所有部門）紛紛申告網(wǎng)絡不通的時候，有個奇怪的現(xiàn)象，就是Ping合肥的認證服務器是可以Ping通，但是網(wǎng)絡認證卻無法通過。經(jīng)過重啟認證服務器、Web接入認證路由器，現(xiàn)象依舊。用Console口連接到有問題的NE40，配合合肥華為工程師排查故障，結(jié)果發(fā)現(xiàn)上聯(lián)端口不正常，發(fā)包多收包少。經(jīng)過緊張的幾小時，嘗試各種方法一直無果之后，有識之士果斷將故障端口關(guān)閉，于是流量開始流向正常的路由器，各報障點開始恢復正常。其后過了很多天我們專門利用一個晚上更換了故障板卡，這個問題才得到真正解決，但是前面先恢復網(wǎng)絡再排查故障的經(jīng)驗已經(jīng)給我留下了深刻的印象。

雙S8505三層交換機全部脫網(wǎng)故障引起核心網(wǎng)段癱瘓

類似NE40的雙上聯(lián)結(jié)構(gòu)，分公司兩臺S8505也是采取的兩條鏈路分別上聯(lián)到一臺NE40。這兩個三層交換機下是分公司最核心的服務器與部分核心終端設備（如114臺席）。理論上來說它們不可能同時完全斷網(wǎng)，但是有一天中午卻忽然收到全部斷網(wǎng)告警，經(jīng)現(xiàn)場檢查，有一臺8505的一塊主控板告警燈閃（其他狀態(tài)燈均正常），兩臺8505之間互聯(lián)光路Down，上聯(lián)的兩臺NE40分別有告警顯示兩個8505 neigbour掉線。如果說一臺8505設備故障掉線還好理解，但這卻無法解釋另一臺8505為何會離線。

經(jīng)過漫長的故障排查，重啟設備、換上聯(lián)光纖口。將故障設備斷電，都不能有所改觀。最終由于偶然找到了故障的原因。原來這兩臺上聯(lián)鏈路配置有問題，每根互聯(lián)的光纖兩端不是同組IP地址，一端設備的互聯(lián)地址分別與對端非直連的另外一臺設備的互聯(lián)地址相對應了（地址形成交叉了），因此實際上這兩臺8505之間的互聯(lián)光路就成了關(guān)鍵因素，只要這條鏈路出問題，兩組交叉的地址都將無法互訪，而且這也就解釋了我們所見到的奇怪的現(xiàn)象。臨時解決辦法就是，重新建立互聯(lián)光路或電路，但最終還是需要修改錯誤的配置才能杜絕這個問題。回顧這次事件我們耗費了相當長的時間才恢復，對我們來說這實在是一次嚴重的教訓。

路由器之間互聯(lián)電路與普通VLAN共享再加上病毒而引起的網(wǎng)絡故障

縣公司有兩臺核心路由器，但是與之前介紹的組網(wǎng)結(jié)構(gòu)不同，這兩臺路由器一臺是負責縣城關(guān)的，另一臺是負責各個鄉(xiāng)鎮(zhèn)的。有一次晚上十一點多接到告警，說縣公司下各個鄉(xiāng)鎮(zhèn)支局動力監(jiān)控信號時斷時續(xù)，經(jīng)檢查，負責城關(guān)的路由器正常，但負責鄉(xiāng)鎮(zhèn)的路由器掉包嚴重。開始我們以為是互聯(lián)的光路或者電路松了，后來才發(fā)現(xiàn)并非如此，這兩臺路由器之間并不是直連的，它們之間有一臺二層交換機，而那臺二層交換機下有端口存在大量垃圾包，明顯是有機器中毒了。也正是由于這些病毒包阻塞了這條關(guān)鍵的互聯(lián)電路，才使得核心路由器也無法正常運作。

關(guān)閉掉問題端口以后，網(wǎng)絡恢復了正常。但是這個故障不得不令我們反思，如果我們組網(wǎng)的時候不是采取這種共享的方式，而是獨立的互聯(lián)電路，這個問題會不會避免呢？

經(jīng)驗總結(jié)

綜合以上幾個例子，我們應該認識到，因為核心路由設備如此重要，所以在網(wǎng)絡組建的時候，我們就應該謹慎小心，避免潛在的各種問題。一旦真的發(fā)生了不可避免的各類故障，我們也沒必要慌神自亂陣腳，只要冷靜理智，對癥下藥，就不難解決各種問題。