王茂春, 褚云龍

(1.國家電網(wǎng)有限公司青海省電力公司, 青海 西寧 810008; 2.國家電網(wǎng)有限公司西北分部, 陜西 西安 710048)

0 引言

調(diào)度數(shù)據(jù)網(wǎng)是國家電網(wǎng)調(diào)度自動(dòng)化、管理現(xiàn)代化的基礎(chǔ)，是確保電網(wǎng)安全、穩(wěn)定、經(jīng)濟(jì)運(yùn)行的重要手段，是電力系統(tǒng)的重要基礎(chǔ)設(shè)施，在協(xié)調(diào)電力系統(tǒng)發(fā)、送、變、配、用電等組成部分的聯(lián)合運(yùn)轉(zhuǎn)及保證電網(wǎng)安全、經(jīng)濟(jì)、穩(wěn)定、可靠的運(yùn)行方面發(fā)揮了重要的作用。電力調(diào)度數(shù)據(jù)網(wǎng)為電力生產(chǎn)、電力調(diào)度、水庫調(diào)度、燃料調(diào)度、繼電保護(hù)、安全自動(dòng)裝置、遠(yuǎn)動(dòng)、電網(wǎng)調(diào)度自動(dòng)化等通信提供保障，在電力生產(chǎn)及管理中發(fā)揮著不可替代的作用[1-2]。

網(wǎng)絡(luò)環(huán)路導(dǎo)致網(wǎng)絡(luò)癱瘓或中斷是在調(diào)度數(shù)據(jù)網(wǎng)運(yùn)維工作中經(jīng)常遇到的問題[3-4]，但是在規(guī)模較大的網(wǎng)絡(luò)環(huán)境中，這種故障常常具有較強(qiáng)的隱蔽性，無法快速高效地處理。本文針對某500 kV變電站調(diào)度數(shù)據(jù)網(wǎng)的故障，詳細(xì)闡述了故障處理的過程，分析了故障發(fā)生的原因，為此類故障的處理提供參考[5-6]。

1 故障描述

接到國家電網(wǎng)某業(yè)務(wù)部門反饋，某500 kV變電站調(diào)度數(shù)據(jù)網(wǎng)B平面調(diào)度發(fā)令業(yè)務(wù)中斷。國家電網(wǎng)調(diào)度數(shù)據(jù)網(wǎng)網(wǎng)管發(fā)現(xiàn)該500 kV變電站調(diào)度數(shù)據(jù)網(wǎng)交換機(jī)B無法網(wǎng)管，檢查路由器B，發(fā)現(xiàn)OSPF狀態(tài)異常。通知現(xiàn)場人員檢查交換機(jī)是否正常，現(xiàn)場答復(fù)交換機(jī)B運(yùn)行正常。隨后通信運(yùn)維人員進(jìn)站處理。查詢調(diào)度數(shù)據(jù)網(wǎng)網(wǎng)管告警時(shí)，告警顯示該變電站調(diào)度數(shù)據(jù)網(wǎng)接入層交換機(jī)A和B均脫管，路由器A和路由器B與下聯(lián)交換機(jī)的OSPF狀態(tài)均異常，該變電站調(diào)度數(shù)據(jù)網(wǎng)實(shí)時(shí)業(yè)務(wù)和非實(shí)時(shí)業(yè)務(wù)全部中斷。

2 故障處理過程

500 kV變電站調(diào)度數(shù)據(jù)網(wǎng)拓?fù)淙鐖D1所示。

圖1 500 kV變電站換調(diào)度數(shù)據(jù)網(wǎng)拓?fù)鋱D

通信專業(yè)運(yùn)維人員到達(dá)變電站現(xiàn)場后，檢查調(diào)度數(shù)據(jù)網(wǎng)交換機(jī)A和交換機(jī)B配置的文件，檢查結(jié)果為配置文件正常。

隨后跳開II區(qū)縱向加密裝置，用網(wǎng)線直連路由器和交換機(jī)，ospf狀態(tài)依舊為異常狀態(tài)。在保存配置后，分別重啟交換機(jī)A、交換機(jī)B，重啟后，故障狀態(tài)依舊。在保存配置后，重啟路由器A，重啟完成后，故障狀態(tài)依舊。關(guān)閉交換機(jī)B，檢查路由器A ospf狀態(tài)為異常狀態(tài)。關(guān)閉交換機(jī)A后，檢查路由器B檢查路由器A ospf狀態(tài)，ospf狀態(tài)為正常狀態(tài)，交換機(jī)B恢復(fù)網(wǎng)管，業(yè)務(wù)恢復(fù)正常。拔除所有連接交換機(jī)A的業(yè)務(wù)網(wǎng)線，只保留II區(qū)縱向加密裝置與交換機(jī)A的互聯(lián)網(wǎng)線，ospf正常建立。網(wǎng)管能遠(yuǎn)程管理交換機(jī)A，檢查CPU使用率，如圖2所示。

ospf狀態(tài)如圖3所示。

圖3 交換機(jī)A 的OSPF協(xié)議狀態(tài)

此時(shí)CPU使用率正常，ospf狀態(tài)正常。

逐步接入交換機(jī)A業(yè)務(wù)網(wǎng)線，接至網(wǎng)口11在線監(jiān)測業(yè)務(wù)時(shí)，CPU使用率暴增，如圖4所示。

圖4 交換機(jī)A CUP使用率

ospf狀態(tài)由正常轉(zhuǎn)為異常狀態(tài),如圖5所示。

圖5 交換機(jī)A OSFP協(xié)議狀態(tài)

恢復(fù)交換機(jī)A接入，除交換機(jī)A端口11在線監(jiān)測業(yè)務(wù)外，其余端口網(wǎng)線均正常接入，CPU使用率正常，如圖6所示。

圖6 交換機(jī)A的CUP使用率

ospf狀態(tài)恢復(fù)正常，如圖7所示。

圖7 交換機(jī)A 的OSPF協(xié)議狀態(tài)

業(yè)務(wù)恢復(fù)正常。

3 故障原因分析

調(diào)度數(shù)據(jù)網(wǎng)交換機(jī)A端口11業(yè)務(wù)為在線監(jiān)測業(yè)務(wù)。變電站在線監(jiān)測裝置拓?fù)浣Y(jié)構(gòu),如圖8所示。

圖8 在線監(jiān)測裝置拓?fù)浣Y(jié)構(gòu)

在線監(jiān)測裝置1、在線監(jiān)測裝置2、在線監(jiān)測裝置3、在線監(jiān)測裝置4分別通過3個(gè)交換機(jī)與在線監(jiān)測裝置綜合處理單元交換機(jī)相連，在線監(jiān)測裝置綜合處理單元交換機(jī)通過Eth1網(wǎng)線將數(shù)據(jù)上傳至在線監(jiān)測綜合處理單元主機(jī)，在線監(jiān)測綜合處理單元主機(jī)經(jīng)過Eth3網(wǎng)線橋接在線監(jiān)測綜合處理單元交換機(jī)與調(diào)度數(shù)據(jù)網(wǎng)相連。

在線監(jiān)測裝置恢復(fù)聯(lián)網(wǎng)過程中，在綜合處理單元交換機(jī)處形成網(wǎng)絡(luò)環(huán)路，如圖9所示。

圖9 綜合處理單元交換機(jī)處形成網(wǎng)絡(luò)環(huán)路

綜合處理單元交換機(jī)二層交換機(jī)環(huán)回時(shí)，連接到調(diào)度數(shù)據(jù)網(wǎng)的交換機(jī)A機(jī)的11口上產(chǎn)生大量的數(shù)據(jù)收發(fā)，產(chǎn)生廣播風(fēng)暴，造成鏈路阻塞，占滿整個(gè)帶寬，使得調(diào)度數(shù)據(jù)網(wǎng)交換機(jī)A機(jī)的CPU使用率過高致使設(shè)備進(jìn)程運(yùn)行緩慢，導(dǎo)致OSPF路由協(xié)議中斷,網(wǎng)絡(luò)管理不上，其他端口業(yè)務(wù)不能正常上送。交換機(jī)A、B互聯(lián)23口(缺省配置)使得廣播風(fēng)暴直接到達(dá)交換機(jī)B ，導(dǎo)致交換機(jī)B的CPU使用率過高，同樣造成OSPF路由協(xié)議起不來，調(diào)度交換機(jī)B上業(yè)務(wù)不能正常收發(fā)，最終導(dǎo)致調(diào)度數(shù)據(jù)網(wǎng)交換機(jī)A和交換機(jī)B癱瘓，變電站調(diào)度數(shù)據(jù)網(wǎng)業(yè)務(wù)全部中斷。

4 總結(jié)

通過某500 kV變電站調(diào)度數(shù)據(jù)網(wǎng)故障處理分析。認(rèn)真總結(jié)經(jīng)驗(yàn)，針對調(diào)度數(shù)據(jù)網(wǎng)業(yè)務(wù)接入制定了更加完善的管理措施和技術(shù)措施[7-8]，與國家電網(wǎng)其他單位分析此次故障處理經(jīng)驗(yàn)，共同保障國家電網(wǎng)電力系統(tǒng)的安全穩(wěn)定運(yùn)行。