卓懷忠,張玉姣,陶潁軍,王興安,竇中山
(許繼電氣股份有限公司,許昌 461000)
目前,對于變電站海量數(shù)據(jù)的管理并沒有完全成熟的辦法,其技術(shù)難度主要是大量數(shù)據(jù)讀寫操作極易對磁盤造成損壞。有人提出采用分布式網(wǎng)絡(luò)數(shù)據(jù)存儲方式,但其成本、技術(shù)難度都比較高,并沒有得到廣泛的推廣[1]。本文采用的數(shù)據(jù)管理方式是直接通過索引文件對磁盤操作,減少了磁頭的使用率,提高了磁盤的使用壽命[2],且方法簡單、效率高。
變電站數(shù)據(jù)管理存在的第二個技術(shù)難題是對于其不同協(xié)議的報文的解析及展示沒有一個統(tǒng)一的判斷標準,不同的廠家采用不同方法處理,對于細節(jié)處理不盡相同,給變電站的運維人員帶來了操作和理解上的難度。本文采用模塊化設(shè)計,降低了不同協(xié)議報文之間的耦合性,并且解析方法和展示效果可通過配置文件靈活配置,也可根據(jù)用戶需求進行改動,提高了用戶數(shù)據(jù)處理的工作效率。
數(shù)據(jù)采集是系統(tǒng)與外部網(wǎng)絡(luò)數(shù)據(jù)的唯一接口,多個采集口分別采集不同的數(shù)據(jù),按照特定格式重新組織打包,形成滿足系統(tǒng)存儲與解析要求的報文格式。采集流程如圖1所示。
采集口網(wǎng)絡(luò)模塊為百兆/千兆自適應(yīng)模式,根據(jù)站內(nèi)網(wǎng)絡(luò)數(shù)據(jù)量大小靈活配置。采集口采集的數(shù)據(jù)首先經(jīng)過硬件FPGA模塊加上系統(tǒng)時標[3],按照網(wǎng)絡(luò)報文格式組織成標準的CAP格式報文,然后將每個采集口的數(shù)據(jù)匯總起來,形成一個總的大包數(shù)據(jù)。最后,可選擇硬件壓縮卡壓縮或軟件壓縮算法來將大包數(shù)據(jù)壓縮成容量更小的壓縮包,進行數(shù)據(jù)存儲[4]。
圖1 數(shù)據(jù)采集流程Fig.1 Data acquisition diagram
數(shù)據(jù)存儲能夠?qū)⑶捌诋a(chǎn)生的數(shù)據(jù)完整地保存下來以備查看分析。站內(nèi)保護裝置以及后臺監(jiān)控系統(tǒng)都有數(shù)據(jù)存儲的功能,但受限于容量大小和數(shù)據(jù)處理的要求,滿足不了站內(nèi)系統(tǒng)對網(wǎng)絡(luò)數(shù)據(jù)解析和查看需求。該系統(tǒng)使用4 TB容量硬盤,能夠連續(xù)不間斷地存儲至少7天的數(shù)據(jù)報文,并且具有檢索方便、速度快的特點。
為了滿足上述特點,設(shè)計了一種自定義文件系統(tǒng)的方法,在硬盤數(shù)據(jù)區(qū)外定義了一個索引文件,用來記錄所存報文的有關(guān)信息。每保存一個報文數(shù)據(jù)包,會將該數(shù)據(jù)包所在分區(qū)號、數(shù)據(jù)包起始地址、起始及結(jié)束時間以及數(shù)據(jù)包的大小等信息記錄下來,用戶查找數(shù)據(jù)時,再根據(jù)索引文件直接定位到硬盤分區(qū)對應(yīng)的地址上。數(shù)據(jù)包讀取流程如圖2所示。
圖2 數(shù)據(jù)包讀取示意Fig.2 Reading data packet diagram
該硬盤讀寫不依賴文件系統(tǒng),避免了二次操作,提高了數(shù)據(jù)讀寫的速度。在此基礎(chǔ)上,程序定期地對索引文件進行維護,發(fā)現(xiàn)索引文件和硬盤數(shù)據(jù)不對應(yīng)時重新建立索引文件,保證了數(shù)據(jù)的安全性[5]。同時用戶讀取數(shù)據(jù)時,只需要提供數(shù)據(jù)的起始時間和結(jié)束時間即可。數(shù)據(jù)索引維護流程如圖3所示。
為了保證數(shù)據(jù)的實時性,當(dāng)系統(tǒng)檢測到硬盤剩余空間不足時,采用先入先出的原則,清理掉最早的報文,并將最新的報文寫入,如此循環(huán)。
圖3 數(shù)據(jù)索引維護示意Fig.3 Data index maintenance diagram
數(shù)據(jù)解析是按照配置的特定條件來判別報文里發(fā)生的“事件”、“狀態(tài)”和“統(tǒng)計”3 種數(shù)據(jù)項。 “事件”表示監(jiān)測的鏈路對象有錯誤,需要立即報告;“狀態(tài)”表示監(jiān)測的鏈路對象某類狀態(tài)發(fā)生改變;“統(tǒng)計”表示監(jiān)測對象在一定周期內(nèi)發(fā)生變化的次數(shù)。數(shù)據(jù)解析流程如圖4所示。
圖4 數(shù)據(jù)解析示意Fig.4 Data analysis diagram
前端采集到的數(shù)據(jù)首先判別協(xié)議類型,然后根據(jù)配置工具所配置的判別條件進行數(shù)據(jù)項的解析,最后按照數(shù)據(jù)項進行轉(zhuǎn)發(fā)。配置工具配置效果如圖5所示。
所解析的狀態(tài)類數(shù)據(jù)項包括通信狀態(tài)、時間狀態(tài)、配置狀態(tài)、連接狀態(tài)等;所解析的時間類數(shù)據(jù)項包括遙控操作、定值操作、采樣丟幀、發(fā)送超時等;所解析的統(tǒng)計類數(shù)據(jù)項包括連接中斷次數(shù)、通信響應(yīng)超時次數(shù)、報告控制塊初始化次數(shù)、報文字節(jié)數(shù)、丟幀次數(shù)等。
圖5 配置工具生成配置文件Fig.5 Configuration files generates by configuration tool
數(shù)據(jù)的采集、解析與存儲完成后,需要發(fā)送給展示模塊進行數(shù)據(jù)展示,為了保證模塊之間的相互獨立性,設(shè)計了轉(zhuǎn)發(fā)模塊,專門負責(zé)信息的轉(zhuǎn)發(fā)。解析流程如圖6所示。
圖6 解析流程示意Fig.6 Analytical process diagram
數(shù)據(jù)展示是對數(shù)據(jù)處理直觀的最終顯示。把不同格式的數(shù)據(jù)完全展示到人機界面上,需要有統(tǒng)一的規(guī)劃和特點,使界面簡潔、整齊。本文設(shè)計的人機界面如圖7所示。
展示的界面設(shè)計主要分為四部分。第一部分為全站工況光字牌,站內(nèi)每個間隔都對應(yīng)一個光字牌,該間隔有通信中斷或異常時,相應(yīng)的光字牌會變成不同的顏色進行提示;第二部分為鏈路回路展示圖,鏈路回路上能夠展示具體鏈路的通信狀態(tài)、發(fā)送或接收數(shù)據(jù)流狀態(tài);第三部分為具體鏈路的詳細信息,包括具體事件是否發(fā)生、具體狀態(tài)的狀態(tài)量以及所統(tǒng)計項的統(tǒng)計值等信息;第四部分為采集模塊的采集信息,包含每個采集口的流量、幀速等信息。該界面從整體到局部,從示意圖到具體表格,完整地展現(xiàn)了所需數(shù)據(jù)的具體信息,方便操作人員清晰地掌握當(dāng)前變電站的運行工況。
圖7 展示界面效果Fig.7 Interface display diagram
本方法從數(shù)據(jù)的流向出發(fā),介紹了對外部網(wǎng)絡(luò)數(shù)據(jù)的采集,采集后數(shù)據(jù)的存儲與解析,以及解析完成后的轉(zhuǎn)發(fā)與展示。系統(tǒng)將數(shù)據(jù)管理的各個流程詳細說明,并最終以界面的方式展現(xiàn)給用戶。本方法能夠完成站內(nèi)數(shù)百兆網(wǎng)絡(luò)數(shù)據(jù)的實時解析與離線存儲,且運行穩(wěn)定、安全可靠,能夠滿足實際變電站的需求,可以在變電站推廣應(yīng)用。
[1]王宇,張建偉,盧昱.構(gòu)建安全的分布式網(wǎng)絡(luò)存儲系統(tǒng)[J].計算機應(yīng)用與軟件,2004,21(10):109-111.
[2]王興安,竇中山,金華蓉,等.智能變電站新型網(wǎng)絡(luò)報文記錄與分析裝置的實現(xiàn)[J].電氣技術(shù),2014(2):82-85.
[3]鄔春明,程亮.變電站監(jiān)測數(shù)據(jù)采集系統(tǒng)[J].電測與儀表,2014,51(3):64-67.
[4]鄭翠芳.幾種常用無損數(shù)據(jù)壓縮算法研究[J].計算機技術(shù)與發(fā)展.2011,21(9):73-76.
[5]宋璇坤,李敬如,肖智宏,等.新一代智能變電站整體設(shè)計方案[J].電力建設(shè),2012,33(11):1-6.