黃愛玉 倪青漢 彭發(fā)強
(福建省龍巖市氣象局,福建 龍巖 364000)
天氣預報離不開氣象觀測數(shù)據(jù),要獲取準確的觀測數(shù)據(jù),必須保證氣象裝備與信息網絡高質量運行。隨著氣象預報精準度的提高,基層氣象觀測數(shù)據(jù)采集裝備的安裝密度越來越大,信息化設備越來越多,因此基層氣象裝備與信息網絡的運行維護必須提高自動化程度,而自動化的運行維護目標是可視化運行維護。
目前,市縣級氣象部門一般布設了多普勒天氣雷達、國家級自動站、自動土壤水分站、探空雷達、風廓線雷達、GPSMET水汽站、雷電檢測站、區(qū)域自動站、微波輻射計等監(jiān)測設備,以及通信網絡與安全設備等,這些設備的運行維護是一項龐大的任務。設備隔數(shù)分鐘采集一系列氣象數(shù)據(jù),同時也生成各類設備的狀態(tài)數(shù)據(jù)。在大數(shù)據(jù)背景下,對這些設備的狀態(tài)數(shù)據(jù)進行分析,從而促進設備的精準保障。UC Berkeley 大學Hal Varian 教授指出:“數(shù)據(jù)正在變得無處不在、觸手可及;而數(shù)據(jù)創(chuàng)造的真正價值,在于我們能否提供進一步的稀缺的附加服務,這種增值服務就是數(shù)據(jù)分析?!盵1]對于運行維護,工作經驗豐富的工程師往往能夠做出更準確的判斷,而新人判斷則不會那么準確。然而經驗是需要積累的,基層氣象部門的設備運行維護人員崗位調整較頻繁,專業(yè)性較弱,特別是運行維護知識比較抽象,難以掌握,因此必須利用大量狀態(tài)監(jiān)測數(shù)據(jù)進行分析判斷。
可視分析(visual analytics)是科學信息可視化、人機交互、認知科學、數(shù)據(jù)挖掘、信息論、決策理論等研究領域的交叉融合所產生的新的研究方向[1]。Thomas 和Cook認為,可視分析是一種通過交互式可視化界面來輔助用戶對大規(guī)模復雜數(shù)據(jù)集進行分析推理的科學與技術[2]??梢暦治龅倪\行過程可看作數(shù)據(jù)—知識—數(shù)據(jù)的循環(huán)過程,中間經過兩條主線:可視化技術和自動化分析模型,從數(shù)據(jù)中洞悉知識的過程,主要依賴兩條主線的互動與協(xié)作[1]??梢暦治霾辉偈且粋€交叉研究的新術語,而是一個獨立的研究分支[1],近年來已經應用在氣象領域。
將氣象設備、網絡資源、應用服務器等的狀態(tài)和實時信息通過可視化方法直接展示,其根本目標是為了保障信息網絡與裝備運行維護工作,指導保障人員或者研發(fā)團隊做出正確的判斷和處理。一幅圖勝過千言萬語,人類從外界獲得的信息約有80%以上來自于視覺系統(tǒng)[1]。當運行維護數(shù)據(jù)通過可視化的方式呈現(xiàn),更能直觀分析故障背后的信息并得以判斷分析。某種程度上,運行維護與可視化相輔相成,可視化程度越高,運行維護就越簡單,運行維護效率也就越高。
立足于基層信息網絡與裝備保障實際業(yè)務,解決實際問題。應用可視化技術及人工智能技術實現(xiàn)可視化的運行維護。
圖1 需求分析流程圖
采用王松等人提出的以網絡數(shù)據(jù)為中心的分析流程VPI 模型(圖2)制定網絡拓撲的可視化[3],以點和線等構成的圖形或圖像來呈現(xiàn)網絡上節(jié)點的關聯(lián),從而直觀并清晰地反映網絡的運行狀態(tài),幫助信息保障人員對網絡的節(jié)點設備(安全設備、網絡設備、服務器、應用系統(tǒng)等)、鏈路進行各方面的評估、檢測和分析,發(fā)現(xiàn)網絡信息的規(guī)律以及變化。通過網絡拓撲圖分析網絡的運行情況、判斷信息網絡的各種狀況,例如網絡擁堵、鏈路瓶頸、設備故障等,實現(xiàn)對整體的網絡狀態(tài)進行監(jiān)測和監(jiān)控,對狀態(tài)進一步控制。
圖2 基于VPI 模型的網絡拓撲可視化分類策略
在網閘、準入系統(tǒng)、360天擎系統(tǒng)等已有安全產品基礎上,規(guī)范內外網網絡行為,建立內外網攻擊行為的主被動防御體系,使各軟硬件系統(tǒng)有效配合,達到“1+1>2”的效果。通過可視化技術實時監(jiān)控上網行為管理、入侵防御、存在漏洞威脅自動修復、準入系統(tǒng)、全網安全狀態(tài)評估等信息安全狀態(tài),通過攻擊情況,溯源攻擊行為,分析解決方法。
將氣象裝備空間布局、實際狀態(tài)、實時采集數(shù)據(jù)結合二維地圖及三維地圖進行直觀展現(xiàn)。通過可視化技術,在地圖上直觀呈現(xiàn)多普勒天氣雷達、探空雷達、GPSMET水汽站、雷電檢測站、風廓線雷達、自動土壤水分站、國家級自動站、區(qū)域自動站等氣象設備的運行狀態(tài)、鏈路情況,實時數(shù)據(jù)采集情況,同時采集狀態(tài)運行情況,顯示數(shù)據(jù)疑誤信息。
采用數(shù)據(jù)可視化分析方法,對設備生命周期內的運行狀態(tài)進行數(shù)據(jù)分析,判斷設備的運行情況,得出設備運行狀態(tài)評價,進一步評估設備的維護周期;結合地理位置,站點周邊數(shù)據(jù)以及雷達數(shù)據(jù),利用溫度分布圖、雨量分布圖、雷達圖等的直觀對比,進行時間—空間上的站點氣象數(shù)據(jù)對比分析,判斷站點數(shù)據(jù)的疑誤信息情況。數(shù)據(jù)可視化在數(shù)據(jù)分析、關聯(lián)分析、趨勢分析中起到了至關重要的作用。應用數(shù)據(jù)可視化技術,可以在已有的數(shù)據(jù)中分析出數(shù)據(jù)隱含的趨勢[4],從而在數(shù)據(jù)中分析出天氣的變化趨勢、規(guī)律,進行疑誤數(shù)據(jù)的分析處理。
接入數(shù)據(jù)監(jiān)控模塊,從數(shù)據(jù)檢測模塊獲取數(shù)據(jù),流程如圖3所示,從數(shù)據(jù)監(jiān)控模塊中實時讀取數(shù)據(jù),對實時數(shù)據(jù)進行分析處理,再從分析結果中判斷是否為疑誤數(shù)據(jù),若不是疑誤數(shù)據(jù)則返回上一個步驟,否則利用智能計算技術判定疑誤數(shù)據(jù)產生原因是否為設備故障,如果是,則向設備監(jiān)控模塊發(fā)送故障信號并調用故障處理程序,然后給出數(shù)據(jù)修正建議提交值班員參考,最后讀入下一個時次數(shù)據(jù),重復上述步驟。
圖3 疑誤數(shù)據(jù)分析處理流程
3.3.1 疑誤數(shù)據(jù)的分析方案
所有測量數(shù)據(jù)均是按時間先后順序測量的,溫度、濕度、風速等要素可以認為是按時間先后順序組成的序列(以下簡稱時間序列)。在時間序列中,前后數(shù)據(jù)之間存在某種傳遞聯(lián)系,本研究基于自回歸模型、循環(huán)神經網絡算法提出一個適合氣象數(shù)據(jù)的遞歸算法。
3.3.2 遞歸關系算法
3.3.2.1 自回歸模型
自回歸模型是統(tǒng)計上一種處理時間序列的方法,用同一變數(shù)例如x的之前各期,亦即x1至xt-1來預測本期xt的表現(xiàn),并假設它們?yōu)橐痪€性關系。因為這是從回歸分析中的線性回歸發(fā)展而來,只是不用x預測y,而是用x預測x(自己)。模型公式如下[5]:
其中,c是常數(shù)項;εt被假設為平均數(shù)等于0、標準差等于δ的隨機誤差值;δ被假設為對于任何的t都不變[5]。
3.3.2.2 循環(huán)神經網絡
長短期記憶網絡(Long Short-Term Memory,LSTM)是一種時間循環(huán)神經網絡,是為了解決一般的RNN(循環(huán)神經網絡)存在的長期依賴問題而專門設計出來的。由于獨特的設計結構,LSTM適合于處理和預測時間序列中間隔和延遲非常長的重要事件[6]。
3.3.3 基于場論算法
用統(tǒng)計分析方法研究一個多變量的算法,如果變量太多,會增加研究的復雜程度。我們希望在少量變量的前提下可以得到較多的信息量。往往變量與變量之間存在一定的關聯(lián),當多個變量之間有一定關聯(lián)時,可以認為這些變量體現(xiàn)的信息是有重復的。在一定范圍內的所有自動站所測量的同一要素所反映的信息也可能存在重復關系,也就是說可以通過正交變換將這個范圍內自動站統(tǒng)一要素的數(shù)據(jù)轉換為一組線性不相關的變量,則在這個范圍內的任何一個自動的該要素都是線性不相關變量的線性組合。如果檢測其中一個自動站的數(shù)據(jù),只需用其他自動站的數(shù)據(jù)線性迭加就可以校驗這個數(shù)據(jù)是否疑誤。
目前測量各氣象要素的方法都是基于場論,場論精確描述了場強線與等勢線之間的關系,結合實際測量站點的空間關系,各測量點之間存在空間分布關系,基于這種關系也能研究數(shù)據(jù)疑誤判定方法。
各要素所表示的場是不同的物理場,說明實際的測量環(huán)境是各種場之間迭加的環(huán)境,各場之間也存在這相互聯(lián)系。同時,對個別場也有采用不同的測量手段,如對于降雨采用了翻斗式雨量桶、稱重式雨量桶、雷達等手段,其中也存在某種聯(lián)系?;谶@些也能對數(shù)據(jù)展開相關算法設計。
根據(jù)可視化情況,通過場論迭加現(xiàn)象,可以得出各要素空間分布之間可能存在某種關聯(lián),可以將各要素根據(jù)地理位置繪制出空間分布圖像,如溫度分布圖、雨量分布圖、雷達圖等等,借助深度學習領域中神經網絡算法對圖像分析處理的優(yōu)異性能計算不同要素空間分布圖之間的關系,利用這個相關關系校驗任意時刻自動站數(shù)據(jù)是否疑誤。
通過網絡拓撲、數(shù)據(jù)分析、基于GIS的裝備等現(xiàn)有可視化技術對基層(市縣級)氣象裝備以及信息網絡相關設備,實現(xiàn)多源異構數(shù)據(jù)整合和實時數(shù)據(jù)運行維護,提高基礎資源利用率,基礎數(shù)據(jù)可用性,為基層保障工作提供不同維度的運行維護數(shù)據(jù)關系。依托數(shù)字化大屏硬件平臺,融合大數(shù)據(jù)及人工智能技術,將研究數(shù)據(jù)采用文字、圖表、數(shù)據(jù)駕駛艙、狀態(tài)進度圖、視頻等形式展示在大屏上。
為解決基層氣象裝備保障與信息網絡運行維護存在的人手不夠、專業(yè)性較弱、人員崗位調整頻繁等問題,以數(shù)字化大屏的硬件平臺建設為抓手,采用網絡拓撲、數(shù)據(jù)分析、GIS裝備等現(xiàn)有可視化技術,融合大數(shù)據(jù)及人工智能技術,以直觀、簡明的界面實時展示基層(市縣級)氣象裝備、信息網絡相關設備的運行維護及氣象數(shù)據(jù)的疑誤分析信息。可視化運行維護系統(tǒng)是基層氣象部門的發(fā)展趨勢,能夠提供不同維度的運行維護數(shù)據(jù)關系,有助于提高基礎資源的利用率和基礎數(shù)據(jù)的可用性,提高信息保障業(yè)務的服務質量。對提高基層氣象裝備保障和信息網絡運行維護成效極具現(xiàn)實意義,同時基層氣象部門業(yè)務結構相同,可視化運行維護系統(tǒng)又具有可推廣性。