摘 要:隨著路網(wǎng)規(guī)模的持續(xù)擴(kuò)大,其結(jié)構(gòu)也變得越來越復(fù)雜,機(jī)電設(shè)備呈現(xiàn)出分布較廣、類型多、不易管控等問題,單一的經(jīng)營管理模式已難以匹配機(jī)電設(shè)備的高效運轉(zhuǎn),自動化和精細(xì)化管理已成為公路設(shè)備的必然發(fā)展方向。然而,多源數(shù)據(jù)接入和處理存在效率低、時延低等問題。因此,文章基于數(shù)據(jù)接入問題,提出了一種接入模型和方法,通過數(shù)據(jù)庫構(gòu)建和實時處理,實現(xiàn)高并發(fā)的接入,為設(shè)各運維奪實信息基礎(chǔ),從而提升運行效率,從源頭上處理運維中出現(xiàn)的問題。
關(guān)鍵詞:機(jī)電設(shè)備:公路:數(shù)據(jù)接入:通信機(jī)制
中圖法分類號:TP311文獻(xiàn)標(biāo)識碼:A
1 引言
國內(nèi)公路建設(shè)縱向布局,公路施工、運營和管護(hù)的機(jī)電裝置也隨之增多,因此所需處理的信息呈上升式增長。按照有關(guān)文件要求和智慧交通的發(fā)展,設(shè)計符合新時代需求的公路機(jī)電運維管理系統(tǒng)已是必然方向,其中,實現(xiàn)實時監(jiān)測和安全預(yù)警尤為關(guān)鍵,其形成的數(shù)據(jù)將是公路運維發(fā)展的核心突破口,但因數(shù)據(jù)格式不統(tǒng)一、數(shù)據(jù)指標(biāo)不同,研究存在數(shù)據(jù)無法規(guī)?;?、價值可能丟失等問題。因此,為解決上述難點,本文對多源運維數(shù)據(jù)處理框架進(jìn)行了分析。
2 公路多源狀態(tài)設(shè)備數(shù)據(jù)處理框架及系統(tǒng)性能要求
按照公路業(yè)務(wù)需求和技術(shù)發(fā)展情況,基于全面服務(wù)以及全業(yè)務(wù)管理,面向公路機(jī)電設(shè)備,針對數(shù)據(jù)接入標(biāo)準(zhǔn)、拓展設(shè)備不統(tǒng)一,以及可能發(fā)生斷電的現(xiàn)象,提出機(jī)電運維數(shù)據(jù)處理框架。數(shù)據(jù)采集層是對設(shè)備狀態(tài)有關(guān)數(shù)據(jù)開展采集,如車速、視頻等;對于接入層,其借助接口、網(wǎng)關(guān)等方法達(dá)到數(shù)據(jù)接入;對于系統(tǒng)處理層,其通過數(shù)據(jù)處理方法達(dá)到挖掘,提高數(shù)據(jù)利用價值;對于系統(tǒng)儲存層,其以達(dá)到數(shù)據(jù)高效、低延遲保存為主;對于系統(tǒng)應(yīng)用層,將根據(jù)處理價值,對不同的機(jī)電業(yè)務(wù)進(jìn)行數(shù)據(jù)開展處理,并開發(fā)相關(guān)功能,為智慧系統(tǒng)構(gòu)建奠定數(shù)據(jù)基礎(chǔ),以提高公路監(jiān)管的自動化和精細(xì)化程度[1] 。系統(tǒng)性能需求如表1 所列。
3 公路多源設(shè)備運維數(shù)據(jù)的接入模型和方法
針對公路多源設(shè)備運維數(shù)據(jù)的接入方法,本文主要從運維數(shù)據(jù)接入、數(shù)據(jù)安全管理和傳遞方面進(jìn)行探究,其中運維數(shù)據(jù)安全管理和傳輸,又包括權(quán)限管理、公路機(jī)電設(shè)備協(xié)議轉(zhuǎn)換及安全傳輸?shù)龋云跒橄嚓P(guān)研究起到一定的借鑒作用。
3.1 公路多源設(shè)備運維數(shù)據(jù)動態(tài)接入
目前,公路機(jī)電設(shè)備不斷增長,各個路段設(shè)備也選用了不同廠家的型號,并具備特殊數(shù)據(jù)傳遞的方式,為了實現(xiàn)實時管理和運維,本文對多源數(shù)據(jù)接入方式開展探究。公路機(jī)電設(shè)備一般包括傳感器、攝像頭、條形碼等,其形成的數(shù)據(jù)可以分為多種數(shù)據(jù),如運行和公路運維數(shù)據(jù),但因為廠家、數(shù)據(jù)格式不同容易造成數(shù)據(jù)孤島、安全度不高等問題。基于此,為達(dá)到高效分析和及時響應(yīng),提供接入模型,將數(shù)據(jù)接入適配器中,并將數(shù)據(jù)接入和解析相結(jié)合。為提高處理能力并實現(xiàn)統(tǒng)一處理,針對非結(jié)構(gòu)化數(shù)據(jù),將其轉(zhuǎn)變?yōu)榻Y(jié)構(gòu)化數(shù)據(jù),并根據(jù)知識圖譜和引擎等開展搜索,然后在服務(wù)器上開展部署,將各種來源數(shù)據(jù)注冊,給予其注銷、查詢等能力,從而滿足業(yè)務(wù)和功能需求。
3.2 采取智能網(wǎng)關(guān)方法達(dá)到遠(yuǎn)程控制
數(shù)據(jù)安全是聯(lián)網(wǎng)運營的關(guān)鍵,達(dá)到加密保存與分級管理是研究的重點。因此,基于各種設(shè)備數(shù)據(jù),通過智能網(wǎng)關(guān)的方法達(dá)到數(shù)據(jù)遠(yuǎn)程控制,以及設(shè)置權(quán)限對數(shù)據(jù)開展訪問和操作。(1)訪問模式。基于以下訪問模式達(dá)到數(shù)據(jù)安全,首先最高權(quán)限的管理者層次,這一類人員一般是部門領(lǐng)導(dǎo),能根據(jù)需求開展數(shù)據(jù)訪問;其次,運維工作者,可以訪問設(shè)備狀態(tài)數(shù)據(jù),進(jìn)而判定設(shè)備工作狀況;最后,外部人員,僅能對數(shù)據(jù)開展讀取,基于權(quán)限管理,給予相應(yīng)的權(quán)限,在滿足用戶需求的基礎(chǔ)上,確保數(shù)據(jù)安全。(2)公路機(jī)電設(shè)備協(xié)議轉(zhuǎn)換。為了打通信息壁壘,借助協(xié)議轉(zhuǎn)換確定標(biāo)準(zhǔn)協(xié)議,對機(jī)電協(xié)議根據(jù)標(biāo)準(zhǔn)協(xié)議開展轉(zhuǎn)換,以實現(xiàn)各機(jī)電協(xié)議間的彼此操作,從而轉(zhuǎn)變?yōu)闃?biāo)準(zhǔn)化數(shù)據(jù)。(3)數(shù)據(jù)加密傳輸。為了避免數(shù)據(jù)出現(xiàn)丟失、被篡改等問題,網(wǎng)關(guān)使用通信技術(shù),以及融合加密技術(shù),達(dá)到加密傳輸,采取多種方式避免數(shù)據(jù)泄密,如數(shù)字簽名、身份認(rèn)定,從而確保傳輸?shù)陌踩c全面。
4 公路多源機(jī)電設(shè)備運維數(shù)據(jù)動態(tài)適配
在數(shù)據(jù)接入中,數(shù)據(jù)適配是核心,能夠提供檢索功能,達(dá)到系統(tǒng)的后續(xù)適配。
基于此,提出一種Spring Batch 的批處理框架以達(dá)到數(shù)據(jù)適配,并實現(xiàn)復(fù)雜數(shù)據(jù)處理,定期應(yīng)用,框架給予了可重用功能,對處理數(shù)據(jù)尤為關(guān)鍵。框架包含應(yīng)用層、處理層與設(shè)施層。對于應(yīng)用層,是程序員開展底層的開發(fā),如開發(fā)庫;對于框架的核心處理層,包括功能實現(xiàn)所需的類;對于框架設(shè)施層,是外界用戶,給予數(shù)據(jù)端口和控制端口?;跀?shù)據(jù)庫構(gòu)建、數(shù)據(jù)解析和持久化達(dá)到動態(tài)適配。
4.1 公路機(jī)電運維數(shù)據(jù)預(yù)處理及數(shù)據(jù)庫建設(shè)
4.1.1 保證數(shù)據(jù)引用的有效與精準(zhǔn)
在接入后,預(yù)處理屬于提升數(shù)據(jù)質(zhì)量的首步,基于數(shù)據(jù)清洗、聚類等消除數(shù)據(jù)處理重復(fù)值、異常值造成的影響,確保引用的精準(zhǔn)性及有效性。
(1)公路多源設(shè)備運維數(shù)據(jù)清洗步驟。
在數(shù)據(jù)接入中,伴隨時間改變呈現(xiàn)出數(shù)據(jù)增長的形式,為了挖掘有用的知識,清洗屬于提升數(shù)據(jù)質(zhì)量的首步。所以,對于公路狀態(tài)數(shù)據(jù)出現(xiàn)的問題,如重復(fù)錄入、不集中、分析程度不高等,提供分布式并行框架的方法,并結(jié)合Hadoop 平臺的優(yōu)勢,使用聚類算法特征,根據(jù)期望值對數(shù)據(jù)開展清洗。以下是詳細(xì)步驟:以Hive 保存多源設(shè)備運維數(shù)據(jù),且導(dǎo)入知識庫;開展模型訓(xùn)練,針對數(shù)據(jù)源提供屬性權(quán)重;利用SNM算法開展聚類分區(qū);針對權(quán)重系數(shù)及相似度,把二者進(jìn)行相乘,獲取數(shù)據(jù)間的相似度,且記載;整合相識度大的記錄;衡量數(shù)據(jù)能否達(dá)到質(zhì)量監(jiān)測;符合則寫回庫中,不符合則進(jìn)行清洗[2] 。
(2)公路多源設(shè)備運維數(shù)據(jù)標(biāo)準(zhǔn)化處理。
為了達(dá)到運維數(shù)據(jù)標(biāo)準(zhǔn)化,采取數(shù)據(jù)編碼的方法,對數(shù)據(jù)開展壓縮,在確保精度的基礎(chǔ)上,處理零散、稀疏等問題。之后,根據(jù)式子(1)達(dá)到轉(zhuǎn)換,確保數(shù)據(jù)處于映射區(qū)域,其中xi 表示變量,xmin 表示最小值,xmax表示最大值,Mr 是映射最左端,Mi 是最右端,根據(jù)式子(2)開展歸一化為x′。
x′ =xi -xmin / xmax-xmin?(Mr -Mi )+Mi (1)
x′ =xi -xmin / xmax-xmin (2)
(3)公路設(shè)備運維數(shù)據(jù)聚類。
為了讓數(shù)據(jù)聚類精度高,以及有較強(qiáng)的抗噪聲能力,使用數(shù)據(jù)聚類算法,維持?jǐn)?shù)據(jù)保存長度與方式,便于2 次處理和應(yīng)用,以下是詳細(xì)的步驟:明確類別數(shù)目(用k 來表示),且定位k 個中心點;基于所有樣點,確定間距最短的中心點,與其間距最小的點是一個類,如此一來,實現(xiàn)了1 次聚類;衡量類別狀況是否一樣,若一樣,那么算法結(jié)束;若不一樣,則對不同類別的樣本點,計量它們的中心點,當(dāng)作新中心點,返至第二步?;谝陨蠋撞剑_(dá)到數(shù)據(jù)聚類。
4.1.2 空間及屬性數(shù)據(jù)庫建設(shè)
在接入很多數(shù)據(jù)時,短期內(nèi)會導(dǎo)致系統(tǒng)壓力過高從而造成丟失,有時還會造成系統(tǒng)崩潰,因此接入時以空間、屬性數(shù)據(jù)庫建立為主。對于空間數(shù)據(jù)庫,其包括道路信息、高程模型;對于屬性數(shù)據(jù)庫,其包括橋梁、機(jī)電對象類,一般用于描述位置信息。采取這一方法達(dá)到對設(shè)備狀態(tài)的數(shù)據(jù)開展壓縮與保存。面向?qū)ο蠼ㄔO(shè)數(shù)據(jù)庫的方法,確保模塊低耦合特點。針對設(shè)備狀態(tài)數(shù)據(jù)的保存,因為規(guī)模擴(kuò)大,單機(jī)難以保存,所以選擇分布式方法擴(kuò)大保存規(guī)模。
4.2 公路機(jī)電運維數(shù)據(jù)解析、轉(zhuǎn)換及持久化保存
(1)公路機(jī)電運維數(shù)據(jù)解析和轉(zhuǎn)換。
在實現(xiàn)接入和數(shù)據(jù)庫建設(shè)后,使用給予的數(shù)據(jù)讀取、處理等達(dá)到解析,基于讀取數(shù)據(jù),對其開展處理,轉(zhuǎn)變?yōu)榻y(tǒng)一格式之后開展并發(fā)。針對源數(shù)據(jù)庫,將其轉(zhuǎn)換至中間數(shù)據(jù)庫,然后基于關(guān)聯(lián)關(guān)系,把數(shù)據(jù)轉(zhuǎn)換至目標(biāo)數(shù)據(jù)庫,再在其中達(dá)到轉(zhuǎn)換和集成的目的,此方式有效防止轉(zhuǎn)換期間因為意外造成數(shù)據(jù)質(zhì)量降低的問題。
(2)公路機(jī)電設(shè)備運維數(shù)據(jù)持久化。
在公路機(jī)電設(shè)備發(fā)生故障、斷電等現(xiàn)象時,容易出現(xiàn)數(shù)據(jù)丟失,為了防止這類情況的發(fā)生,需借助設(shè)備運維數(shù)據(jù)特性,把數(shù)據(jù)儲存到服務(wù)器中,盡可能使用數(shù)據(jù)庫特性,以實現(xiàn)對數(shù)據(jù)的讀取和查詢等,從而確保數(shù)據(jù)的全面性和持久性。根據(jù)Spring Batch 技術(shù),以下是詳細(xì)過程:在其中設(shè)置功能接口,一般情況下,會涉及多類接口,如事件類接口,之后開展邏輯關(guān)系處理,在庫中達(dá)到端到端的保存,數(shù)據(jù)有著保存和讀寫能力,方便開展篩選、提取。
5 公路多源機(jī)電設(shè)備運維數(shù)據(jù)通信機(jī)制
隨著公路設(shè)備運維數(shù)據(jù)交互越來越多,傳統(tǒng)單一的數(shù)據(jù)傳輸手段已難以符合數(shù)據(jù)的指數(shù)級增長。因此,基于發(fā)布機(jī)制和訂閱機(jī)制,結(jié)合面向業(yè)務(wù),以及根據(jù)需求分發(fā)的設(shè)計思想,基于研究業(yè)務(wù)流程,明確數(shù)據(jù)通信機(jī)制。主要從以下方面進(jìn)行了探討。
(1)數(shù)據(jù)提供方。在公路設(shè)備運維信息傳遞模型中,發(fā)布方也就是信息提供方,管理發(fā)布信息,且基于詳細(xì)的主題信息和接收方構(gòu)建關(guān)聯(lián),在域內(nèi)發(fā)布主題。所有發(fā)布者發(fā)布的信息并非一個,主題便是構(gòu)建一個數(shù)據(jù)寫入人員,對機(jī)電運維數(shù)據(jù)進(jìn)行管理。
(2)消息。對于話題信息通信而言,主要指發(fā)布者與訂閱者采取話題信息的方式接發(fā)信息,使用者能夠設(shè)計消息數(shù)據(jù)種類、主題信息等,相同話題可存在數(shù)個話題的訂閱者,因此消息能夠達(dá)到一對一或一對多的通信[3] 。
(3)數(shù)據(jù)接收者。在設(shè)備運維信息傳遞模型中,訂閱方也就是信息接收方,對主題訂閱進(jìn)行負(fù)責(zé),使用者能夠結(jié)合具體應(yīng)用和個人需要訂閱相應(yīng)的信息,同時在域中能夠找到信息提供方,從而構(gòu)建二者的基本通信狀況,接收者訂閱的主題也并非僅有一個,如在車輛管理控制系統(tǒng)中,除了需接收路段線圈信息,也能夠訂閱交叉路口信息。
6 結(jié)束語
本文針對數(shù)據(jù)接入方式的不足,提供一種接入模型和實現(xiàn)方式,切實使用設(shè)備形成的數(shù)據(jù),通過數(shù)據(jù)庫構(gòu)建、數(shù)據(jù)解析和持久化,以達(dá)到高時效的接入,保證數(shù)據(jù)的精準(zhǔn)性和全面性,為公路防汛、數(shù)據(jù)統(tǒng)計提供有力的保障。
參考文獻(xiàn):
[1] 孫文俠,何濤.高速公路機(jī)電運維管理智慧化發(fā)展淺析[J].公路,2022,67(2):386?391.
[2] 范敬光.高速公路機(jī)電設(shè)備智慧運維實踐[J].交通世界,2022(Z1):219?220.
[3] 趙琪,郭森科,潘成瑤.智慧運維管控平臺系統(tǒng)[J].中國交通信息化,2021(10):130?131+134.
作者簡介:
羅劍(1977—),本科,工程師,研究方向:設(shè)備維護(hù)與系統(tǒng)集成。