程建云,魏文軍

(蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室,甘肅 蘭州 730070)

軌道電路故障診斷大數(shù)據(jù)處理技術(shù)綜述

程建云,魏文軍

(蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室,甘肅 蘭州 730070)

在軌道電路維護(hù)和管理過程中會產(chǎn)生大量的異構(gòu),多態(tài)數(shù)據(jù),即大數(shù)據(jù)。如何高效存儲和快速訪問,是目前一個重要的研究課題。文中分析了軌道電路故障檢測產(chǎn)生大數(shù)據(jù)的特點(diǎn)?；仡櫫水?dāng)前在互聯(lián)網(wǎng)和工業(yè)監(jiān)測中大數(shù)據(jù)的處理技術(shù),以及這些技術(shù)在軌道電路故障排除中大數(shù)據(jù)處理的優(yōu)勢和弱點(diǎn)。最終,從一個大的數(shù)據(jù)存儲,實(shí)時數(shù)據(jù)處理,多數(shù)據(jù)源的異構(gòu)集成和大數(shù)據(jù)可視化4個方面論述了大數(shù)據(jù)在軌道電路應(yīng)用中的機(jī)遇和挑戰(zhàn)。

軌道電路;大數(shù)據(jù);云計算;并行數(shù)據(jù)庫

近年來軌道電路安全成為制約高鐵快速發(fā)展的重要因素。傳統(tǒng)的軌道電路故障診斷方法已無法適應(yīng)高效率、智能化的需求。因此,采用新的故障診斷技術(shù)構(gòu)建一個發(fā)現(xiàn)設(shè)備故障、分析原因、提高維修效率的智能軌道電路故障診斷系統(tǒng)是必要的。軌道電路故障智能診斷的目標(biāo)是建成覆蓋軌道電路監(jiān)測、數(shù)據(jù)通信、數(shù)據(jù)傳輸、數(shù)據(jù)存儲和數(shù)據(jù)分析的整個生產(chǎn)過程,成為覆蓋全國軌道電路的實(shí)時全景系統(tǒng)[1]。而用于支持軌道電路安全操作、快速維修、綠色保養(yǎng)的基礎(chǔ)是軌道電路全景實(shí)時數(shù)據(jù)采集,傳輸和存儲的強(qiáng)大系統(tǒng),以及所產(chǎn)生的大量多源異構(gòu)的數(shù)據(jù)分析能力。隨著軌道電路的操作和設(shè)備檢查/監(jiān)控產(chǎn)生的大數(shù)據(jù)成指數(shù)級增長,需要相應(yīng)的存儲和快速處理技術(shù)作為支撐。而云計算平臺的廣泛應(yīng)用,大數(shù)據(jù)已經(jīng)成為業(yè)界關(guān)注的研究課題[2]。僅2009年,美國谷歌公司的大數(shù)據(jù)服務(wù)對美國的國內(nèi)生產(chǎn)總值就做出540億美元的貢獻(xiàn),這就是大數(shù)據(jù)帶來的經(jīng)濟(jì)效益[3]。中國阿里巴巴旗下的淘寶公司所產(chǎn)生的交易數(shù)據(jù),經(jīng)過大數(shù)據(jù)的分析,提前半年就可預(yù)測全球經(jīng)濟(jì)走勢。IBM使用多達(dá)4 PB氣候和環(huán)境的歷史數(shù)據(jù),設(shè)計風(fēng)扇現(xiàn)場模型,以確定風(fēng)扇的最佳安裝位置[4]。2011年5月,麥肯錫公司發(fā)布了大數(shù)據(jù)的研究報告《大數(shù)據(jù):下一個前沿領(lǐng)域,競爭力,創(chuàng)新和生產(chǎn)力》[5],大數(shù)據(jù)的價值已顯而易見。在軌道電路故障監(jiān)控系統(tǒng)中會產(chǎn)生大數(shù)據(jù)。例如,在軌道電路的信號設(shè)備,以及安裝部署大量的傳感器和數(shù)據(jù)總線等。電氣服務(wù)部門可有規(guī)律地采集日常設(shè)備的相關(guān)運(yùn)行信息,以收集到粒度更細(xì)的信息,構(gòu)成了軌道電路微機(jī)監(jiān)測中的大數(shù)據(jù)[6]。通過數(shù)據(jù)分析可以更好地了解設(shè)備的運(yùn)行[7],合理地對軌道電路相關(guān)設(shè)備進(jìn)行維護(hù)和修理,以保證對軌道電路的順暢運(yùn)行。

1 大數(shù)據(jù)及其特點(diǎn)

1.1 軌道電路中的大數(shù)據(jù)

軌道電路的數(shù)據(jù)可分為3類:(1)軌道電路信號設(shè)備的檢測或監(jiān)測數(shù)據(jù)。(2)各種類型傳感器產(chǎn)生的各種數(shù)據(jù),諸如雨量大小,侵蝕強(qiáng)度,以及其他方面所產(chǎn)生的數(shù)據(jù)。(3)鐵路電務(wù)部門對軌道電路的管理數(shù)據(jù)。根據(jù)該數(shù)據(jù)的內(nèi)部結(jié)構(gòu),可以進(jìn)一步細(xì)分成結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)包括存儲在一個關(guān)系數(shù)據(jù)庫中的數(shù)據(jù),當(dāng)前軌道電路故障監(jiān)測系統(tǒng)的數(shù)據(jù),多為這種形式的數(shù)據(jù),隨著信息技術(shù)的發(fā)展,這一部分?jǐn)?shù)據(jù)正在迅速增長。相對于結(jié)構(gòu)化數(shù)據(jù),不便于使用邏輯數(shù)據(jù)表的二維表示被稱為非結(jié)構(gòu)化數(shù)據(jù),包括由視頻監(jiān)控,圖形和視頻處理產(chǎn)生的數(shù)據(jù)。這部分?jǐn)?shù)據(jù)的增長迅速,互聯(lián)網(wǎng)數(shù)據(jù)中心的調(diào)查(IDC)指出:80%企業(yè)的數(shù)據(jù)是非結(jié)構(gòu)化的數(shù)據(jù),每年都按指數(shù)級增長60%[8]。在軌道電路系統(tǒng)中,非結(jié)構(gòu)化數(shù)據(jù)占了軌道電路數(shù)據(jù)相當(dāng)大的比重。根據(jù)處理時間要求,結(jié)構(gòu)化數(shù)據(jù)可以分為實(shí)時數(shù)據(jù)和準(zhǔn)實(shí)時數(shù)據(jù)。智能化的前提是獲取大量的實(shí)時狀態(tài)數(shù)據(jù),目前軌道電路故障監(jiān)測大數(shù)據(jù)主要是以下幾個方面:

(1)為獲得準(zhǔn)確實(shí)時的設(shè)備運(yùn)行狀態(tài)信息,越來越多的傳統(tǒng)軌道電路監(jiān)測系統(tǒng)數(shù)十萬計的收集點(diǎn)產(chǎn)生大數(shù)據(jù),數(shù)據(jù)中心將達(dá)到數(shù)百萬甚至千萬級別[9]。監(jiān)視一個龐大數(shù)量的設(shè)備,每個設(shè)備配備有多個傳感器,通過適當(dāng)?shù)耐ㄐ判诺澜o這些傳感器監(jiān)測裝置連接上傳到數(shù)據(jù)中心,地面數(shù)據(jù)收集服務(wù)器采用標(biāo)準(zhǔn)協(xié)議進(jìn)行數(shù)據(jù)傳輸,構(gòu)成一個物聯(lián)網(wǎng)絡(luò)。

(2)為了捕獲各種狀態(tài)信息,以滿足上層應(yīng)用系統(tǒng)設(shè)備的需求,從而增加采樣頻率。例如,在站內(nèi)的信號設(shè)備狀態(tài)監(jiān)測系統(tǒng)中,為了能夠診斷絕緣放電的狀態(tài),信號的采樣頻率必須高于200 kHz。因此,對于一個軌道線路設(shè)備監(jiān)控平臺,需要監(jiān)測或檢測存儲的數(shù)據(jù)量非常大。

(3)用于記錄生產(chǎn)運(yùn)行每個細(xì)節(jié)的真實(shí)性和記錄完整性,反映了滿負(fù)荷生產(chǎn)運(yùn)行,實(shí)現(xiàn)“采樣實(shí)時變化”要求[10]。在軌道電路微機(jī)監(jiān)控系統(tǒng)的各個方面產(chǎn)生大數(shù)據(jù)。

1.2 軌道電路中的大數(shù)據(jù)

軌道電路的大數(shù)據(jù)具有“4V”特性,即大規(guī)模、多類型、低密度值、改變快。

(1)數(shù)據(jù)量巨大。從TB級躍升到PB級,常規(guī)的SCADA遙測系統(tǒng)有10 000個遙測點(diǎn),根據(jù)該采樣間隔34 s來計算,數(shù)據(jù)的年產(chǎn)量為1.03 TB(1.03TB=12字節(jié)/0.3幀/s 10 000遙測點(diǎn)86 400 s/天365天);廣域相量測量系統(tǒng)10 000個遙測點(diǎn),采樣頻率可高達(dá)100次/s,數(shù)據(jù)年產(chǎn)量為495 TB。

(2)數(shù)據(jù)類型多。計算機(jī)監(jiān)測的軌道線路分布廣、種類多,其中實(shí)時數(shù)據(jù)、歷史數(shù)據(jù)、文本數(shù)據(jù)、多媒體數(shù)據(jù)、時間序列數(shù)據(jù)和其他類型的結(jié)構(gòu)化,半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的各種數(shù)據(jù)的查詢,處理頻率和性能要求均不一致。

(3)低價值密度。列如在視頻不間斷的監(jiān)測過程中,數(shù)據(jù)可能只有12 s有使用價值。在信號設(shè)備狀態(tài)監(jiān)測中存在同樣的問題,收集的大部分?jǐn)?shù)據(jù)是正常數(shù)據(jù),只有極少量的異常數(shù)據(jù),而這些異常數(shù)據(jù)正是用于維護(hù)和檢修的重要數(shù)據(jù)。

(4)處理速度快。在短時間內(nèi)對相關(guān)數(shù)據(jù)進(jìn)行分析來支持正確決策的制定。用于數(shù)據(jù)在線處理性能的要求比離線數(shù)據(jù)高。這條在線流數(shù)據(jù)分析和挖掘與傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同[11]。此外,軌道電路故障監(jiān)測系統(tǒng)數(shù)據(jù)處理,對數(shù)據(jù)質(zhì)量有一定的要求,所以要對所有類型的計算機(jī)監(jiān)測數(shù)據(jù)給一個新的屬性:數(shù)據(jù)的真實(shí)性。然而,即使是最好的數(shù)據(jù)清洗方法也無法刪除某些數(shù)據(jù)固有的不可預(yù)測性。軌道電路故障監(jiān)測系統(tǒng)中產(chǎn)生的大數(shù)據(jù),為智能軌道電路故障診斷系統(tǒng)建設(shè)帶來了新的挑戰(zhàn)和機(jī)遇。

2 大數(shù)據(jù)處理技術(shù)

2.1 大數(shù)據(jù)處理的復(fù)雜性和價值

近年來,大數(shù)據(jù)已被科學(xué)界和產(chǎn)業(yè)界所關(guān)注。2012年3月,美國政府宣布,計劃投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃?！泵绹殉姓J(rèn),大數(shù)據(jù)是“未來的新石油”,并將“大數(shù)據(jù)研究”上升為國家意志,為科學(xué)技術(shù)和經(jīng)濟(jì)發(fā)展的未來帶來深遠(yuǎn)的影響。一個國家所擁有的大數(shù)據(jù)規(guī)模和使用大數(shù)據(jù)的能力,將是衡量一個國家綜合國力的新因素,擁有和控制大數(shù)據(jù)也將是國家間和企業(yè)間競爭的新焦點(diǎn)。目前,全球數(shù)據(jù)存儲和處理能力已經(jīng)遠(yuǎn)落后于數(shù)據(jù)的增長速度。例如,淘寶網(wǎng)每天新產(chǎn)生的交易數(shù)據(jù)高達(dá)10 TB;eBay的數(shù)據(jù)分析和處理量高達(dá)100 PB,比納斯達(dá)克證券交易所一天的數(shù)據(jù)處理量還要多;沃爾瑪是第一個將大數(shù)據(jù)分析變成自己優(yōu)勢的公司,它也創(chuàng)造了一個“啤酒和尿布”的經(jīng)典商業(yè)案例。目前沃爾瑪每小時處理百萬的交易量,將有約2.5 PB存儲在數(shù)據(jù)庫中,這是美國國家圖書館的167倍的數(shù)據(jù)量;微軟用20個月,耗費(fèi)數(shù)百萬美元完成的Office檢查拼寫功能,然而谷歌公司利用大數(shù)據(jù)統(tǒng)計與分析從而直接實(shí)現(xiàn)了此功能。與商業(yè)和互聯(lián)網(wǎng)領(lǐng)域的大數(shù)據(jù)應(yīng)用相比,在軌道電路智能故障診斷中大數(shù)據(jù)的研究需要進(jìn)一步加強(qiáng)。云計算平臺具有存儲容量大、成本低、可靠性高、可擴(kuò)展性強(qiáng)等優(yōu)點(diǎn),但在實(shí)際實(shí)時性上卻難以保證,數(shù)據(jù)挖掘通常與一個特定的應(yīng)用程序?qū)ο笙嚓P(guān)聯(lián),大數(shù)據(jù)挖掘未來將是一個大的挑戰(zhàn)。如故障數(shù)據(jù)初篩[12]和一些其他應(yīng)用為基礎(chǔ)的聚類方法,對于海量的大數(shù)據(jù),傳統(tǒng)聚類算法不能在通用計算系統(tǒng)完成。另外,大規(guī)模的數(shù)據(jù)處理面臨較大挑戰(zhàn)的同時,不同的數(shù)據(jù)處理需求逐漸顯現(xiàn)。相比數(shù)據(jù)處理操作的單個支撐服務(wù)類型,一個大的公共數(shù)據(jù)處理平臺需要一個涉及多個混合聯(lián)機(jī)計算在線/離線,線性/非線性,流數(shù)據(jù)和地圖數(shù)據(jù)等復(fù)雜的數(shù)據(jù)計算過程。

2.2 并行數(shù)據(jù)庫

關(guān)系數(shù)據(jù)庫(如Oracle等)主要是存儲結(jié)構(gòu)化數(shù)據(jù),提供便捷的數(shù)據(jù)查詢和分析功能,按照嚴(yán)格規(guī)則和快速處理事務(wù),多用戶并發(fā)訪問能力和數(shù)據(jù)安全保障的快速處理能力。被廣泛使用的SQL查詢語言具有強(qiáng)大的數(shù)據(jù)分析功能和較高的數(shù)據(jù)獨(dú)立性等優(yōu)點(diǎn)。然而,隨著中國高速鐵路建設(shè)的加快,數(shù)據(jù)遠(yuǎn)超出了關(guān)系型數(shù)據(jù)庫管理,地理信息系統(tǒng),以及圖片、音頻和視頻等非結(jié)構(gòu)化數(shù)據(jù)正在成為需要存儲的重要組成部分和處理的大數(shù)據(jù)。對于存儲在關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)已不能滿足軌道電路故障診斷快速訪問大量數(shù)據(jù),大規(guī)模數(shù)據(jù)分析的需求。主要表現(xiàn)在:

(1)數(shù)據(jù)存儲容量是有限的。關(guān)系數(shù)據(jù)庫可有效地處理TB級數(shù)據(jù),當(dāng)數(shù)據(jù)量達(dá)到PB級別時,目前主流的數(shù)據(jù)庫難以處理。為避免這個問題,目前電務(wù)部門先從“原始數(shù)據(jù)”提取“熟數(shù)據(jù)”來存儲,這樣雖然可以減少數(shù)據(jù)傳輸量和數(shù)據(jù)庫的存儲量,但不可避免地?fù)p失“原始數(shù)據(jù)”中隱藏的重要特征量信息,比如一個絕緣軌道電路放電頻譜。

(2)束縛快速訪問大量數(shù)據(jù)能力的關(guān)系模型。關(guān)系模型是根據(jù)內(nèi)容訪問的模型[13]。即在傳統(tǒng)的關(guān)系數(shù)據(jù)庫的基礎(chǔ)上,來定位相應(yīng)行的列的值。這種訪問模型將引入一個耗時輸入和輸出的數(shù)據(jù)訪問過程,從而影響快速訪問的能力。即便傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)可利用劃分技術(shù),以減少查詢過程中輸入和輸出數(shù)據(jù)的次數(shù),達(dá)到減少響應(yīng)時間,提高數(shù)據(jù)處理能力,但在海量數(shù)據(jù)的規(guī)模下,這種方法所帶來的性能改善并不顯著。

(3)缺乏非結(jié)構(gòu)化數(shù)據(jù)處理能力。用于數(shù)據(jù)處理的傳統(tǒng)關(guān)系數(shù)據(jù)庫被限制為某些類型的數(shù)據(jù),諸如數(shù)字、字符、字符串,對于非結(jié)構(gòu)化數(shù)據(jù)的支持性較差。然而,隨著用戶的應(yīng)用需求逐步增加,硬件技術(shù)和互聯(lián)網(wǎng)的多媒體通信,以及用于多媒體處理的用戶要求,從簡單的存儲上升為識別,檢索和深度加工,面對處理日益增長的聲音、圖像、視頻、電子郵件和其它復(fù)雜數(shù)據(jù)類型的需求,傳統(tǒng)的數(shù)據(jù)庫似乎是力不從心。

(4)可擴(kuò)展性差。在大規(guī)模下,傳統(tǒng)數(shù)據(jù)庫有一個致命的弱點(diǎn)就是其的可擴(kuò)展性差。數(shù)據(jù)庫的可擴(kuò)展性問題,通常解決的方法有按比例增加的向上擴(kuò)展和向外擴(kuò)展。面對海量數(shù)據(jù)處理,通過升級服務(wù)器進(jìn)行向上擴(kuò)展的方式在成本和加工能力方面都不能滿足要求,唯一可行的辦法是進(jìn)行向外擴(kuò)展。關(guān)系數(shù)據(jù)庫管理系統(tǒng)向外擴(kuò)展是由該數(shù)據(jù)庫將部署在整個數(shù)據(jù)庫集群的垂直和水平切割,這種方法的優(yōu)點(diǎn)是,其可采用RDBMS這樣的成熟技術(shù),但缺點(diǎn)是針對特定應(yīng)用程序,不同的切割方法應(yīng)用也不相同[14]。

2.3 云計算技術(shù)

由于大數(shù)據(jù)分布式數(shù)據(jù)的特點(diǎn),使得傳統(tǒng)的數(shù)據(jù)管理技術(shù)不能處理這樣的海量數(shù)據(jù)。云計算的一個核心是海量數(shù)據(jù)存儲和數(shù)據(jù)并行處理技術(shù)。分布式文件系統(tǒng)和MapReduce技術(shù)是其核心思想,谷歌公司提出了其主要思路。DFS具有較高的容錯功能,專門為部署在廉價硬件上而設(shè)計的,并提供了針對大數(shù)據(jù)集的應(yīng)用程序高吞吐量的數(shù)據(jù)訪問。Hadoop提供了一個開源實(shí)現(xiàn)DFS(HDFS),即可在一個數(shù)據(jù)流文件系統(tǒng)訪問的形式上實(shí)現(xiàn)POSIX要求的分布式文件系統(tǒng)。MapReduce[15]在2004年谷歌公司提出的一個用于并行處理和并行編程模型來生成大數(shù)據(jù)集。MapReduce的Hadoop的開源實(shí)現(xiàn),是大數(shù)據(jù)處理技術(shù)關(guān)注的問題之一[16]。為使其更容易使用MapReduce的并行編程模型,各種大型數(shù)據(jù)處理高級查詢語言逐漸出現(xiàn),如Facebook的蜂房[17],雅虎的豬[18],谷歌的Sawzall[19]等。這些高層次的查詢語言和查詢解析器將通過解析一個分布式文件系統(tǒng)的一系列MapReduce工作,并行執(zhí)行。與基本MapReduce的系統(tǒng)對比,高級查詢語言更適合于大規(guī)模并行處理的用戶數(shù)據(jù)需求[20]。MapReduce和先進(jìn)的查詢語言也暴露出實(shí)時性能和效率方面的不足,所以很多研究將其進(jìn)行優(yōu)化。Cloudera的開源項(xiàng)目發(fā)布了實(shí)時查詢,帕拉1.0 beta版本比原來的推廣試驗(yàn)表明基于MapReduce的蜂巢SQL查詢速度快3到9倍[21]。阿帕奇Mahout是基于MapReduce的并行數(shù)據(jù)挖掘項(xiàng)目,相對于傳統(tǒng)的數(shù)據(jù)挖掘算法,其性能大幅的提升[22]。

2.4 云計算在軌道電路故障診斷中的應(yīng)用

軌道電路中數(shù)據(jù)量最大的是信號設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)。狀態(tài)監(jiān)測數(shù)據(jù)不僅包括了在線狀態(tài)監(jiān)測數(shù)據(jù),其中還包括關(guān)于設(shè)備的基本信息,測試數(shù)據(jù),缺陷記錄等,數(shù)據(jù)量大、可靠性高、實(shí)時性要求比企業(yè)數(shù)據(jù)管理水平高。

3 大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)

3.1 大數(shù)據(jù)的傳輸和存儲技術(shù)

隨著中國高鐵建設(shè)的發(fā)展,運(yùn)行數(shù)據(jù)和設(shè)備狀態(tài)在線監(jiān)測數(shù)據(jù)在鐵路系統(tǒng)的各個環(huán)節(jié)被記錄下來,不僅造成大量的數(shù)據(jù)傳輸和存儲問題,同時也制約了鐵路系統(tǒng)智能化的發(fā)展[23]。通過數(shù)據(jù)壓縮可有效地減少網(wǎng)絡(luò)的數(shù)據(jù)傳輸量,提高存儲效率。因此,數(shù)據(jù)壓縮技術(shù),得到了廣泛關(guān)注,在文獻(xiàn)[24]中討論了基于實(shí)時數(shù)據(jù)提升方案故障暫態(tài)過程信號的壓縮和重構(gòu)算法,使用雙正交線性整數(shù)小波變換濾波器組合哈夫曼編碼方法對軌道電路監(jiān)測系統(tǒng)的實(shí)時數(shù)據(jù)進(jìn)行壓縮和解壓。目前,這樣的系統(tǒng)中通常使用無線通信技術(shù),但是網(wǎng)絡(luò)帶寬是有限的,因此需要進(jìn)行數(shù)據(jù)壓縮。文獻(xiàn)[25]提出了一種自適應(yīng)多級樹集合分裂(集合劃分等級樹,SPIHT)算法,其可根據(jù)小波系數(shù)顯著自適應(yīng)地設(shè)置分區(qū),尤其是對于壓縮泄漏電流噪聲信號。數(shù)據(jù)壓縮一方面減少存儲空間,另一方面壓縮和解壓消耗了大量的CPU資源。在數(shù)據(jù)到達(dá)監(jiān)控中心需解壓壓縮數(shù)據(jù),而且需要適當(dāng)?shù)挠嬎愫痛鎯ζ脚_。在數(shù)據(jù)存儲,軌道電路微機(jī)監(jiān)測系統(tǒng)海量數(shù)據(jù)可利用分布式文件系統(tǒng)來存儲數(shù)據(jù),如使用的Hadoop HDFS和其他存儲系統(tǒng),但這些系統(tǒng)雖然可以存儲大量數(shù)據(jù),但其難以滿足軌道電路故障檢測和維護(hù)實(shí)時性的要求[26]。因此,系統(tǒng)必須基于大型數(shù)據(jù)存儲和分析的要求進(jìn)行分類:使用實(shí)時數(shù)據(jù)庫系統(tǒng)對實(shí)時性要求較高的數(shù)據(jù)進(jìn)行存儲;使用傳統(tǒng)的并行數(shù)據(jù)庫系統(tǒng)對核心業(yè)務(wù)數(shù)據(jù)進(jìn)行存儲;使用分布式文件系統(tǒng)對大量歷史和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲。本文提出了建立多層次的存儲系統(tǒng)來應(yīng)對計算機(jī)監(jiān)控中的大數(shù)據(jù)。應(yīng)當(dāng)指出的是,考慮到目前云平臺不能保證接收的軌道電路微機(jī)監(jiān)測數(shù)據(jù)的實(shí)時性,可設(shè)置若干前置機(jī)在數(shù)據(jù)接入和信息集成前,負(fù)責(zé)接收實(shí)時通信網(wǎng)絡(luò)發(fā)送來的報警信息或監(jiān)測數(shù)據(jù),并負(fù)責(zé)當(dāng)云平臺不響應(yīng)時將有關(guān)數(shù)據(jù)暫存。Hadoop的云計算系統(tǒng),并行數(shù)據(jù)庫數(shù)據(jù)訪問和實(shí)時信息集成外,軌道電路檢測系統(tǒng)中的數(shù)據(jù)不同于傳統(tǒng)業(yè)務(wù)數(shù)據(jù)格式,具有其自身的特點(diǎn)。例如,在故障檢測和跟蹤信號設(shè)備狀態(tài)監(jiān)測中,波形數(shù)據(jù)比較多,并具有與傳統(tǒng)商業(yè)數(shù)據(jù)不同的波形數(shù)據(jù),且具有數(shù)據(jù)生成速度快等特性。因此需要研究針對軌道電路微機(jī)監(jiān)測的大數(shù)據(jù)存儲格式,從而有利于隨后的數(shù)據(jù)分析和計算。根據(jù)軌道電路監(jiān)測各類異構(gòu)數(shù)據(jù)環(huán)境的智能故障診斷,不能簡單地利用現(xiàn)有的數(shù)據(jù)結(jié)構(gòu)來描述,但計算機(jī)算法在處理復(fù)雜的數(shù)據(jù)結(jié)構(gòu)效率相對較低,處理同質(zhì)化數(shù)據(jù)更有效[27]。因此,如何將數(shù)據(jù)組織成合理地同質(zhì)化的結(jié)構(gòu),是大數(shù)據(jù)存儲處理的一個重要問題。

3.2 實(shí)時數(shù)據(jù)處理技術(shù)

在一般情況下,數(shù)據(jù)規(guī)模越大,分析處理時間將越長。對于一定大小數(shù)據(jù)量在傳統(tǒng)的數(shù)據(jù)存儲方案中是開始就設(shè)定好的,在其設(shè)計范圍內(nèi)處理速度可較快,但不能滿足大數(shù)據(jù)的要求。為了未來軌道電路故障智能診斷,實(shí)現(xiàn)真正意義上的“狀態(tài)檢修”,文中需要實(shí)時地數(shù)據(jù)處理。目前的云計算系統(tǒng)可提供快速服務(wù),但有可能會出現(xiàn)短暫的網(wǎng)絡(luò)擁堵,甚至?xí)菃蝹€服務(wù)器出現(xiàn)故障,卻不能保證響應(yīng)時間?；趦?nèi)存的數(shù)據(jù)庫受到更多關(guān)注。內(nèi)存數(shù)據(jù)庫是直接在數(shù)據(jù)庫中運(yùn)行一個存儲的數(shù)據(jù)。相對于磁盤,內(nèi)存的數(shù)據(jù)讀取和寫入速度要高幾個數(shù)量級,將數(shù)據(jù)存儲在內(nèi)存中較直接從磁盤上讀取速度更高更快。目前的鐵路電務(wù)已開始使用內(nèi)存數(shù)據(jù)庫,以提高實(shí)時性。專注于大數(shù)據(jù)的查詢關(guān)鍵字也是一個重要的挑戰(zhàn)。通過掃描整個數(shù)據(jù)集,以找到符合該要求的記錄方法,顯然是不可行的,甚至通過類MapReduce的這種平行處理技術(shù)加速掃描,也不是很合理。通過事先建立索引結(jié)構(gòu)數(shù)據(jù),以幫助找到一種比較快的方法,同時節(jié)省系統(tǒng)資源。一般的索引結(jié)構(gòu)設(shè)計,僅支持簡單的數(shù)據(jù)類型,大數(shù)據(jù)需要建立一個適當(dāng)復(fù)雜結(jié)構(gòu)化數(shù)據(jù)的索引結(jié)構(gòu)[28]。

3.3 大數(shù)據(jù)可視化技術(shù)分析

面對海量的軌道電路微機(jī)監(jiān)測數(shù)據(jù),如何在有限的屏幕下,以一種易于理解的方式展現(xiàn)給用戶,是一個具有挑戰(zhàn)性的任務(wù)[29]?？梢暬姆椒ㄒ驯蛔C明是一種用于大規(guī)模數(shù)據(jù)分析的有效方法,并已被廣泛地在實(shí)踐中使用[30]。軌道電路各類應(yīng)用產(chǎn)生的大規(guī)模數(shù)據(jù)集,其包括高精度,高分辨率數(shù)據(jù),隨時間變化的數(shù)據(jù)和多變量數(shù)據(jù)。一個典型的數(shù)據(jù)集可達(dá)TB數(shù)量級。如何快速有效地從這些海量復(fù)雜的數(shù)據(jù)中提取有用的信息,成為軌道電路故障智能診斷應(yīng)用中的一個關(guān)鍵技術(shù)難點(diǎn)?？梢暬ㄟ^一系列復(fù)雜的算法將數(shù)據(jù)繪制成高精度、高分辨率的圖片,并提供交互工具,有效利用人的視覺系統(tǒng),并允許實(shí)時改變數(shù)據(jù)處理和算法參數(shù),對數(shù)據(jù)進(jìn)行觀察和定性及定量分析[31]。

4 結(jié)束語

未來軌道電路故障診斷將依托實(shí)時電路全景大型數(shù)據(jù)處理和分析技術(shù)。云計算為這樣的異構(gòu)體和多種類的數(shù)據(jù)提供了一個存儲和分析的平臺。這些平臺工作一定時間后會產(chǎn)生大數(shù)據(jù),云計算和大數(shù)據(jù)分析將為軌道電路設(shè)備維護(hù),故障恢復(fù),孤立信息系統(tǒng)的互相聯(lián)通提供保障和支持,并成為重要的候選者。且具有低成本,良好的系統(tǒng)擴(kuò)展性,可靠性高,并行分析等方面的優(yōu)勢,也有少數(shù)案例在國際上已經(jīng)投入實(shí)際運(yùn)行,但仍處于實(shí)時性和數(shù)據(jù)一致性方面的挑戰(zhàn)當(dāng)中。當(dāng)然利用大數(shù)據(jù)分析,可分析出軌道電路故障頻發(fā)段,和易發(fā)生的故障種類,做出及時和有效的調(diào)整,為今后的故障維修提供可靠的技術(shù)支撐,還可以利用大數(shù)據(jù)對現(xiàn)有的相關(guān)軌道電路設(shè)備進(jìn)行相應(yīng)的調(diào)整和升級,為建設(shè)成高效率的智能高鐵網(wǎng)保駕護(hù)航。

[1] 張文亮,湯廣福,查鯤鵬,等.先進(jìn)電力電子技術(shù)在智能電網(wǎng)中的應(yīng)用[J].中國電機(jī)工程學(xué)報,2010,30(4):1-7.

[2] 李國杰.大數(shù)據(jù)研究的科學(xué)價值[J].中國計算機(jī)學(xué)會通訊,2012 8(9):8-15.

[3] Divyakant Agrawal,Philip Bernstein,Elisa Bertino,et al.Challenges and opportunities with big data[J].Proceedingsof the VLDB Endowment,2012,5(12):2032-2033.

[4] IBM Corporation Software Group.IBM big data overview for energy and utilities[EB/OL].[2011-06-12](2014-12-05)http://www-01.ibm.com/software/tivoli/solutions/industry/energy-utilities.

[5] McKinsey Global Institute.Big data:the next frontier for innovation,competition,and productivity[M].New York:McKinsey Global Institute,2011.

[6] Wang Peijian.D-pro:dynamic data center operations with demand-responsive electricity prices in smart grid[J].IEEE Transactions on Smart Grid,2012,3(4):1743-1754.

[7] 周暉,鈕文潔,王毅.從繳費(fèi)行為分析電力客戶的信用度[J].電力需求側(cè)管理,2006,8(6):12-16.

[8] 謝華成,陳向東.面向云存儲的非結(jié)構(gòu)化數(shù)據(jù)存取[J].計算機(jī)應(yīng)用,2012,32(7):1924-1928.

[9] 李鋒,謝俊,蘭金波,等.智能變電站繼電保護(hù)配置的展望和探討[J].電力自動化設(shè)備,2012,32(2):122-126.

[10]江蘇瑞中數(shù)據(jù)股份有限公司.海迅實(shí)時數(shù)據(jù)庫助力智能電網(wǎng)建設(shè)[M].南京:江蘇瑞中數(shù)據(jù)股份有限公司,2011.

[11]金澈清,錢衛(wèi)寧,周傲英.流數(shù)據(jù)分析與管理綜述[J].軟件學(xué)報,2004,5(8):1172-1181.

[12]張廣斌,束洪春,于繼來.利用廣義電流模量的行波實(shí)測數(shù)半監(jiān)督聚類篩選[J].中國電機(jī)工程學(xué)報,2012,32(10):150-158.

[13]Codd E F.A relational model of data for large shared data banks[J].Communications of the ACM,1970,13(6):377-387.

[14]Roland Bouman.Database sharding at netlog with MySQL andPHP[EB/OL].(2009-02-12)[2013-02-23]http://www.jurriaanpersyn.com/archives/2009/02/12/database-sharding-at-netlog-with-mysql-and-php.

[15]Jeffrey Dean,Sanjay Ghemawat.Map reduce:simplified data processing on large clusters[C].San Fancisco,California:OSDI’04:Sixth Symposium on Operating System Design and Implementation,USENIX Association Berkeley,2004.

[16]Apache.Apache hadoopcore[EB/OL].(2012-08-05)[2013-02-20]http://hadoop.apache.org/core.

[17]Thusoo A,Sarma J,Jain N,et al.Hive:a warehousing solution over map-reduce framework[C].Lyon,France:Proceedings of the 35th Int Conf on Very Large Data Bases(VLDB),VLDB,2009:1626-1629.

[18]Christopher Olston,Benjamin Reed,Utkarsh Srivastava.Pig latin:a not-so-foreign language for data processing[C].Vancouver,Canada:Proceedings of the 2008 ACM SIGMOD international conference on Management of data,ACM,2008.

[19]Rob Pike,Sean Dorward,Robert Griesemer,et al.Interpreting the data:parallel analysis with sawzall[J].Scientific Programming,2005,13(4):277-298.

[20]王鵬,孟丹,詹劍鋒,等.數(shù)據(jù)密集型計算編程模型研究進(jìn) 展[J].計算機(jī)研究與發(fā)展,2010,47(11):1993-2002.

[21]Marcel Kornacker,Justin Erickson.Cloudera impala:real-time queries in apache hadoop for real[EB/OL].[2012-10-22](2013-02-12)http://blog.cloudera.com/blog/2012/10/cloudera-impala-real-time-queries-in-apache-hadoop-for-real.

[22]Apache.Whatis apache mahout[EB/OL].(2011-05-11)[2013-02-15]http://mahout.apache.org.

[23]張保會.加強(qiáng)繼電保護(hù)與緊急控制系統(tǒng)的研究提高互聯(lián)電網(wǎng)安全防御能力[J].中國電機(jī)工程學(xué)報,2004,24(7):1-6.

[24]閆常友,楊奇遜,劉萬順.基于提升格式的實(shí)時數(shù)據(jù)壓縮和重構(gòu)算法[J].中國電機(jī)工程學(xué)報,2005,25(9):6-10.

[25]朱永利,翟學(xué)明,姜小磊.絕緣子泄漏電流的自適應(yīng) SPIHT 數(shù)據(jù)壓縮[J].電工技術(shù)學(xué)報,2011,26(12):190-196.

[26]Stonebraker M,Abadi D J,Madden S,et al.Map Reduce and parallel DBMSs:friends or foes[J].Communications of the ACM,2010,53(1):64-71.

[27]周曉方,陸嘉恒,李翠平,等.從數(shù)據(jù)管理視角看大數(shù)據(jù)挑戰(zhàn)[J].中國計算機(jī)學(xué)會通訊,2012,8(9):16-20.

[28]Cooper B F,Neal Sample,Franklin M J,et al.A fast index for semistructured data[C].Roma,Italy:Procedings of the 27th VLDB Conference,VLDB,2001.

[29]袁曉如,張昕,肖何,等.可視化研究前沿及展望[J].科研信息化技術(shù)與應(yīng)用,2011,2(4):3-13.

[30]Wong P C,Thomas J.Visual analytics[J].IEEE Computer Graphics and Applications,2004,24(5):20-21.

[31]Thomas J J,Cook K A.Illuminating the path:the research and development agenda for visual analytics[C].Poland:IEEE Computer Society,2005.

Big Data Processing in Track Circuit Troubleshooting

CHENG Jianyun,WEI Wenjun

(School of Traffic & Transportation,Lanzhou Jiaotong University,Lanzhou 730070,China)

Track circuit operation,maintenance and management of the process will produce massive heterogeneous multi-state data,that is,big data.Their efficient,reliable and inexpensive storage and quick access and analysis are currently an important research topic.The article first analyzes the characteristics of generation sources and track circuit failure detection in all aspects of big data,and reviews the current business,Internet and industrial monitoring large areas of the existing data-processing technique.A detailed analysis of these techniques in response to the track circuit troubleshooting and large data processing strengths and weaknesses is made.Finally the opportunities and challenges of big data track circuits are discussed in perspectives of large data storage,real-time data processing,heterogeneous integration of multiple sources of data,and large data visualization.

track circuit;big data;cloud computing;parallel database

2015- 04- 07

甘肅省青年科技計劃基金資助項(xiàng)目(1308RJYA096)

程建云(1990—),男,碩士研究生。研究方向:軌道電路故障診斷。E-mail:404284441@qq.com

10.16180/j.cnki.issn1007-7820.2015.11.043

TP18

A

1007-7820(2015)11-161-05