韋宗毅，覃乾

（1.中鐵第六勘察設(shè)計院集團(tuán)有限公司，天津300308；2.南寧軌道交通集團(tuán)有限責(zé)任公司，南寧530000）

詳細(xì)分析南寧既有數(shù)字化城市軌道供電系統(tǒng)存在的問題，在總結(jié)和剖析大數(shù)據(jù)基本概念和技術(shù)特點的基礎(chǔ)上，梳理并找出既有數(shù)字化城市軌道供電系統(tǒng)應(yīng)用于大數(shù)據(jù)平臺的需求分析，詳細(xì)設(shè)計基于大數(shù)據(jù)平臺的城市軌道交通供電系統(tǒng)功能架構(gòu)。通過典型場景搭建分析，描述所設(shè)計大數(shù)據(jù)平臺在南寧城市軌道交通供電系統(tǒng)的應(yīng)用。最后，闡述南寧基于大數(shù)據(jù)平臺構(gòu)建的城市軌道交通供電系統(tǒng)面臨的挑戰(zhàn)，并對下一步發(fā)展的方向進(jìn)行初步探討。

大數(shù)據(jù)平臺；城市軌道供電系統(tǒng)；功能架構(gòu)；分布式計算和存儲

0 引言

隨著城市軌道行業(yè)的快速發(fā)展，有著城市軌道交通“能源大動脈”之稱的城市軌道供電系統(tǒng)獲取的數(shù)據(jù)呈現(xiàn)出類型多、數(shù)據(jù)量大、門類多樣、管理維護(hù)人員龐雜等特點。當(dāng)前南寧建設(shè)的既有數(shù)字化城市軌道供電系統(tǒng)，普遍依托SCADA系統(tǒng)進(jìn)行統(tǒng)一的指揮調(diào)度與供電信息反饋。隨著影像設(shè)備、錄音設(shè)備、新式傳感器等設(shè)備的建設(shè)，傳統(tǒng)的供電指揮調(diào)度與信息反饋系統(tǒng)收集的信息呈現(xiàn)幾何級累計增長。面對不斷增長的數(shù)據(jù)，南寧傳統(tǒng)的供電運維檢修方法受到較大的制約[1]。

大數(shù)據(jù)平臺建設(shè)是近年來國家提出的“第四次工業(yè)革命”的重點發(fā)展方向，其具備“5V”特性[2]：大量性（Volume）、高速性（Velocity）、多樣性（Variety）、價值性（Value）、真實性（Veracity）。由于大數(shù)據(jù)平臺起源于互聯(lián)網(wǎng)行業(yè)，同時，城市軌道交通供電系統(tǒng)行業(yè)與其他行業(yè)存在一定的差異性，當(dāng)前的大數(shù)據(jù)平臺并不能完全適用于城市軌道交通供電系統(tǒng)行業(yè)[3]。因此，需研究設(shè)計并架構(gòu)適用于南寧城市軌道交通供電系統(tǒng)的大數(shù)據(jù)平臺顯得非常必要。

1 數(shù)字化供電系統(tǒng)存在問題

當(dāng)前，南寧軌道公司正使用安全管理系統(tǒng)、機(jī)器人巡檢系統(tǒng)、檢測監(jiān)視系統(tǒng)幫助人工作業(yè)，減輕人工維護(hù)檢修的重復(fù)勞動。如圖1為南寧城市軌道交通供電系統(tǒng)相關(guān)的保護(hù)、監(jiān)測、控制網(wǎng)絡(luò)架構(gòu)圖。

圖1 南寧城市軌道交通供電系統(tǒng)網(wǎng)絡(luò)架構(gòu)圖

南寧新建的數(shù)字化供電系統(tǒng)普遍存在所采集的圖像、音影、數(shù)字信息存在重復(fù)性高、數(shù)據(jù)容量大、檢測時長長等特點。運營維護(hù)部門需要設(shè)置專門的數(shù)據(jù)分析崗位處理海量數(shù)據(jù)。同時，供電數(shù)字化供電系統(tǒng)產(chǎn)生的數(shù)據(jù)量增長極快，僅通過人工分析和篩選的數(shù)據(jù)，無法提供有效或有價值的反饋信息幫助運營維護(hù)，也無法發(fā)揮和體現(xiàn)數(shù)字化系統(tǒng)給運營維護(hù)帶來的便利性，造成建設(shè)一套系統(tǒng)、荒廢一套系統(tǒng)，甚至拋棄使用數(shù)字化系統(tǒng)的現(xiàn)象。因此，解決困擾當(dāng)前數(shù)字化城市軌道供電系統(tǒng)問題的關(guān)鍵在于對系統(tǒng)產(chǎn)生數(shù)據(jù)信息的有效利用[4]。

2 既有平臺的大數(shù)據(jù)功能需求分析

南寧城市軌道交通供電系統(tǒng)大數(shù)據(jù)平臺主要實現(xiàn)對軌道交通供電系統(tǒng)產(chǎn)生的巨量數(shù)據(jù)進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換、分類存儲、數(shù)據(jù)關(guān)聯(lián)與分析計算、展示、閉環(huán)反饋的功能[5]。

（1）數(shù)據(jù)類型轉(zhuǎn)換功能。既有軌道交通供電系統(tǒng)由于建設(shè)所針對解決問題的不同，會產(chǎn)生不同類型的運行數(shù)據(jù)、圖片格式、語音視頻格式、文檔格式等。需配置統(tǒng)一的數(shù)據(jù)抽取和采集策略，轉(zhuǎn)化為大數(shù)據(jù)平臺默認(rèn)與通用的數(shù)據(jù)類型。

（2）數(shù)據(jù)分類存儲功能。通過數(shù)據(jù)結(jié)構(gòu)的優(yōu)化、分布式存儲技術(shù)，配置擴(kuò)展性強(qiáng)、存儲成本低的分布式數(shù)據(jù)倉庫。建立的數(shù)據(jù)倉庫能高效快速的讀寫及合理分配存儲空間工作，同時也應(yīng)具備熱備冗余技術(shù)，防止由于物理存儲介質(zhì)的損壞造成的數(shù)據(jù)丟失。

（3）數(shù)據(jù)關(guān)聯(lián)與分析計算功能。大數(shù)據(jù)平臺基于分布式存儲技術(shù)，快速關(guān)聯(lián)數(shù)據(jù)倉庫信息，部署分布式計算算法，可利用分散而廉價的硬件計算平臺，靈活部署復(fù)雜的數(shù)學(xué)分析模型，通過迭代算法，不斷深度挖掘數(shù)據(jù)間信息關(guān)聯(lián)，輸出有價值的信息流。

（4）信息展示與發(fā)布功能。結(jié)合餅狀圖、柱狀圖、地圖涂抹技術(shù)、虛擬現(xiàn)實VR技術(shù)等直觀化、可視化的向使用者展示數(shù)據(jù)成果。

（5）高級功能應(yīng)用。大數(shù)據(jù)平臺提供海量、快速讀寫、調(diào)配數(shù)據(jù)、去中心化、分布式計算的信息能力，可結(jié)合數(shù)據(jù)挖掘計算、人工智能計算等以往需要采用超級計算機(jī)的復(fù)雜算法，大規(guī)模部署到相對通用計算平臺上，實現(xiàn)機(jī)器“智能化”應(yīng)用[6-7]。

3 大數(shù)據(jù)平臺架構(gòu)設(shè)計

大數(shù)據(jù)平臺是可以建立在既有Linux平臺下的數(shù)據(jù)處理系統(tǒng)的軟件平臺系統(tǒng)。與傳統(tǒng)平臺建設(shè)中，強(qiáng)調(diào)網(wǎng)絡(luò)、服務(wù)器硬件配置不同，大數(shù)據(jù)平臺更加強(qiáng)調(diào)利用基礎(chǔ)標(biāo)準(zhǔn)化矩陣硬件平臺，分布式布置一整套可不斷拓展、易于嫁接存儲與計算的軟件體系，達(dá)到處理海量數(shù)據(jù)、運行復(fù)雜數(shù)學(xué)和分析模型的目的[8]。

當(dāng)前的大數(shù)據(jù)平臺體系主要由基于分布式系統(tǒng)發(fā)展而來的Hadoop體系和基于數(shù)據(jù)庫管理發(fā)展而來的MPP體系[9]。MPP體系的優(yōu)勢在于可利用完整的SQL語言對巨量的結(jié)構(gòu)化數(shù)據(jù)庫進(jìn)行操作。但其體系特點不利于動態(tài)數(shù)據(jù)的查詢和計算，網(wǎng)絡(luò)開銷大，任務(wù)分配不靈活，擴(kuò)展性有限，不利于供電系統(tǒng)大數(shù)據(jù)平臺的業(yè)務(wù)拓展。

Hadoop體系設(shè)計之初，就是基于分布式系統(tǒng)的高可靠性、高拓展性、高容錯性，受到國內(nèi)外互聯(lián)網(wǎng)公司的青睞。目前，Google、Yahoo、Facebook利用原生Hadoop系統(tǒng)，部署在上千個服務(wù)器集群中，解決搜索與廣告業(yè)務(wù)。國內(nèi)互聯(lián)網(wǎng)公司中的百度、阿里、華為、中國移動等企業(yè)也利用自開發(fā)的基于Hadoop體系的第三方系統(tǒng)，構(gòu)建自己的大數(shù)據(jù)應(yīng)用。使用Hadoop體系建立的大數(shù)據(jù)平臺更貼合于城市軌道交通供電系統(tǒng)行業(yè)的特點和需求。

基于Hadoop體系構(gòu)建的城市軌道交通供電系統(tǒng)大數(shù)據(jù)平臺的功能構(gòu)架和定位，從下至上需包含三個層級：①數(shù)據(jù)收集及存儲層；②數(shù)據(jù)計算及信息挖掘?qū)?；③?yīng)用及展示服務(wù)層。如圖2所示為城市軌道交通供電系統(tǒng)大數(shù)據(jù)平臺架構(gòu)圖[10]。

3.1 傳統(tǒng)數(shù)據(jù)采集數(shù)據(jù)流程

供電系統(tǒng)平臺主要數(shù)據(jù)來源于供電運行與維修數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)經(jīng)過平臺匯總后，上傳至中央級，通過布置相對靜止的處理算法后，展示輸出，由人工判斷數(shù)據(jù)的可用和可信程度。由于維護(hù)工作人員的經(jīng)驗、能力各不相同，往往造成系統(tǒng)出現(xiàn)明顯奇點時才判定為故障，錯失解決問題的最佳時機(jī)。同時，存儲器中的海量數(shù)據(jù)被堆積、覆蓋直到數(shù)據(jù)陣列完成生命周期，采集的數(shù)據(jù)就會被丟棄而不會再被調(diào)出利用。這些蘊含供電系統(tǒng)運行客觀規(guī)律的系統(tǒng)的數(shù)據(jù)利用效率低，造成極大的數(shù)據(jù)資源浪費。

3.2 大數(shù)據(jù)數(shù)據(jù)采集層

大數(shù)據(jù)系統(tǒng)總體把數(shù)據(jù)類型分結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)為存儲在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)來邏輯表達(dá)的數(shù)據(jù)。在供電系統(tǒng)中，如電能狀態(tài)信息、SCADA供電系統(tǒng)狀態(tài)信息等為典型的結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)為不方便使用數(shù)據(jù)庫化邏輯表達(dá)的數(shù)據(jù)，包括所有辦公文檔、圖片、視頻和音頻信息等[11]。

大數(shù)據(jù)采集層針對非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)，采用多種工具和手段，同時，這些數(shù)據(jù)采集工具內(nèi)嵌于傳統(tǒng)數(shù)據(jù)采集層，避免額外的系統(tǒng)開銷。其中，結(jié)構(gòu)化數(shù)據(jù)采集，比較常用及穩(wěn)定的工具為Sqoop采集工具；非結(jié)構(gòu)化的工具針對的對象類型較多，常用的為Apache社區(qū)發(fā)布的Kettle、IBM提供的Datastage、Informatica軟件等。其使用流程為把非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行ETL到HDFS中的Hbase結(jié)構(gòu)中進(jìn)行類結(jié)構(gòu)化存儲。

圖2 典型城市軌道交通供電系統(tǒng)網(wǎng)絡(luò)架構(gòu)圖

3.3 大數(shù)據(jù)數(shù)據(jù)平臺層

平臺層工具建立在傳統(tǒng)服務(wù)器存儲池及進(jìn)程中。平臺層的計算工具和存儲工具邊界并不十分明晰，如Hive工具就是布置于存儲池中，同時也可調(diào)用計算工具的軟件包。

平臺層一般包含分布式計算和分布式存儲兩個方面。其中分布式存儲是大數(shù)據(jù)平臺基礎(chǔ)。

在Hadoop體系中，最基礎(chǔ)的存儲單元為HDFS存儲池，主要用于存儲經(jīng)過采集工具加工后的數(shù)據(jù)。同時，HDFS具備良好的結(jié)構(gòu)化存儲特性，傳統(tǒng)數(shù)據(jù)的標(biāo)準(zhǔn)化存儲池中的結(jié)構(gòu)化數(shù)據(jù)也可以方便轉(zhuǎn)換為供給大數(shù)據(jù)引擎需求的HDFS類型。

存儲池中的Hbase存儲主要以列的形式，存儲從非結(jié)構(gòu)化采集工具采集而來的數(shù)據(jù)，進(jìn)行類結(jié)構(gòu)化存儲。

Hadoop平臺有眾多計算工具，其中比較常用和代表的有Spark流計算工具、Storm快速計算工具、MapReduce計算工具。在Hadoop2.0體系中加入了YARN快速數(shù)據(jù)共享工具，解決任務(wù)進(jìn)行中的計算工具動態(tài)調(diào)度問題[12]。

Hadoop的基礎(chǔ)計算工具為MapReduce，其總體運行思路分為Map和Reduce兩個部分。在Map階段，矩陣機(jī)器同時按軟件劃分讀取完整數(shù)據(jù)庫，篩選所需數(shù)據(jù)；在Reduce階段，又同時啟動其他空閑的矩陣機(jī)器，把Map階段獲得的篩選數(shù)據(jù)進(jìn)行計算并重組輸出運算結(jié)果。

MapReduce的計算模型簡單好用，但計算過程需經(jīng)過多次存儲讀取操作，計算時間過長，由于城軌供電平臺產(chǎn)生的數(shù)據(jù)流具有周期性，因此MapReduce工具適合城軌供電平臺的精確模型計算，如維修應(yīng)急策略庫、靜態(tài)數(shù)據(jù)庫修正與更新等對時間要求不高的模型計算。

Spark計算模型是為解決MapReduce計算模型耗費過多時間開發(fā)的。通過YARN數(shù)據(jù)共享工具，部署于陣列服務(wù)器內(nèi)存中，其本質(zhì)上是使得Map和Reduce之間的界限模糊，可交叉啟動多個Map和Reduce進(jìn)程，減少對存儲空間的讀取，提高數(shù)據(jù)處理的吞吐量。Spark工具運算性能取決于整個大數(shù)據(jù)陣列服務(wù)器的總體性能，同時會增加整體的性能開銷，用大數(shù)據(jù)矩陣服務(wù)器的高性能換取實時數(shù)據(jù)流的處理。因此Spark計算可作為大數(shù)據(jù)平臺的主力計算工具使用。

Storm計算工具類似于數(shù)據(jù)篩子，被動而靜態(tài)的篩選關(guān)鍵詞，可作為動態(tài)計算模型的有效補充。

3.4 大數(shù)據(jù)數(shù)據(jù)應(yīng)用層

大數(shù)據(jù)平臺的展示工具強(qiáng)調(diào)共享性、易移植性和通用性的特點，又由于網(wǎng)絡(luò)技術(shù)的快速發(fā)展，平臺需采用Web瀏覽器為核心，通過移動終端、桌面終端共享式、多維度的以圖表、模擬視頻、音視頻流等形式展示信息[13]。

大數(shù)據(jù)平臺與傳統(tǒng)平臺在應(yīng)用層的顯著區(qū)別是大數(shù)據(jù)平臺可內(nèi)嵌第三方數(shù)據(jù)挖掘和數(shù)據(jù)分析工具。如目前較為常用的Hive on Spark工具，是基于平臺層Hive存儲結(jié)構(gòu)的基礎(chǔ)上，部署于應(yīng)用層的軟件?？梢允褂脴?biāo)準(zhǔn)的SQL語言，調(diào)取合適的計算算法和存儲數(shù)據(jù)進(jìn)行計算。同時，Hive on Spark對頂層SQL語言封裝，避免了專注于算法的工程師還需對大數(shù)據(jù)平臺進(jìn)行底層維護(hù)與操作。內(nèi)嵌于大數(shù)據(jù)平臺的算法工具是大數(shù)據(jù)平臺的反饋控制器，雙方互相配合，形成一套“機(jī)器學(xué)習(xí)”的反饋架構(gòu)，不斷完善算法模型、維修檢測決策庫等，更加貼合城軌供電系統(tǒng)大數(shù)據(jù)平臺的需求，讓系統(tǒng)變得更加“聰明”[14]。

近日，由中國農(nóng)科院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃所土壤耕作與種植制度創(chuàng)新團(tuán)隊，成功研制出了秸稈系列顆粒肥，包括秸稈顆粒肥、有機(jī)無機(jī)復(fù)混顆粒肥和有機(jī)無機(jī)微生物顆粒肥。這是國內(nèi)首次把作物秸稈以顆粒肥料的形式進(jìn)行綜合利用。

4 平臺在軌道交通供電系統(tǒng)場景應(yīng)用

南寧構(gòu)建的基于城市軌道供電系統(tǒng)大數(shù)據(jù)平臺具備運行復(fù)雜算法、海量數(shù)據(jù)篩選與存儲能力，能為整個城市軌道交通供電系統(tǒng)生態(tài)提供有力的分析與決策能力[15]。通過構(gòu)建典型供電系統(tǒng)應(yīng)用場景，舉例說明應(yīng)用大數(shù)據(jù)平臺解決實際問題的意義。

4.1 大數(shù)據(jù)技術(shù)對系統(tǒng)設(shè)備故障產(chǎn)生的預(yù)判

傳統(tǒng)的故障檢測方法主要靠檢修人員不斷周期性的巡檢，根據(jù)經(jīng)驗判斷檢查故障奇點。設(shè)備的壽命判斷也是依據(jù)檢修與故障頻率，結(jié)合統(tǒng)計學(xué)方法定性給出。

大數(shù)據(jù)平臺從供電狀態(tài)信息網(wǎng)SCADA獲取運行參數(shù)，調(diào)取巡視監(jiān)控平臺視頻和紅外視頻信息，生產(chǎn)廠商提供的設(shè)備型式試驗報告和全壽命預(yù)估報告，描繪設(shè)備使用和維護(hù)畫像。自動提供系統(tǒng)預(yù)期工作值；同時，調(diào)取設(shè)備歷史維修與操作記錄數(shù)據(jù)庫，通過遞歸法、演繹法等數(shù)據(jù)分析算法手段，計算出系統(tǒng)運行的健康狀態(tài)，評估系統(tǒng)故障風(fēng)險并按風(fēng)險大小和緩急，動態(tài)輸出預(yù)警報告。

4.2 大數(shù)據(jù)技術(shù)對檢修保養(yǎng)流程的規(guī)范

目前南寧供電設(shè)備發(fā)生故障后，避免故障再次發(fā)生，需用人工完成以下步驟：①編寫設(shè)備的故障診斷報告；②對故障報告進(jìn)行判定和斷級；③編寫維修保養(yǎng)方案；④重新制定維修保養(yǎng)作業(yè)。傳統(tǒng)故障檢修保養(yǎng)策略需通過廠家培訓(xùn)，在熟練掌握設(shè)備性能和參數(shù)的基礎(chǔ)上再制定檢修策略。培訓(xùn)合格的維修工作人員的時間成本和培訓(xùn)成本較高。人的主觀因數(shù)影響較大，容易出現(xiàn)故障判斷或者維修作業(yè)的偏差，導(dǎo)致設(shè)備性能的下降，甚至設(shè)備損壞。借助大數(shù)據(jù)技術(shù)，在設(shè)備生產(chǎn)時，就可以錄入設(shè)備的維修保養(yǎng)信息、故障風(fēng)險報告信息等；在設(shè)備調(diào)試過程時，可人為模擬故障發(fā)生信息，錄入維修檢測的整套流程；在設(shè)備投入運行發(fā)生故障時，數(shù)據(jù)平臺調(diào)用錄入的數(shù)據(jù)，匹配相應(yīng)的維修數(shù)據(jù)庫，自動輸出事故報告、事故結(jié)論以及維修作業(yè)方法。隨著事故樣本增多或?qū)敫嗟臄?shù)據(jù)實例的修正，所匹配的數(shù)據(jù)信息更能精確指導(dǎo)維修保養(yǎng)工作，不斷更新維修檢測決策數(shù)據(jù)庫，有效降低人員培訓(xùn)成本、檢修維護(hù)時間成本等問題。使用大數(shù)據(jù)平臺輸出數(shù)據(jù)更能實現(xiàn)維修檢測的標(biāo)準(zhǔn)化、程序化、流水線化。

5 結(jié)語

本文深入剖析了城市軌道交通供電系統(tǒng)引入大數(shù)據(jù)平臺的優(yōu)勢，從大數(shù)據(jù)的采集、存儲、計算、處理、應(yīng)用等方面，以最小的改造代價，設(shè)計了南寧供電系統(tǒng)大數(shù)據(jù)平臺的基本功能，用以滿足城軌供電系統(tǒng)場景需求：

（1）分析當(dāng)前城軌供電系統(tǒng)面臨的技術(shù)困難，在立足于現(xiàn)有系統(tǒng)的基礎(chǔ)上，軟件架構(gòu)并設(shè)計的大數(shù)據(jù)平臺，是當(dāng)前供電系統(tǒng)數(shù)字化平臺的有效輔助補充工具。

（2）大數(shù)據(jù)平臺通過數(shù)據(jù)的共融共通，有效地利用了本來存在于城軌供電系統(tǒng)的有價值的數(shù)據(jù)，進(jìn)一步挖掘數(shù)據(jù)的價值潛力，減少了人員主觀因素對維修檢測的誤判，提供了有效地判定和信息共享系統(tǒng)。

但是，目前設(shè)計的大數(shù)據(jù)平臺也會存在以下不足，需待后續(xù)研究進(jìn)一步加強(qiáng)：

（1）平臺理論設(shè)計結(jié)合南寧城軌供電系統(tǒng)應(yīng)用場景理論驗證可行，缺乏大數(shù)據(jù)平臺的完整部署，設(shè)計的平臺功能尚需進(jìn)一步實踐。

（2）平臺的數(shù)據(jù)采集基于通用的結(jié)構(gòu)化或非結(jié)構(gòu)化采集工具，面對城軌供電系統(tǒng)數(shù)據(jù)的采集工具移植，尚未得到實際工程的驗證。

（3）高級應(yīng)用的算法工具來源于數(shù)據(jù)挖掘和數(shù)據(jù)分析行業(yè)的通用工具，需在實際的城軌供電系統(tǒng)平臺上驗證其通用性、兼容性、穩(wěn)定性和可靠性。