毛少將
(通號(hào)通信信息集團(tuán)有限公司,北京 100070)
城市軌道交通具有安全、快捷、準(zhǔn)時(shí)、高運(yùn)能、綠色環(huán)保等明顯優(yōu)勢(shì),對(duì)推進(jìn)城市現(xiàn)代化進(jìn)程、改善交通運(yùn)輸環(huán)境、引導(dǎo)優(yōu)化城市空間布局、帶動(dòng)城市經(jīng)濟(jì)創(chuàng)新發(fā)展發(fā)揮了巨大推動(dòng)作用,被各級(jí)政府和市民所接受[1]。目前全國(guó)運(yùn)行線路數(shù)量和旅客總量均列世界首位,中國(guó)已成為名副其實(shí)的“城軌大國(guó)”。在當(dāng)前中國(guó)城市軌道交通建設(shè)規(guī)?;F(xiàn)代化快速推進(jìn)的情況下,中國(guó)實(shí)現(xiàn)了由“城軌大國(guó)”到“城軌強(qiáng)國(guó)”的轉(zhuǎn)變,大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、云計(jì)算等新一代信息技術(shù)在中國(guó)城市軌道交通方面發(fā)揮了關(guān)鍵作用[2-3]。
2019年9月,由中共中央、國(guó)務(wù)院印發(fā)實(shí)施的《交通強(qiáng)國(guó)建設(shè)綱要》提到了“大力發(fā)展智慧交通,推動(dòng)大數(shù)據(jù)、互聯(lián)網(wǎng)、人工智能、區(qū)塊鏈、超級(jí)計(jì)算等新技術(shù)與交通行業(yè)深度融合”[4]。該文提出的城市軌道交通綜合服務(wù)平臺(tái)將大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、云計(jì)算等信息技術(shù)與城市軌道交通運(yùn)營(yíng)管理、運(yùn)維保障和安全防護(hù)業(yè)務(wù)應(yīng)用深度融合,實(shí)現(xiàn)城市軌道交通服務(wù)的智能化和協(xié)同化,進(jìn)一步提升了城軌公共服務(wù)水平和治理能力。綜合服務(wù)平臺(tái)作為城市軌道交通各業(yè)務(wù)應(yīng)用實(shí)現(xiàn)智慧化的“數(shù)字底座”,通過(guò)整合所有信息系統(tǒng)的海量異構(gòu)數(shù)據(jù)資源,進(jìn)行匯集、管理和分析,可打破城市軌道交通各信息系統(tǒng)數(shù)據(jù)孤島的局面,形成數(shù)據(jù)融合分析和共用共享,推動(dòng)城市軌道交通系統(tǒng)向智慧化、人性化的趨勢(shì)演變。
城市軌道交通綜合服務(wù)平臺(tái)的總體架構(gòu)如圖1所示,整個(gè)平臺(tái)由基礎(chǔ)設(shè)施層、平臺(tái)服務(wù)層和應(yīng)用展示層構(gòu)成。向下由城市軌道交通現(xiàn)有的乘客資訊、綜合監(jiān)控、自動(dòng)售檢票、通信、視頻監(jiān)控、供電等信息系統(tǒng),各類傳感設(shè)備及其他行業(yè)相關(guān)數(shù)據(jù)源提供數(shù)據(jù)來(lái)源,向上支撐城市軌道交通智能車站、運(yùn)維保障和智能安防等業(yè)務(wù)應(yīng)用。
圖1 城市軌道交通綜合服務(wù)平臺(tái)總體架構(gòu)
基礎(chǔ)設(shè)施層是整個(gè)城市軌道交通綜合服務(wù)平臺(tái)的載體,包括網(wǎng)絡(luò)系統(tǒng)、服務(wù)器集群系統(tǒng)、存儲(chǔ)備份系統(tǒng)等物理環(huán)境,以及專用計(jì)算機(jī)機(jī)房環(huán)境、互聯(lián)網(wǎng)等,其為系統(tǒng)提供其所需的計(jì)算、通信和存儲(chǔ)等資源[5]。
平臺(tái)服務(wù)層主要實(shí)現(xiàn)城市軌道交通各原有信息系統(tǒng)和多源異構(gòu)設(shè)備數(shù)據(jù)的采集、加工、存儲(chǔ)、分析和管理等功能,提供系統(tǒng)或設(shè)備與平臺(tái)間穩(wěn)定安全的雙向通信。同時(shí),根據(jù)平臺(tái)內(nèi)部集成的分布式存儲(chǔ)、平臺(tái)管理、大數(shù)據(jù)分析、人工智能分析和空間位置服務(wù),提高數(shù)據(jù)的流式和離線計(jì)算、數(shù)據(jù)存儲(chǔ)、基于機(jī)器學(xué)習(xí)的數(shù)據(jù)分析和挖掘、智能化視頻分析、信息融合、資源共享、統(tǒng)一管理等能力[6]。平臺(tái)服務(wù)層是整個(gè)系統(tǒng)的核心層,其面向應(yīng)用軟件開(kāi)發(fā)者,把分布式軟件開(kāi)發(fā)、測(cè)試、部署、運(yùn)行環(huán)境以及復(fù)雜的應(yīng)用程序托管當(dāng)作服務(wù),使得開(kāi)發(fā)者可以從復(fù)雜低效的環(huán)境搭建、配置和維護(hù)工作中解放出來(lái),將精力集中在軟件編寫上,從而大大提高軟件開(kāi)發(fā)的效率[7]。平臺(tái)服務(wù)層向下由城市軌道交通各信息系統(tǒng)和設(shè)備提供海量數(shù)據(jù)來(lái)源,向上支撐城市軌道交通行業(yè)的各個(gè)應(yīng)用子系統(tǒng)的需求。
應(yīng)用展示層的功能是實(shí)現(xiàn)大數(shù)據(jù)信息技術(shù)與城軌行業(yè)應(yīng)用的深度接觸,完成物體信息的協(xié)同、共享、決策等功能,形成智能化應(yīng)用的解決方案,從而實(shí)現(xiàn)大數(shù)據(jù)在城市軌道交通行業(yè)的運(yùn)用。其直接面向城市軌道交通工作人員和管理員,提供城市軌道交通行業(yè)應(yīng)用服務(wù),解決包括智能車站、運(yùn)維保障、智能安防等應(yīng)用子系統(tǒng)的需求問(wèn)題,提供城市軌道交通行業(yè)通用的綜合管控。
城市軌道交通綜合服務(wù)平臺(tái)由兩大塊組成:一個(gè)是大數(shù)據(jù)平臺(tái),一個(gè)是融合3個(gè)應(yīng)用系統(tǒng)的城市軌道交通智慧應(yīng)用服務(wù)。整個(gè)系統(tǒng)的組成結(jié)構(gòu)如圖2所示。
圖2 城市軌道交通綜合服務(wù)平臺(tái)組成結(jié)構(gòu)
大數(shù)據(jù)平臺(tái)主要針對(duì)多種城市軌道交通應(yīng)用服務(wù)提供統(tǒng)一的數(shù)據(jù)及計(jì)算支撐。平臺(tái)主要包括數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)預(yù)處理子系統(tǒng)、數(shù)據(jù)分析子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)、平臺(tái)管理子系統(tǒng)五個(gè)部分。
2.1.1 數(shù)據(jù)采集子系統(tǒng)
城市軌道交通系統(tǒng)的數(shù)據(jù)來(lái)源復(fù)雜,有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)和文件,也有終端實(shí)時(shí)運(yùn)行數(shù)據(jù)。數(shù)據(jù)采集子系統(tǒng)是大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)處理的第一個(gè)環(huán)節(jié),如圖3所示,從功能上分為離線數(shù)據(jù)采集和實(shí)時(shí)數(shù)據(jù)采集。其中離線采集包括Mysql、PostgreSQL數(shù)據(jù)同步以及文本類日志同步,Mysql、PostgreSQL數(shù)據(jù)同步基于Seatunnel框架構(gòu)建,文本類日志同步基于Flume構(gòu)建。實(shí)時(shí)采集包括Mysql、PostgreSQL數(shù)據(jù)同步和Kafka數(shù)據(jù)采集,整體基于FlinkCDC構(gòu)建。同時(shí),支持傳感設(shè)備數(shù)據(jù)的接入,由IoT-hub統(tǒng)一接入到消息代理服務(wù)器,并發(fā)布到Kafka消息總線。
圖3 數(shù)據(jù)采集子系統(tǒng)結(jié)構(gòu)圖
2.1.2 數(shù)據(jù)預(yù)處理子系統(tǒng)
從采集大量原始數(shù)據(jù)只有被整合和計(jì)算才能體現(xiàn)出其價(jià)值,數(shù)據(jù)預(yù)處理子系統(tǒng)結(jié)構(gòu)如圖4所示。其主要對(duì)數(shù)據(jù)進(jìn)行一系列的校驗(yàn)、清洗和轉(zhuǎn)化,然后按主題對(duì)數(shù)據(jù)進(jìn)行重組,最后以維度模型的方式呈現(xiàn)出來(lái)。其中主要分為FlinkSQL在線編輯、建表和相關(guān)功能預(yù)處理部分,包括分組聚合、缺失值處理、數(shù)據(jù)篩選、表連接、表合并、修改列名、新增字段等。該模塊使用Flinksql、Hive組件基于SpringBoot和Codemirror框架開(kāi)發(fā)。
圖4 數(shù)據(jù)預(yù)處理子系統(tǒng)結(jié)構(gòu)圖
2.1.3 數(shù)據(jù)存儲(chǔ)子系統(tǒng)
如圖5所示,整個(gè)數(shù)據(jù)存儲(chǔ)子系統(tǒng)對(duì)外通過(guò)統(tǒng)一的數(shù)據(jù)訪問(wèn)層,提供多種數(shù)據(jù)的存儲(chǔ)能力,具體包括:對(duì)象存儲(chǔ)、半結(jié)構(gòu)化存儲(chǔ)、數(shù)據(jù)倉(cāng)庫(kù)。其中選擇IoTDB等數(shù)據(jù)庫(kù)用于半結(jié)構(gòu)化存儲(chǔ),存儲(chǔ)以傳感設(shè)備上傳的終端數(shù)據(jù)的設(shè)備影子和智能分析為主的海量半結(jié)構(gòu)化數(shù)據(jù)。選擇MinIO用于對(duì)象存儲(chǔ),包括視頻及圖片二進(jìn)制對(duì)象。選擇Openlookeng提供通過(guò)數(shù)據(jù)源連接框架連接數(shù)據(jù)倉(cāng)庫(kù),Data Source Connector提供多種數(shù)據(jù)源的訪問(wèn)能力,無(wú)論是大數(shù)據(jù)生態(tài)的Hive或者Clickhouse,或是OLTP數(shù)據(jù)庫(kù)PostgreSQL以及MySQL,都可以方便地接入。此外,OpenLooKeng提供跨數(shù)據(jù)中心Data Center Connector,提供高性能跨域協(xié)同計(jì)算。
圖5 數(shù)據(jù)存儲(chǔ)子系統(tǒng)結(jié)構(gòu)圖
2.1.4 平臺(tái)管理子系統(tǒng)
平臺(tái)管理子系統(tǒng)主要包括分布式協(xié)調(diào)、集群管理、任務(wù)管理、元數(shù)據(jù)管理、統(tǒng)一認(rèn)證管理、消息管理、運(yùn)維管理7個(gè)部分。其中分布式協(xié)調(diào)采用Zookeeper組件,主要實(shí)現(xiàn)任務(wù)的分配以及分布式各個(gè)節(jié)點(diǎn)的信息同步;采用Yarn實(shí)現(xiàn)集群資源的調(diào)度以及各任務(wù)資源的分配;通過(guò)Oozie實(shí)現(xiàn)數(shù)據(jù)預(yù)處理以及分析任務(wù)的整合,大幅提高開(kāi)發(fā)效率;元數(shù)據(jù)管理主要是管理業(yè)務(wù)元數(shù)據(jù)以及集群元數(shù)據(jù)的收集、組織和維持,通過(guò)Atlas元數(shù)據(jù)架構(gòu),它建立了一種可延伸和可拓展性的核心基礎(chǔ)數(shù)據(jù)管理業(yè)務(wù)集;統(tǒng)一認(rèn)證管理主要實(shí)現(xiàn)各個(gè)子系統(tǒng)以及模塊之間的認(rèn)證(鑒定訪問(wèn)是否合法),該平臺(tái)統(tǒng)一認(rèn)證主要是基于spring security來(lái)實(shí)現(xiàn);消息管理部分采用成熟的大數(shù)據(jù)組件Kafka來(lái)開(kāi)發(fā),主要實(shí)現(xiàn)各個(gè)子系統(tǒng)及集群之間的消息交互任務(wù)以及消息創(chuàng)建、跟蹤、銷毀等;運(yùn)維管理功能主要是基于Metrics進(jìn)行二次開(kāi)發(fā),實(shí)現(xiàn)對(duì)設(shè)備層、服務(wù)層、平臺(tái)層不同資源的監(jiān)控。
2.1.5 數(shù)據(jù)分析子系統(tǒng)
數(shù)據(jù)分析子系統(tǒng)主要包括數(shù)據(jù)分析、數(shù)據(jù)可視化、機(jī)器學(xué)習(xí)/人工智能、信息融合4部分。其中數(shù)據(jù)分析主要實(shí)現(xiàn)基本的數(shù)據(jù)統(tǒng)計(jì)分析和關(guān)聯(lián)分析業(yè)務(wù),使用SparkMLlib及Kylin、Druid來(lái)實(shí)現(xiàn)對(duì)業(yè)務(wù)中數(shù)據(jù)的基本統(tǒng)計(jì)分析和潛在關(guān)系的深度挖掘;數(shù)據(jù)可視化主要實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的可視化展示,基于Tableau、OpenLayers、Cesium等來(lái)實(shí)現(xiàn),包括數(shù)據(jù)的可視化、數(shù)據(jù)分析建模可視化、數(shù)據(jù)處理過(guò)程可視化、自定義操作界面和三維地理信息可視化交互;機(jī)器學(xué)習(xí)/人工智能實(shí)現(xiàn)圖像、文本、語(yǔ)音等數(shù)據(jù)的知識(shí)提取,依托于大數(shù)據(jù)平臺(tái)標(biāo)準(zhǔn)化后的數(shù)據(jù)進(jìn)行學(xué)習(xí),此部分基于Sklearn、Tensorflow、Pytorch等深度學(xué)習(xí)模型,使用深度學(xué)習(xí)算法(CNN、DNN、RNN、LSTM等)及部分機(jī)器學(xué)習(xí)算法(SVM、DBSCAN、KF等)實(shí)現(xiàn)對(duì)語(yǔ)音、圖像及其他數(shù)據(jù)的分析;信息融合主要是對(duì)原始數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)、高維度數(shù)據(jù)進(jìn)行融合分析,實(shí)現(xiàn)輔助決策,根據(jù)信息融合得到的結(jié)果,可以為城市軌道交通行業(yè)提供全方位、多層次的輔助決策支持和知識(shí)服務(wù),實(shí)現(xiàn)包括應(yīng)急預(yù)案推薦、節(jié)能計(jì)劃推薦、系統(tǒng)優(yōu)化方案推薦等。
2.2.1 智能車站
智能車站系統(tǒng)主要針對(duì)城市軌道交通車站日常運(yùn)營(yíng)和車站管控,其通過(guò)大數(shù)據(jù)平臺(tái)對(duì)車站各信息系統(tǒng)和傳感設(shè)備的連接、控制,實(shí)現(xiàn)一鍵智能開(kāi)關(guān)站,將開(kāi)關(guān)站從線下轉(zhuǎn)為線上,縮短開(kāi)關(guān)站時(shí)間;采集環(huán)境數(shù)據(jù),智能調(diào)控車站內(nèi)部溫度異常、空氣異味;采集手機(jī)、購(gòu)票、閘機(jī)數(shù)據(jù),精準(zhǔn)監(jiān)測(cè)車站及線路的人流數(shù)據(jù),科學(xué)預(yù)判未來(lái)人流趨勢(shì);配置應(yīng)急預(yù)案,根據(jù)報(bào)警類型智能匹配對(duì)應(yīng)預(yù)案;采用大數(shù)據(jù)分析技術(shù),對(duì)車站能耗指標(biāo)多維度分析;采用室內(nèi)定位技術(shù),定位車站工作人員準(zhǔn)確位置。
智能車站系統(tǒng)通過(guò)利用大數(shù)據(jù)平臺(tái)的服務(wù),賦能原始數(shù)據(jù)并應(yīng)用到車站不同場(chǎng)景的各個(gè)功能,實(shí)現(xiàn)車站運(yùn)營(yíng)智慧化、報(bào)警處理智能化、人員管理數(shù)字化。
2.2.2 運(yùn)維保障
運(yùn)維保障系統(tǒng)通過(guò)智能檢測(cè)設(shè)備、檢修機(jī)器人、智能生產(chǎn)作業(yè)、設(shè)備健康大數(shù)據(jù)評(píng)估等技術(shù)手段對(duì)傳統(tǒng)城市軌道交通運(yùn)維作業(yè)和管理進(jìn)行智慧化升級(jí)。系統(tǒng)利用車載設(shè)備、綜合檢測(cè)設(shè)備對(duì)隧道、軌道、橋梁等設(shè)施檢測(cè)和智能分析,升級(jí)檢測(cè)和巡檢方式;設(shè)備接入、狀態(tài)檢測(cè),科學(xué)評(píng)估設(shè)備健康狀態(tài),升級(jí)設(shè)備故障預(yù)防技術(shù);圍繞設(shè)備設(shè)施運(yùn)維管理,自動(dòng)化生成計(jì)劃,作業(yè)流程標(biāo)準(zhǔn)化監(jiān)控,升級(jí)生產(chǎn)管理方法,提升管理效率;引入檢修機(jī)器人,升級(jí)檢修手段。
系統(tǒng)通過(guò)接入城市軌道交通各信息系統(tǒng)的終端設(shè)備數(shù)據(jù),利用大數(shù)據(jù)平臺(tái)服務(wù),實(shí)現(xiàn)包括智能生產(chǎn)管理、應(yīng)急搶修管理、安全管理、資產(chǎn)管理、基礎(chǔ)數(shù)據(jù)管理、消息管理、用戶管理、系統(tǒng)管理等功能。結(jié)合智能裝備(線路巡檢車、智能作業(yè)終端、檢修機(jī)器人)實(shí)現(xiàn)城市軌道交通運(yùn)維管理智慧化、設(shè)施設(shè)備檢測(cè)智能化、設(shè)備檢修自動(dòng)化。
2.2.3 智能安防
智能安防系統(tǒng)整合了視頻監(jiān)控、安檢、出入口控制、入侵報(bào)警、電子巡查等子系統(tǒng),實(shí)現(xiàn)各子系統(tǒng)間信息共享和統(tǒng)一聯(lián)動(dòng)。智能安防系統(tǒng)由安防綜合監(jiān)控和安防監(jiān)控模塊組成。其中根據(jù)城市軌道交通運(yùn)營(yíng)系統(tǒng)組織機(jī)構(gòu)的層級(jí),安防綜合監(jiān)控總共劃分為路網(wǎng)級(jí)安防監(jiān)控、區(qū)域級(jí)安防監(jiān)控、線路中心級(jí)安防監(jiān)控和站點(diǎn)級(jí)安防監(jiān)控4個(gè)綜合監(jiān)控等級(jí)。根據(jù)面向的安防子系統(tǒng)的不同,共有視頻監(jiān)控、客流管理、入侵探測(cè)、門禁控制和安全檢查5個(gè)安防監(jiān)控模塊。
智能安防系統(tǒng)應(yīng)用視頻AI技術(shù),實(shí)現(xiàn)多種重要安防場(chǎng)景的視頻分析及異常識(shí)別,內(nèi)置多種場(chǎng)景化的事件處置預(yù)案和應(yīng)急預(yù)案,結(jié)合大數(shù)據(jù)統(tǒng)分功能,實(shí)現(xiàn)安防事件的快速處置和科學(xué)分析預(yù)測(cè)。
隨著城市化進(jìn)程的加快,城市軌道交通建設(shè)發(fā)展迅猛[8]。但由于信息化和協(xié)同化程度不高,城市軌道交通存在各子系統(tǒng)間數(shù)據(jù)難以共用、系統(tǒng)存在獨(dú)立操作和展示等問(wèn)題。結(jié)合城市軌道交通的智能化發(fā)展需求和新技術(shù)與業(yè)務(wù)的深度融合,急需打造具有互聯(lián)互通和“接、存、算、管”一體化特色的城市軌道交通綜合服務(wù)平臺(tái)。該文以城市軌道交通行業(yè)信息化、協(xié)同化、智能化需求為背景,基于大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、云計(jì)算等信息通信技術(shù),構(gòu)建了一個(gè)提升城市軌道交通管理與服務(wù)信息化、智慧化能力的綜合服務(wù)平臺(tái),為軌道交通行業(yè)在生產(chǎn)方式、組織形態(tài)、管理理念和商業(yè)模式方面的創(chuàng)新發(fā)展提供新思路。