袁 焦 王 珣 伏 坤 劉 勇 鄒文露
(中鐵二院工程集團有限責(zé)任公司, 成都 610031)
2020年,全國鐵路營業(yè)里程已達(dá)14萬km,中西部路網(wǎng)規(guī)模達(dá)到了9萬km。以成昆、成蘭、川藏鐵路為代表的艱險山區(qū)鐵路沿線地質(zhì)災(zāi)害具有分散性、破壞力強、高位隱蔽及人工巡查困難等特點,對鐵路工程建設(shè)及運營安全提出了嚴(yán)峻的挑戰(zhàn)。在此背景下,基于電子信息技術(shù)研發(fā)的地質(zhì)災(zāi)害監(jiān)測預(yù)警系統(tǒng)正逐漸應(yīng)用于多個鐵路工程,實現(xiàn)了對不良地質(zhì)體的地面、坡體內(nèi)部及周邊環(huán)境的多種物理量(雨量、水位、位移、應(yīng)力、振動加速度、氣象等)的自動化監(jiān)測,并結(jié)合專業(yè)預(yù)警模型進(jìn)行綜合應(yīng)用[1],為鐵路建設(shè)與運營安全提供了基本保障,在山區(qū)鐵路地質(zhì)災(zāi)害監(jiān)測與防治方面取得了初步成效。
隨著物聯(lián)網(wǎng)、遙感技術(shù)、大數(shù)據(jù)、人工智能等新技術(shù)的快速發(fā)展[2],智能傳感、高分衛(wèi)星遙感、無人機航測、智能視頻識別等多種空-天-地監(jiān)測新技術(shù)的不斷成熟并投入應(yīng)用[3],傳統(tǒng)的地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)中心在平臺設(shè)計規(guī)模、功能與性能上無法有效滿足“全方位、全天候、全要素、全尺度”的業(yè)務(wù)需求,因此迫切需要借助云計算、大數(shù)據(jù)[4]等技術(shù)手段搭建一個艱險山區(qū)鐵路地質(zhì)災(zāi)害監(jiān)測云平臺,從而為山區(qū)鐵路地質(zhì)災(zāi)害風(fēng)險的早期識別、綜合監(jiān)測、預(yù)報預(yù)警和應(yīng)急搶險救援服務(wù)等提供重要的技術(shù)支撐,進(jìn)一步提升鐵路防災(zāi)減災(zāi)領(lǐng)域的信息化水平。
監(jiān)測中心平臺作為鐵路地質(zhì)災(zāi)害監(jiān)測預(yù)警系統(tǒng)的核心,是保障業(yè)務(wù)系統(tǒng)快速部署、穩(wěn)定運行、監(jiān)測信息綜合應(yīng)用的基礎(chǔ)平臺,結(jié)合艱險山區(qū)鐵路對地質(zhì)災(zāi)害監(jiān)測平臺服務(wù)、應(yīng)急保障的高標(biāo)準(zhǔn)建設(shè)要求,提出如下業(yè)務(wù)需求[5]:
(1)結(jié)合不同災(zāi)害對象監(jiān)測的特點和技術(shù)要求,制定功能全面、技術(shù)先進(jìn)、可擴展強的云平臺架構(gòu)方案,建設(shè)統(tǒng)一的IT資源管理平臺,業(yè)務(wù)系統(tǒng)集中部署,可滿足未來監(jiān)測業(yè)務(wù)不斷擴展的需要。
(2)應(yīng)具有多類型監(jiān)測技術(shù)的接入能力,建立多源異構(gòu)監(jiān)測數(shù)據(jù)分布式集群存儲平臺,解決空-天-地多元監(jiān)測技術(shù)綜合應(yīng)用中存在數(shù)據(jù)資源分散和信息共享度低等問題,支持對機器學(xué)習(xí)、大數(shù)據(jù)分析等新技術(shù)應(yīng)用,改善現(xiàn)有平臺中數(shù)據(jù)質(zhì)量和利用率偏低、分析評估能力不足等問題,為災(zāi)害預(yù)警預(yù)報模型研究與應(yīng)用提供相應(yīng)支撐。
(3)具有豐富的數(shù)據(jù)共享接口和應(yīng)用服務(wù),提供用戶高并行訪問能力,監(jiān)測信息、三維GIS與BIM模型融合展示的應(yīng)用需求。
國鐵集團規(guī)劃智能高速鐵路技術(shù)框架中明確提出智能建造、智能裝備、智能運營等三大板塊的技術(shù)構(gòu)成,其中智能裝備的檢測監(jiān)測板塊包括了自然災(zāi)害監(jiān)測與預(yù)警,因此本文充分依托智能高速鐵路技術(shù)體系架構(gòu),開展地質(zhì)災(zāi)害監(jiān)測云平臺總體架構(gòu)設(shè)計,如圖1所示。
圖1 監(jiān)測云平臺總體架構(gòu)圖
在鐵路沿線區(qū)間設(shè)置的大量監(jiān)測設(shè)備在施工和運營期分別利用運營商網(wǎng)絡(luò)和鐵路專網(wǎng)將數(shù)據(jù)傳輸至路局級地質(zhì)災(zāi)害監(jiān)測云平臺進(jìn)行存儲與處理,實時發(fā)布預(yù)警與報警信息。與此同時,云平臺利用數(shù)據(jù)接口服務(wù)與國鐵集團建設(shè)數(shù)據(jù)服務(wù)集成平臺進(jìn)行數(shù)據(jù)交互,將數(shù)據(jù)傳輸至國鐵集團大數(shù)據(jù)平臺進(jìn)行集中存儲,此外還可利用數(shù)據(jù)接口服務(wù)與周界入侵檢測、自然災(zāi)害(風(fēng)、雨、雪、地震)監(jiān)測、環(huán)境智能監(jiān)測等系統(tǒng)通過控制專網(wǎng)接入,完成數(shù)據(jù)交互。
根據(jù)艱險山區(qū)鐵路地質(zhì)災(zāi)害類型多、監(jiān)測技術(shù)手段豐富、數(shù)據(jù)規(guī)模大、業(yè)務(wù)應(yīng)用范圍廣等特點,本文采用分層思想設(shè)計了功能全面、可擴展性強的監(jiān)測云平臺總體架構(gòu),包括虛擬化基礎(chǔ)設(shè)施服務(wù)層(IaaS)、平臺及數(shù)據(jù)服務(wù)層(PaaS & DaaS)、軟件及應(yīng)用服務(wù)層(SaaS),云平臺技術(shù)架構(gòu)設(shè)計如圖2所示。
圖2 監(jiān)測云平臺技術(shù)架構(gòu)圖
在IaaS層,制定虛擬化基礎(chǔ)設(shè)施平臺部署方案,整合物理機計算、存儲和網(wǎng)絡(luò)資源,實現(xiàn)資源動態(tài)分配、集中利用、自動管理與靈活擴展,為平臺及數(shù)據(jù)服務(wù)和軟件及應(yīng)用服務(wù)提供基礎(chǔ)保障。
在PaaS & DaaS層,實現(xiàn)地質(zhì)災(zāi)害監(jiān)測傳感器數(shù)據(jù)、工程信息等結(jié)構(gòu)化數(shù)據(jù),腳本/XML/JSON/日志等半結(jié)構(gòu)化數(shù)據(jù),衛(wèi)星影像/勘察設(shè)計資料/視頻/GIS模型等非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一接入、集中存儲與高效管理,構(gòu)建地質(zhì)災(zāi)害多源異構(gòu)監(jiān)測數(shù)據(jù)分布式存儲平臺。
在SaaS層中,圍繞中間件技術(shù)開發(fā)數(shù)據(jù)接入與訪問接口,滿足用戶終端高并發(fā)訪問、負(fù)載均衡等功能,實現(xiàn)數(shù)據(jù)應(yīng)用定制化服務(wù);搭建基于Hadoop和Spark框架提供數(shù)據(jù)清洗、關(guān)聯(lián)分析、樣本訓(xùn)練、聚類等算法服務(wù),為開展地質(zhì)災(zāi)害預(yù)警模型研究、數(shù)據(jù)可視化提供平臺支撐。
監(jiān)測云平臺承載著信息匯聚、存儲、訪問、大數(shù)據(jù)分析及災(zāi)害評估、可視化終端應(yīng)用服務(wù)等重要任務(wù),本文依據(jù)山區(qū)鐵路地質(zhì)災(zāi)害監(jiān)測業(yè)務(wù)要求和相關(guān)規(guī)范標(biāo)準(zhǔn),開展了監(jiān)測云平臺功能設(shè)計,主要功能架構(gòu)如圖3所示。
圖3 監(jiān)測云平臺功能架構(gòu)圖
采用基于VMware平臺[6]的共享存儲與實時遷移、資源動態(tài)分配、不間斷監(jiān)控與故障切換等技術(shù)搭建虛擬化基礎(chǔ)設(shè)施集群平臺,將服務(wù)器、網(wǎng)絡(luò)、存儲等硬件資源整合與動態(tài)調(diào)配,提高了資源利用率(服務(wù)器的資源利用率提高50%以上),提升了系統(tǒng)的靈活性和服務(wù)性能,拓?fù)浣Y(jié)構(gòu)如圖4所示。隨著集群平臺的不斷應(yīng)用,可動態(tài)地增加虛擬化集群的規(guī)模,降低了建設(shè)成本,搭建更健康的IT體系架構(gòu)。
圖4 虛擬化基礎(chǔ)設(shè)施集群平臺拓?fù)浣Y(jié)構(gòu)圖
虛擬化基礎(chǔ)設(shè)施集群平臺硬件設(shè)備包含服務(wù)器主機、備份服務(wù)器、視頻云存儲集群主機、云平臺管理主機、視頻分析工作站、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備等,軟件系統(tǒng)由虛擬化平臺軟件、數(shù)據(jù)庫系統(tǒng)、業(yè)務(wù)應(yīng)用軟件等組成。云平臺提供外網(wǎng)訪問接口,桌面終端與移動終端在施工期間均通過運營商網(wǎng)絡(luò)與云平臺實現(xiàn)數(shù)據(jù)交互,運營期間桌面終端與移動終端通過路局專網(wǎng)無線接入平臺。
3.2.1 高可用分布式數(shù)據(jù)庫集群
采用開源負(fù)載均衡和中間件技術(shù)將MySQL組織為高可用、高性能的分布式數(shù)據(jù)庫集群平臺,解決傳統(tǒng)單點數(shù)據(jù)庫并發(fā)訪問壓力大、存儲容量小、單機性能弱的限制,適應(yīng)于TB級結(jié)構(gòu)化監(jiān)測數(shù)據(jù)存儲與高并發(fā)、高速訪問的要求,集群平臺架構(gòu)如圖5所示。
圖5 高可用分布式數(shù)據(jù)庫集群平臺架構(gòu)圖
在上述架構(gòu)設(shè)計中,獨立的數(shù)據(jù)庫和中間件服務(wù)器無法滿足高性能要求,需借助各集群層級間相互協(xié)同運轉(zhuǎn)來實現(xiàn)。應(yīng)用邏輯層將用戶請求的讀寫業(yè)務(wù)分離,建立Redis內(nèi)存數(shù)據(jù)庫集群緩存與同步熱點數(shù)據(jù),滿足快速讀取響應(yīng)要求,寫入請求轉(zhuǎn)發(fā)至訪問分發(fā)調(diào)度層。訪問分發(fā)調(diào)度層通過KeepAlived實現(xiàn)將虛擬IP映射到HaProxy負(fù)載均衡服務(wù)器的Master節(jié)點和Backup節(jié)點(作為熱備),實時檢測中間件集群節(jié)點的反饋狀態(tài),使業(yè)務(wù)請求平均分配至集群的各個節(jié)點。中間件集群層通過MyCAT中間件技術(shù)實現(xiàn)業(yè)務(wù)請求讀寫分離、服務(wù)器并行執(zhí)行等任務(wù)。分布式數(shù)據(jù)庫集群層按照先垂直再水平的拆分原則實現(xiàn)分庫、分區(qū)設(shè)計。首先根據(jù)不同業(yè)務(wù)進(jìn)行垂直切分,分為靜態(tài)數(shù)據(jù)(工程、設(shè)備、GIS瓦片模型屬性等信息)和動態(tài)數(shù)據(jù)(監(jiān)測值、狀態(tài)、評估結(jié)果等)存放至不同的數(shù)據(jù)庫中,應(yīng)用通過路由規(guī)則訪問特定的數(shù)據(jù)庫。然后將動態(tài)數(shù)據(jù)庫進(jìn)行水平拆分,通過庫內(nèi)分區(qū)、分表和水平分庫的方式將設(shè)備類型按照序號規(guī)則編碼,實現(xiàn)將每片數(shù)據(jù)會分散到不同的MySQL表或庫進(jìn)行分布式存儲。
動態(tài)數(shù)據(jù)根據(jù)設(shè)備采樣頻率又分為低頻數(shù)據(jù)與高頻數(shù)據(jù),低頻數(shù)據(jù)庫集群中單個數(shù)據(jù)庫節(jié)點計劃存儲20類設(shè)備,每類設(shè)備500臺,5年存儲的監(jiān)測總數(shù)據(jù)量達(dá)35億條。本文以半年為單位設(shè)計10個表分區(qū),每個分區(qū)表數(shù)據(jù)量為439.2萬條,從而提高了數(shù)據(jù)庫讀寫的執(zhí)行效率。當(dāng)單表設(shè)備數(shù)量超過500臺或設(shè)備種類超過20類時,通過增加數(shù)據(jù)庫節(jié)點進(jìn)行分庫處理,實現(xiàn)數(shù)據(jù)庫集群的水平擴展。高頻數(shù)據(jù)庫集群中單個數(shù)據(jù)庫節(jié)點計劃存儲5臺設(shè)備,單日數(shù)據(jù)總量可達(dá) 4 000萬條,除了進(jìn)行庫內(nèi)分區(qū)分表處理外,也進(jìn)行分庫處理。平臺統(tǒng)一采用數(shù)據(jù)庫集群中間件進(jìn)行分庫管理,通過配置表控制設(shè)備的數(shù)據(jù)存入節(jié)點。地質(zhì)災(zāi)害監(jiān)測中動態(tài)數(shù)據(jù)庫分庫分區(qū)設(shè)計方案如圖6所示。
圖6 動態(tài)數(shù)據(jù)庫集群分庫分區(qū)方案圖
3.2.2 基于FastDFS的瓦片數(shù)據(jù)集群
地質(zhì)災(zāi)害監(jiān)測中三維模型/傾斜攝影/點云等瓦片數(shù)據(jù)具有單個文件小(<1 MB)、總計數(shù)量多(千萬級)、網(wǎng)絡(luò)發(fā)布困難等特點,結(jié)合艱險山區(qū)鐵路對三維展示與應(yīng)急搶險數(shù)據(jù)共享的需求,采用以FastDFS分布式文件系統(tǒng)為后臺管理,利用負(fù)載均衡、高可用技術(shù)等搭建瓦片數(shù)據(jù)集群存儲平臺。在此基礎(chǔ)上開發(fā)了基于http協(xié)議瓦片數(shù)據(jù)上傳、下載、刪除、同步斷點續(xù)傳等接口服務(wù),實現(xiàn)了瓦片數(shù)據(jù)的高效存儲與訪問,解決了TB級瓦片數(shù)據(jù)發(fā)布及數(shù)據(jù)共享難題。瓦片文檔數(shù)據(jù)上傳邏輯流程如圖7所示。
圖7 瓦片文檔數(shù)據(jù)上傳邏輯流程圖
3.2.3 基于Hadoop和Spark大數(shù)據(jù)分析與計算平臺
隨著空-天-地多源監(jiān)測技術(shù)的廣泛應(yīng)用于艱險山區(qū)鐵路地質(zhì)災(zāi)害監(jiān)測預(yù)警系統(tǒng)中,遙感衛(wèi)星影像、文檔資料、視頻等非結(jié)構(gòu)化數(shù)據(jù)在監(jiān)測數(shù)據(jù)中占比急劇增加,而關(guān)系數(shù)據(jù)庫無法滿足對非結(jié)構(gòu)化數(shù)據(jù)存儲和大數(shù)據(jù)融合分析等應(yīng)用需求,因此采用Hadoop分布式系統(tǒng)架構(gòu)和Spark計算引擎來構(gòu)建了大數(shù)據(jù)存儲及分析平臺,為PB級非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分布式存儲與高效數(shù)據(jù)挖掘提供服務(wù)。
在虛擬化基礎(chǔ)設(shè)施平臺中生成20臺虛擬服務(wù)器組成的大數(shù)據(jù)存儲與分析平臺,部署方案如圖8所示。其中1臺Ambari-Server服務(wù)器用于監(jiān)控大數(shù)據(jù)平臺的運行狀態(tài),19臺虛擬服務(wù)器用于搭建Hadoop平臺,包括4臺主節(jié)點以及15臺從節(jié)點。在4臺主節(jié)點上作為分布式文件系統(tǒng)HDFS的NameNode、分布式數(shù)據(jù)庫Hbase的Master和數(shù)據(jù)倉庫Hive的Metastore。15臺從節(jié)點中,安裝Yarn的ResrouceManager、TimelineService和Registry DNS進(jìn)行資源管理,選擇12臺從節(jié)點作為Spark集群的從節(jié)點、數(shù)據(jù)節(jié)點DataNode和Zookeeper節(jié)點用來保存和處理非結(jié)構(gòu)化數(shù)據(jù)和應(yīng)用程序協(xié)調(diào)。
圖8 大數(shù)據(jù)存儲及分析平臺部署方案圖
3.3.1 數(shù)據(jù)共享接口
受艱險山區(qū)地勢高差大、公網(wǎng)覆蓋范圍限制等不利因素影響,地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)傳輸常采用專用有線網(wǎng)絡(luò)(現(xiàn)場總線、工業(yè)以太網(wǎng))、無線通信網(wǎng)絡(luò)(LoRa、ZigBee、WiFi、GPRS/4G等)[7]、北斗衛(wèi)星通信等一種或多種混合傳輸方式,因此造成中心平臺數(shù)據(jù)接口類型復(fù)雜多樣,通信協(xié)議不統(tǒng)一,數(shù)據(jù)完整性難以有效校驗,本平臺設(shè)計了規(guī)范化數(shù)據(jù)格式和報文協(xié)議,并采用基于HTTP、SuperSocket、WebService技術(shù)開發(fā)了數(shù)據(jù)共享平臺,提供多應(yīng)用場景下內(nèi)部與外部系統(tǒng)數(shù)據(jù)交互通道。
3.3.2 數(shù)據(jù)應(yīng)用服務(wù)
針對監(jiān)測終端訪問方式數(shù)據(jù)網(wǎng)絡(luò)傳輸性能低、網(wǎng)絡(luò)流量耗損大等難點,采用分布式緩存、負(fù)載均衡調(diào)度、WCF數(shù)據(jù)通信等技術(shù)開發(fā)了高可用的應(yīng)用服務(wù)集群平臺,實現(xiàn)數(shù)據(jù)壓縮傳輸、熱點數(shù)據(jù)緩存、雙機熱備、故障自動轉(zhuǎn)移、負(fù)載均衡等功能,滿足用戶對監(jiān)測數(shù)據(jù)、文檔、瓦片模型高訪問的需求。
此外,在大數(shù)據(jù)存儲與分析平臺中通過Sqoop工具實現(xiàn)了分布式MySQL數(shù)據(jù)庫集群與HDFS文件系統(tǒng)、Hive數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)互通,利用Spark框架豐富的算法為數(shù)據(jù)融合、異常數(shù)據(jù)清洗、聚類分析、預(yù)警模型研究、數(shù)據(jù)可視化等業(yè)務(wù)提供服務(wù)。
3.3.3 多場景終端應(yīng)用服務(wù)
利用云平臺靈活的擴展能力將已建業(yè)務(wù)應(yīng)用優(yōu)化整合,新增功能定制化設(shè)計,實現(xiàn)了監(jiān)測數(shù)據(jù)實時更新、三維模型與GIS信息深度融合、視頻集中遠(yuǎn)程存取、智能圖像識別服務(wù)、移動終端預(yù)警/報警消息主動推送等應(yīng)用服務(wù),此外基于開源可視化組件開發(fā)多樣化圖表展示后臺數(shù)據(jù)處理接口,為前端數(shù)據(jù)可視化提供服務(wù),逐步提升桌面應(yīng)用與移動應(yīng)用用戶體驗,實現(xiàn)地質(zhì)災(zāi)害監(jiān)測預(yù)警精細(xì)化、智能化管理。
成昆鐵路K 310山體崩塌災(zāi)害采用了傳感器(雨量計、裂縫計)監(jiān)測、北斗變形監(jiān)測、無人機傾斜攝影測量、視頻監(jiān)控、地基雷達(dá)變形監(jiān)測等多種技術(shù)手段,構(gòu)建了多維度立體的監(jiān)測體系。應(yīng)用地質(zhì)災(zāi)害監(jiān)測云平臺將工程信息、三維GIS、監(jiān)測數(shù)據(jù)、視頻等集中存儲與管理,實現(xiàn)了多源監(jiān)測信息通過時間、空間維度進(jìn)行深度融合和智能化應(yīng)用。在搶險救援期間,通過云平臺及時遠(yuǎn)程發(fā)布三維傾斜攝影實景模型,為制定救援方案和坡體整治方案提供輔助;在施工整治期,通過該平臺具有雨量感知自動變頻、報警視頻聯(lián)動、突發(fā)變形主動報警、分級預(yù)警判定等功能,實現(xiàn)災(zāi)前預(yù)警與災(zāi)后報警信息快速推送,經(jīng)現(xiàn)場測試驗證,報警延遲小于2 s,有效保障了施工人員作業(yè)安全;臨時開通期,平臺接入北斗變形監(jiān)測與雷達(dá)定點高精度變形監(jiān)測,提供7×24 h不間斷監(jiān)測與評估服務(wù),保障了鐵路運營安全。此外與相關(guān)單位共同制定應(yīng)急響應(yīng)機制及管理流程,形成了“管理-監(jiān)測-評估-決策”于一體的地質(zhì)災(zāi)害監(jiān)控技術(shù)體系和示范系統(tǒng)。
本文結(jié)合山區(qū)鐵路地質(zhì)災(zāi)害監(jiān)測的特點和業(yè)務(wù)需求,通過對云計算、分布式存儲、大數(shù)據(jù)等技術(shù)深入研究與應(yīng)用,得出以下結(jié)論:
(1)設(shè)計了集虛擬化基礎(chǔ)設(shè)施服務(wù)、平臺及數(shù)據(jù)服務(wù)、軟件及應(yīng)用服務(wù)于一體的監(jiān)測云平臺總體架構(gòu)。
(2)重點研究了多源異構(gòu)監(jiān)測數(shù)據(jù)高效存儲與訪問、分布式數(shù)據(jù)庫集群與應(yīng)用服務(wù)集群、多維信息融合展示技術(shù),實現(xiàn)了艱險山區(qū)鐵路地質(zhì)災(zāi)害監(jiān)測云平臺的搭建。
(3)平臺具有功能全面、擴展性強、資源利用率高、維護(hù)便捷等特點,通過在成蘭、成昆鐵路等地質(zhì)災(zāi)害監(jiān)測系統(tǒng)中成功應(yīng)用,驗證其具備支撐大規(guī)模地質(zhì)災(zāi)害及基礎(chǔ)設(shè)施監(jiān)測預(yù)警系統(tǒng)部署能力。
未來將圍繞該平臺持續(xù)進(jìn)行深入研發(fā)與應(yīng)用,可有效提升艱險山區(qū)鐵路地質(zhì)災(zāi)害監(jiān)測信息管理、災(zāi)害隱患分析等技術(shù)能力[8],推動更專業(yè)、更系統(tǒng)地進(jìn)行地質(zhì)災(zāi)害監(jiān)測評價體系和行業(yè)標(biāo)準(zhǔn)研究。