羅 波

（廣東潮惠高速公路有限公司，廣東 廣州 510000）

0 引 言

廣東省潮州至惠州高速公路項目是甬莞高速公路（國家高速G15）的西并行線之一，也是廣東省高速公路網(wǎng)規(guī)劃“九縱五橫兩環(huán)”中“四橫”的組成部分，作為沈陽至?？趪腋咚俟返膹途€，是粵東地區(qū)與珠三角之間第二條高速公路通道。項目自2011年開始籌建開工，2016年底年全面建成通車，建成通車后有效緩解粵東地區(qū)交通壓力，加強珠三角向粵東地區(qū)經(jīng)濟輻射能力，促進粵東地區(qū)經(jīng)濟發(fā)展及促進泛珠三角區(qū)域經(jīng)濟合作等都具有重要作用。信息化建設秉承高速公路“建管養(yǎng)運”理念保持同步建設，回顧十年多來建設與運營，是高速公路信息化系統(tǒng)“從無到有”的建設過程。隨著集團數(shù)據(jù)中心的建成運營，業(yè)務逐步遷移上“云”，資源統(tǒng)一整合，高速公路信息化建設也將從“中心化”往“去中心化”發(fā)展，從而開始“從有到無”的持續(xù)建設。

1 第一階段，籌建階段

信息化建設籌備階段工作重點是提出信息化建設總體目標，設計信息化網(wǎng)絡基礎(chǔ)架構(gòu)，同時解決項目籌建到開工階段的日常辦公需要。我們根據(jù)信息化建設要求部署一套多線程路由器、防火墻、核心交換機、服務器系統(tǒng)、VPN設備等基礎(chǔ)核心硬件。網(wǎng)絡方面，滿足辦公終端的互聯(lián)網(wǎng)訪問和上下級單位的專網(wǎng)文件交換，搭建IPsec VPN，滿足業(yè)務終端訪問上級單位業(yè)務系統(tǒng)服務，公網(wǎng)業(yè)務選擇上下行對等互聯(lián)網(wǎng)專線和MPLS VPN專線對接上級單位，服務器系統(tǒng)內(nèi)部署辦公需要的軟件系統(tǒng)，如OA辦公自動化系統(tǒng)，門戶系統(tǒng)、公文交換系統(tǒng)，拓撲見圖1。

圖1 信息化網(wǎng)絡基礎(chǔ)架構(gòu)

2 第二階段，項目建設階段

潮惠高速建設項目2013年8月全面開工，根據(jù)籌建期信息化建設的規(guī)劃，結(jié)合信息化系統(tǒng)的運行狀態(tài)，預測建設項目將產(chǎn)生10TB的基礎(chǔ)數(shù)據(jù)，我們建立一套服務器平臺和存儲平臺替換原有的服務器系統(tǒng)，物理算力單位元采用高性能服務器雙機熱備，采用VMwarev Sphere架構(gòu)的虛擬化技術(shù)承載各不同業(yè)務的操作系統(tǒng)。有效減少物理服務器的數(shù)目，降低硬件采購成本，更有效地利用基礎(chǔ)設施；提供實時的遠程管理和維護，快速地備份與服務轉(zhuǎn)移，提高可用性、安全性以及穩(wěn)定性。

存儲單元采用IP SAN存儲技術(shù)為核心的集中式存儲架構(gòu)，實現(xiàn)統(tǒng)一數(shù)據(jù)存儲同時還可根據(jù)業(yè)務系統(tǒng)數(shù)據(jù)的重要等級和讀寫速度需求，合理配置具有冗余能力的磁盤陣列。鑒于項目建設全面開工，信息化系統(tǒng)在原業(yè)務系統(tǒng)基礎(chǔ)上增加了高速公路項目建設業(yè)務相關(guān)系統(tǒng)，分別為HCS建設項目管理系統(tǒng)、HDS建設項目檔案管理系統(tǒng)、建設項目安全生產(chǎn)管理信息系統(tǒng)、建設項目施工監(jiān)控系統(tǒng)等。信息化系統(tǒng)使用群體已不是之前的單位內(nèi)部人員，項目建設的各類參建單位變成了信息化系統(tǒng)的使用者。由于各類參建單位的地理位置分布于道路建設沿線，橫跨五市十縣，不同于之前單位內(nèi)部人員在同一物理環(huán)境辦公，這對信息化系統(tǒng)可用性、安全性提出新的要求。為滿足各類人員的信息化業(yè)務需求，同時保證數(shù)據(jù)傳輸?shù)耐暾院桶踩?，我們采用了SSL VPN技術(shù)，實現(xiàn)外部人員信息化業(yè)務需求，既滿足業(yè)務人員信息業(yè)務需求，同時滿足系統(tǒng)安全要求。秉承“建管養(yǎng)運”一體化建設理念，監(jiān)控中心計算機系統(tǒng)在主體項目建成前提前完工并投入使用，我們部署了施工視頻監(jiān)控系統(tǒng)，實現(xiàn)特殊結(jié)構(gòu)物施工現(xiàn)場的實時視頻以大屏方式展示在監(jiān)控中心，項目管理人員實現(xiàn)遠程監(jiān)控項目建設情況。施工影像系統(tǒng)、瀝青監(jiān)測系統(tǒng)滿足了施工工序?qū)徲嬓枨?，對施工工藝工序、施工材料的控制和管理閉環(huán)提供技術(shù)保障。

除了滿足項目建設的信息化需求，機電系統(tǒng)建設也是信息化建設的重點內(nèi)容，構(gòu)建高速公路生產(chǎn)運營網(wǎng)絡，承載高速公路通信體系、收費體系、監(jiān)控體系、隧道機電體系，通過建立光纖管道資源鏈接沿線站點和相鄰路段，形成城際級別的廣域網(wǎng)。根據(jù)數(shù)據(jù)帶寬性質(zhì)和數(shù)據(jù)業(yè)務屬性，建立視頻萬兆環(huán)網(wǎng)和數(shù)據(jù)骨干網(wǎng)，分別承載道路沿線1080P監(jiān)控視頻和收費、監(jiān)控業(yè)務數(shù)據(jù)及控制指令，其中數(shù)據(jù)骨干網(wǎng)采用波分復用技術(shù)，根據(jù)業(yè)務數(shù)據(jù)屬性作物理隔離，有效節(jié)省光纖資源和接入設備。收費站均采用光環(huán)網(wǎng)結(jié)構(gòu)鏈接各類機電設備終端，承載車道級收費系統(tǒng)和站級收費系統(tǒng)，通過數(shù)據(jù)骨干網(wǎng)連接至路段收費管理中心和省聯(lián)網(wǎng)收費運營平臺機構(gòu)。道路和隧道監(jiān)控實時圖像通過區(qū)間光纜匯聚就近收費站，再經(jīng)過萬兆環(huán)網(wǎng)鏈接監(jiān)控中心。

3 第三階段，項目建成運營

潮惠高速于2016年12月底全面建成通車，信息化系統(tǒng)在原基礎(chǔ)繼續(xù)擴展，用戶群體進一步擴大，包括高速公路運營者、原項目建設人員及參建單位人員、沿線地方交管部門等。業(yè)務系統(tǒng)增加了兩大業(yè)務板塊，分別為聯(lián)網(wǎng)收費系統(tǒng)和監(jiān)控一體化平臺，辦公網(wǎng)系統(tǒng)新增了HOS高速公路運營管理系統(tǒng)。信息化系統(tǒng)按業(yè)務范圍劃分為收費業(yè)務網(wǎng)絡、監(jiān)控業(yè)務網(wǎng)絡、辦公業(yè)務網(wǎng)絡，配套設施包括骨干網(wǎng)通信傳輸設備、視頻萬兆網(wǎng)網(wǎng)絡交換設備、運營商業(yè)務線路、鏈路連接設備（交換機、路由器、防火墻、VPN網(wǎng)關(guān)等）和傳輸介質(zhì)等，見圖2。算力單元沿用VMware虛擬化品牌，成熟穩(wěn)定，由于收費系統(tǒng)和監(jiān)控系統(tǒng)存在業(yè)務上的數(shù)據(jù)交互，我們依托機電三大系統(tǒng)整合以及與安全設施系統(tǒng)整合課題，打通收費業(yè)務網(wǎng)絡和監(jiān)控業(yè)務網(wǎng)絡形成生產(chǎn)網(wǎng)。

圖2 信息化系統(tǒng)網(wǎng)絡組成示意圖

系統(tǒng)整合立足于提升潮惠高速營運管理水平，分析潮惠高速機電三大系統(tǒng)現(xiàn)狀，破解設備堆砌、利用率不高，各子系統(tǒng)之間信息互相利用率不高，軟件系統(tǒng)未能整合機電系統(tǒng)資源等問題，整合機電三大系統(tǒng)的前端、信息傳輸以及系統(tǒng)終端開發(fā)，開發(fā)建立監(jiān)控一體化平臺軟件，協(xié)調(diào)監(jiān)控設備廠家提供通信接口協(xié)議，節(jié)約建設成本，又充分提高系統(tǒng)的融合應用效率。實現(xiàn)交通控制、事件管理、對講廣播、監(jiān)控視頻管理、機電養(yǎng)護管理、應急管理、電力監(jiān)控、通信管理系統(tǒng)的動態(tài)數(shù)據(jù)交換，實現(xiàn)一套軟件，基本覆蓋所有監(jiān)控設備，結(jié)束監(jiān)控中心多套監(jiān)控業(yè)務系統(tǒng)局面，推進營運管理工作中信息化水平。機電三大系統(tǒng)的深度融合和數(shù)據(jù)交互挖掘，最大限度提高了高速公路的安全、高效、快捷和暢通，更好服務于公眾。

地方交管部門、執(zhí)法局在國家重大節(jié)假日保持屬地實時管理需要，需查閱道路車流情況，基于生產(chǎn)網(wǎng)絡服務不對外原則，我們在辦公網(wǎng)和生產(chǎn)網(wǎng)之間部署雙網(wǎng)卡服務器作為視頻聯(lián)網(wǎng)監(jiān)控系統(tǒng)，再以端口映射和客戶端方式服務于屬地交管、執(zhí)法部門和業(yè)務相關(guān)人員。鑒于信息化系統(tǒng)仍需服務建設結(jié)算人員和原建設參建單位，考慮到人員復雜性，在SSL VPN技術(shù)基礎(chǔ)上增加雙因子驗證技術(shù)。

2017年6月1日《網(wǎng)絡安全法》正式實施，我們開始對信息化系統(tǒng)進行信息安全等級保護工作，信息化工作重心從業(yè)務驅(qū)動轉(zhuǎn)為業(yè)務、安全雙驅(qū)動，同時開展網(wǎng)絡安全建設，嚴格按照定級備案、測距測評、測距整改、終驗的工作基本流程有序開展，我們對系統(tǒng)運行的核心系統(tǒng)，如聯(lián)網(wǎng)收費系統(tǒng)，監(jiān)控系統(tǒng)，OA辦公自動化系統(tǒng)進行定級備案，邀請有資質(zhì)的測評機構(gòu)，對公司備案的信息化系統(tǒng)及業(yè)務網(wǎng)絡形成等級測評，形成差距性測評報告。我們根據(jù)差距測評報告對信息化系統(tǒng)進行多維度專項整改，分別是機房物理安全，網(wǎng)路安全、主機安全、應用數(shù)據(jù)安全、制度建設，在等保安全整改工作中，遇到一些共性問題和技術(shù)難題，例如在應用系統(tǒng)發(fā)現(xiàn)存在明文傳輸風險，需通過協(xié)調(diào)軟件開發(fā)商進行督促整改；視頻聯(lián)網(wǎng)監(jiān)控系統(tǒng)的互聯(lián)網(wǎng)端口映射風險，通過減少互聯(lián)網(wǎng)暴露面，應用發(fā)布封裝技術(shù)予以加固保護。完善公司信息化和網(wǎng)絡安全制度，規(guī)范用戶行為安全，對網(wǎng)絡做好基本分層和用戶權(quán)限分級管理；系統(tǒng)和用戶的密碼復雜度要求和更換周期，需要全員配合，借此機會我們同時開展了全員網(wǎng)絡安全意識培訓，更好提高全員網(wǎng)絡安全意識和基本防護能力。在管理方面加強技術(shù)外包的運維管理，簽訂相關(guān)網(wǎng)絡信息安全與保險協(xié)議，明確責任同時等保工作也順利完成終驗。

4 第四階段，撤銷高速公路省界站工程

2019年政府工作報告提出，深化收費公路制度改革，加快收費清單“一張網(wǎng)”建設，讓收費公開透明。取消高速公路省界收費站項目，聯(lián)網(wǎng)收費系統(tǒng)迎接重大變革，信息化系統(tǒng)在原有規(guī)模基礎(chǔ)上新增56個門架系統(tǒng)，收費核心算力設備由原來的高性能服務器+集中式存儲架構(gòu)更換為超融合架構(gòu)，網(wǎng)絡安全方面對信息化系統(tǒng)提出更高要求，梳理網(wǎng)絡資產(chǎn)，厘清收費業(yè)務網(wǎng)和監(jiān)控網(wǎng)的數(shù)據(jù)交互，要求無關(guān)業(yè)務的數(shù)據(jù)原則上禁止交互，引入安全運維技術(shù)，規(guī)范運維流程。建設網(wǎng)絡安全中心，解決運維單位權(quán)限過高的問題，運維審計不足的問題，安全策略不足等問題。部署補丁測試環(huán)境和補丁發(fā)布服務器，解決補丁修復導致的系統(tǒng)不穩(wěn)定。態(tài)勢感知系統(tǒng)，實現(xiàn)路段中心網(wǎng)絡設備、收費站系統(tǒng)、ETC門架系統(tǒng)等網(wǎng)設備的安全數(shù)據(jù)采集匯總、綜合分析和評估網(wǎng)絡安全威脅與異常等功能，形成路段完整的網(wǎng)絡拓撲結(jié)構(gòu)和實時異常告警功能，并支持省中心態(tài)勢感知平臺對接功能，更好地保障信息系統(tǒng)安全、穩(wěn)定運行。

鑒于中美貿(mào)易摩擦，加上外部環(huán)境不穩(wěn)定，高精尖科技的技術(shù)封鎖，自主可控技術(shù)成為國家重要戰(zhàn)略目標，我們引入華為FusionSphere云操作系統(tǒng)、中科曙光StackCube超融合系統(tǒng)超融合架構(gòu)等自主可控計算單元取代原信息化系統(tǒng)使用的VMware虛擬化品牌。相比原信息化系統(tǒng)計算存儲虛擬化技術(shù)，超融合架構(gòu)在提供存儲的同時，也提供計算能力，這不僅大量降低電力成本，其空間優(yōu)勢也有效節(jié)省機房資源，同時也將計算放在離存儲更近的地方，達到最優(yōu)的性能。超融合架構(gòu)采用的全分布式的組件，具有原信息化系統(tǒng)無法實現(xiàn)的橫向擴展優(yōu)勢，可以像加火車車廂的方式擴展集群規(guī)模和性能，比對見表1。

表1 超融合架構(gòu)與集中式存儲架構(gòu)對比表

5 第五階段，集團數(shù)據(jù)中心建立和后續(xù)展望

2021年10月，廣東省交通集團大數(shù)據(jù)中心建成并投入運營，依托數(shù)據(jù)中心為高速公路“建管養(yǎng)運”業(yè)務提供數(shù)據(jù)支撐，為未來智慧高速、車路協(xié)同、物聯(lián)網(wǎng)提供基礎(chǔ)環(huán)境。

為確保辦公網(wǎng)業(yè)務數(shù)據(jù)傳輸?shù)陌踩?、完整性和穩(wěn)定性，首要工作就是路段辦公網(wǎng)絡與數(shù)據(jù)中心進行組網(wǎng)對接改造，利舊原VPN設備通過IPsec加密傳輸，數(shù)據(jù)骨干網(wǎng)+互聯(lián)網(wǎng)專線的主備雙鏈路模式對接數(shù)據(jù)中心，見圖3。忙時線路網(wǎng)絡平均延時控制在40 ms正負偏差5 ms，丟包率6%，平均抖動率8.0%。保證業(yè)務系統(tǒng)遷移上云后，路段訪問數(shù)據(jù)中心服務的網(wǎng)絡傳輸質(zhì)量?；ヂ?lián)網(wǎng)數(shù)據(jù)流、辦公業(yè)務數(shù)據(jù)流、收費業(yè)務數(shù)據(jù)流、監(jiān)控業(yè)務數(shù)據(jù)流及后期其他業(yè)務數(shù)據(jù)流通過獨立的防火墻實現(xiàn)邏輯隔離。

圖3 路段中心與數(shù)據(jù)中心組網(wǎng)示意圖

依托數(shù)據(jù)中心，建立機電系統(tǒng)數(shù)字監(jiān)測和運行支撐平臺，整合路段一體化監(jiān)控平臺、網(wǎng)絡安全態(tài)勢感知平臺、骨干網(wǎng)網(wǎng)管系統(tǒng)、機電運維管理平臺等，通過主動發(fā)起TCP請求的方式建立連接，單向發(fā)送數(shù)據(jù)至數(shù)字監(jiān)測和運行支撐平臺。對集團所屬路段的機電系統(tǒng)關(guān)鍵設備、核心業(yè)務數(shù)據(jù)、關(guān)鍵運營參數(shù)和網(wǎng)絡安全進行統(tǒng)一監(jiān)測和預警，全面掌握系統(tǒng)運行狀態(tài)，為路段機電系統(tǒng)運維提供技術(shù)支持和業(yè)務指導。數(shù)據(jù)采集的單向傳輸模式既保持各業(yè)務系統(tǒng)網(wǎng)絡的邏輯隔離和網(wǎng)絡邊界的完整性，又方便各路段單位通過辦公網(wǎng)訪問，同時保留系統(tǒng)推送監(jiān)測、預警信息至互聯(lián)網(wǎng)的擴展需要。集團數(shù)據(jù)中心整體架構(gòu)見圖4。

圖4 集團數(shù)據(jù)中心整體架構(gòu)圖

集團數(shù)據(jù)中心的建設完成及投入使用后，將極大提升高速公路運營管理的信息化水平和管理效率。后續(xù)工作將聚焦以下兩個方面：一是將大力推動路段中心及沿線基礎(chǔ)設施建設。路段中心建設模式將逐步向邊緣計算發(fā)展，在車路協(xié)同、物聯(lián)網(wǎng)、IPV6、北斗衛(wèi)星通信等技術(shù)加持下，構(gòu)建數(shù)字化的采集體系、網(wǎng)絡化的傳輸體系和智能化的運營體系，加強網(wǎng)絡安全和信息系統(tǒng)同步建設，加強對交通基礎(chǔ)數(shù)據(jù)全生命周期管控，聚焦信息基礎(chǔ)設施設備自主創(chuàng)新、安全可控，打造數(shù)字化、網(wǎng)絡化、智能化高速公路生態(tài)體系，更好服務于廣大司乘人員。二是將大力推進數(shù)據(jù)資源整合及數(shù)據(jù)資源挖掘利用。數(shù)據(jù)中心建成后，將會產(chǎn)生大量的辦公業(yè)務數(shù)據(jù)、收費業(yè)務數(shù)據(jù)、監(jiān)控業(yè)務數(shù)據(jù)等數(shù)據(jù)資源，形成海量的數(shù)據(jù)資源池，后期將大力整合上述數(shù)據(jù)資源，運用大數(shù)據(jù)、人工智能、云計算等先進技術(shù)，開展多源數(shù)據(jù)融合及數(shù)據(jù)挖掘工作，充分發(fā)揮數(shù)據(jù)資源價值，服務辦公、交通管理、監(jiān)控管理等業(yè)務，通過先進算法及技術(shù)提升各項業(yè)務工作效率和管理水平。