鞠軍,李照彬
(1.新疆交通建設管理局,新疆 烏魯木齊 830049,2.北京交科公路勘察設計研究院有限公司,北京 100083)
近年來,國家大力發(fā)展智慧交通,推動大數(shù)據、云計算、人工智能等新技術在交通領域的應用,全國各地的高速公路管理部門也在開發(fā)和使用智慧交通系統(tǒng)方面進行了大量嘗試,各省高速公路運營管理部門也在逐步規(guī)劃大數(shù)據中心建設[1]。為此,本文基于現(xiàn)有的省級高速公路運營管理業(yè)務系統(tǒng)的運行情況和運營管理中發(fā)現(xiàn)的實際問題,提出了省級高速公路大數(shù)據中心技術方案。
目前,經過多年信息化建設、視頻上云改造、全國取消省界收費站等,大部分省份高速公路在基礎設施、路網感知、出行服務等方面信息化程度得到提升,各省份基本建成了涵蓋路網運行監(jiān)測、機電系統(tǒng)運維、收費數(shù)據統(tǒng)計分析等高速公路主要業(yè)務的信息化系統(tǒng),相關數(shù)據已形成一定規(guī)模。加之取消高速公路省界收費站工程實施后,高速公路收費系統(tǒng)進行了大幅調整,設置ETC 門架系統(tǒng)實現(xiàn)車輛通行費分段計費,MTC 車輛使用5.8GHz 復合通行卡作為通行介質,收費數(shù)據格式進行了改變,門架流水、車牌抓拍數(shù)據大幅增加,可有效支撐交通大數(shù)據分析應用,具備開展大數(shù)據中心建設的條件和基礎。
(1)數(shù)據融合困難
隨著高速公路路網的不斷擴大和數(shù)字化建設的不斷推進,高速公路管控服務系統(tǒng)規(guī)模和數(shù)據體量呈指數(shù)增長,但各業(yè)務系統(tǒng)獨立開發(fā)運營,數(shù)據無法在各業(yè)務系統(tǒng)間流暢運轉,統(tǒng)計數(shù)據時往往需在多個業(yè)務系統(tǒng)中人工調取,根據要求手動建立數(shù)據庫表,增加了運營管理難度。視頻等非結構化數(shù)據也很難與管理系統(tǒng)中的結構化數(shù)據相結合,突發(fā)應急事件時需根據事件上報信息,手動查找、調取對應視頻圖片,難以實現(xiàn)數(shù)據的融合應用。
(2)業(yè)務系統(tǒng)改動難度大
現(xiàn)有高速公路業(yè)務系統(tǒng)普遍存在因開發(fā)時間早,業(yè)務流程難以滿足現(xiàn)有管理需求的問題。經過多年運行,業(yè)務系統(tǒng)與外場設施結合也較為緊密,升級業(yè)務系統(tǒng)所需的成本也隨之增加,同時管理單位業(yè)務人員對現(xiàn)有業(yè)務系統(tǒng)更加熟悉。以上多種因素疊加導致難以對業(yè)務系統(tǒng)直接進行徹底的更換、升級,影響了高速公路運營管控服務水平。
(3)性能難以匹配數(shù)據增長
經過多年信息化系統(tǒng)建設和視頻云聯(lián)網改造等,高速公路業(yè)務系統(tǒng)具備了一定的信息化能力,但隨著視頻云聯(lián)網改造后視頻資源大幅度增加,外場監(jiān)控設備不斷加密,新建路段不斷接入,加之取消省界收費站后,收費模式發(fā)生了變化,數(shù)據體量大幅增加,業(yè)務系統(tǒng)核心硬件設備處理能力難以支撐業(yè)務系統(tǒng)運行。此外,根據各省十四五規(guī)劃,高速公路路網里程都大幅提升,隨之帶來的車輛通行數(shù)據量大幅增加,核心設備的數(shù)據處理能力、數(shù)據存儲容量和信息安全防護能力都難以匹配數(shù)據的爆發(fā)式增長。
針對高速公路管理運營中的實際問題,本文對高速公路大數(shù)據中心建設方案進行了研究,提出以下解決方案。
依據資源整合、充分利舊的理念,在不改變現(xiàn)有業(yè)務系統(tǒng)的基礎上,以互聯(lián)網、云計算、大數(shù)據、AI等新一代信息技術為手段,建設開放共享、彈性擴容的大數(shù)據云平臺,部署全量的數(shù)據應用處理工具,實現(xiàn)完備的大數(shù)據分析應用功能。充分整合業(yè)務系統(tǒng)數(shù)據資源,運用云平臺計算存儲資源,初步應用大數(shù)據融合、分析、挖掘能力,實現(xiàn)高速公路運營管理、出行服務等方面流量預測、態(tài)勢分析等典型應用和可視化展示[2]。
軟件平臺采用混合云架構保證關鍵業(yè)務和信息的本地安全性,又能實現(xiàn)隨著業(yè)務擴展向公有云溢出,保障云環(huán)境的靈活性和可擴展性,實現(xiàn)對業(yè)務隨需應變的支持;而在具備特殊需求的復雜關鍵業(yè)務上,其靈活性也能讓各信息系統(tǒng)在二者之間切換。
云平臺總體架構如圖1所示。
圖1 云平臺總體架構圖
云平臺主要包含三層架構:基礎資源層、平臺層、應用層。
基礎資源層為統(tǒng)一的資源共享平臺,采用業(yè)界成熟的云計算、大數(shù)據、人工智能等技術,建立資源共享池服務于上層需求,提高資源利用率和自動化管控程度,以適用于大型分布式應用和大數(shù)據分析處理的技術要求。
平臺層構建以安全、可靠、彈性為核心的分布式技術平臺架構,滿足業(yè)務靈活多變的要求,實現(xiàn)應用快速迭代。將技術組件共享的部分抽象在該層實現(xiàn),構建具有PB 級數(shù)據處理能力的大數(shù)據技術平臺,支撐內外部信息資源的整合共享、海量異構數(shù)據的高效處理與數(shù)據服務能力的彈性擴展,實現(xiàn)大數(shù)據分析常態(tài)化。
上層為應用層,基于下面兩層面向創(chuàng)新應用在該層實現(xiàn),為運營方、管理方提供服務。
(1)基礎資源層建設方案
基礎資源層主要建設基于虛擬化技術的計算、存儲、網絡資源池,為上層應用提供高彈性、穩(wěn)定、安全、快速部署的虛擬資源?;A資源層部署云服務軟件,提供大數(shù)據平臺、數(shù)據倉庫、數(shù)據工具所需的虛擬化計算、存儲、網絡資源池,提供分布式計算服務、異構計算服務、虛擬數(shù)據中心、分布式存儲服務、云網絡服務、云主機服務等。
建設數(shù)據消息集成總線,提供數(shù)據集成和應用集成能力,實現(xiàn)數(shù)據中心各業(yè)務系統(tǒng)的數(shù)據和服務交換,允許各類不同的業(yè)務系統(tǒng)以統(tǒng)一標準的方式進行數(shù)據交互,按松耦合的方式組合各類服務,快速支撐新的業(yè)務功能或業(yè)務流程。
(2)平臺層建設方案
平臺層部署應用開發(fā)和運行需要的數(shù)據能力,為上層應用平臺、數(shù)據平臺提供大數(shù)據分析支撐和服務。平臺層組件主要包括大數(shù)據分析平臺、數(shù)據倉庫及多種數(shù)據工具,包括數(shù)據采集加工、數(shù)據治理、標簽、可視化、報表分析工具等,提供離線數(shù)據、實時流數(shù)據的數(shù)據集成、數(shù)據清晰轉換、數(shù)據處置加工、數(shù)據挖掘等服務[3]。平臺層包含的大數(shù)據分析平臺、數(shù)據倉庫是大數(shù)據平臺軟件建設的核心平臺,也是數(shù)據工程中數(shù)據集成、數(shù)據開發(fā)、規(guī)范設計、數(shù)據質量監(jiān)控、數(shù)據資產管理、數(shù)據服務、數(shù)據安全等功能的重要支撐。完善的大數(shù)據平臺可以支持大數(shù)據存儲、大數(shù)據計算分析引擎等數(shù)據底座,快速構建從數(shù)據接入到數(shù)據分析的數(shù)據系統(tǒng),消除數(shù)據孤島,統(tǒng)一數(shù)據標準,加快數(shù)據變現(xiàn),實現(xiàn)數(shù)字化轉型。
(3)應用層建設方案
應用層聚焦于高速公路業(yè)務場景,在現(xiàn)有業(yè)務系統(tǒng)功能基礎上,關注管理業(yè)務痛點,解決業(yè)務流程數(shù)字化程度低、數(shù)據時效性準確性差、業(yè)務無法跨系統(tǒng)調用、多業(yè)務系統(tǒng)無法融合等問題。對高速公路出入口流水、門架數(shù)據、氣象數(shù)據、節(jié)假日歷史數(shù)據、互聯(lián)網地圖數(shù)據、視頻監(jiān)測數(shù)據等多源數(shù)據進行專題數(shù)據處理,搭建基于多業(yè)務系統(tǒng)數(shù)據的融合分析模型,提高現(xiàn)有高速公路管控服務系統(tǒng)功能的準確率和效率,實現(xiàn)如流量預測、擁堵預測、態(tài)勢分析、決策分析、車輛溯源等跨平臺、跨業(yè)務系統(tǒng)的業(yè)務功能,切實提高高速公路管控服務水平,提升用戶出行服務體驗。
大數(shù)據中心軟件平臺采用云架構方案部署,包括基礎資源層、平臺層及應用層。結合資源整合、充分利舊的理念和軟件平臺架構,可在盡量不改變現(xiàn)有業(yè)務系統(tǒng)的基礎上建設大數(shù)據中心,新建大數(shù)據中心通過核心交換機接入原有數(shù)據中心,數(shù)據來源為原有數(shù)據中心業(yè)務系統(tǒng)。
大數(shù)據中心硬件平臺網絡架構根據業(yè)務、資源、管理及安全的要求,可分為五個區(qū)域:業(yè)務區(qū)、大數(shù)據分析區(qū)、運維管理區(qū)、安全管理區(qū)、外聯(lián)區(qū),根據各業(yè)務不同的需求,提供計算、存儲、網絡、數(shù)據庫、大數(shù)據并行計算等能力,滿足業(yè)務應用需要。
大數(shù)據中心總體架構如圖2所示。
圖2 大數(shù)據中心總體架構
(1)業(yè)務區(qū)
主要提供大數(shù)據中心計算、存儲、網絡資源,通過虛擬化技術分配虛擬機資源,為應用層應用系統(tǒng)部署提供環(huán)境。應用系統(tǒng)根據功能需求分配相應的計算及存儲資源,并在數(shù)據倉庫中建設相應的專題庫支撐業(yè)務應用系統(tǒng)快速響應,通過數(shù)據總線實現(xiàn)數(shù)據及消息共享。據此,業(yè)務區(qū)應部署計算服務器、存儲服務器、網絡管理服務器、數(shù)據總線服務器、數(shù)據倉庫服務器,提供應用系統(tǒng)所需的數(shù)據倉庫存儲空間、存儲資源池、計算資源池、網絡管理、數(shù)據共享功能。
計算存儲服務器通過接入交換機和管理交換機接入云平臺內部的核心交換機,網絡配置應采用全光網架構,各服務器通過光纖與交換機連接,保證數(shù)據帶寬。各交換機采用冗余配置,提高系統(tǒng)運行可靠性。
(2)大數(shù)據分析區(qū)
大數(shù)據分析區(qū)主要完成大數(shù)據分析的管理控制服務,提供高性能、低成本、靈活易用的大數(shù)據計算和存儲平臺,包含分布式存儲、流處理、批處理等大數(shù)據組件,為海量數(shù)據信息的分析挖掘提供支撐。大數(shù)據分析需要大規(guī)模并行運算,數(shù)據訪問量大、并發(fā)高,宜專門設置區(qū)域提供硬件環(huán)境。大數(shù)據批處理、流處理、高性能計算等組件負載高、流量大,可采用獨立服務器單獨部署,保障大數(shù)據分析過程的穩(wěn)定性。
(3)云平臺管理區(qū)
云平臺管理區(qū)主要完成各服務器節(jié)點硬件設備的維護管理和云平臺業(yè)務管理,根據大數(shù)據中心整體服務器、交換機、網絡安全設備等數(shù)量,配置相應數(shù)量的云管理服務器并部署云服務軟件,提供大數(shù)據平臺資源管理及網絡管理功能,實現(xiàn)自動化運維管理,將運維腳本批量下發(fā)到指定虛擬機、計算/管理服務器并執(zhí)行,簡化重復性大的運維管理工作。
(4)安全管理區(qū)
安全管理區(qū)建設大數(shù)據中心網絡安全系統(tǒng),大數(shù)據中心應依據《交通運輸行業(yè)信息系統(tǒng)安全等級保護定級指南》開展定級、備案、等保安全建設整改、等保測評等工作。在大數(shù)據中心定級基礎上,部署相應等級的網絡安全設備,包括防火墻、數(shù)據庫審計、綜合日志審計、堡壘機、網管、準入認證、漏洞掃描、Web應用防火墻等,并在大數(shù)據平臺內部部署云安全組件,提供云平臺內部必要網絡安全防護。網絡安全設備可采用獨立硬件部署,也可采用軟件方式部署至云平臺虛擬機內部。各業(yè)務區(qū)也應通過獨立防火墻形式或虛擬防火墻形式提供防護,各區(qū)域數(shù)據通過核心交換機時,需先經過防火墻過濾,保障各區(qū)域網絡安全。
(5)外聯(lián)區(qū)
外聯(lián)區(qū)為外部訪問區(qū)域,需根據外部訪問需求,部署防火墻、入侵防御、抗DDOS 攻擊、Web 應用防火墻、計算存儲服務器等。
大數(shù)據與高速公路運營管理、出行服務結合是進一步提高高速公路管理服務水平和用戶出行服務體驗的重要手段。本文重點研究了基于現(xiàn)有業(yè)務系統(tǒng)的大數(shù)據中心建設技術方案,目前部分省份已開展了高速公路大數(shù)據中心建設,在規(guī)劃建設過程中,可探索收費站、路段分中心邊緣側的平臺建設,打造云端結合的大數(shù)據中心,進一步提高資源利用效率和管控能力。