□ 陳 波

運(yùn)用數(shù)字孿生智能高速公路的發(fā)展理念，構(gòu)建一個(gè)涵蓋“宏觀、中觀、微觀”三個(gè)層面的全面性數(shù)字孿生信息模型。通過數(shù)字孿生的虛擬與現(xiàn)實(shí)的結(jié)合和統(tǒng)一創(chuàng)新管理新模式，完成全程、全元素、全方位的高速公路的數(shù)字化、網(wǎng)絡(luò)化和智能化的實(shí)現(xiàn)，從而進(jìn)一步提高高速公路的精細(xì)管理水平。通過集成和融合應(yīng)用AI 人工智能、AR增強(qiáng)現(xiàn)實(shí)、三維GIS、大數(shù)據(jù)等新一代信息技術(shù)，實(shí)現(xiàn)對(duì)高速路段進(jìn)行全要素信息的高精度、高逼真的三維孿生還原，構(gòu)建基于最新的UE5 引擎的實(shí)景數(shù)字孿生智慧高速應(yīng)用。通過對(duì)前置攝像頭、卡口、毫米波雷達(dá)、事件檢測等眾多感知技術(shù)的融合，大大加強(qiáng)了對(duì)高速公路和橋梁等復(fù)雜環(huán)境下的多維度感知力，并且構(gòu)建了穩(wěn)定的數(shù)據(jù)傳送路徑，進(jìn)行即時(shí)反饋和自動(dòng)預(yù)警，極大地強(qiáng)化了對(duì)高速公路運(yùn)行情況的智能感知能力。這不僅便于實(shí)時(shí)通報(bào)交通擁堵和設(shè)備故障，而且為高速公路的安全高效運(yùn)營提供了數(shù)據(jù)保障；還可以通過解析和挖掘復(fù)雜數(shù)據(jù)，產(chǎn)出有利于決策的信息，實(shí)施動(dòng)態(tài)監(jiān)測事件狀態(tài)，并借助時(shí)空信息，實(shí)現(xiàn)全方位、全狀態(tài)的全景觀察，增強(qiáng)了對(duì)高速公路即時(shí)狀況的全面監(jiān)控能力，為高速公路運(yùn)營管理提供全面、宏觀、重要的數(shù)據(jù)指標(biāo)，從而實(shí)現(xiàn)高速公路的智能化管理。

一、總體設(shè)計(jì)

通過將AI人工智能、AR增強(qiáng)現(xiàn)實(shí)、三維GIS、UE5引擎、大數(shù)據(jù)等最新信息技術(shù)融合使用，建立起一套科學(xué)、統(tǒng)一的規(guī)范標(biāo)準(zhǔn)體系，推動(dòng)智慧高速“1+1+N”總體結(jié)構(gòu)的建設(shè)，即，1 套全路網(wǎng)感知系統(tǒng)、1 個(gè)智慧高速大腦以及N類智慧應(yīng)用，打造具備動(dòng)態(tài)感知、多維融合與智慧決策功能的智慧高速應(yīng)用，促使高速交通治理接軌智能化改革，使得高速公路的運(yùn)行和管理更具效率和便捷性。如圖1 所示。

圖1 智慧高速“1+1+N”總體架構(gòu)

基于高精地圖、二三維可視化技術(shù)，實(shí)現(xiàn)“路網(wǎng)－路段－車道”多層級(jí)的精細(xì)化管理，以高度可視化、圖形化的方式，一屏展示高速公路從宏觀到微觀的監(jiān)測數(shù)據(jù)、調(diào)度數(shù)據(jù)等多維度數(shù)據(jù)信息，動(dòng)態(tài)展示高速交通態(tài)勢運(yùn)行全貌，如圖2 所示。

圖2 系統(tǒng)架構(gòu)圖

二、主要技術(shù)剖析

1. 場景AI 識(shí)別技術(shù)

通過后端場景AI智能識(shí)別算法，對(duì)接入的視頻流進(jìn)行智能分析，利用人工智能、深度學(xué)習(xí)技術(shù)，構(gòu)建多層的機(jī)器學(xué)習(xí)模型，智能識(shí)別檢測視頻畫面中的偵測目標(biāo)和異常事件，并通過對(duì)識(shí)別特征的不斷積累、學(xué)習(xí)，從而提升目標(biāo)對(duì)象分類識(shí)別與跟蹤的檢測能力，有效實(shí)現(xiàn)對(duì)高速公路主線、橋隧、服務(wù)區(qū)、互通立交等場景下的行人檢測、停車檢測、事故檢測、區(qū)域入侵、安全帽檢測、擁堵檢測、拋撒物檢等多種AI智能的分析，并可根據(jù)不同場景靈活、快速部署智能識(shí)別算法，廣泛地服務(wù)于不同應(yīng)用場景。AI 識(shí)別關(guān)鍵算法在采用成熟的TensorFlow 深度學(xué)習(xí)框架，訓(xùn)練出多層神經(jīng)網(wǎng)絡(luò)模型及對(duì)運(yùn)動(dòng)物體跟蹤監(jiān)測。

（1）神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練步驟。①在處理視頻背景提取時(shí)，需要對(duì)所有視頻幀進(jìn)行預(yù)處理，以確保順利執(zhí)行后續(xù)步驟；②在現(xiàn)實(shí)應(yīng)用場景中，對(duì)移動(dòng)目標(biāo)的監(jiān)測主要聚焦于車輛和行人，包括非車輛和非行人的目標(biāo)，對(duì)其出現(xiàn)、消失和運(yùn)動(dòng)狀況的改變進(jìn)行研究；③目標(biāo)特征識(shí)別，主要判斷包括摩托、小型汽車、輕型卡車、大中型客車貨車等識(shí)別判斷；④針對(duì)所有進(jìn)入道路的車輛，通過特征對(duì)應(yīng)，實(shí)現(xiàn)多對(duì)象跟蹤，從而可以確切地分別出不同的攝像頭畫面中同一臺(tái)車的行為路徑對(duì)應(yīng)和跟蹤。

算法采集分析前后攝像機(jī)視頻畫面中所有車輛的所在車道、車速、車輛特征等信息，并進(jìn)行前后信息的比對(duì)，同時(shí)建立隊(duì)列維護(hù)規(guī)則。

在研發(fā)和訓(xùn)練階段，針對(duì)不同的環(huán)境、光照等因素下檢測目標(biāo)的不同特征進(jìn)行算法定制和訓(xùn)練優(yōu)化，能夠有效減輕光照變化對(duì)算法的影響，提高檢測率，降低誤報(bào)和漏報(bào)率。

（2）核心算法。①視頻背景提取。在基本層面上，AI 處理視頻文件是通過解析視頻中的連續(xù)幀圖像來實(shí)施，對(duì)圖像的操作是算法的最終步驟。對(duì)于連續(xù)的視頻圖片，算法需要對(duì)這些圖片畫面實(shí)施一番圖像預(yù)處理。圖像灰度化，由于讀取的初始視頻圖像是RGB三通道的，含有大量的噪點(diǎn)以及冗余的顏色空間信息，因此一開始就會(huì)把圖像的顏色空間進(jìn)行轉(zhuǎn)換。圖像去噪，盡管已對(duì)經(jīng)過圖像處理后的灰度圖像進(jìn)行了背景提取和運(yùn)動(dòng)車輛檢測，但圖像中的噪聲仍相當(dāng)多，所以，實(shí)施去噪處理對(duì)灰度圖像來說是必不可少的。背景提取與構(gòu)建，對(duì)灰度圖像消除噪聲后，然后獲取背景圖。視頻背景圖的構(gòu)造系統(tǒng)，是基于視頻的前N 幀執(zhí)行的區(qū)間統(tǒng)計(jì)以獲取背景圖像。②運(yùn)動(dòng)物體檢測。選擇背景差分進(jìn)行動(dòng)態(tài)物體檢測，不僅計(jì)算量少，而且精度可靠。針對(duì)幀圖片，通過第一個(gè)點(diǎn)獲取的背景進(jìn)行差分。一旦獲得了差分圖，接著進(jìn)行圖像二值化的處理，主要包含圖像的降噪和腐蝕，進(jìn)行二值圖的膨脹處理以得到更加清晰的車輛外形。在接收到較明確的車輛輪廓信息后，可以在二值圖像中確定輪廓的位置。③車輛特征識(shí)別匹配。卷積神經(jīng)網(wǎng)絡(luò)模型在圖像分類工作中的主要優(yōu)勢是免于手動(dòng)提取圖像特征，通過模仿動(dòng)物大腦的視覺反應(yīng)方式來學(xué)習(xí)圖像，進(jìn)而發(fā)現(xiàn)最適合進(jìn)行圖像場景分類的特征信息以便于后續(xù)的分類工作。基于目標(biāo)檢測分類算法，快速在圖像畫面中框選出車輛目標(biāo)，并識(shí)別出車輛的類型，可識(shí)別摩托車、小型汽車、輕型卡車、重型貨車、大中型客車等車型。

2. 三維GIS 技術(shù)（UE5）

以空間地理信息數(shù)據(jù)為基礎(chǔ)，通過對(duì)高速公路中的地形、道路、建筑、設(shè)施、綠化植被等空間要素進(jìn)行大范圍自動(dòng)建模和對(duì)重點(diǎn)區(qū)域的手工精細(xì)化建模相結(jié)合方式，生成高精度、多層次、多時(shí)相的三維實(shí)體模型，將傳統(tǒng)二維管理視角向更加立體、直觀的三維視角轉(zhuǎn)變，并可通過UE5 引擎對(duì)三維模型進(jìn)行高逼真、高畫質(zhì)特效渲染，實(shí)現(xiàn)從宏觀場景到微小細(xì)節(jié)的高逼真、可視化還原，全方位、立體、直觀地將高速公路中的各種場景等信息真實(shí)地展示在人們面前，從而形成一個(gè)真實(shí)、直觀的虛擬三維場景。

UE5 引擎采用延遲渲染方法能夠在渲染大量光源的同時(shí)，降低程序資源消耗，使UE能夠保持較高的運(yùn)行幀率，將更多的資源用于復(fù)雜場景和模型的處理和動(dòng)態(tài)效果的呈現(xiàn)，從而提升系統(tǒng)整體的渲染效果和流暢性，以及最終的用戶體驗(yàn)。

3. 異構(gòu)數(shù)據(jù)融合處理

異構(gòu)數(shù)據(jù)指的是結(jié)構(gòu)不同的各種數(shù)據(jù)，具體包含了非結(jié)構(gòu)化的多路視頻流數(shù)據(jù)、結(jié)構(gòu)化的雷達(dá)數(shù)據(jù)等。首先對(duì)視頻流數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理，分析每一幀圖像，提取圖像中的背景和目標(biāo)物體，包含車輛、行人、拋灑物等，根據(jù)像素點(diǎn)分析目標(biāo)的特征。根據(jù)連續(xù)不斷多幀圖像分析判斷、跟蹤目標(biāo)物體的移動(dòng)變化規(guī)律，發(fā)現(xiàn)道路場景內(nèi)目標(biāo)的異常狀態(tài)（停車、超速、逆行、擁堵、拋灑物、行人等），輸出目標(biāo)大小、顏色、速度、位置坐標(biāo)、方向等數(shù)據(jù)。其獨(dú)特之處在于對(duì)每一個(gè)目標(biāo)對(duì)象進(jìn)行特征識(shí)別后，定位其經(jīng)緯度坐標(biāo)，生成唯一ID，并跟蹤其位置變化。同時(shí)，將毫米波雷達(dá)檢測到的場景內(nèi)的目標(biāo)對(duì)象數(shù)據(jù)進(jìn)行解析處理，與視頻圖像處理過程類似，分析每一個(gè)數(shù)據(jù)包中的目標(biāo)對(duì)象的位置坐標(biāo)、大小、速度等數(shù)據(jù)，分析其特征和變化規(guī)律。與視頻圖像不同的是，毫米波雷達(dá)感知范圍更廣、精度更高。

視頻與雷達(dá)數(shù)據(jù)的融合是通過同一目標(biāo)坐標(biāo)的判斷實(shí)現(xiàn)的。在設(shè)備安裝調(diào)試階段，通過RTK 設(shè)備，采集雷達(dá)感知區(qū)域內(nèi)目標(biāo)的坐標(biāo)值；通過視頻攝像機(jī)采集視頻監(jiān)控區(qū)域內(nèi)同一個(gè)目標(biāo)、同一個(gè)位置的坐標(biāo)值，對(duì)兩個(gè)坐標(biāo)值進(jìn)行統(tǒng)一，完成雷達(dá)與攝像機(jī)在檢測范圍內(nèi)每一個(gè)位置的坐標(biāo)統(tǒng)一。即同一時(shí)間，任何一個(gè)位置出現(xiàn)一輛車或者行人，雷達(dá)輸出的坐標(biāo)和攝像機(jī)輸出的坐標(biāo)是一致的，然后結(jié)合二者對(duì)目標(biāo)其他特征的識(shí)別比對(duì)，完成是同一個(gè)目標(biāo)的判斷，生成唯一的ID，跟蹤其變化情況。上述數(shù)據(jù)的融合功能，可以由雷視一體機(jī)內(nèi)的嵌入式邊緣計(jì)算設(shè)備完成，或者由獨(dú)立的MEC 設(shè)備完成。

三、功能設(shè)計(jì)及實(shí)現(xiàn)

1. 可視化渲染及三維展示

利用3D GIS 技術(shù)可實(shí)現(xiàn)對(duì)高速公路的車道級(jí)別高精度三維可視化建模，并支持對(duì)交通設(shè)施、設(shè)備進(jìn)行3D精細(xì)化建模，對(duì)高速公路、沿線設(shè)施、地形等全場景信息進(jìn)行單體化處理，并采用國際頂級(jí)渲染引擎UE5，實(shí)時(shí)渲染高逼真高速公路三維模型的畫面。支持疊加相應(yīng)的交通靜態(tài)和動(dòng)態(tài)信息數(shù)據(jù)，全要素、車道級(jí)、3D可視化呈現(xiàn)，包括道路、車輛、智能感知設(shè)備、交通信號(hào)設(shè)備、交通事件、環(huán)境等，有力支撐對(duì)高速公路交通態(tài)勢運(yùn)行監(jiān)測。如圖3 所示。

圖3 智慧高速數(shù)字化綜合管理平臺(tái)

2. 交通實(shí)時(shí)仿真

利用前端的感知數(shù)據(jù)，如路旁視頻、門架以及雷視一體機(jī)等，結(jié)合可模擬三維環(huán)境的能力，可以實(shí)時(shí)仿真模擬行車道的交通情況。利用三維動(dòng)畫形式，為監(jiān)管者展示車輛的行駛路徑、交通狀態(tài)和特征信息，達(dá)到對(duì)實(shí)際環(huán)境中車輛全程監(jiān)控的目的，全方位重現(xiàn)道路交通運(yùn)行情況，幫助使用者精確管理公路。

3. 三維視頻融合

可將視頻監(jiān)控畫面與三維模型進(jìn)行精準(zhǔn)匹配融合，在三維模型/傾斜攝影地圖模型中可將對(duì)應(yīng)場景下的視頻畫面融合投影呈現(xiàn)，用戶能夠直接在模型中查看前端現(xiàn)場情況畫面，實(shí)現(xiàn)視頻與場景同步展示。結(jié)合高速項(xiàng)目管理需求，設(shè)計(jì)功能還可擴(kuò)展“兩客一危”重點(diǎn)車輛管理、交通狀況全息智能感知、告警處理及聯(lián)動(dòng)、應(yīng)急指揮調(diào)度及事件溯源等。

四、結(jié)語

基于邊緣側(cè)部署的雷視融合技術(shù)和車輛AI 識(shí)別技術(shù)及實(shí)景數(shù)字孿生技術(shù)、虛實(shí)結(jié)合技術(shù)，實(shí)現(xiàn)了高速公路交通事件和重點(diǎn)車輛的主動(dòng)AI 檢測、歷史過程復(fù)盤和一鍵閉環(huán)處置的智慧應(yīng)急管控功能，是“云－邊－端”架構(gòu)在智慧高速公路行業(yè)運(yùn)營管理工作的實(shí)踐。結(jié)合后期廣東省交通集團(tuán)數(shù)字底座高精地圖，可為未來車路協(xié)同和自動(dòng)駕駛在高速公路行業(yè)落地的具體實(shí)現(xiàn)路徑進(jìn)行積極探索。