程宇杰，劉卓涵，閆 實，彭木根

(北京郵電大學(xué) 網(wǎng)絡(luò)與交換技術(shù)國家重點實驗室，北京100876)

0 引言

自動駕駛是提高出行安全、提升交通效率、實現(xiàn)智慧交通的關(guān)鍵技術(shù)之一，已成為當(dāng)下世界研究熱點。雖然單車智能化水平正逐步提高，但在更高級的自動駕駛發(fā)展過程中仍面臨嚴(yán)峻挑戰(zhàn)，如2022年8月美國佛羅里達州發(fā)生的特斯拉致死事故[1]，因單車感知受到視距影響，缺少通信協(xié)同信息導(dǎo)致感知能力受限，導(dǎo)致橫穿行車道的行人死亡。為滿足未來自動駕駛?cè)轿弧⒏呖煽康锐{駛需求，實現(xiàn)全場景下自動駕駛的部署，亟需解決單車感知能力受限問題[2]。未來6G網(wǎng)絡(luò)預(yù)計可實現(xiàn)低于1 ms的通信時延和相對于5G算力10倍的提升，結(jié)合6G高性能通信技術(shù)，車聯(lián)網(wǎng)絡(luò)將在多源感知數(shù)據(jù)融合處理技術(shù)使能下實現(xiàn)多節(jié)點協(xié)同的超視距感知增強，突破單車智能的瓶頸限制[3]。通過引入路側(cè)感知，車輛網(wǎng)絡(luò)可獲得更高維的數(shù)據(jù)，并借助于通感算融合實現(xiàn)車-路-云一體化協(xié)同感知、傳輸、決策的全局架構(gòu)[4]。在該架構(gòu)中，通信功能可支持全方位多層次的協(xié)同智能，擴展感知的深度和維度，實時共享的分布式算力可對收集到的感知數(shù)據(jù)進行計算處理，實現(xiàn)高精度感知。通過“車-路-云”多維度、全方位的感知融合，車聯(lián)網(wǎng)絡(luò)將從網(wǎng)聯(lián)輔助信息交互階段進入到網(wǎng)聯(lián)協(xié)同感知階段[5]，從而能夠服務(wù)于L5級自動駕駛車輛[6]。

1 感知融合發(fā)展現(xiàn)狀與挑戰(zhàn)

目前，自動駕駛采集感知信息的傳感器主要有三類：攝像頭、激光雷達與毫米波雷達。攝像頭成本低，并可提取出豐富的語義信息，但提取深度信息能力弱，且受環(huán)境影響較大。激光雷達易于重構(gòu)準(zhǔn)確的三維環(huán)境信息，但信息稀疏，描述能力相對較弱，且易受雨雪霧霾天氣的影響導(dǎo)致檢測距離變短，感知信息失真。毫米波雷達幾乎不受環(huán)境影響，但感知信息更加稀疏，感知具有非常大的不確定性，穩(wěn)定性差。同時基站無線感知技術(shù)也可提供范圍更廣且不受環(huán)境影響的感知點云信息，但只能檢測出目標(biāo)的速度和位置，難以辨別屬性[7]。鑒于傳感器獨立工作的缺點和差異性感知方式存在的不同感知缺陷，業(yè)界對多傳感器融合技術(shù)進行了許多研究，國內(nèi)外主要討論了三種多傳感器的融合方式：毫米波雷達與攝像頭融合[8]通過將毫米波雷達提供的障礙物距離和速度信息與攝像頭提供的語義信息進行融合，實現(xiàn)對障礙物的有效探測；攝像頭與激光雷達融合[9]通過將點云數(shù)據(jù)和高分辨圖像進行數(shù)據(jù)級融合，實現(xiàn)對周圍交通環(huán)境的準(zhǔn)確感知；激光雷達與毫米波雷達融合[10]通過將雙雷達的點云數(shù)據(jù)進行配準(zhǔn)相互補全，實現(xiàn)三維交通環(huán)境地圖的精確建圖。然而，上述融合方法僅對多傳感器信息進行簡單疊加，尚缺乏不同傳感器深度融合的能力。

同時，由于傳感器感知范圍有限以及單車視野易受視距影響，僅依靠傳感器堆砌的車輛感知和計算能力存在上界，如國內(nèi)企業(yè)“小鵬”在為汽車裝備32個傳感器的情況下，也只能達到L2級別自動駕駛能力[11]。為此，業(yè)界開始對協(xié)同感知融合技術(shù)進行研究，借助于車車/車路等無線通信技術(shù)，車聯(lián)網(wǎng)絡(luò)可通過多源感知數(shù)據(jù)融合技術(shù)將車側(cè)與路側(cè)的感知數(shù)據(jù)融合，通過車路協(xié)同將分布在車側(cè)與路側(cè)的多源傳感器聯(lián)接成一個有效的傳感網(wǎng)絡(luò)。但在車聯(lián)網(wǎng)絡(luò)實現(xiàn)協(xié)同感知過程中，仍存在以下問題：

① 協(xié)同感知融合方法不明確：國內(nèi)外主要關(guān)注于車-路-云融合的信息服務(wù)架構(gòu)，計算分層架構(gòu)的研究，而對車-路-云一體化協(xié)同感知融合方法和架構(gòu)的研究仍處于初步階段[12]，車聯(lián)網(wǎng)絡(luò)尚缺乏多源感知數(shù)據(jù)進行分級融合的能力，難以滿足更高等級自動駕駛的智能感知需求。

② 多源感知數(shù)據(jù)難以進行精確融合：現(xiàn)有融合技術(shù)主要分為前融合和后融合，前融合將數(shù)據(jù)級信息融合，形成的高清地圖不丟失信息特征和維度，具有高精確度、廣覆蓋性等特性，可為車輛在復(fù)雜交通環(huán)境下的自動駕駛提供有力支撐[13]，但是由于感知節(jié)點空間上分布散亂，傳感器位姿難以確定，融合過程中重疊特征稀疏等問題，多視角感知數(shù)據(jù)難以實現(xiàn)精確融合；后融合將特征級和決策級信息進行融合，精度易受傳感器和算法等因素影響，例如當(dāng)融合網(wǎng)絡(luò)中某個傳感器精度低但被錯誤賦予很大的權(quán)重時，將得到差的融合結(jié)果[14]。

③ 有限通信帶寬難以支撐海量感知數(shù)據(jù)上傳：目前全球車聯(lián)網(wǎng)通信技術(shù)標(biāo)準(zhǔn)包含的5G-V2X技術(shù)可支持單車上行傳輸速率為50 Mbit/s，然而在TR 22.886 V16.1.1[15]中，3GPP定義單車原始感知數(shù)據(jù)達G級別，若不對原始數(shù)據(jù)進行處理，則難以滿足通信一定時延要求下的感知數(shù)據(jù)傳輸。

針對上述問題，本文的主要貢獻包括如下:

① 提出了一種面向多源感知的分級融合方法。通過設(shè)計車-路-云一體化的全局感知融合架構(gòu)，實現(xiàn)了多節(jié)點協(xié)同下的全方位感知增強。

② 設(shè)計了新穎的單車多傳感器融合技術(shù)和路側(cè)基于特征的兩步配準(zhǔn)融合技術(shù)，在通感基站輔助下統(tǒng)一了多源傳感器對交通環(huán)境的空間描述。

③ 基于多源感知數(shù)據(jù)時空冗余性，設(shè)計了時間融合-八叉樹壓縮-空間去冗余的感知數(shù)據(jù)簡化流程，減少了感知數(shù)據(jù)上傳帶來的通信開銷。

④ 搭建了仿真平臺，驗證了所提數(shù)據(jù)融合方法和技術(shù)的有效性，并給出了評估結(jié)果。

2 多源感知信息分級融合結(jié)構(gòu)與流程

2.1 系統(tǒng)模型

圖1為通感基站輔助下的多源感知與數(shù)據(jù)融合系統(tǒng)模型，車聯(lián)網(wǎng)場景中包含M個通感一體化基站、N個智能網(wǎng)聯(lián)車(Connected-Automated Vehicle，CAV)和其他交通參與者(包括普通車輛與行人等)。智能網(wǎng)聯(lián)車通過搭載攝像機、激光雷達與毫米波雷達等傳感器收集感知數(shù)據(jù)，車-車間利用V2V通信技術(shù)，自組織形成車輛隊列協(xié)同共享感知數(shù)據(jù)，車-路間利用V2N通信技術(shù)傳輸感知數(shù)據(jù)，通感一體化基站通過發(fā)送無線感知信號執(zhí)行無線感知，路-云間利用前傳和回傳通信技術(shù)傳輸感知數(shù)據(jù)。

圖1 通感基站輔助下的多源感知與數(shù)據(jù)融合系統(tǒng)模型

2.2 感知模型

本文將車側(cè)激光雷達、攝像頭、毫米波雷達與路側(cè)無線感知作為車聯(lián)網(wǎng)絡(luò)主要的感知手段，并定義了5類坐標(biāo)系：包含激光雷達坐標(biāo)系{L}、毫米波雷達坐標(biāo)系{M}、無線感知坐標(biāo)系{U}、圖像坐標(biāo)系{C}和世界坐標(biāo)系{W}。激光雷達通過模擬全向旋轉(zhuǎn)與各通道投射的激光仿真出每幀點云，垂直感知角度值域為-30°～+10°，得到的第i幀激光雷達數(shù)據(jù)由Li(x,y,z)表示，其中x、y、z表示由笛卡爾坐標(biāo)系表征的{L}中的三維坐標(biāo)值；攝像頭為RGB相機，記錄每幀場景的二維畫面，水平感知角度值域為-45°～+45°，得到的第i幀圖像數(shù)據(jù)由Ci(u,v,r,g,b)表示，其中u、v表示{C}中的二維坐標(biāo)值，r、g、b表示像素點中顏色深度值；毫米波雷達傳遞一個圓錐形視圖，記錄每幀探測物體的極坐標(biāo)和速度，水平感知角度值域為-15°～+15°，垂直感知角度值域為-15°～+15°。得到的第i幀毫米波雷達感知數(shù)據(jù)由Mi(d,α,θ,v)表示，其中d、α、θ分別表示極坐標(biāo)系中的距離、水平角與俯仰角，v表示速度。

路側(cè)感知采用基站無線感知技術(shù)，通過發(fā)送承載感知信號的無線波形，并基于反射回波估計環(huán)境信息，得到的第i幀無線感知數(shù)據(jù)由Ui(d,α,θ,v)表示。無線感知的精度、距離、角度值域與分配的感知資源和波束形狀相關(guān)，分配的感知帶寬資源越多，距離分辨率越高[16]，其關(guān)系可表示為：

(1)

式中，ΔR表示感知距離分辨率，c為光速，SNR表示接收感知信號反射回波的信噪比，B表示感知帶寬資源。

2.3 感知融合流程

圖2為單車感知融合流程，輸入為車載激光雷達、攝像機、毫米波雷達采集到的感知數(shù)據(jù)，輸出為單車感知融合結(jié)果，圖3為協(xié)同感知融合流程，融合網(wǎng)絡(luò)主要針對原始感知數(shù)據(jù)進行融合，協(xié)同感知融合流程輸入分為車-路-云的多級輸入，具體過程如下：

圖2 單車感知融合流程

① 單車感知融合輸入為多傳感器感知數(shù)據(jù)，輸出為單車感知融合結(jié)果。將感知到的攝像機圖像數(shù)據(jù)與激光雷達點云數(shù)據(jù)在數(shù)據(jù)層面上進行融合，得到帶深度信息的分類檢測框；然后將毫米波雷達通過目標(biāo)檢測得到的檢測框進一步融合，得到多傳感器融合結(jié)果。同時，單車針對感知所得的多個幀間的高時間相關(guān)性進行時間特性融合，完成多幀的感知數(shù)據(jù)融合處理，并根據(jù)歷史幀的感知數(shù)據(jù)信息預(yù)測一定時延后的感知信息結(jié)果，降低單車感知上傳的數(shù)據(jù)量，彌補通信傳輸時延造成的感知滯后，最終得到單車感知融合結(jié)果。

② 隊列感知融合輸入為車輛隊列內(nèi)多車感知數(shù)據(jù)，輸出為初步協(xié)同感知融合結(jié)果和感知需求信息。借助于V2V通信技術(shù)，車輛通過分簇算法主動組織成“簇”，協(xié)同共享感知數(shù)據(jù)，簇頭通過PC5接口接收到的來自簇內(nèi)多車的感知數(shù)據(jù)后，針對不同車輛感知結(jié)果的高空間相關(guān)性，完成多車感知數(shù)據(jù)融合與空間特性去冗余處理，并向路側(cè)上報感知需求信息。

③ 路側(cè)感知融合輸入為不同簇的隊列級別融合結(jié)果與路側(cè)通感基站的無線感知數(shù)據(jù)，輸出為全局感知融合結(jié)果。借助于V2N通信技術(shù)，路側(cè)通過UU接口接收到多個車輛隊列上傳的感知融合數(shù)據(jù)后，提取不同視圖的重疊特征，在路側(cè)無線感知輔助下將多源感知數(shù)據(jù)進行配準(zhǔn)融合，同時根據(jù)車側(cè)反饋的感知需求信息利用無線感知技術(shù)對車聯(lián)網(wǎng)環(huán)境缺失的全局感知信息進行補全,得到全局感知融合結(jié)果。

④ 云側(cè)融合輸入為路側(cè)全局感知數(shù)據(jù)，輸出為協(xié)同感知融合結(jié)果。借助于前傳和回傳，云和中心網(wǎng)絡(luò)在接收路側(cè)上傳的路側(cè)感知融合數(shù)據(jù)后，進一步融合計算得到最終的協(xié)同感知融合結(jié)果，構(gòu)建出全局高清地圖。同時，云側(cè)還可通過提供數(shù)據(jù)分析、運行管理等服務(wù)，下發(fā)感知決策信息，改善車聯(lián)網(wǎng)道路交通狀況，提高交通通行效率，避免交通事故發(fā)生。通過上述車-路-云多級多源感知數(shù)據(jù)融合方法，構(gòu)建多節(jié)點協(xié)同下的一體化感知架構(gòu)，網(wǎng)聯(lián)車視野擴展的同時感知識別精度也得到提高。同時針對感知數(shù)據(jù)的時空冗余性對感知數(shù)據(jù)進行的優(yōu)化處理，也將有效減少上傳的感知數(shù)據(jù)量，降低通信開銷。

3 感知融合處理技術(shù)

為將不同模態(tài)與不同源的傳感器進行融合，首先需將不同傳感器的坐標(biāo)系進行統(tǒng)一，包括{L}、{M}、{U}、{C}、{W}坐標(biāo)系之間的變換。

3.1 車側(cè)感知融合技術(shù)

為了更好地融合，需將由極坐標(biāo)系表征的雷達數(shù)據(jù)轉(zhuǎn)換為由笛卡爾坐標(biāo)系表征，轉(zhuǎn)換公式為：

(2)

3.1.1 毫米波雷達坐標(biāo)系到激光雷達坐標(biāo)系

(3)

式中，R表示坐標(biāo)系變換的旋轉(zhuǎn)矩陣，T表示坐標(biāo)系變換的平移矩陣。

如圖4所示，圖4(a)描述坐標(biāo)軸由Oa-XaYaZa通過T變換到Ot-XtYtZt的過程，T表示如下：

(a) 坐標(biāo)軸通過T的變換

T=(TxTyTz)T,

(4)

式中，Tx、Ty、Tz分別表示為在X軸、Y軸、Z軸上的平移分量。

圖4(b)描述了坐標(biāo)軸Oa-XaYaZa通過R變換到Or-XrYrZr的過程，R由分別繞X軸、Y軸、Z軸上的三個旋轉(zhuǎn)分量計算得到：

(5)

式中，βx、βy、βz分別表示繞X軸、Y軸、Z軸上的旋轉(zhuǎn)角，最后計算得到R:

R=Rx(βx)·Ry(βy)·Rz(βz)。

(6)

3.1.2 激光雷達坐標(biāo)系到世界坐標(biāo)系

(7)

基于上式可通過求解R、T實現(xiàn)多輛CAV的點云在同一世界坐標(biāo)系中的配準(zhǔn)。

3.1.3 世界坐標(biāo)系到圖像坐標(biāo)系

(8)

式中，fx、fy、u0、v0為相機內(nèi)參參數(shù)，R、T為旋轉(zhuǎn)平移矩陣,Zc為尺度系數(shù)。

車側(cè)感知融合處理技術(shù)主要基于式(2)～(3)、式(7)～(8)對相機、激光雷達和毫米波雷達感知數(shù)據(jù)進行融合，將激光雷達的點云深度信息[17]和毫米波雷達的檢測信息匹配到同一像素坐標(biāo)系下，并利用攝像機和毫米波雷達目標(biāo)檢測框的深度信息得到目標(biāo)位置，得到三者的最終融合結(jié)果。

3.2 協(xié)同感知融合技術(shù)

協(xié)同感知融合流程主要以激光雷達原始點云數(shù)據(jù)作為各級融合的輸入，并引入路側(cè)無線感知數(shù)據(jù)作為全局信息的補全。為進行更好地融合，在融合算法輸入前需進行預(yù)處理操作，對于激光雷達點云數(shù)據(jù)需先去除運動畸變并分離地面點，在融合后可根據(jù)感知需求基于融合變換的矩陣重新拼接地面點云到融合點云中。對于路側(cè)無線感知數(shù)據(jù)需先進行濾波操作，將由噪聲、雜波及多徑等因素產(chǎn)生的孤立點、虛假點、地面點等剔除掉，以保證對交通環(huán)境的真實描述。隊列感知融合針對空間內(nèi)不同CAV的點云數(shù)據(jù)，通過求解式(7)的R、T將多幀點云配準(zhǔn)到同一個基準(zhǔn)坐標(biāo)系進行描述，配準(zhǔn)算法采用ICP算法，具體過程如下：

① 初始化R、T矩陣，基于式(7)將待配準(zhǔn)點云與基準(zhǔn)點云置于同一坐標(biāo)系，迭代開始將兩幀點云的空間點進行匹配。匹配點集如下：

(9)

式中，Lik代表第i輛CAV的待配準(zhǔn)點云點集，L1k代表簇頭CAV的基準(zhǔn)點云點集。

② 構(gòu)建最小化誤差方程求解R、T矩陣:

(10)

③ 求解的R、T矩陣作為下一次迭代的輸入，直到達到預(yù)設(shè)誤差或迭代次數(shù)閾值停止?；谇蠼獾腞、T矩陣?yán)檬?7)得到配準(zhǔn)結(jié)果。

路側(cè)點云在配準(zhǔn)過程中由于存在大量獨立點，導(dǎo)致匹配點對誤差過大，在迭代過程易陷入局部最優(yōu)，傳統(tǒng)ICP算法不再適用。為此提出一種粗配準(zhǔn)+精配準(zhǔn)的兩步點云配準(zhǔn)方法，粗配準(zhǔn)基于點云提取的特征點對進行匹配，得到的粗配準(zhǔn)結(jié)果再輸入到ICP算法中得到精確的配準(zhǔn)結(jié)果。特征點提取過程引入了路側(cè)感知數(shù)據(jù)，以路側(cè)通信節(jié)點的無線感知數(shù)據(jù)為例，對路側(cè)融合過程進行說明：

① 路側(cè)無線感知基于檢測提取得到的車輛與路邊障礙物構(gòu)建特征點組成基準(zhǔn)點集U。

② 第j隊簇群基于點云聚類算法提取到的車輛與路邊障礙物構(gòu)建特征點組成待配準(zhǔn)點集Lj。

③ 迭代開始，構(gòu)建U和Lj匹配點集，并刪去匹配誤差過大點，基于式(10)構(gòu)建最小二乘問題，求解R、T矩陣，并利用式(3)完成路側(cè)無線感知數(shù)據(jù)和激光雷達數(shù)據(jù)的配準(zhǔn)。

④ 重復(fù)②～③,直到所有簇的待配準(zhǔn)點云數(shù)據(jù)都統(tǒng)一到無線感知的基準(zhǔn)坐標(biāo)系中時結(jié)束，完成多簇點云數(shù)據(jù)以及路側(cè)無線感知點云數(shù)據(jù)的初步融合。

⑤ 將粗配準(zhǔn)融合結(jié)果作為輸入，利用ICP算法得到更精細的多簇點云配準(zhǔn)融合結(jié)果。

最后，將融合的多源感知數(shù)據(jù)上傳到云側(cè)，云側(cè)通過目標(biāo)檢測、數(shù)據(jù)融合等處理技術(shù)完成數(shù)據(jù)處理計算決策和數(shù)據(jù)級高清地圖的構(gòu)建。

3.3 感知數(shù)據(jù)壓縮去冗技術(shù)

車聯(lián)網(wǎng)絡(luò)傳感節(jié)點采集得到的感知數(shù)據(jù)存在時空冗余，時間冗余指同一傳感器在時間維度上的感知數(shù)據(jù)高度相似，空間冗余指多源傳感器在空間維度上的感知數(shù)據(jù)描述的三維環(huán)境信息高度重疊。針對以上特性，通過時間特性融合實現(xiàn)時間序列上多幀點云融合，利用空間特性去冗和壓縮算法實現(xiàn)對感知數(shù)據(jù)的簡化，以降低通信上傳的數(shù)據(jù)量，具體流程如圖5所示。

圖5 感知數(shù)據(jù)壓縮去冗流程

時間特性融合針對多幀感知數(shù)據(jù)的高時間相關(guān)性，基于卡爾曼濾波完成數(shù)據(jù)級的預(yù)測，實現(xiàn)時間上多幀感知數(shù)據(jù)融合處理，并得到一定時延后的感知預(yù)測結(jié)果，彌補通信上傳產(chǎn)生的時延影響。融合分為預(yù)測步和更新步。預(yù)測：

(11)

(12)

更新：

(13)

(14)

(15)

觀測方程為：

yk=h(sk)+vk,

(16)

式中,Kk為卡爾曼增益矩陣，Hk為h(sk)在sk的觀測矩陣，sk為估計值，yk為觀測值，vk為觀測噪聲，其協(xié)方差矩陣為E，pk為更新后的協(xié)方差。以激光雷達點云數(shù)據(jù)的融合為例，具體過程為：

③ 輸入后續(xù)幀點云繼續(xù)迭代，直至迭代t-2次根據(jù)第t-1幀測量狀態(tài)值st-1得到第t幀預(yù)測狀態(tài)值st。最后基于st得到第t幀點云數(shù)據(jù)。

激光雷達點云在上傳過程中，根據(jù)其特殊的空間結(jié)構(gòu)采用八叉樹壓縮算法進行壓縮處理，可減少通信上傳的數(shù)據(jù)量，具體流程如圖6所示。

圖6 基于八叉樹的壓縮算法

首先通過遞歸構(gòu)建八叉樹空間模型，將點云三維場景劃分為2n×2n×2n個小區(qū)間組成的場景，并基于式(16)得到尺度參數(shù)：

(17)

式中，n代表八叉樹遞歸深度，xmax、xmin等參數(shù)為從點云中提出的對應(yīng)坐標(biāo)軸上最大最小值。

根據(jù)尺度參數(shù)劃分區(qū)間，將處于區(qū)間參數(shù)之間的點云坐標(biāo)映射到對應(yīng)區(qū)間的格點坐標(biāo)上，得到映射后新點云坐標(biāo)(xi,yi,zi)。

基于式(18)量化映射后的點云坐標(biāo)(xi,yi,zi)，并得到每個點云坐標(biāo)索引值(xk,yk,zk)。

(18)

基于式(19)進一步得到坐標(biāo)索引值K，最后對K編碼表達得到壓縮結(jié)果。

K=xk·2n2+yk·2n+zk。

(19)

空間特性去冗余針對多視角點云，通過濾波去除冗余感知數(shù)據(jù)，可提升感知有效性。算法設(shè)計基于以下思想：若某一半徑為a的領(lǐng)域內(nèi)存在一個以上的點，則視為領(lǐng)域內(nèi)存在重復(fù)點，若某一半徑為b領(lǐng)域內(nèi)少于閾值k的點數(shù)，則將其領(lǐng)域內(nèi)點視為離群點。具體流程如下：

① 從第一個點開始遍歷，根據(jù)半徑a和半徑b構(gòu)造KD樹索引點云，記錄半徑a和半徑b內(nèi)領(lǐng)域點個數(shù)。

② 若半徑a的領(lǐng)域內(nèi)點數(shù)超過1，則將除該點以外的點都視為重復(fù)點并進行去除，若半徑b內(nèi)點數(shù)少于設(shè)定閾值k，則將半徑b的領(lǐng)域內(nèi)所有點都視為離群點并進行去除。

③ 重復(fù)步驟①和②，直至遍歷完點云所有點。

由于八叉樹壓縮算法特性，解壓縮后點云將存在大量坐標(biāo)完全相同的點。在將這些重復(fù)點去除的過程中，a值設(shè)置很小也能達到非常高的去除率。結(jié)合離群噪點的濾除，該方法可有效去除對感知無益處的冗余點云，提高點云數(shù)據(jù)的感知有效性。

4 仿真結(jié)果

本文基于CARLA模擬車聯(lián)網(wǎng)駕駛環(huán)境，搭建車聯(lián)網(wǎng)多源感知數(shù)據(jù)融合的仿真平臺，驗證融合技術(shù)的有效性。CARLA是許多研究自動駕駛的公司(如奔馳、豐田、華為等)正在使用的一款開源模擬器，支持傳感器和環(huán)境的靈活配置，可用于自動駕駛系統(tǒng)的開發(fā)和仿真驗證[18]。仿真平臺基于系統(tǒng)模型和感知模型生成智能網(wǎng)聯(lián)車、車載傳感器采集感知數(shù)據(jù)，并采用CARLA中時鐘作為同一時間源，對不同傳感器采集感知數(shù)據(jù)的時間進行同步。圖7為車輛傳感器擺放位置與感知范圍。

圖7 車側(cè)傳感器擺放位置和感知范圍

圖8對單車多傳感器融合的檢測精度進行仿真，采用均方根誤差來衡量障礙物檢測精度。

圖8 使用不同傳感器的檢測精度

(20)

仿真結(jié)果表明，當(dāng)距離達到70 m時，車側(cè)數(shù)據(jù)融合相對于單目相機和雙目相機的檢測精度性能增益分別為365%和136%。雖然激光雷達檢測精度更高，但難以通過聚類算法判別障礙物類別，且當(dāng)距離達到52 m后，由于激光雷達檢測點云的稀疏性，難以通過聚類檢測到障礙物。利用激光雷達深度圖和相機高分辨率圖像融合，單車感知可以達到近似激光雷達的距離檢測精度，并且相對于激光雷達多一維度語義信息，可用于判別障礙物類別，同時在遠距離情況下，稀疏點云無法進行聚類檢測時，融合方法相對于純視覺檢測方法，可更精確地檢測障礙物信息。

通過仿真平臺模擬惡劣天氣下城鎮(zhèn)交通環(huán)境，并生成智能網(wǎng)聯(lián)車與車載傳感器采集感知數(shù)據(jù)，如圖9所示。圖9(a)為CAV車載攝像機采集到RGB圖像，由于惡劣天氣影響，場景中車輛D未能被車載攝像頭檢測到。圖9(b)為CAV車載激光雷達和毫米波雷達采集到點云數(shù)據(jù)，其中白色點云來自激光雷達，紅色點云來自毫米波雷達。由于距離影響，激光雷達采集到關(guān)于車輛D的點云十分稀疏，因此也未能被車載激光雷達點云的聚類算法檢測到，而只有毫米波雷達能成功檢測車輛D。如圖9(c)所示，通過車側(cè)攝像頭-激光雷達-毫米波雷達多傳感器融合，車側(cè)數(shù)據(jù)融合處理技術(shù)實現(xiàn)了激光雷達深度信息與攝像機語義信息的精確融合，在達到近似激光雷達檢測精度的同時，多了一維語義信息，并利用毫米波雷達擴展了單車感知視野，提高了惡劣天氣下單車感知的魯棒性。

(a) 攝像頭檢測結(jié)果

協(xié)同感知融合結(jié)果如圖10所示，由于距離和視野遮擋，單車感知到的點云感知范圍受限，如圖10(a)所示，圖中左上框和右上框中車輛無法被檢測到，下方框中點云十分稀疏。通過簇內(nèi)多車協(xié)同后，感知融合結(jié)果如圖10(b)所示，可以看出，感知范圍明顯提升。但因為車輛低視角造成視野遮擋，仍有右上框的車輛沒有被檢測到。如圖10(c)所示，路側(cè)通信節(jié)點位于矩陣框中，并朝箭頭方向在虛線范圍內(nèi)發(fā)送通感波形，執(zhí)行無線感知，圖中白色點云來自激光雷達，紅色點云來自路側(cè)通感基站的無線感知。最后在通感基站輔助下通過多幀點云配準(zhǔn)實現(xiàn)了車聯(lián)網(wǎng)絡(luò)數(shù)據(jù)級高清地圖的構(gòu)建，并同時通過路側(cè)高視角、高維度、不受惡劣天氣影響的無線感知信息補全了車聯(lián)網(wǎng)環(huán)境的全局感知信息。

(a) 車側(cè)點云數(shù)據(jù)

圖11對應(yīng)圖10的協(xié)同感知融合結(jié)果，將協(xié)同感知帶來的范圍擴展通過感知覆蓋率量化展示。感知覆蓋率定義為檢測到車輛數(shù)目與總車輛數(shù)目的比值：

圖11 不同車輛數(shù)目下感知覆蓋率

η=ni/N，

(21)

式中，ni為場景中有i輛CAV參與協(xié)同感知時檢測到車輛數(shù)目，N為場景車輛總數(shù)目，該十字路口場景車輛總數(shù)目為40。車輛數(shù)目為1時對應(yīng)圖10(a)中的單車感知，感知范圍受限，而隨著加入?yún)f(xié)同感知融合的車輛數(shù)目增加，協(xié)同感知范圍也在不斷提升。車輛數(shù)目為5時對應(yīng)圖10(b)中的隊列側(cè)感知融合，感知范圍得到拓展。同時在加入新簇的簇成員時，感知覆蓋率會大幅提升，當(dāng)三個簇中加入?yún)f(xié)同車輛數(shù)達到12時，該十字路口40輛車都能被檢測到，實現(xiàn)車聯(lián)網(wǎng)環(huán)境下的全局感知。

表1為單車感知數(shù)據(jù)量簡化前后對比，圖12展示了車側(cè)、隊列側(cè)、路側(cè)經(jīng)過感知數(shù)據(jù)簡化處理前后感知數(shù)據(jù)量大小對比的仿真圖。

表1 感知數(shù)據(jù)所需傳輸速率

圖12 壓縮去冗后感知數(shù)據(jù)量

圖12結(jié)果表明，經(jīng)過數(shù)據(jù)簡化處理后，單車上傳的感知數(shù)據(jù)量僅為原始數(shù)據(jù)量的1.62%，隊列側(cè)和路側(cè)上傳的感知數(shù)據(jù)量下降了兩個數(shù)量級，僅為原始數(shù)據(jù)量的0.97%和0.92%。

然而，數(shù)據(jù)壓縮去冗余時也會引入誤差，采用均方根誤差來計算原始點云數(shù)據(jù)處理前后造成的誤差：

(22)

圖13 不同感知資源分配下的均方根誤差

仿真結(jié)果表明，分配給傳輸感知數(shù)據(jù)的通信資源越多，點云數(shù)據(jù)失真越小。為保證原始感知數(shù)據(jù)厘米級別精度，在上傳15輛車的感知融合數(shù)據(jù)時，路側(cè)應(yīng)至少分配支持110 Mbit/s傳輸速率的上行通信帶寬用于感知數(shù)據(jù)上傳。

5 結(jié)束語

本文對面向多源感知的數(shù)據(jù)融合處理技術(shù)進行研究，提出了一種車聯(lián)網(wǎng)絡(luò)面向多源感知的數(shù)據(jù)分級融合方法，該方法借助于多源感知、協(xié)同傳輸、融合計算的通感算融合，實現(xiàn)了“車-路-云”一體化感知的全局架構(gòu)。同時對數(shù)據(jù)融合處理技術(shù)進行設(shè)計，通過攝像頭、激光雷達和毫米波雷達優(yōu)勢互補的深度融合，實現(xiàn)了單車智能感知。通過所提出的兩步配準(zhǔn)方法，實現(xiàn)了在通感基站輔助下多源感知數(shù)據(jù)的全局融合。通過感知數(shù)據(jù)壓縮去冗技術(shù)，減少了通信上傳的感知數(shù)據(jù)量。最后搭建平臺驗證，將車輛三種傳感器的感知數(shù)據(jù)進行融合，可以有效擴展單車感知維度，提升感知性能，將多源點云數(shù)據(jù)進行全局融合，可以有效擴展車聯(lián)網(wǎng)絡(luò)感知視野，在保證惡劣天氣下感知可靠性的同時，實現(xiàn)了數(shù)據(jù)級高清地圖構(gòu)建。此外感知融合精度受壓縮去冗余算法影響，精度低將導(dǎo)致點云失真嚴(yán)重，精度高將消耗過多的通信資源，通過選擇合適的精度能在較少通信開銷前提下有效實現(xiàn)多節(jié)點協(xié)同下的全局感知。