摘要：在自動(dòng)駕駛技術(shù)飛速發(fā)展的今天，實(shí)現(xiàn)精準(zhǔn)多目標(biāo)感知已成為該領(lǐng)域的關(guān)鍵挑戰(zhàn)。提出一種基于深度學(xué)習(xí)的相機(jī)與激光雷達(dá)融合標(biāo)定算法，旨在通過(guò)整合2種傳感器的優(yōu)勢(shì)，實(shí)現(xiàn)在三維空間中對(duì)目標(biāo)的高效跟蹤。通過(guò)系列試驗(yàn)驗(yàn)證，發(fā)現(xiàn)該算法的總準(zhǔn)確率達(dá)到88.54%，檢測(cè)時(shí)間為0.03 s，顯示其性能優(yōu)越。此外，該算法針對(duì)目標(biāo)跟蹤計(jì)算，其X軸和Y軸的誤差分別控制在4.48像素和1.81像素之內(nèi)，使得整體處理時(shí)間僅為0.084 s，由此進(jìn)一步證明了該算法在實(shí)時(shí)性與精度上的平衡優(yōu)勢(shì)。

關(guān)鍵詞：自動(dòng)駕駛；深度學(xué)習(xí)；相機(jī)；激光雷達(dá)；融合技術(shù)

0 前言

隨著自動(dòng)駕駛技術(shù)的迅猛發(fā)展，提升駕駛體驗(yàn)的舒適度與安全性已成為研究的新焦點(diǎn)。深度學(xué)習(xí)技術(shù)的引入，為自動(dòng)駕駛性能的提升提供了無(wú)限可能，同時(shí)也為多目標(biāo)檢測(cè)領(lǐng)域帶來(lái)了創(chuàng)新的視角[1]。本文提出了一種基于深度學(xué)習(xí)的相機(jī)與激光雷達(dá)的融合標(biāo)定算法，該算法結(jié)合了單目相機(jī)與激光雷達(dá)的優(yōu)勢(shì)，實(shí)現(xiàn)了2者的融合標(biāo)定與目標(biāo)檢測(cè)。該方法不僅有效克服了單一數(shù)據(jù)源在目標(biāo)檢測(cè)中可能遇到的局限，而且顯著提升了自動(dòng)駕駛技術(shù)在自動(dòng)跟蹤方面的精度與可靠性。通過(guò)這種融合策略，能夠更全面地捕捉和理解車(chē)輛周?chē)沫h(huán)境，為自動(dòng)駕駛系統(tǒng)的決策提供更加豐富和精確的數(shù)據(jù)支持。

1 融合標(biāo)定算法

在三維坐標(biāo)系內(nèi)，二維平面內(nèi)的像素與激光點(diǎn)云坐標(biāo)系之間呈現(xiàn)出幾何關(guān)聯(lián)度。該模型參數(shù)的推導(dǎo)過(guò)程，實(shí)際上就組成了相機(jī)與激光雷達(dá)融合標(biāo)定的具體過(guò)程。為此，標(biāo)定參數(shù)求解可通過(guò)一組方程來(lái)進(jìn)行[2]。

圖1展現(xiàn)了相機(jī)與激光雷達(dá)融合標(biāo)定的原理和架構(gòu)?；谠撛O(shè)定，激光雷達(dá)坐標(biāo)系被設(shè)定為OL、XL、YL、ZL。其中在像素坐標(biāo)系內(nèi)，分別為原點(diǎn)O，以及X軸和Y軸，而在相機(jī)坐標(biāo)系內(nèi)，分別為原點(diǎn)O，以及U軸和V軸；θx、θy、θz表示相機(jī)在X、Y、Z軸上的旋轉(zhuǎn)角度，T（t1，t2，t3）表示雷達(dá)坐標(biāo)系平移向量，（u0，v0）則表示像素坐標(biāo)系內(nèi)圖像原點(diǎn)所投射的坐標(biāo)。

設(shè)定基于三維空間中的某物理點(diǎn)P，在3D激光雷達(dá)坐標(biāo)系中的坐標(biāo)為（ XL，YL，ZL），而在相機(jī)坐標(biāo)系的坐標(biāo)為（ XC，YC，ZC）。這2個(gè)不同的坐標(biāo)系均屬于三維空間坐標(biāo)系，兩者之間轉(zhuǎn)換過(guò)程的表達(dá)式為：

2 基于機(jī)器人操作系統(tǒng)（ROS）的實(shí)時(shí)傳輸圖像和點(diǎn)云

本次所構(gòu)建的基于深度學(xué)習(xí)的相機(jī)與激光雷達(dá)融合技術(shù)需要從現(xiàn)實(shí)世界中獲取圖像和點(diǎn)云相關(guān)信息，為此，通過(guò)ROS庫(kù)中訂閱器、發(fā)布器來(lái)實(shí)現(xiàn)通信，隨后再利用回調(diào)函數(shù)，基于幀率實(shí)現(xiàn)圖像數(shù)據(jù)和云數(shù)據(jù)的傳遞。通過(guò)ROC完成python程序中節(jié)點(diǎn)的編寫(xiě)處理?；谠摴?jié)點(diǎn)，即可實(shí)現(xiàn)相機(jī)與激光雷達(dá)數(shù)據(jù)的有機(jī)對(duì)接，并完成相關(guān)轉(zhuǎn)換和處理。融合標(biāo)定的外參數(shù)據(jù)通過(guò)將USB相機(jī)數(shù)據(jù)和RSLidar M1激光雷達(dá)進(jìn)行坐標(biāo)轉(zhuǎn)換，以確保它們能夠在相同坐標(biāo)下對(duì)齊。在該點(diǎn)上，經(jīng)由ROS的發(fā)布者即可達(dá)成數(shù)據(jù)融合，并使其存放于話題下，確保其他節(jié)點(diǎn)能夠共享?；赗OC消息傳輸機(jī)制即可促使融合數(shù)據(jù)傳輸?shù)綄?duì)應(yīng)節(jié)點(diǎn)，保證節(jié)點(diǎn)能夠遵循相應(yīng)頻率完成數(shù)據(jù)發(fā)表，以更好地滿(mǎn)足實(shí)時(shí)信息傳遞的需求。相機(jī)與激光雷達(dá)實(shí)時(shí)傳輸生成的融合圖片如圖2所示。

3 基于深度學(xué)習(xí)的相機(jī)與激光雷達(dá)的融合技術(shù)的目標(biāo)檢測(cè)

3. 1 點(diǎn)云降采樣

激光雷達(dá)有著優(yōu)越的性能，具備極高的距離分辨率、角度分辨率，其測(cè)距精度能夠達(dá)到厘米級(jí)，但獲得的數(shù)據(jù)通常伴隨有離群點(diǎn)、噪聲、不規(guī)則密度等問(wèn)題。這些問(wèn)題需在后續(xù)的點(diǎn)云數(shù)據(jù)處理中予以解決，以保障點(diǎn)云信息提取、匹配等相關(guān)要求。點(diǎn)云濾波是點(diǎn)云處理的第一步，其主要目的是促使數(shù)據(jù)量下降。過(guò)多的點(diǎn)云數(shù)據(jù)必然會(huì)給后續(xù)融合工作造成極大困難。盡管隨機(jī)采樣的效率更高，但卻會(huì)導(dǎo)致點(diǎn)云微觀結(jié)構(gòu)遭受破壞。而采用體素濾波則能夠在保障效率的同時(shí)，不對(duì)數(shù)據(jù)造成影響。

步驟1：獲取空間內(nèi)的某點(diǎn)pi，運(yùn)用KD樹(shù)完成鄰近區(qū)域搜索，確定最近n個(gè)點(diǎn)并完成其與點(diǎn)pi之間的距離計(jì)算，將距離小于閾值的r點(diǎn)納入集合Q內(nèi)。

步驟2：基于集合Q，檢索pi之外的其他點(diǎn)，將距離小于閾值標(biāo)準(zhǔn)的r點(diǎn)再次納入集合Q；持續(xù)實(shí)施迭代處理，直至集合Q內(nèi)點(diǎn)數(shù)不再發(fā)生改變。

步驟3：基于集合Q中的每個(gè)點(diǎn)做出相應(yīng)操作，針對(duì)任意的pi∈Q，即可獲取一個(gè)聚類(lèi)點(diǎn)云簇。完成聚類(lèi)之后即可設(shè)定限定尺寸標(biāo)準(zhǔn)，保留最小與最大的聚類(lèi)點(diǎn)閾值之間的障礙物。

本研究結(jié)合不同距離的目標(biāo)提出了不同的閾值范圍，具體為：0

3. 3 相機(jī)與激光雷達(dá)的融合

4 試驗(yàn)結(jié)果與分析

4. 1 算法的準(zhǔn)確率與實(shí)時(shí)性驗(yàn)證

為驗(yàn)證本算法的整體可靠性，隨機(jī)獲取100張Kitti數(shù)據(jù)集中的點(diǎn)云和對(duì)應(yīng)圖像，通過(guò)手動(dòng)標(biāo)記的確定192個(gè)識(shí)別框，經(jīng)由激光雷達(dá)點(diǎn)云篩選獲得對(duì)比結(jié)果，判定其準(zhǔn)確率。以崔善堯等[3]研究結(jié)果為對(duì)照，具體見(jiàn)表1。

由表1可知，與文獻(xiàn)[3]結(jié)果對(duì)比，本算法面對(duì)簡(jiǎn)單、中等、困難目標(biāo)的準(zhǔn)確率均有不同程度提升，總準(zhǔn)確率有明顯提升，同時(shí)檢測(cè)時(shí)間也顯著縮短。

4. 2 算法效果

為驗(yàn)證所提算法的跟蹤效果，將其與粒子濾波（PF）算法進(jìn)行對(duì)比，通過(guò)定量分析觀察不同算法下跟蹤結(jié)果，并通過(guò)ex、ey表示X軸、Y軸上的誤差，同時(shí)獲取平均區(qū)域重疊率Ot，見(jiàn)表2。

由表2可知，本次算法基于鄰近兩幀檢測(cè)目標(biāo)和時(shí)間間隔來(lái)確定目標(biāo)移動(dòng)速度，并通過(guò)圖像檢測(cè)框與速度來(lái)完成中心坐標(biāo)融合處理，取得了較好的跟蹤效果。與PF算法對(duì)比，本次算法具有較好的擬合真實(shí)性，在X軸與Y軸上的偏差均更低，并且平均區(qū)域重疊率更高，每幀耗費(fèi)的時(shí)長(zhǎng)更短。

5 結(jié)語(yǔ)

針對(duì)高速發(fā)展的自動(dòng)駕駛技術(shù)，本研究基于深度學(xué)習(xí)提出了相機(jī)與雷達(dá)激光融合算法。根據(jù)本次研究目標(biāo)，首先完成了融合標(biāo)定算法的架設(shè)，并基于ROS明確了實(shí)時(shí)傳輸圖像和點(diǎn)云技術(shù)，結(jié)合深度融合目標(biāo)檢測(cè)提出了點(diǎn)云降采樣策略，引入KD樹(shù)最近鄰搜索的自適應(yīng)歐幾里得聚類(lèi)算法進(jìn)行點(diǎn)云聚類(lèi)，最終通過(guò)三維空間完成相機(jī)與激光雷達(dá)的融合。通過(guò)對(duì)比分析，證實(shí)本次算法具有較高準(zhǔn)確率和實(shí)時(shí)性，并且目標(biāo)跟蹤效果較為理想。

參考文獻(xiàn)

[1] 齊繼超，何麗，袁亮，等.基于單目相機(jī)與激光雷達(dá)融合的SLAM方法[J].電光與控制， 2022，29（2）：99-102，112.

[2] 吳瓊，時(shí)利，謝欣燕，等.基于視覺(jué)標(biāo)記板的自動(dòng)駕駛車(chē)輛激光雷達(dá)與相機(jī)在線標(biāo)定研究[J].汽車(chē)技術(shù)，2020（4）：40-44.

[3] 崔善堯，賈述斌，黃勁松.圖像與激光點(diǎn)云融合的實(shí)時(shí)目標(biāo)定位算法[J].導(dǎo)航定位學(xué)報(bào)， 2023，11（2）：99-105.