周媛媛，易 鵬，馬 力

（廣州市城市規(guī)劃勘測設(shè)計(jì)研究院，廣東 廣州 510000）

近幾年來，自動(dòng)駕駛技術(shù)發(fā)展迅速，通過多傳感器融合方案來保證自動(dòng)駕駛場景下的穩(wěn)定感知是主流趨勢，其中激光雷達(dá)與攝像頭可以提供互補(bǔ)信息，是目前常用的融合方案。激光雷達(dá)和相機(jī)融合的基礎(chǔ)就是精確的外參標(biāo)定，即對兩個(gè)傳感器相對剛體變換的精確估計(jì)。

一些早期的校準(zhǔn)工作使用人工標(biāo)靶（例如棋盤和特定標(biāo)定板）來標(biāo)定LiDAR 和相機(jī)[1-6]。然而，大多數(shù)基于標(biāo)靶的校準(zhǔn)算法耗時(shí)、費(fèi)力且離線，需要經(jīng)常重新校準(zhǔn)。一些針對激光雷達(dá)和相機(jī)的標(biāo)定方法開始側(cè)重于實(shí)現(xiàn)全自動(dòng)且無人工標(biāo)靶的在線標(biāo)定[7-12]。然而，目前大多數(shù)在線自標(biāo)定方法對標(biāo)定場景有嚴(yán)格的要求，且需要事先完成兩個(gè)傳感器的時(shí)間同步，才可以利用時(shí)間同步好的兩種傳感器信息進(jìn)行標(biāo)定。

針對以上難點(diǎn)，文中提出了一種基于位姿插值和自然平面目標(biāo)的相機(jī)與激光雷達(dá)外參在線標(biāo)定方法，僅通過車輛在線獲取的圖像和激光雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行在線標(biāo)定，在無標(biāo)靶和傳感器未時(shí)間同步情況下依然可以獲取精確的外參數(shù)據(jù)。

1 外參在線標(biāo)定方法流程

圖1 所示為整個(gè)算法的流程圖，在車輛運(yùn)行過程中，激光和圖像數(shù)據(jù)會(huì)分別通過各自的SLAM 算法估計(jì)其對應(yīng)的位姿。當(dāng)傳感器未完成時(shí)間同步時(shí)，該方法首先通過B 樣條曲線擬合進(jìn)行位姿插值，實(shí)現(xiàn)LiDAR 和相機(jī)位姿的時(shí)間對齊，并以此利用位姿圖優(yōu)化計(jì)算外參變換初值。接著通過圖像的語義分割獲得場景中的平面物體的掩膜，之后利用變換初值計(jì)算2D 掩膜對應(yīng)激光雷達(dá)中的3D 點(diǎn)云錐，并基于點(diǎn)云生長優(yōu)化對應(yīng)點(diǎn)云錐結(jié)果；最后構(gòu)造基于2D 物體掩膜和對應(yīng)3D 點(diǎn)云錐的投影殘差損失函數(shù)，通過非線性優(yōu)化獲得精準(zhǔn)的外參標(biāo)定結(jié)果。

圖1 在線標(biāo)定算法流程圖

2 基于B 樣條曲線擬合的SE（3）位姿插值

對于車輛在線獲取的兩種傳感器數(shù)據(jù)，首先會(huì)各自利用該傳感器數(shù)據(jù)進(jìn)行SLAM 的位姿估計(jì)，估計(jì)出每個(gè)時(shí)刻該傳感器的位姿信息，相機(jī)基于ORBSLAM3[13]的單目方法進(jìn)行位姿估計(jì)，3D 激光雷達(dá)則利用F-LOAM[14]方法進(jìn)行位姿估計(jì)。但是當(dāng)兩種傳感器未事先完成時(shí)間同步時(shí)，這兩種傳感器的位姿無法在時(shí)間上同步，即無法知道同一時(shí)刻下這兩個(gè)傳感器分別對應(yīng)的位姿信息，位姿無法完成對應(yīng)。因此，該方法首先基于B 樣條曲線擬合，以激光雷達(dá)軌跡估計(jì)結(jié)果作為基準(zhǔn)，對相機(jī)估計(jì)軌跡中的SE(3)位姿進(jìn)行插值，獲得密集對應(yīng)的位姿結(jié)果，完成兩種傳感器在時(shí)序上的位姿對應(yīng)。再利用對應(yīng)好的位姿，進(jìn)行投影誤差函數(shù)的構(gòu)建。最后，通過位姿圖優(yōu)化解算獲得兩種傳感器各自估計(jì)軌跡的相對變換矩陣，作為激光雷達(dá)和相機(jī)外參的變換初值。下面將介紹B 樣條曲線擬合的位姿插值原理。

時(shí)間連續(xù)位姿T(t)由轉(zhuǎn)動(dòng)分量R(t)和平移分量p(t)組成：

這是在每個(gè)B 樣條窗口內(nèi)對組進(jìn)行線性插值的混合。待插值的位姿定義為從體坐標(biāo)系到全局坐標(biāo)系的變換，即：

其中，p是全局坐標(biāo)系中的樣條位置，R是從體坐標(biāo)系到全局坐標(biāo)系的旋轉(zhuǎn)。一個(gè)轉(zhuǎn)動(dòng)用于表示兩個(gè)姿勢之間的移動(dòng)：

轉(zhuǎn)動(dòng)ε=(υ,ω)∈SE(3)由平移v(有方向和尺度)和軸角向量ω組成。通過將轉(zhuǎn)動(dòng)與一個(gè)標(biāo)量θ相乘，可以得到SE(3)中的一個(gè)元素，其解析表達(dá)式如下：

3 基于深度學(xué)習(xí)的圖像2D 掩膜及其對應(yīng)3D點(diǎn)云錐獲取

該方法使用語義分割方法[15]分割出圖像中的語義2D 掩膜，在將感興趣的平面目標(biāo)掩膜分割出之后，利用上節(jié)獲得的變換初參，可以從2D 掩模區(qū)域進(jìn)行逆錐投影來搜索該2D 框?qū)?yīng)的激光雷達(dá)3D 點(diǎn)云區(qū)域，實(shí)現(xiàn)在小范圍內(nèi)提取平面目標(biāo)點(diǎn)。然而，因?yàn)槌鯀⒉痪珳?zhǔn)等原因，對應(yīng)的3D 空間點(diǎn)云可能只有部分在投影錐中，因此通過引入點(diǎn)云生長的方法來補(bǔ)齊3D 平面目標(biāo)點(diǎn)云。首先將圖像2D 的掩膜區(qū)域按照2 倍比例擴(kuò)大，逆錐投影區(qū)域也相應(yīng)地進(jìn)行擴(kuò)大，之后根據(jù)激光雷達(dá)點(diǎn)云位置構(gòu)建無向圖。對不同的子類選取隨機(jī)的圖上頂點(diǎn)作為種子點(diǎn)，以種子點(diǎn)為基礎(chǔ)進(jìn)行生長，從而完成對3D 平面目標(biāo)點(diǎn)云的補(bǔ)齊。最后構(gòu)造基于2D 物體掩膜和對應(yīng)3D 點(diǎn)云錐的投影殘差損失函數(shù)，通過非線性優(yōu)化獲得精準(zhǔn)的外參標(biāo)定結(jié)果。

4 實(shí) 驗(yàn)

文中實(shí)驗(yàn)所用的數(shù)據(jù)集是公開的自動(dòng)駕駛數(shù)據(jù)集-KITTI 數(shù)據(jù)集[16]，KITTI 數(shù)據(jù)集是目前最常使用的自動(dòng)駕駛數(shù)據(jù)集之一。KITTI 數(shù)據(jù)集包含有彩色攝像機(jī)和一個(gè)Velodyne 64 線激光雷達(dá)的數(shù)據(jù)，彩色攝像機(jī)為全局曝光的CCD 相機(jī)，文中在KITTI 數(shù)據(jù)集中的Odometry 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，采用彩色相機(jī)和激光雷達(dá)的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。KIITI 數(shù)據(jù)集中示例圖像及其對應(yīng)的激光點(diǎn)云如圖2 所示。

圖2 KITTI數(shù)據(jù)集中示例圖像及其對應(yīng)的激光點(diǎn)云

兩種傳感器分別估計(jì)得到的軌跡結(jié)果如圖3 所示，其中下方的實(shí)線軌跡為未處理的相機(jī)估計(jì)軌跡，虛線軌跡為激光估計(jì)的軌跡，因?yàn)橄鄼C(jī)估計(jì)方法采用的是ORB-SLAM3 的單目方式，相機(jī)估計(jì)軌跡與真實(shí)世界存在一個(gè)尺度偏差，因此實(shí)線軌跡的尺度與虛線軌跡的尺度相差較大。

圖3 兩種傳感器的估計(jì)軌跡

圖4 所示為利用基于B 樣條曲線擬合的SE（3）位姿插值，實(shí)現(xiàn)兩種傳感器軌跡時(shí)序上的位姿對應(yīng)后的結(jié)果，其中實(shí)線軌跡為插值后對應(yīng)完成的相機(jī)軌跡，虛線軌跡為激光軌跡?？梢钥闯?，文中方法不僅將兩個(gè)軌跡的尺度對齊，而且完成了位姿時(shí)序上的對應(yīng)。

圖4 時(shí)序上位姿對齊后的結(jié)果

基于初參的結(jié)果，構(gòu)造基于2D 物體掩膜和對應(yīng)3D 點(diǎn)云錐的投影殘差損失函數(shù)，最后通過非線性優(yōu)化獲得精準(zhǔn)的外參標(biāo)定結(jié)果。獲得精確外參后可以將激光雷達(dá)點(diǎn)云投影到圖像上，結(jié)果如圖5 所示，可以看出文中方法很好地將激光點(diǎn)云投影到對應(yīng)的物體上[17]。

圖5 示例投影結(jié)果

5 結(jié)論

文中針對自動(dòng)駕駛場景中相機(jī)和激光雷達(dá)在無靶標(biāo)和傳感器時(shí)間未同步情況下的在線標(biāo)定問題，研究了利用SE(3)位姿插值和自然平面目標(biāo)的外參在線標(biāo)定方法，并通過在通用公開數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證了提出方法的高效性，利用文中方法在線標(biāo)定出的外參結(jié)果，可以較精確地將激光點(diǎn)云投影到圖像中。文中方法無需事先完成傳感器時(shí)間同步和進(jìn)行復(fù)雜的環(huán)境設(shè)置，在車輛運(yùn)行過程中進(jìn)行自動(dòng)標(biāo)定，大大降低了激光和相機(jī)外參標(biāo)定的復(fù)雜性，具有很高的實(shí)用價(jià)值和意義。