申彩英,朱思瑤,黃興馳

(遼寧工業(yè)大學(xué) 汽車與交通工程學(xué)院,遼寧 錦州 121001)

0 引言

無人駕駛汽車主要由3大系統(tǒng)構(gòu)成:環(huán)境感知系統(tǒng)、路徑規(guī)劃系統(tǒng)和運(yùn)動控制系統(tǒng)。環(huán)境感知是路徑規(guī)劃和運(yùn)動控制的前提,也是無人駕駛汽車最亟待解決和優(yōu)化的關(guān)鍵技術(shù)難題,正確識別車輛周身環(huán)境是無人駕駛汽車運(yùn)行的基礎(chǔ)。

相機(jī)和雷達(dá)是環(huán)境感知的重要傳感器,由此衍生出3類基本檢測算法?；诩儓D像算法、基于純點(diǎn)云算法、基于兩者融合算法。三者各有優(yōu)劣:基于圖像視覺常見的算法有:一階段算法其典型代表有SSD[1]、YOLOv3[2]系列;二階段算法其典型代表有R-CNN[3]、Faster R-CNN[4],此類算法由于可見光相機(jī)信息密度高,提供了細(xì)致的紋理和顏色信息,可提取更多特征,從而提高檢測精度。但夜間工作能力差且無法提供深度信息。

基于激光雷達(dá)的算法有:基于點(diǎn)云的PointNet[5]算法和基于體素的VoxelNet算法[6],以及相關(guān)的改進(jìn)算法SECOND算法[7],PointRCNN算法[8]。此類算法可在夜間工作并提供了非常準(zhǔn)確的深度信息,但存在遠(yuǎn)處點(diǎn)云數(shù)據(jù)稀疏,對小目標(biāo)檢測效果差的問題。

基于兩者融合的算法,能夠很好地利用兩者優(yōu)點(diǎn),典型的融合算法有:MV3D算法[9],其算法融合RGB圖像和雷達(dá)點(diǎn)云作為模型輸入的一種三維目標(biāo)檢測,用多視圖對3D點(diǎn)云進(jìn)行編碼。AVOD算法[10],引入FPN結(jié)構(gòu)以適應(yīng)不同尺寸的圖片數(shù)據(jù),增加了三維檢測框的參數(shù)。AVOD相較于MV3D,提高了小目標(biāo)的召回率。Qi等提出F-PointNets檢測算法[11],使用了串聯(lián)的方式先融合圖像與深度信息,減小了需處理的數(shù)據(jù)量,提高了算法運(yùn)行效率,但此算法較為依賴RGB圖像數(shù)據(jù),對光線變化敏感,算法魯棒性不佳。Xu等提PointFusion算法[12],結(jié)合了AVOD和F-PointNets的優(yōu)勢,由殘差模塊提取物體顏色和幾何特征,由PointNets提取點(diǎn)云空間分布特征,算法的泛性和魯棒性較好。類似的還有MVX-Net[13]等算法。但此類框架都比較復(fù)雜,且運(yùn)行緩慢和繁瑣。

本文中算法基于PointPainting[14]算法框架:每個(gè)激光雷達(dá)點(diǎn)被投影到經(jīng)過圖像語義分割網(wǎng)絡(luò)的輸出圖像中,這樣就將語義信息增添到點(diǎn)云上了。繪制好的激光雷達(dá)點(diǎn)就能夠用在任何激光雷達(dá)檢測算法上,通用性極強(qiáng)。利用條形池化運(yùn)算模塊改進(jìn)語義分割DeepLab算法[15],提出DeepLabvs算法,使之對長條形目標(biāo)更加敏感,從而繪制出更好的點(diǎn)云。再采用PointPillars[16]基線算法進(jìn)行目標(biāo)檢測,形成PointPainting+算法。融合后的算法在遠(yuǎn)距離小目標(biāo)檢測精度上有較大提高。

1 檢測網(wǎng)絡(luò)框架

1.1 總體框架

本算法參考文獻(xiàn)[14]將圖像經(jīng)DeepLabvs語義算法得到的語義信息投影到點(diǎn)云上以增強(qiáng)點(diǎn)云,再使用PointPillars算法提取點(diǎn)云特征,從而達(dá)到提高目標(biāo)檢測準(zhǔn)確率的目的,其總體結(jié)構(gòu)如圖1所示。

融合算法使用點(diǎn)云和圖像信息作為輸入,檢測目標(biāo)并生成對應(yīng)3D檢測框,它包括以下3個(gè)階段:① 基于圖像的語義分割,計(jì)算逐像素分割分?jǐn)?shù);② 用語義分割分?jǐn)?shù)繪制激光雷達(dá)點(diǎn)云;③ 利用繪制好的點(diǎn)云數(shù)據(jù)通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行3D目標(biāo)檢測。

1.2 訓(xùn)練數(shù)據(jù)來源及處理

數(shù)據(jù)直接使用kitti數(shù)據(jù)集,作為訓(xùn)練樣本,利用KITTI數(shù)據(jù)集訓(xùn)練。KITTI Object Detection Evaluation 2012數(shù)據(jù)集包含7 481張道路交通采集圖像和7 481份對應(yīng)的點(diǎn)云文件,將數(shù)據(jù)集劃分為訓(xùn)練集70%,測試集30%。

1.3 改進(jìn)的語義分割方法

DeepLab語義分割方法是經(jīng)典的語義分割算法,它在捕獲高層語義信息方面已經(jīng)取得了一些成效,但是這個(gè)方法仍有一些缺陷,此方法主要是堆砌了一些局部的卷積和池化操作,因此,感受野是有局限性的,對于復(fù)雜場景的解析仍有不足。

為了增大感受野,現(xiàn)在主要有以下幾種方法:一是利用自注意力機(jī)制來建立長距離的依賴關(guān)系,但是這種改進(jìn)方法需要耗費(fèi)較大的內(nèi)存來進(jìn)行復(fù)雜的矩陣運(yùn)算;二是利用全局池化或是金字塔池化來增加全局線索。但這些方法的局限在于,運(yùn)用在輪廓較為方正的目標(biāo)上效果較好,但對于很多長條形的目標(biāo)(如行人,騎行者)效果并不佳,為改善此問題,將條形池化引入語義分割,提出改進(jìn)算法DeepLabvs。

標(biāo)準(zhǔn)空間平均池化能應(yīng)用于收集遠(yuǎn)程上下文信息。然而,當(dāng)處理的對象不是規(guī)則的形狀時(shí),它會帶有很多無關(guān)的區(qū)域,條形池化可以緩解上述問題,條形池化使用帶狀窗口沿水平或垂直維度執(zhí)行池化。在數(shù)學(xué)上,給定二維張量x∈RH×W,在條形池化中,池化的空間范圍(H,1)或(1,W)是必需的。相比于二維平均池化,條形池化對一行或一列中的所有特征值進(jìn)行平均運(yùn)算,所以可得水平條形池化后的輸出yh∈RH為:

(1)

(2)

條形池化模塊如圖2所示。

圖2 條形池化模塊示意圖

令x∈RC×H×W為輸入張量,其中C表示通道數(shù)。首先將x送入2個(gè)平行路徑,每個(gè)路徑包含一個(gè)水平或垂直條形池化層,然后是一個(gè)內(nèi)核大小為3的一維卷積層,用于調(diào)制當(dāng)前位置與其相鄰像素特征。再令yh∈RC×H、yv∈RC×W,為了獲得包含更有用的全局先驗(yàn)的輸出z∈RC×H×W,首先將yh和yv組合到一起產(chǎn)生y∈RC×H×W,然后有:

(3)

輸出z可用如下公式計(jì)算:

z=Scale(x,σ(f(y)))

(4)

式中:Scale( )指逐元素乘法;σ是Sigmoid函數(shù);f是1×1卷積。

改進(jìn)后的DeepLabvs算法結(jié)構(gòu)如圖3所示,整個(gè)網(wǎng)絡(luò)模型分為編碼器和解碼器2個(gè)部分,編碼器部分通過多次卷積生成感受野大小不同的特征圖,再對特征圖進(jìn)行空洞卷積和條形池化操作;金字塔結(jié)構(gòu)的特征圖會分別輸入解碼器部分進(jìn)行張量拼接和上采樣。損失函數(shù)采用交叉熵?fù)p失,最終輸出語義分割結(jié)果。

圖3 DeepLabvs算法結(jié)構(gòu)框圖

DeepLabvs算法能夠有效地在道路交通的復(fù)雜環(huán)境中分割人、車等要素,其效果如圖4所示。

圖4 語義分割效果圖

1.4 利用語義分割分?jǐn)?shù)重繪激光雷達(dá)點(diǎn)云

圖像語義分割網(wǎng)絡(luò)將輸入圖像按像素進(jìn)行分類,輸出對應(yīng)的像素的類別分?jǐn)?shù)。用語義分割有個(gè)優(yōu)點(diǎn),語義分割是一項(xiàng)比3D目標(biāo)檢測更簡單的任務(wù),分割只需要按像素進(jìn)行局部分類,而3D目標(biāo)檢測需要對目標(biāo)進(jìn)行定位和分類,執(zhí)行語義分割的算法網(wǎng)絡(luò)更容易訓(xùn)練并且執(zhí)行速度上也更具優(yōu)勢[17]。

本算法的關(guān)鍵之處在于如何讓語義分割結(jié)果與激光雷達(dá)點(diǎn)云產(chǎn)生關(guān)聯(lián),在進(jìn)行融合之前,有必要定義幾個(gè)關(guān)鍵參數(shù)。輸入?yún)?shù)有:激光雷達(dá)點(diǎn)云L∈RN,D,N為點(diǎn)數(shù),D為維度數(shù);語義分割像素分?jǐn)?shù)S∈RW,H,E,W、H為特征圖的寬和高,E為類別數(shù);齊次變換矩陣T∈R4,4;相機(jī)矩陣M∈R3,4。輸出參數(shù)有:重繪后的激光雷達(dá)點(diǎn)云P∈RN,D+E。激光雷達(dá)點(diǎn)云中的每個(gè)點(diǎn)的維度信息分別是(x,y,z,r)或(x,y,z,r,t),這里(x,y,z)是每個(gè)激光雷達(dá)點(diǎn)的空間坐標(biāo)位置,r是反射率,t是激光雷達(dá)點(diǎn)的相對時(shí)間戳。激光雷達(dá)點(diǎn)通過齊次變換進(jìn)行轉(zhuǎn)換,然后投影到圖像中,轉(zhuǎn)換過程是:

T=T(camera←ego)T(egotc←egot1)T(ego←lidar)

(5)

首先將激光雷達(dá)坐標(biāo)變換到自車坐標(biāo);其次將t1時(shí)刻激光雷達(dá)捕獲數(shù)據(jù)時(shí)的自車坐標(biāo)變換到tc時(shí)刻可見光相機(jī)捕獲數(shù)據(jù)時(shí)的自車坐標(biāo);最后將自車坐標(biāo)再變換到相機(jī)坐標(biāo),相機(jī)矩陣將點(diǎn)投影到圖像中。語義分割網(wǎng)絡(luò)的輸出是每個(gè)像素點(diǎn)的E類分?jǐn)?shù),對于本算法來說E=4(汽車、行人、騎行者、背景)。一旦將圖像投影到激光雷達(dá)點(diǎn)云中,相關(guān)像素的分割分?jǐn)?shù)也將附加到激光雷達(dá)點(diǎn)云上。這樣使數(shù)據(jù)有更多維度的信息,將有利于網(wǎng)絡(luò)提高檢測的精度。

1.5 3D目標(biāo)檢測

在上節(jié)得到處理后的帶有分割分?jǐn)?shù)的點(diǎn)云數(shù)據(jù)后,再基于點(diǎn)云進(jìn)行目標(biāo)檢測。PointPillars算法在文獻(xiàn)[7]基礎(chǔ)上,將體素方塊改為長方體柱,使得點(diǎn)云可以運(yùn)用于二維卷積,大大提高了模型運(yùn)行速度,基于點(diǎn)云的卷積神經(jīng)網(wǎng)絡(luò)算法有了實(shí)時(shí)檢測的可能。經(jīng)編碼處理后的點(diǎn)云數(shù)據(jù)可以被卷積神經(jīng)網(wǎng)絡(luò)處理,從而將深度學(xué)習(xí)方法用于點(diǎn)云目標(biāo)檢測之中,其總體結(jié)構(gòu)如圖5所示。

圖5 基于點(diǎn)云的目標(biāo)檢測總體結(jié)構(gòu)框圖

1.5.1點(diǎn)云編碼框架

點(diǎn)云編碼框架如圖6所示。

圖6 點(diǎn)云編碼框架示意圖

實(shí)驗(yàn)采用Velodyne VLP-16激光雷達(dá)的最遠(yuǎn)感應(yīng)距離100 m,編碼點(diǎn)云的取值范圍是:橫向X軸正、負(fù)半軸各39.68 m,縱向Y軸正半軸69.12 m,豎向以雷達(dá)中心為Z軸原點(diǎn),向上取1 m,向下取2 m。要對點(diǎn)云進(jìn)行編碼,首先在點(diǎn)云X-Y平面中劃分一個(gè)個(gè)固定大小的格子(如圖7所示),每個(gè)格子的邊長是0.16 m,格子沿Z軸縱向延伸就成了點(diǎn)云柱,每個(gè)點(diǎn)云柱中包含若干個(gè)點(diǎn)。

圖7 點(diǎn)云柱格子劃分示意圖

點(diǎn)云中每個(gè)激光點(diǎn)有8個(gè)維度(D)的信息:(x,y,z,r,s0,s1,s2,s3),(x,y,z)表示點(diǎn)的3維坐標(biāo),r表示激光點(diǎn)照射到物體表面的反射強(qiáng)度。s0,s1,s2,s3分別表示為4個(gè)類別(汽車、行人、騎行者、背景)的語義分?jǐn)?shù)。再將點(diǎn)云的信息維度擴(kuò)充至13維:(x,y,z,r,xc,yc,zc,xp,yp,s0,s1,s2,s3),(xc,yc,zc)表示當(dāng)前點(diǎn)相對于點(diǎn)云柱內(nèi)所有點(diǎn)平均值的偏差,(xp,yp)表示當(dāng)前點(diǎn)相對于點(diǎn)云柱中心的距離,有關(guān)偏差可由以下公式計(jì)算。

(6)

(7)

式中:N表示點(diǎn)云柱內(nèi)點(diǎn)的數(shù)量,最大值設(shè)為100,不足100的點(diǎn)云柱補(bǔ)0,超過100的點(diǎn)云柱隨機(jī)采樣100個(gè)點(diǎn)。再設(shè)P為當(dāng)前幀點(diǎn)云X-Y平面所能劃分的點(diǎn)云柱數(shù),即將點(diǎn)云信息從(x,y,z,r,s0,s1,s2,s3)變?yōu)榱?D,P,N)形式的張量,此時(shí)D=13;然后通過全連接運(yùn)算將D升至64維,再經(jīng)過最大池化,將每個(gè)點(diǎn)云柱內(nèi)的點(diǎn)數(shù)壓縮成1,最大池化只取具有代表性的點(diǎn),點(diǎn)云數(shù)據(jù)變?yōu)?C,P)形式的張量,C為通道數(shù)。之后將所有點(diǎn)云柱尺寸相加得到當(dāng)前幀點(diǎn)云數(shù)據(jù)的總尺寸(H,W),經(jīng)上述變換之后,每個(gè)H×W大小的空間內(nèi)存放著一幀內(nèi)所有點(diǎn)云柱的某一個(gè)特征維度的數(shù)據(jù),總共有64個(gè)特征維度,因此點(diǎn)云數(shù)據(jù)形式變?yōu)?C,H,W),至此,點(diǎn)云數(shù)據(jù)被編碼為可直接輸入卷積神經(jīng)網(wǎng)絡(luò)的張量。

1.5.2主干網(wǎng)絡(luò)

主干網(wǎng)絡(luò)采用與文獻(xiàn)[5]類似的結(jié)構(gòu),如圖8所示。

圖8 主干網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.5.3檢測頭

使用SSD網(wǎng)絡(luò)作為整個(gè)算法模型的檢測頭,檢測頭共輸出3種數(shù)據(jù):分類檢測、檢測框回歸、方向預(yù)測。分類檢測每個(gè)區(qū)域有6個(gè)anchors,每個(gè)anchor的類別概率是一個(gè)3維度的數(shù)據(jù),共有18維;檢測框回歸的每個(gè)檢測框都具有7個(gè)維度的值,分別為(x,y,z,w,l,h,θ),(x,y,z)為檢測框中心坐標(biāo),(w,l,h)為檢測框?qū)挕㈤L、高,θ為檢測框朝向角;方向預(yù)測使用Softmax函數(shù)預(yù)測離散的旋轉(zhuǎn)角(朝向)類別。ground truth和 anchor之間的定位回歸殘差定義為

(8)

損失函數(shù)參考文獻(xiàn)[7],檢測框定位回歸損失函數(shù)采用SmoothL1函數(shù),其可以有效防止梯度爆炸。

(9)

(10)

式中:Δb為定位回歸殘差。式(10)中:β為系數(shù),通常取1。分類損失采用在交叉熵?fù)p失函數(shù)基礎(chǔ)上改進(jìn)的focal損失函數(shù),能夠降低負(fù)樣本的權(quán)重。

Lcls=-αa(1-pa)γlogpa

(11)

式中:pa為anchor的類別概率;α和γ為常系數(shù),分別取0.25和2。因?yàn)槎ㄎ粨p失無法區(qū)分檢測框完全正向和完全逆向,因此使用交叉熵?fù)p失Ldir預(yù)測檢測框的方向,總損失函數(shù)為

(12)

式中:Npos為真陽性anchor的數(shù)量;β為系數(shù),βloc取2,βcls取1,βdir取0.2。

為了優(yōu)化損失函數(shù),使用初始學(xué)習(xí)率為2×10-4的Adam優(yōu)化器,每15個(gè)epochs將學(xué)習(xí)率衰減0.8倍,并訓(xùn)練30個(gè)epochs。

2 平臺搭建與試驗(yàn)

2.1 激光雷達(dá)和攝像頭聯(lián)合標(biāo)定

由于激光雷達(dá)和可見光相機(jī)安裝位置不同,所采集數(shù)據(jù)的中心坐標(biāo)也不同,為使二者能夠統(tǒng)一融合處理,需要對激光雷達(dá)和可見光相機(jī)進(jìn)行聯(lián)合標(biāo)定。實(shí)驗(yàn)使用Autoware軟件中的標(biāo)定工具Calibration Toolkit進(jìn)行聯(lián)合標(biāo)定。

在ROS中分別啟動激光雷達(dá)和可見光相機(jī),將棋盤格標(biāo)定板置于傳感器前方,并變換方位與角度,采集好雷達(dá)和相機(jī)標(biāo)定用數(shù)據(jù)。打開Calibration Toolkit標(biāo)定工具,界面如圖9所示,選定與棋盤格靶標(biāo)對應(yīng)的點(diǎn)云,選定若干組后進(jìn)行標(biāo)定計(jì)算得到相機(jī)內(nèi)參,畸變參數(shù),相機(jī)到雷達(dá)外參。

圖9 Calibration Toolkit聯(lián)合標(biāo)定界面

2.2 實(shí)驗(yàn)平臺搭建

以一輛中華V3轎車進(jìn)行改裝作為實(shí)驗(yàn)平臺,如圖10所示。采用Velodyne VLP-16作為激光雷達(dá)傳感器,視覺傳感器采用維視無人駕駛MV-EM130C工業(yè)相機(jī)。

圖10 實(shí)驗(yàn)汽車實(shí)物圖

計(jì)算機(jī)硬件配置為:CPU Intel Xeon E5-2678 v3,GPU NVIDIA GeForce RTX 2080 Ti,RAM 62 GB。模型部署計(jì)算機(jī)硬件配置為:CPU Intel i5 8300H,GPU NVIDIA GeForce GTX 1060,RAM 16 GB。計(jì)算機(jī)需要搭載的軟件及其版本如表1所示。

表1 計(jì)算機(jī)軟件版本

3 實(shí)驗(yàn)結(jié)果分析

3.1 評價(jià)指標(biāo)

機(jī)器對目標(biāo)的預(yù)測判斷有表2所示4種情況:

表2 預(yù)測結(jié)果分類

精確率(Precision)是衡量機(jī)器識別真陽性樣本準(zhǔn)確程度的指標(biāo),其計(jì)算公式為:

(13)

召回率(Recall)衡量機(jī)器對目標(biāo)檢測的全面程度,反應(yīng)樣本中有效目標(biāo)被檢測出來的概率,其計(jì)算公式為:

(14)

單一的精確率無法反映漏檢的情況,單一查全率無法反映誤檢的情況。綜合考慮模型的準(zhǔn)確性和全面性,故本算法以AP(Average Precision)值(平均精度)來綜合衡量算法性能,具體為:以Recall為橫軸,Precision為縱軸繪出曲線,對曲線積分即得到AP值。其值越大,代表算法性能越好。

3.2 定性分析

用上節(jié)所示實(shí)驗(yàn)平臺在學(xué)校內(nèi)采集道路數(shù)據(jù)樣本對算法進(jìn)行驗(yàn)證,效果如圖所示。由圖11、12可見,本算法能夠在同一幀數(shù)據(jù)中識別汽車、行人等多個(gè)目標(biāo),并在點(diǎn)云中用3D檢測框標(biāo)識出目標(biāo)的位置和基本朝向。

圖12 實(shí)驗(yàn)測試結(jié)果

3.3 定量分析

在KITTI數(shù)據(jù)集對本融合算法進(jìn)訓(xùn)練,并對結(jié)果進(jìn)行評估,AP(平均精度)為評價(jià)指標(biāo),值越大越好。其結(jié)果對比如表3所示。

表3 各算法在KITTI測試數(shù)據(jù)集AP的性能對比 %

相比于僅依賴點(diǎn)云信息的PointPillars基線算法,本融合算法在簡單汽車樣本檢測方面并無優(yōu)勢,但在小目標(biāo)樣本如(騎行者、行人)檢測時(shí)優(yōu)勢較大。騎行者檢測平均性能提高了9.14%,尤其在困難騎行者樣本中領(lǐng)先幅度高達(dá)10.66%。行人檢測方面,平均性能提高了9.71%。相對AVOD-FPN經(jīng)典融合算法,本算法在速度上也有較好的表現(xiàn),檢測速度達(dá)到43 fps,能滿足實(shí)時(shí)性要求。而相對于依賴圖像的算法對光線十分敏感,融合算法的環(huán)境適應(yīng)性和魯棒性更強(qiáng)。

4 結(jié)論

1) 在原語義分割算法中加入條形池化模塊,提高了算法對行人等細(xì)長型目標(biāo)的敏感度。

2) 對比使用純點(diǎn)云的檢測方法,本算法對行人、騎行者等遠(yuǎn)距離小目標(biāo)有更好的檢測精度。

3) 交通參與者這類目標(biāo)檢測研究,對于無人駕駛汽車而言有重要意義。

4) 本文中的實(shí)驗(yàn)環(huán)境均為良好光照條件,如何提升惡劣天氣下的準(zhǔn)確檢測率是進(jìn)一步研究的方向。