吳慶 彭育輝 黃煒 陳澤輝 姚宇捷

（福州大學，福州 350116）

主題詞：YOLOv4-tiny 點云RGB特征圖 角度預測 雙注意力機制

1 前言

近年來，基于車載激光雷達的三維目標檢測備受關注，但是存在三維點云數據量大、目標檢測算法計算量大和實時性差的問題[1-3]，將三維點云構建成鳥瞰圖輸入二維目標檢測網絡是一種有效的處理方法。根據信息來源不同，基于鳥瞰圖的目標檢測算法可以分為兩類，一類融合激光雷達與相機采集的信息進行檢測，另一類僅基于激光雷達采集的點云信息進行檢測。在基于激光雷達與相機的信息融合的目標檢測算法方面，多視角3D（Multi-View 3D，MV3D）網絡[4]采用3個輸入，即RGB圖像、鳥瞰圖投影圖像和前視圖投影圖像，利用深度融合（ContFusion）網絡對3 個輸入進行感興趣區(qū)域（Region Of Interest，ROI）提取操作，輸出融合特征圖，最后細化3D檢測框；深度融合網絡[5]分別對圖像和點云進行特征提取，建立激光雷達點云源數據投影關系，提取融合特征，但計算效率較低。在基于純點云的鳥瞰圖目標檢測算法中：BirdNet網絡[6]將三維點云信息處理成鳥瞰圖，將其輸入快速區(qū)域卷積神經網絡（Fast Region Convolutional Neural Network，Fast R-CNN）[7]中完成檢測任務；BirdNet++網絡[8]在BirdNet 網絡的基礎上添加兩級對象檢測器和特殊回歸分支，可以實現由鳥瞰圖檢測回歸到三維邊界框；目標分解網絡（Matting Objective Decomposition Network，MODet）[9]不考慮三維點云的反射強度，直接對三維點云進行鳥瞰圖投影，通過殘差結構提取高層語義信息，融合多層次特征圖，網絡檢測速度達到20 幀/s；3D 網格（GridNet-3D）[10]將2D 網格映射用于預處理原始點云，直接輸入到區(qū)域提議網絡模塊完成檢測，檢測頻率達到21.5 Hz；BEVDetNet[11]利用關鍵點檢測目標中心，邊界框預測和方向預測使用裝箱分類在一個更簡單的鳥瞰圖上表示，檢測時間達到0.06 s。FS23D 網絡[12]針對鳥瞰圖投影后的稀疏特征信息，采用網格前景分割而不采用基于錨框的方法來預測對象，檢測網絡運行速度達55.1 幀/s。

綜上，基于激光雷達與相機的信息融合的目標檢測算法利用點云鳥瞰圖信息以及其他傳感器信息進行特征提取，但是檢測效率低，而基于純點云的鳥瞰圖目標檢測算法只通過點云鳥瞰圖提取特征信息，檢測效率有所提升，但是網絡的特征信息提取能力較弱，導致檢測精度較低。為此，本文提出一種基于點云鳥瞰圖的實時車輛目標檢測算法，將原始點云的高度、強度和密度信息進行編碼，構建RGB特征圖，通過添加車輛目標檢測旋轉框的檢測尺度、添加改進空間金字塔池化（Spatial Pyramid Pooling-Fast，SPPF）模塊、引入雙注意力機制和優(yōu)化損失函數對YOLOv4-tiny網絡進行改進，在實現車輛目標檢測網絡輕量化的同時保證車輛的檢測精度。

2 點云RGB特征圖構建

目前，自動駕駛領域成熟的點云數據庫有KITTI數據庫、Apollo Scape 自動駕駛數據庫、Waymo 數據庫等，為網絡模型的訓練及驗證提供支持。KITTI 數據庫中的車輛數據豐富，包含檢測的各種場景，且標注完備，故選擇KITTI數據庫作為本文算法研究的數據支撐。

Chen 等[4]提出MV3D 網絡對三維點云的高度、強度和密度分別進行編碼，將投影點云離散化為分辨率為0.1 m 的二維網格，然后對每個網格計算高度、強度、密度。但是，投影點云離散化成二維網格中的分辨率對點云特征信息的保留十分重要，MV3D的二維網格的分辨率過大，導致丟失大量的點云特征信息，不利于后期的目標檢測。

YOLOv4-tiny 網絡輸入圖片的分辨率為608×608，使二維網格變小，可改善三維點云投影到二維網格中車輛點云特征信息丟失的情況?？紤]長度x、寬度y、高度z的取值范圍分別為[0,50]m、[-25,25]m、[-2.73,1.27]m的點云集合，YOLOv4-tiny輸入的特征圖尺寸高度和寬度H×W為608×608，對單幀點云進行區(qū)域劃分，獲得感興趣區(qū)域Ω內的點云數據PΩ滿足：

對PΩ中的任意一點Pi(xi,yi,zi)進行鳥瞰圖的投影，投影到對應的像素點P'i(mi,ni)上：

式中，xmin、xmax分別為點云感興趣區(qū)域Ω內x坐標的最小值和最大值；ymin、ymax分別為點云感興趣區(qū)域Ω內y坐標的最小值和最大值。

根據PΩ內的點云數據計算每個像素的RGB 通道值，實現三維點云的點云鳥瞰圖轉換，計算過程為：

式中，N為一個立體柵格中三維點云的數量；g為網格單元的大??；Pg為大小為g的網絡單元內點云數據矩陣；zmax為大小為g的網絡單位內點云z坐標的最大值；I(Pg)為大小為g的網絡單位內點云強度數據矩陣；R為映射到圖像上的歸一化密度，體現單元網格內的點云分布情況；G為點云歸一化最大高度，體現單元網格內的點云高度情況；B為點云歸一化最大強度，體現單元網格內的點云強度情況。

將R、G、B3個通道合并，生成點云RGB特征圖，如圖1所示。網絡的輸入特征圖尺寸H×W×C為608×608×3。

圖1 點云RGB特征圖構建示意

3 目標檢測網絡

YOLO（You Only Look Once）網絡的核心思想是將目標檢測任務作為回歸問題處理，以達到快速檢測的目的。相較于YOLOv4 網絡模型，YOLOv4-tiny 精簡了特征提取網絡，提高了檢測速度。網絡由輸入（Input）、骨干網絡（Backbone）、頸（Neck）和檢測頭（Head）組成。骨干網絡主要用于特征提取，采用CSPDarknet53-tiny網絡結構；頸主要用于特征融合，采用特征金字塔網絡（Feature Pyramid Network，FPN）結構；檢測頭根據提取到的特征結果進行最后的預測。

對YOLOv4-tiny網絡的改進體現在：添加車輛偏航角度預測分支，使其適用于車輛在點云鳥瞰圖上的檢測場景，實現車輛的準確定位；添加SPPF模塊，融合點云鳥瞰圖的全局特征和局部特征，提升網絡的目標定位能力；引入雙注意力機制，分別加強學習圖像的通道信息和空間位置信息，獲得更加豐富的特征，提升網絡的目標檢測能力；優(yōu)化目標框位置損失函數，添加目標預測偏航角損失函數，提升網絡的檢測能力。整個網絡的目標檢測框架如圖2所示，其中卷積塊（CBL）由卷積層（Convolution）、批量歸一化層（Batch Normalization）和LeakReLU 激活函數組成，CSP（Cross Stage Partial）模塊為跨階段局部模塊，Concat為拼接操作，Upsample為下采樣模塊。

圖2 改進YOLOv4-tiny的車輛點云鳥瞰圖實時目標檢測算法

3.1 目標檢測框設計

采用點云RGB 特征圖作為YOLOv4-tiny 網絡輸入，由于車輛在點云鳥瞰圖中呈任意方向分布，故在YOLOv4-tiny的原有目標框基礎上，添加車輛偏航角度預測分支。

根據實際的檢測場景，設定一個目標檢測框的參數為(bx,by,bw,bl,bφ)，其中(bx,by)為點云鳥瞰圖中目標車輛的中心點位置坐標，bw、bl分別為點云鳥瞰圖中目標車輛的寬度和長度，bφ為點云鳥瞰圖中目標車輛的偏航角：

式中，tx、ty、tw、tl分別為目標檢測框中心點的橫、縱坐標、寬度和長度的預測參數；tsin、tcos分別為目標檢測框的偏航角的正弦值和余弦值的預測參數；cx、cy分別為當前網格與網格原點的距離；pw、pl分別為先驗框的寬度和長度；σ()為Sigmoid函數，將預測參數限制在(0,1)范圍內；arctan2()為四象限反正切函數。

相較于直接回歸車輛的偏航角度，車輛目標偏航角通過正弦值和余弦值計算，一方面可以避免奇點，另一方面對模型泛化存在積極影響，檢測框參數示意如圖3所示。

圖3 目標檢測框回歸參數示意

3.2 SPPF結構

為了更好地融合點云鳥瞰圖的全局特征和局部特征，學習多尺度特征信息，在YOLOv4-tiny 的骨干網絡后引入空間金字塔池化（Spatial Pyramid Pooling，SPP）結構。SPP由He等[13]提出，目的是解決計算機視覺中輸入圖像尺寸不同造成圖像失真的問題，如圖4a 所示，YOLOv4 中的SPP 模塊由3 個最大池化層（Maxpool）構成，池化層的大小分別為13×13、9×9 和5×5，步長為1。YOLOv4 通過SPP 模塊增強了網絡的感受野，更加充分地利用特征層的信息。如圖4b 所示，本文在YOLOv4-tiny 的骨干網絡后引入SPPF 模塊，SPPF 也由3 個最大池化層構成，通過串行3個5×5大小的最大池化層實現多尺度融合，相較于SPP 模塊，SPPF 模塊在保證與SPP模塊具有相同作用的同時，可實現更高的計算效率。

圖4 空間金字塔池化結構

3.3 雙注意力機制

相較于YOLOv4，YOLOv4-tiny 采用了更加輕量化的網絡結構，雖然大幅提高了目標檢測效率，但是目標檢測精度存在一定程度降低。YOLOv4-tiny 有限的參數量限制了目標檢測的效果，故在網絡的主干部分添加雙注意力機制，以充分利用有限的參數量，加強對通道和空間特征信息的關注。雙注意力機制由高效通道注意力（Efficient Channel Attention，ECA）機制與空間注意力模塊（Spartial Attention Module，SAM）串聯構成。

ECA機制[14]在擠壓和激勵（Squeeze-and-Excitation，SE）注意力機制[15]的基礎上改進而來，結構如圖5所示，該機制避免降維，適當的跨通道交互對學習高性能和高效率的通道注意力較為重要。通過ECA機制可以加強特征通道的局部跨通道信息融合，根據全局特征信息對通道權重進行校準，使得網絡更加關注重要的特征通道信息，提升網絡檢測的性能。

圖5 ECA機制

如圖5所示，ECA模塊首先經過全局平均池化獲得一個C×1×1的特征向量，接著用一個權值共享的一維卷積來學習特征通道中的權重，其中一維卷積核k為模塊局部跨通道信息交互率，可隨通道的變化動態(tài)調整：

式中，C為總通道數量；|a|odd為a最近的奇數；b=1；γ=2。

ECA 機制通過使網絡更加關注特征通道信息來提升網絡檢測性能，在ECA 模塊后加入點注意力機制。本文的點注意力機制是基于空間注意力機制[16]的簡化，通過一個1×1 大小的卷積核與ECA 模塊輸出的特征圖進行卷積，通過網絡的前、后傳播來自適應調整空間特征信息的權重，輸出的最終特征為該權重特征層與原始特征的加權和，從而提高網絡對重要空間特征信息的關注，減少對無關空間特征信息的關注，如圖6所示。

圖6 簡化的空間注意力機制

3.4 損失函數設計

設計的損失函數Ltol由目標框預測損失Lloc、置信度損失Lconf、分類損失Lcls和預測偏航角損失Lφ組成：

常見的目標框預測損失函數有GIoU（Generalized IOU）、DIoU（Distance-IoU）、CIoU（Complete-IoU）以及基于交并比（Intersection over Union，IoU）損失的統(tǒng)一冪化α-IoU[17]，其中α-IoU對目標框的回歸更加穩(wěn)定，收斂速度更快。α-IoU損失函數的表達式為：

式中，sIoU為預測框與真實框的交并比；ρ()為歐式距離；b、bgt分別為預測框、真實框的中心點；c為能同時包含預測框和真實框的最小閉包區(qū)域的對角線長度；β為權重參數；υ為衡量長寬比相似性的參數；wgt/hgt、w/h分別為真實框、預測框的寬高比；α為相對梯度權重參數，當α>1時，可提升IoU較高的對象的損失和梯度加權，提高預測框的回歸精度，且不會引入額外參數，也不會增加訓練、推理時間。

分類損失和置信度損失函數采用交叉熵損失函數，有利于更新模型參數，同時可以加快模型的收斂。

只考慮正樣本的目標預測偏航角損失，使用Smooth L1損失函數：

式中，x為誤差。

同時在目標預測偏航角后加入懲罰項以保證偏航角的物理意義，目標偏航角損失函數表達式為：

式中，φ、分別為目標偏航角的真實值和預測值。

4 試驗驗證

4.1 數據集

采用KITTI數據集進行算法的性能評估。KITTI數據集包含相機圖像、激光雷達點云數據以及對應的標簽文件，其訓練集有7 481 幀數據，測試集有7 518 幀數據。KITTI 數據集包含多個場景連續(xù)幀的數據，故直接劃分訓練集和驗證集會包含相近幀的數據，無法直接通過驗證集來評估模型的泛化能力，故按照采集時間分組隨機劃分數據。由于KITTI未公布測試集的標簽文件，故本文將KITTI 訓練集按照6∶2∶2 的比例劃分為訓練集、驗證集和測試集；在KITTI 官方的鳥瞰圖性能評估試驗中，將KITTI 訓練集隨機拆分成3 712 幀訓練集和3 769幀數據驗證集，用于模型網絡的訓練和本地評估。

4.2 試驗環(huán)境與參數

應用PyTorch深度學習框架和Python編程語言實現檢測網絡，試驗環(huán)境為Ubuntu 16.04操作系統(tǒng)，訓練的服務器配置為Intel Xeon Silver 4108 處理器、NVIDIA GTX 1080Ti 顯卡、32 GB 運行內存。整個改進YOLOv4-tiny的目標檢測網絡采用表1的參數訓練。

表1 網絡參數

4.3 數據增強

KITTI 數據集中訓練數據有限，本文通過數據增強增加訓練數據量和環(huán)境噪聲，提升網絡的魯棒性和泛化能力。數據增強具體的步驟為：收集所有真值目標框內的點云作為樣本池；對每一幀投入訓練的點云，隨機抽取樣本池中一定數量的樣本，從而提高每一幀點云的正樣本數量，同時進行碰撞測試，避免違反物理規(guī)律；對每一幀點云的目標邊界框進行擴充，對增加的真值框進行隨機旋轉、平移和縮放，引入旋轉和平移噪聲，同時隨機將樣本池中的樣本進行裁剪（Cutout）操作。通過以上數據增強操作，有效提高了網絡訓練的泛化能力，同時提高了網絡整體的檢測精度。

4.4 試驗結果及分析

4.4.1 評估指標

網絡模型的評價指標為準確率（Precision）、召回率（Recall）、平均精度（Average Precision）、算法耗時（Time）及檢測幀率。其中，準確率P、召回率R和平均精度SAP的表達式為：

式中，nTP為模型正確預測的數量；nFP為預測錯誤檢測的數量；nFN為未檢測到的目標數量；SAP為PR 曲線與水平軸圍成的面積。

4.4.2 網絡改進對比

采用原始的YOLOv4-tiny網絡對KITTI數據集進行訓練和測試，模型在測試集上的平均精度達到93.98%；采用改進后的YOLOv4-tiny網絡對KITTI數據集進行訓練和測試，模型在測試集的平均精度達到96.92%，相較于原始網絡提升了2.94百分點，如圖7所示。

圖7 模型改進前、后PR曲線對比

為了驗證各改進模塊的有效性，通過消融試驗逐步驗證本文基于YOLOv4-tiny 改進的網絡結構改變所引起的性能的變化。表2所示為消融試驗對比結果，由表2 可知：YOLOv3 網絡和YOLOv4 網絡的檢測速率較低；YOLOv4-tiny 原網絡的檢測精度較低，檢測速率較快；改進模型1 引入SPPF 模塊，對應的AP@0.5（置信度閾值為0.5時的平均精度）提高了1.04百分點，表明空間金字塔池化可以通過增強網絡的感受野，充分利用特征信息提升網絡的檢測精度；改進模型2只引入雙注意力機制，對應的AP@0.5提高了1.33百分點，表明雙注意力機制促進網絡更加關注重要的通道特征信息和空間特征信息，降低對無關通道和空間特征信息的關注，對提升檢測精度有積極影響；改進模型3 同時引入SPPF 模塊和雙注意力機制，對應的AP@0.5提高了2.07百分點；改進模型4 在改進模型3 的基礎上，采用α-IoU 作為邊界框的回歸損失函數，相較于改進模型3，AP@0.5 提高了0.4 百分點，表明采用α-IoU 作為邊界框回歸損失函數能夠提高網絡的檢測精度。本文模型在以上改進措施條件下，使用馬賽克（Mosaic）數據增強進行訓練，相較于使用前AP@0.5提高了0.47百分點。本文改進的模型在提升整體網絡的檢測精度的同時，仍能保證網絡的檢測速率達到100 幀/s。

表2 消融試驗

4.4.3 不同網絡對比驗證

為了將本文網絡模型與其他使用鳥瞰圖作為輸入的網絡模型進行比較，使用KITTI 的官方性能評價標準，設置IoU閾值為0.7進行測試。KITTI數據集根據檢測目標的最小邊界框高度、遮擋程度和最大截斷程度，將檢測目標按照簡單、中等、困難3 個等級進行劃分。由于KITTI官網的測試集未公布標注文件，故不同網絡對比試驗為采用KITTI 鳥瞰圖驗證集在不同評價標準下的性能比較，檢測結果如表3和圖8所示。

表3 KITTI數據集下不同網絡性能比較

圖8 KITTI驗證集不同目標難度下的PR曲線

由表3 和圖8 可知，本文提出的車輛目標檢測網絡的算法耗時為0.01 s，檢測速度可達到100 幀/s。相較于BirdNet、MODet、GridNet-3D 等使用點云鳥瞰圖信息的網絡，本文在檢測精度上具有優(yōu)勢，說明改進后的YOLOv4-tiny 的網絡能夠較好地提取車輛點云的特征信息；相較于MV3D、F-PointNet（Frustum PointNet）、ContFusion 等使用點云鳥瞰圖信息和圖像信息的網絡，本文在檢測速度上具有明顯優(yōu)勢，說明將三維點云轉換成點云RGB特征圖以及采用輕量化的單階段目標檢測網絡能夠有效提高檢測速度。以KITTI 鳥瞰圖數據集中等難度下的平均精度和幀速率作為評價指標，本文算法在檢測精度和檢測速度上具有優(yōu)勢，說明改進的YOLOv4-tiny 網絡能夠更好地提取點云RGB 特征圖的特征信息，如圖9所示。同時，將本文算法在KITTI官方測試集上進行檢測，其部分檢測結果如圖10所示。

圖9 不同網絡下的性能比較

圖10 在KITTI測試集上的部分檢測結果

5 結束語

針對基于三維點云的車輛檢測算法存在實時性差的問題，本文提出基于點云鳥瞰圖的實時車輛目標檢測算法，該算法通過將三維點云進行鳥瞰圖投影，根據點云的高度、強度和密度信息制作點云RGB特征圖，在保證車輛的特征信息的同時，有效降低了原始點云的數據量；其次，在YOLOv4-tiny網絡上進行改進優(yōu)化，添加車輛偏航角度預測分支來實現車輛的準確定位，引入空間金字塔池化結構、雙注意力機制和采用α-IoU邊界框回歸損失函數來提高車輛目標的檢測精度。試驗結果表明：基于YOLOv4-tiny網絡的改進優(yōu)化措施相較于原網絡具有更高的檢測精度；與其他網絡相比較，本文網絡在KITTI數據集下具有更高的檢測速度，達到100 幀/s，能夠滿足目標檢測的實時性要求。