李彥辰，張小俊，張明路，沈亮屹

河北工業(yè)大學(xué) 機(jī)械工程學(xué)院，天津 300401

近年來，深度學(xué)習(xí)被廣泛應(yīng)用于各個領(lǐng)域，計算機(jī)視覺[1]逐漸成為其中的佼佼者。駕駛場景實時檢測已經(jīng)成為計算機(jī)視覺領(lǐng)域中的研究熱點問題。目標(biāo)檢測作為自動駕駛中最基本的環(huán)節(jié)，為車輛采集實時的環(huán)境信息，以確保安全和提供正確的規(guī)劃決策[2]?；谏疃葘W(xué)習(xí)的目標(biāo)檢測和語義分割算法在自動駕駛領(lǐng)域中已經(jīng)表現(xiàn)出獨有的優(yōu)勢，可以在使用較少計算資源的前提下獲得較高的檢測精度，因而成為自動駕駛系統(tǒng)中必不可少的方法[3]。

目前常用的目標(biāo)檢測框架分為兩大類，一類是Girshick等人提出的R-CNN[4]、Fast R-CNN[5]和Faster R-CNN[6]等兩階段目標(biāo)檢測算法，另一類是Redmon等人提出的Yolo[7]、SSD[8]等單階段目標(biāo)檢測算法。單階段算法的檢測速度基本可以滿足駕駛場景下的實時性要求，但其檢測精度低于兩階段檢測器。近年來，許多模型效率較高的單階段算法被應(yīng)用于駕駛場景中，如Yolov3[9]、Centernet[10]、Retinanet[11]等。目標(biāo)檢測算法在自動駕駛應(yīng)用的先決條件是處理速度要高于30 frame/s。雖然上述方法可以進(jìn)行實時檢測，但卻以低分辨率輸入作為代價，應(yīng)用于自動駕駛中依然十分困難。這就是說，平衡檢測算法的速度和精度仍舊是實際應(yīng)用中一個最主要的問題。

此外，大部分之前的研究僅關(guān)注某個或某些特定的資源要求，而大量現(xiàn)實應(yīng)用（從移動設(shè)備到數(shù)據(jù)中心）通常具備不同的資源限制。自動駕駛計算平臺的計算資源和內(nèi)存有限，又需要同時處理多個傳感器和計算任務(wù)，如檢測、跟蹤與決策。因此，神經(jīng)網(wǎng)絡(luò)設(shè)計的最新趨勢應(yīng)是探索便攜式和高效的網(wǎng)絡(luò)架構(gòu)，應(yīng)用于車載平臺的檢測算法需要具有相對小的內(nèi)存和計算資源占比。同時，大多數(shù)傳統(tǒng)目標(biāo)檢測算法最關(guān)鍵的問題是無法有效地處理多尺度特征。通常大目標(biāo)很容易被檢測到，而小目標(biāo)通常被忽略，這在自動駕駛的情況下非常危險。因為它會導(dǎo)致過度反應(yīng)，從而降低駕駛的穩(wěn)定性和效率，造成致命事故[12]。

針對上述問題，本文選取Efficientdet[13]網(wǎng)絡(luò)作為基準(zhǔn)模型，結(jié)合Ghost[14]模塊重構(gòu)了原主干網(wǎng)絡(luò)Efficientnet[15]中的倒轉(zhuǎn)殘差瓶頸MBConv，在加權(quán)雙向特征金字塔網(wǎng)絡(luò)[13]（bi-directional feature pyramid networks，Bi-FPN）前設(shè)計了多尺度注意力機(jī)制模塊。相較于之前的目標(biāo)檢測算法，改進(jìn)后的模型使用更少的參數(shù)實現(xiàn)了更先進(jìn)的精度。不但可以在車載平臺上輕松部署并實現(xiàn)快速推理，且進(jìn)一步提高了對小目標(biāo)檢測精度。與此同時，作為一種模型效率高且支持復(fù)合縮放的目標(biāo)檢測算法，其在廣泛的資源約束下始終比現(xiàn)有技術(shù)獲得更好的效率，在自動駕駛檢測領(lǐng)域中有著巨大的發(fā)展?jié)摿Α?/p>

1 Efficientdet網(wǎng)絡(luò)概述

Efficientdet是2020年谷歌大腦（Google brain）團(tuán)隊提出的目標(biāo)檢測模型，是一系列可擴(kuò)展高效的目標(biāo)檢測器的統(tǒng)稱，其網(wǎng)絡(luò)架構(gòu)如圖1所示。其中主干特征提取網(wǎng)絡(luò)為Efficientnet，并沿用其復(fù)合縮放（compounding scaling）方法。Bi-FPN作為特征融合網(wǎng)絡(luò)，引入了可學(xué)習(xí)的權(quán)重來學(xué)習(xí)不同輸入特征的重要性。預(yù)測網(wǎng)絡(luò)由分類預(yù)測網(wǎng)絡(luò)和回歸預(yù)測網(wǎng)絡(luò)組成，兩個網(wǎng)絡(luò)共享特征網(wǎng)絡(luò)的權(quán)重。

圖1 Efficientdet-d0算法網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Efficientdet-d0 algorithm network

Efficientdet最重要的貢獻(xiàn)是將Efficientnet復(fù)合縮放的思路進(jìn)行延伸，把架構(gòu)決策明確化為可擴(kuò)展的框架，并且為不同的應(yīng)用場景提供了d0到d7共8種模型。使用者無需復(fù)雜調(diào)參，便能輕松應(yīng)用于目標(biāo)檢測中的多種應(yīng)用。針對自動駕駛車輛，Efficiendet系列的優(yōu)勢在于，可以根據(jù)真實環(huán)境中軟硬件的性價比與對精度和效率的實際需求，來選擇不同的檢測框架，以設(shè)計出更高效的自動駕駛應(yīng)用檢測器。

然而，在Efficientdet系列d0～d7的8個模型中，隨著網(wǎng)絡(luò)的精確度逐代提高，計算量也會相應(yīng)增大。一個典型的真實道路檢測場景如圖2所示，Efficientdet d0～d3的檢測速度雖然滿足實時性要求，但它們對于小目標(biāo)的檢測精度無法完全滿足應(yīng)用在自動駕駛場景的要求。從圖2（a）中可以看出，當(dāng)車輛處于遠(yuǎn)端視線，目標(biāo)變小時，檢測器精度隨之下降。Efficientdet d4～d7的檢測精度雖然逐代提高，但其計算資源占用量較大，不能滿足自動駕駛車輛對檢測算法小內(nèi)存和低計算資源的需求。圖2（b）中的小目標(biāo)雖被很好地檢測出來，但卻以加大計算量和犧牲速度作為代價。

圖2 真實道路場景目標(biāo)檢測Fig.2 Real road scene object detection

為了解決這一問題，可以在利用Efficientdet系列多樣性的同時，對Efficientdet自身架構(gòu)加以改進(jìn)，設(shè)計出一種在自動駕駛應(yīng)用中更有效的檢測器。本文將以Efficientdet-d0作為基準(zhǔn)，改進(jìn)主干網(wǎng)絡(luò)以降低網(wǎng)絡(luò)復(fù)雜度，提出一個模型綜合效率更高并且滿足現(xiàn)實車載計算平臺部署的Efficientdet系列。

2 Efficientdet-Gs網(wǎng)絡(luò)模型

大多數(shù)單階段目標(biāo)檢測算法通常包括主干網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)以及預(yù)測網(wǎng)絡(luò)。本文對Efficientdet-d0的主干網(wǎng)絡(luò)Efficientnet-b0進(jìn)行了詳細(xì)修改，引入了Efficientnet-Gs-b0作為原網(wǎng)絡(luò)的改進(jìn)版本。后在特征融合網(wǎng)絡(luò)Bi-FPN前設(shè)計了多尺度注意力機(jī)制模塊，并于訓(xùn)練過程中引入了Balanced L1 Loss[16]，修改后的版本d0將在本文用作基準(zhǔn)模型。改進(jìn)后的目標(biāo)檢測算法稱為Efficientdet-Gs系列，是一種多尺度、實時、可部署的自動駕駛道路場景下的檢測器。

2.1 主干網(wǎng)絡(luò)改進(jìn)

Efficientdet的整體框架如圖1所示。Efficientnet作為其主干網(wǎng)絡(luò)，是一系列快速高精度的優(yōu)秀框架（Efficientnet b0～b7）。復(fù)合縮放（compounding scaling）是整個Efficientnet系列的核心，通過定義尺度化參數(shù)φ，Efficientnet將深度d、寬度w、分辨率r均統(tǒng)一在參數(shù)φ的旗下，受φ統(tǒng)一控制，來達(dá)到對三者動態(tài)調(diào)整的目的。由于具備這一標(biāo)準(zhǔn)化的卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展方法，Efficientnet系列既可以通過模型擴(kuò)展實現(xiàn)較高的準(zhǔn)確率，又可以通過模型壓縮節(jié)省一定的算力資源。但考慮到目前自動駕駛場景的現(xiàn)實條件，僅利用復(fù)合縮放存在著軟硬件性價比的問題。為了完成復(fù)雜交通環(huán)境下大部分的特征提取任務(wù)，Efficientnet自身網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化仍顯得尤為關(guān)鍵。

Efficientnet-b0的網(wǎng)絡(luò)架構(gòu)如表1所示，Stage1是一個卷積核大小為3×3的普通卷積層，其中包含批量標(biāo)準(zhǔn)化（batch normalization，BN）和Swish激活函數(shù)。Stage2～Stage8都是在重復(fù)堆疊MBConv結(jié)構(gòu)。Stage9由一個普通的1×1的卷積層，一個平均池化層和一個全連接層組成。如圖3所示，MBConv[15]正是Efficientnet的核心部分，總體的設(shè)計思路是倒轉(zhuǎn)殘差結(jié)構(gòu)（inverted residuals），在3×3或者5×5深度可分離卷積結(jié)構(gòu)前利用1×1卷積升維，在深度可分離卷積后增加了SE net[17]（squeeze-andexcitation networks），最后利用1×1卷積降維后增加一個殘差邊。

表1 Efficientnet-b0的網(wǎng)絡(luò)架構(gòu)Table 1 Efficientnet-b0 network architecture

圖3 MBConv結(jié)構(gòu)Fig.3 MBConv structure

自動駕駛場景中，神經(jīng)網(wǎng)絡(luò)的研究更趨向于移動設(shè)備上的應(yīng)用，MBConv中大量的1×1卷積仍存在較高的計算量，SE net被證明在移動端設(shè)備上支持欠佳[13]，以上均為Efficientnet應(yīng)用于車載平臺制造了阻礙。為了克服應(yīng)用中的資源限制，使深度神經(jīng)網(wǎng)絡(luò)可以在車載計算平臺上更好地完成部署，同時為模型擴(kuò)展提供現(xiàn)實可行性，本文利用Ghost模塊、ECA net[18]（efficient channel attention networks）和通道混洗[19]（channel shuffle）對MBConv進(jìn)行重構(gòu)，重構(gòu)的MBConv如圖4所示。

在重構(gòu)的MBConv中，本文首先利用Ghost模塊取代起到升降維作用的1×1普通卷積。普通卷積操作如公式（1），X∈Rc×h×w為輸入數(shù)據(jù)，Y∈Rh′×w′×n為輸出的n維特征圖，f∈Rc×k×k×n為該層的卷積核，可得該層的計算量為n×h′×w′×c×k×k，這個數(shù)值通常會成千上萬。公式（1）的參數(shù)量與輸入和輸出的特征圖數(shù)息息相關(guān)，而一般卷積中的輸出特征圖又存在大量冗余，且存在相似的特征（Ghost），所以完全沒必要使用大量的浮點運(yùn)算次數(shù)（floating point operations，F(xiàn)LOPs）和參數(shù)生成這些冗余特征圖。

圖4重構(gòu)的MBConvFig.4 Reconstructed MBConv

Ghost模塊的主要功能如下。首先，第一部分涉及普通卷積，假設(shè)原輸出的特征為某些內(nèi)在特征進(jìn)行簡單的變換得到Ghost，通常這些內(nèi)在特征數(shù)量都很少，并且能通過原始卷積操作公式（2）獲得，Y′∈Rh′×w′×m為原始卷積輸出，f′∈Rc×k×k×m為使用的卷積核，由于m≤n，為簡單起見，bias直接被簡化。

同時，在第二部分中，為了獲得原來的n維特征，對第一部分中Y′的內(nèi)在特征分別使用一系列簡單線性操作來產(chǎn)生s維Ghost特征。在公式（3）中，Φi,j為生成′的j-th Ghost特征圖的線性變換函數(shù)，最后的Φi,s為保存內(nèi)在特征的特殊映射（identity mapping），整體計算過程如圖5所示。

圖5 Ghost模塊Fig.5 Ghost module

與普通卷積神經(jīng)網(wǎng)絡(luò)相比，在不改變輸出特征圖大小的情況下，該Ghost模塊中所需的參數(shù)總數(shù)和計算復(fù)雜度都有所降低。如表2所示，在與現(xiàn)有優(yōu)秀輕量型網(wǎng)絡(luò)MobileNetV2[20]、MobileNetV3[21]在MS COCO數(shù)據(jù)集的對比中，以Ghost模塊為核心所組成的GhostNet計算成本顯著降低，且保持著相似的目標(biāo)檢測精度。由此可知，Ghost模塊能夠在保持相似識別性能的同時降低通用卷積層的計算成本，為移動設(shè)備（例如智能手機(jī)和自動駕駛汽車）提供可接受的性能，滿足在嵌入式設(shè)備上部署神經(jīng)網(wǎng)絡(luò)的需要。

表2 MS COCO數(shù)據(jù)集結(jié)果對比Table 2 Comparison of MS COCO data set

此外，本文采用ECA net替代原MBConv中的注意力機(jī)制SE net。ECA net是一種適用于深度神經(jīng)網(wǎng)絡(luò)的高效通道注意力模塊，相比于SE net，該模塊避免了降維，并能有效捕捉跨通道交互。如圖6所示，在沒有降維的通道式全局平均池化之后，ECA net通過考慮每個通道的旁路來捕獲本地跨通道交互。ECA net通過大小為k的快速1D卷積來有效地實現(xiàn)，其中內(nèi)核大小k表示本地跨通道交互的覆蓋范圍。為了避免通過交叉驗證手動調(diào)整k，其采用一種自適應(yīng)確定k的方法，其中交互覆蓋（即內(nèi)核大小k）與通道維度成比例。ECA net引入了更少的附加參數(shù)和可忽略的計算，不但在移動端計算設(shè)備上支持更好，同時帶來了顯著的性能增益。

圖6 ECA模塊Fig.6 ECA module

綜上所述，本文采用Ghost模塊取代了原MBConv中占用大量內(nèi)存和FLOPs的1×1卷積，以滿足車載計算平臺有限的內(nèi)存及計算資源。隨后，采用ECA net代替SE net，在帶來精度提升的同時，進(jìn)一步降低了模型的復(fù)雜性，以便于實現(xiàn)在移動端的部署。然而，Ghost模塊可能會導(dǎo)致普通卷積與Ghost映射中的信息得不到交換，從而一定程度上削弱模型的性能。因此，為了克服其帶來少量的副作用，本文在升維卷積后加入通道混洗（channel shuffle）來幫助信息在特征通道之間流動，如圖4所示。最終，在圖7中，這個改進(jìn)后的主干網(wǎng)絡(luò)稱為Efficientnet-Gs系列，其旨在減少計算和存儲成本的同時保持高效的特征提取能力及復(fù)合縮放特點，來實現(xiàn)自動駕駛場景下應(yīng)用的目標(biāo)。

圖7 Efficientdet-Gs-d0算法結(jié)構(gòu)圖Fig.7 Efficientdet-Gs-d0 algorithm network

2.2 特征融合網(wǎng)絡(luò)優(yōu)化

特征金字塔融合網(wǎng)絡(luò)[22]（feature pyramid networks，F(xiàn)PN）是2017年提出的一種網(wǎng)絡(luò)。FPN主要解決的是物體檢測中的多尺度問題，通過簡單的網(wǎng)絡(luò)連接改變，在基本不增加原有模型計算量的情況下，大幅度提升了小物體檢測的性能。Efficientdet中的Bi-FPN在PANet[23]（path aggregation network）的基礎(chǔ)上提出了跨尺度連接的優(yōu)化方法，即高效的雙向跨尺度連接和加權(quán)特征融合。Bi-FPN為每個輸入增加一個權(quán)重，并讓網(wǎng)絡(luò)學(xué)習(xí)每個輸入特性的重要性。

SRM[24]（style-based recalibration module）作為一種基于風(fēng)格的重新校準(zhǔn)模塊，通過利用中間特征圖的風(fēng)格來自適應(yīng)地重新校準(zhǔn)中間特征圖。如圖8所示，該方法首先通過風(fēng)格池從特征映射的每個通道中提取風(fēng)格信息，然后通過獨立于通道的風(fēng)格集成來估計每個通道的重新校準(zhǔn)權(quán)重。通過將單個風(fēng)格的相對重要性結(jié)合到特征地圖中，SRM有效地增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的表示能力。該模塊直接饋入現(xiàn)有深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，開銷往往可以忽略不計。

圖8 SRM模塊Fig.8 SRM module

鑒于自動駕駛環(huán)境中對小目標(biāo)檢測的重要性，以及Efficientdet d0～d3在此方面存在明顯不足，結(jié)合現(xiàn)實應(yīng)用情況，本文在Bi-FPN前引入了多尺度注意力機(jī)制模塊以提高小目標(biāo)檢測精度。如圖7所示，本文將SRM置于中間特征圖P4、P5后，將前文提到的深層網(wǎng)絡(luò)輕量級的通道關(guān)注度模塊ECA net置于高層特征圖P6、P7前，組成多尺度特征融合模塊。雖然該模塊會以損失微量的檢測速度為代價，但會進(jìn)一步提高Bi-FPN對小目標(biāo)的檢測性能。

2.3 預(yù)測網(wǎng)絡(luò)及平衡訓(xùn)練過程

Efficientdet-Gs的預(yù)測網(wǎng)絡(luò)十分簡單，只需將經(jīng)過Bi-FPN的5個有效的特征層傳輸過Class/Box net就可以獲得預(yù)測結(jié)果。與模型架構(gòu)相比，訓(xùn)練過程在目標(biāo)檢測中受到的關(guān)注相對較少，而訓(xùn)練過程也是檢測器成功與否的關(guān)鍵。一般探測器在通常情況下需要完成分類和定位兩項任務(wù)，如公式（4）所示，Lcls和Lloc分別對應(yīng)著分類和定位的損失函數(shù)，p、u分別是Lcls的預(yù)測和目標(biāo)，tu是對應(yīng)u類的回歸結(jié)果，v是回歸目標(biāo)。λ用于在多任務(wù)學(xué)習(xí)下調(diào)整損失權(quán)重。

損失函數(shù)是兩個loss的相加，如果分類做得很好的話會得到很高的分?jǐn)?shù)，但會忽略回歸的重要性，導(dǎo)致整體的性能不佳。一個自然的想法就是調(diào)整λ的值，但直接增加回歸損失的權(quán)重將會使模型對困難樣本更加敏感。這些困難樣本會產(chǎn)生巨大的梯度而不利于訓(xùn)練的過程，相對的簡單樣本只會產(chǎn)生相比困難樣本大概0.3倍的梯度。Balanced L1 Loss由傳統(tǒng)的Smooth L1 Loss推導(dǎo)而來，如公式（5）所示，其思想是促進(jìn)關(guān)鍵的回歸梯度，即來自簡單樣本的梯度，重新平衡所涉及的樣本和任務(wù)，從而在分類、整體定位和準(zhǔn)確定位方面實現(xiàn)更平衡的訓(xùn)練。

在駕駛場景下的網(wǎng)絡(luò)訓(xùn)練過程中，正負(fù)樣本極其不平衡，即存在對應(yīng)真實框的先驗框可能只有若干個，但是不存在對應(yīng)真實框的負(fù)樣本卻有上萬個，這就會導(dǎo)致負(fù)樣本的loss值極大，因此仍采用原分類損失函數(shù)Focal Loss進(jìn)行正負(fù)樣本的平衡。同時本文引入Balanced L1 Loss來替代原回歸損失函數(shù)Smooth L1 Loss，以改善分類和回歸損失之間的不平衡性。

3 實驗結(jié)果與分析

本文實驗基于BDD100K數(shù)據(jù)集進(jìn)行。BDD100K（A large-scale diverse driving video database）是伯克利大學(xué)AI實驗室（BAIR）發(fā)布的目前最大規(guī)模、內(nèi)容最具多樣性的自動駕駛數(shù)據(jù)集。BDD100K數(shù)據(jù)集包含10萬段高清視頻，在每個視頻的第10 s對關(guān)鍵幀進(jìn)行采樣，得到10萬張圖片，并進(jìn)行標(biāo)注。BDD100K數(shù)據(jù)集收集了6種天氣情況，6種場景類型以及一天中3個不同時間的圖像級注釋。視頻包含大部分極端天氣條件，世界各地的各種不同場景，還包含大約相等數(shù)量的日間和夜間視頻。這種多樣性使其能夠研究域轉(zhuǎn)移，對于訓(xùn)練模型十分有效，因此它對新環(huán)境有更好的魯棒性。BDD100K數(shù)據(jù)集由以下10類組成，包含Car（汽車）、Bus（公交車）、Person（行人）、Bike（自行車）、Truck（卡車）、Motor（摩托車）、Train（火車）、Rider（騎行的人）、Traffic sign（交通指示牌）及Traffic light（交通信號燈），每個圖像平均有9.7輛汽車和1.2個人。由于該數(shù)據(jù)集具有許多不同的場景類型，且并非所有人都擁擠，因此與大多數(shù)其他數(shù)據(jù)集相比，每個圖像的人數(shù)更少。構(gòu)建多目標(biāo)道路檢測模型的目的是在自然駕駛場景中準(zhǔn)確檢測常見目標(biāo)。因此，本文去掉Train，將Traffic sign及Traffic light合并為Traffic light類，將Bike、Motor、Rider合并為Bicycle類，最后的訓(xùn)練集標(biāo)簽分為6個類別，包含Car、Bus、Truck、Person、Traffic light和Bicycle。最終將數(shù)據(jù)集以7∶1∶2的比例分成訓(xùn)練集、驗證集和測試集。本文實驗在NVDIA GeForce RTX 3070上進(jìn)行，輔助環(huán)境為CUDA 11.1和cuDNN 8.0.5。

3.1 Efficentdet-Gs的性能評價

圖9為Efficientdet-Gs-d0在BDD100K訓(xùn)練集上的損失函數(shù)變化趨勢圖。訓(xùn)練集的批處理尺寸（Batch Size）設(shè)置為8，迭代次數(shù)（Iteration Number）設(shè)置為1 600 000。從圖中可以看出，在網(wǎng)絡(luò)訓(xùn)練的前5 000次迭代中，損失函數(shù)的數(shù)值快速下降，然后進(jìn)入穩(wěn)定收斂階段。在BDD100K數(shù)據(jù)集的訓(xùn)練過程中，采用了基于訓(xùn)練過程中的某些測量值對學(xué)習(xí)率進(jìn)行動態(tài)下降的方法，這使得網(wǎng)絡(luò)從數(shù)據(jù)集中學(xué)習(xí)到更多的信息，并將訓(xùn)練過程中得到的最優(yōu)權(quán)重作為最終權(quán)重文件。本文選取平均準(zhǔn)確度均值（mean average precision，mAP）作為精度評價指標(biāo)，每秒傳輸幀數(shù)（frames per second，F(xiàn)PS）、模型尺寸和FLOPs作為速度評價指標(biāo)，其在以往的目標(biāo)檢測研究中被廣泛應(yīng)用。其中，模型尺寸是通過參數(shù)量和FLOPs來衡量，F(xiàn)PS是通過批處理尺寸大小為1（batch size 1）來測量。表3比較了Efficientdet-d0及其后續(xù)各版本的性能。

圖9 Efficientdet-Gs訓(xùn)練損失Fig.9 Efficientdet-Gs training loss

表3 BDD100K數(shù)據(jù)集上的性能評價Table 3 Performance evaluation on BDD100K data set

從表3中可以看出，BDD100K測試集中Efficientdetd0的mAP值為0.594 2，而提出的Efficientdet-d0結(jié)合多尺度特征融合模塊（SRM/ECA）的mAP值為0.623 5，該模塊使其檢測精度提高了2.9%。多尺度特征融合模塊（SRM/ECA）對Car（汽車）、Person（行人）等可大可小對象的檢測性能結(jié)果分別提高了2.5%和4.5%。對于具有較大邊界框的對象，如Bus（公交車）、Truck（卡車），其檢測精度略有提高。通過Efficientdet和Efficient-det+SRM/ECA對每個類的AP（平均精度值）變化的分析，可以得出合理的結(jié)論，該模塊在不犧牲大目標(biāo)的檢測精度的情況下顯著提高了小物體的檢測精度。

最終，在結(jié)合重構(gòu)后的MBConv后，如表3所示，在mAP基本無損失的條件下，Efficientdet-Gs-d0的模型尺寸僅為10.1 MB，相比原網(wǎng)絡(luò)降低了36%，大量減少了設(shè)備的資源消耗，提高了模型的性價比。其BFLOPs（Billion FLOPs）為1.9，相比原網(wǎng)絡(luò)計算量降低了25%。對于不同網(wǎng)絡(luò)而言，處理每張圖片所需的FLOPs是不同的，所以同一硬件處理相同圖片所需的FLOPs越小，相同時間內(nèi)，就能處理更多的圖片，速度也就越快?？偟膩碚f，Efficientdet-Gs既保留了Efficientdet在自動駕駛應(yīng)用中模型效率高及支持復(fù)合縮放的優(yōu)點，同時又在車載計算平臺部署和小目標(biāo)檢測兩個方面取得了提升，是一種適合自動駕駛場景且可選擇版本的目標(biāo)檢測算法。

精確召回率（precision recall，PR）曲線是用于評估目標(biāo)檢測算法的一個重要指標(biāo)，BDD100K數(shù)據(jù)集中的兩個典型對象Car（汽車）和Person（行人）的PR曲線如圖10所示。一般認(rèn)為，曲線靠近圖右上角的算法具有更好的整體性能。從圖10中可以看出，Efficientdet-Gs-d0的兩個典型對象的PR曲線與原始Efficientdet-d0相比，都有了明顯的提升，進(jìn)一步驗證了所提出的Efficientdet-Gs的檢測能力。

圖10 PR曲線Fig.10 PR curve

3.2 Efficientdet-Gs系列與其他算法的性能比較

為了證明Efficientdet-Gs算法的優(yōu)越性，本文將其性能與Faster R-CNN、Cascade R-CNN[25]、SSD、Retinanet、Yolov3、Yolov4、Efficientdet-d0、Efficientdet-d1等8種研究對象的檢測精度和速度進(jìn)行了比較。上述8種算法均使用各個算法官方發(fā)布的代碼，并在BDD100K數(shù)據(jù)集中訓(xùn)練與評估。為了保證檢測器比較的公平性，單階段檢測器輸入分辨率均設(shè)置為512×512，兩階段檢測器使用每個官方發(fā)布的代碼默認(rèn)分辨率，同時采用官方評價方法進(jìn)行準(zhǔn)確比較。表4比較了Efficientdet-Gs與其他算法在BDD100K測試集上的性能。

表4 BDD100K測試集的性能比較Table 4 Performance comparison of BDD100K test set

考慮到目前真實自動駕駛條件下軟硬件的性價比，本文選取Efficientdet-Gs系列前2代舉例說明。從表4中可以看出，本文提出的Efficientdet-Gs-d0比Efficientdetd0的mAP提高了4.8%，檢測速度為38.7 frame/s，完全實現(xiàn)了實時檢測。Efficientdet-Gs-d1比Efficientdet-d1的mAP提高了6.8%，檢測速度同樣達(dá)到實時檢測需求。以Faster R-CNN為代表的兩階段檢測算法在BDD100K測試數(shù)據(jù)集中具有較好的檢測精度，但其檢測速度只有10.6 frame/s，不能滿足自動駕駛感知系統(tǒng)的實時性要求。SSD檢測算法是單階段目標(biāo)檢測算法的代表算法，其在BDD100K測試數(shù)據(jù)集上具有較好的速度性能，但檢測精度性能較差。Yolo系列檢測算法在速度和精度上都有較好的表現(xiàn)，其中最為出眾的檢測算法是以CSP-Darknet53為骨干的Yolov4，檢測精度為0.648 0，檢測速度達(dá)到52.3 frame/s。實驗結(jié)果表明，Efficientdet-Gs-d0在38.7 frame/s下的mAP值為0.622 7，Efficientdet-Gs-d1在30.4 frame/s下的mAP值為0.678 4，其檢測精度優(yōu)于表4中列出的所有目標(biāo)檢測算法，雖然檢測速度低于Yolov4，但一般認(rèn)為在滿足自動駕駛檢測實時性要求的情況下，精度的提高和易于部署更為重要。而隨著車載計算平臺的逐步發(fā)展，自動駕駛車輛可根據(jù)自身軟硬件的性價比來選擇Efficientdet-Gs-d2至d7等后續(xù)模型，以滿足更高的精度需求。綜上所述，Efficientdet-Gs目標(biāo)檢測算法在BDD100K測試集上具有最好的性能結(jié)果，是一種適合自動駕駛檢測場景的檢測算法。

3.3 檢測結(jié)果可視化

意力機(jī)制模塊后，本文提出的Efficientdet-Gs系列在小目標(biāo)檢測能力方面明顯優(yōu)于Efficientdet，同時，對顯著目標(biāo)的檢測能力沒有明顯降低。

圖11為BDD100K測試集對Efficientdet-d0和Efficientdet-Gs-d0分別在白天、黃昏和傍晚的可視化檢測結(jié)果。通過對比不難發(fā)現(xiàn)，隨著光線的逐漸變暗，檢測難度也隨之提升。圖中第2列結(jié)果表明，在同一光線條件下，Efficientdet-Gs能夠檢測到Efficientdet找不到的目標(biāo)，擁有更高的檢測精度，并表現(xiàn)出了優(yōu)越的性能。圖中第3列為Efficientdet-Gs-d0在嵌入式計算平臺的檢測結(jié)果。利用本文提出的輕量型主干Efficientnet-Gs，在小型化人工智能終端NVIDIA Jetson TX2上，Efficientdet-Gs-d0可以用0.027 2 s的時間正確檢測目標(biāo)。通過對MBConv進(jìn)行重構(gòu)，將Efficientdet-d0的推理速度提高了5.7%，模型大小僅有10.1 MB。

圖11 BDD100K測試集上的可視化檢測結(jié)果Fig.11 Visual inspection results on BDD100K test set

圖12為Efficientdet-d0和Efficientdet-Gs-d0在KITTI數(shù)據(jù)集下的可視化結(jié)果。其中，第1列為Efficientdet-d0的檢測結(jié)果。第2列為Efficientdet-Gs-d0的檢測結(jié)果。通過對比不難發(fā)現(xiàn)，Efficientdet-Gs系列在不同的數(shù)據(jù)集上同樣展現(xiàn)出了一定程度的提升，故該框架在自動駕駛常見目標(biāo)檢測中有著良好的普適性和泛化性。

圖12 KITTI數(shù)據(jù)集上的可視化檢測結(jié)果Fig.12 Visual inspection results on KITTI data set

另外，從檢測結(jié)果可以看出，在自動駕駛檢測場景中存在著大量的小目標(biāo)，例如交通指示燈和遠(yuǎn)端的行人與車輛。這種小目標(biāo)密集的檢測場景是對算法檢測性能的一個很好的測試。對比分析表明，在結(jié)合多尺度注

4 結(jié)束語

具有高模型效率且在資源限制下便于部署是目標(biāo)檢測算法在自動駕駛車輛中應(yīng)用的關(guān)鍵。本文針對車載計算平臺的計算資源有限而無法滿足算法的實時性能的問題，利用Ghost模塊、通道混洗和ECA net對主干網(wǎng)絡(luò)進(jìn)行優(yōu)化，提高了其特征提取能力并大幅度降低了原網(wǎng)絡(luò)的參數(shù)量；針對小目標(biāo)檢測精度的問題，在特征融合網(wǎng)絡(luò)Bi-FPN前引入了多尺度注意力機(jī)制模塊，以更好地融合具有豐富語義信息的低級特征和具有重要位置信息的高級特征；針對自動駕駛場景中多種目標(biāo)的不平衡問題，在訓(xùn)練過程中引入Balanced L1 Loss，以得到更好的訓(xùn)練效果。與原Efficientdet-d0相比，提出的Efficientdet-Gs-d0在BDD100K數(shù)據(jù)集上的mAP提高了4.8%，推理速度提高了5.7%，而內(nèi)存僅為10.1 MB。該算法能夠以高于38.7 frame/s的速度進(jìn)行實時檢測，并且在速度相近的情況下比之前的方法具有更高的準(zhǔn)確率和更小的內(nèi)存占比。與此同時，提出的算法繼承了Efficientdet復(fù)合縮放的優(yōu)點，自動駕駛車輛可根據(jù)自身車載計算平臺的條件來選擇Efficientdet-Gs-d1至d7等后續(xù)模型，以追求檢測精度的進(jìn)一步提升。

實驗結(jié)果表明，所提出的算法是適合于自動駕駛應(yīng)用的。Efficientdet-Gs在與其他模型的對比中，不僅檢測精度達(dá)到了最優(yōu)，模型大小也是最小的，雖然測試速度并不完全占優(yōu)，但依然滿足實時性的要求。在之后的研究中將進(jìn)一步對網(wǎng)絡(luò)進(jìn)行優(yōu)化，并考慮將生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）加入檢測器當(dāng)中，增強(qiáng)網(wǎng)絡(luò)的魯棒性能，并且進(jìn)一步提高檢測精度。