鄧 超,馬俊杰,嚴 毅,王有福,李艷淇

(1.武漢科技大學 汽車與交通工程學院,湖北 武漢 430065;2.武漢科技大學 智能汽車工程研究院,湖北 武漢 430065;3. 四川省無人系統(tǒng)智能感知控制技術(shù)工程試驗室,四川 成都 610225;4.云基物聯(lián)網(wǎng)高速公路建養(yǎng)設備智能化試驗室,山東 濟南 250357)

0 引 言

公安部數(shù)據(jù)顯示,2022年,中國汽車保有量已達3.19億輛,交通安全和交通擁堵問題日益突出,大量事故調(diào)查表明,人為因素是造成事故的主要原因[1]。自動駕駛技術(shù)可以大幅減少因駕駛員的操作失誤而導致的交通問題。其中,對環(huán)境周圍車輛的識別和檢測是無人駕駛系統(tǒng)感知、判斷和預警的重要基礎。這要求檢測算法必須同時考慮精度和實時性要求,并且可以部署在邊緣設備上。

傳統(tǒng)的車輛識別檢測首先通過幀間差分法、光流法[2]等進行車輛運動目標檢測,在此基礎上通過手動建立特征提取器,并基于支持向量機、隨機森林等算法[3]對所需目標進行分類來提取特征。該方法受環(huán)境和物體形狀變換的影響較大,其特征泛化和魯棒性較差,且算法復雜,精度不高,不能滿足車輛的實際性能需求。劉偉等[4]針對三幀差分運算導致的目標內(nèi)部信息提取不完全的問題,采用具有自適應學習率的混合高斯背景差分方法,通過更快的模型更新速度消除了目標運動引起的“重影”,并基于當前幀中目標像素與相鄰8個像素之間的差異和背景模型來調(diào)整學習率,同時,刪除了冗余高斯算法以降低算法的復雜性,并使用邊緣對比度差算法來降低背景點的錯誤率。

近年來,基于深度學習的車輛識別檢測算法已經(jīng)成為研究熱點,其可以分為Two stage和One stage兩種方法。Two stage方法首先通過算法隨機提取圖像目標幀,例如,基于SS算法隨機生成目標檢測幀,然后將大量隨機目標幀發(fā)送到卷積神經(jīng)網(wǎng)絡以提取圖像目標特征,其主要算法有R-CNN(regions with CNN features)、Faster R-CNN[5]等。Faster R-CNN算法具有相對較高的檢測精度,但由于算法模型的復雜性,網(wǎng)絡參數(shù)較多,檢測速度較慢。One stage方法不需要選擇候選框,而是在網(wǎng)絡中實現(xiàn)特征提取和回歸分類,是一種端到端的算法,與Two stage方法相比,檢測速度大幅提升。One stage方法主要包括SSD(single shot multibox detector)、YOLO[6](you only look once)等算法,近年來相關(guān)的算法研究已有很多。

郭克友等[7]根據(jù)黑暗場景中車輛檢測的需要,提出了Dim env YOLO檢測算法,利用MobileNetV3作為YOLOv4的主干網(wǎng)絡,使用圖像暗光增強,并引入注意力機制加強對特征信息的選擇,試驗結(jié)果表明,該方法在黑暗條件下對車輛流量檢測的平均識別率達到90.49%,對于普通汽車檢測,平均識別率超過96%,模型大小為132 MB;廖慕欽等[8]將SSD算法速度快和MobileNetV3內(nèi)存占用小的優(yōu)勢相結(jié)合,用MobileNetV3代替SSD算法的主干網(wǎng)絡,提出了SSD-MobileNetV3算法,結(jié)果表明,與SSD相比,該算法的精度提高了3.1%,達到85.6%,模型大小減少了83.1%,達到16.9 MB,大大減少了內(nèi)存占用;徐浩等[9]基于殘差結(jié)構(gòu)以及注意力機制改進了SSD算法,分別使用h-swish和h-sigmoid激活函數(shù)代替殘差結(jié)構(gòu)中的ReLU激活函數(shù)和通道注意力中的sigmoid激活函數(shù),并結(jié)合實際圖像,減少了特征融合層和默認幀匹配的計算量,試驗結(jié)果表明,改進的SSD模型在BIT車輛數(shù)據(jù)集中的平均準確率達到94.87%,比經(jīng)典SSD算法高0.83%,模型大小為39.7 MB。針對小規(guī)模多目標問題,龍賽等[10]引入了一種基于YOLOv5s的輕量級特征增強表示模塊,根據(jù)車輛目標規(guī)模重新設計了特征融合網(wǎng)絡,對網(wǎng)絡無效檢測分支進行剪裁,并基于Kmeans++重新聚類錨點,改進后的網(wǎng)絡圖達到67.3%,參數(shù)數(shù)量減少20.4%,達到5.63 MB。YOLO系列算法是目前較為有名的目標檢測算法,特別是該系列的YOLOv5算法在速度和精度上有著非常優(yōu)秀的表現(xiàn),但其網(wǎng)絡結(jié)構(gòu)仍然復雜,檢測效果不穩(wěn)定,難以部署在計算能力較差的邊緣設備上。

針對上述問題,筆者提出了一種基于混合注意力機制的輕量級神經(jīng)網(wǎng)絡算法MobileNetV3- YOLOv5s,以更好地滿足道路車輛實時檢測的要求。

1 算法結(jié)構(gòu)設計

1.1 MobileNetV3 small介紹

MobileNetV3[11]是一個典型的輕量級算法,可以分為small和large兩個版本。為了減少計算量,筆者改進了MobileNetV3 small的bneck結(jié)構(gòu),并用改進的bneck結(jié)構(gòu)替換YOLOv5s的主干網(wǎng)絡。MobileNetV3 small的詳細結(jié)構(gòu)如表1、圖1。表1中,SE表示SENet;NL表示使用的激活函數(shù)類型,其中HS為h-swish激活函數(shù),RE為ReLU激活函數(shù);NBN表示無批次標準化;S為步長。

圖1 MobileNetV3 small框架Fig. 1 MobileNetV3 small framework diagram

表1 MobileNetV3 small的詳細結(jié)構(gòu)

由圖1可知,MobileNetV3 small的主體結(jié)構(gòu)由11個bneck組成。圖2展示了bneck的詳細結(jié)構(gòu)。輸入特征圖通過1×1卷積提升維度后,再經(jīng)過深度可分離卷積和SEnet,隨后由1×1卷積降維,最終與輸入特征圖相加得到輸出特征圖。

圖2 Bneck結(jié)構(gòu)Fig. 2 Bneck structure

圖2中的bneck結(jié)構(gòu)采用了深度可分離卷積,以充分減少網(wǎng)絡計算量,并將SENet(squeeze and extraction networks)算法應用于網(wǎng)絡,以提高網(wǎng)絡精度。同時,筆者重新設計了激活函數(shù),采用了推理速度更快的h-swish激活函數(shù)。這些改進使得網(wǎng)絡廣泛應用于各種嵌入式設備中。

1.1.1 深度可分離卷積

深度可分離卷積首先在深度方向上逐層分割輸入特征圖和卷積核,并將它們的對應層相乘以獲得具有與輸入特征圖相同層數(shù)的中間特征圖。然后采用1×1大小的卷積核進行點卷積,融合不同通道的特征并提升深度方向的維數(shù)。深度可分離卷積的過程如圖3。K.SIMONYAN等[12]計算得出,在相同的輸入和輸出條件下,深度可分離卷積的計算量是標準卷積的1/9。

圖3 深度可分離卷積過程Fig. 3 Deep separable convolution process

1.1.2 h-swish激活函數(shù)

MobileNetV3 small重新設計了激活函數(shù),并使用h-swish替代之前的ReLU6激活函數(shù)。h-swish是在swish功能的基礎上改進而來。swish函數(shù)可以有效地提高網(wǎng)絡精度,但計算量比較大。swish函數(shù)見式(1):

(1)

式中:x為輸入特征變量。

(2)

1.2 改進的bneck結(jié)構(gòu)

1.2.1 利用級聯(lián)的小卷積核替換大卷積核

bneck結(jié)構(gòu)使用了大量的5×5卷積,如圖2、表1。在確保網(wǎng)絡精度的條件下,使用較小的卷積核是減少網(wǎng)絡參數(shù)的重要手段。馮楊等[13]為了減少網(wǎng)絡的參數(shù)量,利用多層的小尺度卷積核替換大尺度卷積核。由于卷積核的每一層都必須經(jīng)歷非線性激活,網(wǎng)絡層數(shù)的增加使得算法具有更好非線性,這進一步提高了網(wǎng)絡特征提取能力。此外,在感受相同的情況下還增加了網(wǎng)絡的深度,更好地避免了特征丟失,從而實現(xiàn)了更準確的分類效果[13]。

卷積運算后輸出圖像的大小Mo如式(3):

Mo=(M+2×p-k)/s+1

(3)

式中:M為輸入特征圖的尺寸;k為卷積核的尺寸;p為填充尺寸;s為步長。

在相同條件下,根據(jù)式(3),兩個3×3卷積和一個5×5卷積得到了相同大小的輸出特征,如圖4。而前者的參數(shù)量(3×3+3×3=18)僅為后者參數(shù)量(5×5=25)的72%。筆者采將bneck中所有的5×5卷積核替換為2個級聯(lián)的3×3卷積核,減少了網(wǎng)絡參數(shù)。

1.2.2 在bneck結(jié)構(gòu)中添加混合注意力機制

1) 通道注意力

通道注意力模塊(channel attention module,CAM)基于不同通道對目標的影響程度來調(diào)整每個通道的重要性權(quán)重,以提高目標特征的表示能力,如圖5。CAM首先使用MaxPool和AvgPool分別提取特征圖F1的通道信息,然后用具有兩個全連接層的多層感知器來共享權(quán)重,最后融合像素,通過sigmoid激活函數(shù)后得到輸出特征圖,該過程可由式(4)表示:

圖5 通道注意力Fig. 5 Channel attention module

Mc=σ{L[G1(F1)]+L[G2(F1)]}

(4)

式中:σ(·)為sigmoid激活函數(shù);F1為輸入特征圖;L(·)為MLP多層感知器;G1(·)和G2(·)分別為平均池化和最大池化。

2) 空間注意力

在檢測目標時,特征圖中不同空間區(qū)域的重要性不同。空間注意力模塊(spatial attention module,SAM)提取特征圖的空間維度信息,關(guān)注目標的位置特征并完成對通道注意力的補充,如圖6。首先將輸入特征圖F2依次進行MaxPool和AvgPool處理以降低特征圖的維度,并對兩次池化的輸出在通道上進行拼接,送入卷積層提取特征,再經(jīng)過sigmoid激活函數(shù)得到輸出特征圖,該過程可由式(5)表示:

圖6 空間注意力Fig. 6 Spatial attention module

Ms=σ{C[G1(F2);G2(F2)]}

(5)

式中:F2為輸入特征圖;C為卷積運算。

3) 混合注意力

SE算法是一種典型的通道注意機制。bneck結(jié)構(gòu)中集成了SEnet(squeeze and extraction networks)算法,如圖2。筆者在SE算法之后加入了空間注意力模塊,形成了混合注意力模塊。混合注意力模塊的輸出特性圖F3可以由式(6)、式(7)表示:

F2=Mc?F1

(6)

F3=Ms?F2

(7)

式中:F3為混合注意力模塊的輸出特性圖;?表示按元素相乘。

綜上所述,改進的bneck結(jié)構(gòu)如圖7,其中改進的部分已框出。

圖7 改進的bneck結(jié)構(gòu)Fig. 7 Improved bneck structure

1.3 改進的SPPF算法

SPPF(spatial pyramid pooling fast)為YOLOv5s中重要的特征融合算法。SPPF算法是對空間金字塔池(spatial pyramid pooling,SPP)算法的改進[14],它可以將任意大小的輸入特征輸出到固定大小的特征向量。該算法首先使用1×1卷積降維,然后依次使用3個5×5池化層進行最大池化操作,并使用concat方法對每個最大池化的結(jié)果進行融合,最后使用1×1卷積輸出特征。SPPF算法采用了concat特征融合方法,即在深度方向上拼接不同的特征圖以增加通道的數(shù)量,使得每個通道下的信息保持不變,但計算量隨著特征深度的增加而增加,其計算過程如式(8):

(8)

式中:Xi和Yi分別為2個輸入特征;Ki、Ki+c均為卷積核。

筆者利用特征融合中的add方法對SPPF算法進行改進。與concat方法相比,它不增加特征深度,而是直接將對應特征相加,減少了特征融合的計算量。改進的SPPF算法結(jié)構(gòu)如圖8,其計算過程可用式(9)表示:

(9)

圖8 改進的SPPF算法Fig. 8 Improved SPPF algorithm

綜上所述,筆者首先對MobiletNetV3的bneck結(jié)構(gòu)進行優(yōu)化,采用級聯(lián)的3×3卷積核替換其中的5×5卷積核,從而進一步減少參數(shù)量,同時在bneck結(jié)構(gòu)中添加空間注意力模塊,與原有的SE算法共同組成混合注意力模塊,提高算法對重要區(qū)域的檢測權(quán)重。然后,筆者對YOLOv5s中的SPPF算法進行改進,采用add方法對三次最大池化的結(jié)果進行特征融合,降低算法計算量。

基于以上改進點,筆者提出的MobiletNetV3-YOLOv5s算法結(jié)構(gòu)如圖9。該算法由特征提取網(wǎng)絡、特征融合網(wǎng)路以及檢測部分組成。其中特征融合網(wǎng)絡和檢測部分與YOLOv5s一致;特征提取網(wǎng)絡主要由改進的bneck結(jié)構(gòu)和改進的SPPF算法構(gòu)成。相比于原YOLOv5s算法,改進的輕量級bneck結(jié)構(gòu)和改進的SPPF算法能夠有效減少算法的參數(shù)量和計算量,同時在bneck中融合混合注意力模塊,能夠緩解由于參數(shù)量下降導致的檢測精度下降問題。

圖9 MobileNetV3-YOLOv5s算法Fig. 9 MobileNetV3-YOLOv5s algorithm

2 試驗驗證

2.1 數(shù)據(jù)集和預處理

該試驗基于用于多目標檢測的UA-DETRAC數(shù)據(jù)集[15]。該數(shù)據(jù)集由北京等24個不同地點的10 h視頻組成。視頻以25幀/s的速度錄制,像素大小為960×540。UA-DETRAC數(shù)據(jù)集共有超過140 000張圖像、超過8 250輛車輛和121萬個邊界框。車輛分為4類,即轎車、公共汽車、面包車和其他車輛。天氣分為陰天、夜間、晴天和雨天。像素區(qū)域的平方根用于定義車輛標簽的比例。車輛按照像素規(guī)模分為3類:0～50像素為小型,50～150像素為中型,超過150像素為大型。使用車輛邊界框被遮擋的比例描述遮擋程度,可分為無遮擋、部分遮擋(遮擋比例為1%～50%)和完全閉塞(遮擋比例大于50%)。

邊框的顏色反映遮擋狀態(tài),分別用紅色、藍色和粉色表示沒有遮擋、部分被車輛遮擋和部分被環(huán)境遮擋。邊界框中顯示車輛的名稱和方向,并顯示車輛類型。天氣狀況、攝像頭狀態(tài)和車輛密度信息顯示在每個相框的左下角。

初始的UA-DETRAC數(shù)據(jù)集將視頻數(shù)據(jù)的每一幀圖像抽出并組成圖片數(shù)據(jù)集,這導致相鄰幀對應的圖片幾乎相同。為了避免相似圖片數(shù)據(jù)輸入網(wǎng)絡,基于原始數(shù)據(jù)集,從第1張圖片開始每間隔4張選取一張圖片組成訓練集,共14 042張,并從第2張圖片開始每間隔19張選取一張圖片組成測試集,共2 809張,保證了訓練集和測試集之間沒有重疊交叉,并且減少了數(shù)據(jù)集的冗余。最后,將數(shù)據(jù)集轉(zhuǎn)換為VOC格式,數(shù)據(jù)集示例如圖10。

圖10 數(shù)據(jù)集圖片F(xiàn)ig. 10 Dataset image

2.2 參數(shù)設置

該試驗的運行環(huán)境如下:設備為NVIDIA Jetson AGX NX開發(fā)板,RAM為16 G,Jetpack版本為4.7,系統(tǒng)為Ubuntu 18.04,CUDA為10.2.3,cuDNN版本為8.2.1.32。

不同的超參數(shù)對模型的訓練速度和泛化能力有重要影響。為了與YOLOv5s對比,文中算法超參數(shù)設置與其保持一致,epoch設置為200,batch_size為8,輸入圖片統(tǒng)一調(diào)整為640×640。優(yōu)化器選擇AdamW。其他超參數(shù)見表2。

表2 超參數(shù)

2.3 對比試驗

通過與原YOLOv5s算法進行對比試驗,驗證文中算法在模型大小、檢測速度和識別精度方面的有效性。平均識別率、模型權(quán)重大小、召回和檢測速度被用作評估模型的指標。精確率、召回率、同一類目標的平均識別率和所有類別目標的平均識別率如式(10)～式(13):

(10)

(11)

(12)

(13)

式中:NTP、NFP和NFN分別為檢測正確、檢測錯誤和漏檢的數(shù)量;P為精確率;R為召回率;Ai為同一類目標的平均識別率;σMAP為所有類別目標的平均識別率;r為分類類別的數(shù)量。

在UA-DETRAC數(shù)據(jù)集上訓練并驗證YOLOv5和MobileNetV3-YOLOv5s算法。平均識別率與召回率隨迭代次數(shù)的變化如圖11。

圖11 試驗結(jié)果Fig. 11 Experiment results

從圖11可以看出,平均識別率和召回率隨著迭代次數(shù)的增加逐漸收斂,在迭代到80次左右達到高點,兩種算法的試驗結(jié)果如表3。由表3可以看到,MobileNetV3-YOLOv5s的平均識別率為98.45%,相比YOLOv5s略微下降;模型權(quán)重大小為2.34 MB,下降了83.8%;檢測速度達到了31幀/s,提高了10.7%。

表3 對比試驗結(jié)果

在滿足車輛檢測的實時性和準確性基礎上,MobileNetV3-YOLOv5s算法與YOLOv5s算法相比精度略有下降,但仍具有相當?shù)母偁幜?。同時,與YOLOv5s算法相比,MobileNetV3-YOLOv5s算法的參數(shù)數(shù)量大大減少,降低了內(nèi)存消耗和對計算機性能的要求,檢測速度也明顯提高。因此,MobileNetV3-YOLOv5s算法對于部署在計算能力較低的設備上具有明顯的優(yōu)勢。

2.4 消融試驗

為了進一步驗證不同模塊對算法檢測精度和速度的優(yōu)化效果,筆者進行了消融試驗。試驗1使用YOLOv5s算法。試驗2僅使用bneck結(jié)構(gòu)替代YOLOv5s的主干網(wǎng)絡。試驗3在試驗2的基礎上進一步使用小卷積核代替大卷積核。試驗4在試驗3的基礎上改進了SPPF算法。試驗5在試驗4的基礎上融合了混合注意力機制。在UA-DETRAC數(shù)據(jù)集上訓練和驗證上述算法,結(jié)果如表4。

表4 消融試驗結(jié)果

對比試驗1和試驗2可以看出,MobileNetV3 small的bneck結(jié)構(gòu)在算法的輕量化設計中起著決定性作用,且其檢測速度提升最大。從試驗3可以看出,小卷積核替代大卷積核在一定程度上減少了模型的參數(shù)量,提高了檢測精度,但算法的檢測速度有所下降。試驗4增加了改進的SPPF結(jié)構(gòu),使得算法在保證檢測精度和速度的同時一定程度上減少了模型的參數(shù)量。試驗5為筆者提出的MobileNetV3-YOLOv5s算法,雖然混合注意力機制略微增加了參數(shù)量,但檢測速度并未下降,同時平均識別率有一定提升,在考慮識別精度和識別速度的情況下,筆者所提出的算法能夠很好地適用于移動板塊卡等邊緣設備中。

2.5 討 論

表5對比了目前研究成果與文中算法的檢測效果和模型參數(shù)量。

表5 算法對比

由表5可以看出,文中算法模型的權(quán)重大小僅為2.34 MB,與最近的研究相比,其在模型輕量化方面有著明顯進步。同時,其在算法識別率方面仍具有相當?shù)母偁幜Α?/p>

3 結(jié) 語

在復雜交通場景中,基于深度學習的車輛識別方法需要進一步優(yōu)化以實現(xiàn)更快的檢測速度和可靠的識別效果。因此筆者結(jié)合YOLOv5s與MobileNetV3算法的優(yōu)勢,提出輕量級神經(jīng)網(wǎng)絡模型,首先將輕量級網(wǎng)絡MobileNetV3 small的bneck結(jié)構(gòu)替換YOLOv5s的主干網(wǎng)絡。為了進一步實現(xiàn)模型的輕量化,采用級聯(lián)的3×3小卷積核替代bneck中的大卷積核,并改進YOLOv5s中的SPPF算法。同時為了提高檢測精度,實現(xiàn)更可靠的檢測效果,在bneck結(jié)構(gòu)中融合了SENet和CAM算法,組成混合注意力模塊。結(jié)果表明:文中算法參數(shù)量下降明顯,僅為2.34 MB,檢測速度與YOLOv5s相比提升了10.7%,平均識別率為98.45%,取得了良好的識別效果。

未來的工作將聚焦于在特殊環(huán)境和天氣下優(yōu)化算法性能,以及將算法應用于低性能的邊緣設備上,并促進自動駕駛環(huán)境感知應用程序的開發(fā)。