叢玉華，王志勝，邢長達(dá),3

(1 南京理工大學(xué)紫金學(xué)院，南京 210023；2 南京航空航天大學(xué)自動化學(xué)院，南京 211106；3 南京航空航天大學(xué)深圳研究院，廣東深圳 518063)

0 引言

裝甲車是陸地戰(zhàn)場目標(biāo)的重要組成部分,戰(zhàn)場環(huán)境非常復(fù)雜給戰(zhàn)場裝甲車識別帶來了巨大挑戰(zhàn)，對裝甲車進(jìn)行盡可能精確地檢測與識別對于敵我識別、戰(zhàn)場態(tài)勢判斷、決策指揮具有重要意義[1-2]。隨著目標(biāo)識別技術(shù)的發(fā)展，優(yōu)秀的目標(biāo)識別算法不斷提出，其中一階目標(biāo)識別算法直接對輸入圖像進(jìn)行特征提取操作，然后對所需目標(biāo)進(jìn)行分類、定位，該類算法在戰(zhàn)場應(yīng)用場景中能達(dá)到實時性要求。經(jīng)典的一階算法有Yolo、SSD等[3]，其中Yolov1由Redmon等在2016年提出，在識別過程中將整張輸入圖像看作是目標(biāo)的上下文特征，這種改進(jìn)可以大幅度減少將所需目標(biāo)錯誤認(rèn)為是圖片背景元素的機(jī)率[4]。此后提出的Yolov2算法在卷積層上額外新增了歸一化層，進(jìn)一步提高了目標(biāo)識別準(zhǔn)確度并且有效解決了重疊目標(biāo)的識別問題[5]。Redmon在2018年提出了識別率更優(yōu)的Yolov3算法，選用更深的網(wǎng)絡(luò)，使得算法具有了更高的識別效率和準(zhǔn)確率[6]。2020年，CY Wang等提出Yolov4算法。融入了CSPDarknet53和加強(qiáng)特征提取網(wǎng)絡(luò)SPP、PAnet，將特征進(jìn)行融合，提取出更精確的特征[7]。2020年Yolov4-Tiny發(fā)布，精簡了特征提取網(wǎng)絡(luò)，使模型的復(fù)雜度和訓(xùn)練參數(shù)大大減少[8]。戰(zhàn)場環(huán)境下需使用輕量級網(wǎng)絡(luò)來提高實時性，因此Yolov4-Tiny更適合裝甲車識別。

1 Yolov4-Tiny網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積是圖像處理的重要工具，因此以卷積為基本運算形式的神經(jīng)網(wǎng)絡(luò)在目標(biāo)識別任務(wù)中有著不錯的效果，可以用來解決復(fù)雜度較高的識別問題[9-12]。卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

卷積層主要用來提取目標(biāo)特征，對目標(biāo)圖像進(jìn)行多次卷積運算，進(jìn)一步獲得更加豐富的特征信息，以此得到更加優(yōu)化的特征圖[13]。池化層通常加在卷積層后面，通過特征選擇和信息過濾，壓縮數(shù)據(jù)和參數(shù)數(shù)量，降低訓(xùn)練耗時，減小過擬合[14]。全連接層位于卷積神經(jīng)網(wǎng)絡(luò)隱含層的最后部分，對特征進(jìn)行分類操作[13]。輸出層使用邏輯函數(shù)或歸一化指數(shù)函數(shù)輸出分類標(biāo)簽。

1.2 Yolov4-Tiny網(wǎng)絡(luò)結(jié)構(gòu)

Yolov4-Tiny目標(biāo)檢測網(wǎng)絡(luò)基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建，主要由3部分組成：主干特征網(wǎng)絡(luò)部分采用CSPDarknet53-Tiny網(wǎng)絡(luò)，加強(qiáng)特征提取網(wǎng)絡(luò)部分選擇FPN特征金字塔網(wǎng)絡(luò)，預(yù)測輸出部分為兩個用于分類與回歸預(yù)測的有效輸出特征層。Yolov4-Tiny網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 Yolov4-Tiny網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2.1 主干特征網(wǎng)絡(luò)

Yolov4-Tiny的主干特征網(wǎng)絡(luò)CSPDarknet53-Tiny由兩個基本部分構(gòu)成，分別是CBL層(Conv+BN+Leaky ReLU)和CSP(cross stage partial)層。PL為池化運算，UpSamp為上采樣運算。

1)CBL層

CBL層包括卷積運算Conv，批標(biāo)準(zhǔn)化處理BN(batch normalization)，Leaky ReLU函數(shù)激活。CBL層在每一次卷積之前進(jìn)行L2正則化，完成卷積后進(jìn)行標(biāo)準(zhǔn)化與Leaky ReLU激活。

L2正則化目的是控制模型復(fù)雜度、減小過擬合。其中，L2正則化公式為：

(1)

卷積層主要被用來提取目標(biāo)特征。在卷積層中，對目標(biāo)圖像進(jìn)行多次卷積運算，通過多次運算進(jìn)一步獲得更加豐富的特征信息，以此得到更加優(yōu)化的特征圖。卷積的表達(dá)式為：

(2)

式中:i,j代表該卷積核的兩個位置參數(shù);θi,j代表i,j位置上原圖像內(nèi)的數(shù)據(jù);xi,j代表i,j位置上卷積核內(nèi)的數(shù)據(jù);ε代表該位置的權(quán)重;m代表卷積核大小。

批標(biāo)準(zhǔn)化的本質(zhì)就是利用優(yōu)化方差大小和均值位置，使得新的分布更切合數(shù)據(jù)的真實分布，保證模型的非線性表達(dá)能力。其表達(dá)式為：

(3)

激活函數(shù)Leaky ReLU，即帶泄露線性整流函數(shù)，是在神經(jīng)元上運行的函數(shù)，該函數(shù)輸出對負(fù)值輸入有很小的坡度。由于導(dǎo)數(shù)總是不為零，能減少靜默神經(jīng)元的出現(xiàn)，允許基于梯度的學(xué)習(xí)，解決了修正線性單元ReLU函數(shù)進(jìn)入負(fù)區(qū)間后，導(dǎo)致神經(jīng)元不學(xué)習(xí)的問題。Leaky ReLU的表達(dá)式為：

(4)

其中：δ為Leaky ReLU的參數(shù)；t為神經(jīng)元輸入；f(t)為神經(jīng)元輸出。

2)CSP層

CSP為殘差模塊，是在CBL結(jié)構(gòu)基礎(chǔ)上引入殘差結(jié)構(gòu)，如圖3所示，Rt1和Rt2為兩個殘差邊。計算殘差的表達(dá)式為：

圖3 CSP結(jié)構(gòu)

gd+1=gd+F(gd)

(5)

式中：gd為直接映射;F(gd)為殘差部分，表示對gd進(jìn)行卷積等操作。將兩者疊加得到的gd+1表示殘差塊。

1.2.2 加強(qiáng)特征提取網(wǎng)絡(luò)

加強(qiáng)特征提取網(wǎng)絡(luò)采用FPN(feature pyramid networks)特征金字塔網(wǎng)絡(luò)，通過利用常規(guī)卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)部從底向上各個層對同一大小圖片不同維度的特征表達(dá)結(jié)構(gòu)，將縮小或擴(kuò)大后的不同維度圖片作為輸入生成反映不同維度信息的特征組合，能有效地表達(dá)出圖片之上的各種維度特征。在Yolov4-Tiny中，F(xiàn)PN預(yù)測輸出采用兩層結(jié)構(gòu)如圖4所示。

圖4 Yolov4-Tiny中FPN網(wǎng)絡(luò)結(jié)構(gòu)

1.2.3 網(wǎng)絡(luò)輸出

Yolov4-Tiny的輸出層融合了網(wǎng)絡(luò)Head輸出，Loss計算和預(yù)測結(jié)果解析。

1)特征輸出

Yolov4-Tiny一共提取兩個特征層進(jìn)行目標(biāo)檢測，若輸入圖像大小為(w,h,3)，則兩個特征層的大小分別為(w/16,h/16,M)，(w/32,h/32,M)。其中w為圖像的寬，h為圖像的高，M為輸出的通道數(shù)，M值計算式為：

M=nanchor×(nsort+(1+4))

(6)

式中：nanchor為錨框個數(shù);nsort表示類別數(shù);1表示判斷是否包含物體信息;4表示包含先驗框坐標(biāo)。

2)Loss損失

首先將預(yù)測框跟真實框做IOU計算，IOU表示預(yù)測框A和真實框B的面積交并比，忽略IOU小于閾值的部分預(yù)測框，將保留的部分首先做CIOU(complete-IOU)計算獲得坐標(biāo)損失l1,其公式如式(7)～式(10)所示。

(7)

(8)

(9)

l1=1-CIOU

(10)

其中：a和b為預(yù)測框A和真實框B中心點坐標(biāo);ρ2(a,b)為預(yù)測框A和真實框B中心點的距離；c代表能夠同時包含預(yù)測框A和真實框B的最小閉包區(qū)域的對角線距離；η為權(quán)重，計算真實類別和預(yù)測類別的交叉熵作為類別損失；υ是兩個選框長寬的相似度。交叉熵?fù)p失le可表示為:

(11)

l=l1+l2+l3

(12)

3)預(yù)測結(jié)果分析

將每個網(wǎng)格點加上它對應(yīng)的x坐標(biāo)和y坐標(biāo)，加后的結(jié)果是預(yù)測框的中心，再利用先驗框的高、寬計算出預(yù)測框的長和寬并得到預(yù)測框位置。最后根據(jù)得到的預(yù)測框位置進(jìn)行得分排序與非極大抑制篩選獲得最后預(yù)測結(jié)果。預(yù)測框位置Zpredict可表示為：

Zpredict=Zanchor+Zpriori

(13)

式中:Zanchor為錨框位置;Zpriori為先驗框位置。

2 模型改進(jìn)與優(yōu)化

Yolov4-Tiny雖然具有輕量型特點，但實際上是以精度換取速度，下面將在確保一定識別速度基礎(chǔ)上對Yolov4-Tiny進(jìn)行改進(jìn)，改進(jìn)方法分為兩步：首先，引入注意力機(jī)制在主干網(wǎng)絡(luò)部分提高特征提取精度；然后在增強(qiáng)特征網(wǎng)絡(luò)部分引入BPA結(jié)構(gòu)增強(qiáng)FPN部分特征提取能力。

2.1 引入注意力機(jī)制的主干網(wǎng)絡(luò)

2.1.1 基于卷積塊的注意力機(jī)制

基于卷積塊的注意力機(jī)制 CBAM(convolutional block attention module)是一種用于前饋卷積神經(jīng)網(wǎng)絡(luò)的輕量級通用模塊，可以無縫集成到任何卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)中，開銷可忽略不計，并且可以和基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)一起進(jìn)行端到端訓(xùn)練。CBAM有兩個順序的子模塊：通道注意力模塊CAM(channel attention module)和空間注意力模塊SAM(spatial attention module)，如圖5所示，特征圖輸入后經(jīng)過通道注意力CAM的特征圖與空間注意力SAM相乘，最終得到經(jīng)過調(diào)整的特征圖[15]。

圖5 CBAM模塊結(jié)構(gòu)

CAM關(guān)注對最終預(yù)測起決定作用的通道特征。對輸入的特征圖先在每一個通道的特征圖上進(jìn)行全局平均池化(AvgPool)和全局最大池化(MaxPool)，得到兩個通道特征。然后將這兩個通道特征送入一個多層感知機(jī)(MLP)中，通過這個全連接層輸出通道注意力特征圖。CAM具體結(jié)構(gòu)如圖6所示。

圖6 CAM模塊結(jié)構(gòu)

SAM主要是關(guān)注對最終預(yù)測起決定作用的位置信息。在通道維度通道注意力特征圖上進(jìn)行最大池化和平均池化，得到兩個空間特征。然后將這兩個特征在通道維度拼接，經(jīng)過一個卷積層(Conv)后輸出空間注意力特征圖。SAM結(jié)構(gòu)如圖7所示。

圖7 SAM模塊結(jié)構(gòu)

2.1.2 融合CBAM的主干網(wǎng)絡(luò)

1)CSP+CBAM網(wǎng)絡(luò)結(jié)構(gòu)

CBAM模塊目的是提高特征提取精度，為保證全面性，此處將其應(yīng)用于主干網(wǎng)絡(luò)每次特征輸出之前。因此需要在CSP殘差結(jié)構(gòu)上嵌入CBAM模塊，具體構(gòu)成如圖8所示，F(xiàn)eat為輸出特征圖。

圖8 CSP+CBAM網(wǎng)絡(luò)結(jié)構(gòu)

2)融入CBAM的主干網(wǎng)絡(luò)

在主干網(wǎng)的后兩個CSP模塊及最后卷積輸出位置，分別引入3個CBAM模塊，生成3個不同尺度的特征圖F1,F2和F3，較Yolov4_Tiny增加一層輸出特征圖，具體結(jié)構(gòu)如圖9所示。

圖9 CSPDarknet53-Tiny+CBAM網(wǎng)絡(luò)結(jié)構(gòu)

2.2 融合路徑聚合的FPN網(wǎng)絡(luò)

FPN用了不同大小的特征圖進(jìn)行預(yù)測，兼顧小目標(biāo)和大目標(biāo)檢測。為了縮短FPN中頂層底層信息路徑和用低層級的準(zhǔn)確定位信息增強(qiáng)特征金字塔，在FPN基礎(chǔ)上增加自下而上的路徑聚合增強(qiáng)模塊BPA(bottom-up path augmentation)，用于縮短信息路徑[16]。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示。

圖10 FPN+BPA網(wǎng)絡(luò)結(jié)構(gòu)

2.3 改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)

通過對Yolov4-Tiny的改進(jìn)，可得網(wǎng)絡(luò)總體結(jié)構(gòu)如圖11所示。其中，F(xiàn)1,F2,F3為主干網(wǎng)絡(luò)輸出特征圖，H1,H2,H3為最終輸出特征圖，5Conv表示5次卷積運算，UpSamp為上采樣運算，DownSamp為下采樣運算。因為改進(jìn)后網(wǎng)絡(luò)是在Yolov4-Tiny基礎(chǔ)上融入了CBAM機(jī)制和BPA結(jié)構(gòu)，因此稱其為Yolov4-TCB網(wǎng)絡(luò)。

圖11 改進(jìn)后網(wǎng)絡(luò)Yolov4-TCB整體結(jié)構(gòu)

3 性能測試

3.1 實驗數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

3.1.1 實驗數(shù)據(jù)集

文中實驗數(shù)據(jù)集是在網(wǎng)絡(luò)上搜索得到的825張裝甲車圖像，使用翻轉(zhuǎn)、鏡像、改變圖片明亮度及高斯噪聲等方式進(jìn)行了數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)后最終數(shù)據(jù)集圖片為6 400張，其中訓(xùn)練集5 760張，測試集640張。數(shù)據(jù)集參考VOC2007數(shù)據(jù)集制作，使用LabelImg圖像標(biāo)注軟件對圖像進(jìn)行標(biāo)注，生成包含圖像中目標(biāo)對應(yīng)類別及位置坐標(biāo)信息的XML文件。

3.1.2 數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)集中的圖片大小不一，因此在訓(xùn)練前統(tǒng)一處理為416×416的大小。同時，進(jìn)行網(wǎng)絡(luò)訓(xùn)練時使用Mosaic數(shù)據(jù)增強(qiáng)方法來增加樣本的多樣性。每次讀取4張圖片，對每張圖片進(jìn)行尺寸縮小、隨機(jī)水平翻轉(zhuǎn)、隨機(jī)色域變換(色調(diào)、飽和度、明度變換)，再拼接成一張416×416大小的圖片上，作為輸入的訓(xùn)練數(shù)據(jù)，并修改相對應(yīng)的XML標(biāo)簽數(shù)據(jù)。

3.2 性能參數(shù)及實驗分析

3.2.1 性能參數(shù)

1)精確度和召回率

精確度Pp和召回率Rr計算如式(14)和式(15)所示。

(14)

(15)

式(14)表示精確度是分類器認(rèn)為是正樣本且分類正確的部分占所有分類器認(rèn)為是正樣本的部分的比例，也被稱為查準(zhǔn)率。式(15)表示召回率是分類器認(rèn)為是正樣本且分類正確的部分占所有正樣本的比例，也被成為查全率。其中TP表示正樣本預(yù)測為正樣本的個數(shù)；FP表示負(fù)樣本預(yù)測為正樣本的個數(shù)；FN表示正樣本預(yù)測為負(fù)樣本的個數(shù)。

2)平均精度

AP(average precious)為平均精度，以Rr值為橫軸，Pp值為縱軸，就可以得到PR曲線，這條線下面的面積就是被測類別的AP值。mAP就是所有類的平均AP值，此處只有一個類，因此AP和mAP相等,可表示為：

(16)

式中u(r)為Rr為r時的Pp值。

3)幀頻

幀頻為每秒可以處理的圖片數(shù)量。用來評估目標(biāo)檢測的速度。

3.2.2 性能測試結(jié)果及分析

實驗過程中軟硬件參數(shù)如表1所示，涉及網(wǎng)絡(luò)實驗參數(shù)如表2所示。另CUDA版本為10.1。

表1 環(huán)境參數(shù)

表2 網(wǎng)絡(luò)參數(shù)

1)性能測試結(jié)果

下面對5種網(wǎng)絡(luò)進(jìn)行性能測試結(jié)果如圖12～圖16所示。

圖12 Yolov4-Tiny網(wǎng)絡(luò)性能(AP=74.99%)

圖13 Yolov4網(wǎng)絡(luò)性能(AP=89.48%)

圖14 Yolov4-Tiny+CBAM網(wǎng)絡(luò)性能(AP=88.05%)

圖15 Yolov4-Tiny+BPA網(wǎng)絡(luò)性能(AP=85.41%)

圖16 Yolov4-TCB網(wǎng)絡(luò)性能(AP=94.52%)

2)性能數(shù)據(jù)分析

5種網(wǎng)絡(luò)結(jié)構(gòu)的模型大小、精度和速度數(shù)據(jù)對比如表3所示。

表3 網(wǎng)絡(luò)性能數(shù)據(jù)對比表

由圖12～圖16和表3可得，加入注意力機(jī)制CBAM的Yolov4-Tiny+CBAM網(wǎng)絡(luò)模型大小接近Yolov4-Tiny，在保持速度基礎(chǔ)上，精確度比Yolov4-Tiny提高了17%；引入路徑聚合機(jī)制BPA的Yolov4-Tiny+BPA網(wǎng)絡(luò)模型大小較Yolov4-Tiny增加3.8倍但比Yolov4減小55%，精確度比Yolov4-Tiny提高14%，速度比Yolov4-Tiny降低了9%，而較Yolov4提升1.4倍；同時融入注意力機(jī)制和路徑聚合機(jī)制的Yolov4-TCB網(wǎng)絡(luò)模型大小較Yolov4-Tiny增加3.9倍但比Yolov4減小55%，精確度提高了26%，速度比Yolov4-Tiny降低了69%，而比Yolov4提升1.4倍。綜上，改進(jìn)后的網(wǎng)絡(luò)Yolov4-TCB一定程度上保持了輕量級網(wǎng)絡(luò)Yolov4-Tiny的高速性，又具有優(yōu)于Yolov4和Yolov4-Tiny網(wǎng)絡(luò)高精度特點，實驗數(shù)據(jù)充分驗證了方法改進(jìn)的有效性。

3.3 可視化分析

針對5種網(wǎng)絡(luò)，在單目標(biāo)和多目標(biāo)，簡單背景和復(fù)雜背景情況下進(jìn)行測試，結(jié)果如圖17～圖21所示。

圖17 Yolov4-Tiny識別效果

圖18 Yolov4識別效果

圖19 Yolov4-Tiny+BPA識別效果

圖20 Yolov4-Tiny+CBAM識別效果

圖21 Yolov4-TCB識別效果

在目標(biāo)數(shù)量少且背景簡單時，5種方法皆可準(zhǔn)確識別裝甲車；但背景復(fù)雜、目標(biāo)較多時，Yolov4-TCB網(wǎng)絡(luò)識別效果明顯優(yōu)于其他4種網(wǎng)絡(luò)結(jié)構(gòu)。

4 總結(jié)

在戰(zhàn)場背景下對裝甲車進(jìn)行識別，為保證識別速度采用Yolov4-Tiny輕量級網(wǎng)絡(luò)為基本框架，為提高識別精確度則對Yolov4-Tiny網(wǎng)絡(luò)進(jìn)行改進(jìn)。改進(jìn)方法為：1)在Yolov4-Tiny的CSPDarknet53-Tiny主干網(wǎng)絡(luò)部分引入CBAM注意力機(jī)制，從通道和空間兩方面提升主干網(wǎng)絡(luò)的特征提取精度。2)在Yolov4-Tiny的FPN特征加強(qiáng)網(wǎng)絡(luò)部分融入路徑聚合機(jī)制的BAP模塊，提升多尺度特征部分提取精度。改進(jìn)后的網(wǎng)絡(luò)Yolov4-TCB在保證輕量級的基礎(chǔ)上，識別速度較快，識別精度大幅提升。后續(xù)將繼續(xù)研究網(wǎng)絡(luò)的優(yōu)化改進(jìn)，進(jìn)而在嵌入式設(shè)備上布局，到真實環(huán)境下驗證。