岳磊，袁建虎，楊柳，呂婷婷

（陸軍工程大學(xué) 野戰(zhàn)工程學(xué)院，江蘇 南京 210001）

0 引言

巡邏執(zhí)勤目標(biāo)與所處環(huán)境背景高度融合，檢測(cè)目標(biāo)種類多樣，傳統(tǒng)方法檢測(cè)難度大、檢測(cè)精度低、實(shí)時(shí)性差等問題十分突出。隨著任務(wù)復(fù)雜程度加深，行動(dòng)范圍擴(kuò)大，對(duì)巡邏執(zhí)勤目標(biāo)的檢測(cè)要求逐漸提高，研究巡邏執(zhí)勤目標(biāo)檢測(cè)在軍事偵察、邊境治理、引導(dǎo)打擊和反恐維穩(wěn)等領(lǐng)域具有重要意義。

目前國(guó)內(nèi)外眾多學(xué)者利用計(jì)算機(jī)視覺對(duì)無人機(jī)航拍目標(biāo)、偽裝目標(biāo)進(jìn)行檢測(cè)，并已取得了一定成果。侯文迪［1］等提出了一種基于圖像金字塔光流計(jì)算與灰度、HOG（histograms of oriented gradents）特征匹配的綜合跟蹤算法，該方法證明對(duì)邊緣紋理較為豐富的偽裝色移動(dòng)目標(biāo)具有良好的跟蹤效果。蘇昂［2］提出了一種基于梯度方向直方圖特征和在線級(jí)聯(lián)Boosting 的檢測(cè)算法用于無人機(jī)圖像的車輛檢測(cè)，提升了無人機(jī)視角下車輛檢測(cè)性能。

傳統(tǒng)目標(biāo)檢測(cè)方法主要依賴人工提取特征［3］，但由于當(dāng)前巡邏執(zhí)勤任務(wù)形式復(fù)雜多樣，涉及行人、車輛、牲畜等多種類型目標(biāo)，且機(jī)動(dòng)性、實(shí)時(shí)性要求高，傳統(tǒng)目標(biāo)檢測(cè)算法已經(jīng)難以滿足當(dāng)前巡邏執(zhí)勤任務(wù)的需要。此外，巡邏執(zhí)勤目標(biāo)在實(shí)際采集過程中，大都屬于運(yùn)動(dòng)目標(biāo)，且采集環(huán)境多樣，這些因素容易造成圖像模糊等問題。因此，在這樣的情況下使用人工提取特征的方式進(jìn)行目標(biāo)檢測(cè)，效果較差。

當(dāng)前，采用深度學(xué)習(xí)的方式進(jìn)行目標(biāo)檢測(cè)是重要的研究方向［4］，在軍事偵察、安防管控、維穩(wěn)治安方面的應(yīng)用也是研究重點(diǎn)［5］。通過深度學(xué)習(xí)的方法能夠有效解決傳統(tǒng)檢測(cè)方法只利用淺層特征信息、易受自然環(huán)境因素影響、檢測(cè)方法泛化性差的問題，同時(shí)提升巡邏執(zhí)勤目標(biāo)檢測(cè)精度，提高檢測(cè)效率，為相關(guān)任務(wù)執(zhí)行提供幫助。當(dāng)前，根據(jù)算法結(jié)構(gòu)設(shè)計(jì)方式，將基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法分為2 類：

第1 類是基于區(qū)域的兩階段（two-stage）檢測(cè)算 法，代 表 算 法 有Fast R-CNN［6］（region-based convolutional neural network），F(xiàn)aster R-CNN［7］等；兩階段算法主要是依據(jù)圖像中被檢測(cè)目標(biāo)實(shí)際位置，提前選取候選區(qū)的方式進(jìn)行訓(xùn)練。

第2 類是一階段（one-stage）檢測(cè)算法，該類算法采用端到端檢測(cè)網(wǎng)絡(luò)，代表算法有YOLO［8-9］（you only look once），SSD［10］（single shot multibox detector）等。一階段算法對(duì)圖像進(jìn)行檢測(cè)采用回歸方式，以這種方式找到檢測(cè)框類別及偏移量，得到最接近真實(shí)值的檢測(cè)框。趙曉楓［11］等對(duì)SSD 算法網(wǎng)絡(luò)添加殘差窗口模塊，并將優(yōu)化后數(shù)據(jù)集的檢測(cè)結(jié)果作為評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)證明評(píng)估效果較好。鄧小桐［12］等在RetinaNet 的骨干網(wǎng)絡(luò)（backbone）的殘差塊中嵌入注意力機(jī)制，有效實(shí)現(xiàn)了迷彩偽裝人員的檢測(cè)。SONG［13］等提出了一種改進(jìn)的注意模塊I-ECANet（improved-efficient channel attention net），并在YOLOv3 網(wǎng)絡(luò)中的最后一層殘差層和每組殘差層卷積到I-ECANet 注意力模塊中，最后實(shí)驗(yàn)證明對(duì)檢測(cè)反導(dǎo)遙感圖像檢測(cè)精度有較大提升，有廣泛應(yīng)用價(jià)值。

然而，對(duì)于巡邏執(zhí)勤任務(wù)具有較強(qiáng)實(shí)時(shí)性、復(fù)雜性、任務(wù)環(huán)境多樣、干擾因素多的情況，上述檢測(cè)算法性能就有所欠缺。為此本文針對(duì)復(fù)雜環(huán)境背景下巡邏執(zhí)勤目標(biāo)檢測(cè)圖像模糊、自然環(huán)境干擾造成檢測(cè)困難的問題，提出了一種多層注意力機(jī)制和多尺度特征融合的巡邏執(zhí)勤目標(biāo)檢測(cè)智能算法。本文主要貢獻(xiàn)點(diǎn)和創(chuàng)新點(diǎn)如下：①對(duì)有限的圖像數(shù)據(jù)進(jìn)行擴(kuò)充，使用自適應(yīng)均衡處理、翻轉(zhuǎn)、旋轉(zhuǎn)、噪聲添加等增強(qiáng)處理。②搭建YOLOv5 檢測(cè)網(wǎng)絡(luò)，并在骨干網(wǎng)絡(luò)中引入ECA-Net 注意力機(jī)制模塊，以解決巡邏執(zhí)勤圖像中背景對(duì)被檢測(cè)目標(biāo)的干擾問題。③引入BiFPN（bi-directional feature pyramid network）結(jié)構(gòu)，替換原始算法中的頸部網(wǎng)絡(luò)（neck）中的FPN+PAN （feature pyramid network+path aggregation network）結(jié)構(gòu)，用以改善網(wǎng)絡(luò)結(jié)構(gòu)，解決巡邏執(zhí)勤目標(biāo)尺度多樣問題。

1 YOLOv5 算法原理

YOLOV5 檢測(cè)模型主要組成為Input，Backbone，Neck，Prediction 共4 部分，其結(jié)構(gòu)圖如圖1 所示。

圖1 YOLOv5 網(wǎng)絡(luò)劃分流程圖Fig. 1 Network partition flow chart of the YOLOv5

Input：將輸入圖像調(diào)整為640×640 的大小，然后進(jìn)行數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和縮放。

Backbone：相較 于YOLOv4 模型，YOLOv5 增 加了Focus 層、CSPNet［14］（cross stage partial network）層。Focus 對(duì)圖像進(jìn)行切片處理，如圖2 所示；CSP結(jié)構(gòu)改進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方式，將推理過程中的計(jì)算量降低；SPP［15］（spatial pyramid pooling）層將特征層進(jìn)行卷積；然后進(jìn)行最大池化（maxpool），增大了網(wǎng)絡(luò)的感受野，同時(shí)也使非線性表達(dá)能力得到提升。

圖2 Focus 流程 示意 圖Fig. 2 Focus schematic of the process

Neck：將不同次的特征圖進(jìn)行融合，減少語義信息的丟失，獲得更多的特征信息。在YOLOv5 算法中，使用FPN+PAN 的特征金字塔結(jié)構(gòu)。FPN 將語義特征從頂部特征映射傳遞到較低的特征映射。同時(shí)，PAN［16］結(jié)構(gòu)將定位特征從較低的特征圖傳遞到較高的特征圖中。這2 種結(jié)構(gòu)共同加強(qiáng)了頸部網(wǎng)絡(luò)的特征融合能力。

Prediction：在YOLOv5 的預(yù)測(cè)端采用的是GIOU_Loss （generalized intersection over union loss）作為bounding box 損失函數(shù)，類概率分類采用交叉熵?fù)p失函數(shù)。函數(shù)定義式為

式中：IOU（intersection over union）為預(yù)測(cè)框和標(biāo)記框的交并比；B為標(biāo)注框；Bgt為預(yù)測(cè)框；C為預(yù)測(cè)框與標(biāo)注框的最小外接矩形面積；B∪Bgt為兩個(gè)框的并集。

2 改進(jìn)YOLOv5 巡邏執(zhí)勤目標(biāo)檢測(cè)算法

在網(wǎng)絡(luò)中添加注意力機(jī)制模塊對(duì)于提升算法檢測(cè)性能具有較好的作用，同時(shí)為保持特征信息提取性能和算法檢測(cè)速率，加入了多尺度特征融合模塊。本文所提出的多層注意力機(jī)制和跨尺度特征融合的巡邏執(zhí)勤目標(biāo)檢測(cè)智能算法檢測(cè)框架如圖3所示。

圖3 改進(jìn)檢測(cè)算法框架Fig. 3 Improved detection algorithm framework

數(shù)據(jù)集進(jìn)行標(biāo)注、轉(zhuǎn)換格式、劃分測(cè)試集和驗(yàn)證集，輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，并獲得模型權(quán)重，然后使用改進(jìn)算法進(jìn)行檢測(cè)。

2.1 ECA-Net 注意力機(jī)制模型

為了解決巡邏執(zhí)勤目標(biāo)顯著度低的問題，在YOLOv5 模型的骨干網(wǎng)絡(luò)中添加ECA-Net（efficient channel attention）注意力機(jī)制模塊［17-18］，如圖4 所示。ECA-Net 在SENet 的基礎(chǔ)上進(jìn)行了改進(jìn)，采用不降低維的方式產(chǎn)生權(quán)重，能夠在實(shí)現(xiàn)復(fù)雜注意力模塊的同時(shí)，降低算法的復(fù)雜程度。

圖4 ECA-Net 注意力機(jī)制模塊Fig. 4 Efficient channel attention mechanism module

首先對(duì)特征通道進(jìn)行全局平均池化，執(zhí)行1×1卷積，然后產(chǎn)生通道權(quán)重系數(shù)，其中的卷積K（kernel size）代表了交互概率，采用如式（2）所示的自適應(yīng)方法來確定K的方法。

式中：C為通道維 度；|t|為距離t最近的奇數(shù)；b和γ為線性函數(shù)關(guān)系，在這里本文將b設(shè)置為1；γ設(shè)置為2。

如圖5 所示，添加注意力機(jī)制模塊能夠提升圖像中被檢測(cè)目標(biāo)的顯著性，減少其他干擾因素對(duì)圖像檢測(cè)帶來的影響，為模型性能的進(jìn)一步提升發(fā)揮作用。

2.2 BiFPN 特征融合結(jié)構(gòu)

YOLOv5 算法中在Neck 部 分 采用FPN+PAN 結(jié)構(gòu)，在多尺度融合方面取得了良好的效果。但其計(jì)算較復(fù)雜，且針對(duì)當(dāng)前任務(wù)圖像容易受環(huán)境因素影響，且尺度多樣，該結(jié)構(gòu)存在特征提取利用不充分，造成損失誤差較大的情況。因此在Neck 部分引入雙向特征融合結(jié)構(gòu)BiFPN［19］，如圖6 所示。

圖6 3 種特征網(wǎng)絡(luò)結(jié)構(gòu)Fig. 6 Three feature network structure

相較于原來的Neck 結(jié)構(gòu)，BiFPN 結(jié)構(gòu)有4 點(diǎn)不同：①采用跨尺度連接以去除PAN 中對(duì)特征融合貢獻(xiàn)率低的部分，并在同一級(jí)別的輸入輸出之間添加更多的節(jié)點(diǎn)。②刪除對(duì)融合特征網(wǎng)絡(luò)貢獻(xiàn)較小的節(jié)點(diǎn)，簡(jiǎn)化雙向網(wǎng)絡(luò)。③BiFPN 結(jié)構(gòu)在原始輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間增加了額外的邊，盡可能多地提取特征。④該結(jié)果將每個(gè)雙向路徑作為特征層處理，并多次循環(huán)同一層。

3 模型訓(xùn)練及結(jié)果分析

本文實(shí)驗(yàn)使用PyTorch 框架，實(shí)驗(yàn)中所使用的軟硬件環(huán)境如表1 所示。

表1 實(shí)驗(yàn)環(huán)境配置Table 1 Experimental environment configuration

本文所用部分?jǐn)?shù)據(jù)集是從巡邏執(zhí)勤的視頻中截取，并結(jié)合國(guó)內(nèi)外公開的圖像、視頻資料進(jìn)行收集，共有樣本2 600 余張。將數(shù)據(jù)集進(jìn)行了劃分，隨機(jī)選取600 張圖像作為測(cè)試集，其余圖像作為訓(xùn)練樣本。

3.1 模型訓(xùn)練

模型訓(xùn)練過程：將圖像調(diào)整為640×640 大小，為防止過擬合和跳過最優(yōu)解，將動(dòng)量因子設(shè)置為0.93，并采用隨機(jī)下降法進(jìn)行訓(xùn)練。batch_size 為32。共訓(xùn)練500 輪次，前300 輪訓(xùn)練學(xué)習(xí)率為0.01，后200 輪訓(xùn)練學(xué)習(xí)率為0.001。待損失函數(shù)和精度都逐漸穩(wěn)定時(shí)，得到算法最優(yōu)權(quán)重。

3.2 實(shí)驗(yàn)過程

為驗(yàn)證改進(jìn)算法的有效性，使用AP（average precision）來對(duì)每一類檢測(cè)結(jié)果進(jìn)行評(píng)估，并利用mAP（mean AP），即所有目標(biāo)類AP 的平均值來衡量整個(gè)模型的性能。對(duì)于主觀評(píng)價(jià)結(jié)果，可以通過對(duì)比改進(jìn)和未改進(jìn)網(wǎng)絡(luò)處理后的圖片來評(píng)估模型的性能：

式中：TP，F(xiàn)P和FN分別為正確檢測(cè)數(shù)、誤檢數(shù)、漏檢數(shù)；AP為P-R曲線積分；N為檢測(cè)種類數(shù)量。為了檢測(cè)本文改進(jìn)算法與YOLO 標(biāo)準(zhǔn)算法的優(yōu)勢(shì)，進(jìn)行了對(duì)比實(shí)驗(yàn)。結(jié)果如圖7 所示。

IOU取0.5 時(shí)mAP為mAP@0.5，IOU取 不 同 值的mAP為mAP@0.5∶0.95。從圖7 中可以看出，改進(jìn)算法和原始算法都具有較高的檢測(cè)精度。相較而言，本文算法在訓(xùn)練迭代到200 輪次左右的時(shí)候，準(zhǔn)確率上升至0.68 左右，并最終在300 輪左右時(shí)穩(wěn)定至0.77 左右；改進(jìn)Neck 部分能夠提前收斂，標(biāo)準(zhǔn)YOLOv5 算法訓(xùn)練迭代到180 輪次左右時(shí)，準(zhǔn)確率僅上升至0.55 左右，最終穩(wěn)定至0.73 左右。

圖7 mAP@0.5 與 mAP@0.5：0.95 訓(xùn)練變化曲線Fig. 7 mAP@0.5 and mAP@0.5：0.95 training change curves

3.3 結(jié)果分析

為了驗(yàn)證本文引入的數(shù)據(jù)增強(qiáng)、ECA-Net、改進(jìn)Neck 等部分的作用，進(jìn)行了消融實(shí)驗(yàn)進(jìn)行驗(yàn)證，相關(guān)結(jié)果如表2 所示。

表2 消融實(shí)驗(yàn)結(jié)果對(duì)比Table 2 Comparison of ablation experiment results

表2 中第1 行為標(biāo)準(zhǔn)YOLOv5 網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果。

第2 行為訓(xùn)練樣本進(jìn)行旋轉(zhuǎn)、平移、自適應(yīng)均衡處理及馬賽克增強(qiáng)等處理后送入模型進(jìn)行訓(xùn)練，精度提高了1.04 %。

第3 行、第4 行為引入ECA-Net 后，使用數(shù)據(jù)增強(qiáng)和不使用數(shù)據(jù)增強(qiáng)后的結(jié)果。從實(shí)驗(yàn)結(jié)果可知，被檢測(cè)目標(biāo)在復(fù)雜背景下的特征表達(dá)能力增強(qiáng)，模型檢測(cè)精度分別提高了2.97%和2.07%。

第5 行為綜合本文方法改進(jìn)后的算法檢測(cè)結(jié)果，檢測(cè)精度達(dá)到了77.18%，相較于原始算法有一定提升，且具有較高的實(shí)際應(yīng)用性。

為了進(jìn)一步驗(yàn)證改進(jìn)算法的性能，將本算法與常見的One-stage 和Two-stage 算法進(jìn)行對(duì)比，對(duì)比實(shí)驗(yàn)結(jié)果如表3 和圖8 所示。

表3 各檢測(cè)網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)數(shù)據(jù)Table 3 Comparative experiments with each detection network

從表中數(shù)據(jù)可知道，本文算法在檢測(cè)精度上略低于兩階段算法Faster R-CNN，在檢測(cè)速度上略低于YOLOv5，但也保持了較好的實(shí)時(shí)性［20］（FPS≥25即滿足實(shí)時(shí)性）和準(zhǔn)確性。綜合來看，相較于其他檢測(cè)模型，本文改進(jìn)模型能更好地滿足于巡邏執(zhí)勤任務(wù)的實(shí)際需要。

第1 組被檢測(cè)目標(biāo)為無人機(jī)視角下的行人目標(biāo)，有2 種姿態(tài)存在，且身體有部分遮掩。實(shí)驗(yàn)表示，雖然被檢測(cè)目標(biāo)小，且存在遮掩、模糊的情況，但本文算法能以較高準(zhǔn)確率、較少的損失值，更接近于真實(shí)框。

第2 組被檢測(cè)目標(biāo)大小不一致，且隨著網(wǎng)絡(luò)的不斷加深，特征語義信息會(huì)由低維轉(zhuǎn)換成高維，每層網(wǎng)絡(luò)都會(huì)產(chǎn)生一定程度的丟失。本文算法引入BiFPN 后，減少了低價(jià)值特征的融合，縮短了底層特征和頂層特征之間的信息路徑，在一定程度上減少了被檢測(cè)目標(biāo)因?yàn)槟繕?biāo)小、被遮擋等原因帶來的誤檢、漏檢情況。

第3 組被檢測(cè)圖像存在檢測(cè)背景相似造成檢測(cè)困難、漏檢誤檢的情況。從檢測(cè)結(jié)果來看，各類檢測(cè)算法均存在漏檢的情況。SSD 檢測(cè)算法效果最差，僅檢測(cè)出1 個(gè)目標(biāo)；Faster R-CNN 算法效果最好，檢測(cè)出4 個(gè)目標(biāo)；YOLOv4 算法檢測(cè)出3 個(gè)目標(biāo)；YOLOv5 和本文算法檢測(cè)出2 個(gè)目標(biāo)，與原始YOLOv5 算法相比，本文算法檢測(cè)精度更好。由實(shí)驗(yàn)結(jié)果分析得出：本文算法加入ECA-Net 后，利用該模塊將特征通道進(jìn)行全局平均池化，產(chǎn)生通道權(quán)重系數(shù)，并通過不同的權(quán)重系數(shù)強(qiáng)化目標(biāo)特征，提高了檢測(cè)精度。再結(jié)合BiFPN 結(jié)構(gòu)，對(duì)于小尺度目標(biāo)的特征信息挖掘能力更強(qiáng)，特別是對(duì)無人機(jī)俯拍目標(biāo)的檢測(cè)效果更好。但對(duì)于大尺度背景相似目標(biāo)的特征信息提取能力提升有限，并且因訓(xùn)練樣本中，這一類樣本數(shù)量較少，不利于模型的優(yōu)化訓(xùn)練，從而導(dǎo)致本文算法與YOLOv4 和Faster R-CNN 相比，在這一類目標(biāo)上的檢測(cè)性能略低。

第4 組被檢測(cè)圖像中含多個(gè)小目標(biāo)，且背景干擾因素較多。實(shí)驗(yàn)結(jié)果表明SSD 和Faster R-CNN 算法出現(xiàn)了漏檢的情況，而YOLOv4，YOLOv5 和本文算法均未出現(xiàn)漏檢，且本文算法更加接近于真實(shí)框。

4 結(jié)束語

為解決巡邏目標(biāo)檢測(cè)效果差的問題，本文引入較為先進(jìn)的單階段目標(biāo)檢測(cè)算法YOLOv5，并基于該算法進(jìn)行了針對(duì)性改進(jìn)。雖然相較于其他檢測(cè)算法，YOLOv5 在平衡準(zhǔn)確性和檢測(cè)效率上表現(xiàn)出較大的優(yōu)勢(shì)，滿足實(shí)時(shí)性、高效性的要求。但在結(jié)合實(shí)際任務(wù)的需要進(jìn)行分析時(shí)，指出了原始YOLOv5 算法檢測(cè)巡邏執(zhí)勤目標(biāo)時(shí)，存在因檢測(cè)目標(biāo)尺度不一、所處背景復(fù)雜、自然因素較多等問題影響，導(dǎo)致漏檢、誤檢、部分目標(biāo)檢測(cè)精度較低的情況。針對(duì)這些問題，在YOLOv5 算法模型的基礎(chǔ)上提出了一種基于多尺度特征融合和通道注意力機(jī)制的巡邏執(zhí)勤目標(biāo)檢測(cè)算法。首先通過圖像增強(qiáng)，擴(kuò)充數(shù)據(jù)集的同時(shí)增強(qiáng)了算法的魯棒性；在Backbone 中引入ECA-Net 通道注意機(jī)制模塊，提高了被檢測(cè)目標(biāo)在自然環(huán)境等復(fù)雜背景圖像的顯著性，進(jìn)而提高了檢測(cè)精度；通過將Neck 替換為BiFPN，使被檢測(cè)目標(biāo)的特征能夠得到更好的表達(dá)，降低了因巡邏執(zhí)勤目標(biāo)多樣、遮擋等情況造成的漏檢率和誤檢率。實(shí)驗(yàn)結(jié)果表明，相較于原始算法，本文算法在多種復(fù)雜環(huán)境下的測(cè)試，具有較好的精度及實(shí)時(shí)性。

本文算法還存在一定的局限性及較大的提升空間，數(shù)據(jù)集還需進(jìn)一步擴(kuò)充。當(dāng)利用本文算法檢測(cè)背景高度相似、陰影區(qū)域時(shí)，漏檢情況較嚴(yán)重；同時(shí)針對(duì)具體巡邏執(zhí)勤任務(wù)，還需進(jìn)一步結(jié)合任務(wù)情況進(jìn)行實(shí)際應(yīng)用，后期將對(duì)上述問題持續(xù)開展研究。