張毅，張焱，張宇，張勇，劉荻

國防科技大學 電子科學學院，長沙 410073

對地面飛機目標的動態(tài)監(jiān)測和準確識別，在軍事偵察、航班監(jiān)控以及安全預警等領域具有重要的研究意義與應用價值［1-2］。在軍事領域，飛機作為奪取制空權的重要手段，在戰(zhàn)爭中具有極大的威懾力和殺傷力，是執(zhí)行航空偵察、地面攻擊、對空攔截等重大軍事任務的重要武器［3-4］。在戰(zhàn)場之外，飛機同樣具有重要作用，其是完成快速運輸和快速救援的重要手段，通過對地面飛機目標的識別，可實現(xiàn)機場流量監(jiān)控、飛機救援、航空路線規(guī)劃等［5-6］。因此，掌握地面飛機目標的動態(tài)信息對國防安全和經(jīng)濟發(fā)展都具有重要意義。然而，飛機作為高價值目標，往往被有意無意的淹沒于自然背景或人為干擾中，通用的識別技術難以應對復雜的背景和多樣的氣候變化。隨著紅外探測技術的飛速發(fā)展，紅外技術已具備作用距離遠、抗干擾能力強、可全天候工作等特點［7］，利用紅外探測技術進行地面飛機目標識別可更準確、全天候獲取目標特征，進一步提高地面飛機目標檢測識別能力，但相較于一般目標檢測識別，對地面紅外飛機目標檢測識別仍具有以下幾個特點：①目標類間差異小?，F(xiàn)代戰(zhàn)爭中飛機目標種類繁多，重要程度不一，各類飛機形狀外形差異并不是很大，且目標成像尺寸變化大、成像角度變化多，加之地面紅外飛機目標所處環(huán)境復雜多樣，檢測識別精確度和實時性難以保障。② 紅外飛機目標分辨率低，可利用特征少。紅外背景復雜多變，尤其是在地面紅外目標檢測識別中，目標往往淹沒于云層、山地、車輛、建筑等背景雜波干擾中，易產(chǎn)生虛警和漏檢。③數(shù)據(jù)量小。紅外飛機目標檢測識別任務中，數(shù)據(jù)一直是限制其發(fā)展的重要因素。尤其是基于深度學習的目標檢測方法，由于紅外飛機目標公開數(shù)據(jù)集的缺少，仍遠遠落后于可見光圖像飛機目標檢測識別方法。

為實現(xiàn)地面飛機目標的識別，研究人員提出了一系列的方法來完成飛機目標識別任務，主要可分為基于傳統(tǒng)飛機目標識別方法和基于深度學習飛機目標識別方法。傳統(tǒng)的飛機目標識別采取人工特征設計的方法來進行檢測識別，重點依賴于候選區(qū)域的準確提取和人工特征的精確設計。蔡紅蘋等［8］提出了一種基于圓周頻率濾波的飛機目標識別方法，通過飛機形態(tài)特征在圓周濾波上灰度呈現(xiàn)亮-暗周期規(guī)律來檢測地面飛機目標。An 等［9］在圓周頻率濾波提取特征的基礎上，增加梯度直方圖特征和AdaBoost 分類器對飛機目標進行識別，以減少對飛機目標先驗知識的依賴。李萍等［10］采用尺度不變、特征變換和奇異值分解算法提取飛機紅外圖像的識別特征，提高了紅外飛機目標識別的識別率和魯棒性。模板匹配的方法［11-14］也常用于飛機型號識別。Xu 等［11］提出一種帶邊勢函數(shù)的人工蜂群算法優(yōu)化形狀匹配實現(xiàn)地面飛機目標識別。Zhao 等［12］將關鍵點檢測與模板匹配相結合，利用關鍵點匹配對地面飛機進行識別。傳統(tǒng)算法雖然不需要龐大數(shù)據(jù)集，且具有計算簡單等優(yōu)點，但地面紅外飛機目標識別背景復雜多變，雜波干擾多，且目標類間差異小，傳統(tǒng)算法依賴于先驗知識以及固定參數(shù)來進行目標識別難以應對復雜背景和雜波，極易產(chǎn)生虛警，存在檢測精度低、虛警率高、魯棒性差等問題。

隨著深度學習在目標檢測識別中的快速發(fā)展，相比于傳統(tǒng)算法，基于深度學習的飛機目標檢測識別算法取得了更優(yōu)異的性能。方濤［15］提出了一種基于顯著性與卷積神經(jīng)網(wǎng)絡相結合的紅外飛機識別方法，先通過顯著性檢測提取目標區(qū)域，然后通過卷積神經(jīng)網(wǎng)絡識別飛機類型。Zuo 等［16］利用分割網(wǎng)絡和關鍵點檢測網(wǎng)絡實現(xiàn)飛機目標的分割，然后使用模板匹配方式實現(xiàn)飛機目標識別；劉思婷［17］在此基礎上，結合條件隨機場對飛機目標掩膜進行精化，使分割更為精確，進一步提高了識別準確率。沙苗苗等［18］提出了一種基于多尺度卷積神經(jīng)網(wǎng)絡的飛機目標識別方法，通過多層級特征融合以及RPN 機制，提高了飛機目標定位能力。吳杰等［19］將密集連接結構與YOLOv4 算法相結合，構建了多組多尺度融合預測層結構，來解決現(xiàn)有網(wǎng)絡對飛機目標細節(jié)信息提取不足問題?；谏疃葘W習的方法雖一定程度上提高了飛機目標的識別能力，但由于紅外飛機目標數(shù)據(jù)集的受限，基于深度學習的方法往往只作為識別算法中一部分，仍需配合模板匹配、顯著性檢測等傳統(tǒng)方法，這在很大程度上制約了端到端網(wǎng)絡識別飛機類型的研究。此外，現(xiàn)有基于深度學習的飛機目標檢測識別算法大多基于可見光圖像，未充分考慮地面紅外飛機目標識別環(huán)境更為復雜，可利用特征少等特性，對地面紅外飛機目標特征利用和判別能力有限。

針對以上問題，本文提出了一種基于多級特征增強融合的紅外飛機目標識別網(wǎng)絡（MFEFNet）。網(wǎng)絡的核心為局部和全局特征增強融合策略（LGFE）和全局拓展策略（GEM）。針對地面紅外飛機目標識別中目標分辨率低，可利用特征少等問題，LGFE 通過設計坐標注意力機制（CA）和全局像素注意力機制（GPA）分別對深層特征和底層特征進行全局增強，然后用深層語義特征指導底層細節(jié)特征進行特征融合，使深層的語義信息動態(tài)作用于底層細節(jié)信息，進而自適應強化特征圖對地面紅外飛機目標位置信息的表征，提升網(wǎng)絡對紅外飛機目標的特征利用和檢測能力。針對地面紅外飛機目標類間差異小、種類繁多、精確識別難度高等問題，GEM 在FPN［20］結構上進行上下文擴展，將FPN 結構中深層特征進行全局聚合，然后與多層擴展后的底層特征進行融合，通過融合多層上下文信息，可使網(wǎng)絡生成鑒別性更強的特征，從而提升網(wǎng)絡下游的分類決策能力。此外，MFEFNet 采用級聯(lián)的思想，將LGFE 模塊與GEM 模塊進行級聯(lián)，保持特征長距離的依賴關系（Long-Range Dependencies），通過端到端網(wǎng)絡優(yōu)化整合LGFE 和GEM 的聯(lián)合效應，使網(wǎng)絡對地面紅外飛機目標具有更強的模型表現(xiàn)力和檢測精準性。為了驗證本文方法和模塊的有效性，本文進行了詳細的消融實驗，并在紅外飛機數(shù)據(jù)集上與其他先進的基于深度學習的目標檢測識別算法進行了對比實驗。實驗表明，與其他先進的目標檢測識別算法相比，本文方法對紅外飛機類型的識別精度更高。

1 多級特征增強融合網(wǎng)絡

由于地面紅外飛機目標呈現(xiàn)出多種類、低分辯、特征少等特點，直接運用現(xiàn)有通用的目標識別網(wǎng)絡進行紅外目標識別難以取得滿意效果。因此，針對紅外飛機目標特點進行網(wǎng)絡設計，使其充分增強并融合目標的多級特征，生成更具鑒別力特征圖成為了復雜地面條件下紅外飛機目標檢測識別的關鍵。

1.1 網(wǎng)絡整體結構

MEFENet 的整體結構如圖1 所示。網(wǎng)絡主要由特征提取、特征增強融合以及分類回歸3 部分組成。特征提取部分采用ResNet-50 骨干網(wǎng)絡提取多尺度特征。特征增強融合部分采用LGFE模塊和GEM 模塊進行多級特征增強融合。首先，將紅外圖像輸入至特征提取網(wǎng)絡中，特征提取網(wǎng)絡配置如表1 所示，選取特征提取網(wǎng)絡第3、4、5 卷積組的最后1 層輸出作為基礎特征，生成3種不同尺度的特征圖（C3、C4、C5）。然后，將生成的特征圖輸入至LGFE 模塊中，通過CA 和GPA 分別自適應增強深層語義特征和底層細節(jié)特征，將增強后的特征圖進行自頂向下融合，構建包含特征圖M3、M4、M5 的中間特征金字塔，以實現(xiàn)網(wǎng)絡對目標特征的初次增強與融合。為提高網(wǎng)絡對小目標的檢測能力，在中間特征圖M5 的基礎上采用卷積方法增加特征圖M6、M7，以提取地面飛機多尺度特征，實現(xiàn)更小目標的檢測識別。之后，將中間特征金字塔中M3、M4、M5、M6 輸入至GEM 模塊，獲取融合特征圖上下文信息，保持長距離依賴關系，產(chǎn)生雙模塊級聯(lián)聯(lián)合效應，構建用于最終目標檢測識別的預測特征金字塔。最后，在預測特征圖上進行目標分類和坐標回歸，并通過非極大值抑制（NMS）、置信度約束等后處理操作，實現(xiàn)地面紅外飛機目標檢測識別。

圖1 MFEFNet 整體結構Fig.1 Overall structure of MFEFNet

1.2 局部與全局特征增強融合模塊

本文提出了一種新的特征增強融合模塊LGFE。LGFE 模塊由GPA 和CA 組成。地面紅外飛機目標常位于復雜背景環(huán)境下，存在自然和人為干擾，且顏色、紋理等物理特征缺乏。因此，位于深層的目標語義特征和底層的位置特征對目標識別都具有重要作用。為更有效利用深層語義特征和底層位置特征，本文以底層特征為基準，設計全局像素注意力機制，分別將全局像素注意力機制和坐標注意力機制作用于底層特征和深層特征，生成相應的全局增強權重，進一步對底層位置信息和深層語義信息進行提取和篩選。通過逐元素相乘方式，將深層權重與底層權重相融合，融合的特征權重通過逐元素相加作用于基準的底層特征，以自頂向下方式實現(xiàn)深層語義動態(tài)指導底層局部特征增強，進而自適應強化基準特征圖對地面紅外飛機目標位置信息的表征。

模塊的整體結構如圖2 所示，其計算過程為

圖2 特征增強融合模塊結構Fig.2 Structure of feature enhancement fusion module

式中：χ為全局平均池化；χh為x軸1D 平均池化；χw為y軸1D 平均池化；β為BN 歸一化；λ為Relu激活函數(shù)；δ為Sigmoid 函數(shù)；ω為2D 卷積；pwc為Point-wise 逐點卷積；spl 為分割操作；☉為拼接操作；·為逐元素相乘；x代表底層特征圖；y代表深層上采樣后特征圖。

輸入該模塊的底層特征圖x采用全局平均池化聚合全局特征信息，使網(wǎng)絡更好地學習紅外飛機目標和背景之間的關系，隨后通過逐點卷積將各通道位置信息進行聚合，來增強背景和目標的區(qū)分度，再通過Sigmoid 函數(shù)生成底層特征增強權重；深層特征圖采用1D 全局平均池化獲取水平和垂直方向的全局特征，利用水平和垂直2 方向進行位置坐標編碼，進一步將深層語義作用于位置特征，然后采用Sigmoid 函數(shù)生成深層特征增強權重。將底層特征增強權重與深層特征增強權重相乘結合后，采用元素相加方式將增強的全局特征融合至底層局部特征中，最終生成具有局部與全局特征的增強特征圖。該模塊生成的F(x，y)∈RC×H×W與x，y∈RC×H×W具有相同的大小，因此可直接用于生成中間特征金字塔。

1.2.1 全局像素注意力機制（GPA）

在地面紅外飛機目標檢測識別任務中，圖像具有低對比度和高噪聲的特點，特征提取網(wǎng)絡難以準確的提取目標的特征，目標與背景的特征將混合存儲在特征圖中。為提升網(wǎng)絡對目標特征的提取能力，LGFE 設計了GPA，其結構如圖3所示，權重P（x）計算過程為

圖3 GPA 結構Fig.3 Structure of GPA

當?shù)讓犹卣鲌D進入GPA 后，背景和目標信息存儲在特征圖中，故先設計全局平均池化對特征圖進行處理，以獲取背景與目標的全局關系，再通過逐點卷積構造一個瓶頸結構來聚合局部通道上下文，與局部通道的空間信息相互作用，使網(wǎng)絡更加關注全局特征中目標的局部信息特征，突出紅外飛機目標。然后，經(jīng)過Sigmoid 激活函數(shù)得到輸出范圍為（0，1）的底層特征增強權重，并將生成的增強權重作用于底層基礎特征圖中，以增強基礎特征圖對全局信息中目標局部信息的感知能力。

1.2.2 坐標注意力機制（CA）

隨著網(wǎng)絡層數(shù)的加深，網(wǎng)絡可以更好地理解場景的含義，提取更好的語義特征，從而有助于網(wǎng)絡更準確地區(qū)分背景和目標，但在地面紅外飛機檢測識別中，目標分辨率低、可利用特征少，隨著網(wǎng)絡的加深，特征圖逐步變小，紅外飛機目標特征可能消失于深層特征中，無法形成有效的位置編碼，甚至產(chǎn)生語義消失。在地面紅外飛機目標檢測識別網(wǎng)絡設計上，為解決上述問題，LGFE設計了CA 增強深層特征語義信息，進行坐標位置編碼，并形成相應權重引導網(wǎng)絡動態(tài)選擇底層細節(jié)。其過程如圖4 所示。其權重C（y）計算過程為

圖4 CA 結構Fig.4 Structure of CA

式中：χh為x軸1D 平均池化；χw為y軸1D 平均池化。

LGFE 的核心是通過增強的深層語義特征動態(tài)指導底層位置特征增強，使網(wǎng)絡提高對地面紅外飛機目標分類能力的同時強化目標定位能力，目標深層語義的提取與增強是該自頂向下特征增強融合的關鍵。CA 通過將注意力轉化為水平和垂直2 個方向，在構建通道注意力時捕捉到準確的位置，通過語義增強和位置編碼，實現(xiàn)對復雜場景下紅外飛機目標形成有效注意。上采樣后的特征圖輸入到CA 后，為解決紅外飛機圖像紋理、顏色特征缺失，空間信息相對較弱問題，先采用1D 平均池化來捕獲紅外圖像空間結構的位置信息。然后，采用拼接分割操作對2 個方向信息進行交互，以減少紅外飛機目標特征在深層特征圖中的湮滅。最后，在水平和垂直方向同時形成注意權重，作用于深層特征實現(xiàn)語義增強和位置編碼。值得注意的是，CA 最終生成的注意權重圖C（y）與底層特征圖具有相同的大小，因此LGFE 直接采用逐元素相加進行自頂向下特征融合，實現(xiàn)深層語義權重對底層位置信息的直接指導。

1.3 全局擴展模塊（GEM）

紅外飛機目標種類繁多，外形特征相似，對網(wǎng)絡的分類決策提出高的要求。因此，為提高網(wǎng)絡的鑒別能力，本文將網(wǎng)絡中間特征金字塔與上下文結構相結合，設計了全局擴展模塊。以預測特征圖P3 生成為例，如圖5 所示，網(wǎng)絡以中間特征金字塔中的3 層特征圖（M3、M4、M5）為基礎，該3 層特征層經(jīng)過之前的金字塔結構和特征融合增強模塊，保持著長距離的依賴關系，能有效提升下游的分類回歸能力，GEM 將3 層特征圖進行合并，特征圖M5 經(jīng)全局池化操作并進行廣播，擴展成與底層特征圖M3 同樣大小的融合特征圖，實現(xiàn)深層語義特征的全局聚合，然后對特征圖M4 進行上采樣操作，使擴展的3 個融合特征圖形狀一致。此外，經(jīng)過LGFE 后，特征金字塔具有相同的通道數(shù)，可直接對3 層融合特征圖上下文信息進行聚合，生成預測特征圖P3。

圖5 GEM 結構Fig.5 Structure of GEM

GEM 進一步利用了特征增強融合后的特征圖，聚合多尺度局部信息和全局信息，生成鑒別性更強的特征，以提高網(wǎng)絡分類決策能力。但由于深層特征感受野較大，語義信息豐富，鑒別性較強，且GEM 結構使網(wǎng)絡計算量有較大增加，因此，本研究只在網(wǎng)絡預測金字塔的最低2 層生成時使用GEM，提高底層特征的鑒別能力，同時增強大尺度目標檢測識別能力。

1.4 損失函數(shù)

MFEFNet 的損失函數(shù)Loss 由分類損失和回歸損失2 部分組成，其計算過程為

式中：Lcls為目標分類損失；Lreg為目標預測位置回歸損失；NPOS為正樣本個數(shù)；i為所有正負樣本；j為所有正樣本。網(wǎng)絡采用Focal loss 損失函數(shù)對目標類別預測進行優(yōu)化，其表達式為

式中：y∈{±1}為標簽值；p為預測樣本屬于1 的概率；α為平衡權重因子，用于平衡正負樣本的損失權重，實驗中設置為0.75；γ為可調節(jié)因子，當γ＞0 時，可以減小簡單易分樣本的損失，使模型聚焦于難分樣本，實驗中設置為2。

采用Smooth L1 函數(shù)對目標預測位置進行優(yōu)化，其表達式為

式中：tj為預測框的參數(shù)化坐標；為真值框的參數(shù)化坐標；x、y、w、h分別為預測框參數(shù)化的中心橫坐標、中心縱坐標和預測框的寬和高；smoothL1函數(shù)表達式為

2 基于遷移的地面紅外飛機數(shù)據(jù)集

2.1 數(shù)據(jù)集介紹

受限于紅外飛機目標數(shù)據(jù)集的缺少，基于深度學習的紅外飛機識別的方法發(fā)展一直較為緩慢。現(xiàn)有機載下視地面紅外飛機目標數(shù)據(jù)極少，其極其有限的數(shù)據(jù)容量、數(shù)據(jù)的多樣性阻礙了該領域的進一步發(fā)展。因此，我們基于遷移開發(fā)了一個地面紅外飛機數(shù)據(jù)集，該數(shù)據(jù)集有較多目標類別、豐富的目標大小和不同的機場背景，其部分數(shù)據(jù)樣本如圖6 所示。

圖6 地面紅外飛機數(shù)據(jù)集示例Fig.6 Example of ground infrared aircraft dataset

地面紅外飛機數(shù)據(jù)集包括部署在多個機場的23 類軍用飛機以及民航飛機共24 類飛機目標。目標包括B1 轟炸機、B2 轟炸機、B52 轟炸機、TU-134 轟炸機、TU-22 轟炸機、F35 戰(zhàn)斗機、F22戰(zhàn)斗機、F18戰(zhàn)斗機、F16戰(zhàn)斗機、F15戰(zhàn)斗機、SU-27 戰(zhàn)斗機、A-10 攻擊機、C17 運輸機、C5運輸機、C130 運輸機、AN-70 運輸機、KC-10 空中加油機、KC-135 空中加油機、IL-38 反潛巡邏機、空中指揮預警飛機、直升機、民用機以及其他類型飛機共24 個類別，共1 755 幅分辨率為640 pixel×512 pixel 的紅外圖像。數(shù)據(jù)集目標分布情況如圖7 所示，圖7（a）為數(shù)據(jù)集每張圖像飛機目標個數(shù)的分布比例，其中，數(shù)據(jù)集中只有一個目標的圖像占總數(shù)據(jù)集的28.55%，2 個目標的圖像占比為23.93%，3 個目標的圖像占比為12.14%，≥4 個目標的圖像占比為35.38%；圖7（b）為數(shù)據(jù)集中每張圖像飛機目標像素占比情況，目標像素占比為0～3%的圖像占總數(shù)據(jù)集的9.59%，3%～9% 的占比為44.18%，9%～15% 的占比為25.17%，＞15% 的圖像占比為21.06%，從每張圖像飛機目標數(shù)量以及每張圖像飛機目標像素占比情況可以看出，地面紅外飛機數(shù)據(jù)集中目標數(shù)量以及目標尺寸大小分布多樣，能較好驗證算法的多目標檢測性能和多尺度檢測能力。

2.2 遷移數(shù)據(jù)與紅外數(shù)據(jù)一致性分析

為驗證遷移的地面紅外飛機數(shù)據(jù)集與真實紅外數(shù)據(jù)集的一致性，本文采用Gram 距離（Gram 矩陣的L-1 距離）從特征層面來進行度量。Gram 矩陣是特征圖矢量化映射的內積，可以體現(xiàn)2 個向量之間的相似性，其計算公式為

式中：l表示選定的特征層；i、j表示特征張量中不同通道；為特征張量的第i個通道的第k個元素；為特征張量的第j個通道的第k個元素。Gram 矩陣是一種位置無關量，表征了特征張量各元素之間的相關性，在計算遷移圖像和紅外圖像在選定特征層的Gram 矩陣后，采用Gram 距離值可定量判斷圖像的一致性，Gram 距離的計算公式為

分別計算未遷移的原始圖像和遷移圖像與紅外圖像的Gram 距離，其結果如表2 所示，從定量結果可以看到，選取MFEFNet 特征提取網(wǎng)絡中卷積組2～5 的特征張量（C2、C3、C4、C5）計算Gram 距離，隨著網(wǎng)絡層數(shù)的加深，Gram 距離呈下降趨勢，且原始圖像與紅外圖像的Gram 距離相較于遷移圖像與紅外圖像的Gram 距離存在數(shù)量級上的差距，這證明遷移后圖像在特征層面上有效地遷移了紅外圖像特征。MFEFNet 中運用的是特征提取網(wǎng)絡的C3、C4、C5 這3 種不同尺度特征圖，從結果中可以看到，網(wǎng)絡運用的特征張量與紅外圖像的Gram 距離值達到10-7層級，極其微小，其表明了遷移數(shù)據(jù)集和真實的紅外數(shù)據(jù)集在特征層面上的一致性。

表2 遷移圖像格拉姆距離Table 2 Gram distance for image transfer

3 實驗與分析

本節(jié)通過實驗來驗證MFEFNet 的有效性。首先，給出了實驗設置，包括對比網(wǎng)絡、評價指標和實現(xiàn)細節(jié)，然后將 MFEFNet 與其他先進的基于深度學習的方法進行了定量和定性的對比，進一步證明MFEFNet 檢測識別地面紅外飛機目標的能力，最后對網(wǎng)絡的各個模塊進行消融研究，驗證其有效性。

3.1 實驗設置

3.1.1 對比網(wǎng)絡

為證明MFEFNet 的有效性，本文將所提出的方法與其他先進的基于深度學習的目標檢測識別算法進行了比較。選擇經(jīng)典的雙階段目標檢測識別算法Faster-RCNN 網(wǎng)絡［21］和影響較廣的級聯(lián)檢測Cascade-RCNN 網(wǎng)絡［22］進行比較。在單階段目標檢測識別算法中，選擇YOLOv3 網(wǎng)絡［23］、YOLOX 網(wǎng)絡［24］、YOLOv8 網(wǎng)絡、SSD 網(wǎng)絡［25］、RetinaNet 網(wǎng)絡［26］和無錨框（anchor free）代表網(wǎng)絡FCOS［27］進行比較。選擇上述目標識別算法進行對比實驗，是因為上述算法性能優(yōu)異且影響廣泛。因此，選擇上述網(wǎng)絡作為基準，進行對比，證明本文提出的模型和思想的優(yōu)異性能。

3.1.2 評價指標

為充分驗證模型對紅外飛機目標的檢測能力，選取平均精度（AP）、幀率（FPS）、參數(shù)量（Params）以及精確率-召回率（PR）曲線來客觀地評估所提出的網(wǎng)絡的性能。其中，AP 是目標檢測識別任務中衡量算法檢測識別能力的重要指標；幀率（FPS）和參數(shù)量（Params）是評估網(wǎng)絡速度和輕量化的關鍵指標；PR 曲線是記錄隨著IoU閾值變化時，精確率與召回率值變化關系的曲線。AP 具體計算公式為

式中：N為目標的類別數(shù)；為算法對第c類目標在特定IoU 閾值時的平均精度；XIoU為交并比閾值。MS COCO（Microsoft common objects in context）將傳統(tǒng)的mAP 定義為AP，其值越高，表明算法對目標的檢測識別性能越優(yōu)。此外，MS COCO 指標中根據(jù)目標大小設置APs、APm和APl，分別表示面積＜322pixel、介于322～962pixel和＞962pixel 的目標在不同IoU 閾值條件下的AP 值，以檢驗算法對小、中、大目標的檢測識別能力。根據(jù)IoU 閾值的不同，設置AP0.5、AP0.75，分別表示IoU 為0.5 和0.75 時算法對所有類目標檢測的AP 值，以檢驗算法在不同交疊率約束條件下對目標的判別與定位能力。

參數(shù)量為模型所有帶參數(shù)的層的權重參數(shù)總量，其主要包括卷積層、BN 層、全連接層等參數(shù)數(shù)量，用來衡量模型的大小。

FPS 為每秒傳輸幀數(shù)，即每秒內可以處理的圖像數(shù)量，其定義為

式中：T為算法處理一幅圖像的平均耗時。

3.1.3 實現(xiàn)細節(jié)

Faster-RCNN、Cascade-RCNN、YOLOv3、YOLOX、YOLOv8、SSD、RetinaNet、FCOS 以及本文提出的MFEFNet 在裝有Ubuntu16.04 操作系統(tǒng)的服務器上進行訓練和測試，使用NVIDIA TITAN Xp GPU 進行加速，代碼基于PyTorch 框架，使用Python 語言編寫。訓練時，優(yōu)化器使用SGD 優(yōu)化器，其中動量設置為0.9，權重衰減系數(shù)設置為0.000 5。初始學習率設置為0.005，采用StepLR 機制的衰減策略。批處理大小設置為4。在模型訓練過程中，每個Epoch都會將模型保存并使用驗證集評估模型性能，最終選取在驗證集上表現(xiàn)最佳的模型進行測試。實驗具體的超參數(shù)設置如表3 所示。

表3 實驗超參數(shù)設置Table 3 Experimental hyperparameter setting

3.2 對比實驗

為證明本文方法的優(yōu)越性，將MFEFNet 與其他先進的基于深度學習的目標檢測識別方法進行了定量和定性比較，結果如表4 和圖8～圖10所示。從定量的結果中可以看到，本文提出的MFEFNet 網(wǎng)絡相較于其他網(wǎng)絡在檢測精度上有顯著提高。其中，相比于Faster RCNN 和Cascade RCNN 等雙階段算法，MFEFNet 的AP 分別提升了10.6%、4.3%，AP0.75分別提升了8.4%、2.9%。得益于LGFE 和GEM 這2 種特征增強融合策略，MFEFNet 能針對性解決紅外飛機目標可用特征少、目標類型多、精確識別難度高等問題，有效提升紅外飛機目標檢測能力。但從結果可以看到，MFEFNet 對中型紅外飛機目標提升效果相對較弱，這是因為深層特征語義信息強，能準確鑒別多類型目標，對小目標檢測識別能力較強，同時MFEFNet 采用GME 模塊對多級特征進行擴展融合并應用于最低兩層預測特征層，有效增強了大尺度目標檢測能力，因此，MFEFNet 對小型和大型目標相對于其他網(wǎng)絡提升較大。Faster RCNN 雖然采用RPN 機制提取了候選區(qū)域，但其基于簡單特征金字塔提取特征進行檢測，未采用有效特征增強策略應對地面紅外飛機目標特有特點，檢測性能難以提升。Cascade RCNN 采用了級聯(lián)模式能有效提升目標檢測識別性能，但與MFEFNet 將2 種特征增強融合模塊進行級聯(lián)不同的是，Cascade RCNN 是將檢測模塊進行級聯(lián)，且未對特征進行融合，限制了其對紅外目標的檢測能力。相比于FCOS、SSD、YOLOv3、YOLOX、YOLOv8、RetinaNet等單階段算法，MFEFNet 精度提升更為顯著，AP 分別提升了18.5%、23.4%、11.9%、7.6%、5.1%、6.5%，AP0.75分別提升了 16.1%、21.9%、8.5%、4.4%、0.6%、3.2%。其中，由于FCOS 采用了無錨框策略，對小目標的檢測相對于其他算法不受錨框尺寸的限制，取得了最佳效果。但單階段算法總體性能較差，這是因為模型訓練時存在正負樣本不平衡問題。YOLOv3 未采用FPN 機制提取多尺度特征圖，限制了其對多尺度目標的檢測能力，雖然SSD、FCOS、Reti naNet 網(wǎng)絡都采用了FPN 機制來提高精確度，但均未進行特征增強，一定程度弱化了底層特征圖對目標抽象特征的表征能力。其中，SSD 性能表現(xiàn)最差，這是由于FCOS 和RetinaNet 采用了Focal loss 進行分類優(yōu)化，一定程度上緩解了正負樣本不平衡問題。與現(xiàn)階段被認為最先進的單階段檢測模型YOLOX、YOLOv8 相比，MFEFNet在地面紅外飛機目標檢測上仍取得了一定優(yōu)勢，AP 分別提升了7.6%、5.1%。雖然YOLOv8 在通用目標檢測上表現(xiàn)出了優(yōu)異的性能，且采用了解耦頭分別計算分類和定位分支，一定程度上提高了分類能力，但地面紅外飛機目標分辨率低，可用特征少，不針對地面紅外飛機目標特性進行網(wǎng)絡結構調整，直接運用現(xiàn)有通用的目標識別網(wǎng)絡來檢測地面紅外飛機目標，將難以解決目標類間差異小、可用特征少以及地面背景復雜等問題。相比于以上單階段網(wǎng)絡，MFEFNet 采用FPN 機制與多級特征增強融合機制有效提升紅外目標的特征表征能力，同時采用Focal loss 優(yōu)化分類分支，取得了最優(yōu)效果。

表4 不同檢測識別算法對比Table 4 Comparison of different detection and recognition algorithms

圖8 不同IoU 閾值條件下算法的精確率-召回率曲線Fig.8 Precision-recall curves of algorithms at different IoU thresholds

在 IoU 閾值為0.5 和0.75 時，不同算法的PR 曲線如圖8 所示?？梢园l(fā)現(xiàn)，當IoU=0.5 且召回率＜0.8 時，MFEFNet 的PR 曲線位置最高且下降速率較為緩慢，召回率＞0.8 時，MFEFNet 檢測精確率稍低于YOLOv8，但總體檢測性能仍為最優(yōu)。當IoU=0.75 時，MFEFNet、Cascade RCNN 和YOLOv8 有較多重疊，檢測性能相當，其他算法對目標檢測精確率較低。無論IoU 閾值取0.5 或0.75 時，MFEFNet 的PR 曲線與坐標軸圍成的面積均最大，與定量結果一致，這表明其對紅外飛機目標檢測識別性能最好。

不同算法對數(shù)據(jù)集中部分圖像的識別結果如圖9 和圖10 所示?？梢园l(fā)現(xiàn)，對于尺度較小的戰(zhàn)斗機目標，除MFEFNet 外，各算法均出現(xiàn)了不同程度的誤檢以及漏檢現(xiàn)象，而MFEFNet 通過LGFE 和GEM 將深層語義特征與底層細節(jié)特征進行增強并將深層語義特征融合至底層細節(jié)特征圖中，提升了目標特征的表征能力，有效提高了目標的定位能力的同時減少了誤檢和漏檢的現(xiàn)象。對于尺度較大的加油機目標，除FCOS 和SSD 算法外，MFEFNet 與其他算法都表現(xiàn)出較為優(yōu)異的檢測識別效果，這是由于大尺度目標本身特征較為明顯，可用特征較多，在深層特征圖中不易消失，通用目標識別網(wǎng)絡特征提取與識別已達到檢測識別能力。但可以看到，F(xiàn)COS 和SSD 算法仍會出現(xiàn)部分漏檢現(xiàn)象，表明識別紅外飛機目標，仍需要針對紅外目標特征進行網(wǎng)絡優(yōu)化，強化目標特征表示，以提升多尺度紅外目標的檢測識別能力。

圖9 較小尺度紅外飛機目標檢測識別結果對比Fig.9 Comparison of detection and recognition results of small-scale infrared aircraft targets

圖10 較大尺度紅外飛機目標檢測識別結果對比Fig.10 Comparison of detection and recognition results of large-scale infrared aircraft targets

3.3 消融實驗

為了更好地展示MFEFNet 網(wǎng)絡每個部分的性能，通過移除MFEFNet 的幾個特定部分來進行消融實驗。其結果如表5 所示。其中，w/o 表示移除對應模塊。從表5 中可以看出，GPA、CA、LGFE 與GEM 對網(wǎng)絡檢測識別紅外飛機目標均有影響。

表5 網(wǎng)絡內部模塊對檢測識別性能的影響Table 5 Effect of network internal modules on detection and identification performance

1）GPA 的影響：移除GPA 模塊后，AP、APm、APl分別下降了1.0%、8.2%、4.3%。GPA通過全局像素注意力機制對底層特征進行增強，突出目標的位置信息。將GPA 移除后，網(wǎng)絡對檢測識別中大型目標的性能下降明顯，這是因為GPA 主要作用于底層特征，而底層特征對目標定位精度和中大型目標檢測識別影響比較突出。值得注意的是，當單獨移除GPA 模塊時，APs和AP0.75值反而分別上升了5.1%和3.1%，這是因為移除GPA 后，LGFE 模塊進行特征初次增強主要由CA 作用。CA 作用于深層特征，主要解決小目標深層特征湮滅問題。CA 和GPA 逐元素相乘融合后作用與特征增強，與CA 單獨作用于特征增強相比，小目標增強效能將會被GPA 稍降低，同時IoU 閾值取0.75 的檢測性能受小目標和復雜度的影響也會有所降低。但GPA 對網(wǎng)絡整體性能和中大型目標檢測性能的提升卻不能忽略，從移除LGFE 模塊結果可以看到，當同時沒有GPA 和CA 增強融合后，網(wǎng)絡對各尺度目標檢測性能都將下降，因此，針對地面紅外飛機多尺度目標檢測，采用GPA 和CA 分別對底層特征和深層特征進行增強后融合，是提升網(wǎng)絡整體性能的最佳策略。

2）CA 的影響：移除CA 模塊后，AP、APs分別下降了0.5%，12.3%。相比于GPA，CA 對小目標的影響更為明顯，CA 主要作用于深層特征，利用坐標注意力構建位置編碼，可對目標特征進行水平和垂直方向的深度匯聚，顯著增強深層小目標的語義特征和定位能力。

3）LGFE 的影響：移除LGFE 模塊后，網(wǎng)絡性能下降顯著。LGFE 通過CA 和GPA 雙重注意力機制分別增強深層特征和底層特征，并通過逐元素相加方式將深層語義特征融入底層特征中，進一步強化目標特征表征能力。從結果可以看出，單獨移除GPA 或CA，網(wǎng)絡性能下降幅度比移除LGFE 模塊小很多，這是因為GPA 和CA主要作用于底層特征和深層特征的增強，而LGFE 模塊將增強后的特征進行融合，使融合特征圖既有深層語義特征又有底層細節(jié)特征，單獨移除GPA 或CA 后消除的是特征增強的效能，特征融合仍然存在，由此可以看出，LGFE 的融合策略能有效應對地面紅外飛機目標特征少、分辨率低等特性，顯著提高檢測識別效果。

4）GEM 的影響：移除GEM 模塊后，AP、APl分別下降了1.2%、3.3%。紅外飛機目標類別多，類間差異小，網(wǎng)絡分類決策要求高，GEM 可充分利用特征圖的上下文信息并聚合多尺度局部信息和全局信息，從而提升網(wǎng)絡分類決策能力，強化目標深層語義特征對目標定位以及分類的貢獻。此外，通過將LGFE 和GEM 兩特征融合模塊進行級聯(lián)，可保持特征長距離依賴關系，發(fā)揮雙模塊的聯(lián)合效應，進一步提升網(wǎng)絡對紅外飛機目標的定位以及分類能力。

4 結論

1）提出了局部和全局特征增強融合策略（LGFE）和全局拓展策略（GEM），設計了基于多級特征增強融合的紅外飛機目標檢測模型，從而形成了一種面向多類型地面紅外飛機目標識別方法。

2）基于遷移開發(fā)了一套紅外飛機目標檢測數(shù)據(jù)集，并通過Gram 距離分析了遷移數(shù)據(jù)集與真實紅外數(shù)據(jù)集在特征層面上的一致性，使其更適用于基于深度學習的檢測方法。

3）提出的方法解決了由地面紅外飛機目標類間差異小、目標分辨率低、可用特征少導致的目標類型精確識別難的問題，能夠有效排除地面背景復雜、自然和人為遮擋等因素的干擾，與現(xiàn)有最先進的識別方法相比，本文方法實現(xiàn)了更高準確率的地面紅外飛機目標識別。

4）本文方法實現(xiàn)地面紅外飛機目標高準確率識別的原因為：局部和全局特征增強融合策略可針對性解決紅外飛機目標可用特征少、目標定位難的問題；GEM 提高了模型分類決策能力；面向實際問題的模型架構和雙模塊級聯(lián)策略可進一步產(chǎn)生聯(lián)合效應，提高目標的表征和分類能力。

5）本文提出的方法在檢測速度上不具有優(yōu)勢，數(shù)據(jù)集容量大小較小，為實現(xiàn)地面紅外飛機目標高精度的實時檢測和識別，下一步的改進方向是進行網(wǎng)絡模型優(yōu)化，提高模型檢測速度，并對數(shù)據(jù)集進行擴充升級，使其更好適用于紅外飛機目標的研究。