苗傳開，婁樹理*，李 婷，蔡慧敏

（1.煙臺大學 物理與電子信息學院，山東 煙臺 264005；2.天津津航技術物理研究所，天津 300308）

1 引言

紅外成像由于能夠全天候被動工作，且具有隱蔽性好、識別偽裝能力強、定位精度高等優(yōu)點，廣泛應用于光電偵察與制導領域。紅外圖像分類與目標識別作為紅外探測與制導的關鍵技術，一直是國內外研究的熱點。但紅外圖像中背景復雜多樣、目標在視場中相對較小，且存在遮擋以及云霧等干擾，因此如何提取特征實現(xiàn)有效分類，進而實現(xiàn)目標準確識別，是目前研究的難點。當前紅外圖像分類方法中，由于目標圖像的多樣性及復雜性，常規(guī)圖像分類反饋信息有限，無法滿足多目標、多背景的圖像分類任務要求。多標簽圖像分類技術對空間信息網絡中的圖像進行內容解析以獲取感興趣的信息，通過反饋多標簽的形式更好地實現(xiàn)場景與目標的感知分類。

目前，國內外研究者在圖像分類領域進行了大量工作，多標簽圖像分類也取得了不錯的進展。在多標簽場景圖像分類的研究中，傳統(tǒng)經典算法常用的分類器包括支持向量機（Support Vector Machine，SVM）、決策樹（Decision Tree，DT）、隨機森林等［1］，傳統(tǒng)分類器在場景分類等任務中表現(xiàn)較好，具有模型結構簡單、計算量小等優(yōu)點，但隨著光電偵察與制導領域各類任務復雜程度的增加，對紅外圖像分類算法的要求越來越高，傳統(tǒng)經典算法的性能與適應性難以滿足當前重要任務的要求。

隨著深度學習等智能算法的發(fā)展，近幾年圖像分類算法得到進一步發(fā)展，主要分為兩類，一是基于強監(jiān)督的方法，該方法需要對圖像進行目標級標注或像素級標注，強監(jiān)督的標簽獲取耗費大量的人力，而且繁重的標記任務容易產生錯誤，從而影響最終分類效果；另一類是基于弱監(jiān)督學習的分類方法，弱監(jiān)督學習能夠在大幅度降低標注工作量的情況下，充分、有效地利用數(shù)據(jù)。由于場景分類分級任務的特殊性，場景類別的標簽難以進行強監(jiān)督中的目標級或像素級標注，而使用弱監(jiān)督學習，能夠更加符合場景分類分級的任務要求，只需要對圖片進行圖像級標注即可實現(xiàn)多標簽圖像的分類分級任務?；谌醣O(jiān)督的多標簽圖像分類算法的實現(xiàn)思路一般有兩種，一種是將多標簽分類轉換為多個單標簽分類器的疊加問題，林春煥提出基于多路結構的端到端卷積神經網［2］，將多標簽分類轉換為多路單標簽分類計算，在一定程度上解決了多標簽之間的類別競爭問題，但該算法沒有考慮多標簽之間復雜的拓撲關系，忽略了標簽之間的相關性，精度及適應性都難以達到要求；另一種是將原有的圖像分類算法優(yōu)化，完成對多標簽分類的適應。Sermanet等使用卷積神經網絡（Convolutional Neural Networks，CNN）與SVM相結合解決多標簽分類的問題［3］。2016年，Wei等提出基于CNN網絡的Hyotheses-CNN-pooling（HCP）［4］，該網絡精度較高，對多標簽分類精度具有較大提升，但網絡結構過于復雜，算法速度較慢。Wang將CNN與循環(huán)神經網絡（Recurrent Neural Networks，RNN）相結合，通過表征標簽之間的相關性及映射關系來解決多標簽分類問題［5］，使用預測標簽路徑方法來解決多標簽分類問題。Chen提出SSGRL（Semantic-specific Graph Representation Learning）多標簽圖像分類器［6］，該框架將注意力機制與圖神經網絡（Graph Neural Network，GNN）相結合，使用圖神經網絡推理建模標簽之間的相關性，網絡性能較好，但結構較為復雜。最 新 算 法 引 入Transformer算 法［7-9］，設 計CNNtransformer結構，通過多頭注意力機制的Transformer算法計算回歸多標簽的相關性，進一步提高分類精度與性能，但網絡結構過于復雜，計算量龐大，且訓練困難。

目前多標簽圖像分類技術主要應用于遙感圖像以及醫(yī)學圖像等領域，但在紅外前下視圖像的分類分級任務中，多標簽圖像分類是一個較新的方向，具有研究前景與應用價值。本文針對紅外圖像場景，提出了一種基于弱監(jiān)督的多標簽圖像分類技術，針對無人機實拍不同場景、不同視角的紅外圖像數(shù)據(jù)集，通過使用主干網絡Resnet-50對圖像進行特征提取，引入空間注意力機制算法與先進的損失函數(shù)，顯著提高了多標簽學習算法的精度和泛化性，實現(xiàn)了多目標、多場景的紅外圖像場景感知和分類分級。

2 多標簽分類算法模型

在多標簽分類中，需要預測未知目標對應的正確標簽子集，但隨著場景及目標種類的增多，預測過程中候選標簽子集數(shù)量以及樣本預測輸出空間也會呈指數(shù)增長。因此，當前的多標簽分類任務中存在兩大難點，一是處理龐大的預測輸出空間與標簽之間的關系，計算多標簽之間的復雜拓撲關系；二是隨著數(shù)據(jù)規(guī)模增大，多標簽分類任務不可避免的出現(xiàn)正負樣本失衡的問題，這種正負樣本數(shù)量失衡可能在訓練過程占據(jù)主導地位，進而導致在訓練過程中來自正標簽的梯度強調不足，導致精度下降。

多標簽圖像分類可以理解為在常規(guī)圖像分類基礎上進行拓展而得到更加復雜的分類問題，一個實例可以有多個標簽描述，或者被分為多個類別。在多標簽分類中，將輸入對象表示為x，一個對象的標注由多個類別標簽組成，數(shù)據(jù)集標簽包含目標類別（如建筑物、農田、艦船等）與場景類別（如城市、郊區(qū)、海洋等）。用y=[y1，…，yk]表示對象x所包含的類別，yk∈{0，1}，yk=1表示對象x中包含類別k。多標簽分類算法將預測每一個標簽存在的概率，即p=[p1，…，pk]。多標簽分類示意圖如圖1。

圖1 多標簽分類示意圖Fig.1 Schematic of multi-label classification

2.1 主干網絡的設計

在圖像分類任務中，對于主干提取網絡，通常直接使用最后一層特征層進行分類處理，在進行卷積網絡提取特征時，紅外目標的重要灰度等信息在淺層卷積神經網絡分布比重較高，因此在訓練過程中極為重要的是突出淺層卷積神經網絡的信息。ResNet網絡設計的殘差結構能夠較好地解決紅外圖像特征不充分的問題，在訓練中使模型達到較好的學習效果。本文使用ResNet-50［10］作為算法的主干網絡進行特征提取。原始Resnet-50網絡直接應用于分類任務時，一般通過最后的全連接層進行類別回歸，生成最終效果，但將網絡直接應用于多標簽分類任務時，全連接層不僅造成計算冗余，而且不能很好地對多標簽進行回歸分類。

在網絡分類回歸部分，本文使用空間殘差注意力機制（Class-specific Residual Attention，CSRA）算法［11］，為每個類別生成一個特定的特征，提出一個簡單的空間注意力，然后將特征圖的平均池化結果相結合，充分利用空間注意力捕捉不同類別所占據(jù)的不同空間區(qū)域，以此實現(xiàn)多標簽之間拓撲關系的推理計算。其次，由于多標簽分類中，正負標簽數(shù)量極不平衡［12-13］，這種正負不平衡的現(xiàn)象在優(yōu)化過程中占主導地位，常規(guī)的圖像分類損失函數(shù)如交叉熵損失函數(shù)、Focal Loss等無法勝任多標簽損失函數(shù)的分類任務。為了解決多標簽正負樣本失衡問題，本文引入適用于多標簽分類的損失函數(shù)Asymmetric Loss（ASL）［14］，控制負樣本對損失的貢獻，幫助網絡從積極樣本中學習到更有意義的特征。本文提出的多標簽圖像分類主干網絡（Multi-label Infrared Image Classification，ML_IRI）如圖2所示。

圖2 多標簽圖像分類主干網絡Fig.2 Backbone network for multi-label image classification

設輸入圖像為紅外圖像x∈Rd×h×w，其中d、h、w為圖像的維度、高度與寬度，通過主干網絡Resnet-50進行特征提取生成特征圖：

其中，θ為特征提取網絡的參數(shù)，在本文中，輸入圖片大小為224×224，最后主干網絡生成特征層 向量為x1，x2，…，x49(xi∈R2048)。

2.2 CSRA注意力機制

在多標簽分類任務中，空間注意力機制可以更好地提取圖像中的有效區(qū)域［15-16］，降低紅外圖像中背景對目標的干擾，進行有效的場景感知，空間信息可以幫助網絡模型獲取更優(yōu)的目標所在空間位置。為了更好地適應多背景、多目標的紅外圖像，本文引入了類特定空間殘差注意力機制（CSRA）算法，為每個類別生成特定的特征，通過提出一個簡單的空間注意力算法，然后與特征圖的平均池化結果相結合，充分利用空間注意力捕捉對象的不同類別所占據(jù)的不同空間區(qū)域。

將CSRA應用于主干網絡提取特征層x1，x2，…，x49(xi∈R2048)之 后，進 一 步 處 理 特 征層，用全連接層將［H，W］展平為HW，然后設mi∈R2048為第i類的分類器，定義si j表 示 第i類 出現(xiàn)在j空間位置上的概率［11］：

然后，我們將每個類別所對應的特征向量定義為特征張量的加權組合，其中第i類的空間注意力得分si為權重，即：

CSRA算法將全局平均池化作為主要特征向量g，并將ai作為特定類別的殘差特征，如圖3所示，將兩個特征向量相加，得到CSRA的注意力特征fi［11］：最后將所有的CSRA特征向量送入分類器回歸出最終的預測值y。

圖3 CSRA模型Fig.3 CSRA model

其中，C代表多標簽分類類別數(shù)量。

CSRA能夠讓模型關注不同物體類別在不同位置的分類得分，因此相比于傳統(tǒng)的分類網絡，CSRA更加適用于多標簽分類的任務。

2.3 ASL損失函數(shù)

多標簽分類中，正負樣本不平衡的問題可能導致在訓練過程中對來自正面標簽的梯度強調不足，從而導致準確率低下。常用的場景分類損失函數(shù)已不足以解決多標簽分類中正負樣本數(shù)量失衡問題，在此引入ASL損失函數(shù)。

ASL損失函數(shù)針對Focal Loss［17］中的γ進行了修改，使γ-＞γ+，來解耦正負樣本損失函數(shù)的下降速率，從而在稀缺正樣本中學習到有效特征。

ASL損失函數(shù)引入超參數(shù)m調整負樣本的損失函數(shù)曲線，能夠動態(tài)地降低簡單陰性樣本的重要性，使優(yōu)化過程更多地關注陽性樣本，式（7）變?yōu)椋?/p>

其中，pm=max(p-m，0)，m為網絡可調節(jié)的超參數(shù)。

在訓練過程中，網絡的權重根據(jù)損失的權重進行更新，為了更好地理解ASL的作用，對負樣本進行損失梯度分析。對L-進行導數(shù)分析，得到：

由式（10）可知，ASL忽略過于簡單的負樣本權重，專注于更困難的樣本，即p＜m，pm=1；對于負樣本，ASL傾向于平滑的降低其權重，對于過于困難的負樣本，ASL會自動降低其權重來減少困難負樣本對網絡的影響。

ASL損失函數(shù)通過不同的γ+與γ-分別控制正負樣本對損失函數(shù)的貢獻，以限制負樣本對損失函數(shù)的貢獻，能有效解決正負樣本失衡問題，在多標簽圖像處理問題上具有顯著效果。

3 分析與討論

3.1 試驗設計

為了測試本文算法的實際應用性能，本文選用無人機實采多種背景、多種目標的紅外前視圖像以及前下視圖像，訓練集5 570張，測試集582張。根據(jù)實際應用情況，對數(shù)據(jù)集進行弱監(jiān)督圖像級別的多標簽標注，對整幅圖像進行關鍵詞描述，以達到圖像標注的目的，在大幅度降低標注工作量的前提下，更充分地利用數(shù)據(jù)進行訓練。如圖4所示，數(shù)據(jù)集包括城市、郊區(qū)、海天等多種背景以及建筑群、工業(yè)設施、機場、艦船等多種目標，數(shù)據(jù)集標簽數(shù)量為13種，箭頭表示標簽之間存在包含關系，多標簽之間具有復雜的拓撲關系，標準圖片大小為640×512。本文選用的數(shù)據(jù)集包含紅外圖像常見的多種背景與目標，可以滿足目前分類任務的要求。

圖4 數(shù)據(jù)集多標簽之間的拓撲關系Fig.4 Topological relationships between dataset multiple labels

本文算法基于多標簽圖像分類算法進行紅外圖像的分類分級處理，試驗平臺為Windows 10操作系統(tǒng)，其中深度學習框架為Pytorch1.8，硬件條件為英特爾Core i9-10900X@3.50 GHz，內存為64 GB，GPU為 一張NVIDIA GeForce RTX 2080Ti，顯存為12 GB。訓練使用Adam為學習率優(yōu)化器，初始學習率為0.000 1，使用lr_scheduler算法在訓練過程中動態(tài)調節(jié)學習率，訓練基本參數(shù)如表1所示。

表1 試驗部分參數(shù)Tab.1 Partial parameters of the experiment

為了更好地驗證多標簽分類算法的分類性能與應用性，本文在使用深度學習中通用的Precision、Recall和F1作為評 價指標的同時，將正檢率（Correct Detection）、誤檢率（False Detection）以及漏檢率（Missed Detection）作為評價應用性的重要指標，其具體計算公式如下：

其中：P為算法Precision值，R為算法Recall值，C為標簽數(shù)量，Nci為第i類預測正確的正樣本數(shù)；Npi為第i類預測的正樣本數(shù)，Ngi為第i類的正樣本數(shù)，F(xiàn)1為精確率與召回率的調和平均數(shù)。

為了更好地反映模型的應用性能，以圖像的正檢率（PC）、誤檢率（PF）與漏檢率（PM）作為應用性能的重要評價指標，本文正檢率、誤檢率以及漏檢率計算如下：

3.2 結果分析

本文紅外圖像數(shù)據(jù)集待測圖片共582張，涵蓋數(shù)據(jù)集中所包含的13種應用場景，在基于多標簽圖像分類算法下，本文將數(shù)據(jù)集應用于多種經典常用網絡，使用正檢率、誤檢率、Recall值等評價標準，綜合評價算法分類性能，其算法結果數(shù)據(jù)見表2。

表2 不同算法結果Tab.2 Results of different algorithm

由上述表格數(shù)據(jù)可知，本文優(yōu)化后的算法性能相比于原始算法ResNet-50有較大幅度的提升，針對紅外圖像的多標簽分類適應性更強，與當前優(yōu)秀的主干網絡相比，本文算法雖然漏檢率高于Multi_path與ResNeXt101算法，但從多維數(shù)據(jù)綜合分析，本文算法在正檢率以及減少錯誤率上都具有較大優(yōu)勢。在與優(yōu)秀主干網絡對比的同時，本文對多標簽分類算法的多支路思想Multi_path算法［4］以及多標簽分類算法最新成果的C_train算法［7］進行復現(xiàn)測試，相比于當前提出的多標簽分類算法，本文算法針對紅外圖像數(shù)據(jù)集具有更強的適應性以及準確性，正檢率高于91%，F(xiàn)1值高于96%，從正確檢測率以及標簽精度綜合評價，本文算法具有明顯的優(yōu)勢，這也為多場景多目標的紅外圖像分類處理提供了思路與參考。

表3所示數(shù)據(jù)為本文消融試驗的試驗結果，試驗數(shù)據(jù)顯示本文優(yōu)化后各個模塊對算法的影響程度。從表3消融試驗數(shù)據(jù)分析可知，CSRA注意力機制的引入充分利用了物體類別的空間注意力，大大降低了誤檢率與漏檢率，提升了算法性能。ASL損失函數(shù)能夠較好地控制負樣本對損失函數(shù)的貢獻，幫助網絡訓練到更有意義的特征，應用于原始Resnet-50以及與CSRA算法聯(lián)合作用時，都具有積極意義。從試驗結果來看，空間注意力機制與新的損失函數(shù)能夠對多標簽分類有較好的優(yōu)化性能，在紅外場景中具有較好的適應性與準確性。

表3 消融試驗結果Tab.3 Results of ablation experiment

圖5為部分測試集測試結果展示，詳細標簽為a1：機場；a2：低矮建筑、工業(yè)區(qū)域；a3：城市、建筑物群；a4：城市、建筑物群；a5：郊區(qū)、建筑物群、農田；a6：郊區(qū)、農田；a7：郊區(qū)、水域；a8：海平面、天空、艦船；a9：海平面、天空、艦船。

圖5 典型測試結果展示Fig.5 Typical test results display

4 結論

針對紅外圖像分類分級的特殊任務，本文引入多標簽分類算法進行多場景、多目標的分類分級技術研究，針對現(xiàn)有多標簽分類算法適應性不足問題，本文引入類特定空間殘差注意力機制（CSRA）算法，通過添加空間注意力機制，充分利用空間注意力捕捉對象不同類別所占據(jù)的不同空間區(qū)域，提高多標簽分類算法的性能與適應性；針對正負樣本失衡問題，本文引入全新的損失函數(shù)ASL，動態(tài)降低負樣本對損失的貢獻，幫助網絡從正樣本中學習到更有意義的特征，進一步增強了網絡的適應性與泛化性。試驗結果表明，本文優(yōu)化后的多標簽紅外圖像分類算法，具有較好的檢測效果，正檢率在90%以上。本文算法對實采紅外圖像具有較好的泛化性與準確性，具有較強的實際應用價值，也為紅外圖像分類分級領域處理提供了新的思路與參考。