闞亞亞，張孫杰，熊 娟，祖 奕

上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海200093

目標(biāo)檢測[1-2]是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向，也是其他復(fù)雜視覺任務(wù)的基礎(chǔ)，其目的是在圖像中對一組目標(biāo)進(jìn)行定位和識別。進(jìn)入深度學(xué)習(xí)時代以來，目標(biāo)檢測發(fā)展主要集中在二階段目標(biāo)檢測和一階段目標(biāo)檢測兩個方向。主流的二階段目標(biāo)檢測器通過候選區(qū)域網(wǎng)絡(luò)使正負(fù)樣本更加均衡，其中Fast-RCNN[3]、Faster-RCNN[4]、Mask-RCNN[5]為經(jīng)典的二階段目標(biāo)檢測器。主流的一階段目標(biāo)檢測器則直接在網(wǎng)絡(luò)中提取特征來預(yù)測物體的分類和位置，其中SSD[6]網(wǎng)絡(luò)和YOLO[7-8]網(wǎng)絡(luò)為經(jīng)典的一階段檢測器。

隨著特征金字塔網(wǎng)絡(luò)（feature pyramid network,FPN）技術(shù)的發(fā)展，很多目標(biāo)檢測器的應(yīng)用方法相繼誕生。特征金字塔網(wǎng)絡(luò)與骨干網(wǎng)絡(luò)結(jié)合后所提取的特征圖能同時兼顧高層特征信息與低層語義信息，并呈現(xiàn)出跨越一系列尺度的高級特征映射，因此特征金字塔網(wǎng)絡(luò)在目標(biāo)檢測、圖像分割、圖像識別等領(lǐng)域里得到了廣泛應(yīng)用。

在多尺度目標(biāo)檢測網(wǎng)絡(luò)[9]中，隨著特征提取網(wǎng)絡(luò)層數(shù)的加深，圖像的高層語義特征信息被充分提取，而低層語義特征信息逐漸稀釋。因此，在區(qū)域選擇過程中感興趣區(qū)域（region of interest,RoI）很難同時兼顧網(wǎng)絡(luò)中的高層語義特征信息和低層細(xì)節(jié)信息，從而影響了目標(biāo)檢測的效果。路徑聚合網(wǎng)絡(luò)[10]（path aggregation network,PANet）通過自底向上的路徑擴(kuò)展，縮短了底層和頂層特征之間的信息路徑，增強(qiáng)了特征層次。ZigZagNet[11]不僅通過密集的自頂向下和自底向上的方式聚合特征，還通過在自頂向下和自底向上層次結(jié)構(gòu)的不同級別之間的鋸齒狀交叉來豐富多級上下文信息。DeepLabV3[12]、AugFPN[13]和PSP-Net[14]等方法利用多尺度上下文特征融合信息。U-Net[15]和PSP-Net 等編碼器-解碼器結(jié)構(gòu)融合了中級和高級語義特征，增強(qiáng)了特征圖的語義信息。

無論是一階段還是二階段的目標(biāo)檢測，成熟的目標(biāo)檢測算法都是基于密集的先驗(yàn)框，但會產(chǎn)生很多相似的結(jié)果，需要在非極大值抑制（non-maximum suppression,NMS）階段過濾冗余的候選框。隨著transformer[16]在深度學(xué)習(xí)圖像上的廣泛應(yīng)用，DETR（detection transformer）[17]第一個將目標(biāo)檢測任務(wù)視為一個集合的預(yù)測序列，利用transformer 的編解碼特性將檢測任務(wù)重構(gòu)為一定數(shù)目的序列預(yù)測。這個序列預(yù)測直接將大量密集的先驗(yàn)框稀疏化為一定數(shù)量的目標(biāo)對象，于是本文把這種稀疏的序列預(yù)測稱為稀疏集。DETR 采用了一種純稀疏的端到端目標(biāo)檢測方式，它的輸入為100 個目標(biāo)對象的查詢參數(shù)，在解碼器中并行解碼并進(jìn)行全局圖像特征交互，從而改善了模型的檢測效果。為進(jìn)一步提高收斂速度，Deformable-DETR[18]利用可變形卷積，更高效地處理稀疏空間中的信息，縮短了網(wǎng)絡(luò)的收斂時間，但可變形卷積在利用卷積的多尺度信息時也大大地增加了學(xué)習(xí)patch 之間上下文關(guān)聯(lián)的參量。Sparse R-CNN[19]提出了稀疏集和稀疏特征的方法進(jìn)行端到端的目標(biāo)檢測，該方法避免了自注意力在全圖上下文的信息交互，提高了收斂速度。但較少的信息交互使得建議框在調(diào)整階段可學(xué)習(xí)的深層語義信息不足，影響了檢測效率。這些稀疏集目標(biāo)檢測算法在利用transformer 的自注意力特性處理圖像數(shù)據(jù)時，所有的空間特征信息均被統(tǒng)一化處理。稀疏集作為建議框提取區(qū)域特征時，缺乏重要通道細(xì)節(jié)信息來補(bǔ)充特征，沒有做到全局上下文實(shí)例特征交互。因此，如何讓建議框?qū)W習(xí)一個高度保留全局上下文信息交互的特征是稀疏目標(biāo)檢測器要解決的重要問題之一。

為此，本文提出自適應(yīng)特征增強(qiáng)（adaptive feature augmentation,AFA）模塊和實(shí)例特征交互（instance feature interaction,IFI）模塊，并將AFA、IFI、FPN 和稀疏集檢測器結(jié)合起來，通過自適應(yīng)特征增強(qiáng)優(yōu)化語義信息背景來減少噪聲干擾。同時結(jié)合transformer 的多層自注意力機(jī)制，融合通道注意力網(wǎng)絡(luò)和動態(tài)卷積層來強(qiáng)化建議框的通道信息。該檢測器保留DETR 并行解碼的檢測優(yōu)勢，并利用包含全局上下文豐富語義信息的特征實(shí)現(xiàn)建議框的精調(diào)。實(shí)驗(yàn)表明，該方法可以更好地保留圖像的全局上下文特征，在實(shí)例特征交互中有效地改善了稀疏目標(biāo)檢測器邊緣信息學(xué)習(xí)不充分的問題，為完善稀疏目標(biāo)檢測器奠定了基礎(chǔ)。

1 本文模型模塊介紹

1.1 自適應(yīng)特征增強(qiáng)

由于目標(biāo)檢測網(wǎng)絡(luò)對于圖像大、中、小目標(biāo)檢測尺度的不同要求，本文將ResNet50 結(jié)合改進(jìn)的FPN 網(wǎng)絡(luò)作為新的特征提取網(wǎng)絡(luò)，用來提取目標(biāo)圖像的特征。本文的自適應(yīng)特征增強(qiáng)模塊依托于特征金字塔結(jié)構(gòu)，但在目標(biāo)檢測中的效果優(yōu)于特征金字塔結(jié)構(gòu)。特征金字塔結(jié)構(gòu)如圖1 所示。

圖1 特征金字塔結(jié)構(gòu)圖Figure 1 Structure of feature pyramid

在特征提取的過程中，特征金字塔的低層特征保留更多的語義細(xì)節(jié)信息，而高層的語義信息逐漸丟失，保留了更多的空間信息。為了減小高層語義信息的損失，同時保留最后一層特征圖中的空間信息，本文提出了AFA 模塊。如圖2 所示，將特征金字塔融合后的頂層殘差塊特征圖C5按照比例為Pi=(0.1,0.2,0.3,0.4) 進(jìn)行自適應(yīng)池化，并在后續(xù)的消融實(shí)驗(yàn)中證明了自適應(yīng)池化的最佳比例。池化后的特征圖與原特征圖比例為Pi，從而得到不同維度下不同尺度的特征圖，為減小信息丟失，將這些不同尺度的特征圖全部使用雙線性插值按照相鄰比例Ui池化后的特征圖大小進(jìn)行上采樣，最終采樣到與C5殘差塊輸出特征圖相同的尺寸，進(jìn)行相鄰維度的通道拼接。為了保留高層空間信息和語義信息，本文將拼接后的特征圖進(jìn)行特征提取，采用1×1 的卷積進(jìn)行通道壓縮，壓縮后的特征圖與C5進(jìn)行特征融合，得到與C5相同維度和尺寸的特征圖A5，并用A5代替特征金字塔中的P6層，與相鄰層進(jìn)行逐層特征融合。

圖2 自適應(yīng)特征增強(qiáng)Figure 2 Adaptive feature augmentation

1.2 實(shí)例特征交互

一組圖像經(jīng)卷積神經(jīng)網(wǎng)絡(luò)提取特征后，每個RoI 的特征是通過池化某個特征級別獲得的。本文網(wǎng)絡(luò)在結(jié)合特征金字塔結(jié)構(gòu)的語義信息交互方式后，首先通過RolAlign 算法生成固定稀疏數(shù)目的建議框，然后將這些建議框送入實(shí)例特征交互模塊生成目標(biāo)特征，并將目標(biāo)特征送入前饋神經(jīng)網(wǎng)絡(luò)層中，得到目標(biāo)檢測的分類和回歸結(jié)果。

圖3 展示了實(shí)例特征交互模塊。本文把經(jīng)過特征提取后的稀疏圖像特征集合、建議框和建議特征部分輸入到實(shí)例特征交互模塊中。其中建議特征部分和骨干網(wǎng)絡(luò)沒有關(guān)系，此時是把建議特征作為目標(biāo)物體潛在位置的統(tǒng)計(jì)概率，并通過更新參數(shù)獲得。對于輸入的N個建議框，每個建議框使用i個的建議特征，其中建議特征是通過學(xué)習(xí)獲得的一個維度為256 的潛在表示向量。學(xué)習(xí)到的建議特征被送入transformer 中的多頭注意力層，將增強(qiáng)后的特征輸入到該建議特征的分類和回歸的前饋神經(jīng)網(wǎng)絡(luò)中。學(xué)習(xí)到的建議框則作為一個合理的統(tǒng)計(jì)量來執(zhí)行后面的細(xì)化部分。

圖3 實(shí)例特征交互Figure 3 Instance feature interaction

在IFI 的設(shè)計(jì)中，為了減少對外部信息的依賴，使建議特征更利于捕捉內(nèi)部特征的相關(guān)性，本文在建議特征與RoI 特征進(jìn)行實(shí)例交互前，首先將建議特征送入transformer 的多頭注意力層中，用于關(guān)注RoI 建議框的中心坐標(biāo)(x,y) 和寬高參數(shù)(h,w)。因此，在經(jīng)過實(shí)例交互后，建議框經(jīng)過多頭注意力增強(qiáng)了顯著特征，補(bǔ)充了目標(biāo)的形狀和姿態(tài)信息，從而得到一個更具有判別性的特征。本文在實(shí)驗(yàn)中還嘗試堆疊多頭注意力的層數(shù)以進(jìn)一步提升性能。為了使建議框的語義信息和邊緣信息得到補(bǔ)充，本文在實(shí)例特征交互模塊中融合了通道注意力[20]與動態(tài)卷積[21]層，同時為卷積核和特征通道賦予注意力，使得建議特征的通道信息進(jìn)行自適應(yīng)增強(qiáng)，從而補(bǔ)充了目標(biāo)的邊緣信息。在目標(biāo)特征進(jìn)行實(shí)例特征交互后，通過一個前饋神經(jīng)網(wǎng)絡(luò)層得到分類結(jié)果，該前饋神經(jīng)網(wǎng)絡(luò)由兩個全連接層和一個跳躍連接層組成。同時在邊框的回歸預(yù)測中，IFI 在ReLU 激活函數(shù)后進(jìn)行了連續(xù)的1×1 卷積操作，最終實(shí)現(xiàn)目標(biāo)的精確定位。

1.3 稀疏集預(yù)測損失

本文的算法擺脫了對以往大量密集建議框的依賴，根據(jù)transformer 中預(yù)測序列集合的思想，將大量建議框預(yù)測改為稀疏建議框預(yù)測，由此產(chǎn)生的損失經(jīng)最優(yōu)二部匹配算法來優(yōu)化，具體公式為

式中：Lcls為預(yù)測目標(biāo)與真實(shí)目標(biāo)之間的類別損失，LL1為回歸預(yù)測框中心坐標(biāo)、預(yù)測框?qū)?、高的L1 損失，Lgiou為采用最優(yōu)二部匹配算法來優(yōu)化的廣義IOU 損失，αcls、αL1、αgiou分別為相應(yīng)的損失權(quán)重。最終的損失是訓(xùn)練過程中稀疏預(yù)測框中所有損失的總和，其中αcls=2，αL1=5，αgiou=2。式(1) 中，參數(shù)的設(shè)置和訓(xùn)練策略主要采用DETR 的參數(shù)分配。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集和評價指標(biāo)

本文在含有80 個類別的MS COCO2017[22]檢測數(shù)據(jù)集上和20 個類別的PASCAL VOC數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)，并采用目標(biāo)檢測的標(biāo)準(zhǔn)評價指標(biāo)來評估檢測器性能。對于COCO 數(shù)據(jù)集，本文在COCO Train2017（約118 000 幅圖像）圖像上進(jìn)行訓(xùn)練，并使用了Val2017（約5 000 幅圖像）進(jìn)行評估，實(shí)驗(yàn)的結(jié)果都采用COCO 數(shù)據(jù)集的平均精度（average precision,AP）指標(biāo)。隨后本文使用了PASCAL VOC 公共數(shù)據(jù)集來驗(yàn)證算法的合理性。由于VOC2007和VOC2012 是互斥的，本文使用了VOC2007 和VOC2012 的Train+Val 進(jìn)行訓(xùn)練，共訓(xùn)練16 551 幅圖像，然后在VOC2007 的測試集Test（4 952 幅圖像）上進(jìn)行測試，實(shí)驗(yàn)采用PASCLA VOC 數(shù)據(jù)集的平均精確度的（mean of average precision,MAP）指標(biāo)。

2.2 模型訓(xùn)練細(xì)節(jié)

本文模型在COCO2017 數(shù)據(jù)集和PASCAL VOC 數(shù)據(jù)集上訓(xùn)練，所有的實(shí)驗(yàn)是基于PyTorch 的框架，并在NVIDIA GeForce GTX1080 設(shè)備上進(jìn)行。經(jīng)過迭代后的模型作為預(yù)訓(xùn)練的模型再次訓(xùn)練。優(yōu)化器采用AdamW，權(quán)值衰減值設(shè)為0.000 1，初始學(xué)習(xí)速率設(shè)置為2.5×10-5，參數(shù)更新方法為引入動量的梯度下降法。骨干網(wǎng)絡(luò)的權(quán)重在ImageNet 上預(yù)先進(jìn)行初始化訓(xùn)練，數(shù)據(jù)增強(qiáng)方式為隨機(jī)調(diào)整輸入圖像大小，COCO 數(shù)據(jù)集設(shè)置圖像大小為最短邊800 像素，最長邊1 333 像素，PASCAL VOC 數(shù)據(jù)集設(shè)置圖像大小為最短邊600 像素，最長邊1 000 像素。建議框、建議特征和迭代的數(shù)量分別為100、100 和8。經(jīng)過12 個Epoch 迭代得到如圖4 所示的損失函數(shù)變化圖，可以看到網(wǎng)絡(luò)的收斂效果較好。

圖4 損失函數(shù)變化Figure 4 Change of loss function

2.3 方法有效性分析

2.3.1 驗(yàn)證算法的有效性

本文算法與近年來經(jīng)典的目標(biāo)檢測算法及稀疏集目標(biāo)檢測算法對比，其中包括RetinaNet[23]、FCOS[24]、Faster R-CNN、Libra R-CNN[25]、Mask R7、DETR、ATSS[26]、DyHead[27]等，結(jié)果如表1 所示(帶“*”為引用結(jié)果，無“*”為本文實(shí)驗(yàn)設(shè)備運(yùn)行結(jié)果)。該算法的結(jié)果與結(jié)合了ResNet101+FPN 的Faster R-CNN 算法相比具有顯著優(yōu)勢；在大目標(biāo)的檢測上，本文算法的AP 比結(jié)合了ResNext-101-32x4d+FPN 的Faster R-CNN 算法要高出11.6%。在采用36 個Epoch 的訓(xùn)練計(jì)劃后，本文方法的AP 比DETR 的檢測結(jié)果高2.9%，比Sparse R-CNN 的結(jié)果要高2.1%。本文在消融實(shí)驗(yàn)中驗(yàn)證了檢測模塊的有效性，證明了所提方法能提高網(wǎng)絡(luò)訓(xùn)練的整體效果，也能提升網(wǎng)絡(luò)的準(zhǔn)確率。

表1 各個模型在COCO 數(shù)據(jù)集上的比較Table 1 Comparison of various models on COCO dataset

為了進(jìn)一步驗(yàn)證算法的泛化性，本文在數(shù)據(jù)集PASCAL VOC 07+12 上進(jìn)行了訓(xùn)練和測試，分別與Resnet50 結(jié)合FPN 的Faster R-CNN 算法、基線Sparse R-CNN 算法進(jìn)行對比，并將數(shù)據(jù)集中的20 類目標(biāo)進(jìn)行定性對比，實(shí)驗(yàn)結(jié)果如表2 所示。明顯地，本文所提的模塊方法在目標(biāo)檢測任務(wù)上獲得了較好的表現(xiàn)，MAP 值比原有的基線任務(wù)提高了2.7%。

表2 PASCAL VOC 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Table 2 PASCAL VOC dataset experimental results

2.3.2 模型消融實(shí)驗(yàn)

本文選擇主干網(wǎng)絡(luò)Resnet50+FPN 的sparse R CNN 目標(biāo)檢測器為實(shí)驗(yàn)基線?？紤]到所加模塊對檢測器性能的影響，本文對各模塊進(jìn)行了消融實(shí)驗(yàn)。如表3 所示，AFA 和IFI 對稀疏集目標(biāo)檢測器均有改善：AFA 的模塊使得本文目標(biāo)檢測的AP 提升了2.9%；加入IFI 模塊后，本文的AP 進(jìn)一步提高了4.2%。

表3 模塊消融實(shí)驗(yàn)Table 3 Module ablation experiment %

2.3.3 池化比例實(shí)驗(yàn)驗(yàn)證

在AFA 模塊中，為了獲得最佳的池化比例，本文首先將池化比例設(shè)置為0.1；0.1,0.2；0.1,0.2,0.3；0.1,0.2,0.3,0.4，實(shí)驗(yàn)發(fā)現(xiàn)最后一種比例組合的效果與前者相比獲得了更好的精度提升。增多參數(shù)并沒有提升檢測效果，因此本文實(shí)驗(yàn)選擇設(shè)置最后一種池化比例。實(shí)驗(yàn)結(jié)果如表4 所示。

表4 池化比例分析Table 4 Analysis on pooling ratio %

2.3.4 注意力層數(shù)目

本文嘗試堆疊注意力層來為實(shí)例特征交互模塊提供更具有分辨能力的特征，結(jié)果如表5所示。通過逐漸堆疊注意力層，檢測效果得到了進(jìn)一步改進(jìn)。當(dāng)構(gòu)建4 層注意力網(wǎng)絡(luò)時，訓(xùn)練的檢測精度AP 為35.8%；當(dāng)進(jìn)一步構(gòu)建8 層注意力網(wǎng)絡(luò)時，訓(xùn)練的檢測精度AP 提升了10.3%；當(dāng)增加注意力層數(shù)至12 層時，訓(xùn)練精度仍能獲得近0.5%的提升。為保證模型整體的訓(xùn)練時間，本文選擇堆疊8 層注意力。

表5 注意力層數(shù)目Table 5 Numbers of attention layers %

2.3.5 結(jié)果可視化分析

本文在基線算法上加入AFA 模塊后，與原基線算法進(jìn)行可視化對比，圖5 為本文的可視化網(wǎng)絡(luò)效果圖。AFA 模塊在一定程度上緩解了多尺度目標(biāo)的漏檢、錯檢情況，提升了網(wǎng)絡(luò)的精度。圖5(a) 為本文基線算法處理的大象圖像，雖然框選出了大象的位置，但大象下方的石頭存在誤檢的問題；圖5(d) 為添加AFA 模塊后處理得到的大象圖像，可以看出該方法能夠精確地檢測出大象的位置；圖5(b) 為本文基線處理的鐘表圖像，不僅錯誤地框選了柱子，還漏檢了小鐘表；圖5(e) 為加入AFA 模塊后處理的鐘表圖像，該方法不僅檢測到了同類別的大小兩個鐘表的位置，還減少了錯檢目標(biāo)的發(fā)生；圖5(c) 為本文基線算法，顯然漏檢了椅子目標(biāo)；圖5(f) 為添加AFA 模塊后框選出了所有的檢測目標(biāo)，改善了漏檢發(fā)生的情況，進(jìn)一步提升了網(wǎng)絡(luò)的效果。

圖5 可視化網(wǎng)絡(luò)效果圖Figure 5 Visualize network renderings

AFA 模塊雖然改善了目標(biāo)經(jīng)特征提取后高層語義信息不足的缺點(diǎn)，但在目標(biāo)檢測中，目標(biāo)的邊緣信息也不容忽視。加入IFI 模塊后，通道注意力融合動態(tài)卷積后有效地補(bǔ)充了目標(biāo)被忽視的邊緣信息。圖6(a) 為本文基線處理得到的鳥圖像，雖然取得了較高的分類得分，但目標(biāo)的邊緣信息沒有保全；6(d) 是加入IFI 后處理得到的鳥圖像，可見鳥頭部的邊緣信息得到保留。圖6(b) 為本文基線摩托車圖像，可見其車輪信息不完整；圖6(e) 為加入IFI 模塊后處理的摩托車圖像，可以看出摩托車前后車輪的邊緣信息得到了補(bǔ)充，從而完整地框選出整個摩托車的位置。圖6(c) 為本文基線處理的火車圖像，由于尾部較長，沒有框選出完整的位置；圖6(f) 為加入IFI 后處理得到的火車圖像中，火車雖尾部較長，但仍完整地框選出了火車的位置，進(jìn)一步提升了網(wǎng)絡(luò)的檢測效果。

圖6 邊緣信息保留效果圖Figure 6 Edge information retention renderings

3 結(jié)語

本文提出了一種有效的多尺度實(shí)例交互的稀疏集目標(biāo)檢測算法，將目標(biāo)檢測器結(jié)合自適應(yīng)特征融合AFA 模塊和實(shí)例特征交互IFI 模塊，并將其運(yùn)用在純稀疏的圖像目標(biāo)檢測方法上，保留了稀疏檢測器中transformer 的自注意力優(yōu)化全局語義信息的優(yōu)點(diǎn)。自適應(yīng)特征AFA模塊有效地結(jié)合了特征金字塔網(wǎng)絡(luò)，既能結(jié)合高層次的語義信息又增強(qiáng)了低層特征圖細(xì)節(jié)信息，從而自然地賦予其多樣化的上下文信息。在實(shí)例特征交互IFI 模塊中，將通道注意力層與動態(tài)卷積層相結(jié)合，有效改善了目標(biāo)經(jīng)特征提取后邊緣信息不足的缺點(diǎn)，提高了模型的準(zhǔn)確性，加快了模型的收斂速度。本文的改進(jìn)可以為后續(xù)稀疏目標(biāo)檢測器的改進(jìn)提供思路。