李本高，吳從中，許良鳳，詹 曙

(合肥工業(yè)大學(xué)計算機與信息學(xué)院,安徽 合肥 231009)

1 引言

近年來計算機視覺領(lǐng)域[1,2]的重大進步是顯而易見的，這些卓有成效的成果不僅受益于經(jīng)典算法的研究，基于學(xué)習(xí)的方法對其發(fā)展更是起著舉足輕重的作用。目標(biāo)檢測算法的優(yōu)化和升級也證實了這一說法。為了突出本文的研究重點，可以從以下3個方面總結(jié)基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法：

(1)基于單尺度特征的檢測網(wǎng)絡(luò)。隨著卷積神經(jīng)網(wǎng)絡(luò)(CNNs)的不斷優(yōu)化，R-CNN[3]利用卷積神經(jīng)網(wǎng)絡(luò)對傳統(tǒng)檢測器進行了改進，在精度上取得了巨大的進步，開創(chuàng)了目標(biāo)檢測的嶄新時代。SPPNET(Spatial Pyramid Pooling convolutional NETworks)[4]允許任意大小的輸入，避免重復(fù)計算卷積的特性大大提高了檢測器的速度。Fast R-CNN[5]將訓(xùn)練ConvNet集成到具有多任務(wù)損失的端到端管道中，并引入ROI池化層來推進該模式。Faster R-CNN[6]用一個區(qū)域提議網(wǎng)絡(luò)RPN(Region Proposal Network)代替了代價高昂的選擇性搜索，使提取的特征信息能夠在整個網(wǎng)絡(luò)中實現(xiàn)權(quán)重共享。此后，研究者們在此基礎(chǔ)上提出了很多其他方法來優(yōu)化目標(biāo)檢測器，如R-FCN(Region-based Fully Convolutional Netowrks)[7]提出了位置敏感的Score maps，以解決檢測中的位置靈敏度問題。除了基于區(qū)域的檢測器外，還有一些效率更高的單級目標(biāo)檢測器。YOLO[8]率先在單個端到端ConvNet中實現(xiàn)了對象類預(yù)測和位置回歸。YOLOv2[9]擯棄了全連接層，重新設(shè)計了一個用于檢測的骨干網(wǎng)絡(luò)，并生成了anchor box來更準(zhǔn)確地預(yù)測邊界框。這些方法力求只依賴于頂層特征來表示不同尺度目標(biāo)的特征，因此對所有目標(biāo)都具有固定的感受野，這導(dǎo)致很多信息被丟失了，而這些信息通常對于檢測小目標(biāo)是非常有用的。

(2)基于多尺度特征的檢測網(wǎng)絡(luò)。由于單尺度特征映射不擅長表示不同大小和形狀的目標(biāo)，所以從不同層提取相關(guān)信息自然地能緩解這種矛盾。MS-CNN(Multi-Scale deep Convolutional Neural Network)[10]從不同尺度特征映射中提取Proposal region，同時利用作用在特征圖的反卷積替換對輸入圖像的上采樣，從而提高速度和精度。SSD(Single Shot multibox Detector)[11]在截斷的VGG-16[12]上擴展了幾個額外的卷積層作為其骨干網(wǎng)絡(luò)，并且根據(jù)不同的感受野設(shè)置不同的默認(rèn)框大小，從而能更好地預(yù)測各種尺度的目標(biāo)。例如，低層Conv4_3的特征更精細(xì)，可以執(zhí)行較小尺度的目標(biāo)檢測，而高層的特征更適合檢測較大尺度的目標(biāo)。這種自下而上的金字塔層次結(jié)構(gòu)能夠分別檢測不同大小的對象。然而，盡管有意避免使用太低級的特征(從Conv4_3構(gòu)建金字塔)，但是卷積神經(jīng)網(wǎng)絡(luò)的淺層無法充分提取特征的問題仍然限制了檢測器在小尺度目標(biāo)檢測上的性能。解決此問題的直觀方案是通過更深的前饋路徑來增強特征表達(dá)能力，在這種情況下，加深的特征圖可以獲得具有平移不變性的更高級的語義，這有利于目標(biāo)分類，但不利于位置回歸。

(3)基于多尺度融合特征的檢測網(wǎng)絡(luò)。得益于多層特征融合和不同的采樣策略之間的相互作用，HyperNet[13]在處理小對象和生成更高質(zhì)量的proposal方面比Fast R-CNN更好。FPN(Feature Pyramid Networks)[14]則通過附加的自上而下的體系結(jié)構(gòu)緩解了這種矛盾，該體系通過上采樣增強了語義信息，并通過橫向連接添加了細(xì)節(jié)，從而構(gòu)建出高級語義特征圖。DSSD(Deconvolutional Single Shot Detector)[15]利用反卷積模塊在SSD基準(zhǔn)網(wǎng)絡(luò)上構(gòu)建特征金字塔?；诙喑叨热诤咸卣鞯臋z測網(wǎng)絡(luò)通過注入大規(guī)模的上下文信息提高檢測精度。然而，發(fā)生在自下而上和自上而下的體系結(jié)構(gòu)上的相應(yīng)層融合不夠有效，并且它實際上過多地依賴于最頂層的特征好壞程度。YOLOv3[16]也采用類似FP架構(gòu)，以實現(xiàn)對小目標(biāo)相對較高的平均精度。FSSD(Feature fusion Single Shot multibox Detector)[17]將來自不同層的特征拼接在一起，并且用一些下采樣操作構(gòu)建新的特征金字塔。像設(shè)計分類網(wǎng)絡(luò)一樣，專門用于目標(biāo)檢測的骨干網(wǎng)絡(luò)還是非常少的，DetNet(Network for object Detection)[18]提出了一種新的目標(biāo)檢測骨干網(wǎng)絡(luò)，在較深的層次上保持了較高的空間分辨率。此外，為了使訓(xùn)練過程更高效，基于R-CNN的方法通過采樣啟發(fā)式及其固有的兩階段級聯(lián)優(yōu)化檢測器，這是兩階段檢測器精度高的原因之一。同時，一些檢測方法使用OHEM(Online Hard Example Mining)[19]算法來抑制大量的負(fù)樣本。RetinaNet[20]通過創(chuàng)造性地重新定義損失函數(shù)來實現(xiàn)這一點，其中Focal Loss項被用來緩解由圖像的前景背景不平衡帶來的問題。

為了進一步緩解在深層網(wǎng)絡(luò)中小區(qū)域空間特征容易丟失的問題。本文提出的方法結(jié)合了2個相鄰的層來豐富上下文信息。與其它復(fù)雜的融合方法相比，本文方法融合的特征圖的表征能力并不遜色，因為這2個近距離特征是高度互補和相關(guān)的，而且，某些看似對特征表示有益的融合實際上是對特征雙方的一種損害。第3節(jié)中詳細(xì)解釋了為什么使用這種融合機制。為了進一步提高檢測器檢測精度，本文精心設(shè)計了用于融合2層特征圖的合適的Conv層。此外，受人類感知過程的啟發(fā)，注意力機制[21,22]被廣泛用于計算機視覺領(lǐng)域。殘差注意力學(xué)習(xí)被用來優(yōu)化非常深的卷積網(wǎng)絡(luò)[5]，該網(wǎng)絡(luò)可以有效地堆疊到數(shù)百層，其中自下而上、自上而下的前饋作為注意力模塊的一部分，用來對特征進行軟加權(quán)。在研究如何為低級別特征提供精確的像素級注意力方面，通常具有更大感受野的注意力因子能更好地引導(dǎo)特征圖合成，因此，本文從最頂層的特征映射出發(fā)，通過反卷積操作構(gòu)造自頂向下的結(jié)構(gòu)，為融合的特征映射提供了在所有尺度上的注意力權(quán)重。為了防止關(guān)鍵信息在級聯(lián)網(wǎng)絡(luò)中不堪重負(fù)，本文設(shè)計了一種新穎的殘差注意力融合架構(gòu)來監(jiān)督特征金字塔結(jié)構(gòu)每一級的融合，這與殘差注意力網(wǎng)絡(luò)[23]完全不同，同時，本文使用的注意力因子具有最高級別的語義信息，而諸如SENet[24]這種通道層面上的注意力機制因為缺乏像素級的注意力，所以不擅長處理多尺度空間特征。本文提出的方法使SSD性能進一步優(yōu)化，即以實時速度實現(xiàn)對多尺度目標(biāo)更高的檢測精度。

Figure 1 Network architecture

2 本文方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

事實證明，用低層高分辨率特征圖檢測小目標(biāo)是有效的，因為特征圖中小目標(biāo)對應(yīng)的感受野相對較小，而低層的精確定位特征無疑對檢測是有用的。本文采用與原始SSD一致的特征提取器，通過VGG-16以2倍的縮放步長生成多尺度特征圖(在截斷VGG-16的末端擴展附加的卷積層)。迭代過程可以表示如下:

fi(x)=Ci(fi-1(x))=

Ci(Ci-1(fi-2(x)))=

Ci(Ci-1…C1(x))

(1)

detectionresult={P1(f1),P2(f2),…,Pn(fn)}

(2)

其中，Ci(·)是骨干網(wǎng)絡(luò)的第i個卷積塊;f(·)是選擇的特征，隨著特征層的加深索引i變大，特征層越來越深；P(·)是預(yù)測層，負(fù)責(zé)將特征圖轉(zhuǎn)換為分類置信度和邊界框。本文通過2個相互連接的模塊進一步優(yōu)化了多尺度檢測器，將2個模塊有機地組合成一個新穎的網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.2 融合模塊

盡管大多數(shù)檢測器使用各種多尺度結(jié)構(gòu)來解決圖像中物體多樣性的問題，但在小物體上的進展卻不太令人滿意。大目標(biāo)之所以能夠獲得可靠的檢測結(jié)果，主要是因為其基本特征在卷積神經(jīng)網(wǎng)絡(luò)的傳播中不容易丟失。不幸的是，由于低級特征的不足和高級特征的信息缺陷帶來的雙重壓力使小物體檢測處于尷尬的境地。一方面，適當(dāng)?shù)墓歉删W(wǎng)是緩解這一矛盾的關(guān)鍵，除了考慮推理速度外，深度層次結(jié)構(gòu)也會嚴(yán)重?fù)p害目標(biāo)的位置特征，對于較小尺寸的圖像則更為嚴(yán)重；另一方面，學(xué)習(xí)強大的抽象語義和精確的位置特征對各個級別的預(yù)測是必須的，這無疑會使學(xué)習(xí)系統(tǒng)超負(fù)荷。受上述2方面因素影響，特征很容易被極化或保持在中立水平，這可能是檢測器對小物體難以達(dá)到期望檢測結(jié)果的原因。

本文提出了一種通過組合2個近距離特征層來獲取互補信息的方法，以下3個原因促使選擇2個相鄰特征進行融合：(1)由于2種特征之間的明顯區(qū)別，深層的預(yù)測可信度將由于淺層特征的組合而降低；(2)感受野大的深層特征通常會向淺層引入大量無用的背景噪聲；(3)近距離的特征層通常保留最有用的信息，用于檢測小物體的Conv4_3也得到了增強。因此本文關(guān)注相鄰層之間的融合以捕獲它們的互補性。

在如圖2所示的融合模塊中，用一組1×1、3×3和1×1的卷積核處理尺寸為2W×2H×D2(W、H和D2分別表示特征圖的寬度、高度和通道數(shù))的較淺的特征，圖2中的D表示卷積核的個數(shù)，而另一個更高層的2W×2H×D特征圖的處理過程中添加了1×1個卷積作為緩沖器。這樣的架構(gòu)可在以下3個方面發(fā)揮作用：(1)通過特定的映射并向高層提供有用的位置信息來增強低層特征的表征能力；(2)對低級高分辨率特征圖進行下采樣，以匹配相應(yīng)的高級低分辨率特征圖尺寸；(3)在3×3卷積運算之前使用1×1卷積核減少一半的通道，然后使用1×1卷積核在融合時恢復(fù)，從而提高計算效率。可以通過式(2)來概括這一過程：

Mi,c(x)=fi,c(x)+F(fi-1,c(x))

(3)

其中,fi,c(·)表示來自骨干網(wǎng)絡(luò)的第i級基本特征層；c表示信道的索引；F(·)是一種特殊的映射；Mi,c(·)是融合特征圖。值得注意的是，融合過程是從頂部向底部進行的。

Figure 2 Internal details of the two modules

2.3 殘差注意模塊

如果沒有額外的指導(dǎo)，融合模塊很難準(zhǔn)確地捕獲關(guān)鍵特征。鑒于具有足夠分類信息的高級特征可以作為引導(dǎo)低層信息的方向，本文通過傳播最上層的高級語義，設(shè)計了一種自適應(yīng)聚合信息的自頂向下路徑。期望在抽象語義的指導(dǎo)下增強有意義的特征，同時抑制不太有用的特征。然而，用像素和與像素積等一般方法將2個弱相關(guān)特征聯(lián)系起來并不能實現(xiàn)很好的融合效果，因為前者會疊加噪聲，而后者可能會削弱有用的信息。例如，加權(quán)特征圖Ai,c(x)*Mi,c(x)可以由特征圖Ai,c(x)在自上而下結(jié)構(gòu)中和對應(yīng)的融合特征圖Mi,c(x)進行像素級相乘來生成。在這種情況下，像素值通過加權(quán)(0～1)在抑制無意義特征的同時破壞了原始有用特征的良好性能。隨著層疊金字塔層數(shù)的加深，這些關(guān)鍵特征將被進一步削弱，這可能會破壞原有網(wǎng)絡(luò)的特性，隱式地降低了后續(xù)層對小目標(biāo)的敏感性。

本文提出了一種基于殘差注意力學(xué)習(xí)的多尺度注意力融合方法，以構(gòu)建一種對稱的自下而上和自上而下的金字塔體系結(jié)構(gòu)。具體來說，受到注意的有用特征不應(yīng)該比它原來沒被注意力加權(quán)時差。所以，本文設(shè)計的融合特征在注意力機制下被具有豐富分類的高級特征監(jiān)督。在這個過程中，小物體被逐漸顯示出來，而其中反卷積的主要作用是恢復(fù)特征圖尺寸。

本文的殘差注意模塊的出發(fā)點不同于以往的方法，這直接導(dǎo)致了體系結(jié)構(gòu)上的差異。具體來說，使用自上而下的體系結(jié)構(gòu)的全局信息來指導(dǎo)融合各種尺度的特征，而殘差注意力網(wǎng)絡(luò)[23]僅將自上而下網(wǎng)絡(luò)中最高分辨率特征圖與原始特征圖結(jié)合在一起。因此，在2×2的反卷積層之后添加一個3×3卷積核，并使用Sigmoid層對注意力因子進行歸一化。此外，還在融合的特征后進行了3×3的卷積操作，并使用ReLu層來激活特征，進行批量歸一化[25]，以獲得更好的特性。最后，通過殘差注意操作精煉用于預(yù)測的特征。本文所提出的注意力機制用式(4)表示如下：

Ri=Ai+1,c(x)=(1+Ai,c(x))*Mi,c(x)

(4)

detectionresult={P1(R1),P2(R2),…,Pn(Rn)}

(5)

其中,Ai,c(·)是多尺度注意力因子，在反卷積操作后用Sigmoid將其進行歸一化，當(dāng)注意力權(quán)重為0時，Mi,c(·)維持原始值。同時生成的特征圖不僅是當(dāng)前尺度下預(yù)測模塊的輸入，也是指導(dǎo)下一次精細(xì)特征合成的注意因子。級聯(lián)的自下而上的體系結(jié)構(gòu)以其增量的特性保留著完整的信息，金字塔層次越低，注意力特征圖越能用來準(zhǔn)確地檢測小目標(biāo)。

3 實驗與分析

本文基于基準(zhǔn)數(shù)據(jù)集PASCAL VOC評估了所提方法的性能，實驗使用MXNet框架并在具有2塊NVIDIA 1080Ti GPU的計算機上進行。與SSD相同，預(yù)訓(xùn)練的VGG-16(在ILSVRC CLS-LOC數(shù)據(jù)集上)用于初始化模型，以便有效地比較。此外，本文還設(shè)計了消融實驗來分析每個模塊的有效性。同時，為了突出本文方法的優(yōu)越性，還將實驗結(jié)果與主流方法進行了比較。各實驗方法的性能由平均平均精度mAP(mean Average Precision)推理速度來衡量，分別反映了各方法的精度和速度。

3.1 PASCAL VOC 2007上的實驗

本文方法在2007 trainval和2012 trainval上進行了訓(xùn)練(16 551幅圖像)，并在2007 test上進行了測試(4 952幅圖像)。使用SGD優(yōu)化器進行12×104次迭代，Momentum與Weight Decay分別設(shè)為0.9和0.000 5，對于512×512的輸入圖像，Batch Size設(shè)置為24，對于300×300的輸入圖像，Batch Size設(shè)置為32。初始學(xué)習(xí)率為0.001，在8×104次迭代時降低為0.000 1，10×104次迭代時降低為0.000 01。為了使添加的模塊與基準(zhǔn)網(wǎng)絡(luò)之間維持更好的磨合過程，實驗基于預(yù)先訓(xùn)練的VGG-16而不是直接基于預(yù)先訓(xùn)練的SSD。

表1中展示了一些主流檢測方法的性能。本文方法在輸入為300×300時mAP達(dá)到了78.8%，超過了基于ResNet-101的SSD300和DSSD321等的單階段方法的?？梢钥闯霰疚姆椒ú粌H在速度上遠(yuǎn)遠(yuǎn)領(lǐng)先于兩階段目標(biāo)檢測器，而且其檢測精度甚至超過了大多數(shù)檢測器的，例如Faster R-CNN和R-FCN。如文獻(xiàn)[26]所述，輸入圖像的分辨率對檢測有重大影響，這是合乎邏輯的，因為與小圖像相比，大圖像包含更多可見信息。因此，當(dāng)分辨率提高到512×512時，本文方法的mAP達(dá)到80.7%，比SSD的高出1.5%。DSSD513在檢測精度上比本文方法稍好，但是DSSD使用了重量級的主干網(wǎng)絡(luò)ResNet-101，通過犧牲計算效率來提高檢測精度?？梢灶A(yù)見，本文方法的推理速度要比DSSD513快得多。此外，它從另一個角度證明了過度深化網(wǎng)絡(luò)對較小規(guī)模輸入的特征信息并不友好。圖3展示了可視化的檢測結(jié)果，同樣證明了本文方法起到了較好的效果，特別是對圖像中的小目標(biāo)。

3.2 推理速度

高效的計算效率本來應(yīng)該是單階段檢測器的優(yōu)勢，與SSD相比，本文方法在速度上受到新添加模塊的影響。在表2(第5列)中展示了速度性能的對比。所有結(jié)果都是在使用單一NVIDIA 1080Ti GPU的計算機上獲得的。不出所料，SSD繼續(xù)保持領(lǐng)先地位。本文方法在300×300的輸入下達(dá)到31.5 FPS的速度，在512×512的輸入下達(dá)到14.8 FPS的速度。正如所期望的，因為本文方法仍然是實時的，所以在速度和準(zhǔn)確性之間的權(quán)衡保持在合理的范圍內(nèi)。而且，它的推理速度遠(yuǎn)遠(yuǎn)領(lǐng)先于DSSD的。

Table 1 Comparison of experimental results on PASCAL VOC 2007 test

Table 2 Comparison of inference speed on PASCAL VOC 2007 test

Figure 3 Comparison of detection visualization performance

3.3 消融實驗

為了證明融合模塊和殘差注意力模塊的有效性，實驗還使用設(shè)計的2個模塊來構(gòu)造3個變體，并比較它們在PASCAL VOC 2007 test上的性能，結(jié)果如表3所示。除了添加或刪除相應(yīng)的模塊外，不同變體在實驗過程中保持相同的超參數(shù)，以確保公平地比較。實驗仍然在PASCAL VOC 2007和PASCAL VOC 2012訓(xùn)練集上訓(xùn)練模型，固定輸入圖像大小為300×300，并在PASCAL VOC 2007 test上進行測試。

Table 3 Ablation experiment on PASCAL VOC 2007

(1)融合模塊有效性。首先，僅將融合模塊添加到原始SSD。通過添加融合模塊，可以觀察到mAP顯著增加(表3的第3行顯示了SSD+融合模塊變體的性能)。這有力證明了融合模塊對于充分探索潛在的上下文信息非常有幫助，其結(jié)果與理論分析相符。同時，盡可能地嘗試了各種融合操作以獲得更好的結(jié)果，包括按元素求和、按元素乘積和通道拼接。所有融合策略對檢測都有很好的效果，之所以選擇像素和，是因為它在本文方法中表現(xiàn)最佳。

(2)殘差注意力模塊有效性。實驗結(jié)果如表3(第4行和第5行)所示，基于自頂向下體系結(jié)構(gòu)的多尺度殘差注意力學(xué)習(xí)對指導(dǎo)高質(zhì)量特征圖的合成起著至關(guān)重要的作用。將殘差注意力模塊應(yīng)用于原始SSD，以構(gòu)建純的殘留注意力檢測網(wǎng)絡(luò)(不要通過融合模塊融合特征圖)，并將其與原始的注意力框架進行比較，即注意力特征是由點積直接生成的，而無需殘差注意力學(xué)習(xí)。根據(jù)最后2行的比較可以得出一個結(jié)論，不管是否添加了融合模塊，帶有殘差注意力機制的檢測器總是比帶有原始注意力機制的檢測器更有效。

與基準(zhǔn)SSD相比，使用本文方法構(gòu)造的變體的性能均有所提升。根據(jù)在PASCAL VOC上評估的實驗結(jié)果，當(dāng)同時采用本文提出的2種策略時，效果提升更為明顯。這表明融合模塊和殘差注意力模塊的有效協(xié)作對多尺度特征起到積極作用。

4 結(jié)束語

本文的理論源于多尺度特征融合與注意力機制的相互作用，提出了一種具有自適應(yīng)注意力機制的特征金字塔框架，同時考慮了豐富的上下文信息對分類和定位的積極影響，以及高級語義特征對全局特征的指導(dǎo)作用。具體來說，低層特征圖的精細(xì)細(xì)節(jié)可以有效地豐富上下文信息，而由高層語義通過自頂向下的結(jié)構(gòu)合成的多尺度注意圖可以提高特征圖在各個層次上的表達(dá)能力。在基準(zhǔn)數(shù)據(jù)集上的實驗表明，本文所提出的方法適用于檢測所有尺度目標(biāo)。此外，盡管本文僅介紹了基于SSD基準(zhǔn)網(wǎng)絡(luò)的網(wǎng)絡(luò)框架，但該方法具有通用性，可應(yīng)用于絕大多數(shù)檢測網(wǎng)絡(luò)。未來將繼續(xù)在更多基準(zhǔn)框架上擴展設(shè)計體系結(jié)構(gòu)，并嘗試探索更有效的骨干網(wǎng)絡(luò)來適應(yīng)對移動目標(biāo)的檢測。