陳喬松,陳鵬昌,李 佩,張亞玲,鄧 欣,孫開偉,王 進

(重慶郵電大學(xué) 數(shù)據(jù)工程與可視計算重慶市重點實驗室,重慶 400065)

0 引 言

目標(biāo)檢測是計算視覺領(lǐng)域內(nèi)最主要的任務(wù)之一。近年來,隨著人工智能理論的蓬勃發(fā)展,以卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)為基礎(chǔ)的目標(biāo)檢測方法已經(jīng)完全取代了靠設(shè)計人工特征[1]來進行檢測的傳統(tǒng)方法。

基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法一般將目標(biāo)檢測分為定位與分類兩個子任務(wù)。定位任務(wù)負(fù)責(zé)回歸圖像中目標(biāo)的位置和大小,分類任務(wù)則需要對相應(yīng)的目標(biāo)進行歸類。兩個子任務(wù)的結(jié)果合并到一起即最終的任務(wù)結(jié)果。根據(jù)取得結(jié)果過程的不同,目標(biāo)檢測有雙階段目標(biāo)檢測和單階段目標(biāo)檢測兩大類方法。雙階段方法會額外進行一次分類與回歸,以此區(qū)分出前景先驗框與背景先驗框,然后再對前景先驗框中的特征圖進行進一步的分類與回歸。雙階段目標(biāo)檢測方法起始于R-CNN[2],經(jīng)歷了Fast R-CNN[3]和Faster R-CNN[4]等方法的演進。目前,基于雙階段的目標(biāo)檢測方法都以Faster R-CNN中提出的理論和方法作為基礎(chǔ)結(jié)構(gòu)。對比雙階段目標(biāo)檢測器的復(fù)雜設(shè)計和較高的訓(xùn)練難度,以SSD[5]為代表的單階段目標(biāo)檢測方法在設(shè)計上更加簡潔,通過直接在特征圖上對先驗框進行分類和回歸得到檢測結(jié)果,可以實現(xiàn)端到端的訓(xùn)練。在推理時間上,單階段目標(biāo)檢測方法也有著較大的優(yōu)勢。

單階段目標(biāo)檢測器一般采用特征提取網(wǎng)絡(luò)中有著不同分辨率的特征層級來分別檢測不同尺度的目標(biāo)。典型地,如SSD網(wǎng)絡(luò)使用VGG-16[6]作為特征提取網(wǎng)絡(luò),它使用了Conv4_3層的特征圖和額外的網(wǎng)絡(luò)產(chǎn)生的一共6個特征圖來進行檢測。這種基于多尺度特征圖目標(biāo)檢測方法的基礎(chǔ)理論是不同層級特征圖的特征感受野不同,某一尺度的特征圖只能描述該尺度對應(yīng)大小的目標(biāo)。分辨率大的特征圖特征感受野較小,檢測較小尺寸的目標(biāo);而分辨率較小的特征圖往往有著更大的特征感受野,用于檢測大尺寸目標(biāo)。不同尺度的特征圖共同協(xié)作從而覆蓋描述圖像中大小不一的目標(biāo)。雖然SSD采用了多尺度的檢測方法,但兩方面的問題也隨之而來。一方面,多尺度特征圖有特征混淆問題。根據(jù)特征提取網(wǎng)絡(luò)前向傳播的特點和多尺度特征圖檢測的機制,淺層特征圖中不僅需要保持較小目標(biāo)的特征,同時也要保留較大目標(biāo)的特征。淺層特征圖的目標(biāo)感受野雖然有限,但是其可以感知較大目標(biāo)的部分語義特征。由于目標(biāo)檢測任務(wù)中不同尺度目標(biāo)經(jīng)常存在重疊性,故在同一特征圖的特征點向量中往往存在不同尺度目標(biāo)的特征,從而造成了特征混淆。這種特征混淆往往對該尺度內(nèi)目標(biāo)的檢測與分類帶來干擾,不利于對較淺特征圖中較小目標(biāo)的分類與回歸。最終體現(xiàn)在檢測結(jié)果上就表現(xiàn)為對小目標(biāo)檢測性能較差。另一方面,多尺度特征圖中特征信息不足。按照多尺度特征檢測的基本理論,淺層特征圖有著較大的分辨率,所以有更加多的紋理特征,這有利于邊界框的回歸;相反,經(jīng)歷了更多層卷積操作的深層特征圖有更抽象的語義特征,有利于對目標(biāo)的分類任務(wù)。對于多尺度目標(biāo)檢測任務(wù)來說,這兩者是相互矛盾的,但有效的特征融合可以有效解決這一問題。

針對以上的問題,本文基于多尺度檢測的經(jīng)典網(wǎng)絡(luò)架構(gòu)SSD,提出了一種基于多尺度的特征選擇和融合的目標(biāo)檢測網(wǎng)絡(luò)。本文主要貢獻如下。

1)提出了特征選擇模塊(feature selection module,FSM),通過對特征圖使用自適應(yīng)加權(quán)操作,起到尺度感知的特征選擇作用,有效做到對混淆特征的分離。本文在引入特征金字塔網(wǎng)絡(luò)架構(gòu)[7](feature pyramid network,FPN)的同時,加入了特征選擇模塊,使FPN網(wǎng)絡(luò)在向淺層特征圖傳遞高級語義特征時,避免再次引入混淆特征。最終形成了特征選擇網(wǎng)絡(luò)結(jié)構(gòu)(feature selection network,FSN)。

2)針對信息不足的問題,提出了一種淺層特征融合網(wǎng)絡(luò)模塊(lower feature fusion module,LFFM)。在該模塊中,通過融合淺層特征到深層特征圖,提高了檢測性能。在融合過程中,將深度分離卷積[8]作為一種特征圖降采樣的手段,有效實現(xiàn)對淺層特征圖的適應(yīng)性降采樣。

1 相關(guān)工作

隨著2012年AlexNet[9]在ImageNet圖像分類挑戰(zhàn)賽上的獲勝,計算機視覺領(lǐng)域進入了卷積神經(jīng)網(wǎng)絡(luò)的快車道。在深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展過程中,研究者們探索出了許多優(yōu)秀基礎(chǔ)網(wǎng)絡(luò)架構(gòu),如VGGNet[6]、ResNet[10]和MobileNet[11]等。這些網(wǎng)絡(luò)架構(gòu)可以提取到豐富的圖像特征,為以分類和檢測為主的計算機視覺任務(wù)提供了基礎(chǔ)支持。2014年,R-CNN[2]網(wǎng)絡(luò)架構(gòu)首次將卷積神經(jīng)網(wǎng)絡(luò)方法應(yīng)用到目標(biāo)檢測上,為目標(biāo)檢測任務(wù)提供了全新的研究方向;2015年,S.Ren等[4]提出了Faster R-CNN網(wǎng)絡(luò)架構(gòu),采用了預(yù)選區(qū)域生成網(wǎng)絡(luò)來代替?zhèn)鹘y(tǒng)圖像處理方法做區(qū)域選擇,實現(xiàn)了對全局圖像的直接檢測,大大提高了檢測和訓(xùn)練效率。2016年,隨著SSD的問世,目標(biāo)檢測開啟了單階段多尺度檢測的新時代。SSD網(wǎng)絡(luò)架構(gòu)使用針對不同特征層級的多分支檢測器來檢測不同大小的物體,從而達到了尺度感知的目的。在同一年,YOLO[12]網(wǎng)絡(luò)架構(gòu)的提出為單階段目標(biāo)檢測網(wǎng)絡(luò)增添了新的范式,經(jīng)過幾年的發(fā)展,大量新的研究成果[13-14]出現(xiàn),使得YOLO系列已經(jīng)成為目標(biāo)檢測領(lǐng)域最熱門的研究方向之一。近年來,隨著基于角點檢測的CornerNet[15]和基于關(guān)鍵點檢測的FCOS[16]等檢測器的出現(xiàn),目標(biāo)檢測基礎(chǔ)網(wǎng)絡(luò)架構(gòu)有了更多的方向。

在針對單階段多尺度目標(biāo)檢測器的研究中,出現(xiàn)了許多改進的方法。以FPN為代表的特征金字塔網(wǎng)絡(luò)架構(gòu)通過自上而下的連接,將深層特征圖的語義特征傳播到淺層特征圖,使特征圖融合了多個尺度的特征,增強了特征表達力。與FPN網(wǎng)絡(luò)架構(gòu)類似,DSSD[17]使用轉(zhuǎn)置卷積作為上采樣手段來融合深層特征,相比FPN結(jié)構(gòu)取得了更好的效果。對于類似的網(wǎng)絡(luò)結(jié)構(gòu),PANet[18]、M2Det[19]、BiFPN[20]等有更深入的研究和改進。另一方面,不同于特征金字塔結(jié)構(gòu),RFBNet[21]架構(gòu)使用了膨脹卷積來獲得不同大小感受域的特征,再對特征進行融合得到了不同層級的特征圖;類似地,TridentNet[22]也使用了膨脹卷積來提取各層級特征,最終使用多分支網(wǎng)絡(luò)完成檢測。實驗證明使用膨脹卷積有效,更加符合人類視覺系統(tǒng)的特點。

為了使多尺度檢測器的各層級特征更具表達力,自適應(yīng)空間特征融合[23](adaptive spatial feature fusion,ASFF)網(wǎng)絡(luò)將各層級特征使用自適應(yīng)加權(quán)融合的方式生成新的層級特征。ASFF網(wǎng)絡(luò)的特征融合方式,使得不同層級特征產(chǎn)生自適應(yīng)的聯(lián)系,增強了特征的一致性。鄰域特征擦除與轉(zhuǎn)換[24](neighbor erasing and transferring network,NETNet)網(wǎng)絡(luò)為了增強淺層特征圖的表達力,在淺層特征圖中將來自深層的特征擦除,以此降低干擾,增強特征。

2 方 法

本文方法主要分為兩個部分:其一,為了強化特征,本文設(shè)計了特征選擇模塊來分離不同層級特征,并結(jié)合FPN網(wǎng)絡(luò)架構(gòu)將高階語義特征傳遞到底部層級且避免引入混淆特征;其二,本文還增加了淺層特征融合模塊,將淺層的特征圖通過跳躍連接與深層特征圖融合,以此達到特征增強的目的。

2.1 特征選擇網(wǎng)絡(luò)

根據(jù)多尺度目標(biāo)檢測的基礎(chǔ)理論,不同大小的目標(biāo)由不同尺度的特征層級來描述。顯然,隨著特征圖的分辨率由大變小,特征圖能表示的目標(biāo)也越大,而小目標(biāo)的特征則在此遞進中逐漸消失。對于某一層級的特征圖來說,其特征表達為

Fs=f(x1,x2,x3,…,xS),s∈{1,2,3,…,S}

(1)

(1)式中:s表示某個特定尺度;F表示該層級特征圖的特征表達;f表示該層級的特征提取算法;x表示不同尺度的目標(biāo)。對于分辨率較大的特征圖來說,它提取了來自多個尺度的目標(biāo)的特征,這些并不需要的目標(biāo)特征對于后續(xù)的分類和回歸任務(wù)來說是比較嚴(yán)重的干擾項。為了消除干擾特征,本文設(shè)計了特征選擇模塊FSM,如圖1所示。對于特征層級Fs,進行一次卷積操作,卷積核大小為3,卷積的結(jié)果是一個通道數(shù)為1的特征圖,最終通過sigmoid函數(shù)激活,得到一個二維權(quán)值矩陣。特征選擇的結(jié)果即為原始特征圖與此權(quán)值矩陣的乘積表示為

(2)

(2)式中,在元素相乘操作之后,還進行了一次卷積核大小為1的卷積操作,作為特征適應(yīng)層。

圖1 FSM結(jié)構(gòu)示意圖Fig.1 Feature selection module structure

近年來的研究充分證明了FPN網(wǎng)絡(luò)結(jié)構(gòu)的有效性,FPN網(wǎng)絡(luò)的自頂向下結(jié)構(gòu)使得高階的語義特征能夠傳播到淺層特征圖,有助于較小目標(biāo)的分類任務(wù)。但是,如前文分析中指出的那樣,深層特征圖向淺層特征圖融合時,會增加相應(yīng)的局部特征到淺層特征圖中,而這些局部特征易對淺層特征檢測造成混淆。本文設(shè)計了特征選擇網(wǎng)絡(luò)結(jié)構(gòu)FSN,在引入FPN網(wǎng)絡(luò)結(jié)構(gòu)的同時,又在FPN結(jié)構(gòu)中增加了FSM模塊,在深層特征圖向淺層特征圖融合的過程中增加特征的選擇步驟,使不必要的局部特征不向淺層特征圖傳播。為了減小模型復(fù)雜度,FSN結(jié)構(gòu)排除了最后一個特征圖。

2.2 淺層特征融合模塊

特征圖在網(wǎng)絡(luò)前向計算過程中分辨率逐漸變小,所能容納的信息也越來越有限。在網(wǎng)絡(luò)結(jié)構(gòu)的初始階段,高分辨率的特征圖匯聚了大量紋理、輪廓等低階特征。有不少研究證明了將這些低階特征圖融合到高階特征的有效性,典型的如FSSD[25]網(wǎng)絡(luò)結(jié)構(gòu),它將多個淺層特征圖通過元素相加融合在一起,然后再通過卷積操作提取出原尺度特征,這樣的方法相比原SSD架構(gòu)在小目標(biāo)上獲得了更好的檢測性能。但FSSD是在原有的特征層級上進行融合操作的,并沒有引入新的淺層特征。事實上,在更淺層的特征圖中有著更加豐富的細(xì)節(jié)特征可以被利用。

本文基于SSD架構(gòu),設(shè)計了一種淺層特征融合模塊LFFM。為了利用更淺層的特征圖,本文選取了來自Conv3_3層的有著75 × 75分辨率的淺層特征圖。該高分辨率特征圖相比原圖像經(jīng)過了僅僅兩次池化,還有著大量的細(xì)節(jié)特征。將這樣的特征圖融合到深層特征圖中,可以有效增強深層特征圖的特征豐富程度。

LFFM結(jié)構(gòu)由4個特征融合模塊(feature fusion module,FFM)組成,FFM將相鄰特征圖進行融合?；谙噜徧卣鲌D之間的特征融合,避免了不相鄰特征圖因為特征差異巨大而無法融合的問題,可以逐級地將淺層特征傳遞到深層特征圖。FFM可表達為

(3)

(3)式中,Fs表示特定層級的特征圖。對Fs來說,它與前一層級特征圖Fs-1進行融合。特征融合模塊要先將淺層特征圖進行降采樣,降采樣后使用激活函數(shù)激活,再與深層特征圖進行逐元素相加融合。逐元素融合后即為特征融合的結(jié)果。

目前大多方法是使用平均池化或者最大池化來進行降采樣操作,池化層可以增加網(wǎng)絡(luò)模型的非線性,提高網(wǎng)絡(luò)的泛化能力。與一般方法不同,本文使用深度可分離卷積[8]來代替池化層對特征圖做降采樣。深度可分離卷積由分組卷積和逐點卷積兩部分組成。先使用卷積核為3、步長為2的分組卷積進行降采樣,再使用逐點卷積適配對應(yīng)通道數(shù)。通過使用上述深度可分離卷積,降采樣過程就可以通過網(wǎng)絡(luò)進行訓(xùn)練,這實現(xiàn)了降采樣過程的可學(xué)習(xí)化。另外,由于卷積層后有激活函數(shù)的存在,因而降采樣方法并不會減小模型的非線性程度。實驗證明,使用深度可分離卷積實現(xiàn)降采樣比傳統(tǒng)的降采樣方法有更好的效果。

本文方法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,將LFFM模塊放在FSN模塊之前,符合前文中特征選擇的要求。

圖2 本文方法網(wǎng)絡(luò)架構(gòu)圖Fig.2 Network architecture of the proposed method

3 實 驗

根據(jù)前面章節(jié)提出的網(wǎng)絡(luò)模型,本文進行了相關(guān)的實驗來驗證模型的有效性。本文實驗的機器操作系統(tǒng)為Ubuntu 18.04,CPU為R5-3600X,顯卡為GTX-1080,顯存8 GB,機器內(nèi)存為16 GB。實驗環(huán)境為Python 3.7,深度學(xué)習(xí)框架為PyTorch 1.6。實驗的初始學(xué)習(xí)率為0.003,訓(xùn)練的批處理大小為24。在其他參數(shù)方面,本文與SSD的方法的超參數(shù)一致,包括先驗框的個數(shù)和預(yù)設(shè)的長寬比。

本文方法基于SSD網(wǎng)絡(luò),網(wǎng)絡(luò)的損失函數(shù)由分類損失和先驗框回歸損失函數(shù)兩部分組成。其中,分類損失使用了交叉熵?fù)p失函數(shù),先驗框回歸損失使用了Smooth L1[3]損失函數(shù)。

3.1 數(shù)據(jù)集與評價指標(biāo)

本文選用的數(shù)據(jù)集為PASCAL-VOC2007。大多數(shù)研究對于PASCAL-VOC2007數(shù)據(jù)集的使用方式為將PASCAL-VOC2007和PASCAL-VOC2012的訓(xùn)練集和驗證集合并為一個數(shù)據(jù)集作為完整的訓(xùn)練集,而測試集即為PASCAL-VOC2007的測試集,本文采用相同的數(shù)據(jù)集形式。

評價指標(biāo)方面,普遍采用的是AP和mAP。AP是PR曲線中曲線與坐標(biāo)軸圍成的面積,可以客觀反映出模型的檢測性能。mAP是不同類別目標(biāo)AP的平均值,可以反映出算法對數(shù)據(jù)集的整體表現(xiàn)。

3.2 消融實驗

本文驗證了FSM模塊的有效性,結(jié)果如表1所示。表1展示了FSM模塊在PASCAL-VOC2007測試集上的效果。原SSD網(wǎng)絡(luò)的mAP為77.2%,對SSD的前5個待檢測特征圖加上FSM模塊后,mAP達到78.0%,有0.8%的提升。將FSN結(jié)構(gòu)整體作用到SSD網(wǎng)絡(luò)后,可以得到78.7%的mAP。為了進一步證明FSM的有效性,本文將FSN網(wǎng)絡(luò)中的FSM替換為空間注意力模塊[26](squeeze-and-excitation,SE),采用相同的訓(xùn)練方式,最終達到78.3%的mAP,不及使用FSM的FSN網(wǎng)絡(luò)結(jié)構(gòu),以此證明了FSM模塊的優(yōu)越性能。

為了證明LFFM的有效性,本文在FSN結(jié)構(gòu)的基礎(chǔ)上,設(shè)計了淺層特征圖融合至不同深層特征的實驗,實驗結(jié)果如表2所示。基礎(chǔ)實驗數(shù)據(jù)是SSD組合FSN網(wǎng)絡(luò)架構(gòu),mAP為78.7%。對于輸入為300 × 300的SSD網(wǎng)絡(luò)的6個特征層級,當(dāng)淺層特征融合到前兩個層級特征圖時,可以達到79.69%的mAP。逐級融合至前4個層級特征圖時,可以得到79.73%的檢測結(jié)果,相對于融合前兩個層級特征圖有微弱的提升。由此說明,對過于深層的特征圖來說,來自淺層的特征融合并不會帶來很大的性能提升,相反,較淺層的特征融合則會有更加明顯的效果。

表1 FSM模塊實驗結(jié)果

表2 LFFM消融實驗結(jié)果

另外,對于淺層特征融合中的降采樣手段,本文做了消融實驗,實驗結(jié)果見表2。如表2所示,相比簡單的線性插值降采樣,本文對比了使用卷積來實現(xiàn)降采樣的結(jié)果。使用線性插值時,融合前4個層級特征,mAP為79.73%。用步長為2的卷積來代替降采樣,得到了微弱的性能提升。最終,使用本文引入的深度可分離卷積,相比一般卷積有著更少的參數(shù)和計算量,最終mAP達到了80.1%,獲得較大的效果提升。由此證明了將深度可分離卷積應(yīng)用于降采樣的有效性。

3.3 對比實驗

表3展示了本文方法與近年來的一些主流算法的對比情況。從表3可以看出,本文算法在檢測精度上相較于SSD網(wǎng)絡(luò)在300 × 300的輸入分辨率提高了2.9%,mAP達到了80.1%,優(yōu)越于大多數(shù)的目標(biāo)檢測算法。RFBNet的mAP比本文方法高0.4%,這源于RFBNet基于SSD網(wǎng)絡(luò)結(jié)構(gòu)且使用空洞卷積[27]增大感受野的同時,又使用了比SSD方法更多的先驗框,更多的先驗框使RFBNet有0.2%的性能提升。計算性能方面,本文方法在GTX-1080計算卡上達到了每秒48幀的處理速度,輸入分辨率為512時也可以達到每秒25幀的計算速度,達到了實時處理視頻的要求。

表3 PASCAL-VOC2007數(shù)據(jù)集的效果結(jié)果對比

表4對比了本文方法與其他方法在某些具體類別上的AP表現(xiàn)。在對比類別中,主要選取的是通常以小目標(biāo)形式出現(xiàn)在圖像中的類別,比如鳥、瓶子等。從表4可以看到,本文方法在小目標(biāo)的檢測性能上有一定的提升。但由于輸入分辨率的限制,一些小目標(biāo)在圖像變換過程中丟失細(xì)節(jié),故在某些類別上提升有限。

表4 小目標(biāo)類別表現(xiàn)對比

3.4 對比結(jié)果

本文從PASCAL-VOC2007數(shù)據(jù)集中選取了幾張具有代表性的圖像,來直觀地感受本文方法相對于基礎(chǔ)SSD網(wǎng)絡(luò)的優(yōu)越性,如圖3所示。從圖3可以很明顯看出,本文方法能檢測出圖像中更多的小目標(biāo)。對于遮擋目標(biāo),在特征選擇模塊的作用下,前景中的較大目標(biāo)特征被篩除,使得其特征被增強,從而被檢測網(wǎng)絡(luò)檢測出來。

4 總 結(jié)

本文針對多尺度目標(biāo)檢測中的特征圖特征混淆和特征豐富程度不足問題,提出了一種基于特征選擇與特征融合的網(wǎng)絡(luò)架構(gòu)。特征選擇使得不同尺度目標(biāo)在同一個特征圖中分離開,降低了其他尺度目標(biāo)的特征干擾。本文為了將高階語義特征傳到淺層特征圖,引入了FPN網(wǎng)絡(luò)架構(gòu),與此同時,在FPN架構(gòu)中加入了特征選擇模塊來避免不同尺度的特征混淆。為了使特征圖獲得更多紋理等低階特征,增強特征豐富程度,本文將基礎(chǔ)網(wǎng)絡(luò)中更加淺層的特征圖融合到待檢測的特征圖中,并使用了可分離卷積來實現(xiàn)降采樣。本文通過消融實驗和對比實驗,證明了相關(guān)模塊的有效性和本文方法相對于其他方法的優(yōu)越性。未來的工作是簡化網(wǎng)絡(luò)復(fù)雜程度,將特征選擇模塊和淺層特征融合模塊有效地結(jié)合起來,探索更加輕量化的解決方案。

圖3 文本方法與SSD網(wǎng)絡(luò)檢測效果對比圖Fig.3 Comparison of detection effect between the proposed method and SSD