王憲保 吳夢嵐 姚明海

(浙江工業(yè)大學信息工程學院 杭州310023)

0 引言

目標檢測是目前計算機視覺領域非常活躍的研究方向[1],廣泛地應用在自動駕駛、工業(yè)檢測[2]和視頻監(jiān)控等多個領域。隨著深度卷積神經(jīng)網(wǎng)絡(deep convolutional neural network,DCNN)的發(fā)展,基于深度學習的目標檢測方法具有特征自動提取、泛化能力強的優(yōu)點,已然成為目標檢測的主流方法?；谏疃葘W習的目標檢測算法根據(jù)是否需要特意生成候選區(qū)域可以分為2 類:單階段算法和兩階段算法。這2 種方法都需要對象候選區(qū)域來對目標進行回歸和分類。為了減少候選區(qū)域生成的時間損耗,Ren 等人[3]在更快速的基于區(qū)域生成的卷積神經(jīng)網(wǎng)絡(faster region-based convolutional neural network,Faster RCNN)中提出了一種基于錨框的檢測方法(anchor-based object detection,ABOD)。該方法用一組形狀、數(shù)量及變化比例固定的錨框來代替需要算法產(chǎn)生或預劃分的對象候選區(qū)域。這一方法的提出,大幅提高了單階段和兩階段算法的精度和速度。但是ABOD 算法仍存在諸多不足:(1)錨框的形狀、數(shù)量和變化比例對檢測的精度影響很大。(2)為了得到高的召回率,錨框需要盡可能地遍布圖像,因此也產(chǎn)生了更多的負樣本。(3)算法會涉及到多種與錨框相關的計算,如在迭代訓練中不斷調整錨框位置的坐標和計算錨框與真值框的交并比(intersection over union,IoU)。

針對ABOD 算法存在的問題,同時為了計算簡便,研究者將越來越多的目光投向了單階段的無錨框檢測算法(anchor-free object detection,AFOD)。Law 等人[4]提出用一組對角點來確定目標對象的邊界框位置,從而舍棄算法對錨框的需求。但是這個方法由于要組合對角點,會對最后的檢測結果造成很大的不確定性,所以Duan 等人[5]提出加入對象中心點的檢測。上述方法都是先找到目標的關鍵點,再由關鍵點定位到目標整體,間接地對目標進行檢測。Tian 等人[6]結合全卷積語義分割的思想,提出全連接單階段目標檢測算法(fully convolutional one-stage object detection,FCOS)算法,該算法直接在最后的特征圖上預測目標類別和邊界框的位置,實現(xiàn)了像素級別的預測。這種密集檢測的方式增加了正樣本點的數(shù)量,使得前后背景的候選樣本數(shù)量更加平衡,但是模型的訓練效果很容易受樣本點的選擇方式影響,例如選擇遠離目標的樣本點用于訓練,會產(chǎn)生一些低質量的檢測框。除此之外,AFOD算法對于低分辨率的圖片進行檢測時可以得到評估效果較好的結果,但對密集復雜場景的圖像則會出現(xiàn)密集重合的目標定位框。

針對上述問題,本文提出了一種降低冗余檢測框數(shù)量的目標檢測方法,算法對密集重合的定位框進行了計算與置信分數(shù)分配。本文主要貢獻如下。

(1)使用基于錨框的目標檢測算法RetinaNet[7]的網(wǎng)絡結構提出一種可以降低冗余檢測框數(shù)量的無錨框目標檢測算法。

(2)提出了一種增強的通道注意力機制,加入算法中提高其特征表達能力。

(3)提出一種類內分數(shù)重分配機制的推理策略,有效抑制了重合框,提高了檢測精度。

1 相關工作

本文算法借用了如圖1 所示的RetinaNet 算法的網(wǎng)絡結構,每一層特征圖P3、P4、P5都是來自于特征提取器的輸出C3、C4、C5經(jīng)過卷積和上層特征層上采樣相加得到的。對應的P6由P5通過卷積下采樣生成,P7由P6通過卷積下采樣計算生成。整個算法需要主干網(wǎng)絡、多尺度特征構建、樣本選擇和尋找局部最優(yōu)檢測框。

圖1 RetinaNet 的簡易結構

1.1 主干網(wǎng)絡

VoVNet[8]與殘差網(wǎng)絡[9]一樣,可以作為模型的主干網(wǎng)絡來提取待測圖像的特征。VoVNet 網(wǎng)絡是由多個一次性聚合(one-shot aggregation,OSA)模塊連接而成,OSA 的存在使得模型的計算能力增強,能耗降低。并且由于OSA 對特征圖采用了特殊的連接方式,使得網(wǎng)絡可以有效地提取特征。如圖2所示,OSA 模塊中有2 種連接方式。一種是一組卷積層的連接,這可使網(wǎng)絡獲得較大的感受野。另一種是在最后一次性地聚集了各個卷積層輸出特征,增加了整個網(wǎng)絡的特征聚合能力,同時保證輸入輸出的通道數(shù)相同。OSA 的計算公式如式(1)所示。

圖2 一次性聚合模塊

其中,Fj表示第j層卷積層的輸出,F3×3和F1×1分別代表3 ×3 和1 ×1 的卷積操作,xi和xi+1是當前OSA 模塊的輸入和輸出,⊕表示連接計算。

1.2 多尺度特征

當前的目標檢測算法為了檢測不同尺度大小的對象,主要將主干網(wǎng)絡提取的多尺度特征構成金字塔的形狀。所以圖像金字塔是一組由原圖經(jīng)過不同的尺寸縮放得到的特征圖,從低層到高層,圖像的分辨率逐層減少。它在算法的預測中的使用方式主要有:(1)用不同尺度的特征圖單獨預測不同尺度的目標,如Wei 等人[10]提出的SSD(single shot multibox detector)算法。(2)融合不同尺度的特征圖用于預測,如Lin 等人[11]就此提出了特征金字塔網(wǎng)絡(feature pyramid network,FPN),對主干網(wǎng)絡生成的特征圖采用自頂向下的方式,將高層的特征向低層傳播并與同層特征進行融合,縮小了不同層級的特征圖之間的語義差異,增強了特征圖的表征能力。

1.3 樣本的選擇

對于一般的ABOD 算法,哪個錨框用于回歸訓練都需要經(jīng)過計算確定,如RetinaNet 算法,對于生成的每層特征圖像的每個像素點位置都預設多個錨框,然后分別計算每個錨框與真值框的IoU,如果IoU 大于設定的閾值,那么這個錨框會被標定為正樣本。對應于AFOD 算法,通過直接尋找關鍵點或是位置和尺度信息來確定正樣本點,如FoveaBox 算法[12]先將真值框映射到相應特征層上,根據(jù)預設位置將真值框內部的特征點fi(第i層特征層)置為待選正樣本,當待選點落在設定的尺度范圍之內,那么待選樣本點可以被認定為正樣本點,它的標簽是它所在真值框的標簽。這種樣本的選擇方法與ABOD算法相比,可以得到更多的正樣本點,前后背景的候選樣本點的數(shù)量更加均衡,也節(jié)省了很多與錨框相關的計算量。Zhang 等人[13]引入了錨框,將樣本點等同于錨框中心點,每個樣本點對應8 個錨框。用距離描述錨框中心點與真值框中心點的距離,從中挑選出距離最近的前k個錨框,再用錨框與真值框的IoU 的標準差和平均值的和作為閾值用來挑選符合要求的錨框。如果挑選出來的錨框中心點的位置在真值框內部,那么該中心點是正樣本。Qiu 等人[14]利用邊界信息來增強有效樣本點的信息表達能力。限制樣本點的位置,可以減少錯誤標定的正樣本數(shù)量;增強樣本點的特征表達,能夠增強它對應的目標信息,有利于目標回歸。

1.4 非極大值抑制

非極大值抑制[15](non maximum suppression,NMS)在很多模型的推理階段被用來抑制冗余的檢測框。算法1 描述了NMS 如何利用每個檢測框的類別置信度和檢測框之間的IoU 來尋找局部的極大值。

Liu 等人[16]在多任務的損失函數(shù)中加入與類別相關的NMS 損失,學習每個樣本的NMS 分數(shù),實現(xiàn)類別之間的NMS 抑制效果。NMS 中加入類別相關的改進,可以得到更好的檢測效果,減少目標丟失的可能性和冗余檢測框數(shù)量。

2 方法

本文基于RetinaNet 算法的網(wǎng)絡結構提出的目標檢測方法與一般的目標檢測算法相比,考慮了特征圖不同通道的相關性,提出改進VoVNet。在原VoVNet 網(wǎng)絡提取特征時加入一種增強的改進通道注意力模塊(improved squeeze-and-excitation,ISE),增強了通道信息的表達,減少了通道信息的丟失。獲取圖像多層特征之后,進行樣本選擇,再將樣本導入到預測分支,進行算法訓練。訓練完成之后,在算法推理階段中,采用提出的類內的交并比分數(shù)重分配策略,來減少重合檢測框的數(shù)量。

2.1 改進VoVNet

為了提高模型的計算能力,算法使用VoVNet v1-57 作為特征提取器提取輸入圖像的特征。為了使特征更好地表達,基于殘差網(wǎng)絡的啟發(fā),在xi與VoVNet 網(wǎng)絡中OSA 模塊輸出結合前,加入改進的通道注意力模塊。文獻[17]中的通道注意力模塊(squeeze-and-excitation,SE)使用全局平均池化來擠壓特征圖通道的空間相關性,然后經(jīng)過2 層激活函數(shù)分別為ReLU 和sigmoid 的全連接層來獲取通道的權重。對于特征圖x∈RC×H×W的通道權重S(x) ∈RC×1×1的計算過程如式(2)所示。

其中favg(x) 代表全局池化操作,WC/r、WC∈RC×1×1是2 層全連接層的權重,σ 和δ 分別代表sigmod 函數(shù)和ReLU 函數(shù)。從式(2)中可以看出,SE 中的2層特征層連接,勢必會對計算造成負擔,所以就采取先降維和后升維的操作,減少參數(shù)量。讓特征圖經(jīng)過第1 個全連接層從C通道減少到C/r通道,第2個全連接層又將特征圖的通道數(shù)從C/r通道擴充到原通道數(shù)。在這通道減少又復原的過程中,會對特征造成通道信息的丟失,所以提出將全連接層減至1 個,通道數(shù)維持為C以此提高模塊的性能。同時,為了增強全局特征的表達,加入全局最大值池化,計算表達式如式(3)所示,其中fmax(x) 代表全局最大值池化操作。

圖3 改進的一次性聚合模塊

其中x′i+1表示輸出,xi和xi+1是原OSA 模塊的輸入和輸出,?表示元素相乘。

2.2 預測

2.2.1 多尺度特征圖上的樣本點選擇

對特征提取器提取的特征融合方式如圖1所示,因此,特征層P3～P7對輸入圖片的下采樣率為{si}={8,16,32,64,128}。

獲取到不同級別的特征圖之后,就是對特征圖上的像素點進行挑選。第i層特征層上的點fi映射回原圖對應感受野中心的位置坐標為(x,y),如果這個點位于真值框內部,且該點到真值框4 條邊的最大垂直距離滿足該層預設的尺度范圍,就認定點fi是正樣本,其類別標簽標定為真值框?？紤]到真值框內的點并不都是位于目標對象上:有些樣本遠離真值框中心,這種樣本點預測出來的邊界框會偏離被測物體;有些樣本是屬于背景,會預測出錯誤的檢測框。所以在選擇樣本點的時候,在真值框內部設置一個正區(qū)域:一個與真值框同中心的正方形區(qū)域。正區(qū)域的設置可以排除一些低質量或是錯誤標定的樣本點,正區(qū)域以外的真值框的像素點都不會被輸送到損失函數(shù)中用于回歸分類。在研究中對比發(fā)現(xiàn),與真值框同中心的正方形的邊長為1.5× si時,模型的預測效果會好于其他數(shù)值。

由于各個級別的特征圖尺度不同,可以根據(jù)預設的尺寸來決定每層預測對象的大小。在ABOD算法中,如RetinaNet 多尺度特征圖P3、P4、P5、P6層對應用于預測回歸的錨框面積分別為642、1282、2562、5122。與此相對應,在本文算法中直接對P3、P4、P5、P6層 設 置 的 尺 度 范 圍 為[0,64]、[64,128]、[128,256]、[256,512],P7層設置的尺度范圍為[512,∞],用來限制每個層級預測對象的大小。

2.2.2 預測分支

每層特征圖都對應2 個預測分支,用來預測目標的類別和位置回歸。每個預測分支都由4 層卷積層構成,分類器最后一層的輸出是20 維的類別標簽向量,回歸器輸出的是一個4 維的位置向量。訓練用的損失函數(shù)如式(5)所示。

近日，《小主人報》攜手貝恩口腔醫(yī)院，開啟了名為“小牙醫(yī)體驗”的活動。在工作人員的帶領下，小記者們參觀了整個醫(yī)院，不僅看到了各種各樣的先進儀器，還了解了牙齒健康檢查和治療的流程。學習完了相關的理論知識后，小記者們穿上白大褂，化身為小小牙醫(yī)。他們拿起口腔鏡，走進診室，幫助小伙伴們檢查口腔健康情況。通過此次參觀，小記者們表示一定會好好愛護自己的牙齒。

式中,N表示正樣本數(shù);m、n表示的是所有特征圖上點對應原圖的位置坐標;Lfl表示的是focal loss 函數(shù),用于分類訓練;Cm,n和C′m,n分別表示預測的類別標簽和對應的真值框標簽;f(C′m,n) 是一個非負函數(shù),當C′m,n＞0 時取1,C′m,n≤0 時取0;Lil表示的是算法UnitBox 中的IoU loss[18]函數(shù),用于回歸訓練,其中dm,n和d′m,n分別表示預測和目標的位置。

至此算法的整體框架如圖4 所示。整體框架包括特征提取、特征層樣本點選擇和預測分支。

圖4 框架結構圖

2.3 推理策略

檢測算法對目標分布密集的場景檢測容易產(chǎn)生重疊的檢測框,如圖5 所示。僅僅采用NMS 來抑制多余的檢測框是不夠的,所以在進行NMS 操作前,加入類內分數(shù)重分配和增大類間檢測框位置間距2個操作。

圖5 AFOD 算法對有密集分布對象的檢測結果

一張待檢測的圖片輸入到網(wǎng)絡中,相當于從特征圖上的一組點對目標進行預測,得到一組初步檢測的結果,即目標邊界框坐標(框的左上角和右下角坐標)、類別標簽和類的置信的分數(shù)。按照類的置信分數(shù)從大到小進行排列,選取前k個點的預測結果,按照不同的類別進行處理,如算法2 所示。對于同一個類別中的檢測框Bc,計算它們之間的IoU,如果大于某個閾值,則認為它們是同一個目標的檢測結果。對同一對象的檢測框,根據(jù)它們之間的IoU 進行分數(shù)重分配?？紤]到再分配的分數(shù)與Bc中各個檢測框之間的IoU 大小有關,IoU 越大給原來的分增值越多,且不能丟失原有的分數(shù)。因此提出檢測框分數(shù)重分配的規(guī)則如式(6)所示。

式中,S′c表示分配后檢測框的置信分數(shù),Im表示該檢測框與第m個檢測框的IoU 的值,Sc是檢測框原來的分數(shù)。

所有類的內部分數(shù)重分配完成之后,整合之前獲取的檢測框的分數(shù),再次進行分數(shù)排序,執(zhí)行NMS 操作。

3 實驗結果與分析

本節(jié)主要對算法在公共數(shù)據(jù)集上的測試結果進行對比,以此對算法的有效性作詳細說明。首先通過消融實驗獲取算法需要的參數(shù),然后通過對比本文算法和經(jīng)典的單階段無錨框目標檢測算法——FCOS 算法在不同主干網(wǎng)絡、推理策略的檢測精度,證明本文算法檢測精度優(yōu)于FCOS 算法,加入的通道注意力機制可以提高網(wǎng)絡的檢測精度,提出的推理策略可以減少冗余檢測框數(shù)量。

3.1 實驗設定

實驗硬件平臺為NVIDIA RTX 2060 SUPER 8 GHz、NVIDIA GTX 1060 6 GB,軟件平臺為CUDA 10.2、PyTorch 1.7.0 和Python 3.7。所有實驗結果均在上述實驗環(huán)境中獲得。算法使用的數(shù)據(jù)集是一直被各種檢測和分割算法作為訓練集和測試集的Pascal VOC 數(shù)據(jù)集。由于Pascal VOC 2012 訓練集的圖片數(shù)量過少,所有的實驗都使用Pascal VOC 2012 的訓練集和驗證集,共11 552 張圖片作為模型的訓練集,用與Pascal VOC 2012 類別一致的Pascal VOC 2007[19]的測試集共2510 張圖片作為模型的測試集。Pascal VOC 收集了20 種處于不同場景的物體的圖片,每張圖片都有對應的物體位置、種類和關鍵點的標簽文件。并且數(shù)據(jù)集中各個類別中的目標在圖像中尺度不一,可以滿足算法對多尺度目標進行預測的條件?？紤]到實驗設備的限制,把數(shù)據(jù)集中用于訓練的圖片大小全部縮放為512 像素×448像素。采用帶動量的隨機梯度下降(stochastic gradient descent,SGD)進行網(wǎng)絡的權重更新,其他的實驗參數(shù)設定除了特定說明都如表1 所示。

表1 實驗參數(shù)設定表

3.2 精度比較

本文主要將FCOS 算法和本文算法訓練20 代后進行對比,通過平均精度(mean average precision,mAP)這一指標來展示不同算法的實驗結果。

3.2.1 不同主干網(wǎng)絡的精度對比

算法的主干網(wǎng)絡分別是ResNet 50、VoVNet v1-57 和具有殘差連接的VoVNet v1-57,推理策略采用NMS,它們在VOC 2007 驗證集上的實驗結果按照不同的主干網(wǎng)絡分成3 組進行對比,結果如表2 所示,可以得出以下結論。

表2 Pascal 2007 的檢測結果

(1)比較第1、2 組算法獲得的平均精度(mAP)可以看出,使用VoVNet v1-57 作為主干網(wǎng)絡的算法性能優(yōu)于使用ResNet 50 的算法性能,前者網(wǎng)絡的檢測精度高于后者。

(2)比較第2、3 組算法的檢測結果可知,VoVNet v1-57 網(wǎng)絡中加入殘差不論對FCOS 算法還是本文算法,檢測的平均精度均有所提高。

(3)比較第1、2、3 組檢測結果可知,本文算法的平均精度均優(yōu)于FCOS 算法。

3.2.2 加入注意力機制的算法精度對比

算法的主干網(wǎng)絡是在殘差中加入通道注意力機制的VoVNet v1-57,即改進VoVNet。它們在VOC 2007 驗證集上的實驗結果如表3 所示,其中+ISE表示加入通道注意力機制模塊。結合表2,從實驗結果可以看出,在殘差部分加入通道注意力機制,與單獨引入殘差連接的網(wǎng)絡相比,其平均檢測精度提高幅度更大。

表3 Pascal 2007 的檢測結果

除了平均精度對比,本文還做了主干網(wǎng)絡為VoVNet v1-57 和加入通道注意力機制的VoVNet v1-57 的訓練損失曲線對比,結果如圖6 所示。

圖6 算法訓練的損失曲線

圖6 中虛線表示的是主干網(wǎng)絡為VoVNet v1-57的整體損失曲線,實線表示的是加入通道注意力機制的VoVNet v1-57 的整體損失曲線。結合表2 和表3 的實驗結果,從圖中可以看出兩個算法的收斂情況基本一致,但是在殘差連接處加入通道注意力機制的VoVNet v1-57 檢測效果得到明顯提高。

3.2.3 不同推理策略的算法精度和檢測框數(shù)量對比對于一個檢測目標而言,過分重疊的檢測框,與真值框的IoU 的值都會滿足所設定的閾值,除了提高算法的精度,只能從其他方面進行衡量,因此提出用檢測框與真值框的數(shù)量差box-d 作為輔助衡量指標。在采用NMS 和本文推理策略對算法進行驗證前,通過消融實驗獲取算法推理策略中需要的IoU閾值,實驗結果表4 所示。

表4 關于推理策略閾值的實驗結果

表4 中的實驗是在算法的主干網(wǎng)絡為加入殘差的VoVNet v1-57、訓練20 代的情況下做的對比實驗。從實驗結果來看,對于本文算法,推理策略中使用的IoU 閾值為0.6 或是0.7 時,算法能取得最好的檢測結果。因此隨后的實驗中,本文算法提出的推理策略的IoU 閾值均設為0.6。

獲取所需的IoU 閾值后,分別對算法使用NMS和提出的推理策略,實驗結果如表5 所示。從實驗結果可以看出,本文提出的推理策略,在保證精度的同時,降低了冗余檢測框的數(shù)量。

表5 Pascal 2007 的檢測結果

圖7 是表5 中本文算法分別對數(shù)據(jù)集和現(xiàn)實采樣圖片的可視化結果。可以看出,圖7中檢測框上標記的置信分數(shù)與圖5 相比發(fā)生了明顯的變化,均比圖5 的數(shù)值大,說明類內分數(shù)重分配推理策略已經(jīng)通過重疊檢測框的IoU 值再次計算了置信度,使得算法在確保每個對象對應一個檢測框的同時,減少了冗余的檢測框數(shù)量。

圖7 檢測可視化結果

為了驗證推理策略的實用性,在FCOS 算法和已經(jīng)訓練好的Faster RCNN 和YOLO v3 算法上進行驗證,實驗結果如表6 所示。該實驗是為了驗證推策略的通用性,所以3 個算法不同的訓練設定不影響推理策略的有效性。表中第1 列中的本文算法表示在算法的推理階段使用的推理策略是本文提出的類內交互比分數(shù)重分配機制。3 組實驗的實驗指標均表明本文的推理策略可以減少檢測框的冗余數(shù)量,從而提高了算法精度。

表6 在Pascal 2007 的檢測結果

4 結論

為了減少冗余檢測框的數(shù)量,同時有效提升目標檢測的定位精度,本文基于RetinaNet 網(wǎng)絡結構提出了一種減少類內檢測框重疊推理策略的目標檢測算法。實驗結果表明,在選取的正樣本中含有錯誤的類別標定或是由低質量樣本預測得到低質量的檢測結果,可以通過中心采樣和類內分數(shù)的重分配影響檢測框的NMS 操作來減少錯誤的檢測結果,從而提高檢測精度。在實驗過程中,本文算法仍然可以滿足實時性的要求,今后的工作中還可以繼續(xù)優(yōu)化。除此之外,算法的參數(shù)量、簡化網(wǎng)絡結構等方面還需進一步改進。