柴文光，蔡春波

（廣東工業(yè)大學 計算機學院，廣東 廣州 510006）

0 引言

近十年來，卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）的發(fā)展與大規(guī)模、帶精確實例級注釋的訓練數(shù)據(jù)集（PASCAI VOC［1］）的應用，極大地推動了計算機視覺領域的進步。其中，目標檢測方向更是在獲得飛速發(fā)展的同時被廣泛應用于AR、人臉識別等具體場景中［2-3］。然而，獲取此類數(shù)據(jù)集往往費時費力，這就阻礙了目標檢測技術的進一步發(fā)展。故相較于實例級注釋，更容易被收集的圖像級注釋被提出并被進一步運用于目標檢測中。因此，利用圖像級注釋訓練檢測器的弱監(jiān)督目標檢測（Weakly Supervised Object Detection，WSOD）［4-5］方法成為近年來目標檢測領域的研究熱點。眾多研究者的加入使得WSOD 方法不斷地被改進、優(yōu)化，令其在識別速度或是識別精度上都得到了大幅提升。

最初的WSOD 方法大多基于多實例學習（Multiple-Instance Learning，MIL）［6］，其主要是將圖像作為一個包（其中一個正包中至少包含一個正實例，而一個負包中的所有實例皆為負實例）、對象建議作為實例，利用這些包訓練實現(xiàn)弱監(jiān)督目標檢測器。但是在MIL 中，對于來自同一類的多個對象實例中特定分數(shù)較低的對象實例極有可能被判為負實例。此類情況下，所選擇的對象實例外觀變化與大小差異較小，不足以訓練出具有較強辨別能力的檢測分類器。此外，在訓練過程中，缺失的實例同樣可能會被選擇為負實例，這將進一步降低檢測分類器的識別能力。針對這一問題，近期研究者依據(jù)CNN 強大的表征學習能力，提出端到端MIL 網(wǎng)絡，如OICR（Online Instance Classifier Refinement）、PCL（Proposal Cluster Learning）等。在 端 到 端MIL 網(wǎng)絡中，其將實例分類檢測問題視為潛在的包內(nèi)模型學習（圖像分類）問題，通過實例級標簽訓練分類器以區(qū)分正負實例，提取得分最高的正實例。但由于在WSOD 中圖像缺乏對象實例級標簽，使得WSOD 與全監(jiān)督目標檢測（Fully Supervised Object Detection ，F(xiàn)SOD）方法之間存在巨大的性能差異。

當前，主流的WSOD 方法是利用區(qū)域建議生成包含對象的建議，而后根據(jù)該建議的特征進行實例學習，實現(xiàn)圖像分類與定位。因此，如何獲取高質(zhì)量的區(qū)域建議成為目前WSOD 的一大挑戰(zhàn)。針對這一挑戰(zhàn)，本文提出基于卷積特征多層融合以及分割引導策略的候選建議框生成方法用于獲取高質(zhì)量的區(qū)域建議，使得這些建議盡可能多地包含目標。該方法具體過程如圖1 所示：①結(jié)合EdgeBoxes 選取初始候選框，同時對VGG16 網(wǎng)絡各層的特征映射進行融合，利用其邊緣結(jié)構(gòu)特征過濾掉無關的建議框；②結(jié)合2 階段獲取的建議框經(jīng)過弱監(jiān)督語義分割網(wǎng)絡，計算分割映射每個建議框得分。此處考慮到一致性準則（只要建議框在目標邊界內(nèi)，則所有建議框的得分應一致），本文給出一種新的目標一致性表示方式。具體地，將分割置信映射投影到水平和垂直兩個方向，通過計算得到目標一致性表示。在新的表示中，只要建議框不超過目標邊界，得分就始終保持一致。最后，進行MIL 以完成圖像定位及分類。相比當前的弱監(jiān)督目標檢測方法，本文方法在具備優(yōu)秀性能的同時能夠輕易地嵌入到其他弱監(jiān)督目標檢測中。

Fig.1 Specific process of the proposed method圖1 本文方法具體過程

1 相關工作

1.1 弱監(jiān)督目標檢測

通過在卷積神經(jīng)網(wǎng)絡（CNN）中加入多實例學習（MIL），近年來WSOD 性能得到了顯著提高。Bilen 等［4］率先在MIL 中引入端到端弱監(jiān)督深度檢測網(wǎng)絡（Weakly Supervised Deep Detection Networks，WSDDN），這激發(fā)了許多研究者的興趣；Tang 等［7］通過引入在線實例分類器優(yōu)化（OICR），進一步改善了WSOD 的工作，但是其在優(yōu)化過程中容易陷入局部優(yōu)化；Tang 等［8］基于圖中心聚類和平均MIL 損失函數(shù)的方法進一步改進了OICR，以提高WSOD 的檢測性能；Wan 等［9］提出一種最小熵潛模型，通過最小化全局和局部熵實現(xiàn)對目標進行分類和定位；Wan 等［10］將連續(xù)優(yōu)化方法引入MIL 中，利用一組平滑的損失函數(shù)松弛原始損失函數(shù)，成功解決了MIL 中的非凸優(yōu)化問題。相比之下，本文采用特征融合及目標一致性表示的方法，僅獲取少數(shù)高質(zhì)量的建議框就能完成目標檢測器訓練，并且該目標檢測器同樣具備優(yōu)秀的檢測性能。

1.2 區(qū)域建議生成

關于區(qū)域建議生成常用的兩種方法是選擇性搜索（SS）［11］和邊緣盒（EB）［12］。其中，SS 基于超像素合并方法生成建議，但其生成的建議對物體真實邊界框的擬合效果普遍不佳。而EB 則通過提取圖像邊緣，然后評估滑動窗口框的客觀得分并生成建議。目前，已有的全監(jiān)督目標檢測都是基于CNN 的區(qū)域建議生成方法［13］，使用邊界框注釋作為監(jiān)督以訓練建議網(wǎng)絡，利用其精確的注釋將邊界框回歸到真實的目標位置。但是為了保證其高性能，這些方法需要通過有效的邊框注釋甚至像素級標注［14］以訓練網(wǎng)絡模型，這與WSOD 在訓練時只使用圖像級注釋的要求有所差異。因此，弱監(jiān)督訓練下生成高質(zhì)量的建議框更具有挑戰(zhàn)性。針對這一挑戰(zhàn)，本文基于EB 方法，利用CNN 中的低層信息生成的邊緣反饋映射進行多層融合［15］，并結(jié)合語義分割［16］引導獲取高質(zhì)量的區(qū)域建議。實驗結(jié)果表明，該方法取得了良好的WSOD 性能。

1.3 弱監(jiān)督語義分割

鑒于弱監(jiān)督語義分割的優(yōu)秀特性，Diba 等［17］首次將語義分割嵌入WSOD 中，提出利用分段知識對目標分數(shù)較低的建議框進行過濾的級聯(lián)卷積網(wǎng)絡，但其無法有效地對僅包含部分對象的高置信框進行過濾；Wei 等［18］則通過引入兩種分割度量，高純度和完整地完成對建議框的挖掘；Gao等［19］利用分割映射生成具有豐富上下文信息的實例建議；Li 等［20］將弱監(jiān)督目標檢測和分割任務整合到檢測—分割循環(huán)協(xié)同這一多任務學習框架中。本文采用語義分割引導，對分割置信映射進行了修正，以減少外部無關信息的影響，從而獲取高質(zhì)量的候選建議框。具體而言，通過特征融合得到候選建議框，而后采用Ahn 等［21］提出的AffinityNet 提前生成弱監(jiān)督語義分割結(jié)果，結(jié)合目標一致性計算每個建議框的客觀分數(shù)，再將計算結(jié)果進行排序，選取得分高的建議作為輸入，并將其輸入到弱監(jiān)督目標檢測網(wǎng)絡訓練分類器。

2 高質(zhì)量候選區(qū)域生成

2.1 特征融合

多層特征融合：給定圖像，一方面通過EdgeBoxes（EB）獲得初始的候選建議框R0={R01,R02,…,R0n}，另一方面，利用VGG16［22］網(wǎng)絡結(jié)構(gòu)前向傳播計算不同卷積層在通道維度上的平均值進而得到卷積的響應映射，并將其調(diào)整到原始圖像大小進行多層信息融合，得到圖像的特征映射；而后將R0映射到圖像特征，評估初始建議的客觀分數(shù)，剔除大部分和背景相應的框。如圖2 所示，后面的層往往會響應更多的語義特征，提供局部對象的有用信息，這些層的響應映射與顯著圖相似。利用第二層到第四層特征為建議框生成類似邊緣的響應映射。基于卷積層輸出的特征映射F∈?C×W×H，其中C、W、H 分別代表通道、寬、高，響應映射M∈RW×H由式（1）計算所得，fcwh、mwh分別代表F、M，計算每個通道的平均值，然后歸一化。

首先，上述每層卷積特征調(diào)整到原始圖像大小并將它們相加，得到類似邊緣的特征映射；然后，計算每個初始建議框中存在的邊的數(shù)量以評估初始建議框R0的客觀得分，并執(zhí)行非極大值抑制（Non-Maximum Suppression，NMS）；最后，根據(jù)客觀得分對候選建議框進行排序，選取得分高的框，得到新的集合

2.2 目標一致性表示

通過多層融合生成的候選框仍具有一定的非相關域，因為類邊緣的影響映射在背景區(qū)域上也有較高響應。為了解決該問題，本文結(jié)合分割圖像映射選取高質(zhì)量目標建議，將第一階段生成的候選框作為輸入，經(jīng)過AffinityNet 生成語義分割結(jié)果，從而獲得目標建議的集合R2=表示第i個目標建議的寬和高，C表示目標類別。計算分割映射目標建議的客觀分數(shù)ORi如式（2）所示。

Fig.2 Response and fusion of different convolutional layers of VGG16 network圖2 VGG16 網(wǎng)絡不同卷積層的響應及融合

f()是計算目標分數(shù)的關鍵因素，f函數(shù)的不同表示方法主要有兩種：一種是基于分割的上下文方法，一種是目標一致性表示方法。為了獲得更多完整目標，文獻［17］選擇邊界框內(nèi)具有較高建議分數(shù)和周圍上下文區(qū)域較低分數(shù)的框。

是Ri周圍上下文區(qū)域，當框靠近目標的邊界時，尤其是對于不規(guī)則的目標，上下文客觀分數(shù)可以忽略不計，即使框在目標邊界內(nèi)，ORi依然會開始減少。

如圖3 所示，當R1、R2、R3 同時包圍目標區(qū)域時，它們的客觀得分會隨著框的增大而縮小，即OR1＜OR2＜OR3。為了完善此問題，只要候選框在目標邊界內(nèi)，就需要上下文一致的客觀得分，即OR1=OR2=OR3。因此，本文提出了目標一致性表示OCR，將Ri投影到與邊界框水平垂直的方向，以獲得目標一致的分數(shù)OCRSi：

OCRSi=分別表示Si水平垂直方向的投影。Maxy(Ri)分別表示獲取水平、垂直方向的最大值。

Fig.3 Object consistency representation圖3 目標一致性表示

2.3 弱監(jiān)督目標檢測網(wǎng)絡

本文使用弱監(jiān)督目標檢測網(wǎng)絡（WSDDN）獲取建議分數(shù)，用于后續(xù)的建議框選擇和目標檢測器優(yōu)化。主要工作如下：給一張圖像I 及圖像注釋y= [y1,y2,…,yC]，通過區(qū)域生成方法獲取目標候選框或0 表示圖像I 中有或沒有目標類別c，C表示類別數(shù)量。然后目標候選框經(jīng)過RIO pooling 得到特征建議向量，經(jīng)過兩個全連接層分別攝入到分類和檢測兩個平行分支，得到兩個矩陣向量，Xcls、Xde t，X∈?C×N，然后通過Softmax 層σ(·)沿著縱向類別和橫向目標對兩個矩陣進行歸一化，獲取每個目標建議的分類和檢測分數(shù)。

目標建議的實例級分數(shù)按元素乘積計算得到X=σ(Xcls)⊙σ(Xde t)，其用于建議選擇和目標檢測器優(yōu)化。最后，計算第c個類的圖像級預測分數(shù)。

對于WSDDN 模型訓練，將式（7）中的pc作為第c 類圖像的預測概率，采用隨機梯度下降方法優(yōu)化損失函數(shù)，分類損失函數(shù)為：

3 實驗

本文主要在PASCAL VOC2007 數(shù)據(jù)集進行實驗，共9 963 張圖像包含20 個目標類別。將數(shù)據(jù)集切分為包含5 009 張圖像的訓練集（驗證集）與包含4 954 張圖像的測試集。實驗過程中只使用圖像級標簽進行訓練。以兩種指標評估性能：①測試集的平均精度（Average Precision，AP）和所有類別的平均AP（mean of AP，mAP）；②CorLoc 對trainval 集進行定位精度評估，即預測框與真實框的重疊率超過50%。本文采用EdgeBoxes 生成初始的目標候選框，將ImageNet 上預訓練的VGG16 網(wǎng)絡作為主干網(wǎng)絡獲取圖像信息，通過特征融合和分割目標一致的表示方法，在獲取高質(zhì)量候選建議框?qū)嶒炛?，證明了其方法的有效性，同時采用WSDDN 進行模型訓練。

采用本文方法可以更好地處理對象邊界處的情況，產(chǎn)生更完整的檢測區(qū)域。為驗證其有效性，本文將（Intersection over Union）IoU 閾值（預測邊界框與真實邊界框的IoU）設置不同的參數(shù)，觀察其性能差距。當IoU 閾值從0.5 提高到0.7 時，結(jié)果變化如表1 所示，由這些結(jié)果可以得出結(jié)論，本文方法能夠選擇更精確邊界的高質(zhì)量區(qū)域框。同時選擇近年來優(yōu)秀的檢測方法進行比較，WSDDN［4］、OCIR［6］、PCL［7］、SLV［8］、C-MIL［10］、WCCN［16］、TS2C［17］，如表2、表3、表4 所示。與當前優(yōu)秀的WSOD 方法比較，本文方法在VOC2007 測試集的AP（%）和驗證集的CorLoc（%）上展示了其良好結(jié)果。同時，如表4 所示，本文方法在定位準確率上展現(xiàn)出非常優(yōu)秀的性能，能定位更完整的目標對象。圖4 也展示了本文方法在圖像中的定位效果，圖中綠色的框為真實注釋框，紅色的框為本文檢測的定位結(jié)果（即IOU＞0.5）（彩圖掃OSID 碼可見）。

Table 1 mAP of different thresholds on the VOC2007 test set表1 VOC2007 測試集上不同閾值的mAP

Table 2 Category detection precision of VOC2007 test set表2 VOC2007 測試集類別檢測精度（%）

Table 3 Localization detection precision of VOC2007 validation set表3 VOC2007 驗證集定位檢測精度（%）

Table 4 mAP of the VOC2007 test set and the localization precision CorLoc of validation set表4 VOC2007 測試集的mAP 和驗證集的定位精度CorLoc

Fig.4 Example of object detection圖4 目標檢測示例

4 結(jié)語

本文提出了一種基于特征融合和分割引導的弱監(jiān)督目標檢測，主要通過CNN 網(wǎng)絡的底層信息進行特征融合和分割引導的一致性表示方法獲取高質(zhì)量的候選框。同時，提出一種新的評估建議標準，即目標一致性表示，不僅能獲取更完整的目標建議框，而且可以很容易地嵌入到流行的弱監(jiān)督目標檢測框架中。與當前優(yōu)秀的方法相比，在VOC2007 數(shù)據(jù)集上的定位準確率達到了非常優(yōu)秀的性能，類別檢測精度也達到了同等性能，甚至在單個類別的精度上有顯著提升。盡管當前弱監(jiān)督學習已經(jīng)取得了不錯的性能，但與完全監(jiān)督學習相比還存在很大差距，但完全監(jiān)督學習又依賴于精確的注釋數(shù)據(jù)，因此弱監(jiān)督目標檢測研究在生活場景中更具有實用性。下一步研究中，將考慮輕量級的網(wǎng)絡結(jié)構(gòu)，增加模型訓練速率。