劉劍峰，潘 晨

中國計量大學(xué)，杭州 310000

人類視覺具有注意力機制，能夠高效處理場景中最重要信息，是當(dāng)前計算機模擬人類視覺的重要研究方向。其中，顯著目標(biāo)檢測（salient object detection，SOD）是一類自動感知場景中顯著目標(biāo)的方法，能廣泛應(yīng)用于圖像檢索[1]、機器人導(dǎo)航[2]、視覺跟蹤[3]、目標(biāo)檢測[4]等眾多領(lǐng)域。近年來，深度學(xué)習(xí)表現(xiàn)出超群性能，基于深度網(wǎng)絡(luò)的顯著目標(biāo)檢測（deep SOD）算法不斷突破。特征金字塔技術(shù)（feature pyramid network，F(xiàn)PN）[5]往往能在顯著目標(biāo)檢測中發(fā)揮作用。這是由于不同特征層級的信息可以表達不同的目標(biāo)屬性，充分利用這些層級信息，能形成更全面的目標(biāo)檢測結(jié)果，也更符合人類感知。但是在FPN框架中為了產(chǎn)生更好的顯著圖，需要選擇合適的多層特征融合方式。如果不對模型中的信息進行準確的控制，則會引入一些冗余特征，如來自低層的噪聲和來自高層的粗糙邊界等，從而導(dǎo)致模型性能的下降。為了解決上述問題，文獻[6]提出了一種在復(fù)雜結(jié)構(gòu)中引入短連接的方法。文獻[7]提出一種孿生網(wǎng)絡(luò)結(jié)構(gòu)和結(jié)構(gòu)性損失函數(shù)進行清晰邊界預(yù)測的方法。文獻[8]提出了一種使用循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的檢測方法。文獻[9]開發(fā)了一種循環(huán)顯著性檢測模型，該模型通過多路徑周期性連接將全局信息從高層傳輸?shù)綔\層。文獻[10]提出一種直接連接高級別和低級別的特征圖來聚合多級特征的顯著性方法。綜上，現(xiàn)有深度學(xué)習(xí)模型中影響性能的因素較多，模型結(jié)構(gòu)不同、損失函數(shù)不同、池化手段不同等都導(dǎo)致性能差異。如何基于整體框架，綜合考慮這些因素來提升算法性能，是具有意義的研究方向。

本文利用FPN作為基本網(wǎng)絡(luò)結(jié)構(gòu)，針對顯著目標(biāo)檢測算法中的關(guān)鍵問題做了一系列相應(yīng)的改進，實驗表明具有更好的檢測結(jié)果。主要有以下幾點貢獻：

（1）在沿用特征金字塔的良好U型結(jié)構(gòu)[11]基礎(chǔ)上，改進特征融合機制，將特征融合相加操作改為特征融合相乘，使檢測結(jié)果對顯著性區(qū)域更加敏感。

（2）依靠結(jié)構(gòu)性相似損失[12]模擬亮度、對比度和結(jié)構(gòu)對圖片進行相似性判別；使用交并比損失[13]判別圖像感興趣位置的相似性；沿用二值交叉熵損失[14]衡量像素差別。綜合三者可以衡量“全局-局部”損失。

（3）增加殘差特征圖增強模塊，借此強化最高層特征圖語義信息。特征金字塔結(jié)構(gòu)中頂層特征來源單一，通過該方法能增強最高層的信息構(gòu)成，使得具有更準確的高層語義信息。

1 改進的特征金字塔結(jié)構(gòu)方法

1.1 研究現(xiàn)狀

近年來，由于泛化能力強大的深度學(xué)習(xí)方法的發(fā)展，大多數(shù)傳統(tǒng)的顯著性檢測方法被逐漸取代?，F(xiàn)有多種深度顯著目標(biāo)檢測手段，比較流行的有：BASNET[15]、BMPM[16]、DSS[17]等，利用U型結(jié)構(gòu)進行多尺度特征融合檢測顯著目標(biāo)；PAGRN[18]、RAS[19]等采用注意力機制引導(dǎo)獲取顯著區(qū)域；BASNET[15]等利用改良的損失函數(shù)引導(dǎo)算法關(guān)注特定的信息；以及C2S[20]等利用分割網(wǎng)絡(luò)改進顯著性檢測的方法。

上述SOD方法中，BASNET[15]（boundary-aware salient object detection network）首先在編碼解碼結(jié)構(gòu)中得到粗糙結(jié)果，然后串行添加細化方法進行修正，同時混合多種損失得到細粒度結(jié)果，使得網(wǎng)絡(luò)關(guān)注邊界信息。C2S[20]（contour knowledge transfer for salient object detection）提出了一種由輪廓檢測框架改良而來的顯著性檢測網(wǎng)絡(luò)。通過多任務(wù)之間共享參數(shù)的方式來提高精度，介紹了一種標(biāo)記誤差掩膜的方法。PAGRN[18]（progressive attention guided recurrent network for salient object detection）在不同卷積通道和不同空間位置像素中都賦予權(quán)重，通過該權(quán)重構(gòu)造特征，實現(xiàn)注意力機制為導(dǎo)向的顯著目標(biāo)檢測網(wǎng)絡(luò)。BMPM[16]（a bi-directional message passing model for salient object detection）使用不同擴張率的卷積層進行多尺度特征融合，并且引入門控雙向信息傳遞模塊，進行淺層和深層信息傳遞，使特征信息有選擇地被處理。RAS[19]（reverse attention for salient object detection）通過自上而下的途徑來指導(dǎo)殘差顯著性學(xué)習(xí)，同時嵌入反向注意力塊（RA）。反向注意力塊通過更深層次的補充來強調(diào)非顯著區(qū)域。DSS[17]（deeply supervised salient object detection with short connections）提出了從較深側(cè)輸出到較淺側(cè)輸出的幾個短連接。使得更高級別的特征可以定位顯著區(qū)域，而較低級別的特征可以獲得精細的細節(jié)。為了使研究更具有參考價值，以上方法均作為對比實驗的參考算法，詳細內(nèi)容在第2章展示。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出了一個有效的顯著性目標(biāo)檢測框架，見圖1整體框架流程圖。圖中淺紫色C1～C5階段為Resnet[21]編碼層部分，經(jīng)過了圖中深藍色殘差特征圖增強模塊（residual feature augmentation，RFA）生成P6全局引導(dǎo)層。黃色全局融合模塊在解碼層逐漸解碼，整體網(wǎng)絡(luò)采用類似特征金字塔結(jié)構(gòu)，使用淡藍色背景表示。

圖1 整體框架流程圖Fig.1 Whole framework flow chart

在此框架中，編碼解碼的U型結(jié)構(gòu)有利于充分利用層次的特征信息；多尺度的融合機制有利于將高層語義信息和低層位置信息相融合，互補生成有效特征圖，提高檢測的能力；在此結(jié)構(gòu)中多次使用了上采樣和下采樣的操作，目的是使層與層的特征圖可以相互融合，完成多尺度特征的構(gòu)建。

在圖1的整體框架流程圖中，右上方藍色虛線代表全局融合模塊的一分支，對應(yīng)于圖中P4到P3和P3到P2的淡藍色虛線融合方式，將在1.3節(jié)詳細介紹。

1.3 全局融合模塊

特征金字塔利用多尺度融合方式，可將高層語義信息和低層位置信息相結(jié)合。眾所周知，高層次特征圖具有強語義，信息感受野[22]很大，但不具備細節(jié)邊緣等信息。而低層次的特征圖感受野區(qū)域較小，但邊緣位置信息特別豐富。金字塔融合方式能有效提升最終輸出特征圖的感受野范圍，并且保證了一定的細節(jié)內(nèi)容，有效地結(jié)合了兩者的優(yōu)點。

通常特征圖融合機制采用像素間相加的形式，而在實驗中發(fā)現(xiàn)，利用像素點相乘操作可以更好地獲得顯著性目標(biāo)檢測區(qū)域。因此，本文方法在顯著性目標(biāo)檢測中，通過對應(yīng)像素相乘操作來突出位置信息，使圖像對顯著區(qū)域更加敏感，從而提升該區(qū)域的檢測能力。

全局融合模塊對應(yīng)于整體框架圖1中右上角的藍色虛線操作。這里以P4、P5、C3輸入，P3輸出為例。

首先下方C3層經(jīng)過1×1卷積至P4相同通道，P4經(jīng)過上采樣至相同尺寸，執(zhí)行第一步特征層相加操作。如公式（1）所示。緊接著來自最高層的P5經(jīng)過上采樣操作與剛剛相加后的結(jié)果進行像素相乘處理，得到的結(jié)果進行3×3卷積為最后的P3特征層輸出。如公式（2）所示：

考慮到這里的兩次操作可以有很多種替代方式，做了對比實驗分別為使用相乘、相加以及無操作時的顯著性特征圖結(jié)果。圖2融合機制對比圖中三個紅色特征圖對應(yīng)于圖1解碼層的P2、P3、P4層。其中（1）、（2）為不操作，（3）、（4）為兩次相加操作，（5）、（6）為先相加再相乘操作。左上角藍色虛線框為特征融合單元對應(yīng)（5）、（6）圖的藍色虛線區(qū)域內(nèi)操作。通過圖2融合機制對比圖可以發(fā)現(xiàn)不采用任何操作的（1）、（2）圖效果最差，而依次采用相加和相乘處理的（5）、（6）圖層次最明顯，對細節(jié)最敏感。

圖2 融合機制對比圖Fig.2 Merge mechanism comparison diagram

1.4 殘差特征圖增強模塊

FPN（feature pyramid network）特征融合機制從C5階段自頂向下逐層融合，該方式可以獲得圖像上下文信息。低層次位置信息可以獲得高層次語義信息的增強。但問題是，C5層（最高層）由于特征通道減少，只有單一尺度的上下文信息，不兼容于其他層次的特征圖內(nèi)容。

為了改進C5特征層的顯示效果，本文引進殘差特征圖增強模塊，利用殘差分支向原始分支注入不同比率的上下文信息。期望全局上下文信息可以減少P5通道中的信息丟失，同時提高特征金字塔的性能。具體操作如下：

（1）以C5為原始特征，進行比率不變自適應(yīng)池化：將C5原尺寸圖按照一定比率進行上采樣得到3個不同大小的子特征圖。對應(yīng)于圖3（1）和（2）中紫藍黃三種尺度特征圖。比率不變自適應(yīng)池化將最深的語義層進行采樣，考慮了圖像的比率，會使C5層包含更多的有效信息。

（2）再對三個子特征圖進行自適應(yīng)空間融合，如圖3中（2）：以整張圖的維度形成一種注意力。通過注意力得到概率圖，將其乘上3個子特征圖，最后進行像素相加，融合得到P6特征圖，該操作對應(yīng)于圖3中（3）。自適應(yīng)空間融合類似但又不同于PSP[23]（pyramid scene parsing network），它考慮到圖片的不同比率。

圖3 殘差特征圖增強模塊Fig.3 Residual feature graph enhancement

圖3中（1）表示殘差特征圖增強的卷積過程結(jié)構(gòu)圖，（2）為殘差特征圖增強的整體流程，（3）為RFA中的自適應(yīng)空間融合的具體結(jié)構(gòu)圖。

1.5 損失函數(shù)

通常衡量兩張圖的相似程度使用均方誤差，但是對于一些在亮度降低或?qū)Ρ榷日{(diào)整的情況，均方誤差的誤差程度相差特別大，但兩張圖在內(nèi)容表現(xiàn)上還是很相似的。為了避免出現(xiàn)類似問題，本文引進了一種SSIM結(jié)構(gòu)性相似損失，該損失模仿圖片的3個特征（亮度、對比度和結(jié)構(gòu)性）判斷兩張圖像是否相似。其中亮度的μx表示N個像素點的平均亮度，見公式（3）。l(x,y)表示衡量兩個圖片的亮度相似度，見公式（4）。

對比度σx表示圖片明暗變化劇烈程度，利用像素的標(biāo)準差來表示，如公式（5），并使用公式（6）的c(x,y)來衡量對比度相似性。

結(jié)構(gòu)性s(x,y)利用兩個圖片的歸一化向量表示，然后使用余弦相似度衡量相似程度，而協(xié)方差公式表達式可以使用σxy表示如公式（7）所示，最后化簡為公式（8）所示。

同時，還聯(lián)合IOU（intersection over union）損失函數(shù)為了使得結(jié)果更好地逼近二值顯著性區(qū)域。IOU可以反映預(yù)測檢測框與真實檢測框的檢測效果，并且該損失對尺度不敏感具有尺度不變性，在回歸任務(wù)中有很好的表現(xiàn)。

IOU損失也就是交并比損失。不僅可以確定正樣本和負樣本，還可以計算得到候選框與真實值的距離。

BCE（binary cross entropy loss）二元交叉熵損失可以運用在大多數(shù)的分割任務(wù)中，同時也是常用的分類任務(wù)損失，起到像素的分類任務(wù)。

本文模型的損失函數(shù)采用以上三種損失結(jié)合的方式。其中利用二值交叉熵的分類準確性進行判斷，利用交并比的位置敏感性調(diào)整整體區(qū)域，利用結(jié)構(gòu)性相似的圖像準確性監(jiān)督圖像細節(jié)。三者使用相同權(quán)重共同計算整體損失。TotalLoss表示整體損失函數(shù)構(gòu)成，如公式（13）所示：

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)來源與實驗設(shè)置

本文選擇5個最具代表性的數(shù)據(jù)集進行實驗測試：DUTS[24]、HKU-IS[25]、PASCAL-S[26]、SOD[27]、DUT-OMRON[28]數(shù)據(jù)集。其中DUTS數(shù)據(jù)集包含10 553個訓(xùn)練圖像和5 019個測試圖像，分別為DUTS-TR和DUTS-TE。HKU-IS數(shù)據(jù)集包含4 447個帶有注釋的圖像。PASCAL-S數(shù)據(jù)集包含850張來自PASCAL VOC數(shù)據(jù)集的圖像并帶有標(biāo)簽。SOD數(shù)據(jù)集包含來自7個對象的300張帶有標(biāo)簽的圖像。DUT-OMRON數(shù)據(jù)集包含5 168張真實標(biāo)記的圖像。

本文方法將與當(dāng)前流行的6種顯著性目標(biāo)檢測方法BASNET[15]、C2S[20]、PAGRN[18]、BMPM[16]、RAS[19]、DSS[17]進行實測效果圖和檢測精度對比。

同時本研究采用的是DUTS-TR數(shù)據(jù)集訓(xùn)練，圖片數(shù)量為10 553張。并且實驗設(shè)置中學(xué)習(xí)率為1E-4，權(quán)重衰減為0.000 5，優(yōu)化器為Adam，動量為0.9，迭代次數(shù)為24輪，損失函數(shù)參見1.5節(jié)。

2.2 評價指標(biāo)

為了增加實驗說服力，使用測量性能指標(biāo)準確率-召回率曲線（P-R曲線）、準確率和召回率的綜合評價指標(biāo)（F度量值，F(xiàn)-measure[29]）和平均絕對誤差（MAE[30]）三種評價標(biāo)準進行實驗結(jié)構(gòu)分析，對應(yīng)的計算公式如下：其中，S和G是預(yù)測的結(jié)果和人工標(biāo)注的真值圖，W和H為圖像的寬和高，x和y為像素點的橫縱坐標(biāo)。

2.3 消融實驗

本文方法采用了表1中相應(yīng)的策略進行優(yōu)化，其中EX表示不同的實驗，每行代表不同方法組合下的實驗結(jié)果，AM（add-merge）代表相加融合機制，MM（multiplymerge）代表相乘融合機制，GM（globle guidance module）代表全局引導(dǎo)模塊，RFA（residual feature augmentation）代表殘差特征增強模塊，SI（ssim-iou-bce）代表組合結(jié)構(gòu)性相似、交并比和交叉熵作為損失函數(shù)的方法。該實驗為DUTS-TE數(shù)據(jù)集測試得到的結(jié)果。

通過表1可見，表中第一行和第二行在只改變?nèi)诤戏绞綏l件下，相乘融合有更低的MAE和更高的MeanF，并且相乘操作得分普遍高于相加操作，說明相乘處理是有效的改進方式。而在RFA殘差特征增強模塊的實驗中發(fā)現(xiàn)，該處理都有0.1～0.2個百分點的提升。說明確實存在最高層特征圖P5信息單一，而逆向構(gòu)造的P6層可以強化最高層，解決最高層特征圖信息不豐富的問題。通過表1中第四行和第五行的實驗結(jié)果發(fā)現(xiàn)，添加了SI（SSIM&IOU&BCE）操作可以在三種指標(biāo)中同時獲得提升，說明在三種損失函數(shù)的監(jiān)督下可以比單獨使用二值交叉熵（BCE loss）獲得更高的泛化能力，具備更好的檢測精度。

表1 本文提出方法的消融實驗表Table 1 Ablation experiments for proposed method

2.4 對比實驗

對主流顯著性目標(biāo)檢測方法BASNET、C2S、PAGRN、BMPM、RAS、DSS進行對比實驗，得到相應(yīng)的PR曲線圖和F-measure曲線圖，同時獲得以MAE、maxF、meanF作為指標(biāo)值的表格，見表2，其中DT、MK、MB分別為訓(xùn)練集DUTS-TR、MSRA10K、MSRA-B數(shù)據(jù)集的結(jié)果。

如圖4的PR圖中，本文方法對應(yīng)圖中紅色曲線，可以看到本文方法基本都超過其他主流方法，雖然在DUT-OMRON數(shù)據(jù)集中，結(jié)果出現(xiàn)波動，偶爾和BASNET效果持平，但是不影響最終的評判結(jié)果。觀察圖4的F-measure圖，可發(fā)現(xiàn)本文方法依舊保持良好效果，但是出現(xiàn)在DUT-OMRON數(shù)據(jù)集中略低于BASNET。分析原因，BASNET在損失函數(shù)和編碼結(jié)構(gòu)上與本文算法相似，而BASNET通過串行修復(fù)網(wǎng)絡(luò)進行修復(fù)，修復(fù)能力有一定隨機性，可能對DUT-OMRON數(shù)據(jù)集敏感，所以有一定的性能提升。綜上PR圖和F-measure圖，本文方法保持較高準確率的前提下獲得了更好的F-measure值結(jié)果，可以認為該方法在各種場景和數(shù)據(jù)集中具有很好的泛化能力和檢測能力。

圖4 不同數(shù)據(jù)集下各種方法的PR圖和F-measure圖Fig.4 PR graph and F-measure graph of various methods under different data sets

由表2可見多個數(shù)據(jù)集下，本文方法基本都超過主流方法，雖然在DUT-OMRON數(shù)據(jù)集下meanF指標(biāo)略遜于BASNET，但是差距非常小，不影響本方法的整體表現(xiàn)。所以可以認為本文提出的顯著性目標(biāo)檢測方法具有場景適應(yīng)性。

表2 不同數(shù)據(jù)集下各種算法的實驗對比表Table 2 Experimental comparison table of various algorithms under different data sets

可以在圖5實驗效果對比圖中看到本文方法和主流方法的實際效果。本文方法基本保持了較高水準的檢測結(jié)果。著重于BASNET的對比分析中，BASNET雖然也采用了多種損失函數(shù)混合的方式，但是由于其模型結(jié)構(gòu)并沒有多次特征融合處理，僅依靠后續(xù)串行修正并不能達到特別好的效果，可以觀察到BASNET的模糊白噪聲場景的情況比較多。

圖5 各種方法下的實驗效果對比圖Fig.5 Comparison diagram of experimental results under various methods

3 結(jié)束語

本文改進了顯著目標(biāo)檢測算法的損失函數(shù)，結(jié)合了多種具有不同特點的損失函數(shù)，使得模型訓(xùn)練時同時關(guān)注圖像邊緣信息、位置細節(jié)信息和語義分類信息。通過修改特征金字塔網(wǎng)絡(luò)的融合機制，使得深度網(wǎng)絡(luò)模型對顯著性目標(biāo)區(qū)域更加敏感。利用殘差特征圖增強模塊逆向構(gòu)建更高層特征圖，以此增強最高層特征圖的語義信息，有效避免最高層的信息來源單一問題。采用全局指導(dǎo)模塊，將高層語義信息作用于每一層解碼層中，指導(dǎo)加強語義能力，進而獲得一種高精度的檢測網(wǎng)絡(luò)。本文在常用的幾個數(shù)據(jù)集上對比了最新主流方法進行實驗。實驗結(jié)果顯示，本文方法可以取得良好的檢測結(jié)果，準確地定位顯著性目標(biāo)物體。