李波 饒浩波

(華南理工大學(xué) 電子與信息學(xué)院，廣東 廣州 510640)

顯著性目標(biāo)檢測任務(wù)主要是將圖像中最具有視覺差異性的區(qū)域分割出來，相關(guān)方法被廣泛應(yīng)用于其他計(jì)算機(jī)視覺任務(wù)的預(yù)處理中，如圖像編輯[1]、圖像描述[2- 3]、問題回答[4]等。

早期的顯著性目標(biāo)檢測算法依賴于研究者定義的特征，主要分為色彩分布和先驗(yàn)假設(shè)。如一些工作[5- 7]依據(jù)像素與區(qū)域之間的色彩對比分析來判定該像素的顯著值。另外，Liu等[8]假設(shè)顯著性目標(biāo)處在圖像的中心區(qū)域，然后利用多尺度對比、顏色空間分布以及圖像中心區(qū)域直方圖來檢測圖像中的顯著目標(biāo)；Sun等[9]則假設(shè)邊緣像素為背景，于是將圖像的左側(cè)和頂側(cè)假設(shè)為背景，然后通過馬爾科夫吸收概率得到顯著圖，并利用擴(kuò)散機(jī)制、超像素抑制函數(shù)和引導(dǎo)過濾器進(jìn)一步優(yōu)化完成檢測。這些典型的傳統(tǒng)檢測算法取得了比較優(yōu)異的性能，但是由于人工定義特征的語義表達(dá)能力有限，在具有復(fù)雜背景的場景中，算法檢測性能嚴(yán)重受到制約。

近些年，得益于全卷積神經(jīng)網(wǎng)絡(luò)(FCN)高效的特征提取能力，顯著性檢測的有關(guān)研究者們做了大量工作，極大地提升了顯著性目標(biāo)檢測模型的性能，如：崔冬等[10]利用FCN提取圖像的多級深度特征并融合深層和淺層的卷積特征，然后采用傳統(tǒng)的隨機(jī)游走方法加強(qiáng)全局和局部特征之間的關(guān)系來得到最終的顯著圖；Hou等[11]在深層和淺層網(wǎng)絡(luò)之間引入短連接，短連接結(jié)構(gòu)沿通道拼接深層強(qiáng)的語義特征和淺層細(xì)節(jié)信息；Li等[12]分層地進(jìn)行特征拼接來融合特征以得到淺層邊界信息和高層語義信息，然后通過邊界信息采用特征相加的方式引導(dǎo)深層特征得到顯著圖。然而每層的特征對于提升模型性能的作用不同，直接將不同層的特征融合不是最優(yōu)的方案，因此Zhang等[13]引入注意力機(jī)制，在每層先采用注意力機(jī)制權(quán)重化深層特征，強(qiáng)化利于完成任務(wù)的特征且濾除冗余信息，然后將權(quán)重化的深層特征與淺層特征融合以得到增強(qiáng)的特征；Wei等[14]根據(jù)注意力機(jī)制思想，將深層特征和淺層特征相乘得到它們共同的特征，然后將其分別與輸入的深層特征、淺層特征直接相加來增強(qiáng)對應(yīng)的深層和淺層特征。這些出色的工作極大地提升了顯著性檢測模型的性能。

然而，目前的算法直接采用特征拼接、特征相加甚至注意力機(jī)制將FCN提取的特征進(jìn)行簡單的融合，沒有根據(jù)任務(wù)的具體場景有針對性地增強(qiáng)特征，尤其是對于背景復(fù)雜、前景目標(biāo)和背景元素雜糅的圖像，依然存在目標(biāo)誤檢和漏檢問題。本文分析目標(biāo)的誤檢和漏檢的原因有以下3點(diǎn)：①目標(biāo)誤檢多發(fā)生于顯著性目標(biāo)的背景復(fù)雜的場景中，此時(shí)背景的噪聲對顯著性目標(biāo)的判定造成了極大的干擾，尤其是當(dāng)背景的顏色和紋理與前景目標(biāo)相似的情況下，極易將其誤檢為前景目標(biāo)。②目標(biāo)誤檢還會(huì)出現(xiàn)在前景目標(biāo)和背景交織雜糅的場景，交織邊界處的背景極易被誤檢為前景目標(biāo)。③模型在網(wǎng)絡(luò)最深層產(chǎn)生的分辨率較低且細(xì)節(jié)信息匱乏的顯著圖在不斷解碼為高分辨率顯著圖的過程中，由于細(xì)節(jié)信息修復(fù)不充分而發(fā)生目標(biāo)漏檢，尤其是在目標(biāo)的邊緣與內(nèi)部區(qū)域，主要表現(xiàn)為預(yù)測的目標(biāo)內(nèi)部灰度一致性差。而現(xiàn)有算法僅依賴于強(qiáng)化淺層特征中的前景信息來得到更強(qiáng)的特征，這可能不是最優(yōu)的策略，因?yàn)槁z的目標(biāo)信息極有可能被淹沒在背景特征中。

根據(jù)以上分析，文中提出了復(fù)雜場景下特征增強(qiáng)的顯著性目標(biāo)檢測方法。不同于現(xiàn)有模型中采用特征拼接、相加以及注意力機(jī)制等特征增強(qiáng)策略，本文著眼于顯著性目標(biāo)漏檢和誤檢易發(fā)生的背景復(fù)雜、前景目標(biāo)和背景元素雜糅的場景，面向顯著性目標(biāo)更精細(xì)的分割需求提出了差異化的特征增強(qiáng)方法，以提高模型在復(fù)雜場景中對細(xì)節(jié)的檢測與分割能力。具體工作包括：①背景復(fù)雜場景中目標(biāo)和背景噪聲的顏色、紋理相似，在局部感受野上無法準(zhǔn)確識(shí)別前景目標(biāo)，本文從全局感受野角度出發(fā)，提出了全局上下文信息提取和增強(qiáng)方法，在網(wǎng)絡(luò)的最深層進(jìn)一步擴(kuò)展卷積核的感受野來提取全局特征，同時(shí)將全局特征直接傳遞到其它網(wǎng)絡(luò)層，使得各層特征得到全局化增強(qiáng)，在復(fù)雜背景中對顯著性目標(biāo)魯棒。②針對目標(biāo)和背景交織場景中，模型對目標(biāo)結(jié)構(gòu)缺乏感知，極易將背景誤檢為顯著性對象的問題，本文提出了結(jié)構(gòu)化信息增強(qiáng)方法，將蘊(yùn)含在淺層中豐富的目標(biāo)空間結(jié)構(gòu)信息融合到深層卷積層，使得增強(qiáng)后的深層特征能夠?qū)δ繕?biāo)的結(jié)構(gòu)敏感，以更準(zhǔn)確地定位前景目標(biāo)。③針對易漏檢的分割區(qū)域，本文基于殘差學(xué)習(xí)的思想設(shè)計(jì)了殘差化特征增強(qiáng)模塊，從背景特征中重新挖掘出丟失的前景信息，然后通過殘差的方式修復(fù)深層的預(yù)測圖。最后，在5個(gè)常用的數(shù)據(jù)集上對文中提出方法進(jìn)行了驗(yàn)證。

1 整體框架

本文設(shè)計(jì)模型的整體框架如圖1所示，整體框架采用“編碼器-解碼器”的結(jié)構(gòu)。其中，編碼器采用已預(yù)訓(xùn)練的VGG16[15]網(wǎng)絡(luò)。顯著性目標(biāo)檢測是像素級的視覺任務(wù)，因此本文將VGG16最后的池化層和全連接層全部丟棄。輸入圖片的尺寸表示為H×W，VGG16各層的輸出表示為Fi，i=1，2，3，4，5。模型的工作過程為：

圖1 顯著性檢測模型的整體框架

(1)在原始圖片輸入模型后，將網(wǎng)絡(luò)各層的Fi輸入多尺度特征增強(qiáng)模塊(MCEM)，在各層提取多尺度信息Mi，使得模型對尺度變化的目標(biāo)魯棒。

(2)結(jié)構(gòu)化信息增強(qiáng)模塊(SIEM)以Mi作為輸入，利用淺層蘊(yùn)含的目標(biāo)豐富的空間結(jié)構(gòu)信息增強(qiáng)深層特征后，得到Zi。Zi能準(zhǔn)確定位前景和背景交織區(qū)域中的前景部分，避免發(fā)生目標(biāo)誤檢。

(3)在Z5后接入全局上下信息提取模塊(GCEM)，進(jìn)一步擴(kuò)展卷積層的感受野，提取出全局特征G。

(4)將全局特征G直接輸入給特征全局性增強(qiáng)方法(GFEM)，GFEM融合全局特征G和各層的特征，使得各層特征得到全局性增強(qiáng)，從而使每層輸出的深度特征Ri均可對背景復(fù)雜中的目標(biāo)魯棒。

(5)將MCEM、SIEM以及GFEM的輸出傳給殘差化特征增強(qiáng)模塊(RFEM)，RFEM從背景中學(xué)習(xí)丟失目標(biāo)的特征，漸進(jìn)地以殘差T修補(bǔ)顯著圖S。

1.1 多尺度特征增強(qiáng)模塊

輸入模型的原始圖片種類不一、分割對象不同且尺度變化大。VGG16在各層的感受野單一，缺乏多樣的感受野，導(dǎo)致每層無法捕獲到尺度變化的MCEM包含4個(gè)子分支，利用不同因子的池化操作對輸入特征下采樣以獲取尺寸不同的感受野。然后下采樣的特征經(jīng)過3×3卷積層和上采樣層恢復(fù)到與輸入特征尺寸一致。MCEM采用殘差連接，既保證了梯度流的更新，又保證了模塊增強(qiáng)后的輸出不會(huì)比原始輸入特征弱。具體操作表示為：

目標(biāo)。本文基于池化技術(shù)對原始特征增強(qiáng)，圖2是MCEM的具體結(jié)構(gòu)。

圖2 MCEM結(jié)構(gòu)圖

Mi=φ(Sum(φ(D8(Fi)，w1)，φ(D4(Fi)，

w2)，φ(D2(Fi)，w3)，F(xiàn))，w)

(1)

其中，Sum代表像素相加操作；φ表示一個(gè)3×3的卷積層；D8、D4、D2分別表示因子為8、4、2的下采樣層；w1、w2、w3、w代表卷積層的參數(shù)。采用池化技術(shù)的優(yōu)點(diǎn)有：①池化能幫助特征去除噪聲，捕捉語義信息；②不同核的池化能進(jìn)一步獲取不同的感受野，從而適應(yīng)尺度變化的目標(biāo)。

1.2 結(jié)構(gòu)化信息增強(qiáng)模塊

前景和背景交織在一起給模型定位顯著性目標(biāo)帶來了極大的困難。交織區(qū)域中的前景和背景相互雜糅，模型極易將背景誤檢為前景。原因在于深層語義特征定位目標(biāo)的過程中缺乏對目標(biāo)的結(jié)構(gòu)化細(xì)節(jié)信息的感知，導(dǎo)致模型無法對交織的前景和背景做出有效的區(qū)分。因此本文將淺層網(wǎng)絡(luò)蘊(yùn)含的目標(biāo)結(jié)構(gòu)化信息傳遞給深層網(wǎng)絡(luò)，增強(qiáng)深層特征使其對目標(biāo)的結(jié)構(gòu)具有魯棒性，從而達(dá)到區(qū)分交織前景和背景區(qū)域的效果。文獻(xiàn)[16]提出目標(biāo)的定位在最深的3層，因此本文在網(wǎng)絡(luò)最深的3層進(jìn)行特征結(jié)構(gòu)化增強(qiáng)。

本文設(shè)計(jì)了SIEM實(shí)現(xiàn)特征的結(jié)構(gòu)化增強(qiáng)，其部署在網(wǎng)絡(luò)最深的3層，分別為SIEM- 3、SIEM- 4和SIEM- 5，它們的結(jié)構(gòu)相同，具體位置如圖1所示。為了更加充分地挖掘出淺層網(wǎng)絡(luò)蘊(yùn)涵的目標(biāo)結(jié)構(gòu)化信息，以有效地結(jié)構(gòu)化增強(qiáng)深層特征，SIEM 的輸入部分采用了密集連接的方式，即當(dāng)前SIEM的輸入為前面所有層的MCEM的輸出(如圖1所示)，這也使得它們的輸入數(shù)量不同。而在模塊內(nèi)，SIEM在不同的輸入特征后接入不同因子的池化層，可以使得不同尺寸的輸入特征匹配當(dāng)前深層特征的尺寸。

為了方便起見，本文僅以SIEM- 3為例討論結(jié)構(gòu)化信息增強(qiáng)模塊，其結(jié)構(gòu)如圖3所示。SIEM- 3的輸入是較淺的3層網(wǎng)絡(luò)經(jīng)過多尺度增強(qiáng)之后的特征Mi(i=1，2，3)，隨后將Mi(i=1，2)分別經(jīng)過因子為4和2的池化操作，使其尺寸與M3匹配。然后將Mi沿通道維度拼接得到Q1。由于不同層的特征對于目標(biāo)的定位起不同的作用，因此在Q1后加入通道注意力模塊(CA)。CA首先對輸入特征在空間維度上進(jìn)行平均池化和最大池化得到兩種特征向量，這樣可以更好地保留原始特征的紋理和前景信息；然后將這兩種特征向量輸入到一個(gè)參數(shù)共享的多層感知機(jī)(MLP)，MLP為3層瓶頸式全連接層網(wǎng)絡(luò)。最后將MLP輸出的兩種特征向量相加并經(jīng)過Sigmoid激活函數(shù)得到通道注意向量ac。ac沿通道維度權(quán)重特征Q1，并和Q1殘差相加；最后，通過一個(gè)1×1的卷積層降維得到Z3，并使其和M3的通道維度匹配。整個(gè)過程可表示為：

圖3 SIEM- 3的結(jié)構(gòu)圖

ac=σ(MLP(AP(φ(Cat(M1，M2，M3)，w1)))+

MLP(MP(φ(Cat(M1，M2，M3)，w2))))

(2)

Z3=φ(Q1?ac+Q1，w3)

(3)

式中：MLP表示多層感知機(jī)；AP和MP分別表示平均和最大池化；Cat表示通道維度的特征拼接；?表示特征相乘。

1.3 全局上下文提取模塊

根據(jù)Zhou等[17]的工作，卷積神經(jīng)網(wǎng)絡(luò)理論上的感受野比實(shí)際感受野小，導(dǎo)致網(wǎng)絡(luò)中的感受野是局部的，無法從全局角度準(zhǔn)確判斷每一個(gè)像素是否屬于前景，因此本文提出GCEM,進(jìn)一步擴(kuò)展感受野以得到全局特征。

圖4描述了GCEM的結(jié)構(gòu)，其中C為通道數(shù)量。GCEM的輸入為第5個(gè)卷積層特征F5。工作過程如下：

圖4 GCEM的結(jié)構(gòu)圖

(1)GCEM沿著通道維度將F5分成4等份(X1、X2、X3、X4)，以降低計(jì)算量和模型的參數(shù)量；

(2)每一等份上采用1×k+k×1、k×1+1×k和3×3組成的混合卷積層擴(kuò)大感受野；

(3)受啟于文獻(xiàn)[15]中堆疊小卷積核以實(shí)現(xiàn)大卷積核效果的思想，GCEM級聯(lián)每個(gè)混合卷積層的輸出，即當(dāng)前混合卷積層的輸出作為下一個(gè)混合卷積層的輸入。這樣既能獲得全局感受野，又可進(jìn)一步降低參數(shù)量；

(4)將4等份的輸出沿通道拼接，并采用一個(gè)1×1的卷積層和殘差連接得到最終的全局特征G。為了保證感受野是全局的，本文在F5后級聯(lián)2個(gè)GCEM模塊。

1.4 特征全局性增強(qiáng)模塊

VGG16的各層特征盡管經(jīng)過多尺度增強(qiáng)和結(jié)構(gòu)化增強(qiáng)，但其感受野是局部的，導(dǎo)致模型無法準(zhǔn)確地定位復(fù)雜場景中的目標(biāo)，因此本文進(jìn)一步利用GCEM輸出的全局特征G對各層的特征進(jìn)行全局性增強(qiáng)，一方面去除各層特征中的冗余和噪聲，另一方面使得各層的特征對復(fù)雜場景的目標(biāo)具有魯棒性。

圖5 GFEM的結(jié)構(gòu)圖

(4)

(5)

(6)

(7)

Ri=φ(Cat(V1，V2，V3)，w5)

(8)

其中，up表示雙線性上采樣層。

1.5 殘差化特征增強(qiáng)模塊

將深層低分辨率顯著圖解碼產(chǎn)生最終高分辨率顯著圖的過程中，已有的工作[11，13]重點(diǎn)關(guān)注于強(qiáng)化淺層特征中的前景信息，從而得到更強(qiáng)的特征，并且用其去修復(fù)低分辨率顯著圖。這忽略了淺層特征的背景信息對于目標(biāo)的修復(fù)作用，因?yàn)槁z的目標(biāo)區(qū)域可能被淹沒在背景特征中，所以僅從前景信息無法將漏檢的顯著性區(qū)域召回，造成顯著圖得不到充分的修復(fù)。本文基于殘差學(xué)習(xí)的思想設(shè)計(jì)了RFEM，其從背景中重新學(xué)習(xí)到缺失目標(biāo)的信息，然后用其來補(bǔ)足深層的顯著圖，可以顯著地緩解目標(biāo)漏檢的問題。

由于顯著圖已經(jīng)丟失了豐富的信息，無法從中更充分有效地重新學(xué)習(xí)，因此RFEM-i沒有直接采用顯著圖，而是采用對應(yīng)的特征圖。RFEM-i的輸入為深層特征圖Ti+1和相鄰的淺層特征圖Ri。具體工作過程為：

(1)Ti+1經(jīng)過2倍上采樣，以及經(jīng)Sigmoid函數(shù)歸一化得到模型檢測的前景像素的概率值；

(2)用“1”減去該概率值得到對應(yīng)的背景像素的概率值。利用背景像素的概率值加權(quán)淺層特征Ri得到權(quán)重化的淺層背景特征W_Ri；

(3)W_Ri經(jīng)過一個(gè)3×3的卷積層從背景特征中重新學(xué)習(xí)，得到丟失的前景目標(biāo)信息并與Ti+1殘差相加來補(bǔ)足Ti+1丟失的前景區(qū)域。整個(gè)殘差化特征增強(qiáng)過程如下：

W_Ri=Ri?(1-Sig(up(Ti+1)))

(9)

Ti=up(Ti+1)+φ(W_Ri，w)

(10)

其中，Sig表示Sigmoid函數(shù)。為了促進(jìn)網(wǎng)絡(luò)優(yōu)化，本文在每層加入了輔助監(jiān)督學(xué)習(xí)。RFEM每層的輸出Ti經(jīng)過一個(gè)1×1的卷積層和一個(gè)Sigmoid函數(shù)得到通道數(shù)為1、像素值在[0，1]的顯著圖Si。然后將真值圖進(jìn)行下采樣，與Si尺寸一致。整個(gè)損失函數(shù)Ltotal包含兩部分：最終輸出的顯著圖的主損失函數(shù)和每層的輔助監(jiān)督損失函數(shù)。

(11)

(12)

2 實(shí)驗(yàn)配置

2.1 訓(xùn)練參數(shù)

本文用VGG16參數(shù)初始化模型的前13個(gè)卷積層，其余結(jié)構(gòu)采用Xavier[18]方式初始化。采用Adam[19]優(yōu)化器，初始學(xué)習(xí)率為10-5，在訓(xùn)練15輪之后，學(xué)習(xí)率降為10-6。輔助損失函數(shù)的權(quán)值λi(i=2，3，4，5)分別設(shè)置為0.8、0.5、0.5、0.5。在訓(xùn)練階段，采用水平翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)方法，然后每張圖像被調(diào)整為256×256，再隨機(jī)裁剪成224×224。在測試階段，直接將圖像調(diào)整為224×224，并輸入到模型中產(chǎn)生對應(yīng)的顯著圖。模型每次輸入圖像的數(shù)量為4，即batch大小為4。本文基于DUTS-TR[20]數(shù)據(jù)集訓(xùn)練，在單個(gè)GTX Titan XP GPU上共訓(xùn)練了19輪。

2.2 數(shù)據(jù)集

本文模型和其他方法分別在5個(gè)數(shù)據(jù)集上對比：DUTS-TE[20]、ECSSD[21]、SOD[22]、HKU-IS[23]、PASCAL-S[24]。

2.3 性能評估指標(biāo)

本文采用文獻(xiàn)[25]中的評估方法評估算法的性能，具體包含P-R曲線(P為精確率，R為召回率)、Fβ分?jǐn)?shù)以及平均絕對誤差(EMAE)。P-R曲線常被用來評估預(yù)測的顯著圖，通過在0到255之間滑動(dòng)取得閾值用來二值化顯著圖。然后根據(jù)二值化的顯著圖與真值圖計(jì)算精確率和召回率，而Fβ是綜合性的評估指標(biāo)，計(jì)算公式為：

(13)

為了強(qiáng)調(diào)精確率比召回率更重要，β2設(shè)置為0.3。而EMAE用來計(jì)算預(yù)測的顯著圖和真值圖之間的平均絕對誤差，公式定義如下：

(14)

式中，TS(u，v)、TG(u，v)分別為顯著圖和真值圖中坐標(biāo)為(u，v)的像素的取值。

3 實(shí)驗(yàn)

3.1 消融實(shí)驗(yàn)

本文在DUTS-TE和SOD數(shù)據(jù)集上做了一系列消融實(shí)驗(yàn)來驗(yàn)證和分析本文所提模塊的有效性。

如表1所示：

表1 消融實(shí)驗(yàn)結(jié)果

(1)本文在完整的模型上只去掉MCEM，從No.2可知，F(xiàn)β分?jǐn)?shù)大幅度降低，EMAE上升，表明MCEM能有效提取多尺度信息，增強(qiáng)每層特征，使其能夠捕獲到尺度變化的目標(biāo)；

(2)由No.3可知，模型僅去掉SIEM結(jié)構(gòu)，其他模塊保持不變，使得Fβ和EMAE分別降低和上升，表明SIEM能有效地結(jié)構(gòu)化信息增強(qiáng)深層的語義特征，使得模型能準(zhǔn)確地定位交織區(qū)域中的前景目標(biāo)，避免發(fā)生目標(biāo)誤檢情況；

(3)由No.4和No.5可知，分別去掉GCEM和GFEM時(shí)，F(xiàn)β和EMAE分別呈現(xiàn)降低和上升，證明了GCEM和GFEM從全局的角度確保模型在各層都能適應(yīng)背景復(fù)雜的場景，極大緩解了此場景中的目標(biāo)定位不準(zhǔn)確導(dǎo)致的目標(biāo)誤檢問題；

(4)從No.6可知，僅去掉RFEM時(shí)，F(xiàn)β和EMAE分別下降和上升，驗(yàn)證了RFEM從背景中學(xué)到了丟失的前景目標(biāo)信息，并通過殘差的方式來修復(fù)殘缺的顯著圖，緩解了目標(biāo)漏檢的問題。

3.2 與其他先進(jìn)方法的對比

將文中提出的模型和其他13種先進(jìn)方法(DSS[11]、UCF[26]、DCL[27]、AFNet[28]、PAGR[13]、Amulet[29]、DHS[30]、ELD[31]、NLDF[32]、RFCN[33]、SRM[34]、PiCANet[35]和BMPM[36])對比。這些方法均為近年提出且在5個(gè)數(shù)據(jù)集上表現(xiàn)優(yōu)異。為了公平比較，這些先進(jìn)方法的實(shí)驗(yàn)數(shù)據(jù)來自原文，或者根據(jù)原文作者提供的源代碼測試產(chǎn)生。

從定量角度分析，表2列出了文中模型和其他13種先進(jìn)方法在5個(gè)數(shù)據(jù)集上的性能評估指標(biāo)結(jié)果。從表2中可知，文中模型在不同數(shù)據(jù)集以及不同的指標(biāo)上均優(yōu)于13種對比方法，從而證明了文中提出模型的有效性。根據(jù)文中模型與其他13種先進(jìn)方法在4個(gè)數(shù)據(jù)集上的測試結(jié)果，畫出了P-R曲線，如圖6所示?？梢钥吹轿闹心Ｐ偷腜-R曲線均優(yōu)于其他模型的P-R曲線。

(a)DUTS-TE上

表2 在5個(gè)數(shù)據(jù)集上文中模型和其他13種先進(jìn)方法的定量比較1)

為了更直觀地從視覺角度觀察模型的性能，圖7展現(xiàn)了文中模型和其他13種先進(jìn)方法在測試集上輸出的顯著圖。由圖可知：第1列的第1和第2張圖目標(biāo)的尺度變化非常大，但文中模型仍能很準(zhǔn)確地分割出目標(biāo)，從而驗(yàn)證了MCEM能有效緩解目標(biāo)尺度變化大的情況；第3張圖前景和背景的顏色、紋理非常接近，嚴(yán)重干擾前景的檢測，文中模型依然能準(zhǔn)確定位目標(biāo)，不會(huì)將背景誤檢為前景，說明GCEM和GFEM有效地緩解了背景復(fù)雜場景中的目標(biāo)誤檢問題；第4和第5張圖中蜷曲的

第1列原始圖像來自測試數(shù)據(jù)集；第2列為真值圖；第3列是文中模型產(chǎn)生的顯著圖；從第4列至最后1列為其他13種先進(jìn)方法產(chǎn)生的顯著圖

蛇和背景交織在一起，蛇中間的背景極易被誤判為前景，而文中模型能很好地將交織的背景剔除，準(zhǔn)確定位出交織中的前景，證明文中提出的SIEM可有效地緩解交織場景中的目標(biāo)誤檢問題；第6張圖中的蝸牛觸角能有效地被文中模型分割出來，以及第7張圖中風(fēng)車的風(fēng)葉和底座能被完整地分割，分割的結(jié)果內(nèi)部灰度一致，從而驗(yàn)證了RFEM結(jié)構(gòu)能從背景中學(xué)到目標(biāo)的邊緣和內(nèi)部丟失的部分，最終得到灰度一致的完整顯著圖。相對地，其他模型在這些復(fù)雜場景下無法分割完整的目標(biāo)。

4 結(jié)論

根據(jù)已有工作中在復(fù)雜場景下存在的目標(biāo)誤檢和漏檢的問題，文中提出了針對性的特征增強(qiáng)方法。由于目標(biāo)誤檢主要發(fā)生在目標(biāo)和背景交織以及背景復(fù)雜的場景中，因此本文分別從結(jié)構(gòu)化和全局性角度對原始特征增強(qiáng)，從而避免交織中的背景以及復(fù)雜的背景環(huán)境對前景目標(biāo)定位帶來干擾。此外，目標(biāo)漏檢多發(fā)在低分辨率顯著圖解碼為高分辨率顯著圖的過程中，尤其是目標(biāo)的邊緣和內(nèi)部，本文在解碼的過程中，從背景中重新學(xué)習(xí)前景丟失區(qū)域的信息，然后利用殘差的方式補(bǔ)足和修復(fù)前景目標(biāo)丟失的區(qū)域，最終得到灰度一致的顯著圖。消融實(shí)驗(yàn)的結(jié)果表明，本文所提出的各特征增強(qiáng)方法有效地緩解和解決了顯著性目標(biāo)漏檢和誤檢問題，對比實(shí)驗(yàn)也表明本文所提模型的性能優(yōu)于其他先進(jìn)的檢測方法。由于本文模塊較多、模型復(fù)雜，未來將更加深入探索各模塊之間的聯(lián)系，設(shè)計(jì)一種統(tǒng)一的解決方案，輕量化模型，在保持模型性能的同時(shí)提升算法的運(yùn)行速度。