李 穎，宋 甜，王 靜

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

顯著性目標(biāo)檢測(cè)（SOD）能夠模擬人類選擇性的分辨出視覺中最重要目標(biāo)的機(jī)制，識(shí)別并提取出圖像中最顯著的目標(biāo)。它是由各種領(lǐng)域中廣泛的對(duì)象級(jí)應(yīng)用驅(qū)動(dòng)的，比如視覺跟蹤、圖像理解、圖像字幕等。

SOD歷史相對(duì)較短，主要分為非深度學(xué)習(xí)和深度學(xué)習(xí)模型。早期的非深度學(xué)習(xí)SOD模型大多基于低級(jí)的手工特征，且依賴于圖片特性（顏色對(duì)比、背景先驗(yàn)等）啟發(fā)，無法實(shí)現(xiàn)端到端的訓(xùn)練。隨著深度學(xué)習(xí)的蓬勃發(fā)展，SOD逐漸從傳統(tǒng)方法發(fā)展到深度學(xué)習(xí)方法，性能得到極大提升。最早的深度SOD模型對(duì)圖像的每個(gè)處理單元提取深度特征，然后訓(xùn)練多層感知機(jī)（MLP）分類器進(jìn)行顯著性評(píng)分預(yù)測(cè)，這種方法不能很好地捕獲關(guān)鍵的空間信息。隨著全卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，Liu等利用CNN可以提取包含低級(jí)局部細(xì)節(jié)和高級(jí)全局語義的多層次特征的特性，開發(fā)了基于VGG網(wǎng)絡(luò)的深度SOD模型，該模型通過使用循環(huán)層逐步組合較淺的特征來細(xì)化粗糙的顯著性地圖。Zhang等利用編碼器-解碼器體系結(jié)構(gòu)來設(shè)計(jì)網(wǎng)絡(luò)，通過學(xué)習(xí)解碼器的不確定性，產(chǎn)生分辨率更高的預(yù)測(cè)?？偨Y(jié)起來，這些模型主要分為單流網(wǎng)絡(luò)模型、多流網(wǎng)絡(luò)模型、U型側(cè)融合網(wǎng)絡(luò)模型等。

Lin等開發(fā)的U型網(wǎng)絡(luò)因?yàn)槟芾枚鄬犹卣鬟M(jìn)行側(cè)融合，恢復(fù)圖片的語義信息被廣泛關(guān)注。因此，目前主流的顯著性目標(biāo)檢測(cè)方法大部分采用U型的編解碼網(wǎng)絡(luò)結(jié)構(gòu)。許多方法直接將編碼器和解碼器通過簡(jiǎn)單的相加或相乘的操作進(jìn)行級(jí)聯(lián)，提取的特征尺度單一，這忽略了不同層級(jí)和尺度特征對(duì)最終預(yù)測(cè)圖的影響，導(dǎo)致最終的預(yù)測(cè)圖缺失上下文語義信息。一些方法為了提取深層特征增加了U型網(wǎng)絡(luò)的深度，雖然可以提取深層特征，但隨著特征金字塔深度的增加局部信息也會(huì)嚴(yán)重?fù)p失。此外，由于接受域的限制，單尺度卷積核難以捕獲大小變化的對(duì)象的上下文信息。為了解決這個(gè)問題，Chen等在其網(wǎng)絡(luò)中直接配置了一個(gè)巨大的空間金字塔池模塊（ASPP）。然而，當(dāng)使用一個(gè)膨脹率較大的卷積時(shí)，由于內(nèi)核下的信息嚴(yán)重缺乏相關(guān)性，這可能不利于細(xì)微圖像結(jié)構(gòu)的辨別。

基于以上的問題，為了充分利用語義和細(xì)節(jié)信息，本文設(shè)計(jì)了一種簡(jiǎn)單而有效的多尺度特征解碼網(wǎng)絡(luò)，通過在編碼和解碼模塊之間增加精煉過渡層和注意力機(jī)制，給各層次特征的通道和空間信息分配不同權(quán)重，以恢復(fù)圖片的細(xì)節(jié)，增強(qiáng)顯著性信息。此外，在網(wǎng)絡(luò)的頂部增加感受野增強(qiáng)模塊，通過空洞卷積擴(kuò)大感受野、殘差連接保留原始信息，可以定位深層特征中不同尺度信息，獲取更精確的顯著性目標(biāo)。最后將不同層的多尺度信息進(jìn)行聚合，提取出最終的顯著圖。在主流的6個(gè)顯著性目標(biāo)檢測(cè)數(shù)據(jù)集上對(duì)比，表明本文的方法優(yōu)于同類方法。

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 模型引入

整個(gè)網(wǎng)絡(luò)包含編碼和解碼兩個(gè)部分，具體如下：

（1）編碼網(wǎng)絡(luò)。VGG-16預(yù)訓(xùn)練骨干網(wǎng)絡(luò)，包含13個(gè)卷積層、5個(gè)最大池化層、2個(gè)全連接層。與其他顯著性目標(biāo)檢測(cè)類似，為了保留最后一層卷積層的細(xì)節(jié)信息，本文丟棄了所有全連接層和最后一層池化層，使其成為全卷積神經(jīng)網(wǎng)絡(luò)。

（2）解碼網(wǎng)絡(luò)。包含四部分：①精煉過渡層（Refining Transition Layer）：將編碼器輸出的多尺度特征～減少通道數(shù)以實(shí)現(xiàn)精煉化。②雙注意力模塊（Dual Attention Module）。從通道和空間上對(duì)精煉過渡層輸出的特征~賦予不同權(quán)重，篩選出有用的語義信息。③感受野增強(qiáng)模塊（Receptive Field Enhancement Mod?ule）。擴(kuò)大感受野，從深層特征定位多尺度信息。④特征融合流（Feature Aggregation Stream）。將不同尺度的解碼信息進(jìn)行融合，生成顯著圖（prediction）。

1.2 多尺度特征解碼模塊

現(xiàn)有的一些RGB顯著性目標(biāo)檢測(cè)在編碼和解碼模塊之間直接通過相加或相乘連接，沒有充分利用圖片語義和細(xì)節(jié)信息。一些方法在U型網(wǎng)絡(luò)的特征融合過程中設(shè)計(jì)復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)將信息從高層次流向低層次以補(bǔ)充細(xì)節(jié)，這雖然可以引入有價(jià)值的人類先驗(yàn)信息，但會(huì)導(dǎo)致訓(xùn)練過程變復(fù)雜，網(wǎng)絡(luò)結(jié)構(gòu)缺乏通用性。

為了充分利用語義和細(xì)節(jié)信息，本文設(shè)計(jì)了一種多尺度特征解碼模塊，首先用精煉過渡層的3×3卷積降低編碼器輸出特征~的維度，以實(shí)現(xiàn)特征的精煉化打磨；然后在多尺度特征的輸出引入雙注意力模塊，在通道和空間上還原編碼器的細(xì)節(jié)信息；最后使用特征融合流將多尺度特征融合。

（1）雙注意力模塊（DAM）。由于特征經(jīng)過編碼器和精煉過渡層后會(huì)損失細(xì)節(jié)信息，直接對(duì)特征進(jìn)行融合效果不佳，為了提高網(wǎng)絡(luò)對(duì)特征圖中空間和通道上信息的利用能力，使解碼器更加關(guān)注顯著性區(qū)域，受［11］啟發(fā)，引入了一種簡(jiǎn)單而有效的雙注意力模塊，此模塊在本文提出的多尺度特征解碼網(wǎng)絡(luò)中起到核心作用，可以與任何深度卷積主干結(jié)合來優(yōu)化網(wǎng)絡(luò)特征。如圖2所示。

圖1 多尺度特征解碼網(wǎng)絡(luò)

圖2 雙注意力模塊

雙注意力模塊包含了一個(gè)連續(xù)的通道注意力操作和一個(gè)空間注意力操作，定義的公式為：

其中f 表示第(=1,2,3,4,5)分支的特征，表示通道注意力操作，表示空間注意力操作。通道注意力操作先用全局最大池化聚合特征圖的空間信息，然后將此特征送入感知機(jī)以產(chǎn)生特征；空間注意力操作是將輸入的特征在通道軸上全局最大池化，然后經(jīng)過7×7卷積。兩個(gè)操作最后一步都是將處理后特征經(jīng)過Sigmoid函數(shù)后與原始輸入特征相乘，公式詳解為：

其中，表示兩層感知機(jī)，是對(duì)每個(gè)特征圖全局最大池化的操作，?表示有維度擴(kuò)展的相乘操作，是卷積操作，是對(duì)特征圖上沿著通道軸每個(gè)點(diǎn)的全局最大池化操作，表示Sigmoid操作。

（2）特征融合流（FAS）。對(duì)多尺度特征進(jìn)行融合，生成最終的顯著圖。具體操作是采用膨脹率為1的3×3卷積塊對(duì)輸入特征通道進(jìn)行降維，可以提取出特征中有效信息，然后將經(jīng)過上采樣操作后的高層次特征與低層次特征逐級(jí)融合。定義如下：

其中D是輸出的解碼模塊，是特征融合流，是基于雙線性插值的上采樣操作。

1.3 感受野增強(qiáng)模塊

在顯著性目標(biāo)檢測(cè)中，由于不同層次特征對(duì)最終預(yù)測(cè)效果的影響不同，深層特征具有更高層次的語義信息，可以為解碼器貢獻(xiàn)更多的上下文指導(dǎo)，為了提升網(wǎng)絡(luò)的魯棒性，可以對(duì)深層特征的多尺度信息進(jìn)行整合。常用的方式有空間金字塔池算法（ASPP）。該方法采用多個(gè)平行的空洞卷積層，具有不同的擴(kuò)張速率，雖然可以不增加網(wǎng)絡(luò)參數(shù)的同時(shí)生成高分辨率特征圖，但隨著膨脹率的擴(kuò)大，連續(xù)空洞卷積時(shí)的稀疏性會(huì)導(dǎo)致采樣點(diǎn)之間的關(guān)聯(lián)太弱，無法提取穩(wěn)定的特征。Inception網(wǎng)絡(luò)采用不同尺度的卷積核獲取多尺度特征，雖然可以獲得不同感受野，但不同的卷積核的采樣中心位置固定，輸出的特征會(huì)更關(guān)注靠近中心部分的信息，這會(huì)失去對(duì)不同視野的分辨能力，造成最終的顯著圖分割不均勻。

基于以上問題，為了獲取不同視野的多尺度特征。受RFB（Receptive Field Block）啟發(fā)，人類視覺系統(tǒng)中不同的感受野應(yīng)該具備不同的離心率，可以將Inception結(jié)構(gòu)與空洞卷積結(jié)合，在擴(kuò)大感受野的同時(shí)模擬人類視覺系統(tǒng)，獲取不同離心率的多尺度信息。因此，在RFB基礎(chǔ)上，本文改進(jìn)了一個(gè)多分支結(jié)構(gòu)的感受野增強(qiáng)模塊（RFEM），該模塊包含了兩部分：多尺度特征提取的分支和殘差連接分支，可以在擴(kuò)大感受野的同時(shí)，保留原始特征信息。模塊的結(jié)構(gòu)如圖3所示，對(duì)4個(gè)分支操作：先用1×1卷積操作對(duì)4個(gè)分支降維，然后對(duì)第(=2,3,4)分支進(jìn)行1×(2-1)和( )2-1×1的卷積操作（膨脹率為1），接著對(duì)第(=2,3,4)分支進(jìn)行3×3卷積操作（膨脹率為2-1），然后將四個(gè)分支的特征進(jìn)行拼接（concat），對(duì)拼接后的特征進(jìn)行1×1卷積操作降維。整個(gè)過程的1×1卷積能減少網(wǎng)絡(luò)參數(shù)量，可以更好的進(jìn)行跨通道信息融合，不同膨脹率的空洞卷積是為了擴(kuò)大感受野，獲取多尺度特征，定位全局顯著信息。最后的殘差連接將拼接后的特征與原始特征相加，以修補(bǔ)局部細(xì)節(jié)信息。整個(gè)模塊的公式定義為：

其中()表示4個(gè)支路的卷積操作，細(xì)節(jié)如圖3。

圖3 RFEM模塊

2 實(shí)驗(yàn)相關(guān)設(shè)置

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文的訓(xùn)練集為DUTS-TR，測(cè)試集使用了六個(gè)常用的基準(zhǔn)數(shù)據(jù)集，包括DUT-OMRON（5168），DUTS-TE（5019），HKU-IS（4447），ECSSD（1000），PASCAL-S（850），SOD（300）。這些圖片包含結(jié)構(gòu)復(fù)雜的前景目標(biāo)、多個(gè)前景目標(biāo)、大型前景目標(biāo)和低對(duì)比度目標(biāo)等具有挑戰(zhàn)性的場(chǎng)景。

2.2 評(píng)價(jià)指標(biāo)

為了綜合評(píng)估顯著圖的質(zhì)量，采用平均絕對(duì)誤差（mean absolute error，MAE），S-measure（structural measure），F(xiàn)-measure來評(píng)估預(yù)測(cè)圖和Ground Truth標(biāo)注圖的誤差。

（1）MAE。平均絕對(duì)誤差，表示預(yù)測(cè)顯著性圖和Ground Truth標(biāo)注圖的平均像素差。定義如下：

其中，和分別是顯著圖和對(duì)應(yīng)的Ground Truth標(biāo)注圖。(,)和(,)分別是圖像高度、寬度和像素坐標(biāo)。

（2）F-measure。用來綜合評(píng)估回歸率和準(zhǔn)確率，定義如下：

其中，和分別是平均準(zhǔn)確率和平均召回率，設(shè)置為0.3。

（3）S-measure。用來評(píng)估預(yù)測(cè)的顯著圖與Ground Truth標(biāo)注圖的結(jié)構(gòu)相似度。定義如下：

其中，S為區(qū)域感知相似度，S為目標(biāo)感知相似度，設(shè)置為0.5。

2.3 實(shí)驗(yàn)細(xì)節(jié)

本文的模型基于Pytorch框架實(shí)現(xiàn)，在一臺(tái)實(shí)驗(yàn)室配備的GTX 1080 Ti GPU（11 GB內(nèi)存）上進(jìn)行網(wǎng)絡(luò)的訓(xùn)練和測(cè)試。在訓(xùn)練階段，為了避免過擬合，采用了數(shù)據(jù)增強(qiáng)技術(shù)，包括對(duì)比度、飽和度變化、隨機(jī)亮度、隨機(jī)水平翻轉(zhuǎn)。采用隨機(jī)梯度下降（SGD）優(yōu)化器。沖量值、權(quán)重衰減和學(xué)習(xí)率分別設(shè)置為0.9、0.0005和0.001。訓(xùn)練時(shí)批次大小batch-size為4，在經(jīng)過40個(gè)ep?och后訓(xùn)練收斂，整個(gè)過程大概需要7小時(shí)。

2.4 損失函數(shù)

本文采用二分類交叉熵?fù)p失函數(shù)（Binary Cross-Entropy Loss）對(duì)的顯著圖進(jìn)行全監(jiān)督訓(xùn)練。定義如下：

其中，和分別是顯著圖和對(duì)應(yīng)的Ground Truth標(biāo)注圖。(,)和(,)是圖像高度、寬度和像素坐標(biāo)。P和P是顯著圖和標(biāo)注圖的像素值。

3 實(shí)驗(yàn)結(jié)果

3.1 消融實(shí)驗(yàn)

為了證明多尺度特征解碼模塊和感受野增強(qiáng)模塊的有效性，本文在4個(gè)主流數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)。Baseline為包含VGG-16骨干網(wǎng)絡(luò)、精煉過渡層和特征融合流的基礎(chǔ)網(wǎng)絡(luò)。1號(hào)實(shí)驗(yàn)表示對(duì)Baseline網(wǎng)絡(luò)進(jìn)行訓(xùn)練和評(píng)估，2號(hào)實(shí)驗(yàn)是雙注意力模塊（DAM）加在Baseline上訓(xùn)練評(píng)估，3號(hào)實(shí)驗(yàn)是將感受野增強(qiáng)模塊（RFEM）加在Baseline上進(jìn)行評(píng)估，4號(hào)實(shí)驗(yàn)是將DAM和RFEM都添加在Baseline上訓(xùn)練評(píng)估。實(shí)驗(yàn)結(jié)果如表1—表2所示。

表1 DUTS-TE和DUT-OMRON數(shù)據(jù)集的消融實(shí)驗(yàn)

表2 ECSSD和PASCAL-S數(shù)據(jù)集的消融實(shí)驗(yàn)

從表中可以看出，在2號(hào)實(shí)驗(yàn)中，四個(gè)數(shù)據(jù)集的優(yōu)化了0.005～0.011，max最多提升了4.7%。在3號(hào)實(shí)驗(yàn)中，四個(gè)數(shù)據(jù)集的優(yōu)化了0.002～0.011，max最多提升了2.6%。在4號(hào)實(shí)驗(yàn)中，可以看出網(wǎng)絡(luò)性能進(jìn)一步提升，值在四個(gè)數(shù)據(jù)集上對(duì)于Baseline優(yōu)化了0.01～0.013，max值提升了2.8%～6.6%。這證明各模塊的有效性。

3.2 與其他方法對(duì)比

將本文方法與其他基于VGG骨干網(wǎng)絡(luò)的方法在測(cè)試集上進(jìn)行比較，結(jié)果如表3和表4所示。從表中可以看到，除了在DUT-OMRON數(shù)據(jù)集的和S值以外，本文方法在其他5個(gè)數(shù)據(jù)集上的評(píng)估指標(biāo)都顯著優(yōu)于最先進(jìn)的AF?Net。其中值都優(yōu)化了0.003～0.007；max和S最多提升了2.0%和1.9%。除了SOD數(shù)據(jù)集的和S值，本文方法也顯著優(yōu)于較先進(jìn)的PiCANet。

表3 本文方法與其他方法在DUTS-TE，DUT-OMRON，HKU-IS對(duì)比

表4 本文方法與其他方法在ECSSD，PASCAL-S，SOD對(duì)比

本文與其他方法的顯著圖進(jìn)行了可視化對(duì)比，從圖4中可以看出，本文的多尺度特征解碼網(wǎng)絡(luò)可以處理不同類型的目標(biāo)，并產(chǎn)生較準(zhǔn)確的結(jié)果。第1行是當(dāng)目標(biāo)前景被雜草和樹枝擋住時(shí)，本文的方法能清晰分割出目標(biāo)整體輪廓。第2行是目標(biāo)在圖片的邊界時(shí)的場(chǎng)景，可以看到依然能正確分割整個(gè)目標(biāo)。第3、4行是針對(duì)多個(gè)目標(biāo)的場(chǎng)景，可以看到所有顯著性目標(biāo)都被分割，邊緣也比較清晰，而別的方法可能有遺漏甚至識(shí)別出其他不相關(guān)物體。第5行是目標(biāo)與背景界限不清時(shí)的場(chǎng)景，本文的方法精度雖然不高，但能基本識(shí)別出目標(biāo)在水面上的形狀，其他方法要么識(shí)別不完整，要么將倒影也識(shí)別出來。

圖4 本文與其他方法的可視化對(duì)比

4 結(jié)語

本文提出了一種基于VGG-16全卷積神經(jīng)網(wǎng)絡(luò)的多尺度特征解碼顯著性目標(biāo)檢測(cè)模型。首先通過使用精煉過渡層和注意力機(jī)制對(duì)編碼器輸出信息進(jìn)行精細(xì)打磨，增強(qiáng)編碼與解碼網(wǎng)絡(luò)之間的信息交換，然后通過感受野增強(qiáng)模塊，在保留局部采樣點(diǎn)相關(guān)性的同時(shí)擴(kuò)大深層特征的感受野，增強(qiáng)全局語義信息，最后結(jié)合多尺度特征融合流將不同層次特征進(jìn)行融合輸出結(jié)果。

通過實(shí)驗(yàn)對(duì)比分析，分別驗(yàn)證了多尺度特征解碼模塊和感受野增強(qiáng)模塊的有效性。此外，將本文的方法在主流數(shù)據(jù)集上與其他先進(jìn)的RGB SOD方法進(jìn)行了定性和定量的對(duì)比，結(jié)果證實(shí)本文的方法能生成更精確的顯著圖。