楊劭然 季彤宇 杜聰 李浩翔

摘? 要：現(xiàn)有基于深度學(xué)習(xí)的顯著性檢測(cè)算法中主要將條件隨機(jī)場(chǎng)用于顯著性圖的后處理，并不參與整個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過(guò)程，因此，在網(wǎng)絡(luò)訓(xùn)練中條件隨機(jī)場(chǎng)并不能對(duì)網(wǎng)絡(luò)產(chǎn)生反饋來(lái)優(yōu)化結(jié)果，同時(shí)增加了網(wǎng)絡(luò)訓(xùn)練的復(fù)雜度。本文提出了一種基于深度條件隨機(jī)場(chǎng)網(wǎng)絡(luò)的圖像顯著性目標(biāo)檢測(cè)方法，能夠端到端地訓(xùn)練整個(gè)模型，同時(shí)將鄰域?qū)︼@著性值的影響融入網(wǎng)絡(luò)，從而在加強(qiáng)顯著性目標(biāo)區(qū)域完整性的同時(shí)抑制背景噪聲。實(shí)驗(yàn)結(jié)果表明所提方法取能夠獲得更好的顯著性。。

關(guān)鍵詞：深度學(xué)習(xí);顯著性;訓(xùn)練模型

引言：

隨著近幾年深度學(xué)習(xí)的大力發(fā)展，在眾多計(jì)算機(jī)視覺(jué)領(lǐng)域上已經(jīng)慢慢超越了傳統(tǒng)的機(jī)器學(xué)習(xí)算法，如，圖像分類、目標(biāo)跟蹤、語(yǔ)義分割等，但這并不意味著傳統(tǒng)機(jī)器學(xué)習(xí)模型思想的過(guò)時(shí)，如何將這些傳統(tǒng)模型融入到深度學(xué)習(xí)中并構(gòu)成端到端的網(wǎng)絡(luò)，從而兼顧深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)模型的優(yōu)勢(shì)是目前各領(lǐng)域?qū)W者討論的熱點(diǎn)。

本文在對(duì)傳統(tǒng)條件隨機(jī)場(chǎng)模型和深度卷積神經(jīng)網(wǎng)絡(luò)研究的基礎(chǔ)上，首先對(duì)經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行改進(jìn)，使其更加適合顯著性目標(biāo)檢測(cè)問(wèn)題，在此基礎(chǔ)上融入條件隨機(jī)場(chǎng)思想，使得每個(gè)像素的顯著性值不僅受到該點(diǎn)特征的影響，而且受到其鄰域的影響，從而更好地優(yōu)化目標(biāo)輪廓和區(qū)域的準(zhǔn)確性。

目前已有基于深度學(xué)習(xí)的顯著性目標(biāo)檢測(cè)算法并取得了較好的效果，如文獻(xiàn)直接借鑒圖像分類的深度學(xué)習(xí)網(wǎng)絡(luò)，并將提取的深層語(yǔ)義特征用于顯著性目標(biāo)檢測(cè)，雖然能夠準(zhǔn)確定位顯著性目標(biāo)的位置并檢測(cè)出目標(biāo)的大部分區(qū)域，但是由于網(wǎng)絡(luò)主要由圖像分類任務(wù)訓(xùn)練得到，而且深層語(yǔ)義信息會(huì)丟失一定的低級(jí)圖像特征和空間分辨率，因此在目標(biāo)的邊緣區(qū)域較模糊。因此一些文獻(xiàn)從主網(wǎng)絡(luò)中不同部分引出分支解決多尺度問(wèn)題，另外有些文獻(xiàn)從輸入圖像著手，將縮放剪切后原始圖像的不同區(qū)域輸入網(wǎng)絡(luò)達(dá)到提取多尺度特征的目的。上述方法在結(jié)合了多尺度信息后，對(duì)于顯著性目標(biāo)提取有一定幫助，但仍然存在目標(biāo)邊緣區(qū)域顯著性值較低甚至缺失的情況。為了獲得更加準(zhǔn)確的顯著性目標(biāo)分割結(jié)果，一些文獻(xiàn)試圖在得到網(wǎng)絡(luò)輸出的結(jié)果后，再使用 CRF 或超像素約束等方式進(jìn)一步優(yōu)化結(jié)果，但是這類算法中后處理往往與深度網(wǎng)絡(luò)獨(dú)立進(jìn)行，這不利于整個(gè)網(wǎng)絡(luò)的訓(xùn)練和收斂過(guò)程。

針對(duì)上述討論的問(wèn)題，本章目標(biāo)是在提取有效多尺度特征，在高空間分辨率的低級(jí)紋理和高度凝練的深層語(yǔ)義特征間建立聯(lián)系，相互影響與融合，得到對(duì)于顯著性目標(biāo)檢測(cè)更具有區(qū)分性的視覺(jué)特征。在此基礎(chǔ)上，將 CRF 融入深度網(wǎng)絡(luò)中，利用每個(gè)像素的鄰域信息共同估計(jì)該點(diǎn)的顯著性值，從而增強(qiáng)目標(biāo)邊緣的準(zhǔn)確性，消除目標(biāo)區(qū)域的空洞，同時(shí)抑制背景區(qū)域的噪聲。

本文的主要貢獻(xiàn)可歸納為以下幾點(diǎn)。

（1）設(shè)計(jì)了多尺度特征提取模塊，用于幫助深層網(wǎng)絡(luò)提高空間分辨率，同時(shí)加入低級(jí)紋理特征。

（2）為了充分利用深層網(wǎng)絡(luò)的語(yǔ)義信息，設(shè)計(jì)了反向優(yōu)化模塊，進(jìn)一步提高深度網(wǎng)絡(luò)的特征表征能力。經(jīng)過(guò)上述兩部分網(wǎng)絡(luò)后提取的多個(gè)特征張量中，均具有較高的空間分辨率和高級(jí)語(yǔ)義特征，但兩者比例不同，對(duì)于不同類型的場(chǎng)景將發(fā)揮各自的優(yōu)勢(shì)。

（3）最后將 CRF 融入上述網(wǎng)絡(luò)中，組成端到端的深度顯著性目標(biāo)檢測(cè)網(wǎng)絡(luò)，一方面增強(qiáng)了目標(biāo)區(qū)域和背景區(qū)域的精度，另一方面端到端的網(wǎng)絡(luò)也使得 CRF 的優(yōu)化過(guò)程中對(duì)特征提取部分產(chǎn)生影響，有助于整個(gè)網(wǎng)絡(luò)的收斂。

1.基于深度條件隨機(jī)場(chǎng)的網(wǎng)絡(luò)建模建立

本章提出了一種深度條件隨機(jī)場(chǎng)（Deep Conditional Random Field，DCRF）模型來(lái)檢測(cè)圖像中的顯著性目標(biāo)。整個(gè)網(wǎng)絡(luò)主要包含三個(gè)部分：多尺度特征提取模塊（Multi-scale Feature Extraction Module，MFEM），反向優(yōu)化模塊（Back-Forward Optimization Module，BFOM）和 深 度 條 件 隨 機(jī) 場(chǎng) 模 塊（Deep Conditional Random Field Module，DCRFM），算法整體框圖如圖1所示。

其中 MFEM 在 VGG-16網(wǎng)絡(luò)基礎(chǔ)上擴(kuò)展而來(lái)，用于捕捉圖像的低級(jí)亮度、顏色和紋理特征和高級(jí)語(yǔ)義特征，具體細(xì)節(jié)見(jiàn)本章第一小節(jié)。BFOM 在 MFEM 基礎(chǔ)上，將目標(biāo)位置和形狀等高級(jí)語(yǔ)義信息反向傳播指導(dǎo)低級(jí)圖像特征，進(jìn)一步優(yōu)化對(duì)圖像的表征能力。最后 DCRFM 在圖像特征空間建立條件隨機(jī)場(chǎng)模型，考慮每個(gè)節(jié)點(diǎn)及其鄰域特征和顯著性值，共同優(yōu)化得到最終顯著性值，第 三小節(jié)給出了該模塊的詳細(xì)解釋。

1.1 多尺度特征提取模塊

多尺度特征提取模塊（MFEM）主要用于提取不同尺度下的低級(jí)圖像特征和高級(jí)語(yǔ)義特征。眾所周知，深度卷積神經(jīng)網(wǎng)絡(luò)在提取圖像特征時(shí)是從低級(jí)到高級(jí)的遞進(jìn)過(guò)程，在淺層網(wǎng)絡(luò)主要提取圖像固有的，內(nèi)在的低級(jí)特征，如亮度、顏色、紋理等，同時(shí)淺層網(wǎng)絡(luò)具有較高的空間分辨率，能夠保留圖像的紋理和邊緣細(xì)節(jié)信息。在較深層的網(wǎng)絡(luò)則對(duì)淺層網(wǎng)絡(luò)提取的初級(jí)特征進(jìn)一步提煉，產(chǎn)生高級(jí)語(yǔ)義特征，但同時(shí)也丟失了大量細(xì)節(jié)信息，具有較低的空間分辨率。顯著性目標(biāo)檢測(cè)任務(wù)需要精確分割出目標(biāo)的完整區(qū)域，因此一方面需要淺層網(wǎng)絡(luò)中的高空間分辨率信息保證目標(biāo)邊緣的準(zhǔn)確，另一方面需要深層網(wǎng)絡(luò)正確提取場(chǎng)景中最顯著的目標(biāo)區(qū)域。

基于上述考慮，本小節(jié)提出 MFEM 同時(shí)兼顧空間分辨率和高層語(yǔ)義信息。鑒于 VGG-16 網(wǎng)絡(luò)在圖像分類上的有效性和簡(jiǎn)潔性，使用 VGG-16 作為 MFEM 的基礎(chǔ)網(wǎng)絡(luò)。方便起見(jiàn)，統(tǒng)一定義卷積神經(jīng)網(wǎng)絡(luò)的輸入為網(wǎng)絡(luò)中訓(xùn)練參數(shù)和偏置參數(shù)，其中表示第l層網(wǎng)絡(luò)，則第l層網(wǎng)絡(luò)的輸出可表示為其中為激活函數(shù)，？為卷積操作。我們首先將輸入圖像尺寸統(tǒng)一轉(zhuǎn)換為 352×352，并設(shè)定網(wǎng)絡(luò)輸出的顯著性圖尺寸為 176×176，最后通過(guò)雙線性差值（Bilinear Interpolation）將每幅圖像轉(zhuǎn)換為實(shí)際尺寸。整個(gè)多尺度特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，首先去除原始 VGG-16 網(wǎng)絡(luò)中的全連接層，并使用前五個(gè)卷積模塊，為了兼顧空間分辨率和高層語(yǔ)義信息，分別對(duì) VGG-16 網(wǎng)絡(luò)的每個(gè)卷積模塊進(jìn)行進(jìn)一步處理。具體而言，最淺層模塊中包含豐富的低級(jí)圖像特征和較高空間分辨率，在此只簡(jiǎn)單使用 128 通道的 3 × 3 卷積核進(jìn)一步提煉特征。對(duì)于中間及深層網(wǎng)絡(luò)模塊，首先使用 128 通道的 3 × 3 卷積核統(tǒng)一每個(gè)模塊輸出的通道數(shù)，然后對(duì)每個(gè)模塊輸出的尺寸進(jìn)行 128 通道的 5 × 5 卷積核的反卷積操作，恢復(fù)空間分辨率。經(jīng)過(guò) MFEM 模塊得到了從淺層到深層總共 5 組 176 × 176 × 128 具有較高空間分辨率的卷積特征。

1.2 反向優(yōu)化模塊

上一節(jié)中MFEM在網(wǎng)絡(luò)的不同部分提取了 5 組具有多尺度信息的卷積特征，主要賦予深層網(wǎng)絡(luò)提取的語(yǔ)義特征較高的空間分辨率，但是對(duì)于淺層網(wǎng)絡(luò)而言，并未受到高層語(yǔ)義信息的優(yōu)化和引導(dǎo)?；诖耍拘」?jié)試圖將深層網(wǎng)絡(luò)提取到的目標(biāo)位置和形狀等語(yǔ)義特征反向優(yōu)化淺層網(wǎng)絡(luò)，整體框圖如圖3所示。

定義第層模塊第部分的MFEM輸出為，第m層模塊的BFOM 輸出為，則第個(gè)模塊的反向優(yōu)化函數(shù)為：

其中⊕表示在卷積特征維度進(jìn)行疊加。

經(jīng)過(guò) MFEM 和 BFOM 后的 5 組卷積特征均同時(shí)具有較豐富的低級(jí)紋理特征和高級(jí)語(yǔ)義特征，差異在于對(duì)低層和高層信息的側(cè)重不同，在淺層網(wǎng)絡(luò)更加側(cè)重于低級(jí)紋理特征和高分辨率，而深層網(wǎng)絡(luò)更加側(cè)重語(yǔ)義信息和顯著性目標(biāo)的區(qū)域和位置特征，為了減少各層模塊特征的損失，對(duì) 5 組特征分別使用 2 通道的 1 × 1 卷積核將其降為兩個(gè)通道的特征，然后對(duì)所有通道的特征進(jìn)行加權(quán)求和得到加權(quán)特征：

其中為第m個(gè)模塊特征的權(quán)重。最后，將和模塊的融合結(jié)果分別輸入 Softmax 函數(shù)，將特征映射到二值顯著性空間，并分別與真值類標(biāo)圖進(jìn)行對(duì)比計(jì)算損失函數(shù)。假設(shè)估計(jì)的顯著性圖為，則可定義為：（式3）

本小節(jié)使用交叉熵函數(shù)計(jì)算顯著性圖與真值類標(biāo)圖中每個(gè)像素點(diǎn)的損失，則損失函數(shù)可表示為：（式4）

其中表示像素i的類標(biāo)，表示像素i為顯著性區(qū)域的概率，* 表示weighted和fuse兩種特征下的結(jié)果。因此可以得到和兩個(gè)特征層面的損失函數(shù)。

1.3 深度條件隨機(jī)場(chǎng)模塊

經(jīng)過(guò)上述兩節(jié)介紹的網(wǎng)絡(luò)處理，從同時(shí)兼顧圖像紋理特征和語(yǔ)義特征的特征模塊中直接估計(jì)出了圖像中每個(gè)像素顯著性值，雖然這些特征能夠較好地表示圖像的內(nèi)容，但是并未考慮像素及其領(lǐng)域之間的相互作用關(guān)系，因此容易出現(xiàn)目標(biāo)邊緣模糊或目標(biāo)區(qū)域缺失等情況，如圖5所示。為了克服上述問(wèn)題，本小節(jié)在特征層上，以每個(gè)像素作為節(jié)點(diǎn)N，在相鄰像素間，即以節(jié)點(diǎn)為中心的8領(lǐng)域上建立連接E，得到圖模型。

在建立CRF之前，為了考慮模型的復(fù)雜性和有效性，本小節(jié)在22×22的特征圖上建立CRF，具體而言，從上兩節(jié)介紹的特征提取網(wǎng)絡(luò)中選取VGG4模塊和MFEM_5_2模塊中第一次反卷積的結(jié)果共同組成22×22分辨率下的特征，在此基礎(chǔ)上建立一元網(wǎng)絡(luò)和二元網(wǎng)絡(luò)分別提取深度特征作為CRF中一元和二元?jiǎng)莺瘮?shù)的輸入。

與傳統(tǒng)CRF模型類似，在節(jié)點(diǎn)i上同時(shí)考慮一元?jiǎng)莺瘮?shù)和二元?jiǎng)莺瘮?shù)，對(duì)CRF的學(xué)習(xí)和優(yōu)化過(guò)程實(shí)際是最大化似然函數(shù)或最小化能量函數(shù)，其中：

考慮到本章中建立的圖模型是有環(huán)圖而非樹(shù)狀結(jié)構(gòu)圖，因而在優(yōu)化過(guò)程中較為耗時(shí)，同時(shí)由于深度學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程中存在大量迭代，因此如果使用傳統(tǒng)的隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）算法優(yōu)化 CRF 模型，整個(gè)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程將會(huì)非常耗時(shí)。

基于上述考慮，本小節(jié)引入分段學(xué)習(xí)（Piecewise Learning）的方式優(yōu)化深度學(xué)習(xí)網(wǎng)絡(luò)中的 CRF 模型，因此條件似然函數(shù)可以定義為獨(dú)立勢(shì)函數(shù)的乘積：

其中，一元?jiǎng)莺瘮?shù)和二元?jiǎng)莺瘮?shù)可分別表示為：

其中為一元網(wǎng)絡(luò)的輸出，為二元網(wǎng)絡(luò)的輸出?？梢钥闯?，和均為在顯著性類標(biāo)上的傳統(tǒng) Softmax 函數(shù)，因此在網(wǎng)絡(luò)迭代過(guò)程中能夠很容易地計(jì)算其梯度并融合到整個(gè)深度網(wǎng)絡(luò)中組成端到端的深度顯著性提取網(wǎng)絡(luò)。DCRFM 的損失函數(shù)可表示為求取最小負(fù)對(duì)數(shù)似然函數(shù)：

綜上所述，本章提出的 DCRF 圖像顯著性目標(biāo)檢測(cè)算法總體損失函數(shù)為：

2.實(shí)驗(yàn)部分

本章算法在 Ubuntu 14 系統(tǒng)上的 Tensorflow 1.2 環(huán)境中完成。網(wǎng)絡(luò)中 VGG1 -VGG5 模塊使用參考文獻(xiàn) [2] 中的預(yù)訓(xùn)練模型初始化，其余所有新增卷積與反卷積層中的權(quán)重均使用隨機(jī)截?cái)嗾植迹═runcated Normal Distribution）初始化，使用初始學(xué)習(xí)率為 10？6 的 Adam 優(yōu)化算法進(jìn)行訓(xùn)練。訓(xùn)練集參考文獻(xiàn) [3] 中的方式，從MSRA-B 中選取 2500 張圖像作為訓(xùn)練，500 張作為驗(yàn)證，剩余 2000 張作為測(cè)試，本章不使用驗(yàn)證集，將 2500 張訓(xùn)練圖像和 500 張驗(yàn)證圖像共同組成本算法的訓(xùn)練集，同時(shí)為了增加數(shù)據(jù)量，再訓(xùn)練過(guò)程中對(duì)每幅圖像進(jìn)行四個(gè)角度（0°，90°，180°，270°）的翻轉(zhuǎn)，最終總共獲得 12000 張訓(xùn)練樣本。此外，輸入圖像尺寸統(tǒng)一修改為 352 × 352，網(wǎng)絡(luò)輸出顯著性圖分辨率為 176 × 176，使用雙線性差值還原為原始尺寸后再與真值類標(biāo)圖進(jìn)行對(duì)比與評(píng)價(jià)。在每個(gè)循環(huán)中CRF訓(xùn)練部分每次迭代 3 次。在配置為單塊NVIDIA Titan X GPU 上訓(xùn)練 20 個(gè) epoch 所用時(shí)間約為 9.4 小時(shí)，測(cè)試階段處理每幅圖像的時(shí)間約為 0.14 秒。

本小節(jié)主要對(duì)比 9 種效果較好的算法，包括 DS，Amulet，MDF，KSR，UCF，HS，MR，BSCA和wCtr。其中最后四種為傳統(tǒng)顯著性目標(biāo)檢測(cè)算法，其余 5 種為基于深度學(xué)習(xí)的顯著性目標(biāo)檢測(cè)算法。公平起見(jiàn)，上述對(duì)比算法均使用作者公布的代碼和默認(rèn)參數(shù)設(shè)置，或者直接使用作者提供的結(jié)果。如圖 3.7 所示，在 PR 上可以看出在 HKU-IS，PASCAL-S 和 SOD 數(shù)據(jù)庫(kù)上均取得了最好的效果，而在其余兩個(gè)數(shù)據(jù)庫(kù)上效果略遜于最好的算法。在 Fm 曲線對(duì)比結(jié)果中，DCRF 除在 ECSSD 上略遜于 Amulet 算法外，其余四個(gè)數(shù)據(jù)庫(kù)上均處達(dá)到了最好的效果，此外 DCRF 的 Fm 曲線在大部分閾值中均能夠保持較高且穩(wěn)定的狀態(tài)，說(shuō)明在目標(biāo)區(qū)域中均保持較高的顯著性值。

圖7五個(gè)數(shù)據(jù)庫(kù)上 PR 曲線對(duì)比結(jié)果

總結(jié)

本文提出了一種端到端的基于深度條件隨機(jī)場(chǎng)的圖像顯著性目標(biāo)檢測(cè)算法，主要包含多尺度特征提取模塊，反向優(yōu)化模塊和深度條件隨機(jī)場(chǎng)模塊。其中多尺度特征提取模塊用于增強(qiáng)深層網(wǎng)絡(luò)的空間分辨率信息，反向優(yōu)化模塊則幫助淺層紋理特征融合高層語(yǔ)義信息，在此基礎(chǔ)上，條件隨機(jī)場(chǎng)模塊的引入有助于優(yōu)化顯著性目標(biāo)區(qū)域，增強(qiáng)目標(biāo)邊界的準(zhǔn)確性，同時(shí)保證目標(biāo)區(qū)域更加完整和均勻。五個(gè)數(shù)據(jù)庫(kù)上的結(jié)果證明了 DCRF 算法在不同場(chǎng)景下的有效性和優(yōu)越性。

作者簡(jiǎn)介：

楊劭然（1998年6月——），男，漢族，河南南陽(yáng)人，本科在讀，上海工程技術(shù)大學(xué)，電子信息工程方向。

季彤宇（1997年9月——），男，漢族，山西陽(yáng)泉人，本科在讀，上海工程技術(shù)大學(xué)，電子信息工程方向。

杜聰（1998年9月——），男，漢族，山西大同人，本科在讀，上海工程技術(shù)大學(xué)，電子信息工程方向。

李浩翔（1998年2月——），男，漢族，河南安陽(yáng)人，本科在讀，上海工程技術(shù)大學(xué)，電子信息工程方向。