楊慧婷

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

顯著性檢測(cè)是識(shí)別一幅場景中最重要和最有價(jià)值的部分。它可以被應(yīng)用到許多計(jì)算機(jī)視覺應(yīng)用當(dāng)中，例如圖像檢索、圖像壓縮、內(nèi)容感知的圖像編輯以及目標(biāo)檢測(cè)。顯著性檢測(cè)模型大體上被劃分為自下而上的模型和自上而下的兩種模型。自下而上的模型是基于數(shù)據(jù)驅(qū)動(dòng)的，不需要對(duì)其進(jìn)行訓(xùn)練，而自上而下的模型則是任務(wù)驅(qū)動(dòng)的，且要使用帶有注釋的數(shù)據(jù)進(jìn)行訓(xùn)練。顯著性模型隨著時(shí)間的推進(jìn)劃分為了視覺注意預(yù)測(cè)模型和顯著性目標(biāo)檢測(cè)模型。不同于視覺注意預(yù)測(cè)模型在自然圖像上識(shí)別出少量的人類視覺注意點(diǎn)的目的，顯著性目標(biāo)檢測(cè)主要是要凸現(xiàn)出具有明確邊界的目標(biāo)區(qū)域，這對(duì)于后續(xù)高層次的視覺任務(wù)是大有脾益的。本文主要依據(jù)自下而上的顯著性目標(biāo)檢測(cè)模型。

近年來，基于前景先驗(yàn)的顯著性目標(biāo)檢測(cè)已經(jīng)取得了比較好的檢測(cè)效果。在衡量顯著性前景因素時(shí)，對(duì)比度是最為重要的一個(gè)因素。還有一些研究是通過提取圖像中的一些稀有特征來進(jìn)行顯著性檢測(cè)。由格式塔心理圖形-背景分配原則可知，情景線索在視覺注意點(diǎn)預(yù)測(cè)有比較優(yōu)良的表現(xiàn)，但僅僅依賴于此卻很難凸顯出整個(gè)顯著目標(biāo)。顯著性目標(biāo)檢測(cè)的另外一種有效的方式是利用圖像中的背景先驗(yàn)信息，從而有效地突出顯著性目標(biāo)。假定圖形的邊界為背景，以此有效地提取背景先驗(yàn)信息，從而利用背景先驗(yàn)信息來計(jì)算顯著圖，這種算法也存在缺陷，因?yàn)閳D像邊界并不總是背景信息，當(dāng)顯著性目標(biāo)主體碰觸到圖像邊界時(shí)會(huì)出現(xiàn)算法失效的情況。綜上，本文提出了融合前景先驗(yàn)和背景先驗(yàn)的框架，本框架可以有效使用前景信息和背景信息來進(jìn)行顯著性檢測(cè)。本文提出了一種全新的自下而上的顯著性目標(biāo)檢測(cè)模型。首先利用情景線索挖掘前景先驗(yàn)信息，使用此前景信息對(duì)前景種子定位并進(jìn)行顯著性運(yùn)算，再從圖像邊界地區(qū)提取背景先驗(yàn)種子點(diǎn)，并進(jìn)行顯著性運(yùn)算；然后融合基于前景先驗(yàn)生成的顯著圖和基于背景先驗(yàn)生成的顯著圖；最后使用測(cè)地線距離對(duì)融合的顯著圖進(jìn)行平滑，減少噪聲，均勻地突出整個(gè)顯著區(qū)域，從而得到最終顯著圖。

本文有如下幾點(diǎn)創(chuàng)新：①使用情景線索對(duì)前景先驗(yàn)信息進(jìn)行提?。虎诮⒘艘环N更加穩(wěn)定的種子選取方案，此方案對(duì)于顯著圖生成的準(zhǔn)確性有著有效的效果；③提出了融合前景先驗(yàn)和背景先驗(yàn)的顯著性目標(biāo)檢測(cè)框架。

1 本文算法

本文框架主要分為兩個(gè)并行的子過程：前景顯著性計(jì)算和背景顯著性計(jì)算。然后根據(jù)提取得到的前景種子點(diǎn)和背景種子點(diǎn)，生成兩幅顯著圖，在將兩幅顯著圖進(jìn)行融合，然后使用測(cè)地線距離對(duì)顯著圖進(jìn)行平滑，生成最終顯著圖。本文算法框架如圖1所示。

圖1 本文算法框架

1.1 基于前景先驗(yàn)的顯著圖

本節(jié)主要介紹如何找到可靠的前景種子點(diǎn)，并依此計(jì)算顯著圖。

（1）前景種子點(diǎn)估計(jì)

使用情景線索有效提取前景種子點(diǎn)。采用基于二值分割的BMS方法，充分利用圖圖像中的周圍環(huán)境因素，從而指導(dǎo)前景種子的局部化。將BMS生成的圖像稱為被包圍狀態(tài)圖SB，其中像素值表示為起被包圍度。為了更好地利用結(jié)構(gòu)信息和抽象小噪聲，采用SLIC算法將圖像分解為一組超像素。本文其他的操作也是在超像素上面進(jìn)行的。每個(gè)超像素的被包圍值，是取超像素中的像素值的SB的平均值來定義的，表示為N 是超像素的個(gè)數(shù)。

與之前的文獻(xiàn)將某些區(qū)域設(shè)定為確定的種子點(diǎn)的選取方式不同，本文提供了一個(gè)更加靈活的種子選取方案。定義了兩種不同的種子：強(qiáng)種子和弱種子。強(qiáng)種子歸屬前景/背景的可能性較大，弱種子歸屬前景/背景的可能性較小。對(duì)于前景種子，這兩種種子是通過以下兩個(gè)公式來選取的：

C+表示強(qiáng)種子的集合，C-表示弱種子的集合，i表示第i個(gè)超像素，mean(?)表示平均函數(shù)。從公式（1）（2）可以看出，環(huán)境包圍度較高的超像素更加可能被選為前景種子，這跟人類直覺是一致的。

（2）基于前景先驗(yàn)的顯著圖

利用數(shù)據(jù)固有流形結(jié)構(gòu)進(jìn)行圖像標(biāo)注的排序方法對(duì)上述計(jì)算出的前景種子點(diǎn)進(jìn)行顯著值計(jì)算。排序方法是對(duì)每個(gè)超像素和給定種子集之間的相關(guān)性進(jìn)行序。我們構(gòu)造了一個(gè)能表示整個(gè)圖像的圖，其中每個(gè)節(jié)點(diǎn)都是由SLIC計(jì)算的超像素塊。

排序過程如下所示：定義一個(gè)圖模型G=(V ，E )，V表示圖的結(jié)點(diǎn)，E表示邊，其權(quán)值由關(guān)聯(lián)矩陣定義。度矩陣定義為 D=diag{d11，…，d，nn}。

其中dii=∑jwij，排序函數(shù)則是如下公式定義：

g*結(jié)果向量存儲(chǔ)每個(gè)超像素的節(jié)點(diǎn)最終的排序結(jié)果。y=[ ]y1，y2，…，ynT是種子查詢向量。本文中，兩個(gè)節(jié)點(diǎn)之間的權(quán)值由下列公式定義：

其中，ci和cj表示CIE LAB顏色空間中兩個(gè)節(jié)點(diǎn)對(duì)應(yīng)的超像素的均值，σ是一個(gè)常數(shù)，用來控制權(quán)值的大小。與之前的研究定義如果i表示種子點(diǎn)強(qiáng)查詢，則yi=1，否則yi=0不同，本文把yi定義為額外查詢強(qiáng)度，也即是說，若是i表示種子點(diǎn)強(qiáng)查詢，則yi=1，i表示種子點(diǎn)弱查詢，則yi=0.5，否則yi=0?；谇熬胺N子的排序，在（1）（2）給定種子集的情況下，所有的超像素都按照公式（4）進(jìn)行排序。前景先驗(yàn)的顯著圖如圖2所示。

圖2 基于前景先驗(yàn)的顯著圖

1.2 基于背景先驗(yàn)的顯著圖

背景先驗(yàn)作為前景先驗(yàn)的補(bǔ)充，主要目的對(duì)特征分布中與背景不同的區(qū)域進(jìn)行提取。首先提取背景種子點(diǎn)，然后根據(jù)每個(gè)圖像元素與這些種子的相關(guān)性來計(jì)算它們的顯著性。本節(jié)主要介紹如何找到可靠的背景種子點(diǎn)，并依此計(jì)算顯著圖。

（1）背景種子點(diǎn)估計(jì)

與以往不同僅僅把圖像邊界上的元素當(dāng)成種子點(diǎn)的方式不同，本文把圖像邊界元素劃分為了兩類，強(qiáng)種子點(diǎn)和弱種子點(diǎn)，正如前文前景種子點(diǎn)劃分一樣。將所有邊界元素平均值表示為cˉ。每個(gè)特征向量和平均特征向量之間的歐氏距離是由dc=dist(c，cˉ)這個(gè)公式計(jì)算的，dc的平均值表示為-dc。背景種子點(diǎn)通過下列兩個(gè)公式進(jìn)行評(píng)估：

Cb+ack表示背景強(qiáng)種子點(diǎn)，Cback表示背景弱種子點(diǎn)。

（2）背景種子點(diǎn)估計(jì)基于背景先驗(yàn)的顯著圖

與前景先驗(yàn)計(jì)算顯著圖的相同，若是i表示種子點(diǎn)強(qiáng)查詢，則yi=1，i表示種子點(diǎn)弱查詢，則yi=0.5，否則yi=0。利用公式（3）計(jì)算各元素和背景種子點(diǎn)的相關(guān)性。生成的向量g*中的元素表明節(jié)點(diǎn)和背景種子點(diǎn)的相關(guān)性，其補(bǔ)集就是顯著性衡量的方式。顯著圖是通過下列公式計(jì)算：

計(jì)算基于背景先驗(yàn)的顯著圖的過程如圖3所示。

圖3 基于背景先驗(yàn)的顯著圖

1.3 利用測(cè)地線距離細(xì)化顯著圖

基于前景先驗(yàn)和基于背景先驗(yàn)的顯著圖的融合過程如下：大于兩個(gè)顯著圖顯著性元素平均值的元素值被重新標(biāo)定為顯著性元素，然后把這些新的顯著元素集成為一個(gè)集合。再把這些新的顯著元素當(dāng)作種子點(diǎn)，計(jì)算圖像節(jié)點(diǎn)與新的種子點(diǎn)之間的相關(guān)性，生成融合顯著圖Smap。

本文方法的最后一步時(shí)是測(cè)地線距離對(duì)融合之后的顯著圖進(jìn)行細(xì)化。為何采用測(cè)地線距離是基于觀察得來，即把一個(gè)像素的顯著值確定為周圍像素顯著值的加權(quán)和，其中權(quán)值與歐幾里得分布相對(duì)應(yīng)，在均勻突出顯著目標(biāo)方面有著比較好的性能。從最近的研究來看，權(quán)值可能對(duì)測(cè)地線距離比較敏感，這就為均與地增強(qiáng)突出顯著區(qū)域的目的帶來很大的可能性。

對(duì)于第 j個(gè)超像素，把它的后驗(yàn)概率表示為Scom(j)。利用測(cè)地線距離重新細(xì)化第q個(gè)超像素的顯著值的公式如下：

其中N表示圖像中超像素的總數(shù)，δqj是基于第q個(gè)和第 j個(gè)超像素由測(cè)地線距離衡量的權(quán)值。根據(jù)本文1.1（2）構(gòu)造的圖模型可知，兩個(gè)超像素之間的測(cè)地線距離dg(p，i)可以定義為兩個(gè)超像素在圖上沿其最短路徑累積的邊緣權(quán)值：

以此，可以得到圖像中任意兩個(gè)超像素之間的測(cè)地線距離。然后權(quán)值δpi被定義為其中σc表示所有dc值的偏差。在此步驟后顯著物體被均勻顯示出來，具體結(jié)果可在實(shí)驗(yàn)部分中看到。

2 實(shí)驗(yàn)

本節(jié)主要對(duì)本文提出的模型進(jìn)行實(shí)驗(yàn)和評(píng)估。

數(shù)據(jù)集。在ASD數(shù)據(jù)集和OUT-OMRON數(shù)據(jù)集上對(duì)本文模型進(jìn)行測(cè)試。ASD數(shù)據(jù)集提供了1000個(gè)帶有注解的基于對(duì)象輪廓的顯著性期望預(yù)測(cè)結(jié)果集，OUT-OMRON數(shù)據(jù)集提供了提供更為負(fù)責(zé)的5168個(gè)帶有像素級(jí)注解的顯著性期望預(yù)期結(jié)果集。

評(píng)價(jià)指標(biāo)。為了精確評(píng)估，采用了四個(gè)評(píng)價(jià)指標(biāo)：PR 曲線、F-measure、平均絕對(duì)誤差（MAE）、AUC 分?jǐn)?shù)。圖5為PR曲線，自適應(yīng)閾值的精度、召回率和F測(cè)度值，自適應(yīng)閾值定義為圖像平均顯著性的兩倍。表1和表2顯示了兩個(gè)數(shù)據(jù)集上的MAE和AUC得分。

對(duì)比。將本文提出模型與最先進(jìn)的11的模型相比較，這些模型分別是 CAS、wCtr、FT、DFRI、GBVS、IT?TI、MILPS、MR、PCA、SBD、BMS。如圖 4 可見，結(jié)果表明，本方法能更均勻地突出顯著區(qū)域，特別在PR曲線和MAE分?jǐn)?shù)這兩個(gè)評(píng)價(jià)指標(biāo)上取得了較好的效果。大體來說，此方法還是要優(yōu)于其他方法。

圖4 本文顯著性模型和其他顯著性模型的比較

圖5

表1 ASD數(shù)據(jù)集上MAE和AUC的比較

表2 DUT-OMRON數(shù)據(jù)集上MAE和AUC的比較

3 結(jié)語

本文提出了一種基于前景先驗(yàn)和背景先驗(yàn)互補(bǔ)的顯著性目標(biāo)檢測(cè)框架，主要?jiǎng)?chuàng)新有下列兩點(diǎn)，首先是利用環(huán)境線索對(duì)前景先驗(yàn)信息進(jìn)行了挖掘，并且結(jié)合背景先驗(yàn)信息，證明了方法的有效性；其次是提出了一種更加穩(wěn)定的種子選擇方案。在與其他方法的對(duì)比上也顯示了，本文提出方法的有效性。