李 瑤， 吳國新， 趙西偉， 左云波

(北京信息科技大學 現(xiàn)代測控技術(shù)教育部重點實驗室，北京 100192)

0 引 言

人類對于所見的事物不是一概全部吸收，而是有選擇的接納，在復雜場景中選擇性的處理感興趣目標，學術(shù)上稱這種自適應(yīng)選擇的能力為視覺注意機制，而人眼所關(guān)注的部分則為顯著目標[1-2]。視覺注意機制能通過快速鎖定場景中的目標區(qū)域，減少其他區(qū)域目標的信息干擾，從而極大地減少數(shù)據(jù)的處理量，進而加快處理速度[3]。目前，顯著目標檢測已成為計算機視覺領(lǐng)域的熱點研究領(lǐng)域之一[4-5]。

計算圖像顯著性值的方法有很多種，可按照算法基礎(chǔ)大致分為4種：基于信息論、基于生物學、基于頻域和基于對比度[6-7]。Itti等[8]在Koch和Ulman提出的生物學模型啟發(fā)下，提出了Itti模型。該模型綜合考慮了圖像的顏色、亮度、紋理等特征來提取顯著區(qū)域。Bruce等[9]提出的AIM模型屬于信息論模型，其本質(zhì)是最大化來自所處視覺環(huán)境的信息。Harel等[10]提出基于圖論的顯著目標檢測模型（graph-based visual saliency, GBVS），在多個空間尺度提取特征，建立各個特征圖的全連接圖，通過歸一化Itti模型的特征圖來突顯出顯著性區(qū)域。Hou等[11]提出了基于頻域的剩余譜算法（spectral residual approach, SR)，通過對輸入圖像的對數(shù)譜進行分析從而得到顯著性圖。除此之外，還有一些基于對比度的顯著目標檢測方法被提出，如：CHENG等[12]提出的基于全局對比度的顏色直方圖對比度算法（histogram-based contrast, HC）根據(jù)像素與其他像素的色彩差異來分配顯著值，并產(chǎn)生具有全分辨率的顯著性圖像，以及在HC算法的基礎(chǔ)上引入空間信息的區(qū)域?qū)Ρ榷人惴ǎ╮egion-based contrast,RC）。Goferman等[13]提出基于上下文內(nèi)容感知的顯著目標檢測方法（context-aware saliency detection,CA），實現(xiàn)結(jié)果不僅包含要突出的對象，還包含了背景中傳達語境的部分。

現(xiàn)有顯著性目標檢測算法由于考慮圖像特征和先驗知識不夠充分，仍存在邊緣分割、背景剔除和目標形態(tài)提取等方面檢測效果不佳的問題。如：丁祖萍等[14]提出了一種基于顏色和紋理的顯著目標檢測算法，該算法基于分塊的原則將HSV顏色、紋理特征、空間位置關(guān)系進行結(jié)合，在一定程度上強化了局部同質(zhì)的區(qū)域，從而使顯著目標更加完整。但該算法只是通過圖像的顏色和紋理對比分配顯著值，沒有考慮到圖像重疊的問題，因此容易遺漏部分小的顯著目標。劉峰等[15]提出了融合背景感知和顏色對比度的顯著目標檢測方法，該方法通過邊界連通性感知圖像背景，根據(jù)顏色特征提取前景目標，最后進行多特征融合的顯著性優(yōu)化得到顯著圖。該方法對于復雜場景適應(yīng)性比較強，但相對來說顯著區(qū)域小目標輪廓不明顯。

針對上述檢測方法的不足，本文以CA模型顯著圖為基礎(chǔ)，結(jié)合SNIC算法對圖像的超像素分割以及LBP算子對的圖像紋理特征顯著圖得到的最終顯著圖，有效改善了CA顯著圖對顯著目標內(nèi)部區(qū)域紋理特征不均勻、不明顯的缺點。

1 SNIC算法原理

SNIC超像素分割算法采用維持一個優(yōu)先級隊列，以類似遞歸的方法實現(xiàn)從初始超像素質(zhì)心到外圍像素的擴散和聚類，實現(xiàn)單次聚類完成圖像分割。

如圖1所示，原圖像經(jīng)過SNIC分割，輸出500個具有相似顏色、紋理特征的超像素塊，圖中菊花的外輪廓以及灰色背景區(qū)域都被清晰劃分開。從圖中可以看出，SNIC算法的分割結(jié)果形狀規(guī)則，大小均勻。

圖1 分割算法對比圖

SNIC算法主要步驟如下：

步驟1：在全圖初始化K個聚類中心

式中：xk——二維位置向量；

ck——三維Lab色彩空間向量。

利用這K個聚類中心，創(chuàng)建K個元素：

將這K個元素依次存入優(yōu)先級隊列Q中，其中每個標簽k被設(shè)置為從1～K中的唯一超像素的標簽值。

步驟2：將優(yōu)先級隊列Q的頂端元素推出。若推出的元素在標簽圖L[xii]上未被標記，則將聚類中心的超像素標簽ki賦給L[xii]，并且用和的值更新聚類中心C[ki]。依次計算聚類中心到該元素的四鄰域像素點的距離，計算公式如下：

式中：S——空間距離的歸一化因子；

m——顏色距離的歸一化因子。

創(chuàng)建元素ej：

把ej推入優(yōu)先級隊列Q，并按照dj,k的大小排序。

步驟3：如果推出元素的四鄰域像素點已被標記，則已被標記的像素點不推入優(yōu)先級隊列。

步驟4：依次推出優(yōu)先級隊列Q的頂端元素進行計算，直到所有的像素點均被標記，并且優(yōu)先級隊列Q為空時，停止算法運行，輸出超像素標簽圖。

本文采用SNIC算法實現(xiàn)圖像的超像素塊分割，以進行后續(xù)的圖像處理。

2 圖像顯著性計算

2.1 基于超像素的顯著值計算

圖像經(jīng)過SNIC超像素分割后得到了均勻的超像素區(qū)域塊，接著進行基于超像素距離的顯著圖計算。首先針對邊界連通性進行優(yōu)化，計算任意某超像素點與所有超像素點的距離之和，作為該點顯著值的邊緣點判定，最后進行多尺度的優(yōu)化得到顯著圖。具體算法主要步驟如下：

首先建立一個5維的矩陣保存超像素的信息，每行分別為每個超像素的平均橫坐標、平均縱坐標、平均R、平均G、平均B，根據(jù)邊界連通性進行圖像邊界的初步選取，建立無向加權(quán)圖G：

式中：V——超像素集；

E——相鄰超像素邊構(gòu)成的集合。

任意兩超像素i,j間的距離為：

式中：w0——調(diào)整平均坐標對超像素距離的差異性的影響因子；

計算超像素的邊界連通性為：

其中，c表示i當中與邊界相連的像素個數(shù)，當超像素i與邊界相連時c＞0，否則c=0。

邊界連通性為0的超像素視為背景超像素，計算非背景超像素的顯著值。

超像素的不同分割數(shù)量對圖像的分割結(jié)果有比較大的影響，超像素個數(shù)較多，能較多地保留圖像的細節(jié)信息；而超像素個數(shù)較少，則能較多地保留圖像的整體結(jié)構(gòu)信息。本文算法生成100、300和500三種超像素數(shù)量，使顯著性目標檢測結(jié)果在體現(xiàn)較多局部細節(jié)的同時能夠保留顯著目標的整體結(jié)構(gòu)信息。對超像素數(shù)量不同下的顯著圖進行平均融合：

式中：S1(i)——像素的顯著融合結(jié)果；

最后對S1(i)進行平均融合得到超像素顯著圖S1。顯著圖如圖2所示。

圖2 原圖與超像素顯著圖

2.2 紋理特征圖獲取方法

紋理特征體現(xiàn)了物體外觀結(jié)構(gòu)的非隨機排列屬性，能夠體現(xiàn)圖像較多的低層次內(nèi)容，紋理具有局部性，當局部紋理重復出現(xiàn)時就是全局紋理信息。局部二進制模式（local binary patterns, LBP）是一種紋理描述算子，其計算簡單，對圖像紋理特征的表述能力也較強。本文利用LBP算子提取圖像的紋理特征，并得出紋理特征圖。LBP算子定義在3×3的窗口內(nèi)，以窗口中心為閾值，將相鄰的8個像素點灰度值與其比較。若周圍某像素值大于中心像素值，則該像素點位置被標記為1，反之則被標記為0。這樣8個點產(chǎn)生的8位無符號數(shù)就是這個窗口的LBP值。

LBP的計算公式為：

式中：SWL——紋理特征圖；

gp——相鄰像素灰度值；

gc——中心像素灰度值。

然后，對得到的紋理特征圖進行分塊，定義圖像塊之間紋理對比度為：

式中：xi，xj——圖像塊之間的紋理特征向量；

||.||2——向量的2范數(shù)。

據(jù)此得出圖像的紋理特征顯著圖，如圖3所示。

圖3 紋理特征圖

3 顯著目標檢測算法

基于上下文內(nèi)容感知的顯著目標檢測算法（CA）檢測出的區(qū)域不僅包含顯著物體，還包括有文本意義的背景，對圖片的場景有較強的表達性。本文首先將超像素顯著圖和紋理顯著圖進行線性融合得到初級顯著圖：

式中：S1和S2——圖像的超像素顯著圖和紋理顯著圖；

a、b——控制因子，相加權(quán)重為1。

為突出圖像的紋理特征，設(shè)定控制因子a、b分別為0.4和0.6。

然后將初級顯著圖與CA上下文顯著圖按比例進行融合，得到最終融合顯著圖。在顯著性檢測模型中常用信息融合方法有相乘、取均值、取平方、取最大值、取對數(shù)等方法。本文按照以下計算模型進行顯著圖融合：

式中：Iwhc(x,y)——對原來圖像經(jīng)過高斯模糊后的平滑圖像；

Sots——初始顯著圖；

i——第i個合并區(qū)域；

j——這個區(qū)域內(nèi)第j個像素點。

對融合后的圖像區(qū)域按照顯著值進行排序，并取其中值的70%作為閾值（經(jīng)過實驗效果圖對比得到），若顯著值高于閾值，則認為該區(qū)域為顯著區(qū)域，將該區(qū)域置為1，反之將其置為0，降低背景區(qū)域的影響，得到最終顯著圖：

圖4為顯著圖融合前后的對比圖，SCA為基于上下文內(nèi)容感知的CA顯著圖，Sfinal為融合后的最終顯著圖。從圖中可以明顯看出，CA顯著圖缺少對紋理信息的描述，通過融合，顏色、紋理顯著性有效彌補了CA顯著圖的缺失，最后通過抑制背景突出目標區(qū)域，得到最終的顯著圖。

圖4 顯著圖融合前后對比圖

4 實驗結(jié)果與分析

為驗證本文提出改進算法的有效性，利用MSRA10K數(shù)據(jù)集進行試驗。將本文算法和5種主流的顯著目標檢測模型（ITTI模型、GR模型、CA模型、DRFI模型、SR模型）進行比較。

4.1 顯著圖視覺效果對比

圖5為MSRA10K數(shù)據(jù)集在不同算法上的部分顯著檢測結(jié)果比較。從左到右分別為原圖像、ITTI顯著圖、GR顯著圖、CA顯著圖、DRFI顯著圖、SR顯著圖，本文方法顯著圖。ITTI模型檢測出的顯著目標輪廓不清晰，只有中心或邊緣部分亮點，只能體現(xiàn)顯著目標的大致位置；GR模型能清晰檢測出顯著目標的位置、輪廓，但缺少一些顯著目標內(nèi)部紋理信息的表示；SR模型容易受到背景噪聲的影響，因此檢測到的顯著目標只能看到大概輪廓，達不到顯著目標檢測的要求；DRFI模型相對來說檢測出的顯著目標輪廓比較清晰，但部分圖像不能區(qū)分深色背景。本文方法在CA模型基礎(chǔ)上，融入了顏色、紋理信息，因此檢測出的顯著目標較CA模型檢測目標內(nèi)部紋理信息更清楚，顯著區(qū)域均勻高亮更完整，有效抑制了背景區(qū)域，邊緣輪廓更明顯。綜合看來本文對背景復雜、層次較多的圖像顯著目標檢測能力更強。

圖5 顯著圖檢測結(jié)果比較

4.2 顯著性檢測算法性能分析

通過精度-召回率（precision-recall curves, PR）曲線、平均F-measure (average F-measure, AF)、平均絕對誤差(mean absolute error, MAE)對本文算法的性能進行客觀評估。在計算幾種顯著目標檢測模型的PR曲線時，將測試圖像進行自適應(yīng)閾值的二值化，閾值范圍為 0～255。Precision作為縱坐標，Recall作為橫坐標，將二值顯著圖與標注圖進行比較，計算得到準確率-召回率（PR）曲線。圖6為本文算法與其他5種算法在不同顯著圖上進行顯著目標檢測提取的PR曲線。

圖6 本文算法與其他算法PR曲線圖

平均F-measure是一個整體的性能測量，被定義為準確率和召回率的加權(quán)平均值。圖7為自適應(yīng)閾值下顯著性檢測的準確率、召回率、F-measure值及MAE值對比圖。

圖7 PR值，F(xiàn)值和MAE值對比

從圖中可以明顯看出，本文算法優(yōu)于其他算法，略遜于DRFI算法，原因在于DRFI算法通過提取圖像對比度、背景、分布的高維特征用于機器學習來得到最終的顯著圖。

4.3 算法運行時間

本文在Intel(R) Core(TM) i7-9750H CPU @2.60 GHz，8 GB RAM的運行環(huán)境下，測量6種檢測算法的運行時間。表1為6種算法的平均檢測時間對比。

表1 不同算法運行時間比較

綜合對比以上算法的檢測效果和運行時間可以看出，本文算法檢測時間相對SR算法要慢一些，但比其他算法檢測速度要快一些。特別是對于DRFI算法，本文算法雖檢測效果略遜于DRFI算法，但檢測速度要比DRFI算法速度更快，且不需要學習大量樣本得到顯著模型，算法更精簡有效。

5 結(jié)束語

本文根據(jù)人眼視覺特性對圖像顏色、紋理的關(guān)注，提出了一種基于超像素的顏色、紋理特征的顯著性目標檢測算法。算法基于顏色、紋理、上下文內(nèi)容進行提取并優(yōu)化融合，最終得到保留紋理細節(jié)信息的顯著圖，使結(jié)果圖更加符合人眼的視覺感知特性。在公開的數(shù)據(jù)集MSRA上將所提算法與其他5種相似顯著性檢測方法進行實驗對比。實驗結(jié)果表明，本文算法在準確率、檢測速度方面相對于CA算法有明顯提高，相對于DRFI算法檢測速度在一定程度上有所提升，但檢測的準確率稍有不足，下一步的工作重點是提高檢測的準確率。