王楓寧， 宋 勇*， 趙宇飛， 楊 昕， 張子爍

0 引 言

復(fù)雜背景紅外圖像具有對(duì)比度較低、目標(biāo)邊緣模糊等特點(diǎn).同時(shí)，背景噪聲可能導(dǎo)致紅外圖像中局部區(qū)域的灰度值高于目標(biāo)區(qū)域，從而使顯著性目標(biāo)檢測精度發(fā)生下降[1].上述因素導(dǎo)致紅外圖像的目標(biāo)顯著性檢測成為一項(xiàng)具有挑戰(zhàn)性的任務(wù)[2-3].

目前，顯著性目標(biāo)檢測算法可分為經(jīng)典顯著性目標(biāo)檢測算法和基于深度學(xué)習(xí)的顯著性目標(biāo)檢測算法兩類[4].其中，經(jīng)典顯著性目標(biāo)檢測算法主要包括3種類型：(1)具有內(nèi)部線索的基于塊的模型[5]；(2)具有內(nèi)部線索的基于區(qū)域的模型[6]；(3)具有外部線索的模型[7].此類算法首先確定圖像的顯著圖，然后將其從圖像中分割出來，從而實(shí)現(xiàn)顯著圖檢測.此外，基于深度學(xué)習(xí)的顯著性目標(biāo)檢測算法[8]利用了卷積神經(jīng)網(wǎng)絡(luò)多層次和多尺度的特性，無需任何先驗(yàn)知識(shí)即可準(zhǔn)確獲取顯著性目標(biāo).此類算法主要分為兩類：(1)基于經(jīng)典卷積網(wǎng)絡(luò)的模型[9]；(2)基于完全卷積網(wǎng)絡(luò)的模型[10].

然而，上述兩類算法多數(shù)針對(duì)可見光圖像，在處理紅外圖像時(shí)，易受噪聲影響而出現(xiàn)誤檢，導(dǎo)致檢測精度下降[11].針對(duì)上述問題，雖然一些研究者提出了專門針對(duì)紅外圖像的顯著性目標(biāo)檢測算法，但存在不同程度的局限性.其中，文獻(xiàn)[12]提出了一種局部對(duì)比度測量算法(local contrast measure, LCM).該算法將圖像劃分為小塊，并通過計(jì)算每個(gè)小塊與周圍塊之間的對(duì)比度來檢測目標(biāo)位置，然而該算法的計(jì)算量較大；文獻(xiàn)[13]提出了一種基于紅外顯著性的艦船檢測算法，該算法可以較好地檢測艦船目標(biāo)，但對(duì)除艦船以外的目標(biāo)，該算法的檢測能力有限，不具有普適性；文獻(xiàn)[14]提出了一種基于方向顯著性的算法，該算法分別利用Facet模型和傅里葉變換的相位譜(phase spectrum of fourier transform, PFT)計(jì)算二階有向?qū)?shù)(second-order directional derivative, SODD)特征圖和方向顯著性特征圖，最后通過融合兩個(gè)特征圖計(jì)算目標(biāo)總的顯著性特征圖.該算法雖具有較好的目標(biāo)檢測能力，但當(dāng)顯著區(qū)域的信噪比較低時(shí)，其性能會(huì)降低.

另一方面，視覺注意機(jī)制可使人腦快速找到感興趣的區(qū)域并獲得有用的信息[15]，具有突出顯著目標(biāo)等特性，在顯著性目標(biāo)檢測領(lǐng)域具有突出優(yōu)勢.已有的視覺注意模型可分為兩類.一類是基于特征提取的視覺注意模型，包括Itti視覺注意模型[16]和基于圖的視覺顯著性(graph-based visual saliency, GBVS)模型[17]等.其中，Itti模型首先按不同特征通道和不同尺度提取輸入圖像的顯著圖，然后將這些顯著圖融合，得到最終顯著圖；GBVS模型則在獲取顯著圖的過程中引入了馬爾可夫鏈，并采用了數(shù)學(xué)計(jì)算方法.另一類是基于數(shù)學(xué)計(jì)算的視覺注意模型.如Achanta 等[18]提出的基于全分辨率的視覺注意模型，該模型通過計(jì)算圖像區(qū)域相對(duì)于鄰域不同比例的局部對(duì)比度獲得顯著性特征圖；HOU等[19]提出的基于頻譜殘差(spectral residuals, SR)的視覺注意模型，該模型通過在頻域中執(zhí)行傅立葉逆變換獲得顯著性特征圖.需要說明的是，上述視覺注意模型雖具有目標(biāo)增強(qiáng)和背景抑制能力，但其主要根據(jù)可見光圖像的顏色特征和形狀特征進(jìn)行處理.對(duì)于具有復(fù)雜背景和低對(duì)比度的紅外圖像，上述模型的檢測精度難以保證.

基于上述分析，本論文提出了一種基于灰度對(duì)比度特征-相似性貝葉斯(gray & contrast features-similarity-based Bayes, GCF-SB)模型的紅外顯著性目標(biāo)檢測算法，該算法包括特征提取層和概率估層.其中，特征提取層主要利用GCF模型實(shí)現(xiàn)初級(jí)顯著圖檢測.利用灰度特征通道和對(duì)比度特征通道分別提取輸入圖像的灰度和對(duì)比度特征，然后通過特征融合得到輸入圖像的初級(jí)顯著圖；概率估計(jì)層主要利用SB模型實(shí)現(xiàn)最終顯著圖檢測.首先根據(jù)特征提取層獲得的初級(jí)顯著圖分別計(jì)算目標(biāo)和背景的先驗(yàn)概率和似然函數(shù)，然后利用貝葉斯公式計(jì)算最終顯著圖，實(shí)現(xiàn)圖像的顯著性目標(biāo)檢測.實(shí)驗(yàn)結(jié)果表明，與SUN，F(xiàn)S，SeR，LC，RC，RST和DS等7種對(duì)比算法相比，所提出算法可有效降低紅外圖像噪聲、增強(qiáng)對(duì)比度，具有較高的目標(biāo)檢測精度和魯棒性.

1 GCF-SB視覺注意模型

圖1為本論文所建立的GCF-SB模型的流程圖，包括特征提取層和概率估計(jì)層兩個(gè)層級(jí).

在特征提取層，主要通過GCF模型得到圖像的初級(jí)顯著圖.其中，灰度特征提取采用均值漂移(Mean-shift)方法實(shí)現(xiàn)，根據(jù)圖像的灰度分布，通過均值漂移對(duì)圖像的像素點(diǎn)進(jìn)行分類，將輸入紅外圖像分割成不同灰度等級(jí)的區(qū)域，同時(shí)保持各分割區(qū)域中的內(nèi)部細(xì)節(jié)[20]，實(shí)現(xiàn)輸入圖像的灰度特征提?。粚?duì)比度特征提取采用側(cè)抑制網(wǎng)絡(luò)(lateral inhibition network)方法實(shí)現(xiàn)，通過側(cè)抑制模板對(duì)輸入圖像進(jìn)行濾波，可增強(qiáng)圖像的對(duì)比度、抑制背景噪聲并突出邊緣等，實(shí)現(xiàn)輸入圖像的對(duì)比度特征提??；提取圖像的灰度和對(duì)比度特征圖后，將兩個(gè)特征圖相乘，進(jìn)行特征融合，實(shí)現(xiàn)輸入圖像的初級(jí)顯著圖提取.

在概率估計(jì)層，主要通過SB模型實(shí)現(xiàn)最終顯著圖檢測.首先，根據(jù)特征提取層獲得的初級(jí)顯著圖計(jì)算圖像中目標(biāo)和背景部分的先驗(yàn)概率和似然函數(shù)，然后利用貝葉斯公式計(jì)算最終顯著圖，得到輸入圖像的顯著性目標(biāo)檢測結(jié)果.另一方面，利用貝葉斯公式計(jì)算圖像的顯著圖具有計(jì)算量小、結(jié)果直觀等優(yōu)勢.然而，常規(guī)貝葉斯公式通?；诮?jīng)驗(yàn)知識(shí)進(jìn)行先驗(yàn)概率的計(jì)算，對(duì)于背景復(fù)雜、對(duì)比度較低的圖像，其顯著圖計(jì)算的準(zhǔn)確性較低.針對(duì)這一問題，本論文根據(jù)特征提取層中獲得的初級(jí)顯著圖(而非經(jīng)驗(yàn)知識(shí))計(jì)算先驗(yàn)概率，從而提高了顯著圖計(jì)算的準(zhǔn)確性.

2 基于GCF-SB視覺注意模型的紅外顯著性目標(biāo)檢測算法

2.1 GCF模型

如圖2所示，GCF模型主要包括灰度特征提取、對(duì)比度特征提取和特征融合.在灰度特征提取和對(duì)比度特征提取中分別采用均值漂移法和側(cè)抑制法.Meanshift方法可以將紅外圖像分割成多個(gè)不同灰度級(jí)的區(qū)域，同時(shí)很好地保留了圖像的內(nèi)部細(xì)節(jié)，LI方法可以有效地增強(qiáng)目標(biāo)邊緣.將上述方法相結(jié)合，有利于抑制背景噪聲，突出目標(biāo).

圖2 GCF模型顯著圖檢測示意圖Fig.2 Schematic diagram of GCF model

2.1.1 灰度特征提取

利用均值漂移方法提取圖像的灰度特征，即根據(jù)圖像的灰度分布對(duì)圖像中的像素點(diǎn)進(jìn)行歸類.對(duì)于輸入圖像中的任一像素點(diǎn)A，首先找到該像素點(diǎn)的類標(biāo)簽和相應(yīng)的類中心B，然后將像素點(diǎn)A的灰度值賦為B的灰度值，即Ag=Bg.其中，Ag和Bg分別表示像素點(diǎn)A和B的灰度值.

搜索一個(gè)像素點(diǎn)的類中心需要經(jīng)過多次迭代，單次迭代過程如下：

在第k+1次迭代中，類中心像素點(diǎn)的位置為

(1)

(2)

當(dāng)相鄰兩次迭代結(jié)果的類中心位置不變或類中心的灰度變化值在給定閾值之內(nèi)時(shí)，搜索將停止，具體的條件如下：

(3)

或

(4)

然后，將像素點(diǎn)(x,y)的灰度值賦為其類中心的灰度值Bg(x,y)，即可獲得灰度特征圖，即

G(x,y)=Bg(x,y).

2.1.2 對(duì)比度特征提取

側(cè)抑制網(wǎng)絡(luò)具有增強(qiáng)對(duì)比度、抑制背景并突出邊緣等特性，可用于圖像的對(duì)比度特征提取.所提出算法通過模板卷積核L對(duì)輸入圖像進(jìn)行濾波獲得對(duì)比度特征圖，公式如下：

(5)

其中，I(x,y)是輸入圖像，C(x,y)是由側(cè)抑制網(wǎng)絡(luò)模板L濾波后的圖像，即對(duì)比度特征圖，側(cè)抑制網(wǎng)絡(luò)模板L為

2.1.3 特征融合

分別在兩個(gè)通道內(nèi)進(jìn)行灰度特征提取和對(duì)比度特征提取，獲得輸入圖像的灰度特征圖G(x,y)和對(duì)比度特征圖C(x,y).然后，將這兩個(gè)特征圖相乘，得到初級(jí)顯著圖F(x,y)：

F(x,y)=G(x,y)×C(x,y)

(6)

2.2 SB模型

基于雙層視覺注意模型的面目標(biāo)檢測算法的概率估計(jì)層進(jìn)行最終顯著圖檢測.首先，根據(jù)特征提取層獲得的初級(jí)顯著圖計(jì)算先驗(yàn)概率和似然函數(shù)，然后利用貝葉斯公式計(jì)算最終顯著圖，實(shí)現(xiàn)輸入圖像的目標(biāo)檢測.顯著圖檢測的具體流程如圖3所示.

圖3 SB模型顯著圖檢測示意圖Fig.3 Schematic diagram of SB model

2.2.1 先驗(yàn)概率的計(jì)算

在輸入圖像中，任一像素點(diǎn)A均有兩個(gè)先驗(yàn)概率，即該像素點(diǎn)屬于目標(biāo)的先驗(yàn)概率P(T)和該像素點(diǎn)屬于背景的先驗(yàn)概率P(B)，分別表示該像素點(diǎn)為目標(biāo)或背景的概率估計(jì).

如圖3所示，對(duì)于像素點(diǎn)屬于目標(biāo)的先驗(yàn)概率P(T)的計(jì)算，首先從初級(jí)顯著圖中提取特征點(diǎn)S1,S2,…，SN，其中N為特征點(diǎn)的數(shù)量；然后通過計(jì)算像素點(diǎn)A和N個(gè)特征點(diǎn)S1,S2,…，SN之間的平均相似度，用以確定像素點(diǎn)A屬于目標(biāo)的先驗(yàn)概率P(T).其中，平均相似度的計(jì)算綜合考慮了當(dāng)前像素點(diǎn)與特征點(diǎn)之間的灰度距離和空間距離，有利于提高先驗(yàn)概率計(jì)算結(jié)果的準(zhǔn)確性.像素點(diǎn)屬于目標(biāo)先驗(yàn)概率P(T)的計(jì)算公式為：

(7)

式中，Dgray(A,Si)和Dspatial(A,Si)分別表示像素點(diǎn)A與第i個(gè)特征點(diǎn)Si之間的灰度距離和空間距離.特別地，當(dāng)Dgray(A,Si)+Dspatial(A,Si)=0時(shí)，令1/(Dgray(A,Si)+Dspatial(A,Si))=1.Dgray(A,Si)和Dspatial(A,Si)由式(8)計(jì)算

(8)

在輸入圖像中，任一像素點(diǎn)只能屬于目標(biāo)或背景，因此像素點(diǎn)屬于背景的先驗(yàn)概率P(B)為

P(B)=1-P(T).

2.2.2 似然函數(shù)的計(jì)算

與先驗(yàn)概率類似，對(duì)于任一像素點(diǎn)A，其似然函數(shù)也有兩種類型，分別為P(A|T)和P(A|B).

P(A|T)表示在已知目標(biāo)區(qū)域的情況下像素點(diǎn)A屬于目標(biāo)的概率.如圖3所示，首先，根據(jù)初級(jí)顯著圖得到輸入圖像的估計(jì)目標(biāo)區(qū)域；然后，搜索估計(jì)目標(biāo)區(qū)域中灰度值為該區(qū)域所有灰度值中位數(shù)的像素點(diǎn)Tmd；最后，計(jì)算像素點(diǎn)A和Tmd之間的相似度，得到像素點(diǎn)A的目標(biāo)似然函數(shù)P(A|T).同樣地，A和Tmd之間的相似度計(jì)算考慮了其灰度距離和空間距離.P(A|T)的計(jì)算公式如下

(9)

式中，Dgray(A,Tmd)和Dspatial(A,Tmd)分別表示像素點(diǎn)A與灰度值為估計(jì)目標(biāo)區(qū)域中所有像素的灰度值中位數(shù)的像素點(diǎn)Tmd之間的灰度距離和空間距離，計(jì)算方式如下

(10)

P(A|B)表示在已知背景區(qū)域的情況下像素點(diǎn)A屬于背景的概率.類似地，首先，根據(jù)初級(jí)顯著圖獲得輸入圖像的估計(jì)背景區(qū)域；然后，搜索估計(jì)背景區(qū)域中灰度值為該區(qū)域所有灰度值中位數(shù)的像素點(diǎn)Bmd；最后，計(jì)算像素點(diǎn)A和Bmd之間的相似度，得到像素點(diǎn)A的背景似然函數(shù)P(A|B).考慮到圖像中的背景區(qū)域通常比較分散，在計(jì)算像素點(diǎn)A和Bmd之間的相似度時(shí)，僅考慮像素點(diǎn)A和Bmd之間的灰度距離，而未考慮空間距離，即

(11)

其中，Dgray(A,Bmd)表示像素點(diǎn)A與估計(jì)背景區(qū)域中灰度值中位數(shù)像素點(diǎn)Bmd之間的灰度距離.

2.2.1 最終顯著圖計(jì)算

利用兩個(gè)先驗(yàn)概率P(T)、P(B)和兩個(gè)似然函數(shù)P(A|T)、P(A|B)，利用貝葉斯公式計(jì)算像素點(diǎn)A屬于目標(biāo)的概率P(T|A)，如下式：

(12)

按照上述步驟處理圖像中每個(gè)像素點(diǎn)，得到圖像中各像素點(diǎn)屬于目標(biāo)的概率分布，即為輸入圖像的最終顯著圖.

3 實(shí)驗(yàn)及結(jié)果

選擇SUN[21]，F(xiàn)S[22]，SeR[23]，LC[24]，RC[25]，RST[26]和DS[27]七種算法作為對(duì)比算法，與所提出的基于雙層視覺注意模型的面目標(biāo)檢測算法進(jìn)行對(duì)比實(shí)驗(yàn).采用受試者工作特性(receiver operating characteristic, ROC)曲線[28]對(duì)算法的目標(biāo)檢測性能進(jìn)行評(píng)估，ROC曲線可直觀地顯示不同虛警率(false positive rate, FPR)下對(duì)應(yīng)的檢測率(true positive rate, TPR)值.同時(shí)，利用ROC曲線對(duì)應(yīng)的曲線下面積(area under curve, AUC)值[29]對(duì)目標(biāo)檢測性能進(jìn)行定量評(píng)估，AUC值為ROC曲線所覆蓋的區(qū)域面積，即在坐標(biāo)軸中處于曲線下方部分的面積.

利用所提出算法和7種對(duì)比算法對(duì)八幅實(shí)驗(yàn)圖像進(jìn)行目標(biāo)檢測，得到如圖4所示結(jié)果.

圖4 典型復(fù)雜背景圖像的目標(biāo)檢測對(duì)比結(jié)果Fig.4 IR saliency detection results of eight methods

如圖4所示，7種對(duì)比算法中，SUN能夠檢測到目標(biāo)的位置，然而其檢測結(jié)果的輪廓較為模糊，且丟失了內(nèi)部細(xì)節(jié)；FS僅能檢測到部分圖像中目標(biāo)的輪廓；SeR僅能檢測到部分圖像中目標(biāo)的大致位置，且噪聲抑制能力較弱；LC的結(jié)果相對(duì)較好，但是噪聲抑制能力同樣較弱；RC、RST和DS算法的檢測性能相對(duì)較好，然而僅對(duì)部分圖像具有較好的檢測效果(如RC對(duì)圖像(h)、RST對(duì)圖像(e)和DS對(duì)圖像(c)，(f)，(g)，(h)的檢測結(jié)果較差).所提出的基于DL視覺注意模型的面目標(biāo)檢測算法不僅可以有效地降低噪聲并增強(qiáng)圖像對(duì)比度，而且可以保留完整的目標(biāo)輪廓，總體性能優(yōu)于7種對(duì)比算法.

圖5為7種對(duì)比算法和所提出算法對(duì)8幅實(shí)驗(yàn)圖像的面目標(biāo)檢測結(jié)果進(jìn)行評(píng)估得到的ROC曲線圖，表1所示為對(duì)應(yīng)的AUC值.

圖5 基于典型復(fù)雜背景圖像的ROC曲線對(duì)比結(jié)果Fig.5 ROC curves of the eight methods

表1 基于典型復(fù)雜背景圖像實(shí)驗(yàn)結(jié)果的AUC值Tab.1 AUC values of the proposed and comparison methods

為了驗(yàn)證所提出算法的魯棒性，本論文采用公共數(shù)據(jù)集進(jìn)行了對(duì)比實(shí)驗(yàn).選擇來自 OTCBVS Benchmark Dataset Collection中的3個(gè)紅外圖像數(shù)據(jù)集作為實(shí)驗(yàn)對(duì)象，包括 Dataset 01: OSU Thermal Pedestrian Database，Dataset 05: Terravic Motion IR Database(部分使用)和Dataset 06: Terravic Weapon IR Database.表2中列出了這3個(gè)數(shù)據(jù)集的詳細(xì)信息.

表2 實(shí)驗(yàn)所用數(shù)據(jù)集信息Tab.2 Details of three datasets in the experiment

圖6示出了8種方法對(duì)來自上述數(shù)據(jù)集的4個(gè)代表性圖像的檢測結(jié)果，如圖6所示，7種對(duì)比算法中，SUN和SeR能夠檢測到紅外目標(biāo)的大致位置，然而檢測結(jié)果的輪廓模糊；FS僅能檢測到部分圖像中目標(biāo)的部分輪廓，檢測效果較差；LC和RC的檢測結(jié)果相對(duì)較好，但噪聲抑制能力比較弱；RST和DS的檢測性能不穩(wěn)定.所提出的基于GCF-SB模型的紅外顯著性目標(biāo)檢測算法不僅能有效降低噪聲、增強(qiáng)對(duì)比度，而且可以保留目標(biāo)輪廓的完整性，總體性能優(yōu)于7種對(duì)比算法.

圖6 基于數(shù)據(jù)集的顯著性目標(biāo)檢測對(duì)比結(jié)果Fig.6 IR saliency detection results of eight methods of theexperiment using datasets

圖7和表3是相應(yīng)的接收機(jī)工作特性(ROC)曲線和曲線下面積(AUC)值.

圖7 基于數(shù)據(jù)集的ROC曲線對(duì)比結(jié)果Fig.7 ROC curves of the eight methods based on the three datasets

表3 基于數(shù)據(jù)集實(shí)驗(yàn)結(jié)果的AUC值Tab.3 AUC values of the proposed and comparison methods of the experiment using datasets

由圖7和表3同樣可看出：對(duì)于所有實(shí)驗(yàn)圖像，F(xiàn)S算法的AUC值都很小，平均值僅為0.5918；LC、RC、RST和DS算法的AUC值不穩(wěn)定，對(duì)于圖像(b)，LC、RC和DS的AUC值僅為0.6341、0.5664和0.7935，對(duì)于圖像(c)和(h)，RST的AUC值僅為0.7551；SUN和SeR算法的性能相對(duì)較好，且AUC值穩(wěn)定在較高水平，分別為0.8611和0.9674.相比七種對(duì)比算法，所提出的算法具有最高的平均AUC值(0.9729).同時(shí)，對(duì)于所有的實(shí)驗(yàn)圖像，所提出算法得到的AUC值均處于較高水平.

4 結(jié) 論

本論文提出了一種基于GCF-SB視覺注意模型的紅外顯著性目標(biāo)檢測算法.該算法通過GCF模型進(jìn)行圖像的初級(jí)顯著圖提取，輸入圖像在灰度通道和對(duì)比度通道中并行處理，得到輸入圖像的灰度特征圖和對(duì)比度特征圖，然后通過特征融合獲得初級(jí)顯著圖；通過SB模型提取圖像的最終顯著圖，根據(jù)初級(jí)顯著圖計(jì)算目標(biāo)部分和背景部分的先驗(yàn)概率和似然函數(shù)，然后利用貝葉斯公式計(jì)算最終顯著圖，從而實(shí)現(xiàn)圖像的目標(biāo)檢測.實(shí)驗(yàn)結(jié)果表明，所提出算法不僅能突出目標(biāo)輪廓，抑制背景雜波，而且能保持目標(biāo)輪廓的完整性，最終實(shí)現(xiàn)高檢測精度和魯棒性的紅外顯著性目標(biāo)檢測.