唐立婷，段先華，魯文超

(江蘇科技大學(xué) 計算機學(xué)院，江蘇 鎮(zhèn)江 212003)

1 引 言

作為計算機視覺問題中降低計算復(fù)雜度的重要預(yù)處理步驟，視覺顯著性是一種有效的突出視覺重點機制，可以準確快速的獲取圖像中最重要的區(qū)域，從而減少圖像處理時間.顯著性檢測近年來備受關(guān)注，雖然相關(guān)研究取得了重大進展，但為顯著物體檢測開發(fā)高效的算法仍然是一項具有挑戰(zhàn)性的任務(wù).

視覺顯著性檢測算法通?？梢苑譃閮深悾浩湟换诘讓犹卣鳎脭?shù)據(jù)驅(qū)動的自下而上[1，2]的方法將顯著的目標區(qū)域與其周圍的背景區(qū)域進行區(qū)分；其二結(jié)合高層信息，通過任務(wù)驅(qū)動的自上而下[3，4]的方法快速定位顯著性區(qū)域并反映顯著性區(qū)域的顯著程度.Zhang等[5]通過吸收馬爾可夫鏈(AMC)計算圖像的顯著性，算法通過構(gòu)造稀疏連通圖來獲取每個節(jié)點的局部上下文信息，以圖像的邊界節(jié)點和其他節(jié)點結(jié)合吸收馬爾科夫鏈法則計算出該點的顯著性值，為了更好的突出顯著目標，引入角度嵌入技術(shù)重新確定顯著性結(jié)果，算法通過全卷積網(wǎng)絡(luò)學(xué)習(xí)得到一個轉(zhuǎn)移概率矩陣，雖然在一定程度上提高了算法檢測精度以及適應(yīng)性，但是網(wǎng)絡(luò)模型學(xué)習(xí)不夠全面，對于部分圖像的檢測效果不理想.Ye等[6]將圖像的顯著性問題與圖像客觀條件相結(jié)合，通過無圖引導(dǎo)使用規(guī)則，以超像素頂點作為計算依據(jù)，通過每個頂點之間的最短路徑衡量每個超像素目標的概率，將得到的目標概率圖分別與顯著性圖和目標性圖進行比值運算，此算法雖然在突出目標抑制背景占據(jù)一定優(yōu)勢，但是對于多目標情況下檢測效果并不理想.Huang等[7]提出了一種融合前景和背景先驗的魯棒顯著目標檢測方法，該算法基于包圍度線索從圖像中提取一系列前景和背景種子.通過排序算法分別生成前景和背景對應(yīng)的顯著圖.融合兩幅顯著圖，通過測地線增強，得到最終顯著圖，該算法以顯著目標位于圖像中心為先驗，當目標較多或者目標位于邊緣，處理效果不理想.Tong等[8]提出了一種利用弱模型和強模型進行顯著目標檢測的引導(dǎo)學(xué)習(xí)算法.該算法首先基于圖像先驗知識構(gòu)造弱顯著圖，其次，訓(xùn)練一種直接從弱顯著圖中提取樣本的強分類器來檢測顯著超像素.線性加權(quán)融合強弱顯著圖得到最終結(jié)果.Wang等[9]提出一種具有判別性的區(qū)域特征集成方法.算法雖然通過判別區(qū)域特征集成方法解決顯著目標檢測問題，但是在特征選擇方面存在不足，導(dǎo)致一些復(fù)雜圖像中的顯著區(qū)域檢測不完整.Xia等[10]提出一種基于樣本回歸的顯著性檢測算法，該算法以圖像邊界為先驗得到前景和背景種子，該算法本身需要以邊界為先驗，對于一些前景目標靠近邊緣以及多目標檢測效果不理想.Yang等[11]引入MR(Manifold Ranking)算法，通過排序函數(shù)求解顯著性問題，以不同的方式考慮前景和背景線索，對圖像元素(像素或區(qū)域)與前景或背景的相似性進行排序.圖像元素的顯著性根據(jù)它們與給定種子或查詢的相關(guān)性來定義.該算法將圖像表示為一個以超像素為節(jié)點的閉環(huán)圖.圖中每個節(jié)點的顯著程度通過其相對于種子節(jié)點的排序得分來度量，顯著性檢測分為兩階段過程，以此更有效地提取背景區(qū)域和前景顯著目標，得到最終顯著圖.由于該算法第一階段背景假設(shè)過于理想化，當顯著性目標面積較大或者顯著性目標接觸到圖像邊界時，算法無法完整地檢測出目標.

針對上述算法存在的缺陷，本文對傳統(tǒng)基于流行排序的顯著性檢測算法提出了改進策略，與傳統(tǒng)基于流行排序的顯著性檢測算法不同的是本文算法通過計算圖像凸包得到圖像的前景區(qū)域和背景區(qū)域并結(jié)合圖像多尺度多特征計算前景顯著圖和背景顯著圖.算法首先對圖像進行凸包計算，以凸包為邊界將圖像劃分為兩部分，凸包內(nèi)部區(qū)域即包含圖像目標的前景區(qū)域，凸包外部區(qū)域即包含圖像背景的背景區(qū)域；然后分別以背景種子和前景種子為先驗知識，結(jié)合圖像的Lab顏色特征，LBP(local binary patterns)紋理特征和RGB特征分別計算4種尺度圖像的背景顯著圖和前景顯著圖，融合4種尺度圖像的背景顯著圖得到最終的背景顯著圖；融合4種尺度的前景顯著圖得到最終的前景顯著圖，融合最終的背景顯著圖和最終的前景顯著圖得到弱顯著圖，最后，通過多核增強算法對由弱顯著圖生成的訓(xùn)練樣本進行分類得到強顯著圖，依據(jù)弱顯著圖和強顯著圖的互補性融合強弱顯著圖得到最終顯著性結(jié)果.

2 本文算法

本文算法流程圖如圖1所示.

圖1 本文算法流程圖Fig.1 Algorithm flow chart

依據(jù)圖1流程圖，本文算法分為3步，第1步，計算圖像的凸包，并將圖像分割成4種超像素尺度，計算每種超像素尺度下圖像的Lab顏色特征，RGB特征和LBP紋理特征；第2步，依據(jù)凸包信息將圖像分為凸包內(nèi)部區(qū)域(前景)和凸包外部區(qū)域(背景)，以背景種子為先驗，結(jié)合圖像的LBP紋理特征，RGB特征和Lab顏色特征對于4種不同尺度下的圖像計算相應(yīng)尺度下4個方向的邊界顯著圖，將每一種尺度下的圖像4個方向的邊界顯著圖進行線性加權(quán)計算得到該尺度下圖像的背景顯著圖，線性融合4種尺度下的背景顯著圖得到最終的背景顯著圖；以前景種子為先驗，結(jié)合圖像的上述3種底層特征分別計算4種尺度圖像的前景顯著圖，融合4種尺度的前景顯著圖得到最終的前景顯著圖，融合最終的背景顯著圖和最終的前景顯著圖得到弱顯著圖；第3步，根據(jù)由弱顯著圖生成的訓(xùn)練樣本，采用多核學(xué)習(xí)增強的方法訓(xùn)練得到強顯著性模型，將此模型應(yīng)用到所有測試樣本中得到強顯著性圖；最后加權(quán)融合強弱顯著圖得到最終顯著圖.

3 凸包改進的流形排序顯著性算法

流行排序算法[12](Manifold Ranking，MR)依據(jù)數(shù)據(jù)集的流形結(jié)構(gòu)，將所有的數(shù)據(jù)點分為查詢數(shù)據(jù)和待查詢數(shù)據(jù)，通過計算查詢數(shù)據(jù)與待查詢數(shù)據(jù)之間的排序值得到最終結(jié)果.基于圖的流行排序算法計算過程如下：

給定一個m維特征，n個點的數(shù)據(jù)集X={x1，x2，x3，…，xn}?Rm*n，同時通過設(shè)定向量Y={y1，y2，y3，…，yn}T來記錄數(shù)據(jù)的標記情況，當yi=1時表示對應(yīng)的數(shù)據(jù)xi為查詢節(jié)點，當yj=0時表示數(shù)據(jù)xj為待排序的節(jié)點.每個待排序數(shù)據(jù)xi的排序值由函數(shù)f*確定.接下來，在X上構(gòu)造一個圖G=(V，E)，V是數(shù)據(jù)集X對應(yīng)的圖的結(jié)點，依據(jù)關(guān)聯(lián)矩陣W=[wij]n×n計算圖的邊緣E.計算圖的度矩陣D=diag{d11，…，dnn}，其中dii=∑wij，本文算法依據(jù)圖像的3種底層特征改進wij，得到新的權(quán)重值.具體公式如下：

(1)

i，j∈V；dk(ci，cj)表示在特征空間下超像素ci和cj之間的歐式距離，特征空間為RGB(F1)顏色特征，Lab(F2)顏色特征和LBP(F3)紋理特征.σ是常數(shù)，根據(jù)顏色空間中的距離計算權(quán)重.

對于給定的查詢對象的排序值可以通過公式(2)得到：

(2)

其中參數(shù)u為控制平衡常數(shù)，fi為待排序節(jié)點的排序值.將上述式(2)求一階導(dǎo)數(shù)，令導(dǎo)數(shù)為0，得到最終排序函數(shù)的非歸一化解：

f*=(D-αW)-1y

(3)

其中α=1/(1+u)控制平衡，取值0.99.

3.1 改進背景顯著圖計算

(4)

由此可得到以上邊界節(jié)點作為先驗的邊界顯著圖St.同理，以其他3個方向(下、左、右)邊界節(jié)點作為背景特征的顯著值Sb、Sl、Sr可以通過公式(4)計算得出，將每個尺度下的邊界顯著圖St、Sb、Sl、Sr進行線性融合得到該尺度下的背景顯著圖Sfusion，最終背景顯著圖Sb_fusion即可由4種不同尺度的背景顯著圖通過式(5)進行線性整合得到：

(5)

其中Sfusion1表示將原圖分割成100個超像素時的顯著圖，Sfusion2表示將原圖分割成150個超像素時的顯著圖，Sfusion3表示將原圖分割成200個超像素時的顯著圖，Sfusion4表示將原圖分割成250個超像素時的顯著圖.

文獻[11]中默認圖像邊緣為圖像背景區(qū)域作為先驗知識，依據(jù)圖像單一底層特征和單一尺度通過流形排序算法進行顯著性計算，本文采用凸包將前景和背景區(qū)分，以凸包之外的區(qū)域為圖像背景，且采用多種超像素尺度(100，150，200，250)和多種圖像底層特征對其進行改進，算法改進前后的對比圖如圖2所示.

圖2 背景顯著圖改進前后對比示例圖Fig.2 Comparison example of background saliency map before and after improvement

3.2 改進前景顯著圖計算

(6)

由此可得到不同尺度下以前景特征為先驗的顯著圖Sqian100，Sqian150，Sqian200，Sqian250.融合4種不同尺度的顯著圖得到最終前景顯著圖Sq_fusion：

Sq_fusion=1/4*(Sqian100+Sqian150+Sqian200+Sqian250)i= 1,2,…,N

(7)

本文算法依據(jù)將凸包內(nèi)部區(qū)域作為前景特征，且采用多尺度和多特征計算前景顯著圖，前景顯著圖計算如圖3所示.

圖3 算法前景顯著圖計算示例圖Fig.3 Calculation of foreground saliency map

3.3 多核提升(MKB)的改進顯著圖

傳統(tǒng)基于流行排序的顯著性檢測算法分為兩步計算顯著圖，第1步通過以超像素為計算單元得到顯著目標；第2步將所有超像素與顯著區(qū)域超像素做對比計算相似度，得到最終顯著結(jié)果.但是當圖像存在目標影子或者目標邊緣化時，導(dǎo)致結(jié)果檢測不準確.為解決此問題，本文算法采用一種多核分類學(xué)習(xí)(MKB)算法[8]對結(jié)果進行優(yōu)化.MKB算法是一種弱監(jiān)督的學(xué)習(xí)算法，通過多個支持向量機SVM以及多個核函數(shù)進行組合形成強分類器.對于輸入的圖像，我們計算其弱顯著圖Sweaksal，由公式(8)計算得到：

Sweaksal=λ1*Sq_fusion+(1-λ1)*Sb_fusion

(8)

其中λ1為組合平衡因子，取值0.6.

(9)

針對不同特征集合，目標函數(shù)可以轉(zhuǎn)換為：

(10)

(11)

其中βj由AdaBoost方法進行計算，J表示需要迭代的次數(shù).單個SVM定義為弱分類器，對于弱分類器和核函數(shù)進行組合得到強分類器Y(r).將生成的訓(xùn)練樣本通過強分類器(公式(11))進行分類計算，從而生成超像素方式的顯著圖.然后通過Graph Cut方法對檢測結(jié)果進行優(yōu)化，提高檢測結(jié)果的準確性.最后利用文獻[10]提出的引導(dǎo)濾波器進一步增強顯著圖效果得到最終顯著圖Sst.本文算法為了提高最終檢測效果，通過在4種不同超像素尺度計算不同尺度下的顯著圖，得到4個尺度的顯著圖Sstm1，Sstm2，Sstm3，Sstm4，融合得到最終的強顯著圖Sstrong：

Sstrong=1/4*(Sstm1+Sstm2+Sstm3+Sstm4)

(12)

依據(jù)弱顯著圖與強顯著圖之間的關(guān)聯(lián)性[8]，線性融合弱顯著圖和強顯著圖得到本文算法最終的顯著圖Sfinal由公式(13)計算得到：

Sfinal=σSstrong+(1-σ)Sweaksal

(13)

σ為組合平衡因子，σ=0.7(文獻[8]中已經(jīng)證明)

本文算法最終效果對比圖，如圖4所示.

圖 4 本文算法與未改進GMR算法最終顯著性結(jié)果對比Fig.4 Comparisonof the final saliency results betweenthe proposed algorithm and the unimproved GMR algorithm

4 實驗結(jié)果與分析

本文算法的實驗平臺環(huán)境為Windows10系統(tǒng)，2.80GHz CPU，8GB內(nèi)存，Matlab-R2018b.本文算法與當前主流的13種算法：BL[8]，GMR[11]，MR[12]，SF[13]，AC[14]，SR[15]，HDCT[16]，PCA[17]，GS[18]，LMLC[19]，RBD[20]，BSCA[21]，F(xiàn)T[22]在公開數(shù)據(jù)集ECSSD、MSRA1000、PASCAL-S上進行對比.MSRA1000是微軟提供的MSRA數(shù)據(jù)庫，其圖像簡單，目標單一，被廣泛應(yīng)用于圖像算法比較.PASCAL-S數(shù)據(jù)集包含850幅圖片，數(shù)據(jù)集來源PASCAL VOC，不存在顏色的先驗信息.ECSSD數(shù)據(jù)集包含1000幅多目標且背景復(fù)雜的圖像，是目前主流對比數(shù)據(jù)集之一.上述3個數(shù)據(jù)集均包含人工標注的顯著目標.本實驗與其他13種算法在準確率-召回率和綜合指標F-measure進行檢測結(jié)果對比.在結(jié)果對比過程中，對于每一幅最終檢測的結(jié)果Sfinal，通過調(diào)整閾值Tf∈[0，255]依次對顯著圖Sfinal進行二值化，得到顯著圖Sfinal對應(yīng)的二值圖M，將結(jié)果M與真值圖GT進行計算GT.準確率(Precision)和召回率(Recall)由公式(14)和公式(15)計算得到，F(xiàn)-measure值由公式(16)計算得到.

(14)

(15)

(16)

與文獻[23，24]一致，其中β取值為0.3.圖5-圖8為本文算法與當前主流的13種算法在準確率-召回率以及F-measure方面的實驗對比圖.

圖5是本文算法與主流的13種算法在MSRA1000數(shù)據(jù)集上的實驗對比，從數(shù)據(jù)集MSRA1000上的Precision-Recall圖可以發(fā)現(xiàn)本文算法在準確率方面與RBD算法較為接近，召回率要略優(yōu)于RBD算法.與GMR 算法相比在召回率方面優(yōu)勢明顯，在召回率和準確率方面均要優(yōu)于MR、GMR，BL等算法.通過圖8(a)可以發(fā)現(xiàn)本文算法檢測結(jié)果的準確率高于傳統(tǒng)流形排序算法GMR，與GS、HDCT算法在準確率方面對比優(yōu)勢明顯.與RBD算法對比中可以發(fā)現(xiàn)本文算法的召回率與其較為接近，但是在準確率方面結(jié)果要高于RBD算法.綜合指標F-measure要優(yōu)于所對比的算法.

圖5 14種算法在MSRA1000數(shù)據(jù)集上Precision-Recall曲線圖Fig.5 Precision-Recall curves of fourteen algorithms on the MSRA 1000 dataset

圖6是本文算法與主流的13種算法在ECSSD數(shù)據(jù)集上的實驗對比，通過Precision-Recall曲線可以發(fā)現(xiàn)本文算法對于多目標以及背景復(fù)雜情況下的圖像檢測的準確率要優(yōu)于所對比的顯著性檢測算法，說明本文算法改進取得一定效果，通過準確率對比發(fā)現(xiàn)本文算法與HDCT算較為接近，但在召回率方面要遠高于HDCT算法.本文算法的準確率與召回率要遠高于GMR算法，與其他對比算法相比優(yōu)勢明顯.圖8(b)柱狀圖反映了本文算法與其他算法在圖片內(nèi)容較為復(fù)雜的ECSSD數(shù)據(jù)集上對比結(jié)果，可以發(fā)現(xiàn)本文算法檢測的效果要優(yōu)于GMR和BL算法.在ECSSD數(shù)據(jù)集上F-measure要優(yōu)于對比算法.由于ECSSD數(shù)據(jù)集中圖像背景和前景均較為復(fù)雜，因此實驗對比結(jié)果低于MSRA1000數(shù)據(jù)集.圖7是本文算法與主流的13種算法在PASCAL-S數(shù)據(jù)集上的實驗對比，通過Precision-Recall曲線可以發(fā)現(xiàn)本文算法在準確率-召回率方面與RBD算法較為接近，與其他12種算法進行對比發(fā)現(xiàn)本文算法更占優(yōu)勢.圖8(c)可以發(fā)現(xiàn)本文算法的F-measure雖然與RBD算法相近，但總體上要優(yōu)于其他對比的12種算法.

圖6 14種算法在ECSSD數(shù)據(jù)集上Precision-Recall曲線圖Fig.6 Precision-Recall curves of fourteen algorithms on the ECSSD dataset

圖7 4種算法在PASCAL-S數(shù)據(jù)集上Precision-Recall曲線圖Fig.7 Precision-Recall curves of fourteen algorithms on the PASCAL-S dataset

圖8 與其他算法比較的Precision-Recall和F-measure的柱狀圖Fig.8 Histogram of Precision-Recall and F-measure compared with other algorithms

本文算法與上述13種算法的視覺效果比較，如圖9所示.RBD和BSCA算法對于復(fù)雜背景圖像的檢測不如本文算法檢測的完整且RBD和BSCA算法將目標影子誤識別成目標.從圖中可以看出本文算法具有很好的視覺效果，能夠一致高亮的突出前景目標，解決了因目標影子等造成的誤檢現(xiàn)象.通過直觀效果可以發(fā)現(xiàn)本文顯著圖能更好突出整個顯著物體，顯著目標檢測完整性更優(yōu)，并且算法能夠很好地抑制顯著目標的影子，提高檢測結(jié)果的準確率.從圖9中可以看出本文算法對比度更好.

5 結(jié) 語

本文提出基于凸包改進流行排序的顯著性區(qū)域檢測，依據(jù)圖像凸包信息將圖像分為前景種子和背景種子，結(jié)合圖像4種不同的超像素尺度，并根據(jù)圖像的Lab顏色特征，RGB特征和LBP紋理特征分別計算4種尺度圖像背景顯著圖和前景顯著圖，融合多尺度圖像的背景顯著圖得到最終的背景顯著圖，融合4種尺度圖像的前景顯著圖得到最終前景顯著圖，最終前景顯著圖和最終背景顯著圖融合得到弱顯著圖；采用多核增強(MKB)算法對由弱顯著圖生成的訓(xùn)練樣本進行強分類，生成強顯著圖；最后融合強顯著圖和弱顯著圖提高檢測效果，并將融合的結(jié)果進行優(yōu)化處理得到最終的檢測結(jié)果.本文算法解決了傳統(tǒng)基于圖的流行排序相關(guān)顯著性檢測算法處理圖像時目標影子被誤檢以及檢測結(jié)果中顯著區(qū)域被識別成背景問題.本文算法在3類公開數(shù)據(jù)集上進行實驗分析，結(jié)果證明本文算法在準確率-召回率以及F-measure方面效果要優(yōu)于所對比的13種主流的顯著性算法.通過實驗分析可以發(fā)現(xiàn)本文算法對于一小部分多目標以及小目標圖像的檢測結(jié)果存在漏檢或者檢測不完整的現(xiàn)象，因此算法還需進一步優(yōu)化.下一階段工作將會對提高復(fù)雜背景圖像檢測準確率方面進行改進研究.

圖9 本文算法與其他主流顯著性檢測算法的顯著圖效果對比Fig.9 Saliency map comparison of the algorithm with other mainstream saliency detection algorithms