南柄飛，郭志杰，王 凱，李首濱，董曉龍，霍 棟

(1.中國煤炭科工集團 北京天瑪智控科技股份有限公司，北京 100013；2.中煤華晉集團有限公司,山西 運城 043300)

0 引 言

在自然場景中，人類視覺系統(tǒng)在感知場景時往往不是一蹴而就地全面把握，而是首先聚焦視覺畫面的主要部分，即顯著目標，然后根據(jù)顯著目標先驗知識的導向，通過聯(lián)想機制實現(xiàn)對整個場景的理解和認知。因此，國內外相關研究機構和人員研究表明基于視覺注意機制的顯著目標的檢測和提取是一種有效模擬人類視覺感知和認識機理的方法，也是計算機視覺領域中有關視覺圖像處理、場景感知、認知相關研究內容中的重要組成部分。目前，基于顯著性檢測和提取的成果廣泛應用于基于計算機視覺圖像領域的相關方向，如基于視覺內容的圖像檢索[1]、圖像視頻壓縮[2]、目標檢測[3]、目標識別[4]、場景感知和理解[5]等。因此，在復雜場景中基于視覺注意機制的顯著目標的檢測和提取研究意義重大。在煤礦井下場景中，為保證煤礦工人的生命安全，以及實現(xiàn)對井下作業(yè)場景中關鍵設備目標狀況的實時動態(tài)監(jiān)控，目前相關煤礦企業(yè)在煤礦作業(yè)場景中廣泛引進了視頻監(jiān)控系統(tǒng)，一定程度上形成了“可視化遠程干預性智能采煤控制系統(tǒng)”。在井下集控中心以及礦井地面實現(xiàn)了針對綜采工作面復雜場景的可視化遠程監(jiān)控。但是隨著智能化無人開采進程的推進，圍繞井下關鍵設備目標對象的視覺智能感知需求日益增強。井下復雜場景中，特別是生產(chǎn)工況的綜采工作面，人員及設備目標頻繁交錯呈現(xiàn)，基于監(jiān)控視覺畫面實時檢測、提取井下作業(yè)人員、關鍵設備目標對象，對實現(xiàn)井下關鍵設備目標對象的動態(tài)視頻監(jiān)控、生產(chǎn)場景智能感知安全生產(chǎn)管理意義重大。因此需要基于視覺注意機制針對可視化監(jiān)控視頻圖像進行顯著目標的實時檢測和提取，例如針對井下人員，及關鍵設備目標對象的實時檢測和提取，以便后續(xù)進行基于視覺內容的分析處理，實現(xiàn)圍繞關鍵目標對象的實時動態(tài)監(jiān)控，場景智能感知和安全生產(chǎn)管理。在視覺圖像畫面中，顯著性表現(xiàn)為視覺特殊性、稀缺性以及奇異性，并且是由顏色、梯度邊緣、紋理等視覺特征共同作用所致。其具體定義為：顯著性就是在某個場景中，某事物個體與其周圍環(huán)境的對比度即差異性。一般情況下，理想顯著目標的檢測和提取應滿足以下3個標準：① 在顯著目標檢測過程中，顯著目標應該是被準確定位在場景中具有相對突出顏色辨識度的位置，理想情況下應遵循人類面對繁雜場景感知時對突出顏色個體的聚焦規(guī)律；② 顯著目標的提取應該相對比較完整地從背景區(qū)域中分離出來，無論場景是簡單還是繁雜，都能夠盡可能完整地保留其固有的特征信息，例如完整的目標外輪廓形狀及局部紋理特征，使得提取的顯著目標可以方便后續(xù)處理，以及更高層次應用；③ 從時效性上來說，顯著目標的檢測和提取過程應該越快越好，因為這是從后續(xù)實時應用需求的角度出發(fā)考慮的。

因此，從顯著目標檢測和提取效率角度出發(fā)，特別是基于視覺注意機制針對煤礦井下可視化遠程監(jiān)控視頻圖像進行顯著目標檢測和提取的實際工程應用需求考慮，在分析圖像視覺特征的基礎上，特別是煤礦井下圖像視覺特征，提出一種基于隨機采樣區(qū)域對比度計算(Random Sampling Region Contrast,RSRC)的實時顯著區(qū)域和目標提取方法。在顯著性檢測過程中，首先在圖像全局顏色空間中進行量化，然后對原圖像像素進行隨機采樣，使用隨機采樣后的圖像進行區(qū)域分割；然后構建各個區(qū)域的顏色直方圖，計算區(qū)域對比度獲得區(qū)域顯著性；最后基于背景先驗知識對區(qū)域對比度進行修正，并使用引導濾波生成全分辨率顯著圖，實現(xiàn)顯著性的實時檢測。在顯著目標分割過程中，提出一種自適應的前景、背景閾值迭代方法，基于Shared Sample Matting[6]方法實現(xiàn)顯著目標的實時分割提取。通過公共圖像集實驗測試分析表明，該提取方法在提高顯著目標檢測和分割精度的同時，進一步提高了算法的實時性，可以滿足實際工程應用需求，為井下復雜環(huán)境場景中關鍵設備目標對象的實時智能感知應用奠定基礎。

1 顯著目標檢測、提取研究現(xiàn)狀

有關視覺圖像顯著目標檢測和提取，目前在非煤領域研究者開展了廣泛的研究，提出了許多具有代表性的顯著目標檢測和提取方法。這些方法主要分為生物驅動模型與數(shù)據(jù)驅動模型兩大類。

生物驅動模型最早由KOCH等[7]提出，后來由LTTI等[8]定義了圖像顯著性，提出了基于生物視覺注意機制的顯著性區(qū)域檢測方法(IT)方法。這種方法是利用顏色、邊緣、方向等圖像低層特征，通過多尺度高斯差分方式計算顯著性。HAREL等[9]提出(Graph-based,GB)方法，其利用IT方法構建特征圖，采用基于圖像統(tǒng)計的歸一化方法，實現(xiàn)顯著性計算。GOFERMAN等[10]和WANG等[11]通過構造圖像單元，計算圖像單元間的差異來檢測顯著性(Context-Aware,CA)。這種方法體現(xiàn)了良好的全局特性，檢測效果有明顯提升，但其運用多尺度圖像金字塔進行融合，計算復雜度高，運行緩慢，只適合在低分辨率圖像上進行顯著性檢測提取。程明明等[12]在2011年提出區(qū)域對比度的顯著性檢測方法(Region Contrast,RC)，其通過圖像顏色區(qū)域高效計算區(qū)域對比度獲取圖像顯著性。但是，在RC方法中的圖像區(qū)域化和顏色空間轉換過程需要很大的計算資源，其檢測時間無法達到實時要求，在下一步顯著目標分割過程中所占用的計算處理時間更長。

基于數(shù)據(jù)驅動模型的方法，其中一部分是利用圖像的局部特征進行計算處理，例如ACHANTA等[13]使用圖像在多尺度空間中圖像子區(qū)域的像素平均特征向量與近鄰的像素平均特征向量的差來表征圖像的局部顯著性值(Average Contrast,AC)。這種方法雖然輸出全分辨率圖像，但是顯著檢測精度相對較低，而且運行效率也低。LI[14]等人通過構建超圖并在超圖中檢測顯著點和邊來實現(xiàn)顯著目標檢測，其充分考慮了各個像素點或者區(qū)域與其周圍的關聯(lián)關系。LIN等[15]首先通過學習獲取中層特征來表示圖像的局部信息，然后通過濾波器得到多尺度、多級顯著圖，最后通過視覺先驗知識指導得到最終的顯著圖。另一部分方法是利用圖像的全局特征進行計算處理，例如HOU等[16]提出的：Spectral Residual(SR)，這種方法雖然計算效率有很大提升，但是檢測結果的精度不夠。LIU等[17]提出了一種監(jiān)督的視覺注意區(qū)域檢測方法，在圖像高斯金字塔中通過線性結合比較來得到多尺度下的局部區(qū)域對比度，同時利用中心-周邊直方圖以及顏色空間分布的平均值定義顯著目標。這種方法由于在多尺度下獲取局部區(qū)域對比度，因此其處理效率也很難達到實時性。同樣，程明明等[2]利用量化全圖像素數(shù)量，通過直方圖對比度來計算顯著性(Histogram Contrast,HC)[12]方法也屬于基于數(shù)據(jù)驅動的模型，其在實現(xiàn)過程中利用視覺圖像的全局特征進行計算處理的。

近年來許多方法在顯著性計算和處理過程中同時考慮圖像的局部特征和全局特征。在國內，2013年唐勇等[18]提出一種基于圖像單元對比度與空間統(tǒng)計特性的顯著性區(qū)域檢測方法(Cell Contrast and Statistics,CCS)。CCS方法與單獨采用局部特征相比，提升了運行效率，檢測結果更加清晰，同時提高了檢測精度。郭迎春等[19]提出了一種基于顏色空間的局部特征和區(qū)域特征的顯著性檢測方法。這種方法在獲得顯著目標對象邊緣的同時，將顯著特征與顯著目標的邊緣信息進行融合獲取最終顯著目標。在國際上，PERAZZI等[20]考慮顏色獨立性與顏色分布對圖像顯著性的貢獻，從而把兩者相結合提出SF(Saliency Filters)方法。SF方法采用高斯濾波加速，得到很不錯的檢測效果，但是其在顯著性計算過程中采用濾波器實現(xiàn)，需要設置參數(shù)過多，導致處理速度達不到實時性需求。YILDIRIM等[21]提出一種快速的顯著檢測方法FASA(Fast Accurate and Size-Aware)。這種方法主要使用顏色特征和空間位置信息，通過統(tǒng)計學模型來計算顯著性的概率，最后結合全局顏色對比來獲得最終顯著性。該方法雖然處理速度很快，但是其犧牲了顯著性檢測精度和準確性。

因此，在復雜場景中，基于視覺注意機制的顯著目標檢測和提取具有很大的研究潛力，特別是基于數(shù)據(jù)驅動模型綜合考慮圖像全局與局部特征的相關方法。近年來顯著性檢測無論在精準度方面還是召回率方面都有了明顯的提高，而且處理速度方面也有了一定程度上的提升。但是，利用顯著性檢測結果進行顯著性目標的分割提取過程往往計算程度相對復雜，一般在沒有人工干預情況下，其處理速度在某種程度上很難達到實時應用需求[22-23]。常用的顯著目標分割提取算法例如Saliency Cut[24]方法，該方法是基于 Grab Cut[25]改進而來，通過迭代應用Grab Cut來改善二值化顯著圖然后進行分割處理，其運算復雜度很高?；诖?，在顯著性檢測中引入隨機采樣策略，在保證顯著性檢測精度的前提下提高了計算效率。在顯著目標分割提取過程中，提出一種自適應的前景、背景閾值迭代方法。分割過程基于Shared Sample Matting[6]在無需人為交互的情況下實現(xiàn)顯著目標的實時分割，實現(xiàn)顯著目標的端到端連貫性實時分割提取。

2 基于隨機采樣區(qū)域的實時顯著性檢測

顯著目標提取的首要任務是顯著性檢測。本文在分析圖像視覺特征的基礎上，特別是煤礦井下圖像視覺特征，提出一種基于隨機采樣區(qū)域的實時顯著性檢測方法，其算法流程如圖1所示。

圖1 顯著性檢測流程Fig.1 Flow of saliency detection

基于隨機采樣區(qū)域的實時顯著性檢測方法的具體流程為：①對輸入原圖像進行顏色量化減少圖像中像素顏色類別數(shù)目；②對量化后的圖像進行隨機采樣；③利用Efficient Graph-based Segmentation(EGS)[26]算法進行 RGB 顏色空間上的區(qū)域分割；④基于區(qū)域顏色對比度計算獲取各區(qū)域的顯著性；⑤利用邊界背景先驗知識計算邊界區(qū)域的歸一化值；⑥基于邊界區(qū)域的歸一化值修正區(qū)域的顯著性值；⑦使用Fast Global Smoother(FGS)[27]算法平滑區(qū)域顯著性圖生成全分辨率顯著圖。

2.1 圖像視覺特征分析及顏色空間量化

一般地，對于256 種顏色特征類別的三通道彩色圖像，其顏色直方圖中color bins的數(shù)量有16萬個左右，即原圖像中包含大約 16 萬種顏色。這種現(xiàn)實情況加大了基于顏色特征圖像處理算法的計算負擔。同時在分析煤礦井下圖像視覺特征過程中發(fā)現(xiàn)，井下圖像顏色信息相對比較突出，顏色類別相對單一，而且各顏色類別之間的差異也不大。

因此首先通過顏色量化方法來減少原圖像中顏色種類數(shù)量，將原圖像中不重要且具有高相似度的顏色合并為同類顏色以減少顏色的種類。這樣可以減少算法計算復雜度，提高處理效率。為保證量化后的顏色種類均勻分布，每個顏色通道劃分為8個等級，最終將顏色空間量化為83種不同類別。顏色量化操作在RGB顏色空間上進行，但是為了顏色類別距離計算與人類感知更為相似，顏色類別距離計算是在圖像的L*a*b*顏色空間上進行。

2.2 隨機采樣的區(qū)域分割和對比度計算

根據(jù)人類視覺系統(tǒng)感知場景過程是基于顏色塊信息進行處理的相關機理，利用圖像區(qū)域塊進行對比度計算實現(xiàn)視覺顯著性檢測。由于目前常見圖像區(qū)域分割方法，如SLIC超像素分割[28]，MeanShift方法[29]等，計算復雜度較高，增加顯著性檢測整個過程的處理時間。因此在分析圖像視覺特征的基礎上，提出一種隨機采樣的區(qū)域分割方法，針對圖像進行區(qū)域分割，提升區(qū)域分割過程的計算處理效率。

按不同的隨機采樣率，針對非煤圖像和煤礦井下圖像上進行采樣，統(tǒng)計區(qū)域分割結果以及算法的實時性相關情況進行分析。首先對比隨機采樣前后圖像的區(qū)域分割結果，同時統(tǒng)計二者的均值絕對值誤差(Mean Average Error,MAE)，以及區(qū)域分割過程所消耗的時間，統(tǒng)計情況如圖2所示。

圖2 隨機采樣率與MAE，及區(qū)域分割消耗時間曲線Fig.2 Random sampling rate and MAE curve,Random sampling rate and region segmentation time consuming curve

從圖2中可以看出，當隨機采樣率為0.5時，區(qū)域分割結果的誤差為0.15左右，同時其消耗的時間降低為未使用隨機采樣(即全部圖像像素參加區(qū)域分割)時的1/10。同時，在采樣率為0.5時，隨機采樣前后的圖像區(qū)域分割可視化效果如圖3所示。

圖3 隨機采樣前后的圖像分割效果Fig.3 Source images and segmentation results before and after random sampling

圖3a、圖3b分別為原圖及其區(qū)域分割結果圖，圖3c、圖3d分別為隨機采樣率為0.5情況下的采樣圖及其區(qū)域分割結果圖。從原圖和隨機采樣圖中可以看出，當隨機采樣率為0.5時，由于煤礦井下圖像背景中黑色區(qū)域較多，隨機采樣后的圖像仍然保留了足夠多的顏色信息和目標對象輪廓信息。從原圖的區(qū)域分割結果圖和隨機采樣圖的區(qū)域分割結果圖中可以看出，二者圖像的分割結果效果圖明顯差異不大?？梢钥闯?，按照合適采樣率進行隨機采樣，一定程度上可以在不影響圖像顏色特征聚類計算的情況下實現(xiàn)區(qū)域分割，特別是煤礦井下場景的視覺圖像。因此，選擇合適的采樣率，對隨機采樣后的圖像進行區(qū)域分割，可以在保證區(qū)域分割精度的前提下提高區(qū)域分割的實時性。

基于隨機采樣的區(qū)域分割過程具體為，首先對原圖像基于隨機采樣策略進行采樣，然后利用快速分割算法EGS[26]將圖像分割成若干個不同的初始區(qū)域，再將未采樣到的圖像像素點歸并到最鄰近的初始分割區(qū)域中。最后在區(qū)域分割的基礎上，計算區(qū)域與其他所有區(qū)域的對比度獲得區(qū)域的顯著性值Sc(ri)，定義如下：

(1)

其中，Rrand為隨機采樣分割的所有區(qū)域；ω(ri)為區(qū)域ri中包含的像素值，用于強調較大區(qū)域的對比度;ri為要計算的當前區(qū)域；rj為除了自身外的區(qū)域；ω(ri,rj)為區(qū)域的空間位置信息權重，可以強化相鄰區(qū)域和削弱較遠區(qū)域對當前區(qū)域顯著性的影響程度，表示如下：

(2)

式中：Cs為空間位置信息權重的歸一化因子，用來控制空間位置信息權重的作用效果；De(ri,rj)為區(qū)域之間的距離，即2個區(qū)域重心之間的距離。

式(1)中Dr(ri,rj)為2個區(qū)域之間的顏色距離表征，具體表示如下：

(3)

式中：m、n分別為區(qū)域ri和rj內的顏色數(shù)目；Dclr(c1,i,c2,j)為在顏色空間上2個區(qū)域中的2種顏色之間的距離；f(ck,l)為在第k個區(qū)域中第l種顏色在該區(qū)域內出現(xiàn)的概率，k={1,2}，l={i,j}。

2.3 基于背景先驗的區(qū)域對比度修正

區(qū)域顯著性值反映當前區(qū)域在全局區(qū)域中的相對突出程度，即當前區(qū)域與其他區(qū)域的對比度。但是在復雜場景下，原圖像背景中往往會包含一些分散的相對突出的小塊區(qū)域，從而使得這些小區(qū)域塊在結果顯著圖中具有較高的顯著性值。另外，對于一些不規(guī)則形狀的區(qū)域，在計算對比度過程中，由于使用圖像像素坐標的平均值計算區(qū)域的重心，這樣計算獲得的區(qū)域重心往往與實際重心可能不一致，導致最終獲得的顯著性值與實際情況具有一定的偏差。

針對上述問題，為在全局范圍內更加相對突顯實際的顯著目標，基于邊界區(qū)域為背景區(qū)域的一般現(xiàn)實假設，利用“位于圖像邊界的像素極有可能為背景像素”的先驗知識來進行修正優(yōu)化圖像的全局顯著性。在具體實現(xiàn)過程中，取20個像素寬度的邊界部分，統(tǒng)計此邊界屬于各個區(qū)域的像素數(shù)目，同時計算此像素數(shù)目占所屬區(qū)域像素數(shù)目的比例，作為此區(qū)域的歸一化值，然后利用各個歸一化值對各區(qū)域的對比度(即顯著性)進行修正。背景先驗權重ωb(ri)表示為

(4)

其中，Cb為控制邊界背景先驗權重的作用；p(ri)為區(qū)域的歸一化值。最后進行區(qū)域的對比度(即顯著性)修正，修正后的區(qū)域顯著性表示為：

(5)

2.4 全分辨率顯著圖生成

在各區(qū)域對比度計算完成后，基于局部區(qū)域對比度計算獲得的顯著圖中往往會出現(xiàn)前景目標邊緣部分被淹沒現(xiàn)象，導致不能夠完整地將檢測到的顯著性目標從背景中分離出來。因此，需要使用原圖像對顯著性圖進行濾波操作來獲得最終的邊緣輪廓清晰的全分辨率顯著圖。

針對顯著圖的平滑處理操作，采用FGS方法[27]將區(qū)域顯著性映射為全分辨率顯著性圖。FGS算法具有線性復雜度、運行效率高和易調參等特點，同時這種方法可以在空間和亮度上完成濾波操作，很好地保持原圖像中顯著目標的邊緣細節(jié)信息。FGS通過優(yōu)化策略近似計算能量函數(shù)的最小值，表示如下：

傳文中，齊襄公滅紀國卻被稱為“賢者”，緣于他替遠祖復仇的行為，故孔子予以褒獎，同時，提出了復仇的兩條原則：一是由于國君一體，歷代相襲，故九世仍可復仇；二是在“上無天子，下無方伯”即天下無道、公義盡喪的情況下，個人可以循著恩痛去復仇?！斑@種恩痛之情是人類自然的血緣之情，充溢在人的心中不能已，在人類一切價值都毀滅后這種緣恩疾而產(chǎn)生的情感就成了人類唯一的、最后的價值，成了恢復人類公義的最后希望。職是之故，公羊家大復仇說對人類的恩痛之情給予了最高的贊禮，并以之為復仇的最終依據(jù)”[8]。

(6)

其中，f,g和u分別為輸入圖像、引導圖像和輸出圖像；N為包含n的2個鄰域的集合；λ為平滑參數(shù)；ωn,i(g)為引導圖像中2個像素點n和i的相似性函數(shù)，定義為：

(7)

其中：σc為亮度參數(shù)。在實現(xiàn)過程中，設定λ2= 10，σc2= 3，并采用3次迭代優(yōu)化能量函數(shù)。

FGS處理需要2個輸入數(shù)據(jù)，即輸入圖像和引導圖像，分別對應優(yōu)化策略過程中的空間和亮度參數(shù)。在實現(xiàn)過程中，輸入圖像為灰度圖，即前一步生成的顯著性圖，引導圖像為原彩色圖像?；叶蕊@著圖提供顯著亮度信息，引導圖完成空間上的邊緣輪廓細節(jié)保持。通過上述FGS處理后生成全分辨率顯著圖，這樣在全分辨率顯著圖中，原圖像中顯著目標的邊緣細節(jié)得到很好保持。

3 顯著目標實時分割提取

為實現(xiàn)顯著目標的提取，需要基于顯著性檢測得到的顯著圖進行前景背景分割。一般情況下，對于給定的顯著性灰度圖，通過固定閾值二值化操作獲得掩模圖進行目標分割。但是，不同場景圖像如果均采用固定閾值往往無法獲得理想的二值化掩模圖。因此，通常使用固定閾值得到一個包含前景區(qū)域、背景區(qū)域以及待求未知區(qū)域的三分圖，前景區(qū)域和背景區(qū)域中的像素是確定的，這樣就只需要確定未知區(qū)域中屬于前景和背景的部分。采用Shared Sample Matting方法[6]可以確定未知區(qū)域中屬于前景和背景部分，從而實現(xiàn)目標的分割提取。而三分圖中未知區(qū)域面積占原圖面積的比例直接影響Shared Sample Matting方法[6]的計算復雜度，三分圖中未知區(qū)域面積占原圖面積的比例越大，Shared Sample Matting方法[6]的計算復雜度就越高。對于對比度差異明顯的顯著圖，在三分圖生成過程中，如果前景閾值選取過高或背景閾值選取過低，得到的三分圖中的未知區(qū)域面積占原圖面積的比例就會增大，必然增加Shared Sample Matting[6]分割過程的計算復雜度。

因此，基于顯著性目標分割提取的實時性需求，提出一種自適應確定前景閾值和背景閾值的方法，獲取固定比例的高質量三分圖，然后利用Shared Sample Matting方法[6]實現(xiàn)顯著目標的實時分割提取。具體實現(xiàn)過程流程圖如圖4所示：① 構建顯著圖直方圖；② 根據(jù)直方圖的最大值和前景像素先驗信息初始化前景閾值和背景閾值；③ 迭代更新前景閾值和背景閾值，直到三分圖的未知區(qū)域占原圖面積比率小于5%；④ 利用Shared Sample Matting方法[6]確定三分圖未知區(qū)域中屬于前景和背景的部分，實現(xiàn)顯著目標的分割。

圖4 顯著目標實時分割提取流程Fig.4 Flow of real-time salient object segmentation

在確定背景閾值的初始值過程中，通過統(tǒng)計分析顯著性圖的直方圖獲得像素數(shù)目最多的灰度值，將其作為背景閾值的初始值。由于RC[12]方法表明，在公開數(shù)據(jù)集MSRAS-10K[17]中，平均20%的像素屬于顯著性區(qū)域。因此，在前景閾值的初始化過程中，針對顯著灰度值進行從大到小順序排序，并統(tǒng)計各灰度值的累積像素數(shù)目，最終獲得累積像素數(shù)目達到20%情況下的灰度值作為前景閾值的初始值。

在自適應確定前景閾值和背景閾值以獲得未知區(qū)域最優(yōu)的三分圖的過程中，首先選取合理背景閾值和前景閾值的迭代步長，不合理的迭代步長可能錯過最優(yōu)的背景閾值和前景閾值。由于背景區(qū)域和前景區(qū)域在顯著性圖中的灰度值范圍差別較大，因此前景閾值和背景閾值迭代更新時使用的步長并不相同。以顯著圖直方圖的最大值為界，計算左右兩側像素數(shù)目的累積速度來確定前景閾值和背景閾值的迭代步長。一般情況下由于背景區(qū)域的像素灰度值所在范圍小于前景區(qū)域像素的灰度值所在范圍，因此前景閾值的迭代步長會大于背景閾值的迭代步長。經(jīng)多次測試，本文中前景閾值步長為0.003，背景閾值步長為0.001。然后依次迭代更新背景閾值和前景閾值過程中計算三分圖的未知區(qū)域。當未知區(qū)域面積占原圖面積的比例處于較小范圍(文中取值為5%)時迭代結束，獲得未知區(qū)域最優(yōu)的三分圖。同時為了使顯著目標分割的前景圖輪廓較為平滑，采用膨脹和腐蝕操作處理每次迭代得到的三分圖。這樣膨脹處理后落在外面的區(qū)域設置為背景，在腐蝕區(qū)域內的部分設置為前景，其余的區(qū)域為三分圖的未知區(qū)域。

圖5 顯著性分割迭代過程中的三分圖Fig.5 Trimap of saliency segmentation during the iteration process

4 顯著目標檢測、分割提取實驗

利用公開試驗數(shù)據(jù)集，將文中提出的RSRC方法與目前流行的8種顯著性檢測算法進行實驗對比分析，這8種方法分別為：Region Contrast(RC)[12],Saliency Filters(SF)[20],Maximum Symmetric Surround(MSS)[30],Fast Accurate and Size Aware(FASA)[21],Graph-based Manifold Ranking(GMR)[31],Hierarchical Saliency(HS)[33],Frequency-Tuned(FT)[34],Soft Image Abstraction(GC)[32]。上述8種方法作者已公開相應實現(xiàn)源代碼，所有源碼均使用C++實現(xiàn)。試驗中硬件平臺的CPU為Intel Core i5-3230M 2.6 GHz，內存為4GB。

4.1 數(shù)據(jù)集

試驗過程使用的公開數(shù)據(jù)集為MSRA10K[17](10 000張)、THUR15K[35](15 000張)、ECSSD[33](1 000張)和DUTOmron[31](5 168張)。其中每個數(shù)據(jù)集中均含有原圖和相對應像素級人工標注的Ground Truth顯著圖。

4.2 顯著性檢測量化比較

目前顯著性檢測算法的量化分析均利用Ground Truth顯著圖與相應檢測結果進行對比評估分析。檢測結果精確度衡量指標為：準確率、召回率及F-measure[34]。準確率P(Precision)和召回率R(Recall)的定義如下：

(8)

(9)

其中，TP(True Positives)為在相對應Ground Truth顯著圖中的顯著性像素被算法實際正確檢測為顯著性的像素；FP(False Positives)為在相對應Ground Truth顯著圖中的背景像素被算法實際檢測為顯著性像素；FN(False Negatives)為在相對應Ground Truth顯著圖中的顯著性像素被算法實際檢測為背景像素。由于顯著性檢測方法得到的顯著圖是灰度圖，而計算TP,FP及FN則需要二值化圖，因此需要使用一個閾值T∈[0,255]分別將某個數(shù)據(jù)集對應的檢測結果顯著性圖進行二值化分割，然后計算每張圖像在[0,255]內的所有閾值對應的準確率-召回率，最后再得出該數(shù)據(jù)集的平均準確率-召回率(P-R)曲線。不同顯著性檢測方法在4個數(shù)據(jù)集上的P-R曲線如圖6所示。

圖6 4個不同數(shù)據(jù)集上的P-R曲線Fig.6 P-R curves on four public datasets

從圖6可以看出，本文RSRC方法的顯著性檢測精確度分別在MSRA10K[17]、ECSSD[33]和THUR15K[35]數(shù)據(jù)集上的表現(xiàn)都良好，明顯優(yōu)于其他8種方法。在DUTOmron數(shù)據(jù)集[31]上，RSRC方法只是在召回率低于70%的情況下，其準確率低于低于HS方法[33]。其中特別在MSRA10K[17]數(shù)據(jù)集上，RSRC方法在召回率小于80%區(qū)間上，其檢測準確率達到90%左右。

為進一步評估分析顯著性檢測效果，引入Fβ量化指標，F(xiàn)β定義如下：

(10)

式中，β為用于調節(jié)準確率或召回率對最終結果的影響程度。

由于在實際應用中，準確率比召回率更加重要，因此通常采用β2= 3強調準確率的影響程度來計算Fβ。需要注意的是，準確率-召回率曲線是在[0,255]區(qū)間范圍內計算得到，而Fβ測量則需要在一個固定閾值下進行統(tǒng)計計算。在本文實驗中，采用與RC方法[12]類似的操作，使用召回率為90%時的閾值對顯著圖二值化處理后計算統(tǒng)計Fβ。不同顯著性檢測方法在四個數(shù)據(jù)集上實驗得出Fβ，統(tǒng)計情況如圖7所示。

圖7 4個不同數(shù)據(jù)集上的Fβ 比較Fig.7 Comparison of Fβ on four public datasets

從圖7可以看出，本文RSRC方法的顯著性檢測精確度分別在MSRA10K[17]、ECSSD[33]、THUR15K[35]數(shù)據(jù)集上基于Fβ評估標準的表現(xiàn)都明顯優(yōu)于其他8種方法；在DUTOmron[31]數(shù)據(jù)集上的Fβ評估表現(xiàn)略低于HS[33]方法；在MSRA10K數(shù)據(jù)集[17]上，RSRC方法的Fβ達到0.85以上。

4.3 顯著目標檢測實時性分析

同時針對顯著性檢測的實時性進行統(tǒng)計分析。在實驗中各方法都是在基于C++代碼實現(xiàn)，運行在相同實驗硬件系統(tǒng)上，顯著性檢測過程消耗時間統(tǒng)計情況如見表1。由于在目前流行的8種顯著性檢測方法中，RC方法[12]和GMR方法[31]可以得到高質量的顯著性圖，以及FASA[21]方法具有較高的運行效率。因此，試驗中重點比較分析RSRC方法，RC方法[12]，GMR方法[31]，以及FASA[21]方法的顯著目標檢測實時性。

表1 各方法的顯著性檢測消耗時間統(tǒng)計Table 1 The consumption time of saliency detection algorithms

如表1所示，對于自然場景圖像，RC方法[12]消耗時間256 ms，GMR[31]方法消耗時間145 ms，F(xiàn)ASA[21]方法消耗時間16 ms，RSRC方法的消耗時間為25ms；RC方法[12]的消耗時間幾乎是RSRC方法的10倍。雖然RSRC方法消耗時間25 ms略長于FASA[21]方法消耗時間16 ms，但是從圖6可以看出，RSRC方法檢測的準確率明顯優(yōu)于FASA[21]方法。而本文RSRC方法的顯著性檢測過程消耗的時間25 ms可以滿足工程應用的實時性需求。

4.4 顯著目標分割結果比較

為了分析基于自適應確定前景背景閾值方法實現(xiàn)的顯著目標實時分割提取結果，我們利用RC方法[12]中采用的Saliency Cut分割方法[24]，在數(shù)據(jù)集MSRA10K[17]上隨這2種分割結果進行比較分析。兩種方法顯著目標分割結果的可視化效果如圖8所示。

圖8 顯著目標分割結果Fig.8 Salient objet segmentation results

從圖8的視覺效果來看，本文的方法與和SaliencyCut方法[24]，在分割結果的效果上沒有明顯差異，且與Ground Truth之間的差異也很小。為進一步量化分析本文顯著目標的分割效果，我們在整個數(shù)據(jù)集上分別統(tǒng)計兩種方法得到的二值掩模圖和Ground Truth之間的平均交并比值(Intersection Over Union，IOU)進行分割精度的比較分析，以及分割過程所消耗的時間進行實時性進行比較，情況見表2，其中IOU的定義為：

表2 分割方法的IOU值和消耗時間統(tǒng)計Table 2 IOU value and time consuming of segmentation algorithm

(11)

式中：M為顯著目標分割得到的二值掩模圖；G為數(shù)據(jù)集的Ground Truth。

如表2所示，雖然本方法的IOU值只是稍微下降了0.02。但是本文法的消耗時間為6.8 ms，其分割提取效率幾乎是Saliency Cut方法[24]的40倍。因此表明通過自適應迭代前景背景閾值獲取較優(yōu)的未知區(qū)域，利用Shared Sample Matting方法[6]實現(xiàn)顯著目標的分割提取，在保證較好目標分割精度的同時提高了分割提取的效率。

5 煤礦井下關鍵目標對象實時檢測提取

為進一步驗證RSRC方法在煤礦井下場景中關鍵設備目標對象的實時感知應用效果，我們針對包含井下工作面常見關鍵目標對象的視覺圖像，分別應用顯著性檢測方法FT[34]、GC[32]、GMR[31]、MSS[30]、HC[12]、RC[12]，以及本文RSRC方法進行顯著性檢測，并對RSRC方法的顯著性結果利用文中提出的分割方法和Saliency Cut分割方法[24]進行關鍵目標對象的提取，可視化結果如圖9所示。

圖9 煤礦井下場景關鍵目標對象的檢測、分割提取結果Fig.9 Saliency detection and segmentation results of salient objects in the coal mine underground

在圖9中，第1行為原圖，原圖中基本涵蓋了井下的關鍵設備目標對象，主要有井下人員、采煤機滾筒，及其它礦用設備的主要部件部分。第2行到第8行分別為顯著性檢測結果，即顯著性圖。第9行、第10行分別是基于本文RSRC方法檢測結果利用Saliency Cut分割方法和該分割方法進行的顯著目標提取的結果。與顯著性檢測方法GC[32]、GMR[31]、HC[12]、RC[12]相比較，本文RSRC方法成功檢測到實際場景中的關鍵目標對象，如井下人員、采煤機滾筒等目標。與RC[12]相比，由于RSRC方法引入了隨機采樣策略，其顯著性圖中出現(xiàn)的一些孤立顯著性塊，在顯著目標分割階段被成功移除，如圖9中第10行分割結果所示。正是由于引入了隨機采樣策略才使得RSRC方法在顯著性檢測階段處理一幅圖像的平均花費時間為25 ms，可以達到實時的應用需求。

同時，從圖9第1行原圖、第8行RSRC顯著性檢測結果、第9行Saliency Cut分割結果以及第10行RSRC Cut分割結果的可視化效果可以看出，基于同樣的顯著檢測結果輸入，該分割方法能夠正確地分割提取出井下的多個關鍵目標對象，如井下人員、煤機滾筒等目標對象，而Saliency Cut分割方法提取結果中只有單個顯著目標，無法成功分割提取出多個關鍵目標對象。雖然該方法在提取結果圖中丟失了一些目標對象的細節(jié)部分，但是整個提取過程能夠準確檢測并成功分割出關鍵目標對象(顯著目標)。

而且通過試驗統(tǒng)計數(shù)據(jù)表明，該顯著性檢測、顯著目標分割方法實現(xiàn)了30 FPS左右的處理速度，滿足實際工程應用的實時性需求。

6 結 論

1)在顯著目標檢測過程中引入隨機采樣策略，對隨機采樣后的圖像進行區(qū)域聚類實現(xiàn)區(qū)域分割，提高顯著性檢測過程的處理效率；在顯著目標分割過程中，提出了一種自適應確定前景閾值和背景閾值獲取較優(yōu)三分圖方法，在保證顯著性檢測和目標分割精度的前提下，達到了實時檢測分割效果。

2)針對煤礦井下復雜場景關鍵設備目標對象進行檢測獲取實驗驗證，效果良好，可以為井下可視化遠程監(jiān)控視頻圖像的預處理，以及關鍵設備目標對象的智能感知應用提供技術基礎。

3)本方法雖然可以滿足煤礦場景以及非煤場景下顯著目標的實時檢測、分割提取需求，但是在顯著性檢測過程中由于引入了隨機采樣策略針對圖像特征進行聚類實現(xiàn)區(qū)域分割，因此在圖像目標紋理和輪廓特征不是很清晰的情況下，隨機采樣策略會弱化圖像中的紋理和邊緣輪廓特征，將會導致在顯著性檢測結果圖中出現(xiàn)某些孤立的顯著點。

因此，在接下來的研究過程中：① 進一步研究在紋理或輪廓之外的像素點區(qū)域進行隨機采樣，為區(qū)域的聚類處理提供無損原始像素值；② 針對煤礦井下關鍵設備目標對象視覺圖像顏色和背景顏色區(qū)分度不大的現(xiàn)象，嘗試使用新的區(qū)域顏色對比度量化方法來有效區(qū)分井下視覺圖像中的不同區(qū)域，從而提高顯著目標檢測精度；③ 在消除孤立顯著性點的基礎上進一步提高顯著性檢測、目標分割精度，保證顯著目標提取效果。