涂晶潔，張維朋，田 思，閔超波，張俊舉,

?

利用運(yùn)動紋理差異的運(yùn)動目標(biāo)分割無監(jiān)督評價方法

涂晶潔1，張維朋1，田 思1，閔超波2，張俊舉1,2

（1.寧波大紅鷹學(xué)院 機(jī)械與電氣工程學(xué)院，浙江 寧波 315175；2.南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，江蘇 南京 210094）

運(yùn)動紋理差異；無監(jiān)督評價；分割掩膜；紅外視頻

0 引言

運(yùn)動目標(biāo)的檢測與分割技術(shù)在機(jī)器視覺的研究中尤為重要，可在視頻中提取人們感興趣的部分，為后續(xù)的視頻編碼、視頻檢索、圖像理解和模式識別等提供可靠的數(shù)據(jù)[1]。近年來，國內(nèi)外的研究人員對視頻序列中運(yùn)動目標(biāo)的分割技術(shù)進(jìn)行了深入研究，并獲得了不錯的成效，提出了很多視頻運(yùn)動目標(biāo)分割算法[2-4]。運(yùn)動分割質(zhì)量與性能的客觀評價，對實現(xiàn)更加精確的運(yùn)動目標(biāo)分割有著重要的意義。

客觀評價主要分為兩類：有監(jiān)督的評價方法和無監(jiān)督的評價方法。有監(jiān)督的評價方法主要通過比較分割圖像與參考圖像，按照分割掩膜與參考圖像的差異水平來定量地衡量分割的性能[5]。參考圖像即為先驗知識，可以通過手工標(biāo)注和多人投票的方式來確定，有些方法中參考圖像就是指運(yùn)動目標(biāo)的真實情況。無監(jiān)督評價方法的主要原理是在沒有先驗知識的情況下，提取出分割圖像中的某些特征，以此來衡量整個分割的性能效果。無監(jiān)督的評價方法大大彌補(bǔ)了需要先驗知識的評價方法的不足，而且，此類方法可以作為分割算法中的一個評價環(huán)節(jié)，在線地對分割算法的輸出結(jié)果進(jìn)行量化評價，進(jìn)而實時地調(diào)整算法參數(shù)，獲得最優(yōu)的分割結(jié)果。因此，無監(jiān)督分割評價對于分割算法的開發(fā)和改進(jìn)具有重大的意義。常見的無監(jiān)督評價方法有區(qū)域間對比度、區(qū)域內(nèi)部均勻性、基于信息理論和最短描述長度理論（minimum description length principle，MDL）的評價準(zhǔn)則[6]。Correia和Pereira提出了一種目標(biāo)內(nèi)部一致性準(zhǔn)則和目標(biāo)相互差異準(zhǔn)則CP[7]。目標(biāo)內(nèi)部一致性準(zhǔn)則由4個部分組成，分別為：外形規(guī)則性（基于致密性、圓度性和延伸性），空間一致性（基于空間感知信息和紋理方差），時域穩(wěn)定性（基于大小、延伸和紋理的差分）以及運(yùn)動一致性（基于運(yùn)動向量和臨界點(diǎn)的方差）。目標(biāo)相互差異包括與鄰域的局部顏色和運(yùn)動對比度，鄰域?qū)比度用來衡量目標(biāo)內(nèi)外特征的差異，并且對于圖像中每一個目標(biāo)計算相應(yīng)的關(guān)聯(lián)度來估計目標(biāo)對人眼的吸引程度。如何將視頻序列的時域特征與空域特征更好地聯(lián)系以準(zhǔn)確表征運(yùn)動目標(biāo)分割的品質(zhì)，是未來運(yùn)動目標(biāo)分割無監(jiān)督評價的發(fā)展方向。

本文提出了一種利用運(yùn)動紋理差異的運(yùn)動目標(biāo)分割無監(jiān)督評價方法。該方法利用基于貝葉斯決策的精確量化準(zhǔn)則對差分圖像進(jìn)行精確量化，形成運(yùn)動紋理的類別映射圖。然后，將Fisher多級線性判別[8]應(yīng)用于類別映射圖，以分割前景和背景之間的運(yùn)動紋理差異來表征分割掩膜的性能。

1 基于貝葉斯決策的精確量化準(zhǔn)則

假設(shè)f為紅外視頻序列中第幀圖像，d為差分圖像，即d＝f－f－1。差分圖像包含了第幀圖像中的變化像素，反映了第幀圖像中的時域信息。

首先對差分圖像進(jìn)行粗略的量化處理。利用閾值法對差分圖像進(jìn)行二值化，提取出變化顯著的像素，降低噪聲的影響，形成變化檢測掩膜。在這里，二值化閾值＝mean(f)/4，其中mean(f)表示f中像素的灰度平均值，常數(shù)4是經(jīng)過大量實驗之后確定的系數(shù)。然后，利用8鄰域模型在變化檢測掩膜中進(jìn)行連通域檢測，形成連通域映射圖W，其中每個像素點(diǎn)都為該像素點(diǎn)所屬連通域的標(biāo)記，用（＝1,2,3,…）表示，每個連通域也可表示為R。另外，靜止像素標(biāo)記為0。連通域映射圖W反映了變化像素的連通關(guān)系，但這只是粗略地量化。為了更加精確地表述變化像素連通區(qū)域之間的關(guān)系，需要建立更加精確的量化規(guī)則。

令a和b表示兩個不同的連通區(qū)域。它們兩者之間的關(guān)系只有兩種：屬于同一類別（用0表示）和屬于不同類別（用1表示）。令表示a和b之間的特征向量：

＝(SP)T(1)

根據(jù)貝葉斯理論，建立后驗概率模型如下：

式中：由于S和P相互獨(dú)立，所以(S,P|x)＝(S|x)×(P|x)（＝0,1）。為了簡化模型，不妨假設(shè)(0)＝(1)＝0.5。后驗概率模型的核心是似然比模型，因此，可根據(jù)區(qū)域之間的特征向量，構(gòu)建似然比模型：

式中：S和P為量化尺度系數(shù)；S和P分別表示S和P的歸一化形式，定義：

式中：和分別表示輸入圖像的行數(shù)和列數(shù)。

于是，似然比模型可以寫成：

構(gòu)建可以反映兩連通區(qū)域之間特征的表達(dá)，其目的是判斷兩者之間的真實關(guān)系，即進(jìn)行決策。由于紅外圖像中目標(biāo)和背景的灰度一致性較好，因此將空間距離和灰度距離皆滿足一定條件的連通區(qū)域進(jìn)行聚類，可以更為清晰地反映紅外圖像中變化像素之間的聯(lián)系。根據(jù)似然比估計原理，決策準(zhǔn)則可定義為：

根據(jù)貝葉斯決策的最小風(fēng)險準(zhǔn)則，決策閾值可依據(jù)下式進(jìn)行計算：

式中：C定義為決策代價。在本文中，假設(shè)所有決策的代價是相等的。圖1顯示了在S＝0.8和P＝0.8情況下的似然比估計概率密度分布情況。

接下來，需要對所提出的量化準(zhǔn)則進(jìn)行理論檢驗，以驗證其有效性。由于量化準(zhǔn)則的功能為決策，因此可以用誤差概率E對其性能進(jìn)行刻畫，誤差概率E定義如下：

E＝(0)fa＋(1)(1－d) (10)

式中：(x)表示先驗概率；fa表示將原本屬于不同類的區(qū)域分在同一類別的概率；d表示將原本屬于同一類的區(qū)域分在同一類的概率。

2 精確量化方法

根據(jù)所提出基于貝葉斯的量化準(zhǔn)則，設(shè)計一套精確量化的方法流程，具體算法如算法1：

define an empty matrix

while 1

for every connect regionRsuch that≥1

for every connect regionRsuch that≠

ifS(R,R)＞(2P－1)×S/Pthen(,)＝(R,R)

end for

end for

find out the maximum of

cluster the corresponding two regions into the same class and updateW

if the maximum ofis bigger thanthen break and returnW

end while

算法1中的(2P－1)×S/P是有可能屬于同一類的兩個連通區(qū)域之間S的最大值。令：

當(dāng)P＝1且＝1時，即可得到(2P－1)×S/P。即對于任意兩個連通區(qū)域，當(dāng)S＜(2P－1)×S/P時，這兩個連通區(qū)域就不可能屬于同一類別。

算法1最終輸出的W可以稱為第幀差分圖像的類別映射圖，用C表示。在類別映射圖中，標(biāo)記為0的數(shù)據(jù)點(diǎn)代表靜止像素，其余的點(diǎn)代表變化像素。

3 運(yùn)動紋理差異評價模型

令表示類別映射圖C中所有個數(shù)據(jù)點(diǎn)的集合。令表示任意一數(shù)據(jù)點(diǎn)的二維坐標(biāo)向量，＝(,),?。為的平均坐標(biāo)向量：

假設(shè)類別映射圖中包含no＋1個不同的類別，包含Nl個數(shù)據(jù)點(diǎn)的類別表示為Zl，l＝0,1,…,no。令ml表示Zl的評價坐標(biāo)向量：

令：

式中：w是同一類別內(nèi)部數(shù)據(jù)點(diǎn)坐標(biāo)的總方差，其反應(yīng)了每個類別內(nèi)部數(shù)據(jù)點(diǎn)的分布情況；B反應(yīng)了類別映射圖中不同類別的分布情況。

定義：

值可以綜合反映差分圖像紋理的空間分布情況。若類別之間分布的越松散，類別內(nèi)部越緊密，值越大。針對待評價的運(yùn)動目標(biāo)分割掩膜m，我們分別計算前景的值（f）和背景的值（b），再對這兩個值進(jìn)行比較。f和b的差異越大，則說明分割掩膜中前景的運(yùn)動紋理與背景的運(yùn)動紋理差異越大，進(jìn)而說明分割掩膜越接近真實情況，其性能越好。

分割掩膜中前景區(qū)域可能包含多個獨(dú)立的連通區(qū)域，因此f具體定義如下：

式中：J為分割掩膜中前景內(nèi)部某個連通區(qū)域的值；M為連通區(qū)域包含的數(shù)據(jù)點(diǎn)數(shù)量；f為前景中包含的數(shù)據(jù)點(diǎn)總數(shù)。

根據(jù)上述參數(shù)，定義利用運(yùn)動紋理差異的評價準(zhǔn)則d：

式中：max(f,b)表示f和b中的最大值；min(f,b)表示f和b中的最小值。f為0表示場景中沒有運(yùn)動目標(biāo)，因此對這種情況不予考慮。但是，b也有可能會出現(xiàn)等于0的情況，為了避免無意義的計算，經(jīng)過大量實驗，規(guī)定了b的最小值。d越大，說明分割掩膜的性能越好。

4 實驗結(jié)果與分析

利用3組紅外視頻序列對評價準(zhǔn)則進(jìn)行實驗，分別命名為“船只”、“野外單人”和“戶外雙人”。“船只”和“野外單人”視頻的圖像大小為400×512，是由本課題組研究人員利用中波紅外熱像儀拍攝的。“戶外雙人”視頻圖像大小為240×320，其來自O(shè)TCBVS數(shù)據(jù)庫[9]。

從圖3和表1中可以看出，(f)具有最低的ME，(i)具有最高的ME，而(f)的d值為最大，(i)的d值為最小，這說明d的評價結(jié)果與客觀實際是相符的。從主觀上來看，(c)、(d)和(e)中分別提取出了2個、3個和4個運(yùn)動船只，雖然是欠分割現(xiàn)象，但其相對的準(zhǔn)確性是在依次提高的，而(c)、(d)和(e)相對應(yīng)的d值也是依次增大；(f)中完整地包含了5個運(yùn)動船只，且沒有將背景錯分為前景，而(f)的d值是最大的；(g)、(h)和(i)中都屬于過分割，分割效果依次降低，而所對應(yīng)的d值也是依次減少的。在表2和表3的實驗中，d的評價結(jié)果都與ME完全一致，也與主觀評價結(jié)果完全吻合。

圖3 “船只”視頻第50幀不同分割結(jié)果

Fig.3 The different segmentation results of the fiftieth frame of thevideo

圖4 “戶外雙人”視頻第20幀不同分割結(jié)果

圖5 “野外單人”視頻第49幀不同分割結(jié)果

表1 “船只”視頻第50幀不同分割掩膜的評價結(jié)果對比

表2 “戶外雙人”視頻第20幀不同分割掩膜的評價結(jié)果對比

表3 “野外單人”視頻第49幀不同分割掩膜的評價結(jié)果

從上述實驗結(jié)果與分析可知，d的評價結(jié)果與人類主觀感知和客觀實際吻合地很好，可有效地對紅外視頻運(yùn)動目標(biāo)分割性能進(jìn)行無監(jiān)督評價。

5 結(jié)論

針對目前缺少紅外視頻運(yùn)動目標(biāo)分割的無監(jiān)督評價準(zhǔn)則的問題，設(shè)計了一種基于利用運(yùn)動紋理差異的無監(jiān)督評價方法，利用運(yùn)動紋理差異的無監(jiān)督評價方法提取紋理特征，采取類間差與類內(nèi)差的關(guān)系來表征分割掩膜中前景與背景內(nèi)部的運(yùn)動紋理特征，該評價準(zhǔn)則與現(xiàn)有優(yōu)秀的無監(jiān)督評價方法相比，復(fù)雜度較低，利用較少的計算成本即可獲得與現(xiàn)有優(yōu)秀算法相近的評價性能。實驗結(jié)果充分證明了所提出的評價方法與主觀感受基本一致，可以有效地對紅外視頻運(yùn)動目標(biāo)分割進(jìn)行無監(jiān)督評價。

[1] Yong W, Bhandarkar S M, Kang L. Semantics-based video indexing using a stochastic modeling approach[C]//, 2007, 4: 313-316.

[2] 云紅全, 徐力, 孫驍, 等. 基于超像素時空顯著性的運(yùn)動目標(biāo)檢測算法[J]. 紅外技術(shù), 2015, 37(5): 404-410.

YUN Hongquan, XU Li, SUN Xiao, et al. Moving target detection algorithm based on superpixel spatio temporal saliency[J]., 2015, 37(5): 404-410.

[3] 胡柳, 解梅. 基于時空聯(lián)合的紅外運(yùn)動目標(biāo)分割算法[J]. 紅外技術(shù), 2006, 8(5): 271-274.

HU Liu, XIE Mei. Moving infrared object segmentation based on spatio-temporal information[J]., 2006, 8(5): 271-274.

[4] 張強(qiáng), 蔡敬菊, 張啟衡, 等. 基于局部極大值的紅外弱小目標(biāo)分割方法[J]. 紅外技術(shù), 2011, 33(1): 44-47.

ZHANG Qiang, CAI Jingju, ZHANG Qiheng, et al. Small dim infrared targets segmentation method based on local maximum[J]., 2011, 33(1): 44-47.

[5] Unnikrishnan R, Pantofaru C, Hebert M. Toward objective evaluation of image segmentation algorithms[J]., 2007, 29(6): 929-944.

[6] ZHANG H, Fritts J, Goldman S. An entropy-based objective evaluation method for image segmentation[C]//, 2004, 5307: doi:10.1117/12.527167.

[7] Paulo Lobato Correia, Fernando Pereira. Objective evaluation of video segmentation quality[J]., 2003, 12(2): 186-200.

[8] DENG Yining, Manjunath B S. Unsupervised segmentation of color-texture regions in images and video[J]., 2001, 23(8): 800-810.

[9] Goyette N, Jodoin P M, F Porikli, et al. A new change detection benchmark dataset[C]//, 2012: 16-21.

[10] 張俊舉, 常本康, 張寶輝, 等. 遠(yuǎn)距離紅外與微光/可見光融合成像系統(tǒng)[J]. 紅外與激光工程, 2012, 41(1):20-24.

ZHANG Junju, CHANG Benkang, ZHANG Baohui, et al. Remote infrared and low light level/visible light fusion imaging system[J]., 2012, 41(1): 20-24.

Unsupervised Evaluation Method for Moving Object Segmentation Based on Motion Texture Difference

TU Jingjie1，ZHANG Weipeng1，TIAN Si1，MIN Chaobo2，ZHANG Junju1,2

(1.,,315175,; 2.,,210094,)

An unsupervised evaluation method for moving object segmentation based on motion texture difference was proposed in this paper.Aclass map of the difference image was obtainedusing the exact quantization criterion based on the Bayesian decision. Moving object segmentation masks with different effects were obtained using the region growing method.An evaluation criterion for identifying the difference between the motion textureswas defined. Moreover,evaluation criteria were used to verify the validity of the evaluation results. The results were compared with two other evaluation criteria to accurately measure the performance of the proposed criterion.The two other criteria were as follows: the supervised evaluation criterion,ME;and the unsupervised evaluation criterion based on the unsupervised color texture evaluation method, JSEG. The experimental results showed that unsupervised evaluation based on the difference between motion textureswas in agreement with human subjective perception and objective reality;this couldbe used to evaluate the performance of moving object segmentation for infrared video effectively.

motion texture difference，unsupervised evaluation，segmentation mask，infrared video

TP391

A

1001-8891(2017)06-0541-07

2017-02-13；

2017-05-24.

涂晶潔（1963-），女，浙江省寧波市，副教授，碩士，研究方向為光機(jī)電一體化。E-mail：tujj@163.com。

浙江省工藝項目（2014C31163），江蘇省自然基金項目（BK20130775），寧波市科技項目（2015C10043）。