王 閃， 吳 秦

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122)

基于馬爾可夫隨機(jī)場(chǎng)模型的運(yùn)動(dòng)對(duì)象分割算法*

王 閃， 吳 秦

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122)

提出了一種基于馬爾可夫隨機(jī)場(chǎng)(MRF)模型的運(yùn)動(dòng)分割算法，僅使用了壓縮流中的運(yùn)動(dòng)矢量和塊編碼模式信息，可以在復(fù)雜場(chǎng)景下對(duì)運(yùn)動(dòng)對(duì)象有很好的分割效果。利用運(yùn)動(dòng)矢量量化的方法來(lái)對(duì)運(yùn)動(dòng)矢量進(jìn)行預(yù)處理，對(duì)運(yùn)動(dòng)矢量進(jìn)行馬爾可夫建模，利用能量最小函數(shù)進(jìn)行優(yōu)化得到運(yùn)動(dòng)對(duì)象分割的效果。實(shí)驗(yàn)表明:與現(xiàn)有的方法相比，該方法可從復(fù)雜場(chǎng)景中更準(zhǔn)確地對(duì)運(yùn)動(dòng)對(duì)象進(jìn)行分割。

運(yùn)動(dòng)對(duì)象分割； 馬爾可夫隨機(jī)場(chǎng)模型； 壓縮域

0 引 言

運(yùn)動(dòng)對(duì)象分割在計(jì)算機(jī)視覺(jué)領(lǐng)域得到了廣泛的研究和應(yīng)用，分割的方法主要基于像素域和壓縮像素域，但隨著視頻分辨率的逐漸提高，像素域的分割漸漸無(wú)法滿足其實(shí)時(shí)性，分割速度到了瓶頸的狀態(tài)，于是提出了壓縮域的分割方法。在分割算法中，主要通過(guò)對(duì)提取目標(biāo)的特征信息進(jìn)行分割，在監(jiān)控的壓縮視頻中，提取運(yùn)動(dòng)目標(biāo)主要采用的是運(yùn)動(dòng)矢量(MV)和離散余弦變換(DCT)系數(shù)[1]。Ahmad A M A等人[2]提出了基于MPEG視頻的級(jí)聯(lián)濾波(cascade filtering)方法，該方法將高斯濾波和中值濾波聯(lián)合來(lái)去除獨(dú)立噪聲從而產(chǎn)生運(yùn)動(dòng)場(chǎng)。2010年，Moura R C[3]提出了時(shí)空域的濾波(spatio-temporal filtering,STF)方法，該方法結(jié)合了MV空域和時(shí)域上的雙重相關(guān)性來(lái)濾除噪聲并保留運(yùn)動(dòng)對(duì)象MV，該方法也成為現(xiàn)在壓縮域?qū)ο蠓指钪兄饕臑V波算法?；贛PEG視頻操作的有最大期望算法、區(qū)域生長(zhǎng)方法以及多內(nèi)核均值漂移分割等[4]。但這些方法都要同時(shí)具有MV場(chǎng)和DCT殘差系數(shù)，其計(jì)算復(fù)雜度也很高。張文琪[5]對(duì)壓縮碼流中4×4塊殘差進(jìn)行處理，提出一種基于熵能選取自適應(yīng)閾值的時(shí)空域運(yùn)動(dòng)對(duì)象分割方法。除了這些還有一些新興的方法，如Lu Y等人[6]提出的基于背景估計(jì)的算法，通過(guò)用幀間的編碼模式來(lái)估計(jì)出背景區(qū)域從而降低全局運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間。Sun L等人[7]利用宏塊編碼的模式來(lái)估計(jì)運(yùn)動(dòng)區(qū)域，快速高效，但是僅限于室內(nèi)等外界環(huán)境不變的條件。

分析上述文獻(xiàn)方法，在針對(duì)監(jiān)控視頻和具有剛性運(yùn)動(dòng)對(duì)象的分割具有較好的效果，但針對(duì)背景運(yùn)動(dòng)和非剛性物體的運(yùn)動(dòng)對(duì)象，不能正確的分割。本文在針對(duì)壓縮域中運(yùn)動(dòng)矢量缺失的問(wèn)題進(jìn)行處理，并進(jìn)行運(yùn)動(dòng)矢量的量化處理，通過(guò)運(yùn)動(dòng)估計(jì)和全局運(yùn)動(dòng)補(bǔ)償來(lái)進(jìn)行運(yùn)動(dòng)對(duì)象的分割。

1 馬爾可夫隨機(jī)場(chǎng)模型基本原理

1.1 馬爾可夫隨機(jī)場(chǎng)分析方法

馬爾可夫隨機(jī)場(chǎng)(Markovrandomfield,MRF)模型構(gòu)造過(guò)程包含兩個(gè)步驟：1)確定鄰域和對(duì)應(yīng)的基團(tuán)(如圖1示)，對(duì)規(guī)則位置集，點(diǎn)(i,j)的鄰域表示為

ηi,j={(k,l)∶0<(k-i)2+(l-j)2}≤d

(1)

式中d決定鄰域結(jié)構(gòu)的大小和相應(yīng)的基團(tuán)。在目標(biāo)識(shí)別等問(wèn)題中，常借助圖論的方法構(gòu)造Markov圖，由它表示和處理這些問(wèn)題時(shí)所需的上下文關(guān)系，確定鄰域結(jié)構(gòu)及基團(tuán)[8]。2)選擇基團(tuán)，再確定其勢(shì)函數(shù)。

圖1 鄰域基團(tuán)集合Fig 1 Neighborhood radical group set

1.2 馬爾可夫隨機(jī)場(chǎng)的基本思想

在計(jì)算機(jī)視覺(jué)領(lǐng)域，將馬爾可夫隨機(jī)場(chǎng)理論應(yīng)用到運(yùn)動(dòng)對(duì)象分割方面已經(jīng)取得一些成果，這個(gè)模型不僅僅優(yōu)化圖像的空間分布，還將優(yōu)化圖像序列沿著時(shí)間軸的分布。由于實(shí)際運(yùn)動(dòng)對(duì)象不可能以足夠高的幀率被捕獲到，包含運(yùn)動(dòng)對(duì)象的像素最典型的移動(dòng)也不過(guò)在數(shù)十個(gè)像素以內(nèi)[9]。因此，空間相鄰的像素在相鄰的圖像之間可能不存在任何的聯(lián)系?；谶@種考慮，將圖像分成塊，將相鄰圖像間的塊通過(guò)它們的矢量聯(lián)系起來(lái)。在本文的方法中，來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)對(duì)象的初始標(biāo)號(hào)，然后基于馬爾可夫隨機(jī)場(chǎng)模型來(lái)解決運(yùn)動(dòng)目標(biāo)分割的問(wèn)題。

2 基于馬爾可夫模型的壓縮域運(yùn)動(dòng)對(duì)象分割

2.1 運(yùn)動(dòng)矢量預(yù)處理

將H．264壓縮視頻中的運(yùn)動(dòng)矢量場(chǎng)歸一化為4×4的塊，用矢量中值濾波能夠消除孤立矢量噪聲并且平滑相鄰塊之間運(yùn)動(dòng)矢量的差異。使用滑動(dòng)窗方法進(jìn)行中值濾波，首先定義N×N窗函數(shù)內(nèi)各元素之間的差異度

(2)

式中 vi和vj為N×N窗內(nèi)的運(yùn)動(dòng)矢量；L為歐幾里德距離。將di升序排列映射到vi。最后根據(jù)式(3)，以排序后的vout作為最后的輸出結(jié)果

(3)

式中cor(v(N+1)/2,v)=‖v(N+1)/2,v‖/(‖v(N+1)/2‖‖v‖)，v為平均矢量，p為預(yù)設(shè)的閾值。

2.2 全局運(yùn)動(dòng)補(bǔ)償

在背景運(yùn)動(dòng)的視頻序列中,對(duì)其累積運(yùn)動(dòng)場(chǎng)進(jìn)行全局運(yùn)動(dòng)補(bǔ)償獲得殘差運(yùn)動(dòng)場(chǎng)，然后通過(guò)運(yùn)動(dòng)模型對(duì)全局運(yùn)動(dòng)場(chǎng)建立模型[10]。本文中使用的是6參數(shù)仿射模型，雖然6參數(shù)仿射模型沒(méi)有8參數(shù)透視模型靈活，但6參數(shù)仿射模型在去除全局運(yùn)動(dòng)的研究中應(yīng)用更廣泛。令6參數(shù)仿射模型參數(shù)為m，則

m=[m1,m2,m3,m4,m5,m6]

(4)

若在t幀中，一個(gè)塊的坐標(biāo)為(x,y)，那么被轉(zhuǎn)換的參考幀的坐標(biāo)為(x′,y′)，那么

x′=m1+m2x+m3x,y′=m4+m5y+m6y

(5)

所以，得到運(yùn)動(dòng)矢量v(x,y)為

v(x,y)=(x′-x,y′-y)

(6)

在求出初始運(yùn)動(dòng)模型之前，需要對(duì)加權(quán)系數(shù)w(n)定義

(7)

式中 φ為估計(jì)誤差，μφ和σφ分別為平均值和標(biāo)準(zhǔn)方差。最后將運(yùn)動(dòng)模型運(yùn)用到整個(gè)矢量場(chǎng)，求出最后的殘差。

通過(guò)馬爾可夫隨機(jī)場(chǎng)建模，經(jīng)過(guò)全局運(yùn)動(dòng)補(bǔ)償之后，可以得到運(yùn)動(dòng)對(duì)象矢量塊，最后利用Gibbs勢(shì)能函數(shù)進(jìn)行運(yùn)動(dòng)對(duì)象分割，具體流程如圖2所示。

圖2 方法流程圖Fig 2 Flowchart of the proposed method

在基于壓縮域分割的算法中，運(yùn)動(dòng)矢量信息起著非常大的作用，但在編碼過(guò)程中，會(huì)存在幀內(nèi)編碼塊缺失運(yùn)動(dòng)矢量信息，本文通過(guò)極向量中值來(lái)預(yù)測(cè)缺失的矢量信息，來(lái)提高分割的精度。在求解能量函數(shù)方面上，本文通過(guò)求解馬爾可夫隨機(jī)場(chǎng)模型的最大后驗(yàn)概率等同于求解Gibbs能量函數(shù)的最小值。解決該類問(wèn)題最常用的算法有兩種：模擬退火(simulated annealing，SA)算法和條件迭代模式(iterative conditional modes，ICM)算法。模擬退火算法由于其復(fù)雜性較大，本文采用的ICM算法。

3 實(shí)驗(yàn)與結(jié)果分析

在本文中采用標(biāo)準(zhǔn)測(cè)試視頻序列進(jìn)行評(píng)估實(shí)驗(yàn)，視頻采用的是YUV4∶2∶0格式的序列，所有的幀速為30 fps和H.264/AVC JM V.18.0進(jìn)行編碼，平臺(tái)采用AMD Athlon(tm)II X4 645處理器，主頻3.1 GBZ。為了提現(xiàn)本文提出的算法的魯棒性和穩(wěn)定性，在整個(gè)實(shí)驗(yàn)中采用同樣的參數(shù)序列，采用標(biāo)準(zhǔn)測(cè)試序列Coastguard,City,Stefan等序列進(jìn)行了實(shí)驗(yàn)，分割效果分別為圖3(a),(b),(c)所示。

圖3 分割結(jié)果對(duì)比Fig 3 Comparison of segmentation results

圖3中(a),(b),(c)中上面一欄為本文分割方法分割出來(lái)的效果，下面一欄為文獻(xiàn)[11]的分割方法。其中(a)采用背景運(yùn)動(dòng)的視頻序列Coastguard 來(lái)驗(yàn)證所提出的分割方法,從分割效果來(lái)看，文獻(xiàn)[11]不能很好地去除噪點(diǎn)，并在邊框出現(xiàn)分割錯(cuò)誤，在第四列出現(xiàn)相機(jī)的突然下移，本文方法依然能正確分割。(b)為圍繞大樓旋轉(zhuǎn)的City序列，本文方法依然能準(zhǔn)確的分割，文獻(xiàn)[11]同樣出現(xiàn)無(wú)法正常分割的現(xiàn)象。(c)視頻為Stefan標(biāo)準(zhǔn)序列，該視頻序列即存在背景的運(yùn)動(dòng)也存在，前景對(duì)象的非剛性運(yùn)動(dòng)，即使進(jìn)行全局運(yùn)動(dòng)補(bǔ)償，也會(huì)出現(xiàn)不能完全分割的效果。雖然本文方法沒(méi)有將運(yùn)動(dòng)對(duì)象的下半身分割出來(lái)，但相對(duì)其他方法，本文方法能體現(xiàn)很佳的效果。

為了對(duì)算法進(jìn)行比較，從精確度(p)、召回率(r)和f值r方面進(jìn)行對(duì)比，其定義如下

(8)

(9)

(10)

式中 TP為被模型預(yù)測(cè)為正的正樣本(truepositives)，F(xiàn)P為被模型預(yù)測(cè)為負(fù)的負(fù)樣本(falsepositives)，F(xiàn)N為被模型預(yù)測(cè)為負(fù)的正樣本(falsenegatives)。圖4中可以看出，本文提出的方法相比文獻(xiàn)[11]具有較高的分割效果。

圖4 準(zhǔn)確度、召回率和f值結(jié)果對(duì)比Fig 4 Comparison of results of accuracy rating,recall rate,value

4 結(jié)束語(yǔ)

通過(guò)實(shí)驗(yàn)的驗(yàn)證，本文在復(fù)雜背景下針對(duì)運(yùn)動(dòng)對(duì)象的局部運(yùn)動(dòng)、相機(jī)抖動(dòng)、緩慢運(yùn)動(dòng)及快速運(yùn)動(dòng)等情況下具有較強(qiáng)的魯棒性。而本文算法也體現(xiàn)出其不足，由于運(yùn)動(dòng)矢量分部的不均勻以及數(shù)量的不同，幀率的穩(wěn)定性欠佳，導(dǎo)致其欠分割或過(guò)分割現(xiàn)象。但總的來(lái)說(shuō)，本文方法是一個(gè)比較具有前景的方法，是從一個(gè)全新的視角來(lái)看待壓縮域的分割。

[1] Avarur J.Survey on motion vector filtering and object segmentation methods in compressed domain[J].International Journal of Advancements in Technology,2011,2(2):199-205.

[2] Ahmad A M A,Chen D Y,Lee S Y.Robust object detection using cascade filter in MPEG videos[C]∥Proceedings of 2003 the Fifth International Symposium on Multimedia Software Engineering,IEEE,2003:196-203.

[3] Moura R C,Hemerly E M.A spatiotemporal motion-vector filter for object tracking on compressed video[C]∥2010 the Seventh IEEE International Conference on Advanced Video and Signal-Based Surveillance(AVSS),IEEE,2010:427-434.

[4] Porikli F,Bashir F,Sun H.Compressed domain video object segmentation[J].IEEE Transactions on Circuits and Systems for Video Technology,2010,20(1):2-14.

[5] 張文琪,張茂軍,李 樂(lè),等.基于熵能的 H.264壓縮域運(yùn)動(dòng)對(duì)象分割[J].計(jì)算機(jī)應(yīng)用,2010,30(12):3265-3268.

[6] Lu Y,Xu X.Efficient object segmentation using background estimation for H.264 video[C]∥2012 the 8th International Confe-rence on Wireless Communications,Networking and Mobile Computing(WiCOM),IEEE,2012:1-4.

[7] Sun L,Dai M,Chen X.A simple and fast moving object segmentation based on H.264 compressed domain information[C]∥2012 the Fourth International Conference on Computational and Information Sciences(ICCIS),IEEE,2012:481-484.

[8] 侯文生,蔡 全,吳小鷹,等.基于加速度計(jì)的手指運(yùn)動(dòng)姿態(tài)檢測(cè)[J].傳感器與微系統(tǒng),2012,31(1):146-148.

[9] 謝 昕,王建賓,胡鋒平.一種基于PSO與OSTU的改進(jìn)絮體分割算法[J].傳感器與微系統(tǒng),2015,34(1):131-134.

[10] 賈克斌,謝 晶,方 晟.一種基于自相關(guān)法的H.264/AVC高效幀內(nèi)預(yù)測(cè)算法[J].電子學(xué)報(bào),2006,34(1):152-154.

[11]ChenYM,BajicIV.Ajointapproachtoglobalmotionestimationandmotionsegmentationfromacoarselysampledmotionvectorfield[J].IEEETransactionsonCircuits&SystemsforVideoTechnology,2011,21(9):1316-1328.

吳 秦,通訊作者,E—mail：qinwu@jiangnan.edu.cn。

Moving object segmentation algorithm based on Markov random field model*

WANG Shan， WU Qin

(College of IOT Engineering,Jiangnan University,Wuxi 214122,China)

Propose a motion segmentation algorithm based on Markov random model,it can has good segmentation effect in complex scenarios on moving objects only using motion vectors and block coding mode information in compressed stream.Preprocessing motion vector using motion vector quantization method,and Markov modeling is carried out on motion vector,the minimum energy function is used for optimization to obtain effect of moving object segmentation.Experiment shows that this method can segment moving object more accurately from complex scene compared with existing methods.

moving object segmentation; Markov random field(MRF)model; compressed domain

10.13873/J.1000—9787(2016)07—0113—03

2016—05—05

國(guó)家自然科學(xué)基金資助項(xiàng)目(61202312)；中央高?；究蒲谢鹳Y助項(xiàng)目(JUSRP51510)

TP 391

A

1000—9787(2016)07—0113—03

王 閃(1990-)，男，安徽阜陽(yáng)人，碩士研究生，主要研究領(lǐng)域?yàn)闄C(jī)器視覺(jué)與視頻編解碼。