張?jiān)谱?/p>

(石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院，河北 石家莊 050043)

?

基于運(yùn)動(dòng)軌跡分析的監(jiān)控視頻關(guān)鍵幀提取

張?jiān)谱?/p>

(石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院，河北 石家莊 050043)

當(dāng)前，從海量監(jiān)控視頻中高效、準(zhǔn)確地提取關(guān)鍵幀是一項(xiàng)極具挑戰(zhàn)性的課題，為此提出了一種基于運(yùn)動(dòng)軌跡分析的監(jiān)控視頻關(guān)鍵幀提取方法。給出了該方法的實(shí)現(xiàn)過程，并進(jìn)行了實(shí)驗(yàn)與分析。結(jié)果表明,所提出的方法在關(guān)鍵幀提取準(zhǔn)確性上優(yōu)于當(dāng)前的主流方法。

尺度變化；方向變化；時(shí)空切片；運(yùn)動(dòng)軌跡；關(guān)鍵幀提取

隨著監(jiān)控視頻數(shù)據(jù)的爆炸式增長(zhǎng)，快速、準(zhǔn)確地分析和瀏覽視頻已經(jīng)成為一個(gè)迫切需要解決的難題。關(guān)鍵幀提取作為一種解決方案越來越受到人們的關(guān)注[1-3]。關(guān)鍵幀是一種經(jīng)典、高效的視頻濃縮形式，用關(guān)鍵幀代替原視頻可以大大降低數(shù)據(jù)量，同時(shí)也便于檢索和瀏覽視頻。由于視頻數(shù)據(jù)的多樣性和復(fù)雜性，以及關(guān)鍵幀的視覺主觀性，目前復(fù)雜場(chǎng)景下的關(guān)鍵幀提取仍然是一項(xiàng)極具挑戰(zhàn)性的課題。

評(píng)價(jià)關(guān)鍵幀主要看其能否全面、準(zhǔn)確地再現(xiàn)原視頻的主要事件，在保證全面提取的情況下，盡量降低冗余。廣泛應(yīng)用的關(guān)鍵幀提取算法多是基于視頻底層特征分析的[2-5]，以單幀或少量幀的特征變化為標(biāo)準(zhǔn)提取關(guān)鍵幀。由于缺乏完整時(shí)間維的特征分析，難以從整體上把握關(guān)鍵幀的數(shù)量及位置，并且容易受到場(chǎng)景變化、目標(biāo)姿態(tài)變化、目標(biāo)遮擋等干擾造成重要特征漏檢，進(jìn)而導(dǎo)致真正的關(guān)鍵幀沒有被提取到。提取結(jié)果與視頻的真實(shí)語義之間存在差異[5-6]，不能全面、準(zhǔn)確地反映視頻的真實(shí)語義，也就是說，關(guān)鍵幀提取結(jié)果不符合人眼視覺感知。

人眼視覺總是傾向于關(guān)注運(yùn)動(dòng)的目標(biāo)，運(yùn)動(dòng)狀態(tài)改變比運(yùn)動(dòng)本身更具視覺吸引力[7]。因?yàn)橄啾扔谥话瑒蛩龠\(yùn)動(dòng)狀態(tài)目標(biāo)的視頻幀，包含目標(biāo)運(yùn)動(dòng)狀態(tài)改變(比如：?jiǎn)?dòng)、停止、伸手、彎腰等)的視頻幀能夠提供更多的有用信息。因此，本文定義包含目標(biāo)運(yùn)動(dòng)狀態(tài)改變的視頻幀為關(guān)鍵幀，相應(yīng)地提出了一種基于運(yùn)動(dòng)軌跡分析的關(guān)鍵幀提取方法。

1　時(shí)空切片

時(shí)空切片[8]是一種高效的視頻時(shí)空分析方法，具有計(jì)算量低、抗干擾能力強(qiáng)等優(yōu)點(diǎn)。它只提取圖像空間的部分行、列，保留了完整的視頻時(shí)間維信息，而空間維信息的匱乏可以通過多個(gè)切片的信息融合來減緩。在長(zhǎng)時(shí)間維的歷史信息輔助下提取關(guān)鍵幀，可以有效地避免干擾。時(shí)空切片通常包括3種：水平切片、垂直切片和對(duì)角線切片，如圖1所示。

圖1　不同方向的視頻時(shí)空切片

不同方向的時(shí)空切片反映的目標(biāo)運(yùn)動(dòng)信息不同。對(duì)角線切片反映的是目標(biāo)在斜向運(yùn)動(dòng)時(shí)的信息。垂直切片反映的是視頻垂直區(qū)域的像素灰度變化趨勢(shì)，主要應(yīng)用于目標(biāo)個(gè)數(shù)統(tǒng)計(jì)、瞬時(shí)速度估計(jì)以及高度測(cè)量等。水平切片包含最為豐富的目標(biāo)信息和場(chǎng)景變化信息，其紋理表征著目標(biāo)的運(yùn)動(dòng)軌跡。

本文中的視頻時(shí)空切片是水平切片，通過分析時(shí)空切片紋理，可以得到目標(biāo)的運(yùn)動(dòng)狀態(tài)。靜止目標(biāo)的水平坐標(biāo)固定不變，像素灰度隨時(shí)間的分布保持一致，切片紋理表現(xiàn)為具有恒定寬度的水平條紋。運(yùn)動(dòng)目標(biāo)的顏色與背景不同，其運(yùn)動(dòng)會(huì)導(dǎo)致時(shí)空切片的灰度變化，產(chǎn)生有別于水平條紋的切片紋理，所產(chǎn)生的紋理變化表征著目標(biāo)的運(yùn)動(dòng)狀態(tài)改變。

2　基于運(yùn)動(dòng)軌跡分析的關(guān)鍵幀提取

本文中，關(guān)鍵幀定義為包含目標(biāo)運(yùn)動(dòng)狀態(tài)改變(局部改變和全局改變)的視頻幀。傳統(tǒng)的軌跡分析方法[9]能夠?qū)崿F(xiàn)運(yùn)動(dòng)狀態(tài)改變的檢測(cè)，但通常計(jì)算復(fù)雜度高、消耗時(shí)間長(zhǎng)。目標(biāo)運(yùn)動(dòng)狀態(tài)的局部改變和全局改變可以分別由時(shí)空運(yùn)動(dòng)軌跡的尺度和方向準(zhǔn)確地反映出來，因此，本文基于時(shí)空切片對(duì)運(yùn)動(dòng)軌跡的尺度和方向進(jìn)行分析，提出了一種關(guān)鍵幀提取方法。該方法將時(shí)空切片運(yùn)動(dòng)軌跡(MotionTrajectoryonSpatiotemporalSlice，MTSS)的尺度和方向發(fā)生改變的幀提取為關(guān)鍵幀。

視頻V(x,y,t)的水平切片Sk可以表示為

(1)

從式(1)可以推出，靜止目標(biāo)的時(shí)空運(yùn)動(dòng)軌跡呈現(xiàn)水平條紋，運(yùn)動(dòng)目標(biāo)的時(shí)空運(yùn)動(dòng)軌跡呈現(xiàn)彎曲。因此，Sk上的MTSS可以表示為

(2)

通常，單一時(shí)空切片上的MTSS并不完整，融合多個(gè)時(shí)空切片可以提高M(jìn)TSS的完整度。文獻(xiàn)[6]給出了一種提取固定數(shù)目時(shí)空切片(記作Nus)的方法。但是難以選取合適的Nus，因?yàn)樗c算法計(jì)算量以及MTSS完整度密切相關(guān)。Nus越大，MTSS越完整，但計(jì)算量也會(huì)隨之增加，致使文獻(xiàn)[6]中的方法幾乎不可能同時(shí)做到計(jì)算高效和MTSS的完整提取。再者，大多數(shù)監(jiān)控視頻中，運(yùn)動(dòng)目標(biāo)稀疏地分散到冗長(zhǎng)的視頻流中，存在著大量的靜止片段?；谶@種考慮，本文提出了粗略、精細(xì)相結(jié)合的切片提取策略，粗略提取用于確定視頻運(yùn)動(dòng)片段，精細(xì)提取用于獲取完整的MTSS。

在粗略提取中，提取少量的時(shí)空切片(記作Nss)來確定視頻運(yùn)動(dòng)片段。MTSS表征著運(yùn)動(dòng)目標(biāo)的存在，MTSS的像素?cái)?shù)目(記作Nm)表征著運(yùn)動(dòng)目標(biāo)的相對(duì)顯著性?；谑?2)，第Fi幀的Nm可由下式計(jì)算得到

(3)

式中

(4)

根據(jù)式(3)，Nss時(shí)空切片上的Nm可以表示為

Nm=Nm(1)∪Nm(2)∪…∪Nm(Nss)

(5)

那么，Nm≥τ(τ用于量度目標(biāo)運(yùn)動(dòng)的充分性)的視頻片段為運(yùn)動(dòng)片段，運(yùn)動(dòng)具有連續(xù)性，孤立的運(yùn)動(dòng)幀將被視為干擾而去除[10]。

精細(xì)提取只在運(yùn)動(dòng)片段中進(jìn)行，提取較多的時(shí)空切片(記作Nls)，以期獲取完整的MTSS

MTSS=MTSS(1)∪MTSS(2)∪…∪MTSS(Nls)

(6)

通常，Nls比Nss大很多，所以上式的MTSS被視作完整MTSS。

MTSS隨著目標(biāo)運(yùn)動(dòng)狀態(tài)的改變而改變。MTSS的空域尺度變化反映了目標(biāo)運(yùn)動(dòng)狀態(tài)的局部改變，其時(shí)域方向變化反映了目標(biāo)運(yùn)動(dòng)狀態(tài)的全局改變。因此目標(biāo)運(yùn)動(dòng)狀態(tài)的局部和全局改變可以由MTSS的尺度曲線拐點(diǎn)(記作Is)和方向曲線拐點(diǎn)(記作Id)分別充分捕捉到。

為了簡(jiǎn)單起見，Id表示為

(7)

式中：θ表示MTSS偏離原軌跡的角度，滿足θ∈(-π/2,π/2)。

Is表示為

(8)

式中：w0和w分別表示MTSS的原始尺度和尺度變化。

MTSS的尺度和方向拐點(diǎn)(記作Is,d)可由下式得到

Is,d=Is+Id

(9)

Is,d曲線峰值對(duì)應(yīng)于視頻的關(guān)鍵幀。

所提出的關(guān)鍵幀提取方法的基本架構(gòu)如圖2所示。

圖2　關(guān)鍵幀提取方法的基本架構(gòu)

如圖2所示，首先采用粗略、精細(xì)提取相結(jié)合的時(shí)空切片提取策略來獲取MTSS；其次檢測(cè)MTSS的時(shí)域方向拐點(diǎn)Id和空域尺度拐點(diǎn)Is；然后根據(jù)檢測(cè)到的MTSS的尺度和方向拐點(diǎn)Is,d進(jìn)行關(guān)鍵幀提??；最后輸出視頻關(guān)鍵幀。

實(shí)際應(yīng)用中，如果需要提取的關(guān)鍵幀數(shù)目K是給定的，并且不等于Is,d曲線的峰值數(shù)目M，可以采用如下步驟處理：

1)如果M>K，提取具有較高Is,d值的K幀作為關(guān)鍵幀；

3　實(shí)驗(yàn)與分析

為了驗(yàn)證本文所提出的關(guān)鍵幀提取方法的性能，將其與當(dāng)前的主流方法[6]進(jìn)行了對(duì)比。對(duì)比實(shí)驗(yàn)在4段不同類型的監(jiān)控視頻上進(jìn)行，分別為：

1)Jogging_on_the_playground1；

2)Hall_cif1；

3)Garden corner；

4)omputer room。

視頻1)包括目標(biāo)運(yùn)動(dòng)狀態(tài)的全局改變，另外3段視頻則具有明顯的目標(biāo)運(yùn)動(dòng)狀態(tài)局部改變。實(shí)驗(yàn)參數(shù)設(shè)置為：Nss=6,Nls=72，Nus=36。 實(shí)驗(yàn)在通用型個(gè)人計(jì)算機(jī)上完成，基本配置為：Intel Core 2.3 GHz CPU和4 Gbyte內(nèi)存。

在準(zhǔn)確性評(píng)價(jià)方面，采用了鏡頭重構(gòu)度[12](Shot Reconstruction Degree，SRD)評(píng)估準(zhǔn)則。SRD值越高，表明所提取的關(guān)鍵幀捕捉視頻內(nèi)容改變(即目標(biāo)運(yùn)動(dòng)狀態(tài)改變)越準(zhǔn)確。兩種方法在視頻1)的SRD評(píng)估結(jié)果非常相似。但在其他3段監(jiān)控視頻上，具有明顯的不同，當(dāng)提取的關(guān)鍵幀比率從1%變化到7%時(shí)，平均SRD值如圖3所示。

圖3　平均SRD的比較

從圖3可以看出，本文所提出的方法在SRD性能上具有明顯的優(yōu)勢(shì)。具體地，在關(guān)鍵幀比率小于3%時(shí)，兩種方法的SRD性能相當(dāng)；在關(guān)鍵幀比率大于等于3%時(shí)，本文所提出的方法的SRD性能明顯優(yōu)于對(duì)比方法，高達(dá)1.2 dB。原因在于，本文所提出的方法充分利用了目標(biāo)運(yùn)動(dòng)狀態(tài)的全局和局部改變，而文獻(xiàn)[6]中的方法只關(guān)注目標(biāo)運(yùn)動(dòng)狀態(tài)的全局改變。

4　結(jié)論

本文提出了一種基于運(yùn)動(dòng)軌跡分析的關(guān)鍵幀提取方法。該方法利用時(shí)空切片分析目標(biāo)的運(yùn)動(dòng)軌跡，在MTSS的尺度和方向拐點(diǎn)處提取關(guān)鍵幀，所提取的關(guān)鍵幀既反映了目標(biāo)運(yùn)動(dòng)狀態(tài)的局部改變，又反映了目標(biāo)運(yùn)動(dòng)狀態(tài)的全局改變。為了高效獲取完整的MTSS，提出了一種粗略和精細(xì)相結(jié)合的時(shí)空切片提取策略。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法比當(dāng)前主流方法具有更高的準(zhǔn)確性。下一步將擴(kuò)展所提出的方法來集成目標(biāo)行為分析。

[1]潘磊，束鑫， 程科. 基于壓縮傳感和EMD 距離的視頻鏡頭關(guān)鍵幀提取[J].電視技術(shù)，2015，39(17)： 5-8.

[2] Satyam S，Edward J D. Video-based real-time surveillance of vehicles[J]. J. Electron imaging，2013， 22(4)：451-459.

[3] 羅森林，馬舒潔，梁靜，等. 基于子鏡頭聚類方法的關(guān)鍵幀提取技術(shù)[J]. 北京理工大學(xué)學(xué)報(bào)，2011，31(3)： 348-352.

[4] SAYKOL E. Key frame labeling technique for surveillance event classification[J]. Optical engineering，2010，49(11)：492-496.

[5] AVILA S E.VSUMM： a mechanism designed to produce static video summaries and a novel evaluation method[J]. Pattern recognition letters，2010，32(1)：56-68.

[6] ZHANG Y Z，TAO R，ZHANG F. Key frame extraction based on spatiotemporal motion trajectory[J]. Optical engineering，2015，54(5)：2-5.

[7] MA Y Z， CHANG Y L，YUAN H. Key-frame extraction based on motion acceleration[J]. Optical engineering，2008，47(9)：5-9.

[8] NGO C W，PONG T C，ZHANG H J. Motion analysis and segmentation through spatiotemporal slices processing[J]. IEEE transaction on image processing，2003，12(3)：341-355.

[9] 李明之，馬志強(qiáng)，單勇，等. 基于軌跡分析的交通目標(biāo)異常行為識(shí)別[J].電視技術(shù)，2012，36(1)： 106-112.

[10] PARK M G，YOON K J. Optimal key-frame selection for video-based structure-from-motion[J]. Electronics letters，2011，47(25)： 1367-1369.

[11] SHIO M，YANAGISAWA M，TOGAWA N. Linear and bi-linear interpolation circuits using selector logics and their evaluations[C]//Proceedings of IEEE Int. Symp. On Circuits and Systems. Melbourne：IEEE，2014： 1436-1439.

[12] LIU T Y. Shot reconstruction degree：a novel criterion for key frame selection[J]. Pattern recognition letters，2004，25(1)：1451-1457.

張?jiān)谱?1984— )，博士，主要研究方向?yàn)閳D像、視頻處理，雷達(dá)信號(hào)處理。

責(zé)任編輯：閆雯雯

Surveillancevideokeyframeextractionbasedonmotiontrajectoryanalysis

ZHANGYunzuo

(School of Information Science and Technology， Shijiazhuang Tiedao University， Shijiazhuang 050043，China)

Currently，efficientandaccuratekeyframeextractionformassivevideosremainsachallenge，especiallyinsurveillanceapplications.Motivatedbythisobservation，amethodforsurveillancevideokeyframeextractionbasedonmotiontrajectoryanalysisisproposed.Theimplementoftheproposedmethodisgiven，andtheperformancesarecomparedwiththestate-of-the-artmethod.Experimentalresultshavedemonstratedthattheproposedmethodoutperformsexistingstate-of-the-artmethodintermsofaccuracyforkeyframeextraction.

scalechange；directionchange；spatiotemporalslice；motiontrajectory；keyframeextraction

TN919.8；TP391.4

ADOI：10.16280/j.videoe.2016.08.023

2015-11-27

文獻(xiàn)引用格式：張?jiān)谱? 基于運(yùn)動(dòng)軌跡分析的監(jiān)控視頻關(guān)鍵幀提取[J].電視技術(shù)，2016，40(8)：118-121.

ZHANGYZ.Surveillancevideokeyframeextractionbasedonmotiontrajectoryanalysis[J].Videoengineering，2016，40(8)：118-121.