摘 要：運(yùn)動(dòng)對(duì)象的提取是進(jìn)行視頻分析的一個(gè)重要部分。傳統(tǒng)的提取方法是在像素域中完成，將其用于以壓縮形式存儲(chǔ)的視頻則需要耗費(fèi)大量的時(shí)間先進(jìn)行壓縮碼流的解碼。為了提高速度，許多科研人員開始分析MPEG碼流的特性，研究直接在壓縮域中進(jìn)行運(yùn)動(dòng)對(duì)象提取的方法。對(duì)近年來提出的壓縮域中運(yùn)動(dòng)對(duì)象的提取方法進(jìn)行分析，為進(jìn)一步提高算法性能奠定基礎(chǔ)。

關(guān)鍵詞：MPEG碼流；壓縮域；運(yùn)動(dòng)對(duì)象提取；視頻分析

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004373X(2008)1615004

Status Research of Moving Object Extraction in the MPEG Compressed Domain

LI Peng.1，LI Yan.1，2，LU Xiaofeng.1，WANG Xuetong.1，WANG Li.1

(1.School of Computer Science and Engineering，Xi′an University of Technology，710048，China;

2.School of Electronics and Information Engineering，Xi′an Jiaotong University，710049，China)

Abstract：Moving object extraction is one of the important procedures in the video analysis.The traditional extraction methods are carried out in the pixel domain.Due to the heavy work to decompress the videos，it′s a timeconsuming work to analyze the videos stored in compressed form by traditional extraction methods.In order to speed up the extraction procedure，many researchers have begun to study the characters of the MPEG coded stream and proposed some new extraction methods which are implemented in the compressed domain directly.In this paper，some recently developed moving object extraction methods are introduced and compared for further improvement of the extraction algorithms.

Keywords：MPEG coded stream;compressed domain;moving object extraction;video analysis

1 引 言

視頻中運(yùn)動(dòng)對(duì)象的提取是指從視頻序列中分離出有一定意義的實(shí)體，是進(jìn)行視頻分析的一個(gè)重要部分，為建立視頻摘要和進(jìn)行視頻檢索提供重要信息。傳統(tǒng)的視頻運(yùn)動(dòng)對(duì)象提取是在像素域中進(jìn)行的，目前已有一些基于像素域的提取算法.\\4\\〗可以得到比較精確的結(jié)果。但是現(xiàn)今大量的視頻數(shù)據(jù)是以壓縮的格式存放的，在像素域中完成運(yùn)動(dòng)對(duì)象提取需要耗費(fèi)大量的時(shí)間進(jìn)行壓縮碼流的解碼。因此，研究利用壓縮域信息進(jìn)行運(yùn)動(dòng)對(duì)象提取的方法.\\16\\〗是非常有意義的。

2 MPEG壓縮標(biāo)準(zhǔn)

為了解決視頻數(shù)據(jù)量巨大所帶來的存儲(chǔ)與傳輸困難，國際標(biāo)準(zhǔn)組織制定了相應(yīng)的圖像與視頻壓縮標(biāo)準(zhǔn)。其中包括ISO/IEC靜止圖像專家組制定的JPEG以及JPEG2000標(biāo)準(zhǔn)，運(yùn)動(dòng)圖像專家組制定的多媒體數(shù)據(jù)編碼標(biāo)準(zhǔn)MPEG1，MPEG2，MPEG4以及后續(xù)的針對(duì)多媒體內(nèi)容描述的MPEG7和綜合各種標(biāo)準(zhǔn)的框架MPEG21，另外還有ITUT制定的數(shù)字視頻壓縮國際標(biāo)準(zhǔn)H.261，H.263等。近年來，ISO/IEC MPEG工作組和ITUT合作開發(fā)了新的視頻壓縮標(biāo)準(zhǔn)，即H.264/MPEG4AVCPart10，可滿足視頻移動(dòng)通信、視頻流服務(wù)、高清晰度電視存儲(chǔ)和傳輸?shù)炔煌I(lǐng)域的應(yīng)用。

MPEG壓縮標(biāo)準(zhǔn)是視頻圖像壓縮標(biāo)準(zhǔn)中最具代表性的，是許多科研機(jī)構(gòu)和大學(xué)的研究熱點(diǎn)，也是工業(yè)界產(chǎn)品開發(fā)的熱點(diǎn)。

2.1 MPEG1

MPEG1^［17］主要采用離散余弦變換(DCT)和運(yùn)動(dòng)補(bǔ)償技術(shù)，其視頻圖像數(shù)據(jù)為分層結(jié)構(gòu)，如圖1所示。在MPEG1這6層數(shù)據(jù)中，前4層包含各自的頭信息和一些特征信息，將第5層作為運(yùn)動(dòng)補(bǔ)償?shù)幕締卧M(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，在第6層進(jìn)行DCT變換。也就是說，第5層和第6層主要包含運(yùn)動(dòng)矢量和量化的DCT系數(shù)，這兩層的信息與視頻圖像的具體內(nèi)容密切相關(guān)。

MPEG1定義了4種幀類型：I幀、P幀、B幀和D幀。每幀圖像由3個(gè)整數(shù)矩陣構(gòu)成，一個(gè)亮度矩陣(Y)和2個(gè)色度矩陣(Cb和Cr)。I幀進(jìn)行幀內(nèi)編碼，不需要進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，在第6層傳送幀內(nèi)每個(gè)塊像素值的DCT系數(shù)，壓縮比最低。P幀進(jìn)行前向預(yù)測(cè)編碼，也就是說當(dāng)前P幀參考與其最近的前一個(gè)I幀或P幀進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，即在前一參考幀中尋找與當(dāng)前幀中待編碼宏塊最相似的宏塊，構(gòu)造運(yùn)動(dòng)矢量，在第5層傳送運(yùn)動(dòng)矢量(運(yùn)動(dòng)矢量也可能不存在，即參考幀中不存在相似宏塊，則當(dāng)前幀中宏塊進(jìn)行自編碼)，第6層傳送運(yùn)動(dòng)殘差的DCT系數(shù)或者像素值本身(參考幀中的塊與當(dāng)前幀中的塊內(nèi)容差別較大，進(jìn)行自編碼)的DCT系數(shù)。B幀進(jìn)行雙向預(yù)測(cè)編碼，即當(dāng)前B幀參考與其最近的前一個(gè)I-幀或者P-幀以及后一個(gè)I幀或者P幀進(jìn)行雙向的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，在第5層傳送運(yùn)動(dòng)矢量，第6層傳送運(yùn)動(dòng)殘差的DCT系數(shù)或者像素值本身的DCT系數(shù)。在上述3種類型的幀中，B幀的壓縮比最高，但過多的B-幀會(huì)導(dǎo)致預(yù)測(cè)誤差的傳播。D幀僅包含一些低頻信息，為用戶快速瀏覽定位視頻提供支持。

2.2 MPEG2，MPEG4，MPEG7和MPEG21

MPEG2是在MPEG1的基礎(chǔ)上提出的，它保留了MPEG1提供的全部功能，并與MPEG1兼容，同時(shí)又增加了基于幀/場(chǎng)的運(yùn)動(dòng)補(bǔ)償方式，并提供空間可擴(kuò)展、時(shí)間可擴(kuò)展、質(zhì)量可擴(kuò)展以及容錯(cuò)編碼等新技術(shù)。

MPEG4引入視頻對(duì)象(VO，Video Object)的概念，針對(duì)視頻內(nèi)容進(jìn)行有效的編碼，使基于內(nèi)容的操作需求得以滿足，又保證了編碼的高效、簡(jiǎn)便，同時(shí)與先前的編碼標(biāo)準(zhǔn)很好的兼容。

ISO/IEC還提出2個(gè)標(biāo)準(zhǔn)算法——MPEG7和MPEG21，實(shí)際上這2個(gè)標(biāo)準(zhǔn)并不是針對(duì)視頻編碼的。

MPEG7的目標(biāo)是建立一套音視頻信息的量化標(biāo)準(zhǔn)描述符以及它們之間的關(guān)系和結(jié)構(gòu)，被稱之為描述方案(Description schemes，DS)。同時(shí)MPEG7也建立了一套標(biāo)準(zhǔn)化的語言——描述定義語言(Description definition language，DDL)，用以說明描述符和描述方案。可以認(rèn)為，如果以往的MPEG1，2，4表達(dá)的信息都是內(nèi)容本身的話，那么MPEG7則是針對(duì)多媒體內(nèi)容的表述進(jìn)行標(biāo)準(zhǔn)化，是一種表示信息的信息。

隨著多媒體技術(shù)的不斷發(fā)展，各種多媒體標(biāo)準(zhǔn)層出不窮，為了對(duì)這些標(biāo)準(zhǔn)進(jìn)行有效地協(xié)調(diào)，使它們能配套銜接，一個(gè)“多媒體框架(Multimedia framework)”的概念被提出來，這個(gè)新的工作方向就被確定為MPEG21。

3 壓縮域中進(jìn)行運(yùn)動(dòng)對(duì)象提取的現(xiàn)有算法

通過對(duì)MPEG壓縮標(biāo)準(zhǔn)的了解，可以發(fā)現(xiàn)在壓縮域中可供利用的主要信息是運(yùn)動(dòng)矢量和DCT系數(shù)，目前針對(duì)壓縮域提出的運(yùn)動(dòng)對(duì)象提取算法基本上都是集中在對(duì)這2類信息的分析運(yùn)用上。作者認(rèn)為，現(xiàn)有的提取算法大致可以分為4類：第一類部分解碼視頻幀得到DC圖像，即得到原始視頻圖像的粗略描述，然后提取運(yùn)動(dòng)對(duì)象；第二類分析利用運(yùn)動(dòng)矢量和DCT系數(shù)的特性完成運(yùn)動(dòng)對(duì)象的提?。坏谌愥槍?duì)壓縮域算法提取精度不高的問題，首先在壓縮域進(jìn)行粗分割，接著對(duì)粗分割的結(jié)果區(qū)域進(jìn)行解碼，然后在像素域中提取運(yùn)動(dòng)對(duì)象的精確輪廓；第四類考慮攝像機(jī)帶來的全局運(yùn)動(dòng)，提高提取結(jié)果的準(zhǔn)確度。

(1) 根據(jù)DC圖像提取運(yùn)動(dòng)對(duì)象

文獻(xiàn)［10］利用DC系數(shù)得到DC圖像，根據(jù)DC圖像提供的信息檢測(cè)出背景區(qū)域，進(jìn)而提取出運(yùn)動(dòng)對(duì)象。這種方法實(shí)際上還是利用了像素域中分割算法的思想，在進(jìn)行分割時(shí)，需要將視頻圖像從壓縮域變換到像素域，只是在恢復(fù)原始視頻圖像時(shí)，僅利用DC系數(shù)還原出原始圖像的粗略描述，不進(jìn)行IDCT變換，減少解碼負(fù)擔(dān)，提高速度。

(2) 利用運(yùn)動(dòng)矢量和DCT系數(shù)的性質(zhì)提取運(yùn)動(dòng)對(duì)象

文獻(xiàn)［5，6］首先對(duì)于存在運(yùn)動(dòng)矢量的宏塊，將運(yùn)動(dòng)矢量從空域和時(shí)域上進(jìn)行聚類，得到組成運(yùn)動(dòng)對(duì)象的候選宏塊?？梢哉J(rèn)為在同一幀內(nèi)，屬于同一運(yùn)動(dòng)對(duì)象的宏塊其運(yùn)動(dòng)矢量可能基本相同，根據(jù)這個(gè)特性進(jìn)行空域上的聚類。還可以認(rèn)為在相鄰幀中，屬于同一運(yùn)動(dòng)對(duì)象的宏塊其運(yùn)動(dòng)矢量也可能基本相同，根據(jù)這個(gè)特性又在時(shí)域上進(jìn)行進(jìn)一步聚類。然后，對(duì)于不存在運(yùn)動(dòng)矢量的自編碼宏塊，若該宏塊(稱為A宏塊)作為下一幀某宏塊(稱為B宏塊)的參考，而B宏塊被認(rèn)定為運(yùn)動(dòng)對(duì)象的候選宏塊，則認(rèn)為A宏塊也為候選宏塊。最后，對(duì)得到的所有候選宏塊進(jìn)行后處理，根據(jù)AC系數(shù)濾除平坦區(qū)(Flat region)，得到運(yùn)動(dòng)對(duì)象。在前兩步的提取過程中，平坦區(qū)通常會(huì)被誤認(rèn)為運(yùn)動(dòng)對(duì)象的候選宏塊。不過，包含平坦區(qū)的宏塊其DCT系數(shù)中的AC系數(shù)值很大，根據(jù)這個(gè)特性可以成功地將平坦區(qū)宏塊從候選宏塊中濾除掉。

上述方法是以分析運(yùn)動(dòng)矢量特性為主，DCT系數(shù)特性為輔完成運(yùn)動(dòng)對(duì)象提取。DCT系數(shù)中的DC系數(shù)能夠反映顏色信息，AC系數(shù)能夠反映紋理信息。如果在進(jìn)行對(duì)象分割時(shí)，能夠更多地利用DC和AC系數(shù)提供的信息，應(yīng)該能夠優(yōu)化分割結(jié)果。文獻(xiàn)［9］綜合了DCT系數(shù)和運(yùn)動(dòng)矢量的特性，構(gòu)造出一個(gè)特征向量，通過分級(jí)聚類的方法完成對(duì)象分割。文獻(xiàn)［11］提出一種“跟蹤檢測(cè)”技術(shù)，通過分析相鄰幀中宏塊的運(yùn)動(dòng)矢量以及AC系數(shù)譜能量，將運(yùn)動(dòng)區(qū)域在多幀之間連接起來，進(jìn)而完成運(yùn)動(dòng)對(duì)象的提取。

(3) 壓縮域方法和像素域方法結(jié)合，提高提取結(jié)果的精確度

基于壓縮域的運(yùn)動(dòng)對(duì)象提取方法避免了大量解碼壓縮視頻的過程，提高了運(yùn)算速度。但是，現(xiàn)有的壓縮域算法在精確度上都無法達(dá)到像素域算法的分割效果。

為了提高分割結(jié)果的精確度，文獻(xiàn)［14］提出了將壓縮域算法和像素域算法結(jié)合的思想，首先在壓縮域聚類運(yùn)動(dòng)矢量得到運(yùn)動(dòng)區(qū)域，再對(duì)運(yùn)動(dòng)區(qū)域運(yùn)用IDCT變換進(jìn)行解碼，得到該區(qū)域的原始圖像，最后利用Canny邊緣檢測(cè)算子得到運(yùn)動(dòng)對(duì)象的精確輪廓。這種方法折中考慮了效率和效果，以時(shí)間換取精度。

文獻(xiàn)［16］的基本思想類同于文獻(xiàn)［14］，首先在壓縮域?qū)\(yùn)動(dòng)矢量進(jìn)行聚類得到運(yùn)動(dòng)區(qū)域，然后通過部分解碼得到該運(yùn)動(dòng)區(qū)域的DC+2AC圖像，從而提取到比較精確的輪廓特征。運(yùn)動(dòng)矢量是以宏塊為基本單位的，文獻(xiàn)［16］為了進(jìn)一步提高分割精度，為每個(gè)塊添加運(yùn)動(dòng)矢量，更加準(zhǔn)確地提取出運(yùn)動(dòng)區(qū)域。在對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行解碼時(shí)，綜合考慮了效率和效果2方面的因素，利用DC+2AC系數(shù)恢復(fù)出原始圖像的粗略描述，不需要進(jìn)行IDCT變換，提高了解碼速度。雖然DC+2AC圖像的效果不如原始圖像，但已能比較清晰地反映出輪廓信息。

(4) 考慮攝像機(jī)帶來的全局運(yùn)動(dòng)，提高提取結(jié)果的準(zhǔn)確度

在視頻序列中，除了存在對(duì)象的實(shí)際運(yùn)動(dòng)，還存在另外一類重要的運(yùn)動(dòng)信息，即攝像機(jī)鏡頭的自身運(yùn)動(dòng)。攝像機(jī)鏡頭的運(yùn)動(dòng)會(huì)引起視頻畫面的整體運(yùn)動(dòng)，也被稱為全局運(yùn)動(dòng)。文獻(xiàn)［8］考慮了攝像機(jī)全局運(yùn)動(dòng)對(duì)提取結(jié)果的影響。首先，根據(jù)宏塊的運(yùn)動(dòng)矢量得到運(yùn)動(dòng)流。然后，通過哈夫變換進(jìn)行鏡頭運(yùn)動(dòng)估計(jì)，得到鏡頭運(yùn)動(dòng)參數(shù)，利用該參數(shù)對(duì)運(yùn)動(dòng)流進(jìn)行運(yùn)動(dòng)補(bǔ)償，從而確定運(yùn)動(dòng)對(duì)象。最后，利用均值平移(mean shift)法對(duì)檢測(cè)出的運(yùn)動(dòng)對(duì)象進(jìn)行跟蹤。文獻(xiàn)［13］結(jié)合第三類和第四類算法的思想，首先根據(jù)運(yùn)動(dòng)矢量和鏡頭運(yùn)動(dòng)參數(shù)分離出背景區(qū)域和運(yùn)動(dòng)對(duì)象，然后對(duì)包含運(yùn)動(dòng)對(duì)象的區(qū)域進(jìn)行解碼，在像素域檢測(cè)出運(yùn)動(dòng)對(duì)象的精確輪廓。

4 結(jié) 語

運(yùn)動(dòng)信息是視頻序列中的重要特征，運(yùn)動(dòng)對(duì)象的提取是建立視頻摘要和進(jìn)行視頻檢索的重要基礎(chǔ)。由于存儲(chǔ)容量和網(wǎng)絡(luò)帶寬的限制，目前視頻序列大多以壓縮的形式存放。常用的壓縮標(biāo)準(zhǔn)有MPEGx和H.26x等。在像素域中進(jìn)行運(yùn)動(dòng)對(duì)象的提取已有很多算法可以得到比較精確的結(jié)果，但將這些算法用于壓縮視頻，就必須耗費(fèi)大量時(shí)間解碼，為了提高視頻分析的速度，直接針對(duì)MPEG壓縮域進(jìn)行運(yùn)動(dòng)對(duì)象提取是很有必要的。近年來，許多科研人員在這方面做了深入研究，提出了一些有效算法。

研究基于壓縮域的運(yùn)動(dòng)對(duì)象提取算法有著廣泛的應(yīng)用前景。文獻(xiàn)［7］通過融合運(yùn)動(dòng)矢量和聚類DCT系數(shù)完成道路上車輛的檢測(cè)。文獻(xiàn)［12］主要利用DC系數(shù)提供的顏色信息實(shí)現(xiàn)交通監(jiān)控。文獻(xiàn)［15］根據(jù)運(yùn)動(dòng)矢量分離全局運(yùn)動(dòng)和局部運(yùn)動(dòng)得到運(yùn)動(dòng)區(qū)域，再根據(jù)運(yùn)動(dòng)區(qū)域的DC+2AC圖像提取輪廓特征，從而分析出室內(nèi)人物的狀況，實(shí)現(xiàn)有效的監(jiān)督?？梢钥闯觯芯炕趬嚎s域的提取算法具有非常大的實(shí)用價(jià)值。

基于壓縮域進(jìn)行運(yùn)動(dòng)對(duì)象的提取算法，在計(jì)算復(fù)雜度和計(jì)算速度方面都比基于像素域的算法有較大的優(yōu)勢(shì)，但分割的精確度不夠高。目前針對(duì)精度問題提出的解決方案是以時(shí)間換取精度，通過解碼運(yùn)動(dòng)區(qū)域，在像素域完成邊緣檢測(cè)，以求達(dá)到更好的分割效果。在MPEG壓縮域中，可供利用的主要信息是運(yùn)動(dòng)矢量和DCT系數(shù)，進(jìn)一步分析這兩者的特性，充分利用其提供的信息提高對(duì)象分割的精確度是一個(gè)值得研究的方向。另外，在特定的應(yīng)用領(lǐng)域中，可以結(jié)合領(lǐng)域特性修改算法，從而在效率和效果上更好的滿足需求。

參 考 文 獻(xiàn)

［1］Meier T，Ngan K N.Automatic Segmentation of Moving Objects for Video Object Plane Generation［J］.IEEE Trans.Circuits Systems for Video Technology，1998，8(5):525538.

［2］張澤旭，李金宗，李寧寧.基于光流場(chǎng)分割和Canny邊緣提取融合算法的運(yùn)動(dòng)目標(biāo)檢測(cè)［J］.電子學(xué)報(bào)，2003，31(9):1 2991 302.

［3］Jinsang K，Tom C.Multiple Feature Clustering for Image Sequence Segmentation ［J］.Pattern Recognition Letter，2001，22:1 2071 217.

［4］Castagno R，Ebrahimi T，Kunt M.Video Segmentation Based on Multiple Features for Interactive Multimedia Application ［J］.IEEE Trans.Circuits Systems for Video Technology，1998，8(5):562571.

［5］Nakajima Y，Yoneyama A，Yanagihara H，et al.Moving object detection from MPEG coded data ［C］.SPIE，Visual Communications and Image Processing ′98，1998，3 309:988996.

［6］Yoneyama A，Nakajima Y，Yanagihara H，et al.Moving Object Detection and Identification from MPEG Coded Data ［C］.In Proc.IEEE ICIP′99，Kobe，Japan，1999(2):934938.

［7］Zen H，Hasegawa T，Ozawa S.Moving Object Detection from MPEG Coded Picture ［C］.In Proc.IEEE ICIP′99，Kobe，Japan，1999(4):2529.

［8］Park SM，Lee J.Object Tracking in MPEG Compressed Video Using Meanshift Algorithm ［C］.In Proc.IEEE，ICICSPCM′03，Singapore，2003(2):748752.

［9］Porikli F.Realtime Video Object Segmentation for MPEGencoded Video Sequences ［J］.SPIE，RealTime Imaging VIII，2004，5297:195203.

［10］Zeng W，Gao W，Zhao D.Automatic Moving Object Extraction in MPEG Video［C］.In Proc.IEEE ISCAS ′03，Bangkok，Thailand，2003(2):524527.

［11］Lie WN，Chen RL.Tracking Moving Objects in MPEGcompressed Videos ［C］.In Proc.IEEE ICME ′01，Tokyo，Japan，2001:1 1721 175.

［12］Mezaris V，Kompatsiaris I，Strintzis M G.Compresseddomain Object Detection for Video Understanding ［C］.In Proc.Workshop on Image Analysis for Multimedia Interactive Services，Lisbon，Portugal，2004:203206.

［13］Ralph Ewerth，Martin Schwalb，Paul Tessmann，et al.Segmenting Moving Object in MPEG Videos in the Presence of Camera Motion ［C］.Image Analysis and Processing，2007.ICIAP 2007.14th International Conference on 1014，2007:819824.

［14］王占輝，劉貴忠，劉龍.一種從視頻壓縮碼流中精確提取運(yùn)動(dòng)對(duì)象的快速算法［J］.電子與信息學(xué)報(bào)，2004，26(7):1 1571 162.

［15］Lin Chiawen，Ling Zhihong.Automatic Fall Incident Detection in Compressed Video for Intelligent Homecare ［C］.Computer Communications and Networks，2007.ICCCN 2007.Proceedings of 16th International Conference on 1316，2007:1 1721 177.

［16］Zhou Qiya，Yang Gaobo，Chen Weiwei，et al.A Fast and Accurate Moving Object Extraction Scheme in the MPEG Compressed Domain ［C］.Image and Graphics，2007.ICIG

2007.Fourth International Conference on 2224，2007:592597.

［17］ISO/IEC.Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5 Mbps ［S］.ISO/IEC 11172，1993.

作者簡(jiǎn)介 李 鵬 男，西安理工大學(xué)。研究方向?yàn)榍度胧较到y(tǒng)，圖形圖像處理。