方勇

（上海易維視科技有限公司 上海市 200082）

1 引言

在MPEG 系列標(biāo)準(zhǔn)中，將視頻對(duì)象定義為“在視頻場(chǎng)景中用戶可以存?。ㄋ阉?、瀏覽）和操作（剪切和粘貼）的實(shí)體”，如自然場(chǎng)景中一個(gè)人、一輛車、一棟大樓等，要求具有語(yǔ)義上的完整性[1]。但是，通過(guò)低層視覺(jué)分割來(lái)得到具有語(yǔ)義完整性的視頻對(duì)象非常困難，因?yàn)橐曨l對(duì)象的一致性在低層視覺(jué)特征上不一定能反映出來(lái)，往往需要借助語(yǔ)義概念，而目前語(yǔ)義概念還難以用機(jī)器語(yǔ)言進(jìn)行準(zhǔn)確的定義和描述。因此，視頻對(duì)象提取一直是視頻內(nèi)容分析與計(jì)算機(jī)視覺(jué)中的難點(diǎn)，目前大多數(shù)的視頻對(duì)象提取集中在運(yùn)動(dòng)目標(biāo)的提取上，要實(shí)現(xiàn)語(yǔ)義上的視頻對(duì)象提取，一般需要先驗(yàn)知識(shí)或模型。當(dāng)前，視頻對(duì)象提取是一個(gè)研究熱點(diǎn)，提出的方法和相關(guān)的文獻(xiàn)非常多，大體上可以分為三類：空域提取、時(shí)域提取和時(shí)空聯(lián)合分析[2,3, 4]。

本文基于時(shí)空聯(lián)合分析提出了一種視頻對(duì)象提取算法，首先在空域運(yùn)用Canny 算子獲得邊緣圖[5]，并對(duì)邊緣圖進(jìn)行后處理，去除不閉合的較短的線段和分支邊緣，然后結(jié)合運(yùn)動(dòng)檢測(cè)提取運(yùn)動(dòng)邊緣；再次，基于多階段仿射運(yùn)動(dòng)分割獲得運(yùn)動(dòng)區(qū)域圖；最后，采用主動(dòng)輪廓模型融合運(yùn)動(dòng)邊緣圖和運(yùn)動(dòng)區(qū)域圖[6]，進(jìn)行邊界校正，獲得較準(zhǔn)確的視頻對(duì)象。

2 視頻對(duì)象提取

2.1 算法概要

運(yùn)動(dòng)視頻對(duì)象具有兩個(gè)基本的特征：

（1）視頻對(duì)象是運(yùn)動(dòng)的；

（2）對(duì)象的邊界是圖像邊緣像素集合的子集。

圖1：結(jié)合運(yùn)動(dòng)與邊緣信息的視頻對(duì)象提取算法流程

圖2：Canny 算子與Sobel 算子邊緣提取對(duì)比示例

圖3：金字塔實(shí)現(xiàn)的L-K 光流估計(jì)示例

因此本文提出的視頻對(duì)象提取算法主要依賴運(yùn)動(dòng)信息，再結(jié)合空域的邊緣信息進(jìn)行邊界校正，整個(gè)算法流程如圖1 所示。整個(gè)算法大體上可以分為四個(gè)部分，第一個(gè)是邊緣分析模塊，第二個(gè)是運(yùn)動(dòng)分析模塊，第三個(gè)是映射與跟蹤模塊，第四個(gè)是綜合分析模塊。

2.2 運(yùn)動(dòng)邊緣力場(chǎng)

運(yùn)動(dòng)邊緣力場(chǎng)的基本過(guò)程是：第一步，用Canny 算子檢測(cè)邊緣；第二步，運(yùn)動(dòng)檢測(cè)；第三步，檢測(cè)運(yùn)動(dòng)邊緣；第四步，高斯擴(kuò)展，形成一個(gè)光滑的運(yùn)動(dòng)邊緣吸引力場(chǎng)。

2.2.1 邊緣檢測(cè)

Canny 算子檢測(cè)邊緣效果很好，如圖2 所示，圖中用Sobel 算子做對(duì)比，其中（a）為原始視頻幀，（b）為Canny 算子提取的邊緣，（c）為Sobel 算子提取的邊緣。從圖中可以看出，Canny 算子應(yīng)用到自然場(chǎng)景，會(huì)出現(xiàn)許多噪聲邊緣，主要表現(xiàn)為短的線段與分支；也有可能出現(xiàn)邊緣不閉合的情況。

2.2.2 運(yùn)動(dòng)檢測(cè)

鏡頭內(nèi)相鄰兩幀之間的運(yùn)動(dòng)檢測(cè)方法最簡(jiǎn)單的是幀差法；此外，對(duì)幀差進(jìn)行閾值化操作，還可以獲得運(yùn)動(dòng)區(qū)域掩模。設(shè)幀差圖為

一般情況下，直接根據(jù)幀差法進(jìn)行運(yùn)動(dòng)檢測(cè)，獲得的運(yùn)動(dòng)區(qū)域掩模往往很難準(zhǔn)確地反映場(chǎng)景中的真實(shí)運(yùn)動(dòng)情況，如空洞、噪聲斑點(diǎn)等。但是，如果只是利用幀差進(jìn)行運(yùn)動(dòng)邊緣檢測(cè)，只要對(duì)幀差圖進(jìn)行簡(jiǎn)單的處理，就有可能獲得比較理想的結(jié)果。本文對(duì)幀差圖的處理主要有兩點(diǎn)：第一，不進(jìn)行閾值化處理，避免閾值對(duì)最終運(yùn)動(dòng)邊緣檢測(cè)結(jié)果的影響；第二，對(duì)幀差圖進(jìn)行一次窗口為3×3 的極大值操作，進(jìn)行膨脹，以避免邊緣檢測(cè)時(shí)邊緣定位偏差的影響，

2.2.3 運(yùn)動(dòng)邊緣

獲得Canny 邊緣圖與幀差圖后，就可以進(jìn)行運(yùn)動(dòng)邊緣檢測(cè)，運(yùn)動(dòng)邊緣在視頻對(duì)象提取中最大的優(yōu)點(diǎn)是可以避免靜態(tài)邊緣對(duì)運(yùn)動(dòng)視頻對(duì)象提取的干擾。運(yùn)動(dòng)邊緣檢測(cè)分兩步進(jìn)行：第一，將幀差圖與二值邊緣圖相乘，獲得運(yùn)動(dòng)邊緣圖；第二，在運(yùn)動(dòng)邊緣圖上使用類似Canny 邊緣檢測(cè)的雙閾值方法進(jìn)行二值運(yùn)動(dòng)邊緣檢測(cè)。設(shè)運(yùn)動(dòng)邊緣圖為

根據(jù)式（3）可知，運(yùn)動(dòng)邊緣圖的特點(diǎn)是：只有同時(shí)存在邊緣和運(yùn)動(dòng)才是運(yùn)動(dòng)邊緣。由于運(yùn)動(dòng)圖像的復(fù)雜性，真正有運(yùn)動(dòng)邊緣的地方由于灰度的相似性，也有可能導(dǎo)致幀差很小，為了避免這種影響，不宜對(duì)運(yùn)動(dòng)邊緣圖直接進(jìn)行閾值化處理，檢測(cè)二值運(yùn)動(dòng)邊緣。在本文中，使用雙閾值的方法來(lái)檢測(cè)二值運(yùn)動(dòng)邊緣，如果ME(x,y)對(duì)于大閾值，則是運(yùn)動(dòng)邊緣；如果ME(x,y)小于小閾值，則不是運(yùn)動(dòng)邊緣；如果介于兩者之間，則通過(guò)一個(gè)跟蹤或生長(zhǎng)過(guò)程來(lái)完成運(yùn)動(dòng)邊緣檢測(cè)。

2.3 多階段仿射運(yùn)動(dòng)分割

運(yùn)動(dòng)信息是視頻對(duì)象提取算法的主要依據(jù)，在自然場(chǎng)景的視頻對(duì)象提取中，運(yùn)動(dòng)是最可靠的提取線索。本文中，采用多階段仿射運(yùn)動(dòng)分割的方法進(jìn)行運(yùn)動(dòng)分割。

2.3.1 稠密光流估計(jì)

要依據(jù)運(yùn)動(dòng)信息提取運(yùn)動(dòng)目標(biāo)，首先要進(jìn)行光流估計(jì)，獲取稠密光流場(chǎng)。本文采用金字塔分層實(shí)現(xiàn)的L-K 光流估計(jì)方法估計(jì)光流場(chǎng)，該方法的最初目的是估計(jì)稀疏光流，用于特征跟蹤，但是也可以實(shí)現(xiàn)任意尺度的光流估計(jì)。該方法由于對(duì)圖像進(jìn)行金字塔分解，逐層估計(jì)，在準(zhǔn)確性、時(shí)間效率與魯棒性方面取得了一個(gè)很好的折衷。其次，為了便于投影與跟蹤，對(duì)于當(dāng)前幀n，在n 與n+1 幀之間進(jìn)行光流估計(jì)。圖3 是典型視頻幀的光流場(chǎng)，其中（a）和（b）分別為兩組相鄰的視頻幀，（c）分別為對(duì)應(yīng)的光流場(chǎng)。

2.3.2 全局運(yùn)動(dòng)估計(jì)

全局運(yùn)動(dòng)的一般過(guò)程是先用一個(gè)參數(shù)模型描述全局運(yùn)動(dòng)，然后再根據(jù)視頻相鄰幀的相關(guān)性估計(jì)模型參數(shù)。仿射運(yùn)動(dòng)模型的參數(shù)估計(jì)可以基于視頻幀的運(yùn)動(dòng)場(chǎng)進(jìn)行，本文采用基于運(yùn)動(dòng)場(chǎng)的六參數(shù)線性模型，

其中，(vx,vy)為運(yùn)動(dòng)速度或光流，使用最小二乘法來(lái)估計(jì)模型參數(shù)。設(shè)全局運(yùn)動(dòng)區(qū)域?yàn)锳，根據(jù)光流場(chǎng)計(jì)算全局運(yùn)動(dòng)模型如下式：

本文采用閾值可變雙迭代方法估計(jì)模型參數(shù)，該方法將全局運(yùn)動(dòng)的迭代過(guò)程分解成為兩個(gè)迭代過(guò)程：在第一個(gè)迭代過(guò)程中，使用一個(gè)遞減的百分比閾值來(lái)排除外點(diǎn)，并估計(jì)模型參數(shù)的近似解，主要用來(lái)獲得可靠的全局運(yùn)動(dòng)區(qū)域；在第二個(gè)迭代過(guò)程中，用一個(gè)固定閾值或自適應(yīng)閾值來(lái)區(qū)分內(nèi)點(diǎn)與外點(diǎn)，并獲得完整的全局運(yùn)動(dòng)區(qū)域和準(zhǔn)確的運(yùn)動(dòng)模型參數(shù)。

2.3.3 運(yùn)動(dòng)區(qū)域連通性分析與標(biāo)識(shí)

根據(jù)視頻檢索的特點(diǎn)，使用對(duì)象進(jìn)行檢索，一般適合場(chǎng)景中主體不是特別多、特別復(fù)雜的情形，因此，我們采用快速分層的多階段運(yùn)動(dòng)模型擬合與連通性分析方法來(lái)分割運(yùn)動(dòng)區(qū)域。經(jīng)過(guò)全局運(yùn)動(dòng)分析后的，如果有多個(gè)運(yùn)動(dòng)目標(biāo)，則在局部運(yùn)動(dòng)區(qū)域中，有可能存在多個(gè)運(yùn)動(dòng)區(qū)域。如果運(yùn)動(dòng)目標(biāo)不重疊或不相鄰，理想情況下，一個(gè)運(yùn)動(dòng)區(qū)域?qū)?yīng)一個(gè)運(yùn)動(dòng)目標(biāo)。但是，在實(shí)際場(chǎng)景中，運(yùn)動(dòng)目標(biāo)有可能重疊，因此需要對(duì)每個(gè)運(yùn)動(dòng)區(qū)域進(jìn)行運(yùn)動(dòng)一致性分析，判定是否屬于一個(gè)運(yùn)動(dòng)目標(biāo)。首先，對(duì)局部運(yùn)動(dòng)區(qū)域進(jìn)行連通性分析，標(biāo)識(shí)出全部連通區(qū)域；第二步，對(duì)每個(gè)連通區(qū)域用六參數(shù)模型進(jìn)行擬和，如果異常點(diǎn)數(shù)小于連通區(qū)域像素?cái)?shù)目的一定比例，即式（8）成立，

圖4：獨(dú)立運(yùn)動(dòng)區(qū)域分割示例

其中，V(x,y)為估計(jì)運(yùn)動(dòng)矢量，v'(x,y)擬和運(yùn)動(dòng)矢量，用擬合的六參數(shù)模型計(jì)算，F(xiàn) 為連通區(qū)域，Tg為異常點(diǎn)閾值，c 為異常點(diǎn)比例系數(shù)，通常取為5%，|F|為連通區(qū)域像素集合大小。則該連通區(qū)域?yàn)楠?dú)立運(yùn)動(dòng)區(qū)域，對(duì)應(yīng)著一個(gè)獨(dú)立的運(yùn)動(dòng)目標(biāo)。如果某個(gè)連通區(qū)域包含有兩個(gè)或兩個(gè)以上不同運(yùn)動(dòng)屬性的運(yùn)動(dòng)目標(biāo)，則采用多階段的方法用類似全局運(yùn)動(dòng)分析對(duì)該連通區(qū)域進(jìn)行運(yùn)動(dòng)模型擬合，直至分割出所有的獨(dú)立運(yùn)動(dòng)區(qū)域，如圖4(c)所示，其中，（a）為全局運(yùn)動(dòng)分析標(biāo)識(shí)出的局部運(yùn)動(dòng)區(qū)域（黑色），（b）為局部運(yùn)動(dòng)區(qū)域進(jìn)行連通分析的連通區(qū)域圖，（c）為運(yùn)動(dòng)分割圖。由于原視頻序列中水面也在運(yùn)動(dòng)且圖像中右邊存在邊緣，導(dǎo)致運(yùn)動(dòng)估計(jì)不準(zhǔn)確，因此圖像中右邊出現(xiàn)干擾運(yùn)動(dòng)區(qū)域。

2.4 映射與跟蹤

運(yùn)動(dòng)視頻中的跟蹤方法主要有兩種：一種是區(qū)域跟蹤法，另一種是輪廓跟蹤法，當(dāng)然，在視頻對(duì)象跟蹤中還有可能使用一些其它的信息，如顏色、背景模型等。區(qū)域跟蹤法為整個(gè)目標(biāo)區(qū)域建立參數(shù)運(yùn)動(dòng)模型，通過(guò)運(yùn)動(dòng)模型將當(dāng)前幀中目標(biāo)區(qū)域映射到下一幀中得到新的目標(biāo)區(qū)域，然后再進(jìn)行邊界修正。區(qū)域跟蹤法非常適合剛體運(yùn)動(dòng)跟蹤，缺點(diǎn)是難以處理復(fù)雜的非剛體運(yùn)動(dòng)。輪廓跟蹤法通常用于非剛體運(yùn)動(dòng)目標(biāo)的跟蹤，輪廓跟蹤法包括輪廓演化與輪廓預(yù)測(cè)[6]。輪廓演化法使用主動(dòng)輪廓模型，主動(dòng)輪廓模型的缺點(diǎn)是容易受復(fù)雜紋理的干擾，其次是運(yùn)算量較大；輪廓預(yù)測(cè)法是將前一幀中獲得的目標(biāo)區(qū)域的輪廓映射到當(dāng)前幀中，作為當(dāng)前幀中的目標(biāo)區(qū)域輪廓，然后再進(jìn)行目標(biāo)邊界修正，輪廓預(yù)測(cè)法的缺點(diǎn)是邊界的不封閉性問(wèn)題，尤其是部分目標(biāo)區(qū)域在當(dāng)前幀被遮擋的時(shí)候。

在CBVR 中，為了準(zhǔn)確地提取視頻對(duì)象的各種特征，重要的是視頻對(duì)象不能出現(xiàn)大的區(qū)域性錯(cuò)誤。為了滿足這個(gè)要求，本文提出的視頻對(duì)象跟蹤方法自然地融合了以上各種方法的優(yōu)點(diǎn)，避免其缺點(diǎn)。首先將前一幀中的目標(biāo)區(qū)域根據(jù)其六參數(shù)仿射模型映射到當(dāng)前幀，由于本文的運(yùn)動(dòng)估計(jì)是在當(dāng)前幀與下一幀之間進(jìn)行的，因此這種映射具有較好的準(zhǔn)確性；其次，由于存在目標(biāo)從場(chǎng)景中消失的可能，如目標(biāo)遮擋、目標(biāo)離開(kāi)場(chǎng)景等，因此還應(yīng)該進(jìn)行目標(biāo)的存在性判斷，設(shè)目標(biāo)區(qū)域?yàn)锳，如果式（9）成立，則目標(biāo)存在，否則為消失或遮擋，

其中，|A|為區(qū)域像素?cái)?shù)目，Tp為閾值。如果式（9）成立，則當(dāng)前幀的映射區(qū)域?yàn)楦檯^(qū)域。跟蹤區(qū)域用于綜合分析模塊，與運(yùn)動(dòng)區(qū)域圖、邊緣圖進(jìn)行融合，以處理非剛體運(yùn)動(dòng)，利用輪廓預(yù)測(cè)法的優(yōu)點(diǎn)。

圖5：準(zhǔn)確的視頻對(duì)象提取示例

2.5 新目標(biāo)檢測(cè)與視頻對(duì)象提取

在綜合分析模塊中，第一步就是新目標(biāo)檢測(cè)。在運(yùn)動(dòng)分析模塊中，檢測(cè)出了獨(dú)立運(yùn)動(dòng)區(qū)域，但并沒(méi)有區(qū)分是待跟蹤區(qū)域還是新目標(biāo)區(qū)域，因此首先根據(jù)運(yùn)動(dòng)分析模塊與映射與跟蹤模塊的結(jié)果區(qū)分待跟蹤區(qū)域與新目標(biāo)區(qū)域。設(shè)前一幀中的目標(biāo)在當(dāng)前幀中的映射為Oi，當(dāng)前幀中獨(dú)立運(yùn)動(dòng)區(qū)域?yàn)镽j，如果

成立，則Rj為待跟蹤區(qū)域，且待跟蹤區(qū)域擴(kuò)展為其中，Tn為跟蹤運(yùn)動(dòng)區(qū)域閾值。在判斷待跟蹤區(qū)域時(shí)，由于非剛體運(yùn)動(dòng)的存在，一個(gè)跟蹤目標(biāo)可能會(huì)產(chǎn)生多個(gè)獨(dú)立運(yùn)動(dòng)區(qū)域，因此可能出現(xiàn)多個(gè)獨(dú)立運(yùn)動(dòng)區(qū)域?yàn)橥粋€(gè)目標(biāo)的待跟蹤區(qū)域，此時(shí)，目標(biāo)的跟蹤區(qū)域應(yīng)該為映射區(qū)域與可能的多個(gè)獨(dú)立運(yùn)動(dòng)區(qū)域的并。同樣，如果在當(dāng)前幀中，存在獨(dú)立運(yùn)動(dòng)區(qū)域?qū)λ械挠成鋮^(qū)域Oi都不滿足式（10），則該獨(dú)立運(yùn)動(dòng)區(qū)域?yàn)樾履繕?biāo)區(qū)域。

經(jīng)過(guò)新目標(biāo)區(qū)域檢測(cè)后，跟蹤目標(biāo)與新目標(biāo)區(qū)域都已獲得，但由于運(yùn)動(dòng)分割的局限性及非剛體運(yùn)動(dòng)的存在，目標(biāo)區(qū)域的邊界一般不是很準(zhǔn)確，如圖5 所示。此時(shí)，需要進(jìn)行邊界校正。本文采用主動(dòng)輪廓模型來(lái)引進(jìn)邊緣信息，進(jìn)行邊界校正，其主要優(yōu)點(diǎn)是能較好地?cái)M合邊緣，且能處理空域邊緣不閉合的情況。主動(dòng)輪廓模型也稱為Snake 模型、可變形模型，能夠較好的實(shí)現(xiàn)目標(biāo)的輪廓提取與跟蹤[6]。主動(dòng)輪廓模型實(shí)質(zhì)上是對(duì)一個(gè)目標(biāo)能量函數(shù)進(jìn)行優(yōu)化的過(guò)程，使之在內(nèi)力與外力平衡時(shí)停止運(yùn)動(dòng)，內(nèi)力來(lái)自于曲線本身，如曲線的平滑力與彈性力；外力來(lái)自于圖像數(shù)據(jù)，通常是圖像的梯度場(chǎng)等，根據(jù)提取的特征的不同而不同，在本文中就是前面計(jì)算得到的邊緣吸引力場(chǎng)。設(shè)圖像平面內(nèi)的輪廓曲線為，其中，s 為空間參數(shù)，即曲線參數(shù)，t 為時(shí)間參數(shù)，即迭代參數(shù)，則主動(dòng)輪廓模型的能量函數(shù)的基本形式為

其中，Xs、Xss分別為X 的一階和二階導(dǎo)數(shù)，α 和β 分別為控制主動(dòng)輪廓模型張緊和剛性的權(quán)重，其目的是控制輪廓曲線光滑且有彈性；Eimg(X)是外部能量項(xiàng)，通常由圖像的灰度或邊緣等獲得，用來(lái)引導(dǎo)模型去擬合目標(biāo)的邊緣輪廓，本文中，

擬合邊緣的過(guò)程就是能量函數(shù)式（11）最小化的過(guò)程。求式（11）的最小值，可通過(guò)Euler 方程求解，具體的計(jì)算過(guò)程可參見(jiàn)文獻(xiàn)[6]。具體實(shí)現(xiàn)時(shí)，第一步根據(jù)跟蹤目標(biāo)與新目標(biāo)區(qū)域提取每一個(gè)目標(biāo)的輪廓，設(shè)目標(biāo)區(qū)域個(gè)數(shù)為N 個(gè)，則可以得到N 個(gè)初始輪廓曲線；第二步，根據(jù)主動(dòng)輪廓模型算法進(jìn)行曲線演化，求取能量極小值時(shí)對(duì)應(yīng)的輪廓曲線，得到目標(biāo)準(zhǔn)確的輪廓曲線；第三步，對(duì)N 個(gè)閉合輪廓曲線進(jìn)行填充，從而獲得目標(biāo)區(qū)域，輸出結(jié)果，整個(gè)過(guò)程如圖5 所示，其中，（a）和（b）為原始視頻幀，（c）運(yùn)動(dòng)分割掩模，（d）為當(dāng)前幀圖像的邊緣，（e）為最終提取的視頻對(duì)象掩模，（f）為最終提取的視頻對(duì)象。一般情況下，主動(dòng)輪廓模型的計(jì)算量比較大，由于本文算法是根據(jù)目標(biāo)的運(yùn)動(dòng)分割掩模提取初始輪廓，不會(huì)偏離真實(shí)邊緣太大，一般情況下只需迭代有限的若干次即可獲得滿意的結(jié)果。應(yīng)用主動(dòng)輪廓模型的主要目的是：第一，校正視頻對(duì)象邊界，運(yùn)動(dòng)分割由于運(yùn)動(dòng)矢量估計(jì)的原因，邊界一般不準(zhǔn)確，需要校正，主動(dòng)輪廓模型在擴(kuò)展邊緣吸引力場(chǎng)的作用下可以實(shí)現(xiàn)平滑的調(diào)整，收斂到真實(shí)邊緣；第二，處理斷裂邊緣，許多情況下，目標(biāo)邊緣不連續(xù)，即使是擴(kuò)展邊緣也不一定在所有的邊緣像素處形成平滑的吸引力場(chǎng)，主動(dòng)輪廓模型在曲線的平滑力與彈性力的作用下，在一定程度上可以解決這個(gè)問(wèn)題。

獲得目標(biāo)區(qū)域后，對(duì)每一個(gè)目標(biāo)區(qū)域根據(jù)其對(duì)應(yīng)的光流用六參數(shù)仿射模型進(jìn)行擬合，用于下一幀視頻對(duì)象提取時(shí)的映射與跟蹤模塊。

4 小結(jié)

本文提出了一種有效的視頻對(duì)象提取方法，采用時(shí)空聯(lián)合分析方法提取視頻對(duì)象區(qū)域，優(yōu)點(diǎn)有三個(gè)：一個(gè)是使分割結(jié)果更加完整，連接或去除孤立的小區(qū)域和小的空洞，目標(biāo)邊界更加準(zhǔn)確，更加接近對(duì)象真實(shí)邊界；第二個(gè)能夠處理視頻對(duì)象的各種運(yùn)動(dòng)狀態(tài)；第三個(gè)是在一定程度上可以處理非剛體運(yùn)動(dòng)和肢節(jié)運(yùn)動(dòng)，因?yàn)榧兇獾膭傮w運(yùn)動(dòng)在實(shí)際視頻場(chǎng)景中很少見(jiàn)。通過(guò)全局運(yùn)動(dòng)估計(jì)來(lái)提取局部運(yùn)動(dòng)區(qū)域，同時(shí)實(shí)現(xiàn)攝像機(jī)操作識(shí)別；對(duì)局部運(yùn)動(dòng)區(qū)域進(jìn)行運(yùn)動(dòng)分割，獲得獨(dú)立運(yùn)動(dòng)區(qū)域，并與前一幀的提取結(jié)果進(jìn)行融合，檢測(cè)出跟蹤目標(biāo)與新目標(biāo)區(qū)域；最后再結(jié)合邊緣信息采用主動(dòng)輪廓模型校正視頻對(duì)象的邊界。實(shí)驗(yàn)結(jié)果表明這種時(shí)空聯(lián)合分析方法能有效的提取視頻場(chǎng)景中的視頻對(duì)象。但是，基于目前計(jì)算機(jī)視覺(jué)技術(shù)的局限性，背景復(fù)雜的視頻場(chǎng)景中的視頻對(duì)象提取依然是一個(gè)難以解決的問(wèn)題。