陳炳權(quán)，劉宏立

（1.湖南大學(xué)電氣與信息工程學(xué)院，湖南長(zhǎng)沙 410082；2.吉首大學(xué)物理科學(xué)與信息工程學(xué)院，湖南吉首 416000）

多運(yùn)動(dòng)目標(biāo)分割是從動(dòng)態(tài)圖像序列中檢測(cè)出運(yùn)動(dòng)目標(biāo)，并將其與背景分離［1－6］，目前其檢測(cè)的瓶頸在于背景的動(dòng)態(tài)變化，如光照、影子、天氣等因素干擾，其精確性和準(zhǔn)確性直接影響到目標(biāo)的分割.分割的難點(diǎn)通常在于陰影的處理，如目標(biāo)物的陰影與目標(biāo)物相連；遮擋的處理，如運(yùn)動(dòng)目標(biāo)的自遮擋、運(yùn)動(dòng)目標(biāo)之間的遮擋、運(yùn)動(dòng)目標(biāo)被景物遮擋等；干擾的影響，如植物的擺動(dòng)、植物的陰影、水面的鏡面反射.圖像序列是一組按時(shí)間順序排列的瞬間圖像，不同時(shí)刻采集的二幀或多幀圖像中包含了存在于相機(jī)與景物之間的相對(duì)運(yùn)動(dòng)信息，分割就是為了獲得感興趣的各種視知覺(jué)信息.目前由于建模算法的局限性，加上人們對(duì)視頻分割的實(shí)時(shí)性和通用性的需求，運(yùn)動(dòng)目標(biāo)分割仍然是目前研究的重要課題.

傳統(tǒng)的分割算法主要有背景減除建模法、幀間差分算法、基于光流場(chǎng)和運(yùn)動(dòng)參數(shù)估計(jì)的分割方法［7］、基于形態(tài)學(xué)方法［8］、運(yùn)動(dòng)跟蹤法、基于分類的算法［9］、輔助方法［10］.為了得到精確的目標(biāo)外輪廓，通常使用Snake模型進(jìn)行外輪廓的提取，該模型是動(dòng)態(tài)“主動(dòng)”輪廓模型，1987年由Kass等人提出，其定義一個(gè)能反映目標(biāo)輪廓與灰度等信息的能量函數(shù)，通過(guò)尋找自身能量函數(shù)的局部極小值，由初始位置向真實(shí)輪廓靠近，從而有較強(qiáng)的抗噪聲能力.本文提出了一種基于特征對(duì)象的運(yùn)動(dòng)目標(biāo)分割算法，并將該法與修正的Snake模型結(jié)合進(jìn)行了運(yùn)動(dòng)目標(biāo)的分割.分析和實(shí)驗(yàn)證明：該算法需要調(diào)整的參數(shù)少，抗干擾能力強(qiáng)，可以有效地消除多幀間運(yùn)動(dòng)目標(biāo)的遮擋，能精確定位各個(gè)運(yùn)動(dòng)目標(biāo)的外輪廓.

1 基于特征對(duì)象的幀間差分算法

基于特征對(duì)象的多運(yùn)動(dòng)目標(biāo)自動(dòng)分割算法實(shí)質(zhì)是基于時(shí)間差分法的改進(jìn)算法，當(dāng)圖像序列中的背景比較穩(wěn)定時(shí)，相鄰幀之間像素值變化大的區(qū)域就對(duì)應(yīng)于運(yùn)動(dòng)目標(biāo).為了提高其準(zhǔn)確性，通常增強(qiáng)背景的穩(wěn)定性，采用全局運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)姆椒ǎ淠Ｐ腿缦拢簽檠a(bǔ)償攝像機(jī)本身的運(yùn)動(dòng)或運(yùn)載平臺(tái)的運(yùn)動(dòng)所造成的視頻圖像中背景發(fā)生變化，先對(duì)當(dāng)前視頻幀進(jìn)行全局運(yùn)動(dòng)估計(jì)和補(bǔ)償.任取幀fi和fi＋1，用

Sfi（x0，y0）表示幀fi的像素灰度值，則

式中：a1，a2，…，a8為待估計(jì)的運(yùn)動(dòng)參數(shù).為了減少計(jì)算量，采用3層金字塔的層次塊匹配出各個(gè)觀察點(diǎn)像素的位移，當(dāng)估計(jì)的運(yùn)動(dòng)參數(shù)a1－1，a2，a3，a4，a5－1，a6，a7，a8中的絕對(duì)值有一個(gè)大于2.5時(shí)，則進(jìn)行相應(yīng)的運(yùn)動(dòng)補(bǔ)償［9］，相鄰二幀像素灰度差

其中f（x，y，ti），f（x，y，ti－1）表示了時(shí)刻ti，ti－1的相鄰二幀圖像.當(dāng)PDi的像素值超過(guò)一定的閾值時(shí)，則認(rèn)為物體是運(yùn)動(dòng)的.但這對(duì)噪聲如光照條件的變化、云和草地的緩慢變化仍然比較敏感，于是定義符號(hào)差分為

式中：MADi是第i幀和第i＋1幀的平均絕對(duì)差；MADi－1是第i－1幀和第i幀的平均絕對(duì)差；SDMADi是某幀fi的二次導(dǎo)數(shù)，則對(duì)選取的閾值不敏感，當(dāng)沒(méi)有景物變化時(shí)，SDMADi仍然在零附近有小的波動(dòng).

2 基于特征對(duì)象與修正的Snake混合模型算法

2.1 混合算法原理

特征對(duì)象是一種幾何特征，由改進(jìn)的KL變換從原始圖像序列中計(jì)算而得，它不僅具有運(yùn)動(dòng)對(duì)象的位置、形狀等信息，而且與原圖像序列的中間幀圖像相對(duì)應(yīng).本文提出了基于特征向量的運(yùn)動(dòng)目標(biāo)分割算法，采用將時(shí)間信息和空間信息相結(jié)合的辦法，先使用邊緣檢測(cè)算子檢測(cè)特征對(duì)象的邊緣，由于特征對(duì)象中只含有運(yùn)動(dòng)目標(biāo)，所以檢測(cè)到的邊緣則為運(yùn)動(dòng)目標(biāo)的邊緣.在檢測(cè)邊緣時(shí)，利用紋理信息去除陰影，然后使用形態(tài)學(xué)算子對(duì)邊緣提取的結(jié)果進(jìn)行填充，并使用連通算子計(jì)算連通區(qū)域，消除殘余的噪聲.最后使用修正的Snake模型進(jìn)行外輪廓提取.筆者設(shè)計(jì)的運(yùn)動(dòng)目標(biāo)分割及外輪廓精確提取算法的流程如圖1所示.

圖1 多運(yùn)動(dòng)目標(biāo)分割算法流程Fig.1 Algorithm process about multi－movement targets division

2.2 特征對(duì)象的運(yùn)動(dòng)目標(biāo)檢測(cè)算法

背景差分法對(duì)噪聲敏感，若直接用背景差分結(jié)果求二值圖像，運(yùn)動(dòng)對(duì)象會(huì)淹沒(méi)在噪聲中.提取最大特征向量，可以改進(jìn)運(yùn)算的結(jié)果［11］.好的分類是類中各元素與該類有很大的相關(guān)性，且在相似性矩陣中彼此有比較大的值.對(duì)于運(yùn)動(dòng)目標(biāo)來(lái)說(shuō)，可以利用特征向量區(qū)分運(yùn)動(dòng)物體與靜止物體，由于計(jì)算特征向量時(shí)使用了零均值向量，可以從理論上消除背景，PCA已具備這一條件，其第一特征向量代表最大方差的方向且對(duì)應(yīng)于運(yùn)動(dòng)物體.但當(dāng)運(yùn)動(dòng)物體速度較快時(shí)，第一特征向量中運(yùn)動(dòng)物體的邊緣出現(xiàn)了模糊現(xiàn)象，由此檢測(cè)出的運(yùn)動(dòng)區(qū)域大于實(shí)際的運(yùn)動(dòng)區(qū)域.文獻(xiàn)［11－13］指出：對(duì)于整體運(yùn)動(dòng)的對(duì)象如剛體，可認(rèn)為序列圖像前后幀差圖像灰度邊緣重合的部分為中間幀運(yùn)動(dòng)對(duì)象的邊緣，從而有效地解決了運(yùn)動(dòng)對(duì)象前后幀的遮擋問(wèn)題.于是將KL變換進(jìn)行改進(jìn)，使之更符合圖像序列中運(yùn)動(dòng)目標(biāo)的檢測(cè)，本文設(shè)計(jì)的算法如下：

1）協(xié)方差矩陣M的計(jì)算：通常計(jì)算協(xié)方差矩陣方法使用零均值向量，為了便于檢測(cè)連續(xù)幀中的運(yùn)動(dòng)目標(biāo)且消除遮擋，可以將協(xié)方差矩陣M的計(jì)算方法設(shè)計(jì)為：

式（4）使用了3個(gè)向量A，B，C，其代表了4幀圖像序列中的前后幀間差.

2）特征對(duì)象V的定義：利用改進(jìn)后的式（4）計(jì)算出與最大3個(gè)特征值對(duì)應(yīng)的3個(gè)特征向量為V1，V2和V3，將其乘積定義為特征對(duì)象為

從式（5）可知，特征對(duì)象V不但具有運(yùn)動(dòng)對(duì)象的位置和形狀等信息，而且代表的運(yùn)動(dòng)對(duì)象與原圖像序列的中間幀的運(yùn)動(dòng)目標(biāo)相對(duì)應(yīng)，所以利用特征對(duì)象V與原始圖像中運(yùn)動(dòng)目標(biāo)的對(duì)應(yīng)關(guān)系即可進(jìn)行目標(biāo)分割.

2.3 修正的Snake模型的多運(yùn)動(dòng)目標(biāo)外輪廓提取

將特征對(duì)象V變?yōu)槎祱D像，從而表示出運(yùn)動(dòng)目標(biāo)的位置，然后利用V與原始圖像的位置對(duì)應(yīng)關(guān)系提取出運(yùn)動(dòng)目標(biāo)，通常由于運(yùn)動(dòng)對(duì)象表面紋理不夠，從而導(dǎo)致二值目標(biāo)內(nèi)部空洞及背景的部分小噪聲現(xiàn)象，可采用數(shù)學(xué)形態(tài)學(xué)中的填充、開(kāi)關(guān)等算子對(duì)其進(jìn)行內(nèi)部填充、除噪及邊緣平滑處理.對(duì)于復(fù)雜背景的序列幀，由于存在較大的背景噪聲，本文使用連通算子操作，對(duì)二值圖像進(jìn)行連通區(qū)域的標(biāo)注，認(rèn)為構(gòu)成運(yùn)動(dòng)目標(biāo)的連通區(qū)域的面積比噪聲連通區(qū)域大很多，設(shè)定閾值從而排除噪聲區(qū)域.然而由特征對(duì)象V得到二值圖像時(shí)為了降低噪聲，對(duì)初始閾值的要求比較嚴(yán)格.若閾值選取偏大，則得到不完整的運(yùn)動(dòng)目標(biāo)；閾值選取偏小，則提取結(jié)果中不但包括運(yùn)動(dòng)目標(biāo)，還包含了目標(biāo)周圍小范圍的背景.

本文設(shè)計(jì)了合適的后續(xù)算法，從而可以降低閾值對(duì)算法的約束性，即修正的Snake模型：定義圖像輪廓vi＝（xi，yi），（i＝0，1，2，…，n）.其模型參數(shù)v（s）＝（x（s），y（s）），且s∈［0，1］為歸一化曲線長(zhǎng)度，動(dòng)態(tài)輪廓的總能量函數(shù)為［5，11］

式中：Eint為內(nèi)部能量；Eimage為圖像作用力產(chǎn)生的內(nèi)部能量；Econ為約束能量，且

具體推導(dǎo)過(guò)程參見(jiàn)文獻(xiàn)［11，14］.

最小化Snake能量函數(shù)的算法中g(shù)reedy算法雖然不能達(dá)到最優(yōu)解［15］，保留了動(dòng)態(tài)規(guī)劃算法可靠性高、穩(wěn)定性好的優(yōu)點(diǎn)，且計(jì)算簡(jiǎn)單.但原始greedy算法中，內(nèi)部收縮力很難和圖像特征吸引力達(dá)到平衡，從而造成輪廓過(guò)收縮或沒(méi)有達(dá)到實(shí)際輪廓的現(xiàn)象.基于這一問(wèn)題，運(yùn)動(dòng)邊緣注冊(cè)輪廓收縮算法，在貪婪greedy算法的基礎(chǔ)上增加外部約束力：在輪廓進(jìn)行收縮時(shí)，若輪廓點(diǎn)到達(dá)其對(duì)應(yīng)的運(yùn)動(dòng)邊緣點(diǎn)，則在運(yùn)動(dòng)邊緣圖中對(duì)此點(diǎn)進(jìn)行注冊(cè)，已經(jīng)注冊(cè)過(guò)的點(diǎn)認(rèn)為已經(jīng)達(dá)到了它最終的位置，不再移動(dòng).對(duì)于運(yùn)動(dòng)邊緣圖中邊緣斷點(diǎn)造成的輪廓點(diǎn)沒(méi)有對(duì)應(yīng)的運(yùn)動(dòng)邊緣點(diǎn)的情況，采用貪婪greedy算法運(yùn)用能量最小化準(zhǔn)則可以平滑連接真實(shí)運(yùn)動(dòng)輪廓點(diǎn)之間的斷點(diǎn).

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)利用Matlab7.8進(jìn)行軟件仿真，測(cè)試序列為公用序列.選取室外復(fù)雜背景下多運(yùn)動(dòng)目標(biāo)的視頻序列為測(cè)試對(duì)象，并與一些經(jīng)典的算法進(jìn)行了比較，將實(shí)驗(yàn)結(jié)果與手工分割的groundtruth結(jié)果進(jìn)行比較分析.

圖2所示為室外環(huán)境下多運(yùn)動(dòng)目標(biāo)（人和車子）的分割過(guò)程與結(jié)果，圖像序列中的4幀可以不連續(xù)，但相隔要近.分割的背景包括了一組建筑物，還有遠(yuǎn)處的樹(shù)木、停車場(chǎng)中的多輛汽車、大片的草地以及運(yùn)動(dòng)目標(biāo)的影子.由4幀圖像計(jì)算出的特征對(duì)象表明：在原始目標(biāo)分辨率較低的情況下，利用式（4）和式（5）進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí)，運(yùn)動(dòng)目標(biāo)后方的陰影與運(yùn)動(dòng)目標(biāo)的可分離度較高，檢測(cè)結(jié)果基本不受陰影的影響.對(duì)于汽車而言，由于汽車下方的陰影與汽車相連，且相對(duì)于汽車陰影面積占據(jù)一定的比例，在進(jìn)行形態(tài)濾波時(shí)，造成部分陰影與目標(biāo)粘連，對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)產(chǎn)生了一定的影響.圖2（e）為計(jì)算出的特征對(duì)象，該圖包含了豐富的運(yùn)動(dòng)目標(biāo)位置、形狀等信息，可進(jìn)一步進(jìn)行靜態(tài)分割.圖2（f）為對(duì)特征對(duì)象的邊緣檢測(cè)結(jié)果，其中包含了一些噪聲.圖2（i）為本文提出的算法分割結(jié)果.經(jīng)比較可以看到，由特征對(duì)象法提取的運(yùn)動(dòng)目標(biāo)位置準(zhǔn)確，與實(shí)際目標(biāo)形狀上的貼和度也較高.

圖2 室外環(huán)境多運(yùn)動(dòng)目標(biāo)分割過(guò)程及結(jié)果Fig.2 The process and solution of division about multiple moving targets in outdoor condition

表1為修正的Snake模型提取的目標(biāo)與手工分割的目標(biāo)之間、特征對(duì)象法提取的目標(biāo)與手工分割目標(biāo)間的超出比與收縮比［11］等參數(shù).從表1中可以看到，對(duì)同一幅圖像，特征對(duì)象法的超出比要大于修正的Snake模型法的超出比，即特征對(duì)象法提取的目標(biāo)外輪廓更大一點(diǎn).從總像素點(diǎn)數(shù)目差來(lái)看，特征對(duì)象法沒(méi)有匹配上的像素點(diǎn)也更多些.2種算法提取的目標(biāo)外輪廓與手工提取的目標(biāo)外輪廓貼近度都較高，修正的Snake模型貼近度更高些.

表1 參數(shù)比較Tab.1 Comparison of parameters

以上實(shí)驗(yàn)結(jié)果顯示，特征對(duì)象法可準(zhǔn)確檢測(cè)出圖像序列中的運(yùn)動(dòng)目標(biāo)并進(jìn)行目標(biāo)分割.但由于受到閾值的制約，提取的目標(biāo)輪廓與目標(biāo)不很貼近.而使用修正的Snake混合模型則可得到更為精確的運(yùn)動(dòng)目標(biāo)外輪廓.

4 結(jié) 論

在分析多運(yùn)動(dòng)目標(biāo)分割算法的基礎(chǔ)上，以計(jì)算簡(jiǎn)單、速度快、能準(zhǔn)確分割運(yùn)動(dòng)目標(biāo)并精確提取目標(biāo)外輪廓為原則，提出了基于特征對(duì)象的多運(yùn)動(dòng)目標(biāo)自動(dòng)分割算法，并在該算法的基礎(chǔ)上設(shè)計(jì)了基于修正的Snake模型的運(yùn)動(dòng)目標(biāo)外輪廓精確提取算法，將提取的運(yùn)動(dòng)目標(biāo)與手動(dòng)分割的運(yùn)動(dòng)目標(biāo)進(jìn)行比較，大量的實(shí)驗(yàn)數(shù)據(jù)和結(jié)果證明，本文方法有效，且抗干擾能力強(qiáng)，有效地消除了運(yùn)動(dòng)間的遮擋.

［1］ 方帥，薛方正，徐心和.基于背景建模的動(dòng)態(tài)目標(biāo)檢測(cè)算法的研究與仿真［J］.系統(tǒng)仿真學(xué)報(bào)，2005，17（1）：159－161.FANG Shuai，XUE Fang－zheng，XU Xin－h(huán)e.Moving object detection based on self－adaptive background modeling［J］.Acta Simulata Systematica Sinica，2005，17（1）：159－161.（In Chinese）

［2］ 盧官明，郎蘇娟.基于YCbCr顏色空間的背景建模及運(yùn)動(dòng)目標(biāo)檢測(cè)［J］.南京郵電大學(xué)學(xué)報(bào)：自然科學(xué)版，2009，29（6）：17－22.LU Guan－ming，LANG Su－juan.Background modeling and moving object detection based on YCbCr color space［J］.Journal of Nanjing University of Posts and Telecommunications：Natural Science，2009，29（6）：17－22.（In Chinese）

［3］ 周箴毅，胡福喬.基于背景建模的動(dòng)態(tài)場(chǎng)景目標(biāo)檢測(cè)［J］.計(jì)算機(jī)工程，2008，34（24）：203－205.ZHOU Zhen－yi，HU Fu－qiao.Object detection in nonstationary scenes based on background modeling［J］.Computer Engineering，2008，34（24）：203－205.（In Chinese）

［4］ 徐瑋，王煒，張茂軍，等.虛擬實(shí)景對(duì)象建模與表現(xiàn)［J］.計(jì)算機(jī)仿真，2009，26（12）：214－217.XU Wei，WANG Wei，ZHANG Mao－jun，et al.Modeling and presentation of virtual reality object［J］.Computer Simulation，2009，26（12）：214－217.（In Chinese）

［5］ GAVRILA D M.The visual analysis of human movement：a survey［J］.Computer Vision and Image Understanding，1999，73（1）：82－98.

［6］ XU H F，AYOUNIS A A，KABUKA M R.Automatic moving object extraction for content－based applications［J］.IEEE Transactions on Circuits and Systems for Video Technology，2004，4（5）：796－812.

［7］ NETI A，COLONNESE S，RUSSO G，et al.Automatic moving object and background separation［J］.Signal Processing，1998，66（2）：219－232.

［8］ GHARAVI H，MILLS M.Block－matching motion estimation algorithms－new results［J］.IEEE Transaction on Circuits and Systems，1990，37（5）：649－651.

［9］ DANIEL G P，CHUANG G，SUN M T.Semantic video object extraction using four－band water shed and partition lattice operators［J］.IEEE Transactions on Circuits and Systems for Video Technology，2001，11（5）：603－618.

［10］LOANNIS K，MICHAEL G S.Spatio－temporal segmentation and tracking of objects for visualization of video conference image sequences［J］.IEEE Transactions on Circuits and Systems Video Technology，2000，10（8）：1388－1402.

［11］李春明.視頻圖像中的運(yùn)動(dòng)人體檢測(cè)和人臉識(shí)別［D］.西安：西安電子科技大學(xué)，2005.LI Chun－ming.Moving human body detection and face recognition in video images［D］.Xi′an：Xi′dian University，2005.（In Chinese）

［12］WANG Xiao－gang，TANG Xiao－ou.A unified framework for subspace face recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（9）：1222－1223.

［13］DUBUISSON M P，JAIN A K.Contour extraction of moving objects in complex outdoor scenes［J］.International Journal of Computer Vision，1995，14（1）：83－105.

［14］KASS M，WITKIN A，TERZOPOULOS D.Snakes：active contour models［J］.International Journal of Computer，2007，39（4）：321－331.

［15］ZHANG Deng－sheng，LU Guo－jun.Review of shape representation and description techniques［J］.Pattern Recognition，2004，37：1－19.