胡光龍，秦世引

(北京航空航天大學(xué)自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100191)

動(dòng)態(tài)成像條件下基于SURF和Mean shift的運(yùn)動(dòng)目標(biāo)高精度檢測(cè)

胡光龍，秦世引

(北京航空航天大學(xué)自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100191)

針對(duì)動(dòng)態(tài)成像條件下運(yùn)動(dòng)目標(biāo)檢測(cè)的難點(diǎn)問(wèn)題，提出了一種將SURF特征和Mean shift圖像分割相結(jié)合的高精度運(yùn)動(dòng)目標(biāo)檢測(cè)方法.首先利用SURF特征進(jìn)行圖像配準(zhǔn)，以補(bǔ)償背景圖像的運(yùn)動(dòng)漂移;然后利用差分求積二值化和形態(tài)學(xué)濾波方法檢測(cè)出運(yùn)動(dòng)目標(biāo)區(qū)域;最后結(jié)合Mean shift圖像分割方法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的精確檢測(cè).通過(guò)一系列實(shí)拍視頻的運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)驗(yàn)驗(yàn)證了此算法的有效性和可行性.實(shí)驗(yàn)結(jié)果表明，此方法能精確檢測(cè)出動(dòng)態(tài)成像條件下所形成的動(dòng)態(tài)背景中的運(yùn)動(dòng)目標(biāo)，而且具有良好的魯棒性和抗噪能力，對(duì)于光照條件和亮度變化等不利因素也有較強(qiáng)的適應(yīng)能力.

SURF;圖像配準(zhǔn);Mean shift;圖像分割;動(dòng)態(tài)背景;目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一，在目標(biāo)跟蹤、視頻監(jiān)控、生物醫(yī)學(xué)、機(jī)器人技術(shù)等領(lǐng)域都有著廣泛的應(yīng)用［1－4］.根據(jù)攝像機(jī)是否運(yùn)動(dòng)，運(yùn)動(dòng)目標(biāo)檢測(cè)方法可分為2類(lèi):靜態(tài)背景目標(biāo)檢測(cè)和動(dòng)態(tài)背景目標(biāo)檢測(cè)［5］.在靜態(tài)背景目標(biāo)檢測(cè)中，攝像機(jī)處于靜止?fàn)顟B(tài)，產(chǎn)生的是背景靜止的圖像序列，進(jìn)行目標(biāo)檢測(cè)較為容易，且計(jì)算簡(jiǎn)單，常用的方法有:幀間差分法、背景差分法、光流法［6］等.在動(dòng)態(tài)背景目標(biāo)檢測(cè)中，由于攝像機(jī)處于運(yùn)動(dòng)狀態(tài)，導(dǎo)致圖像中的背景和目標(biāo)同時(shí)運(yùn)動(dòng)，使目標(biāo)檢測(cè)變得非常復(fù)雜，是運(yùn)動(dòng)目標(biāo)檢測(cè)中的難點(diǎn)問(wèn)題.

動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法主要有3類(lèi):背景配準(zhǔn)法、光流法和相機(jī)幾何模型法［7］.背景配準(zhǔn)法是在沒(méi)有相機(jī)內(nèi)外參數(shù)的情況下，利用圖像配準(zhǔn)，結(jié)合背景差分法，檢測(cè)出運(yùn)動(dòng)目標(biāo).光流法中，由于背景和目標(biāo)運(yùn)動(dòng)速度不同，導(dǎo)致光流存在較大差異，并據(jù)此檢測(cè)出運(yùn)動(dòng)物體;但光流法計(jì)算量大，且有孔徑問(wèn)題.相機(jī)幾何模型法利用相機(jī)的內(nèi)外參數(shù)計(jì)算出像素位置的變化，實(shí)現(xiàn)相機(jī)運(yùn)動(dòng)的補(bǔ)償，但在實(shí)際應(yīng)用中很難實(shí)時(shí)得到相機(jī)內(nèi)外參數(shù).

圖像配準(zhǔn)方法有模板匹配、基于特征的方法和基于傅里葉變換的方法3類(lèi)［8］.特征匹配法具有計(jì)算簡(jiǎn)單、精度高的特點(diǎn)，但現(xiàn)有的角點(diǎn)匹配方法受匹配誤差和環(huán)境變化的影響較大.2006年，H.Bay在分析、總結(jié)多種特征檢測(cè)方法的基礎(chǔ)上，提出了SURF(speeded－up robust features)描述算子［9］，其對(duì)圖像平移、旋轉(zhuǎn)、縮放等變化具有良好的不變性［10－11］.文獻(xiàn)［12］利用 SURF 特征進(jìn)行了圖像配準(zhǔn)和拼接方面的研究，取得了良好的效果.

針對(duì)動(dòng)態(tài)視頻中進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)的難點(diǎn)問(wèn)題，鑒于Mean shift算法在圖像分割中的優(yōu)勢(shì)［13］，本文提出了一種基于SURF和Mean shift的運(yùn)動(dòng)目標(biāo)檢測(cè)方法:首先利用SURF特征進(jìn)行圖像配準(zhǔn)以補(bǔ)償背景運(yùn)動(dòng)，然后利用差分求積二值化和形態(tài)學(xué)濾波檢測(cè)出運(yùn)動(dòng)目標(biāo)區(qū)域，最后結(jié)合Mean shift圖像分割的方法，精確檢測(cè)出運(yùn)動(dòng)目標(biāo).實(shí)驗(yàn)結(jié)果表明，該方法能精確檢測(cè)出運(yùn)動(dòng)目標(biāo)，有效減少誤檢、多檢情況的發(fā)生，具有良好的魯棒性和抗噪能力.

1 相關(guān)研究工作與發(fā)展趨勢(shì)

目前，針對(duì)動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)，大多數(shù)研究者傾向于使用背景配準(zhǔn)法和光流法，以獲得高精度的檢測(cè)結(jié)果，并盡可能減少誤檢、多檢情況的發(fā)生.

利用背景配準(zhǔn)法來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)的重點(diǎn)在于準(zhǔn)確補(bǔ)償背景運(yùn)動(dòng).文獻(xiàn)［14］中提出的基于相位相關(guān)和差分求積二值化的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，在攝像機(jī)只存在平移和旋轉(zhuǎn)變化時(shí)，能夠取得較好的效果，但無(wú)法適應(yīng)縮放變化.文獻(xiàn)［15］中提出的基于SIFT特征和差分求積二值化的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，利用SIFT特征準(zhǔn)確補(bǔ)償背景運(yùn)動(dòng);但形態(tài)學(xué)處理后容易導(dǎo)致目標(biāo)被割裂，造成多檢情況的發(fā)生.

文獻(xiàn)［16］結(jié)合光流估計(jì)和背景配準(zhǔn)方法來(lái)實(shí)現(xiàn)航拍圖像下汽車(chē)和行人的檢測(cè)和跟蹤，取得了較好的效果;但速度較慢，且對(duì)小目標(biāo)的檢測(cè)效果較差.文獻(xiàn)［17］提出了結(jié)合光流場(chǎng)的模圖像和Mean shift圖像分割的方法來(lái)精確檢測(cè)運(yùn)動(dòng)目標(biāo)，取得了較好的結(jié)果;然而光流場(chǎng)計(jì)算量大，且該方法無(wú)法檢測(cè)出大位移運(yùn)動(dòng)目標(biāo).但其提出的結(jié)合Mean shift圖像分割來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)的方法，可有效減少誤檢、多檢情況的發(fā)生.

因此，結(jié)合圖像分割和邊緣檢測(cè)等方法來(lái)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的精確檢測(cè)，是動(dòng)態(tài)成像條件下運(yùn)動(dòng)目標(biāo)檢測(cè)的發(fā)展趨勢(shì).

2 運(yùn)動(dòng)目標(biāo)高精度檢測(cè)策略與算法

2.1 算法原理與實(shí)現(xiàn)策略

本文提出的算法原理如圖1所示，其處理流程為:對(duì)輸入視頻進(jìn)行采集得到相鄰4幀的彩色圖像IC1、IC2、IC3、IC4，對(duì)其進(jìn)行灰度化處理得到相應(yīng)的灰度圖像IG1、IG2、IG3、IG4;然后通過(guò)提取 SURF特征進(jìn)行視頻幀配準(zhǔn)，可以得到IG3配準(zhǔn)到IG1的圖像IG31和IG4配準(zhǔn)到IG2的圖像IG42;進(jìn)而利用差分求積二值化和形態(tài)學(xué)濾波實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)區(qū)域的有效檢測(cè);最后結(jié)合Mean shift圖像分割和邊緣提取以精確檢測(cè)出運(yùn)動(dòng)目標(biāo).

圖1 動(dòng)態(tài)成像條件下基于SURF和Mean shift的運(yùn)動(dòng)目標(biāo)檢測(cè)原理Fig.1 Principle of moving object detection under dynamic imaging conditions based on SURF and Mean shift

2.2 基于SURF特征提取的視頻幀配準(zhǔn)

基于SURF特征提取的視頻幀配準(zhǔn)需經(jīng)過(guò)以下3個(gè)步驟:首先，在圖像的尺度空間中，提取SURF興趣點(diǎn)，生成特征描述符;其次，在一定的尺度空間范圍內(nèi)，匹配來(lái)自不同圖像的SURF興趣點(diǎn);最后，結(jié)合RANSAC算法和最小二乘法來(lái)估計(jì)出待配準(zhǔn)圖像和參考圖像間的變換參數(shù).

2.2.1 興趣點(diǎn)檢測(cè)

SURF興趣點(diǎn)的檢測(cè)是基于尺度空間理論，采用近似的Hessian矩陣來(lái)檢測(cè)興趣點(diǎn).對(duì)于圖像I中某點(diǎn)X，X=(x，y)，該點(diǎn)在尺度σ上的Hessian矩陣H定義為

H.Bay等提出用框狀濾波器來(lái)近似代替高斯濾波二階導(dǎo)(圖2為9×9框狀濾波器模板，圖中灰色部分模板值為0)，然后用積分圖像來(lái)加速卷積，以提高計(jì)算速度.將框狀濾波器與圖像卷積的結(jié)果Dxx、Dxy、Dyy分別代替Lxx、Lxy、Lyy得到近似 Hessian矩陣Happrox，其行列式為

圖2 9×9框狀濾波器模板Fig.2 Box filters with 9×9

尺度空間是按階分層形成的，SURF采用增大方框?yàn)V波器的尺寸來(lái)達(dá)到尺度空間分層的效果.尺度空間的建立是從9×9的濾波器開(kāi)始，每一階分4層.圖3為建立4階的尺度空間，圖中方框內(nèi)的數(shù)字表示框狀濾波器模板的尺寸，對(duì)數(shù)橫坐標(biāo)表示相應(yīng)的尺度，如濾波器模板尺寸為N×N，則對(duì)應(yīng)的尺度為s=1.2×N/9.

對(duì)于某一像素點(diǎn)，用近似的Hessian矩陣求出極值后，其上一尺度、下一尺度及本尺度可構(gòu)造一個(gè)3×3×3的立體鄰域.在三維尺度空間(x，y，s)中，進(jìn)行非最大值抑制，只有比臨近的26個(gè)點(diǎn)的響應(yīng)值都大的點(diǎn)才被選為興趣點(diǎn).然后利用三維2次函數(shù)擬合方法［18］對(duì)興趣點(diǎn)精確定位，至此可以得到興趣點(diǎn)的位置和尺度信息(x，y，s).

圖3 4階尺度空間框狀濾波器的尺寸Fig.3 Box filters size for four different octaves in scale space

2.2.2 興趣點(diǎn)描述和匹配

為保證旋轉(zhuǎn)不變性，SURF興趣點(diǎn)描述分2步來(lái)實(shí)現(xiàn):

1)以每一個(gè)興趣點(diǎn)為圓心，計(jì)算半徑為6s(s為其尺度值)的鄰域內(nèi)的點(diǎn)在x、y方向的Haar小波(Haar小波邊長(zhǎng)取4s)響應(yīng)，并給這些響應(yīng)值賦予高斯權(quán)重系數(shù).再將60°范圍內(nèi)的響應(yīng)相加形成新的矢量，然后遍歷整個(gè)圓形區(qū)域，選擇模長(zhǎng)最長(zhǎng)的矢量的方向?yàn)樵撆d趣點(diǎn)的主方向.

2)以興趣點(diǎn)為中心，將坐標(biāo)軸旋轉(zhuǎn)到主方向，按照主方向選取邊長(zhǎng)為20s的正方形區(qū)域，并將該區(qū)域分成4×4的子區(qū)域.在每一個(gè)子區(qū)域內(nèi)，按照5×5的大小進(jìn)行采樣，分別計(jì)算相對(duì)于主方向的水平和垂直方向上的Haar小波響應(yīng)，記為dx和dy，同樣賦予權(quán)重系數(shù).然后對(duì)每個(gè)子區(qū)域的響應(yīng)以及響應(yīng)的絕對(duì)值求和，在每個(gè)子區(qū)域可以得到一個(gè)4維向量 V=(∑dx，∑|dx|，∑dy，∑|dy|)T，這樣 16 個(gè)子區(qū)域可形成一個(gè)64維的描述向量.

在獲得參考圖像和待配準(zhǔn)圖像的興趣點(diǎn)及其描述向量后，采用最近距離比次近距離的方法進(jìn)行興趣點(diǎn)匹配.設(shè)N1、N2分別為圖像I1、I2用SURF方法提取的興趣點(diǎn)集合，對(duì)N1中的任一興趣點(diǎn)n1i，N2中與n1i的歐氏距離最近和次近的2個(gè)興趣點(diǎn)分別為n2j、n'2j，對(duì)應(yīng)距離分別為dij，d'ij，如果dij≤λ ×d'ij，則n1i與n2j為匹配點(diǎn)對(duì)，遍歷I1中的興趣點(diǎn)，找出所有潛在的匹配點(diǎn)對(duì).這是可利用Hessian矩陣跡的正負(fù)性來(lái)加速匹配，提高匹配效率［11］.

2.2.3 透視變換模型參數(shù)估計(jì)

獲得2幀圖像間的匹配點(diǎn)對(duì)后，就可以計(jì)算圖像間的變換關(guān)系.對(duì)于存在旋轉(zhuǎn)、縮放、平移變化的運(yùn)動(dòng)模型，可用透視變換模型近似.透視變換矩陣M為

設(shè) p=(x1，y1)和 q=(x2，y2)是匹配的興趣點(diǎn)對(duì)，則有

由于最近距離比次近距離匹配方法得到的匹配點(diǎn)對(duì)中，還可能有誤匹配，因此本文結(jié)合RANSAC算法和最小二乘法計(jì)算得到圖像間的透視變換關(guān)系［19］.

2.2.4 視頻幀配準(zhǔn)

在完成透視變換模型參數(shù)的求解之后，就要利用得到的透視變換矩陣M把待配準(zhǔn)視頻幀中的每一點(diǎn)映射到參考圖像的坐標(biāo)系中.對(duì)待配準(zhǔn)的視頻幀進(jìn)行插值重采樣，就可以得到同一坐標(biāo)系下的配準(zhǔn)結(jié)果.常用的插值方法有最近鄰法、雙線性法、雙三次卷積法等，本文采用雙線性插值的方法.

2.3 差分求積二值化與形態(tài)學(xué)濾波

2.3.1 差分求積二值化運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)

確定了相鄰幀之間的透視變換關(guān)系后，將后一幀按此變換關(guān)系與前一幀圖像配準(zhǔn)，再進(jìn)行差分運(yùn)算，以減掉背景圖像.理論上對(duì)于差分圖像來(lái)說(shuō)，只有運(yùn)動(dòng)重疊部分對(duì)應(yīng)的像素值非零，但由于噪聲的影響，差分圖像中存在很多虛假的運(yùn)動(dòng)目標(biāo).為解決這一問(wèn)題，考慮差分圖像之間必然存在運(yùn)動(dòng)重疊區(qū)域，采用多幀差分求積二值化的方法使差分圖像中運(yùn)動(dòng)邊緣的相關(guān)峰更加尖銳，這樣就能有效排除噪聲，正確檢測(cè)出運(yùn)動(dòng)目標(biāo)區(qū)域.因此，采用相鄰4幀差分求積二值化的方法，算式如式(1):

式中:f1(x，y)為第1幀圖像，f2(x，y)為第2幀圖像，f3(x，y)為第3幀配準(zhǔn)到第1幀得到的圖像，f4(x，y)為第4幀配準(zhǔn)到第2幀得到的圖像，F(xiàn)'(x，y)為差分求積圖像.如果圖像中沒(méi)有運(yùn)動(dòng)物體，則2幅圖像灰度差為零，只有運(yùn)動(dòng)重疊區(qū)域會(huì)在差分圖像中產(chǎn)生高的相關(guān)峰，按閾值α分割得到二值圖像F(x，y)，檢測(cè)出運(yùn)動(dòng)目標(biāo).

與其他方法相比，該方法具有計(jì)算簡(jiǎn)單、精度高和抗噪性強(qiáng)的優(yōu)勢(shì).

2.3.2 形態(tài)學(xué)濾波后處理

經(jīng)過(guò)差分求積二值化處理后，得到了包含不規(guī)則輪廓的運(yùn)動(dòng)目標(biāo)圖像，在該圖像中仍可能殘留一些孤立的噪聲點(diǎn).利用形態(tài)學(xué)濾波處理技術(shù)對(duì)差分圖像進(jìn)行后處理，通過(guò)形態(tài)學(xué)開(kāi)、閉運(yùn)算彌補(bǔ)斷裂的輪廓線和填補(bǔ)空洞，并濾除殘留的噪聲點(diǎn)，以檢測(cè)出運(yùn)動(dòng)目標(biāo)區(qū)域.

2.4 基于Mean shift的圖像分割與精確檢測(cè)

由于差分運(yùn)算會(huì)把運(yùn)動(dòng)目標(biāo)區(qū)域擴(kuò)大，經(jīng)過(guò)上述差分求積二值化檢測(cè)得到的包含運(yùn)動(dòng)目標(biāo)區(qū)域的圖像，很容易出現(xiàn)將背景當(dāng)做運(yùn)動(dòng)目標(biāo)區(qū)域的誤檢情況.此外形態(tài)學(xué)開(kāi)運(yùn)算容易將連接纖細(xì)的運(yùn)動(dòng)目標(biāo)區(qū)域割裂開(kāi)來(lái)，造成多檢情況的發(fā)生.為此，采用結(jié)合Mean shift圖像分割方法來(lái)精確提取運(yùn)動(dòng)目標(biāo)輪廓.

基于Mean shift的圖像分割與圖像平滑非常類(lèi)似，只需要把收斂到同一點(diǎn)的起始點(diǎn)歸為一類(lèi)，然后把這一類(lèi)的標(biāo)號(hào)賦給這些起始點(diǎn).在圖像分割中有時(shí)還需要把包含像素點(diǎn)太少的區(qū)域去掉.該分割方法能有效得到圖像中物體的輪廓［20］.

2.5 運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)現(xiàn)算法

綜合上述內(nèi)容，給出SURF特征與Mean shift圖像分割相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)現(xiàn)算法.

算法:動(dòng)態(tài)成像條件下基于SURF和Mean shift的運(yùn)動(dòng)目標(biāo)檢測(cè).

輸入:連續(xù) 4 幀視頻圖像IC1、IC2、IC3、IC4.

輸出:運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果R.

1)基于SURF特征的視頻幀配準(zhǔn).先將連續(xù)4幀的原始視頻圖像IC1、IC2、IC3、IC4轉(zhuǎn)化成灰度圖像IG1、IG2、IG3、IG4.

a)對(duì)連續(xù) 4 幀圖像IG1、IG2、IG3、IG4分別進(jìn)行SURF興趣點(diǎn)檢測(cè)和描述;

b)將IG1和IG3、IG2和IG4中的興趣點(diǎn)分別進(jìn)行匹配，得到匹配的興趣點(diǎn)對(duì);

c)根據(jù)IG1和IG3、IG2和IG4之間匹配的興趣點(diǎn)對(duì)，進(jìn)行透視變換模型參數(shù)的最小二乘估計(jì);

d)利用雙線性插值方法，將IG3配準(zhǔn)到IG1圖像坐標(biāo)系下、IG4配準(zhǔn)到IG2圖像坐標(biāo)系下，配準(zhǔn)結(jié)果分別為IG31、IG42.

2)差分求積二值化分割與形態(tài)學(xué)濾波處理.

a)將配準(zhǔn)后的圖像IG31、IG42分別與原始圖像IG1、IG2做差分運(yùn)算，得到差分后的圖像IG5、IG6;

b)將IG5、IG6相乘，并按閾值α分割得到二值圖像IG7;

c)對(duì)IG7進(jìn)行形態(tài)學(xué)濾波處理，結(jié)果為IG8.

3)基于Mean shift的圖像分割與邊緣檢測(cè).分別用xi和zi(i=1，2，…，n)表示IG4和IG4分割后圖像中的像素點(diǎn).對(duì)每一像素點(diǎn):

a)初始化j=1，并且使yi，1=xi;

b)運(yùn)用 Mean shift算法計(jì)算yi，j+1直到收斂，記收斂后的值為yi，c;

c)將收斂到同一點(diǎn)的起始點(diǎn)歸為一類(lèi)，把這一類(lèi)的標(biāo)號(hào)賦給這些起始點(diǎn)，把包含像素點(diǎn)太少的區(qū)域去掉，將每個(gè)類(lèi)之間的邊界點(diǎn)賦值0，其余點(diǎn)賦值1，就得到分割結(jié)果IG9;

d)對(duì)IG9進(jìn)行邊緣檢測(cè)，結(jié)果為IG10.

4)基于SURF和Mean shift的運(yùn)動(dòng)目標(biāo)檢測(cè).

a)將IG8和IG10做相與運(yùn)算，得到具有重疊區(qū)域的輪廓圖像IG11;

b)以IG11中的非零像素點(diǎn)為種子點(diǎn)，在IG10中進(jìn)行區(qū)域生長(zhǎng)，精確得到運(yùn)動(dòng)目標(biāo)輪廓IG12.

5)輸出運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果R.根據(jù)IG12中非零像素點(diǎn)的坐標(biāo)，在IC4中檢測(cè)得到運(yùn)動(dòng)目標(biāo)輪廓，輸出運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果R.

該算法在運(yùn)行過(guò)程中，差分求積二值化中的閾值α影響著分割后的結(jié)果，過(guò)小容易將背景噪聲擴(kuò)大，過(guò)大容易將運(yùn)動(dòng)目標(biāo)區(qū)域減小.

3 實(shí)驗(yàn)結(jié)果與分析

根據(jù)前文所述的基于SURF和 Mean shift的運(yùn)動(dòng)目標(biāo)高精度檢測(cè)算法，在Visual Studio 2008的環(huán)境下和OpenCV 2.1的基礎(chǔ)上，編寫(xiě)應(yīng)用程序.為驗(yàn)證該算法的有效性，進(jìn)行了面向航拍序列圖像和手持?jǐn)z像機(jī)序列圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)2組實(shí)驗(yàn).

3.1 面向航拍序列圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)驗(yàn)

實(shí)驗(yàn)選取的航拍視頻來(lái)自卡耐基梅隆大學(xué)的標(biāo)準(zhǔn)視頻庫(kù)，該視頻共438幀，分辨率為320×240像素大小，幀頻為23幀/s.圖4為視頻中的第157～160幀原始圖像.

圖4 原始航拍圖像Fig.4 Original aerial images

實(shí)驗(yàn)步驟如下:

1)基于SURF特征的視頻幀配準(zhǔn)，如圖5所示.

圖5 基于SURF特征的視頻幀配準(zhǔn)Fig.5 Registration of video frames based on SURF

2)差分求積二值化分割與形態(tài)學(xué)濾波處理.分別將第157幀與配準(zhǔn)后的第159幀圖像I159r、第158幀與配準(zhǔn)后的第160幀圖像I160r做差分運(yùn)算，差分結(jié)果如圖6所示.然后并將差分圖像相乘，按閾值α(本文所設(shè)閾值α=64)來(lái)分割得到二值圖像I0，形態(tài)學(xué)濾波處理結(jié)果為I1，并據(jù)此在第160幀原始圖像中檢測(cè)得到運(yùn)動(dòng)目標(biāo)輪廓，如圖7所示.

圖6 差分結(jié)果圖像Fig.6 Images of differential results

圖7 基于SURF的運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)結(jié)果I1Fig.7 Area detection result I1of moving object based on SURF

3)基于Mean shift的圖像分割與邊緣檢測(cè)，結(jié)果為I2，如圖8所示.

圖8 基于Mean shift的圖像分割與邊緣檢測(cè)結(jié)果I2Fig.8 Result I2of image segmentation and edge detection based on Mean shift

4)基于SURF和Mean shift的運(yùn)動(dòng)目標(biāo)檢測(cè).將I2與I1進(jìn)行與運(yùn)算，結(jié)果為I3;以I3中的非零像素點(diǎn)為種子點(diǎn)，在I2中進(jìn)行區(qū)域生長(zhǎng)，結(jié)果為I4，如圖9所示.

圖9 基于SURF和Mean shift的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果I4Fig.9 Moving object detection result I4based on SURF and Mean shift

5)根據(jù)I4中的非零像素點(diǎn)，在第160幀原始圖像中檢測(cè)運(yùn)動(dòng)目標(biāo)，最終結(jié)果為R0，如圖10所示.

圖10 運(yùn)動(dòng)目標(biāo)檢測(cè)最終結(jié)果R0Fig.10 Final result R0of moving object detection

從實(shí)驗(yàn)結(jié)果來(lái)看，簡(jiǎn)單差分運(yùn)算可以分割出運(yùn)動(dòng)目標(biāo)區(qū)域，但是受匹配誤差等的影響，差分圖像中存在許多噪聲，如圖6(a)、(b)所示.差分求積二值化技術(shù)能夠有效濾除噪聲，增強(qiáng)運(yùn)動(dòng)目標(biāo)區(qū)域，如圖7(a)所示.經(jīng)過(guò)形態(tài)學(xué)濾波處理后，圖像中的運(yùn)動(dòng)目標(biāo)區(qū)域更加清晰;但此時(shí)存在誤檢情況，如圖7(c)所示.采用本文方法后，可精確得到運(yùn)動(dòng)目標(biāo)輪廓，避免誤檢情況的發(fā)生，如圖9(b)、10所示.

3.2 面向手持?jǐn)z像機(jī)序列圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)驗(yàn)

利用手持?jǐn)z像機(jī)拍攝同時(shí)存在平移、旋轉(zhuǎn)和縮放的輪式機(jī)器人運(yùn)動(dòng).攝像機(jī)型號(hào)為Canon IXUS 105，拍攝得到的視頻分辨率為640×480像素大小、幀頻為30幀/s、共523幀.下面選取視頻的第97～100幀原始圖像進(jìn)行實(shí)驗(yàn)，如圖11所示.

圖11 手持式攝像機(jī)拍攝得到的原始圖像Fig.11 Original images captured by handheld camera

與3.1節(jié)方法類(lèi)似，將第97幀與配準(zhǔn)后的第99幀圖像、第98幀與配準(zhǔn)后的第100幀圖像分別做差分運(yùn)算，然后利用差分求積二值化得到包含噪聲和運(yùn)動(dòng)目標(biāo)區(qū)域的檢測(cè)結(jié)果K0，其形態(tài)學(xué)濾波處理結(jié)果為K1，并據(jù)此在原始第100幀圖像中檢測(cè)得到運(yùn)動(dòng)目標(biāo)輪廓，如圖12所示.

圖12 基于SURF的運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)結(jié)果K1Fig.12 Result K1of moving object area detection based on SURF

圖13為基于Mean shift圖像分割和邊緣檢測(cè)的結(jié)果K2.將K2與K1做與運(yùn)算，結(jié)果為K3，并以K3中的非零像素點(diǎn)為種子點(diǎn)，在K2中進(jìn)行區(qū)域生長(zhǎng)，結(jié)果為K4，如圖14所示.

圖13 基于Mean shift的圖像分割與邊緣檢測(cè)結(jié)果K2Fig.13 Result K2of image segmentation and edge detection based on Mean shift

圖14 基于SURF和Mean shift的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果K4Fig.14 Result K4of moving object area detection based on SURF and Mean shift

根據(jù)區(qū)域生長(zhǎng)結(jié)果K4，最終輸出運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果圖像R1，如圖15所示.

圖15 運(yùn)動(dòng)目標(biāo)最終檢測(cè)結(jié)果R1Fig.15 Final result R1of moving object detection

實(shí)驗(yàn)結(jié)果表明，該方法同樣適用于手持?jǐn)z像機(jī)運(yùn)動(dòng)情況下的運(yùn)動(dòng)目標(biāo)檢測(cè)，能夠避免多檢情況的發(fā)生(如圖12(c)所示)，精確提取出運(yùn)動(dòng)目標(biāo)輪廓(如圖14(b)、15所示).

3.3 比較分析

上述2組實(shí)驗(yàn)表明，本文所提出的方法能實(shí)現(xiàn)動(dòng)態(tài)成像條件下的運(yùn)動(dòng)目標(biāo)高精度檢測(cè)，具有良好的適應(yīng)能力.其中，面向航拍序列圖像運(yùn)動(dòng)目標(biāo)檢測(cè)的實(shí)驗(yàn)表明，該方法可有效地避免將背景誤認(rèn)為目標(biāo)區(qū)域這一誤檢情況的發(fā)生;面向手持?jǐn)z像機(jī)序列圖像運(yùn)動(dòng)目標(biāo)檢測(cè)的實(shí)驗(yàn)表明，該方法可有效避免將目標(biāo)割裂成多個(gè)目標(biāo)這一多檢情況的發(fā)生.

4 結(jié)束語(yǔ)

針對(duì)動(dòng)態(tài)成像條件下運(yùn)動(dòng)目標(biāo)檢測(cè)的應(yīng)用背景和難點(diǎn)問(wèn)題，本文提出了一種基于SURF和Mean shift的高精度運(yùn)動(dòng)目標(biāo)檢測(cè)方法.首先，利用SURF特征提取完成圖像配準(zhǔn)，通過(guò)求解透視變換模型參數(shù)，補(bǔ)償背景運(yùn)動(dòng);然后，用差分求積二值化和形態(tài)學(xué)濾波處理檢測(cè)出運(yùn)動(dòng)目標(biāo)區(qū)域;最后，結(jié)合Mean shift圖像分割，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)輪廓的精確提取.實(shí)驗(yàn)結(jié)果表明，與單一的基于SURF特征提取的目標(biāo)檢測(cè)方法相比，該方法檢測(cè)精度高，魯棒性強(qiáng)，可有效避免誤檢、多檢情況的發(fā)生，并能適應(yīng)多種動(dòng)態(tài)成像條件下的運(yùn)動(dòng)目標(biāo)檢測(cè)，具有普適性的實(shí)際意義.不過(guò)，在研究中還發(fā)現(xiàn)，圖像分割的結(jié)果會(huì)對(duì)后續(xù)輪廓的提取產(chǎn)生影響，為提高輪廓提取精度，就應(yīng)當(dāng)在圖像分割方面需進(jìn)一步的研究.

［1］李勁菊，朱青，王耀南.一種復(fù)雜背景下運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤方法［J］.儀器儀表學(xué)報(bào)，2010，31(10):2242－2247.

LI Jinju，ZHU Qing，WANG Yaonan.Detecting and tracking method of moving target in complex environment［J］.Chinese Journal of Scientific Instrument，2010，31(10):2242－2247.

［2］郝久月，李超，高磊，等.智能監(jiān)控場(chǎng)景中運(yùn)動(dòng)目標(biāo)軌跡聚類(lèi)算法［J］.北京航空航天大學(xué)學(xué)報(bào)，2009，35(9):1083－1087.

HAO Jiuyue，LI Chao，GAO Lei，et al.Moving object trajectory clustering method in intelligent surveillance video［J］.Journal of Beijing University of Aeronautics and Astronautics，2009，35(9):1083－1087.

［3］HE L，PENG Z，EVERDING B，et al.A comparative study of deformable contour methods on medical image segmentation［J］.Image and Vision Computing，2008，26(2):141－163.

［4］BONIN－FONT F，ORTIZ A，OLIVER G.Visual navigation for mobile robots:a survey［J］.Journal of Intelligent＆ Robotics Systems，2008，53(3):263－296.

［5］謝鳳英，趙丹培.Visual C++數(shù)字圖像處理［M］.北京:電子工業(yè)出版社，2008:449－463.

［6］YILMAZ A，JAVED O，SHAH M.Object tracking:a survey［J］.ACM Computing Surveys，2006，38(4):1－45.

［7］KIM I S，CHOI H S，YI K M，et al.Intelligent visual surveillance:a survey［J］.International Journal of Control，Automation，and Systems，2010，8(5):926－939.

［8］ZITOVA B，F(xiàn)LUSSER J.Image registration methods:a survey［J］.Image and Vision Computing，2003，21(11):977－1000.

［9］BAY H，TUYTELAARS T，GOOL L V.SURF:speeded up robust features［C］//Proceedings of the European Confer－ence on Computer Vision.Graz，Austria，2006:404－417.

［10］張銳娟，張建奇，楊翠.基于SURF的圖像配準(zhǔn)方法研究［J］.紅外與激光工程，2009，38(1):160－165.

ZHANG Ruijuan，ZHANG Jianqi，YANG Cui.Image registration approach based on SURF［J］.Infrared and Laser Engineering，2009，38(1):160－165.

［11］謝凡，秦世引.基于SIFT的單目移動(dòng)機(jī)器人寬基線立體匹配［J］.儀器儀表學(xué)報(bào)，2008，29(11):2247－2252.

XIE Fan，QIN Shiyin.Wide baseline stereo vision matching approach for monocular mobile robot based on SIFT［J］.Chinese Journal of Scientific Instrument，2008，29(11):2247－2252.

［12］卜珂.基于SURF的圖像配準(zhǔn)與拼接技術(shù)研究［D］.大連:大連理工大學(xué)，2009:33－58.

BO Ke.Research on image registration and mosaic based on SURF［D］.Dalian:Dalian University of Technology，2009:33－58.

［13］COMANICIU D，MEER P.Mean shift:a robust approach toward feature space analysis［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2002，24(5):603－619.

［14］周許超，屠大維，陳勇，等.基于相位相關(guān)和差分求積二值化的動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)［J］.儀器儀表學(xué)報(bào)，2010，31(5):980－983.

ZHOU Xuchao，TU Dawei，CHEN Yong，et al.Moving object detection under dynamic background based on phase－correlation and differential multiplication［J］.Chinese Journal of Scientific Instrument，2010，31(5):980－983.

［15］王梅，屠大維，周許超.SIFT特征匹配和差分求積二值化融合的運(yùn)動(dòng)目標(biāo)檢測(cè)［J］.光學(xué)精密工程，2011，19(4):892－899.

WANG Mei，TU Dawei，ZHOU Xuchao.Moving object detection by combining SIFT and differential multiplication［J］.Optics and Precision Engineering，2011，19(4):892－899.

［16］XIAO Jiangjian，YANG Changjiang，HAN Feng，et al.Vehicle and person tracking in aerial videos［M］//Multimodal Technologies for Perception of Humans.Berlin/Heidelberg:Springer－Verlag，2008:203－214.

［17］趙文哲，秦世引.一種高精度視頻目標(biāo)檢測(cè)與分割新方法［J］.北京航空航天大學(xué)學(xué)報(bào)，2010，36(12):1490－1494.

ZHAO Wenzhe，QIN Shiyin.Novel approach to video object detection and precise segmentation［J］.Journal of Beijing University of Aeronautics and Astronautics，2010，36(12):1490－1494.

［18］BROWN M，LOWE D G.Invariant features from interest point groups［C］//British Machine Vision Conference.Cardiff，UK，2002:656－665.

［19］FISCHLER M A，BOLLES R C.Random sample consensus:a paradigm for model fitting with application to image automated cartography［J］.Communication of the ACM，1981，24(6):381－395.

［20］王晏，孫怡.自適應(yīng)Mean shift算法的彩色圖像平滑與分割算法［J］.自動(dòng)化學(xué)報(bào)，2010，36(12):1637－1644.

WANG Yan，SUN Yi.Adaptive Mean shift based image smoothing and segmentation［J］.Acta Automatica Sinica，2010，36(12):1637－1644.

胡光龍，男，1988年生，碩士研究生，主要研究方向?yàn)檫\(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤、機(jī)器人技術(shù).

秦世引，男，1955年生，教授，博士生導(dǎo)師，主要研究方向?yàn)閺?fù)雜系統(tǒng)的智能控制、圖像處理與模式識(shí)別等.作為負(fù)責(zé)人主持完成(或在研)國(guó)家攀登計(jì)劃項(xiàng)目的子課題、國(guó)家“973”計(jì)劃項(xiàng)目的子課題、國(guó)家“863”計(jì)劃項(xiàng)目、國(guó)家自然科學(xué)基金項(xiàng)目等20余項(xiàng).1999年獲全國(guó)優(yōu)秀科技圖書(shū)獎(jiǎng)暨科技進(jìn)步獎(jiǎng)(科技著作)一等獎(jiǎng)，同年獲國(guó)家第5屆工程設(shè)計(jì)優(yōu)秀軟件金獎(jiǎng).發(fā)表學(xué)術(shù)論文180余篇，出版學(xué)術(shù)著作1部、研究生教材1部、譯著2部.

High precision detection of a mobile object under dynamic imaging based on SURF and Mean shift

HU Guanglong，QIN Shiyin
(School of Automation Science and Electrical Engineering，Beihang University，Beijing 100191，China)

Taking into account the difficulty of moving－object detection with a dynamic background caused by camera motion，a new method was proposed based on speeded－up robust features(SURF)and Mean shift.First，the image registration based on SURF was applied to compensate the background motion，and then binarization of quadrature by difference method and morphological filters was carried out to detect the moving－object’s area so that the accurate detection and segmentation of the moving object was accomplished with Mean shift.Finally，the effectiveness and satisfactory performance were validated through a series of experiments of dynamic videos.The results indicate that the proposed algorithm is characterized by high precision，low false detection，and strong robustness to noises，and thus can be extended to application in practical engineering.

speeded－up robust features(SURF);image registration;Mean shift;image segmentation;dynamic background;object detection

TP391.41

A

1673－4785(2012)01－0061－08

10.3969/j.issn.1673－4785.201107006

2011－07－13.

國(guó)家自然科學(xué)基金資助項(xiàng)目(60875072);北京市自然科學(xué)基金資助項(xiàng)目(4112035);中澳國(guó)際合作項(xiàng)目(2007DFA11530).

胡光龍.E－mail:hgllgh007@163.com.