侯宏錄，李 媛，李光耀

(西安工業(yè)大學(xué)光電工程學(xué)院，陜西 西安 710021)

0 引言

動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)廣泛應(yīng)用于無人機(jī)武器系統(tǒng)、反恐、車載運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤以及體育運(yùn)動(dòng)等領(lǐng)域。運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要研究方向，也是目標(biāo)跟蹤與行為識(shí)別等計(jì)算機(jī)視覺應(yīng)用的關(guān)鍵技術(shù)。其目的是從不同復(fù)雜背景中檢測(cè)并提取出運(yùn)動(dòng)目標(biāo)，為目標(biāo)識(shí)別、跟蹤和行為分析等奠定基礎(chǔ)。因此，將運(yùn)動(dòng)目標(biāo)與背景進(jìn)行有效分割，從而準(zhǔn)確地檢測(cè)目標(biāo)直接影響后續(xù)目標(biāo)跟蹤、動(dòng)作識(shí)別以及行為理解等中高層任務(wù)的性能[1]。

運(yùn)動(dòng)目標(biāo)檢測(cè)根據(jù)監(jiān)控場(chǎng)景與攝像機(jī)之間是否存在相對(duì)運(yùn)動(dòng)，可分為靜態(tài)背景運(yùn)動(dòng)目標(biāo)檢測(cè)和動(dòng)態(tài)背景運(yùn)動(dòng)目標(biāo)檢測(cè)。靜態(tài)背景運(yùn)動(dòng)目標(biāo)檢測(cè)是指在場(chǎng)景中只有實(shí)體運(yùn)動(dòng)，背景沒有變化或是僅有微小變化，如固定監(jiān)控?cái)z像頭下運(yùn)動(dòng)目標(biāo)的檢測(cè)[2]。動(dòng)態(tài)背景運(yùn)動(dòng)目標(biāo)檢測(cè)是指背景和攝像機(jī)存在相對(duì)運(yùn)動(dòng)條件下的檢測(cè)，如便攜攝像機(jī)拍攝視頻中運(yùn)動(dòng)目標(biāo)的檢測(cè)[3]。其中，攝像機(jī)和目標(biāo)都在運(yùn)動(dòng)，增加了運(yùn)動(dòng)目標(biāo)檢測(cè)的難度，難以準(zhǔn)確檢測(cè)出目標(biāo)。背景估計(jì)補(bǔ)償差分法[4-6]是動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)的主要方法。其中，如何估計(jì)模型運(yùn)動(dòng)參數(shù)和補(bǔ)償背景[7-8]、消除攝像機(jī)運(yùn)動(dòng)給運(yùn)動(dòng)目標(biāo)檢測(cè)帶來的影響，是解決問題的關(guān)鍵。利用尺度不變特征變換(scale-invariant feature transform，SIFT)特征匹配算法進(jìn)行背景運(yùn)動(dòng)估計(jì)補(bǔ)償，可實(shí)現(xiàn)動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)。然而，SIFT特征匹配算法存在耗時(shí)嚴(yán)重、誤匹配率大的缺點(diǎn)。考慮到運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性，提出改進(jìn)SIFT匹配的動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)算法。

1 動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)

動(dòng)態(tài)背景下，運(yùn)動(dòng)目標(biāo)檢測(cè)流程如圖1所示。

圖1 動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)流程圖Fig.1 Flowchart of moving target detection under dynamic background

無人機(jī)、車載平臺(tái)的運(yùn)動(dòng)使得搭載的攝像機(jī)拍攝的視頻圖像中的背景發(fā)生全局移動(dòng)，也就是運(yùn)動(dòng)目標(biāo)與背景存在相對(duì)運(yùn)動(dòng)。為了準(zhǔn)確檢測(cè)出運(yùn)動(dòng)目標(biāo)，本文采用背景估計(jì)補(bǔ)償差分法實(shí)現(xiàn)動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)。首先，利用六參數(shù)仿射模型表征背景運(yùn)動(dòng)模型[9]。接著，提取SIFT[10]特征點(diǎn)，并借鑒SIFT特征點(diǎn)匹配算法[11-13]的思想，提出了一種改進(jìn)的特征點(diǎn)匹配算法——先剔除邊緣特征點(diǎn)。然后，利用最近鄰與次近鄰點(diǎn)的歐式距離比確定匹配點(diǎn)。最后，用RANSAC[14]刪除運(yùn)動(dòng)目標(biāo)上的匹配點(diǎn)對(duì)，實(shí)現(xiàn)對(duì)背景運(yùn)動(dòng)的準(zhǔn)確估計(jì)，從而補(bǔ)償背景全局運(yùn)動(dòng)。在此基礎(chǔ)上，對(duì)圖像進(jìn)行幀間差分，并對(duì)檢測(cè)出的結(jié)果進(jìn)行二值化、形態(tài)學(xué)濾波等操作，從而檢測(cè)出運(yùn)動(dòng)目標(biāo)的準(zhǔn)確位置。

1.1 背景全局運(yùn)動(dòng)模型

動(dòng)態(tài)背景下，運(yùn)動(dòng)目標(biāo)檢測(cè)首先要確定合適的背景運(yùn)動(dòng)模型。在不考慮景深差異的前提下，綜合背景運(yùn)動(dòng)的復(fù)雜度、背景運(yùn)動(dòng)估計(jì)補(bǔ)償?shù)男Ч八惴▽?shí)時(shí)性等因素，本文選取六參數(shù)仿射變換模型來表征背景運(yùn)動(dòng)。該模型可以處理攝像機(jī)平移、旋轉(zhuǎn)及小范圍縮放等運(yùn)動(dòng)，具有較高的精度，適合實(shí)際應(yīng)用。若第(k-1)幀圖像中某像素點(diǎn)為(xk-1，yk-1)，則經(jīng)過時(shí)間Δt后，運(yùn)動(dòng)到第k幀圖像中點(diǎn)(xk，yk)，可用六參數(shù)仿射運(yùn)動(dòng)模型表示為[15-16]：

(1)

式中:θ為旋轉(zhuǎn)角度；γ為縮放系數(shù)；(e,f)T為x、y方向的平移量。

1.2 特征點(diǎn)提取

特征點(diǎn)是圖像中重要的局部特征的表征。理想的特征點(diǎn)在圖像視角改變、光照變化和噪聲干擾的情況下，仍然能夠在兩幀圖像中的同一位置上同時(shí)出現(xiàn)，從而實(shí)現(xiàn)特征點(diǎn)的匹配。LOWE等提出一種穩(wěn)定的SIFT特征算子。該算子不僅具有尺度、旋轉(zhuǎn)、仿射、視角和光照的不變性，還能在目標(biāo)存在運(yùn)動(dòng)、遮擋和噪聲等因素影響下，保持較好的匹配精度。因此，本文通過SIFT特征點(diǎn)匹配估計(jì)圖像背景，進(jìn)而完成動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)。

1.3 改進(jìn)的特征點(diǎn)匹配算法

傳統(tǒng)的SIFT特征點(diǎn)匹配算法，通常使用特征點(diǎn)之間的歐氏距離最小值與次小值之比小于距離閾值作為匹配點(diǎn)對(duì)正確的準(zhǔn)則。在此基礎(chǔ)上，各種改進(jìn)匹配算法的重點(diǎn)在于利用RANS-AC去除錯(cuò)誤的匹配點(diǎn)，而非考慮檢測(cè)特征點(diǎn)匹配之前的錯(cuò)誤剔除，依舊存在運(yùn)算量大、匹配準(zhǔn)確度低等問題。針對(duì)以上問題，本文提出一種改進(jìn)的特征點(diǎn)匹配算法。其基本思想是先剔除邊緣易丟失的特征點(diǎn)，再利用最近鄰與次近鄰點(diǎn)的歐氏距離比值確定匹配點(diǎn)，最后用RANSAC進(jìn)一步精確估計(jì)內(nèi)點(diǎn)、外點(diǎn)，并刪除運(yùn)動(dòng)目標(biāo)上的匹配點(diǎn)對(duì)。具體算法如下。

1.3.1 匹配預(yù)處理

檢測(cè)到的SIFT特征點(diǎn)可能處于圖像的邊緣。由于邊緣的SIFT特征點(diǎn)易受噪聲影響且易丟失，為了增強(qiáng)匹配穩(wěn)定性并提高模型參數(shù)估計(jì)準(zhǔn)確度，在兩幅圖像匹配之前，應(yīng)先剔除檢測(cè)到的邊緣特征點(diǎn)，完成匹配預(yù)處理。剔除邊緣特征點(diǎn)步驟如下。

計(jì)算兩幅圖像中心點(diǎn)的橫坐標(biāo)剔除，各特征點(diǎn)橫坐標(biāo)到質(zhì)心橫坐標(biāo)的距離大于閾值的特征點(diǎn)。閾值的確定根據(jù)視頻圖像的橫尺寸決定。本文所選視頻每幀圖像大小為352×288，剔除圖像左右邊緣，選取閾值為159像素。

1.3.2 基于歐氏距離比值的特征點(diǎn)匹配

SIFT 特征點(diǎn)的匹配采用了特征向量對(duì)應(yīng)維度的歐式距離作為兩個(gè)特征點(diǎn)相似度的判定依據(jù)，匹配還特別采用了雙向匹配策略。在兩幅圖像I和I′中，特征點(diǎn)Ii和Ij′ 的相似性判定度量定義為：

(2)

在完成兩幅圖像匹配時(shí)，搜索出某一特征中兩個(gè)最匹配的特征點(diǎn)。設(shè)它們之間的歐氏距離分別為d1和d2。如式(2)所示，如果最近的距離除以次近的距離小于或等于某個(gè)比例閾值Td，則接受這一對(duì)匹配點(diǎn)；反之，拒絕。

(3)

不同比例閾值對(duì)匹配結(jié)果的影響如表1所示。

表1 不同比例閾值對(duì)匹配結(jié)果的影響Tab.1 Effect of different ratio thresholds on matching results

由表1可知，比例閾值較高匹配點(diǎn)對(duì)數(shù)量對(duì)匹配正確度影響不大，但匹配點(diǎn)對(duì)越多，背景運(yùn)動(dòng)模型的參數(shù)求解耗時(shí)越大。經(jīng)過試驗(yàn)，閾值為0.6時(shí)，匹配較為恰當(dāng)。

1.3.3 誤匹配特征點(diǎn)剔除

經(jīng)過匹配，得到N對(duì)匹配的特征點(diǎn)。一般情況下，N數(shù)值比較大。此時(shí)，有一部分特征點(diǎn)對(duì)是在運(yùn)動(dòng)目標(biāo)上或是匹配錯(cuò)誤，這種點(diǎn)稱為外點(diǎn)；還有一部分是在背景上且匹配正確的點(diǎn)，稱為內(nèi)點(diǎn)。在對(duì)背景運(yùn)動(dòng)模型參數(shù)估計(jì)時(shí)，應(yīng)盡量避開外點(diǎn)。為了提高SIFT特征的匹配準(zhǔn)確性，從而提高背景運(yùn)動(dòng)模型參數(shù)估計(jì)的精度，進(jìn)一步采用RANSAC算法剔除運(yùn)動(dòng)目標(biāo)上和誤匹配的特征點(diǎn)。剔除外點(diǎn)具體步驟如下。

①?gòu)钠ヅ涮卣鼽c(diǎn)對(duì)集合P中隨機(jī)抽取一個(gè)樣本集合。由于求解仿射變換矩陣最少需要3對(duì)匹配點(diǎn)對(duì)，因此樣本大小S=3，根據(jù)得到的3對(duì)匹配點(diǎn)對(duì)計(jì)算仿射變換矩陣。

②將余集PS中的匹配點(diǎn)對(duì)設(shè)置為初始外點(diǎn)集合Q，利用步驟①中得到的仿射變換矩陣，對(duì)初始外點(diǎn)集合每一個(gè)樣本點(diǎn)進(jìn)行矩陣變換，并計(jì)算變換后的匹配點(diǎn)和其對(duì)應(yīng)匹配點(diǎn)的歐氏距離。若求得的距離小于設(shè)定的閾值，則認(rèn)為該點(diǎn)為內(nèi)點(diǎn)；否則，該點(diǎn)為外點(diǎn)。最終，將初始外點(diǎn)集合(Q)里判定為內(nèi)點(diǎn)的點(diǎn)構(gòu)成S1。

③保存步驟②中確定的內(nèi)點(diǎn)，并統(tǒng)計(jì)內(nèi)點(diǎn)數(shù)目。

④重新從原匹配特征點(diǎn)對(duì)集合中抽取3對(duì)匹配點(diǎn)對(duì)，重復(fù)步驟①～步驟③。在多次重復(fù)操作之后，獲得最大內(nèi)點(diǎn)數(shù)的特征點(diǎn)對(duì)較準(zhǔn)確。

1.4 背景補(bǔ)償及運(yùn)動(dòng)目標(biāo)檢測(cè)

背景補(bǔ)償效果直接取決于全局運(yùn)動(dòng)估計(jì)精度，進(jìn)而影響到目標(biāo)檢測(cè)的準(zhǔn)確性。將相互匹配的 SIFT 特征點(diǎn)代入式(1)中，從而估計(jì)出背景模型的運(yùn)動(dòng)參數(shù)。采用六參數(shù)仿射變換，變換中需要求解 6個(gè)運(yùn)動(dòng)參數(shù)，理論上只需要3對(duì)匹配點(diǎn)。但在實(shí)際情況下，相匹配的特征點(diǎn)對(duì)數(shù)往往遠(yuǎn)大于3，故采用最小二乘法求矩陣矢量的最優(yōu)解得到攝像機(jī)的運(yùn)動(dòng)參數(shù)。最小二乘法是一種數(shù)學(xué)優(yōu)化方法，可以通過最小化誤差的平方和來尋找數(shù)據(jù)的最佳匹配函數(shù)，從而得到目標(biāo)函數(shù)的最優(yōu)值，用于估計(jì)攝像機(jī)的全局運(yùn)動(dòng)參數(shù)。

(4)

由于二值圖像d(x,y)可能存在一些噪聲點(diǎn)，需要對(duì)其進(jìn)行形態(tài)學(xué)處理，消除殘留的噪聲點(diǎn)和細(xì)小的空洞，最終得到較為準(zhǔn)確的運(yùn)動(dòng)目標(biāo)。

2 試驗(yàn)結(jié)果及分析

試驗(yàn)一：驗(yàn)證基于運(yùn)動(dòng)估計(jì)補(bǔ)償?shù)臋z測(cè)算法，采用攝像機(jī)移動(dòng)，視野場(chǎng)景中再?zèng)]有其他本身移動(dòng)的目標(biāo)。選用手機(jī)拍攝的拍攝的視頻，視頻總200幀，視頻序列圖像尺寸為568×320。選取其中相鄰2幀，其攝像機(jī)移動(dòng)時(shí)的畫面和運(yùn)動(dòng)補(bǔ)償算法驗(yàn)證分別如圖2、圖3所示。

圖2 攝像機(jī)移動(dòng)時(shí)的畫面Fig.2 Screens when camera is moving

圖3 運(yùn)動(dòng)補(bǔ)償算法驗(yàn)證Fig.3 Motion compensation algorithm verification

由圖3可知，攝像機(jī)的移動(dòng)使得固定不動(dòng)的背景也被檢測(cè)當(dāng)成了運(yùn)動(dòng)目標(biāo)。

試驗(yàn)二：選取公開數(shù)據(jù)庫(kù)中一段移動(dòng)攝像機(jī)拍攝的視頻作為測(cè)試對(duì)象，來驗(yàn)證改進(jìn)算法的有效性。該視頻總共597幀，每幀圖像大小為352×288，幀速率為29.97幀/s。試驗(yàn)平臺(tái)為普通計(jì)算機(jī)(Intel(R)Core(TM)i5-3317U CPU，1.70GHz)，通過MATLAB2015b仿真軟件完成。其中，選取視頻序列中的第1、第2幀圖像，分別作為參考幀和當(dāng)前幀進(jìn)行處理并分析處理結(jié)果。

SIFT特征提取效果如圖4所示。

圖4 SIFT特征提取效果圖Fig.4 SIFT feature extraction effects

運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果如圖5所示。

圖5 運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果圖Fig.5 Moving target detection results

匹配算法性能比較如表2所示。

表2 匹配算法性能比較Tab.2 Comparison of algorithm performance

從表2可以看出，本文提出的匹配算法通過多步驟有效組合和篩選匹配，匹配結(jié)果與原改進(jìn)的SIFT算法相比，圖像匹配點(diǎn)數(shù)目明顯減少，匹配的準(zhǔn)確率顯著提高。通過算法的優(yōu)化，處理時(shí)間顯著縮短，確保了算法的實(shí)時(shí)有效性。

由圖5(a)可見，參考幀與當(dāng)前幀直接進(jìn)行差分后出現(xiàn)大量噪聲，無法準(zhǔn)確檢測(cè)出運(yùn)動(dòng)目標(biāo)。由圖5(b)可以看出，對(duì)視頻圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償后可以消除相機(jī)運(yùn)動(dòng)對(duì)背景變化的影響，近似為靜態(tài)背景下的目標(biāo)檢測(cè)，這樣可以準(zhǔn)確確定目標(biāo)的位置。圖5(c)為經(jīng)過背景補(bǔ)償、形態(tài)學(xué)處理后檢測(cè)到的運(yùn)動(dòng)目標(biāo)。

3 結(jié)束語(yǔ)

本文針對(duì)動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)問題，提出了通過建立背景運(yùn)動(dòng)全局模型改進(jìn)的特征點(diǎn)匹配算法，實(shí)現(xiàn)了背景的全局運(yùn)動(dòng)參數(shù)估計(jì)和運(yùn)動(dòng)背景補(bǔ)償。通過仿射變換后的參考幀圖像與當(dāng)前幀圖像做幀間差分，獲得了運(yùn)動(dòng)目標(biāo)的真實(shí)位置。通過對(duì)改進(jìn)的匹配算法和原改進(jìn)SIFT特征匹配算法比較可知，本文改進(jìn)的特征點(diǎn)匹配算法在匹配準(zhǔn)確度和運(yùn)算速度上優(yōu)于原改進(jìn)匹配算法。試驗(yàn)結(jié)果表明，通過背景補(bǔ)償有效消除了相機(jī)運(yùn)動(dòng)引入的動(dòng)態(tài)誤差，提高了運(yùn)動(dòng)目標(biāo)檢測(cè)的實(shí)時(shí)性和精度。