韓樂樂, 王思明, 李偉杰

(蘭州交通大學(xué) 自動化與電氣工程學(xué)院,甘肅 蘭州 730070)

0 引 言

運動目標(biāo)檢測作為機器視覺領(lǐng)域的研究熱點,其目的是從圖像序列中將運動區(qū)域提取出來。運動目標(biāo)檢測分為兩種：靜態(tài)背景和動態(tài)背景下的運動目標(biāo)檢測。靜態(tài)背景的運動目標(biāo)檢測算法已經(jīng)非常成熟,因此,研究動態(tài)背靜下的運動目標(biāo)檢測。

動態(tài)背景下的運動目標(biāo)檢測方法主要分為三種：模板匹配法[1,2]、光流法[3～5]和背景運動補償法。模板匹配法計算量小,但不適合未知運動目標(biāo)的檢測；光流法運算量過大,且易受光照變化影響；背景運動補償法根據(jù)運動參數(shù)參考幀補償?shù)刃殪o態(tài)背景,適用于攝像機旋轉(zhuǎn)等復(fù)雜場景的場合[6]。文獻(xiàn)[7]提出了一種基于子塊運動補償?shù)倪\動目標(biāo)檢測方法,算法避免了傳統(tǒng)特征點匹配方法求解參數(shù)時易受錯誤匹配點的影響,但計算量較大,抗噪性較差；文獻(xiàn)[8]提出了一種結(jié)合尺度不變特征變換(scale invariant feature transform,SIFT)和差分相乘算法的運動目標(biāo)檢測算法,SIFT與差分相乘的結(jié)合具有較強的魯棒性和抗噪能力,但算法速度較慢；文獻(xiàn)[9]在移動機器人上使用全方位視覺傳感器,LK(Lukas-Kanade)光流法算法實時性較強,但無法處理復(fù)雜情況下的運動目標(biāo)。

針對上述問題,本文提出了一種基于二進(jìn)制魯棒不變尺度特征(binary robust invariant scalable keypoints,BRISK)特征匹配的運動目標(biāo)檢測算法。BRISK算法具有較好的旋轉(zhuǎn)不變形、尺度不變性,較好的魯棒性等；計算速度遠(yuǎn)高于SIFT和加速穩(wěn)健特征(speeded-up robust features,SURF)算法,在對具有較大模糊的圖像配準(zhǔn)時,BRISK算法表現(xiàn)極為出色。本文通過改進(jìn)的BRISK算法檢測特征點;利用K最近鄰(K-nearest neighbor,KNN)算法進(jìn)行特征匹配；采用基于隨機抽樣一致(random sample consensus,RANSAC)的運動參數(shù)估計法和幀間差分法完成動態(tài)背景下的運動目標(biāo)檢測。

1 BRISK算法

1.1 特征點檢測

在BRISK算法的特征點檢測子利用了自適應(yīng)通用加速分割檢測(adaptive and generic accelerated segment test,AGAST)算法,AGAST算法以加速分割試驗特征(features from accelerated segment test,FAST)算法為基礎(chǔ)進(jìn)行改進(jìn),其在尺度空間上用FAST角點進(jìn)行檢測。首先，構(gòu)造n個octave層(用ci表示)和n個intra-octave層(用di表示),本文n=4,i=0,1,…,n-1。其中，c0對應(yīng)圖像原始圖像,其余的octave層對c0進(jìn)行2倍下采樣,intra-octave層對c0進(jìn)行1.5倍下采樣,每個di位于ci與ci+1之間,則ci,di層與原圖像之間的尺度關(guān)系用t表示：t(ci)=2i,t(di)=2i×1.5。

1)對每個octave層和intra-octave層進(jìn)行FAST 9～16角點檢測,如圖1所示。具體為計算每層的FAST得分值V,以像素點p為圓心,周圍16個像素中至少有9個像素點的值高于或低于p點的值,即為潛在的特征點,公式如下

(1)

式中τ為閾值;Ip為p點的灰度值

(2)

圖1 角點檢測圖像

由于n=4,即得到了8張具有角點的圖,接著對原圖進(jìn)行1次FAST 5～8角點檢測(作為d(-1)層),得到9張角點檢測圖。

2)在空間上對9幅圖進(jìn)行非極大值抑制,必須保證每個特征點在其尺度的鄰域8點及上下2層(2×9點)的FAST的得分值最大,否則,不能作為特征點。

3)通過以上2個步驟,即可得到特征點所在的位置和尺度,對極值點所在的層和上下2層的FAST得分值進(jìn)行二維二次函數(shù)插值,即可得到3個亞像素優(yōu)化的極大值位置,沿尺度坐標(biāo)軸對尺度進(jìn)行一維插值,算出最優(yōu)尺度估計值。整個過程如圖2所示。

圖2 尺度空間點檢測圖像

1.2 特征點描述

BRISK特征點描述采用均勻采樣模式,即以特征點為中心,構(gòu)建不同半徑的圓,在每個圓上獲得一定數(shù)目的等間隔采樣點,共60個采樣點。由于這種鄰域采樣模式容易產(chǎn)生混疊效應(yīng),因此,需要對同心圓上的點進(jìn)行高斯濾波,如圖3所示。

圖3 均勻采樣

經(jīng)過高斯濾波之后,特征點的局部梯度為

(3)

令A(yù)為所有點對的集合,S為利用歐氏距離定義的短距離采樣點集,L為長距離采樣點集[10]

S={(pi,pj)∈A|‖pj-pi‖<δmax}?A

(4)

L={(pi,pj)∈A|‖pj-pi‖>δmin}?A

(5)

設(shè)t為關(guān)鍵點所在的尺度,則閾值δmax=9.75t,δmin=13.67t。角點的特征方向定義為

(6)

(7)

1.3 特征匹配

生成特征描述符之后,對比特征點描述符的漢明距離進(jìn)行匹配。當(dāng)兩者的漢明距離小于某閾值時,則認(rèn)為匹配成功。Str1和Str2為2個BRISK特征描述子,漢明距離定義為

(8)

2 改進(jìn)的BRISK算法

BRISK算法在特征提取和特征匹配的過程中,只關(guān)注角點的局部信息,而忽略了角點分布不均勻,角點過于密集易產(chǎn)生錯誤匹配；匹配策略單一,導(dǎo)致圖像匹配結(jié)果出現(xiàn)較大誤差。本文針對BRISK算法的缺點提出2點改進(jìn)：基于3×3模板的特征點提取和基于KNN算法的特征點匹配。

2.1 基于3×3模板的特征提取

研究表明,圖像特征點分布越均勻,圖形匹配結(jié)果越精確[11]。BRISK算法利用角點信息作為特征點,角點分布密集的區(qū)域一般為圖形中的邊緣部分,因此，極有可能位于運動目標(biāo)區(qū)域,或者背景圖像中特征信息較為顯著的區(qū)域。AGAST算子中閾值T過大,特征點的數(shù)目過少,且多分布在圖像顯著區(qū)域,平滑區(qū)域特征點數(shù)目較少甚至沒有；閾值T過小,則會導(dǎo)致特征點數(shù)目過多且顯著區(qū)域的特征點會影響圖像匹配的準(zhǔn)確性。圖4(a)為閾值T=70時的BRISK特征點圖,特征點過多且密集,容易產(chǎn)生錯誤匹配；圖4(b)為閾值T=20的特征點圖,特征點過少且在乒乓球桌案區(qū)域只有2個特征點,圖4(a)則有8個特征點。因此,本文提出基于3×3模板的特征點提取方法：

1)采用低閾值的方式進(jìn)行特征提取。

2)利用3×3模板進(jìn)行特征點篩選。對任一特征點,保證其3×3范圍內(nèi)只有一個特征點,既能最大程度上保證平坦區(qū)域的特征點數(shù)目,又能去除顯著區(qū)域過于密集的特征點,提高了圖像匹配的準(zhǔn)確性。

圖4(c)為改進(jìn)后的特征點提取效果,此方法既減少了圖中樹葉上的特征點數(shù)目,又最大程度上保留了乒乓球桌案上的特征點。

圖4 閾值改進(jìn)前不同閾值下和改進(jìn)后的特征點圖

2.2 改進(jìn)的特征匹配法

傳統(tǒng)的特征匹配法利用漢明距離尋找最佳匹配對,由于顯著區(qū)域密集度和圖像中噪聲的影響,匹配結(jié)果較差。本文采用基于KNN算法的特征匹配方法。具體步驟如下：

1)尋找最近鄰與次近鄰特征點。通過KNN算法查找最近鄰與次近鄰特征點,假設(shè)參考幀的特征點k的最近鄰與次近鄰特征點為當(dāng)前幀的m和n,其與特征點k的漢明距離分別為D(k,m),D(k,n)。

2)匹配特征點對,獲得粗匹配集。首先設(shè)立一個閾值p,當(dāng)D(k,m)/D(k,n)

3)利用RANSAC法篩選匹配對,進(jìn)一步去除錯誤匹配對,獲得最佳匹配集。

3 基于BRISK算法的運動目標(biāo)檢測

3.1 運動參數(shù)模型

攝像頭的運動參數(shù)模型采用仿射變換表示,仿射模型可以描述攝像機的平移、旋轉(zhuǎn)、縮放等。采用六參數(shù)的仿射模型,公式如下

(9)

式中 (x,y)為t-1幀坐標(biāo)；(u,v)為t幀坐標(biāo)；(a00,a01,a10,a11)為攝像機的旋轉(zhuǎn)和縮放運動；(b00,b01)為攝像機的平移運動。

3.2 基于RANSAC的全局運動參數(shù)估計

經(jīng)過改進(jìn)的BRISK算法進(jìn)行特征匹配后,得到一系列匹配后的特征點對。利用六參數(shù)仿射模型進(jìn)行全局運動參數(shù)估計,必須選擇3個特征點對進(jìn)行參數(shù)估計。由于各種因素的影響,其中必然存在有誤差的特征點對。本文提出了一種基于RANSAC的全局運動參數(shù)估計法,運行時間短,結(jié)果穩(wěn)定。具體步驟如下：

1)篩選特征點對。根據(jù)漢明距離對特征點對進(jìn)行排序,選擇前m個特征點對。

2)從m個特征點對中,選擇3個特征點對建立方程組,求解仿射模型的6個參數(shù)。

3)對剩余的(m-3)個特征點對s1和s2,利用六參數(shù)仿射模型求出s1的匹配特征點s3,計算s2和s3的差值do,若do小于某個閾值r,為內(nèi)點；否則,為外點。計算此時內(nèi)點數(shù)目sum。

4)基于RANSAC的全局運動估計法必須適應(yīng)多種場景,因此，步驟(3)的閾值r是一個粗閾值,最多的內(nèi)點數(shù)目max可能有若干組,計算每一組中小于閾值r的do的最大值max和最小值min,求出兩者的差值為sub。

5)重新選擇3個特征點對,執(zhí)行步驟(2)～步驟(4),迭代若干次后,比較每次的內(nèi)點數(shù)目,求出最大內(nèi)點數(shù)目若干組；比較最大內(nèi)點數(shù)目組的sub,得到最小sub值的一組,即可求出最優(yōu)的全局運動參數(shù)。

3.3 運動目標(biāo)檢測

4 實驗分析

本文采用的計算機系統(tǒng)為Windows7,CPU為Intel(R) core(TM)i3-3110M,主頻2.4GHz,內(nèi)存4GB。實驗基于Visual Studio 2013和OpenCV2.4.13開發(fā)平臺完成,使用C++編程語言。

實驗采用的基準(zhǔn)圖像為圖5 4組視頻圖像,設(shè)為V1～V4。現(xiàn)在對V1分別利用SIFT算法、SURF算法、原BRISK算法和改進(jìn)的BRISK算法對比實驗,仿真參數(shù)、計算結(jié)果和運行時間如表1所示。

圖5 測試圖像

由表1知,BRISK算法運行時間較SIFT和SURF算法少,即BRISK算法的計算速度優(yōu)于其余兩者。同時,改進(jìn)的BRISK提取特征點算法較原BRISK算法減少了49.8 %的特征點數(shù)目,并不影響算法自身的檢測效果。

表1 4種方法效果對比

前3種方法的匹配策略采用暴力匹配法與RANSAC法,本文采用KNN算法與RANSAC法,其中，KNN算法的閾值p為0.67,匹配策略去除的錯誤匹配點對越多,匹配效果越優(yōu)。從表1中可以看出,本文采用的匹配策略KNN的特征點對為41對,RANSANC只去除了6個錯誤的匹配點對；而暴力匹配法經(jīng)過RANSAC去除了295個匹配點對,可以看出:KNN算法去除錯誤的匹配點對遠(yuǎn)高于暴力匹配法,表明,KNN算法的匹配效果優(yōu)于暴力匹配法。

表2 時間對比表 s

表2為SURF、文獻(xiàn)[10]和本文算法對V1～V4的算法運行時間對比,圖6為3種方法對V1～V4的檢測效果對比?？芍罕疚乃惴▽崟r性略優(yōu)于SURF算法,并且魯棒性不差。由圖6(b)、圖6(e)、圖6(h)、圖6(k)和表2可知,文獻(xiàn)[10]的檢測算法在V1,V2的運行速度較本文算法高,但在V3和V42種視頻場景中的運行速度卻不如本文算法,而且對于V2的檢測效果差于本文算法,圖中出現(xiàn)了大量的圖像噪聲,并且對于運動目標(biāo)的提取完整度較低。由此可知,本文算法的實時性和魯棒性均高于文獻(xiàn)[10]。

圖6 V1～V4視頻場景下算法效果對比

5 結(jié) 論

提出了一種基于BRISK特征的動態(tài)背景下運動目標(biāo)檢測算法。利用BRISK算法提取特征的速度性能,結(jié)合基于RANSAC全局運動參數(shù)估計法獲得最優(yōu)全局運動參數(shù)；采用幀差法和形態(tài)學(xué)處理提取運動目標(biāo)。通過實際圖像對算法的實時性與準(zhǔn)確性進(jìn)行了實驗驗證,并對算法性能進(jìn)行了分析,相較已有算法,本文方法對于動態(tài)背景下運動目標(biāo)檢測效果較好。后續(xù)工作是進(jìn)一步優(yōu)化算法的準(zhǔn)確性與魯棒性,以便用于實際應(yīng)用。

[1] 高玉鵬,何明一.動態(tài)背景下基于幀間差分與模板匹配相結(jié)合的運動目標(biāo)檢測[J].電子設(shè)計工程,2012,20(5):142-145.

[2] Zheng B,Xu X,Dai Y,et al.Object tracking algorithm based on combination of dynamic template matching and Kalman filter[C]∥International Conference on Intelligent Human-Machine Systems and Cybernetics,IEEE Computer Society,2012:136-139.

[3] 宋 宇,翁新武,郭昕剛.基于光流和慣性導(dǎo)航的小型無人機定位方法[J].傳感器與微系統(tǒng),2015,34(1):13-16.

[4] Gao P,Sun X,Wang W.Moving object detection based on kirsch operator combined with optical flow[C]∥International Confe-rence on Image Analysis and Signal Processing,IEEE,2010:620-624.

[5] Xin Y,Hou J,Dong L,et al.A self-adaptive optical flow method for the moving object detection in the video sequences[J].Optik-International Journal for Light and Electron Optics,2014,125(19):5690-5694.

[6] 閔 琪,黃影平.基于立體視覺與光流融合的運動目標(biāo)檢測[J].光學(xué)技術(shù),2016,42(1):28-33.

[7] 于紅緋,劉 威,袁 淮,等.基于子塊運動補償?shù)倪\動目標(biāo)檢測[J].電子學(xué)報,2017,45(1):173-180.

[8] 王 梅,屠大維,周許超.SIFT特征匹配和差分相乘融合的運動目標(biāo)檢測[J].光學(xué)精密工程,2011,19(4):892-899.

[9] 湯一平,胡大衛(wèi),蔡盈梅,等.基于全景視覺的移動機器人的運動目標(biāo)檢測[J].計算機科學(xué),2015,42(11):314-319.

[10] Leutenegger S,Chli M,Siegwart R Y.BRISK: Binary robust invariant scalable keypoints[C]∥International Conference on Computer Vision,IEEE Computer Society,2011:2548-2555.

[11] Bostanci E,Kanwal N,Clark A F.Feature coverage for better homography estimation: An application to image stitching[C]∥International Conference on Systems,Signals and Image Processing,IEEE,2012:448.