張 娜 魏海平 于紅緋

(遼寧石油化工大學計算機與通信工程學院 遼寧 撫順 113001)

一種融合特征點與運動補償信息的運動目標檢測新算法

張 娜 魏海平 于紅緋

(遼寧石油化工大學計算機與通信工程學院 遼寧 撫順 113001)

動態(tài)背景下的運動目標檢測在汽車輔助駕駛、機器人導航等領域具有廣闊應用前景。提出一種融合特征點運動信息和運動補償信息的運動目標檢測方法，解決以往基于單一特征，運動目標檢測完整性差的問題，同時提高運動目標的檢測準確率。首先，通過特征點檢測跟蹤，對圖像進行分塊運動估計，獲得背景特征點的幀間運動模型，通過衡量特征點真實運動位置與運動模型的匹配程度，構建特征點的運動度量函數(shù)，從而獲得特征點的運動信息。接著，利用背景特征點幀間運動模型，計算圖像像素點的運動補償圖像，構建像素點的多幀運動補償差異度量函數(shù)，從而獲得像素點的運動補償信息。最后，將特征點運動信息與運動補償信息融合，獲得運動目標檢測結果。實驗結果表明了該方法的有效性。

動態(tài)背景 融合 運動補償 運動目標檢測 單目相機

0 引 言

動態(tài)背景下運動目標檢測是輔助駕駛、自動駕駛、機器人導航等領域的核心研究問題之一。和靜態(tài)場景[1]下的運動目標檢測相比，動態(tài)場景下的運動目標檢測，由于背景也發(fā)生圖像運動，增加了檢測的難度?，F(xiàn)有的動態(tài)背景下運動目標檢測方法按照采用特征的不同，大致可以分為基于特征點[2]和基于運動補償[3-4]的運動目標檢測方法。前者通過提取圖像中的特征點，并根據(jù)運動特征點和背景特征點，在攝像機運動過程中表現(xiàn)出的運動差異信息，檢測運動特征點，從而獲得運動目標的位置。該類方法能檢測到運動目標上離散的特征點，但不能檢測出完整的運動目標區(qū)域，運動特征點檢測結果易受到誤匹配特征點的影響，造成誤檢測，如文獻[5-6]。后者通過估計圖像的運動補償模型，將圖像像素點代入運動補償模型，計算運動補償圖像，根據(jù)像素點在運動補償圖中的亮度差異值，檢測運動目標區(qū)域，如文獻[7-8]。該類方法對運動目標的邊緣部分檢測較好，但是對運動目標的內(nèi)部區(qū)域檢測效果不夠理想，當目標的運動速度較慢時，容易造成檢測目標的內(nèi)部空洞問題。

文獻[2]中將特征點在不同時間流的運動軌跡描述在同一幀圖像，根據(jù)運動軌跡誤差來確定運動目標的位置。該方法有效地去除了跟蹤失敗的特征點。但是，檢測出的特征點是離散的且數(shù)量不多，運動目標完整度不高。文獻[3]中把每個像素點建立一個背景模型，對其進行運動補償，根據(jù)運動補償情況判斷是否是運動目標，該方法速度快。但是，對運動目標檢測結果內(nèi)部空洞情況沒有明顯提高。文獻[4]將當前幀的前后相鄰L幀圖像，補償?shù)疆斍皫瑱z測結果的完整性有了提高。但是，該方法不能實時檢測出運動目標。

為了克服了特征點只能檢測出離散點，彌補運動補償方法只能檢測出運動目標邊緣輪廓的缺陷，實時地檢測出運動目標，提高運動目標的完整性與準確率。本文提出將特征點與運動補償信息方法融合，根據(jù)視差大小將一幀圖像分成兩部分進行運動估計，使模擬的運動情況更接近相機的運動真實運動，用滑動窗口方法將稀疏特征點變成稠密特征點，并基于貝葉斯理論，將兩種方法融合。相比于現(xiàn)有的基于單一特征方法，本算法提高了運動目標的完整性，實現(xiàn)了實時檢測。

1 特征點運動信息提取

本文利用Harris特征點檢測算法[9]與KLT跟蹤算法[10]獲得連續(xù)兩幀圖像的特征點，用特征點構建全局運動函數(shù)模型。傳統(tǒng)的全局運動估計方法將視差影響因素忽略不計，不同的視角區(qū)域采用同一種運動模型估計易造成特征點誤檢。本文根據(jù)視差大小首先采用分塊方法將整幀圖像按視差的大小分成兩個區(qū)域，兩個區(qū)域采用兩種不同的運動模型估計。再利用特征點真實運動位置與經(jīng)運動模型變換的位置計算差值，構建出特征點的運動度量函數(shù)，從而獲得特征點的運動信息。

1.1 基于分區(qū)域的運動模型構建

根據(jù)相機的工作原理[11]，距離相機光軸較近的目標視角小，視差也小，受相機運動的影響小。相機光軸與圖像平面的交點位于圖像幾何中心點。相機運動引起視差變化，視差大小不同使圖像上的目標運動系數(shù)不同。位于圖像邊緣和中心點的目標運動系數(shù)相差較大。根據(jù)像素點距離圖像中心點的遠近，將整幀圖像劃分成兩個區(qū)域，對兩個區(qū)域采用兩種不同的變換模型進行運動估計。

1.1.1 圖像分區(qū)域算法

圖1 圖像區(qū)域劃分

R區(qū)域半徑r的取值與像素有關，根據(jù)本文采用的視頻數(shù)據(jù)實驗，選取0.5倍的min(M,N)，M、N分別為當前圖像像素的行數(shù)和列數(shù)。

由圖1可知，R區(qū)域和S區(qū)域距離圖像的幾何中心遠近不同，受相機運動的影響不同，采用統(tǒng)一運動模型進行運動估計，效果不好。對R區(qū)域和S區(qū)域采用不同運動參數(shù)的運動模型進行運動估計。

1.1.2 算法實現(xiàn)

常用的運動模型有6參數(shù)仿射變換模型和8參數(shù)雙線性變換模型[12]，如式(1)和式(2)所示。

6參數(shù)仿射變換模型：

(1)

8參數(shù)雙線性變換模型：

(2)

為了提高時間效率且不影響結果完整性，本文采用6參數(shù)仿射變換模型。對Ct中的特征點進行判斷，結合與其對應的Ct+1，計算出在R和S區(qū)域內(nèi)的第一組和第二組運動參數(shù)，構建出兩種運動模型。設p1=(ct,x,ct,y)為t時刻圖像幀中任一特征點p1的坐標，p2=(ct+1,x,ct+1,y)是t+1時刻圖像幀與p1點對應的p2的坐標，(ct,x,ct,y)∈Ct，(ct+1,x,ct+1,y)∈Ct+1。

t時刻位于R區(qū)域內(nèi)的圖像特征點Ct到t+1時刻的特征點Ct+1的變換矩陣模型為VR，S區(qū)域內(nèi)的變換矩陣模型為VS。位于R區(qū)域內(nèi)的任意特征點ct,i∈Ct與其對應的t+1時刻的特征點ct+1,i∈Ct+1，滿足如下等式：

ct+1,i=VR×ct,i

(3)

S區(qū)域滿足：

ct+1,i=VS×ct,i

(4)

對于所有的t時刻和t+1時刻在兩個區(qū)域R、S范圍內(nèi)特征點，分別構成關于VR和關于VS的兩組方程組。對于VR和VS的求解可采用最小二乘法[13]實現(xiàn)，統(tǒng)稱VR和VS為VM，其成本函數(shù)為：

(5)

根據(jù)式(5)可得到中間全局運動函數(shù)VM。

經(jīng)單次檢測的特征點中包括運動目標上的點，運動目標上的特征點被當成是背景特征點代入運動模型，求解出的運動參數(shù)會造成全局運動估計誤差增大，所以本文采用文獻[14]的二次運動估計方法。首先，將所有特征點代入式(1)-式(5)，解出近似運動參數(shù)，確定中間運動模型VM；然后，將偏離運動模型大的特征點去除；最后，把剩下的特征點再一次代入運動模型式(1)和式(2)，用式(3)-式(5)求解出更加準確的運動參數(shù)，構建出全局運動模型V。

1.2 特征點運動信息提取

構建出全局運動模型后，將圖像中的所有特征點帶入運動模型，獲得變換后的特征點位置。同時，提取特征點的真實運動位置；利用特征點的模型變換位置與真實運動位置，構建特征點運動度量函數(shù)，提取出特征點運動信息。

設特征點為f(x,y),將特征點的位置坐標(x,y)代入式(6),獲得經(jīng)運動模型變換后的位置g(x2,y2)，提取出f(x,y)的真實運動位置f(x1,y1)，計算出f(x1,y1)和g(x2,y2)的誤差，構建出運動度量函數(shù)d。d的函數(shù)值越大于合理閾值q，則該點越是運動目標特征點mc(x,y)：

g(x2,y2)=f(x,y)×V

(6)

(7)

(8)

經(jīng)過大量實驗q的取值范圍在0.5～1.5范圍內(nèi)合理。由此可得到特特征點運動信息圖像，如圖2所示。

圖2 特征點跟蹤

圖2中(a)是當前幀圖像，(b)是特征點運動信息提取圖像，圖中標記出的點是用上述方法獲得的經(jīng)模型變換和真實位置相差程度點，其中顏色越深表示運動幅度越大。

2 運動補償信息提取

運動補償方法計算簡單易實現(xiàn)[15]，常見的運動補償方法分為單幀補償和多幀補償。單幀運動補償方法是用每連續(xù)兩幀圖像做一次全局運動估計，獲得運動補償圖像。多幀運動補償是利用多幀圖像中的兩幀，做一次運動估計，獲得一張運動補償圖像，利用該補償圖像做模型變換得到下一幀圖像的補償圖像。當運動目標運動緩慢時，連續(xù)兩幀圖像中的運動目標和背景運動差異度小，運動目標容易被補償成背景，造成運動目標提取不完整。而且，連續(xù)幾幀圖像的運動參數(shù)變化小，單幀運動補償方法是利用每連續(xù)兩幀圖像構建一次運動模型，該方法計算量大，時間效率低。為了提高運動目標提取的完整性，提高算法時間效率，本文采用多幀運動補償方法，構建運動補償圖像，計算運動補償差異函數(shù)，進而提取出運動補償信息。

2.1 構建運動補償圖像

首先，設定連續(xù)幾幀圖像的數(shù)量k；然后，計算出k幀圖像中前兩幀圖像的運動參數(shù)，獲得運動模型，構造出運動補償圖像；最后，將構造出的運動補償圖像進行模型運動變換，得到下一幀圖像的運動補償圖像。

設Ft(x,y)為當前幀圖像的真實圖像，F(xiàn)i(x,y)為Ft(x,y)的連續(xù)前k幀圖像。將這k幀圖像中的前兩幀代入式(1)-式(5)中，計算出幀間運動參數(shù)，獲得運動模型，構造出一幅運動補償圖像；然后，用這幅補償圖像做模型變換，將模型變換后的圖像作為第三幀圖像的運動補償圖像。以此類推，構造出k幀圖像中其余每幀圖像的運動補償圖像。運動補償圖像Fcom(x,y)構造方法如下所示：

(9)

V(i+1,i)表示利用第i+1幀和第i幀圖像信息得到的幀間運動模型，由式(1)-式(5)計算得到。

2.2 運動補償信息提取

構造出k幀運動補償圖像后，將運動補償圖像與當前幀做差分，計算出像素點的多幀運動補償差異函數(shù)Fc(x,y)。

(10)

圖3 運動補償信息圖像

圖3中：越亮的區(qū)域越表示運動目標，圖中的運動區(qū)域只有簡單的輪廓且有干擾區(qū)域。

3 特征點與運動補償信息融合

利用特征點方法檢測的結果矩陣是離散的，運動補償方法檢測的是稠密的，兩種檢測結果像素不同，不能直接融合，利用滑動窗口方法將稀疏特征點變成稠密特征點。運動補償方法得到運動目標只有輪廓邊緣，為了提高運動目標的完整性，對補償信息圖像進行模糊化處理，再將兩種方法的檢測結果融合檢測出運動目標。將特征點跟蹤檢測算法獲得的運動目標特征點信息，進行稠密化。同時將運動補償信息模糊化，方法與稠密化相同。再把二者結果融合，檢測出準確完整的運動目標。

3.1 稠密化

設大小為W×W(W為奇數(shù))的窗口，分別對特征點運動信息圖像與運動補償信息圖像進行逐點遍歷，遍歷步長度為L。計算該窗口內(nèi)所有像素me(x,y)的平均值記為α(x,y)，(x,y)為當前窗口的中心坐標：

(11)

其中：M、N分別表示圖像橫向與縱向的像素點個數(shù)。

3.2 標準化

為了使特征點信息與運動補償信息對運動目標提取的影響大小一致，本文將兩種方法獲得的信息圖像都進行標準化處理，標準化至s1～s2范圍。設稠密圖像像素點的范圍在r1～r2，r1與r2的獲取采用逐點遍歷方法，r1是稠密圖像灰度值的最小值，r2是最大值。利用線性變換將稠密圖的灰度值映射在s1～s2范圍，得到標準化圖像。映射關系為：

(12)

a、b分別為線性變換的系數(shù)項和常數(shù)項由式(13)和式(14)可得：

(13)

(14)

則稠密圖中任意一點的灰度值me(x,y)，映射到s1～s2的變換關系為：

n(x,y)=a×me(x,y)+b

(15)

其中：n(x,y)為經(jīng)過標準化圖像的灰度值，本文s1取100，s2取1。

經(jīng)稠密化和標準化可得到分別得到特征點運動信息標準化圖像Fb(x,y)與運動補償信息標準化圖像Ff(x,y)，如圖4所示。

(a) 特征點運動信息標準化圖

(b) 運動補償信息標準化圖圖4 當前幀信息標準化圖

圖4中：(a)是特征點運動信息經(jīng)過稠密化與標準化獲得的標準化結果圖像，(b)是運動補償信息經(jīng)過稠密化與標準化獲得的標準化結果圖像。

3.3 融合特征點與運動補償信息檢測運動目標

得到特征點與運動補償信息標準圖像后，將兩種方法獲取的標準化信息融合。只有同時滿足，既是特征點檢測運動目標像素點，又是運動補償信息的運動目標像素點時，才能最終確定為運動目標像素點Fm′(x,y)。計算方法如下：

(16)

(17)

Fm′(x,y)=Fc′(x,y)×Ff′(x,y)

(18)

運動目標檢測結果如圖5所示。其中：圖像中越亮的地方代表運動目標運動地越明顯。經(jīng)過稠密化與標準化得到的運動目標變得密實，但是干擾的雜質(zhì)點多。兩種方法獲得的標準圖像的雜質(zhì)不同，將二者融合后，消除了雜質(zhì)，運動目標完整性與準確性提高。

圖5 融合方法檢測出的運動目標

4 實驗與分析

為了檢驗本文算法的有效性，采用F-measure方法[14]對提出的運動目標檢測新算法進行有效性性能評估。利用Matlab軟件實現(xiàn)運動目標的檢測，測試序列的圖像大小為240×360，在雙核處理器，4 GB內(nèi)存聯(lián)想臺式機上進行。實驗根據(jù)提出的融合算法對實際視頻圖像處理，采集Hopkins155視頻序列中的11段視頻來測試算法的有效性。

F-measure方法如下：

(19)

(20)

(21)

其中：A代表檢測出的目標中運動目標的個數(shù)，B代表檢測出目標總數(shù)，C代表視頻圖像中真實的運動目標個數(shù)，F(xiàn)m表示F-measure性能指標。只有P和R同時都大時Fm才大。對本文提出的算法利用11段視頻數(shù)據(jù)進行F-measure方法評估，評估數(shù)據(jù)結果如表1所示。

表1 數(shù)據(jù)性能評估

由表1可以看出本文方法相對于運動補償算法與特征點跟蹤檢測算法，運動目標正確檢測個數(shù)與正確檢測率都有明顯提高。實驗結果效果圖如圖6-圖8所示。

圖6 算法各部分結果

圖7 car4序列上的對比實驗

圖8 分區(qū)域與不分區(qū)域?qū)Ρ葘嶒?/p>

圖6中(a)-(f)為視頻序列car6用本文算法實現(xiàn)過程的中間結果圖。從實驗結果可看出，本文提出的基于兩種信息融合算法，能實時檢測出運動目標，運動目標的準確性與完整性都有所提高。圖7為在car4序列上的對比實驗結果，從左至右依次是視頻序列中的第1、5、9、13和17幀的檢測結果。圖7(a)是car4序列原始圖像。(b)是采用特征點檢測跟蹤算法的實驗結果，其中有點標記區(qū)域是檢測到的運動目標。(c)為采用運動補償算法的實驗結果，越亮的區(qū)域表示目標運動越明顯。(d)為本文提出的融合算法實驗結果，越亮的區(qū)域越表示運動目標。從實驗結構圖7(b)可以看出，運動目標的特征點離散，部分背景特征點被誤檢為運動目標特征點，部分運動目標特征點被誤檢為背景特征點，造成檢測結果部分缺失，部分錯誤。圖7(c)可以看出，對于運動目標只檢測出邊緣輪廓，運動目標內(nèi)部空洞嚴重，而且也存在將顯露背景誤檢為運動目標的情況。而在圖7(d)中，顯露背景被有效地消除，準確完整地檢測出了運動目標。圖8是分別在視頻序列car5上提取的第25幀圖像，Seq1視頻序列上提取的第16幀圖像，Seq2視頻序列上的第40幀圖像。圖8(a)是視頻序列的原始圖像，(b)和(c)分別為采用不分區(qū)域方法和分區(qū)域方法，檢測出的運動目標實驗結果圖，其中亮的部分代表運動目標。通過對比圖8(b)和8(c)可以看出，經(jīng)過分區(qū)域構建運動模型，檢測出的運動目標更加明顯。對于car5圖像，用不分區(qū)域方法，兩個運動目標中間有明顯的誤檢部分，而采用分區(qū)域方法則沒有。對于Seq1和 Seq2圖像，不分區(qū)域方法檢測出的運動目標不明顯，完整性低，分區(qū)域方法則明顯度完整度提高。實驗結果表明，通過分區(qū)域全局運動估計構建運動模型，融合特征點運動信息和運動補償信息，不僅能準確完整地檢測出單運動目標，而且對多運動目標也有效，進而驗證了融合算法的有效性。本文提出的算法有效地克服了顯露背景對檢測結果準確度與完整度的影響，并且，不用單獨做去除雜質(zhì)操作。既提高了運動目標提取的完整性準確性，又簡化了中間處理過程，提高了時間效率。

5 結 語

本文提出了一種基于融合特征點運動與運動補償信息運動目標檢測新方法。首先，將整幀圖像分成兩個區(qū)域，兩個區(qū)域分別用兩種變換模型進行運動估計，利用運動變換模型提取特征點運動信息。然后，利用多幀運動補償方法提取運動補償信息。最后，將特征點運動信息和運動補償信息分別進行稠密化與標準化，把兩種信息標準化結果融合提取出運動目標。實驗結果表明，該算法有效地降低了相機移動對圖像全局的影響，克服了特征點只能檢測出離散點的問題，彌補了運動補償方法只能檢測出運動目標邊緣輪廓的缺點，能夠準確完整地檢測出運動目標。時間上，兩種運動目標檢測信息提取過程可以并行化進行，與單線程的算法相比在總時間上損耗不明顯。

[1] 王驍, 李博, 張碩,等. 基于DSP的地下停車場車流量視頻檢測的改進算法[J]. 電子器件, 2016, 39(3).

[2] 肖軍, 朱世鵬, 黃杭,等. 基于光流法的運動目標檢測與跟蹤算法[J]. 東北大學學報(自然科學版), 2016, 37(6).

[3] 張維. 基于運動補償及全局背景優(yōu)化的目標檢測[D]. 安徽大學, 2016.

[4] 吳思, 林守勛, 張勇東. 基于動態(tài)背景構造的視頻運動對象自動分割[J]. 計算機學報, 2005, 28(8):1386-1392.

[5] Narayana M, Hanson A, Learned-Miller E. Coherent motion segmentation in moving camera videos using optical flow orientations[C]//Proceedings of the IEEE International Conference on Computer Vision. 2013:1577-1584.

[6] Schueler K, Raaijmakers M, Neumaier S, et al. Detecting parallel moving vehicles with monocular omnidirectional side cameras[C]//Intelligent Vehicles Symposium (IV). IEEE, 2013: 567-572.

[7] Zhang P, Jiang Z, Wei L, et al. A motion compensation method for wide-swath synthetic aperture sonar[J].Chinese Journal of Acoustics, 2016, 40(3):153-161.

[8] 于明, 孫煒燁, 閻剛,等. 動態(tài)場景下基于精確背景補償?shù)倪\動目標檢測[J]. 計算機應用與軟件, 2013,30(10):139-141,198.

[9] Georgiadis G, Ayvaci A, Soatto S. Actionable saliency detection: Independent motion detection without independent motion estimation[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Antonio:IEEE, 2012: 646-653.

[10] 楊超, 蔡曉東, 王麗娟,等. 一種改進的CAMShift跟蹤算法及人臉檢測框架[J]. 計算機工程與科學, 2016,38(9):1863-1869.

[11] 錢元凱. 現(xiàn)代照相機的原理與使用[M]. 浙江攝影出版社, 2003:6-8.

[12] 吳栓栓. 基于單目視覺的運動行人檢測算法的研究與實現(xiàn)[D]. 東北大學,2008.

[13] 吳路路, 韓江, 田曉青,等. 無偏差最小二乘法伺服控制系統(tǒng)參數(shù)辨識[J]. 中國機械工程, 2016, 27(1):109-113.

[14] Lin C C, Wolf M. Detecting Moving Objects Using a Camera on a Moving Platform[C]//International Conference on Pattern Recognition. IEEE Computer Society, 2010:460-463.

[15] Wu Y, He X, Nguyen T Q. Moving Objects Detection with Freely Moving Camera via Background Motion Subtraction[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015:1-1.

ANEWMOVINGOBJECTDETECTIONALOGORITHMBASEDONFUSIONOFFEATUREPOINTSANDMOTIONCOMPENSATIONINFORMATION

Zhang Na Wei Haiping Yu Hongfe

(SchoolofComputerandCommunicationEngineering,LiaoningShihuaUniversity,Fushun113001,Liaoning,China)

Moving target detection in dynamic background has wide application prospect in the field of automobile auxiliary driving and robot navigation. Therefore, a moving target detection method based on motion information and motion compensation information is proposed to solve the problem of poor detection integrity of moving targets based on a single feature, and improve the detection accuracy of moving targets. First, block motion estimation was performed by feature point detection and tracking, and the inter-frame motion model of background feature points was obtained. Moreover, by measuring the degree of matching between the true motion position of the feature points and the motion model, the motion measurement function of the feature points was constructed to obtain the motion information of the feature points. Then, motion compensation image of the pixel was calculated by using the background feature point inter-frame motion model to construct the multi-frame motion compensation difference measurement function of the pixel, and the motion compensation information of the pixel was obtained. Finally, the feature point motion information and the motion compensation information were merged to obtain the moving object detection result. The experimental results show the effectiveness of the proposed method.

Dynamic background Fusion Motion compensation Moving object detection Monocular camera

2016-12-22。國家自然科學基金項目(61273239)。張娜，碩士生，主研領域：數(shù)字圖像處理。魏海平，教授。于紅緋，講師。

TP3912

A

10.3969/j.issn.1000-386x.2017.11.039