郝慧琴，王耀力

(太原理工大學(xué) 信息工程學(xué)院，山西 太原 030024)

?

基于幀間差分和金字塔光流法的運動目標檢測

郝慧琴，王耀力

(太原理工大學(xué) 信息工程學(xué)院，山西 太原 030024)

針對用于運動目標檢測的光流算法存在處理復(fù)雜、計算量大等問題，提出一種幀間差分算法和金字塔LK光流法相結(jié)合的運動目標檢測方案。該方法先對視頻圖像進行幀間差分處理，得到圖像的運動區(qū)域，再對該運動區(qū)域進行金字塔LK光流計算，減少了計算區(qū)域，提高目標檢測的速度。最后在搭建的視覺避障平臺上使用LabVIEW語言進行算法程序驗證，實驗結(jié)果證明了算法的有效性。

幀間差分法；金字塔LK光流法；運動目標檢測；視覺避障平臺

運動目標檢測是目前機器視覺領(lǐng)域的研究熱點，廣泛應(yīng)用于安防保衛(wèi)、機器人避障、人臉識別等領(lǐng)域。目前常用的運動目標檢測方法有：背景差分法、幀間差分法、光流法。

背景差分法[1-2]，通過將當前圖像和背景圖像作對比來檢測出運動物體，該方法檢測運動目標速度快、檢測準確、易于實現(xiàn)，但是其檢測效果依賴于背景模型的選取。在實際應(yīng)用中，隨著背景圖像的運動需要進行背景模型更新。

幀間差分法[3]，通過對視頻圖像序列中的相鄰兩幀圖像做差分運算來獲得運動目標輪廓，該算法實現(xiàn)簡單、對光線變化不太敏感、穩(wěn)定性較好，但是不能提取出對象的完整區(qū)域，只能提取出邊界，且?guī)g時間間隔的選擇直接影響檢測效果。

光流法[4]，通過研究圖像灰度在時間上的變化與影像中物體結(jié)構(gòu)及其運動的關(guān)系來檢測運動物體，該算法不需要預(yù)先知道場景的任何信息，避免了背景模型的更新以及幀間時間間隔的選取問題，但是該算法的實現(xiàn)有三個假設(shè)前提，但在實際應(yīng)用中，光流法的三個假設(shè)前提很難滿足，基于此，本文提出了基于幀間差分法和金字塔LK光流法[5]的運動目標檢測，并在實驗平臺上驗證，結(jié)果表明該方法不受光線變化和運動快慢的影響，可以更精確地檢測到運動目標。

1　算法理論

1.1幀間差分法

幀間差分法是將視頻序列中的相鄰兩幀圖像做差分運算，當某像素點前后兩幀圖像的灰度差絕對值大于閾值時，標記該位置為運動區(qū)域。通過對圖像中所有像素點進行灰度值對比得到運動目標的輪廓。

取相鄰兩幀圖像I(t)、I(t+1)，圖像中的像素點(x,y)在t時刻的灰度值為f(x,y,t)，像素點(x,y)在t+1時刻的灰度值為f(x,y,t+1)，得到的差值圖像為

(1)

式中：T為閾值，當像素點(x,y)在相鄰圖像的灰度差絕對值大于T時，標記差值圖像中點(x,y)的灰度值為1，當灰度差絕對值小于T時，標記差值圖像中點(x,y)的灰度值為0。其中，T的選取非常重要，既要能忽略背景灰度的微小變化，也必須精確地標記出變化區(qū)域。

這種算法將前一幀圖像作為背景模型，對當前圖像做差分運算，避免了背景差分法中背景模型的更新，算法簡單，計算量小，且對光線變化不敏感。但該算法只能提取出運動目標的邊界，對幀間時間間隔和閾值的選擇有較高的要求。當物體運動較快，而時間間隔較大時，物體在前后兩幀圖像沒有重疊，這樣會被檢測為兩個分開的物體；當物體運動較慢，而時間間隔較小時，物體在前后兩幀圖像中幾乎完全重疊，則會檢測不到物體。

1.2LK光流法

光流法利用圖像序列中像素強度數(shù)據(jù)的時域變化和相關(guān)性來確定各像素位置的“運動”。LK(Lucas-Kanade)光流算法[6-7]是一種兩幀差分的光流估計算法，被廣泛應(yīng)用于稀疏光流場，假設(shè)前提是：1)亮度恒定不變；2)時間連續(xù)或者運動是“小運動”；3)空間一致，臨近點運動情況相似且這些點在圖像上的投影也在臨近區(qū)域。假設(shè)1)是為了保證等號成立不受亮度的影像，假設(shè)2)是為了保證KLT[8]能夠找到點，假設(shè)3)則是為了保證同一窗口中所有點的偏移量都相等。

圖像約束方程為

I(x,y,t)=I(x+dx,y+dy,t+dt)

(2)

I(x,y,t)表示t時刻點(x,y)的灰度，假設(shè)圖像移動足夠小，對圖像約束方程使用泰勒公式，得到

(3)

Ixu+Iyv=-It

(4)

(5)

普通的最小二乘解是指窗口內(nèi)的n個像素的光流值一樣，但是隨著各點光流與中心點距離的增加，光流偏差會有所增加，所以設(shè)W2為一個窗口權(quán)重函數(shù)，該函數(shù)使窗口中心點的加權(quán)比周圍大，得到加權(quán)版本

r=(ATW2A)-1ATW2b

(6)

計算得光流值：

(7)

1.3金字塔LK光流法

J(x+dx,y+dy))2

(8)

將圖像的寬高每次縮放為原來的一半，共縮放Lm層，第0層為原圖像。設(shè)已知原圖的速度為d，則每一層的速度為

(9)

假設(shè)在L層求解光流，將此層的計算結(jié)果反饋給上一層L-1，作為該層初始時的光流估計g。依此類推，直到第0層，即原圖，如圖1所示。

圖1　分層分解金字塔模型

對于每一層L,方程(8)變?yōu)?/p>

(10)

每一層的計算結(jié)果dL通過如下方程反饋給上一層作為初始的光流估計

gL-1=2(gL+dL)

(11)

由于金字塔的縮放減小了光流值，最底層即Lm層的光流估計值設(shè)為0，即

(12)

以此方式迭代，可以得到最頂層(即0層)的光流值

d=g0+d0

(13)

(14)

(15)

(16)

(17)

函數(shù)EL(dL)取最小值時得到最優(yōu)光流矢量

dL=G-1b

(18)

1.4改進算法

金字塔光流法可以檢測出運動速度過快的物體，取消了LK光流法的2)、3)假設(shè)，但是計算量大，對硬件要求高，且不能消除光照對該算法的影響。本文將幀間差分法和金字塔光流法相結(jié)合，先對圖像進行幀間差分運算，得到運動目標區(qū)域，再進行金字塔光流運算，這樣既避免了光線的影響(消除了1)假設(shè))，又可以檢測到運動速度過大的目標，并且降低了計算量，提高了系統(tǒng)的實時性。算法流程如圖2所示。

圖2　改進算法流程

具體步驟如下：

1)視頻序列預(yù)處理、去噪。

2)取視頻序列的連續(xù)三幀圖像Ii-1(x,y)，Ii(x,y)，Ii+1(x,y)。

3)對Ii-1(x,y)，Ii(x,y)做差分運算，得到幀差圖像fi(x,y)，對Ii(x,y)，Ii+1(x,y)做差分運算，得到幀差圖像fi+1(x,y)。

4)對幀差圖像fi(x,y)，fi+1(x,y)做二值化處理，并進行邏輯與操作，得到運動區(qū)域圖像J(x,y)。

9)計算Lm層的光流值dL=G-1b。

10)計算L-1層的光流：gL-1=2(gL+dL)，以此類推得到最后的光流值：d=g0+d0。

11)圖像P(x,y)的對應(yīng)特征點為v=u+d。

12)得到運動目標圖像P(x,y)。

2　實驗平臺

NI Starter Kit是美國國家儀器公司(National Instruments)設(shè)計的一款可以實現(xiàn)自治系統(tǒng)的原型，包含NI sbRIO-9632嵌入式控制器、超聲波傳感器、編碼器、電機、電池等。它通過超聲波傳感器探測前方障礙物，人們可使用LabVIEW語言編寫避障程序，實現(xiàn)機器人的自主避障。NI起步包原型如圖3所示。

圖3　NI起步包原型

為了對本文提出的改進算法進行驗證，筆者將NI起步包改裝為視覺避障平臺。使用網(wǎng)絡(luò)攝像機AXIS 206代替超聲波傳感器，使用華碩路由器RT-G32完成機器人、網(wǎng)絡(luò)攝像機和服務(wù)端的通信，并在NI起步包平臺上實現(xiàn)網(wǎng)絡(luò)攝像機(額定電壓5 V)和路由器(額定電壓12 V)的電源供應(yīng)。實驗平臺如圖4所示。

圖4　NI起步包視覺平臺

3　實驗結(jié)果與分析

本設(shè)計使用LabVIEW語言實現(xiàn)運動物體的實時監(jiān)控，并將本文提出算法在上述平臺進行驗證，完成機器人的自主避障。

為了近距離檢測到運動目標后，再進行機器人的運動姿態(tài)調(diào)整，本設(shè)計將所獲取的視頻截取下半部分進行處理，圖5是沒有運動目標情況下攝像機采集到的圖像，圖6中出現(xiàn)了一雙腳，圖7和圖8分別是經(jīng)過金字塔光流法處理得到的閾值圖像和實時檢測圖像，圖9和圖10分別是經(jīng)過幀間差分+金字塔光流法處理得到的閾值圖像和實時檢測圖像。

圖5　無運動目標情況下采集的圖像(截圖)

圖6　出現(xiàn)運動目標的視頻圖像(截圖)

圖7　經(jīng)過金字塔光流法處理后得到的閾值圖像(截圖)

圖8　經(jīng)過幀間差分+金字塔光流法處理后得到的閾值圖像(截圖)

圖9　經(jīng)過金字塔光流法處理后得到的實時檢測圖像(截圖)

圖10　經(jīng)過幀間差分+金字塔光流法處理后得到的實時檢測圖像(截圖)

從圖7～8的對比，以及圖9～10的對比，可以清楚地看出，結(jié)合幀差法和金字塔光流法改進后的目標檢測算法可以更精確地檢測到運動目標，并且不受光線的影響。

經(jīng)過實驗，優(yōu)化后的運動目標檢測算法對于分辨率為320×240的視頻圖像平均可達18.9 f/s(幀/秒)的處理速度，滿足了避障平臺實時性的要求。

4　結(jié)論

本文提出的基于幀間差分法和金字塔L-K光流法的組合算法，結(jié)合了各自算法的優(yōu)勢，對運動目標的檢測有更好的效果，并且大大提高了視頻處理的速度，在機器人自主避障的過程中提高了實時性，適當增加了機器人前進的速度。

[1]丁磊，宮寧生.基于改進的三幀差分法運動目標檢測[J]. 電視技術(shù)，2013，37(1)：151-153.

[2]CUCCHIARA R， PICCARDI M， PRATI A. Detecting moving objects，ghosts，and shadows in vedio streams[J]. IEEE transactions on pattern analysis and machine intelligence，2003，25 (10)：12-15.

[3]熊英. 基于背景和幀間差分法的運動目標提取[J]. 計算機時代，2014(3)：38-41.

[4]ENKELMANN W. Investigations of multigrid algorithms for the estimation of optical flow fields in image sequences[J]. Computer vision，graphics and image processing， 1988，43(2)：150-177.

[5]LUCAS B D，KANADE T. An iterative image registration technique with an application to stereo vision[J]. Proceedings of artifical intelligence，1981(4)：1-4.

[6] 任克強，余啟明，羅會蘭. 一種改進的混合高斯模型運動目標檢測算法[J]. 電視技術(shù)，2012，36(23)：168-171.

[7] 袁寶紅.基于視頻的運動目標檢測與跟蹤[D].合肥：安徽大學(xué)，2014.

[8]胡社教，葛西旺，陳宗海. 基于角點特征的KLT跟蹤全景圖像拼接算法[J]. 系統(tǒng)仿真學(xué)報，2007(8)：1742-1744.

[9]HORN B K P， SCHUNCK B G. Determining optical flow[J].Artificial intelligence，1981(17)：185-203.

[10]吳新根，羅立民. 一種改進的光流場計算方法[J]. 電子學(xué)報，2000(1)：130-131.

郝慧琴(1991— )，女，碩士生，主研單目視覺機器人避障；

王耀力(1965— )，副教授，主要研究方向為人機視覺分析與處理、信息系統(tǒng)設(shè)計和嵌入式系統(tǒng)電路等。

責(zé)任編輯：閆雯雯

Algorithmformovingobjectdetectionbasedoninter-framedifferencingandpyramidopticalflowmethods

HAOHuiqin，WANGYaoli

(College of Information Engineering，Taiyuan University of Technology，Taiyuan 030024，China)

AmethodtodetectmovingobjectsusingInter-framedifferencingandpyramidLKopticalflowisproposed,asopticalflowalgorithmhasahighcomputationalcomplexityandlargecomputation,whichmakethelimitationcertain.Firstly,themotionareaofthevideoimagecanbedetectedbytheinter-framedifferencingmethod,andthentheopticalflowofthisareaiscalculatedusingpyramidLKflowmethod.Thecomputedareaisreduced,andthereforethedetectionspeedisimproved.Finally,thisimprovedmethodisverifiedonthevisualobstacleavoidanceplatformbyLabVIEWprogramsandtheexperimentresultsshowtheeffectivenessofthisalgorithm.

inter-framedifferencingmethod;pyramidLKopticalflowmethod;movingobjectdetection;visualobstacleavoidanceplatform

TP391

ADOI：10.16280/j.videoe.2016.07.029

山西省自然科學(xué)基金項目(2013011015-1)

2015-10-15

文獻引用格式：郝慧琴，王耀力. 基于幀間差分和金字塔光流法的運動目標檢測[J].電視技術(shù)，2016，40(7)：134-138.

HAOHQ，WANGYL.Algorithmformovingobjectdetectionbasedoninter-framedifferencingandpyramidopticalflowmethods[J].Videoengineering，2016，40(7)：134-138.