吳振杰，毛曉波

鄭州大學(xué) 電氣工程學(xué)院，鄭州 450001

一種改進的幀間差光流場算法

吳振杰，毛曉波

鄭州大學(xué) 電氣工程學(xué)院，鄭州 450001

1 引言

序列圖像中的運動目標(biāo)檢測與追蹤技術(shù)是圖像處理與計算機視覺研究領(lǐng)域一個非?；钴S的分支，在國民經(jīng)濟和軍事領(lǐng)域有著廣泛的應(yīng)用。對運動目標(biāo)的檢測是視覺跟蹤、目標(biāo)分類、行為理解等各種后續(xù)處理的基礎(chǔ)。目前研究運動目標(biāo)檢測的方法有背景減除法、幀間差分法和光流場計算法等多種[1]。

背景減除法能提供完整的特征數(shù)據(jù)，且算法簡單、快速，但對于如光照、陰影、背景擾動等環(huán)境變化特別敏感。幀間差分法對光照等環(huán)境變化的適應(yīng)性強，但通常只能獲得運動目標(biāo)的部分信息，難以提取出物體完整的輪廓，同時也容易受到噪聲干擾。光流場方法[2]反應(yīng)了序列圖像中的速度場，善于在運動場景中捕捉運動對象的運動特征，它對圖像的運動場進行估計，能夠直接用于攝像機運動下的目標(biāo)檢測[3]，且不需要預(yù)先知道場景的信息，檢測結(jié)果精確可靠。但大多數(shù)光流算法計算復(fù)雜，不適合實時處理。鑒于直接光流計算算法復(fù)雜且耗時太多，本文提出一種結(jié)合幀間差的光流計算方法，先對序列圖像進行隔幀差分，針對差值圖中不為零處的像素（它們往往對應(yīng)于灰度梯度較大的點）來計算其光流，較之計算整個運動物體的光流場更為可靠、精確和快速。

2 隔幀差分法的運動區(qū)域提取

運動目標(biāo)檢測方法中許多是基于目標(biāo)圖像幀序列的灰度變化進行目標(biāo)判別的[4]，當(dāng)視頻幀圖像中出現(xiàn)運動目標(biāo)時，連續(xù)兩幀之間灰度值會出現(xiàn)較為明顯的差別，兩幀相減得到兩幀圖像灰度值差的絕對值，通過閾值化和濾波等方法檢測運動目標(biāo)。該方法具有簡單高效的特點，但對運動速度慢和弱小目標(biāo)檢測效果不理想。為了檢測到不同運動速度的目標(biāo)，并提高檢測速度，采用隔幀差分法[5]先檢測包含運動目標(biāo)的區(qū)域，再用光流法在上述區(qū)域精確檢測目標(biāo)。

視頻序列圖像在經(jīng)過中值濾波預(yù)處理后，去掉圖像隨機噪聲，再將彩色的視頻圖像進行灰度變換，得到灰度圖像?；叶饶Ｊ娇梢允褂枚噙_256級灰度來表現(xiàn)圖像，使圖像的過渡更平滑細膩?；叶葓D像的每個像素有一個0（黑色）到255（白色）之間的亮度值。

在經(jīng)過灰度變換后的動態(tài)視頻圖像中，以間隔n幀選取三幀圖像，其中前一幀圖像fi-n(x，y)，當(dāng)前幀圖像fi(x，y)，下一幀圖像fi-n(x，y)。當(dāng)n=1時，就是傳統(tǒng)連續(xù)幀差分計算，當(dāng)n=2時，為隔1幀差分，當(dāng)n=3時，為隔2幀差分，依此類推。隔幀的時間間隔選擇取決于運動目標(biāo)的速度和大小，對快速運動或者大的物體，需要選擇較小的時間間隔；對慢速運動或者弱小的物體，需要選擇較大的時間間隔。

計算當(dāng)前幀與前一幀的前向幀差圖像FDb(x，y)和下一幀與當(dāng)前幀的后向幀差圖像FDf(x，y)，通過閾函數(shù)值T，對隔幀差分后的圖像進行閾值化處理，得到隔幀差分后的二值圖像，其計算公式如式（1a）、（1b）所示。本文利用文獻[6]介紹的二維Otsu閾值化的快速算法，確定閾值T。按式（2）計算幀差圖像FDb(x，y)和FDf(x，y)的交集得到運動目標(biāo)的運動區(qū)域E(x，y)。

隔幀差分的方法不僅能完整檢測到大的目標(biāo)，而且可以檢測到幀間位移小于1個像元而多幀累積位移大于1個像元的運動點目標(biāo)，因此不僅提高了視頻運動目標(biāo)檢測速度，還提高了檢測目標(biāo)的能力。

3 改進光流場算法的運動目標(biāo)檢測

3.1 光流算法原理

所謂光流指圖像中灰度模式運動速度。光流計算進行像素級運動估計，記t時刻圖像上的點(x，y)處的灰度值為I(x，y，t)，如果u(x，y)和v(x，y)是該點光流的x和y分量，點在t+dt時運動到(x+dx，y+dy)時（其中dx=udt，dy=vdt），對應(yīng)的灰度值為I(x+dx，y+dy，t+dt)，假定它與I(x，y，t)相等，即

將左邊在(x，y，z)點用泰勒公式展開，經(jīng)簡化并略去二階和二階以上項可以得到基本光流約束方程為：

由于光流場U=(u，v)T有兩個變量，而基本約束方程只有一個，只能求出光流場沿梯度方向的值，因此從基本光流方程求解光流場是一個不適定問題，必須引入附加約束條件。

Horn和Schunck[7]使用光流在整個圖像上光滑變化的假設(shè)來求解光流，即運動既滿足光流約束方程又滿足全局平滑性。Horn附加約束條件的基本思想是要求光流本身盡可能平滑，即引入了對光流的平滑性約束使平滑約束項極小化。即極小化Es：

盡可能得小。另一方面，由基本等式，當(dāng)然要求極小化Ec：

盡可能得小，于是將光流場(u，v)的計算歸結(jié)為求如下的變分問題的解：

其中λ是一參數(shù)，它決定了上述兩種誤差（一種是偏離光滑性要求的誤差Es，另一種是偏離基本等式的誤差Ec）之間的相對權(quán)重。對此，采用迭代法求解：

其中n是迭代次數(shù)，u0和v0是光流的初始值，一般取為零。當(dāng)相鄰兩次迭代結(jié)果的距離小于預(yù)定的某一小值時，迭代過程終止。在以上公式中，如果Ii，j，k表示圖像在(x，y，t)點的強度I(x，y，t)，Ii，j，k+1表示圖像在(x，y，t+dt)點的強度I(x,y,t+dt)，那么Ix，Iy和It可由下式近似計算：

3.2 動態(tài)圖像模型用于光流法改進

由于光流場的不連續(xù)性及違反守恒假設(shè)條件處光流場分布是不可靠的，針對差值圖中不為零處的像素對應(yīng)于灰度梯度較大的點，而這些點處的光流場基本方程近似成立。采用這種約束措施后，可使得計算出的光流場分布更為可靠和精確，同時也減少了計算量。因此，通過修正的光流定義來表示在動態(tài)圖像中的幾何變化和輻射度變化。這個修正的定義是用三個元素的向量來代替?zhèn)鹘y(tǒng)的兩個元素向量。其中第三個元素表示這個點的亮度變化，引入通用動態(tài)圖像模型（GDIM）[8]，用來解決在亮度變化條件下光流估計問題中的輻射度變化。在GDIM中亮度變化描述成為數(shù)乘和一個偏移量。結(jié)合在上面公式（2）中得到的運動區(qū)域和GDIM模型定義新的約束模型：

其中m(r)和c(r)分別表示場亮度變化場的數(shù)乘和偏移量；r=[x，y，z]T是時空維上的一個點。基于GDIM的擴展光流模型為：

Er是幀差[9]區(qū)域中任意點的灰度，從t到t+dt的時間間隔里，圖像中這點的灰度變化為dE=E(r+dr)-E(r)。在時變圖像中同時包含了圖像灰度模式的幾何變化和輻射度變化的信息。m(r)的期望值接近于1，c(r)的期望值接近于0。當(dāng)m(r)=1和c(r)=0時這個方程還原為亮度守恒的光流約束方程。

u，v和m，c四個變量由下式計算得到：

其中，W是一個很小的空間領(lǐng)域，這里取9×9像素大小。Ex，Ey和Et，E的計算與式（9）相同。通過該公式和初值可以快速準確計算出運動點的速度、坐標(biāo)、方向和灰度值等運動信息，從而準確檢測出運動目標(biāo)。再通過對光流算法獲得的運動信息進行后處理，可以完整地提取出檢測到的運動目標(biāo)[10]。本文改進算法的流程如圖1所示，主要分為區(qū)域分析和光流分析兩個階段。

圖1 改進光流算法流程

區(qū)域分析階段通過聯(lián)合幀間差分法提取運動對象所在區(qū)域；光流分析階段對區(qū)域進行光流計算提取運動對象特征。

4 實驗結(jié)果分析

下面對上述算法進行實驗分析。實驗系統(tǒng)環(huán)境為Windows XP，實驗用軟件Visual C++6.0、OpenCV視覺庫。

實驗選用測試序列SampleVideo.avi和highway.avi。圖2和圖3分別給出了標(biāo)準SampleVideo和highway序列分別用幀間差分法、上文的HS光流法和本文的隔幀差分光流法進行視頻運動檢測的比較結(jié)果。其中，（a）為原始視頻圖前一幀圖像，（b）為后一幀的圖像，（c）是背景圖像，（d）為隔幀差分法檢測結(jié)果，（e）為HS光流法檢測的結(jié)果，（f）為本文算法檢測結(jié)果。

圖2 samplevideo序列檢測結(jié)果比較

圖3 highway序列檢測結(jié)果比較

為了定量評價兩種算法的優(yōu)劣性，分別計算了兩種算法的用時，其對比如表1所示。

表1 兩種算法結(jié)果耗時定量比較 s

對光流計算結(jié)果進行誤差估計，假定Vc(x，y)為真實的運動向量，Vg為計算所得的運動向量，則可以采用如下的方法進行誤差估計，結(jié)果為表2和表3。

表2 SampleVideo序列兩種光流算法誤差比較

表3 highway序列的兩種光流算法誤差比較

（1）單個角度誤差Ψ=arccos(Vc·Vg)

通過用時和誤差分析可以看出，本文算法具有用時短、魯棒性強、穩(wěn)定性高的特點，能夠比較穩(wěn)定檢測出圖像序列中的光流。

5 結(jié)論

本文主要研究了幀間差光流場算法的原理以及應(yīng)用，針對于光流算法在光流約束方程不成立時存在的無法檢測到目標(biāo)，本文提出了一種改進方法，引入通用動態(tài)圖像模型，建立了像素點的梯度較大處的新的約束方程，提高了檢測的精確性和檢測時間，并且通過實例仿真，證明了算法的有效性與合理性。

[1]張娟，毛曉波，陳鐵軍，等.基于視頻流連續(xù)性的快速運動目標(biāo)檢測方法[J].計算機應(yīng)用研究，2010，27（8）：3198-3200.

[2]Stein F.Efficient computation of optical flow using the census transform[J].Pattern Recognition，2004，3175（1）：79-86.

[3]Wong K Y，Spetsakis M E.Tracking based motion segmentation under relaxed statistical assumptions[J].Computer Vision and Image Understanding，2006，101：45-64.

[4]魏巍，申鉉京，千慶姬.工業(yè)檢測圖像灰度波動變化自適應(yīng)閾值分割算法[J].自動化學(xué)報，2011，37（8）：944-953.

[5]陳鳳東，洪炳熔.基于動態(tài)閾值背景差分算法的目標(biāo)檢測方法[J].哈爾濱工業(yè)大學(xué)學(xué)報，2005，37（7）：883-884.

[6]郝穎明，朱楓.2維Otsu自適應(yīng)閾值的快速算法[J].中國圖象圖形學(xué)報，2005（4）：484-488.

[7]Serre T，Kouh M，Knoblich U，et al.A theory of object recognition：computations and circuits in the feedforward path of the ventral steam in primate visual cortex[R].2005.

[8]Magee D.Tracking multiple vehicle using foreground background and motion models[J].Image and Vision Computing，2004，22（2）：143-145.

[9]李超，熊璋，赫陽，等.基于幀間差的區(qū)域光流分析及其應(yīng)用[J].計算機工程與應(yīng)用，2005，41（31）：195-197.

[10]Yuan Lei，Li Jinzong，Li Dongdong.Discontinuity preserving optical flow algorithm[J].Journal of Systems Engineering and Electronics，2007，18（2）：347-354.

WU Zhenjie,MAO Xiaobo

School of Electrical Engineering,Zhengzhou University,Zhengzhou 450001,China

An improved optical flow estimation algorithm based on the frame difference is proposed,which is used for detecting the moving target.In the first part,the discontinuous frame difference is applied to detecting the moving target with the inter-frame displacement smaller than one pixel and accumulated displacement bigger than one pixel.In the second part,the General Dynamic Image Model（GDIM）is introduced to form a new optical constraint equation,which has overcome the problem that the equation is not tenable.Only not zero pixels are calculated by using the optical flow method.As a result,accuracy and speed of the target detection are improved.The effectiveness of the proposed method is verified by the simulation results.

target tracking;frame difference;optical flow;local optical flow

結(jié)合運動目標(biāo)檢測幀差法運算速度快和光流法活動目標(biāo)檢測準確度高的特點，提出一種改進的幀間差光流場計算的運動目標(biāo)檢測算法。在幀差部分采用隔幀差分從而可以檢測到幀間位移小于1個像元而多幀累積位移大于1個像元的運動點目標(biāo)；在光流計算時，引入通用動態(tài)圖像模型（GDIM）建立新的光流約束條件，克服了亮度變化引起的約束方程不成立問題。算法僅對幀差法后圖像中不為零的像素進行光流場計算，提高了目標(biāo)檢測的準確性和檢測速度。仿真實驗證明了該算法的有效性。

目標(biāo)跟蹤；幀差法；光流法；區(qū)域光流檢測

A

TP39

10.3778/j.issn.1002-8331.1112-0475

WU Zhenjie,MAO Xiaobo.Improved optical flow estimation algorithm based on frame difference.Computer Engineering and Applications,2013,49（18）：200-203.

高等學(xué)校博士學(xué)科點專項科研基金（No.20114101110005）；河南省重大科技攻關(guān)項目（No.102101210100）；河南省教育廳自然科學(xué)基礎(chǔ)研究計劃（No.2009A410001）。

吳振杰（1985—），男，碩士研究生,研究方向：計算機視覺；毛曉波（1965—），通訊作者，男，博士，教授，碩士生導(dǎo)師，研究方向：仿生機器視覺、智能儀器儀表。E-mail：mail-mxb@zzu.edu.cn

2011-12-26

2012-03-06

1002-8331（2013）18-0200-04

CNKI出版日期：2012-05-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1141.024.html

◎信號處理◎