摘 要:為了避免傳統(tǒng)基于RGB顏色模型方法在方程組中各等式線性相關(guān)和存在孔徑的問題，提出一種在HSI顏色模型下結(jié)合小波變換的方法計(jì)算彩色圖像視頻序列光流場(chǎng)的計(jì)算方法，這里將傳統(tǒng)的灰度圖像光流估計(jì)方法與HSI顏色模型估計(jì)方法相結(jié)合，并且用小波變換方法對(duì)光流矢量場(chǎng)的異常數(shù)據(jù)點(diǎn)或因?yàn)槠ヅ溴e(cuò)誤而產(chǎn)生的異常塊數(shù)據(jù)進(jìn)行剔除，從而有效提高光流場(chǎng)估計(jì)精度，得到精密的彩色圖像光流矢量場(chǎng)特征。

關(guān)鍵詞:光流場(chǎng); 彩色圖像; HSI顏色模型; 小波變換

中圖分類號(hào):TP391.41 文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1004-373X(2010)12-0117-04

Improved Video Optical Flow Field Estimation Based on Wavelet Transform and HSI

HUANG Jin-jie， DING Yan-jun

(Automatic College， Harbin University of Science and Technology， Harbin 150080， China)

Abstract:A optical flow field algorithm based on the wavelet transformation and HSI color model for color image video sequences is proposed， whose purpose is to avoid the linear correlation of all the equations in equation set and the existing aperture problems caused by the traditional methods based on RGB color model. To combine the traditional gray-scale image optical flow estimation method with HSI color model estimation method， and with the wavelet transform method to eliminate the abnormal data points produced by the optical flow vector field or the abnormal block data caused by the mismatching. Thereby， the accuracy of optical flow estimation is effectively improved and the precise optical flow vector field characteristics of color images are obtained.

Keywords:optical flow field; color image; HSI color model; wavelet transformation

0 引 言

傳統(tǒng)的光流場(chǎng)計(jì)算基于單色灰度圖像序列進(jìn)行處理[1] ，處理光流基本方程中不適定的核心問題。自1981年Horn和Schunck首次提出用全局平滑約束來求解光流場(chǎng)[2]以來，產(chǎn)生了各種各樣解決光流不適定問題的約束方法，這種不適定方法常被稱為“孔徑問題”。為了解決“孔徑問題”，研究者提出了很多種方法。在各種基于灰度的光流算法中，Horn-Schunck與Lucas-Kanade仍是目前應(yīng)用比較廣泛，可靠性較高的方法。Nagel使用二階導(dǎo)數(shù)來估計(jì)光流，對(duì)于遮擋問題，他采用定向平滑約束來處理圖像遮擋處的速度場(chǎng)。

近年來出現(xiàn)了彩色圖像序列的光流場(chǎng)計(jì)算技術(shù)，它是光流場(chǎng)計(jì)算從灰度圖像到彩色圖像的推廣。相對(duì)于灰度圖像彩色圖像能提供更豐富的光學(xué)信息，可有效地克服灰度圖像序列光流場(chǎng)計(jì)算中的孔徑問題，為光流場(chǎng)估計(jì)[3]計(jì)算開拓了新的思路。Golland提出了一種新的基于色彩不變性的計(jì)算方法[4]，并將其與基于RGB顏色模型的方法進(jìn)行對(duì)比。RGB顏色模型是工業(yè)模型，不符合人的視覺特性，因此引入HSI顏色空間，利用色彩不變性假設(shè)進(jìn)行光流估計(jì)，結(jié)合本文提出的小波變換思想將彩色圖像序列的光流場(chǎng)計(jì)算與灰度圖像序列的光流場(chǎng)計(jì)算相結(jié)合，可有效克服彩色圖像序列光流場(chǎng)計(jì)算中的問題，并且對(duì)局部異常運(yùn)動(dòng)矢量數(shù)據(jù)進(jìn)行剔除，從而得到較高精度及較高光流密度的特征數(shù)據(jù)。實(shí)驗(yàn)證明，該方法對(duì)運(yùn)動(dòng)物體的檢測(cè)取得很好的效果。

1 基于灰度光流場(chǎng)估計(jì)算法

光流場(chǎng)是一種描述圖像運(yùn)動(dòng)的速度場(chǎng)，其概念最早由心理學(xué)家Gibson于1950年提出。從圖像場(chǎng)景中景物的運(yùn)動(dòng)會(huì)導(dǎo)致運(yùn)動(dòng)期間獲得的圖像中景物所處不同的相對(duì)位置可知，這種位置上的差別稱為視差，它是景物運(yùn)動(dòng)反映在圖像上的位移矢量(包括大小和方向)。如果用視差除以時(shí)差，就可得到速度矢量。一幀圖像中的所有速度矢量構(gòu)成一個(gè)矢量場(chǎng)，也即光流場(chǎng)。

設(shè)在時(shí)刻t某一個(gè)特定的圖像點(diǎn)在(x，y)處的亮度為f(x，y，t)，時(shí)刻t+dt的圖像點(diǎn)移動(dòng)到(x+dx，y+dy)處相應(yīng)像素點(diǎn)的亮度的f(x+dx，y+dy，t+dt)。如果時(shí)間間隔dt很小，則可以期望兩點(diǎn)圖像灰度保持不變，換句話說，有:

f(x，y，t)=f(x+dt，y+dt，t+dt) (1)

將上式利用泰勒級(jí)數(shù)展開并略去二次以上的高次項(xiàng)，可得:

-ft=fxdydt+fydydtft=fxu+fyv=0 (2)

式中:u和v分別為圖像點(diǎn)在x方向和y方向的移動(dòng)速度?？傻没竟饬鞣匠虨?

fxu+fyv+ft=0 (3)

光流方程表明，運(yùn)動(dòng)圖像中某一點(diǎn)灰度圖像的時(shí)間變化率是灰度空間變化率與該點(diǎn)空間運(yùn)動(dòng)速度的乘積。

式(3)所示的梯度約束方程含有u，v 兩個(gè)未知變量，由用1個(gè)方程不能求解2個(gè)未知變量可知，光流的求解[4]是一個(gè)病態(tài)問題。求解光流的2個(gè)分量，必須進(jìn)行歸則化。

2 彩色視頻圖像光流估計(jì)算法

與灰度圖像光流求解的亮度恒常假設(shè)類似， 彩色圖像光流[5]利用豐富的色彩信系可以找到一個(gè)附加約束來解決灰度圖像中難以解決的問題。由于RGB顏色模型中3個(gè)顏色分量的高相關(guān)性，如果圖像的亮度發(fā)生變化，則R，G，B三個(gè)分量也都會(huì)發(fā)生變化，這可能會(huì)在光流計(jì)算中造成意想不到的誤差，因此本文采用HSI色模型。HSI模型是一種主觀彩色模型，它不采用將某種特定的顏色分解為RGB三原色的方法，而是描述顏色的3種屬性分量。此處，利用HSI顏色模型的H分量和S分量求取光流場(chǎng)，與傳統(tǒng)基于灰度圖像的方法相結(jié)合，提高光流求取的精度與密度。

2.1 彩色圖像的光流計(jì)算

1990年Ohta首先對(duì)彩色時(shí)變圖像的光流計(jì)算問題進(jìn)行了研究，提出一種基于色彩灰度不變的計(jì)算模型，這個(gè)模型使用RGB三元色模型來解析彩色圖像，把每一點(diǎn)的灰度值看作是3種基色的加權(quán)和，并在計(jì)算中將其分解，再將3個(gè)彩色分量分別代入基本等式，得到計(jì)算光流的梯度約束方程組[6]，為:

Rxu+Ryv+Rt=0

Gxu+Gyv+Gt=0

Bxu+Byv+Bt=0 (4)

對(duì)于這個(gè)有3個(gè)方程兩個(gè)未知數(shù)的約束方程組，可以采用廣義逆求解，即令:

A =Rx Ry

Gx Gy

Bx By，

b = -Rt

-Gt

-Bt

則有:

( A T A )U= A T b(5)

可以解出U=( A T A )-1 A Tb。

利用式(5)計(jì)算光流場(chǎng)，當(dāng)圖像中某區(qū)域顏色梯度相同時(shí)，方程組各等式線性相關(guān)，無法求得惟一解。當(dāng)圖像中所含噪聲相對(duì)于顏色梯度[7]較大時(shí)，所得解不可靠。

2.2 基于改進(jìn)的HSI模型光流場(chǎng)估計(jì)算法

HSI模型中的H和S對(duì)觀察方向、物體的幾何結(jié)構(gòu)、照明方向、照明強(qiáng)度、照明的光譜能量分布等變化具有較強(qiáng)的魯棒性，同時(shí)色調(diào)H在強(qiáng)烈光線下也能保持不變，說明H能比較準(zhǔn)確地反映顏色種類，以及對(duì)消除光照條件的影響。

從RGB顏色空間映射到HSI空間[9]的轉(zhuǎn)換關(guān)系為:

H = arccos[(R-G) + (R-B)]/2[(R-G)2 + (R-B)(G-B)]1/2

S=1-3R+G+Bmin{R，G，B}

I=(R+G+B)/3

將上式3個(gè)分量分別代入光流基本等式，可得到包含3個(gè)方程的方程組:

Hxu+Hyv+Ht=0

Sxu+Syv+St=0

Ixu+Iyv+It=0(6)

式中:u，v的系數(shù)，即每個(gè)像素點(diǎn)上的H，S，I值對(duì)x方向和y方向上的梯度值可以利用差分算子方便求出。

由線性代數(shù)理論可知，若這3個(gè)方程兩兩線性無關(guān)，則只需其中2個(gè)方程就可以解出光流場(chǎng)矢量 X (u， v)，這里將這3個(gè)方程兩兩組合，可得到3組方程組:

Hxu+Hyv+Ht=0

Sxu+Syv+St=0 (7)

令 A = Hx Hy

Sx Sy， b = -Ht-St，則有 A HS X HS= b HS，用高斯消去法可得解 X HS。

Hxu+Hyv+Ht=0

Ixu+Iyv+It=0 (8)

同理由式(8)可得解 X HI。

Sxu+Syv+St=0

Ixu+Iyv+It=0 (9)

由式(9)可得解 X SI。

2.3 利用小波變換改進(jìn)光流矢量場(chǎng)

由于利用上述算法計(jì)算視頻圖像的局部運(yùn)動(dòng)物體所生成的矢量場(chǎng)會(huì)產(chǎn)生隨機(jī)的誤差數(shù)據(jù)，如在圖像中的背景處會(huì)產(chǎn)生異常數(shù)據(jù)信息，從而影響矢量場(chǎng)的整體特征信息，所以為減少異常數(shù)據(jù)點(diǎn)對(duì)最終運(yùn)動(dòng)矢量值的影響，采用小波變換的方法在全局運(yùn)動(dòng)模型的估計(jì)中剔除掉受到局部物體運(yùn)動(dòng)影響而導(dǎo)致的異常數(shù)據(jù)信息。實(shí)驗(yàn)表明，取得較好的效果。

本文采用二維離散小波變換[10]對(duì)光流場(chǎng)的奇異矢量進(jìn)行了剔除。

為了將一維離散小波變換推廣到二維，只考慮尺度函數(shù)是可分離的情況，有:

Φ(x，y)=Φ(x)Φ(y) (10)

式中:Φ(x)是一維尺度函數(shù)，其相應(yīng)的小波為Ψ(x)。下列3個(gè)二維基本小波是建立在二維小波變換的基礎(chǔ)上的，有:

Ψ1(x，y)=Φ(x)Ψ(y)，Ψ2(x，y)=Φ(y)Ψ(x)，

Ψ3(x，y)=Ψ(x)Ψ(y) (11)

它們構(gòu)成二維平方可積函數(shù)空間L2(R2)的正交歸一基:

Ψlj，m，n (x，y) = 2jΨ1(x-2jm，y-2jn)，

j≥0;l=1，2，3; j，l，m，n∈ Z(12)

將此小波變換的方法代入改進(jìn)的HSI光流場(chǎng)方程中可得到本文的算法。

3 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)采用的視頻圖像序列為新西蘭Otago大學(xué)計(jì)算機(jī)視覺研究小組所采用的標(biāo)準(zhǔn)圖像測(cè)試序列。該圖像為300×400像素的真彩色圖像，取其中的第21和第22連續(xù)兩幀圖像作為研究對(duì)象，如圖1、圖2所示。

圖1 視頻第21幀圖像

圖2 視頻第22幀圖像

從圖1、圖2可以看出，圖像中的物體運(yùn)動(dòng)比較復(fù)雜，圖中的汽車是整體向左運(yùn)動(dòng)，樓房和地面的相對(duì)運(yùn)動(dòng)是正對(duì)攝像機(jī)的運(yùn)動(dòng)，攝像機(jī)也作由左至右的整體平移，屬于目標(biāo)與攝像機(jī)均移動(dòng)的情況。圖3為傳統(tǒng)的Horn-Schunck方法計(jì)算出的光流場(chǎng)矢量圖。圖4為選取H，S分量計(jì)算的彩色圖像光流場(chǎng)矢量圖。圖5為改進(jìn)后HSI彩色光流場(chǎng)的矢量圖，分別對(duì)改進(jìn)的光流方程中H，S，I三個(gè)分量的加權(quán)值選取0.4，0.2，0.4。圖6為利用小波變換改進(jìn)的HSI光流矢量場(chǎng)圖，較HS和HIS得到的光流特征明顯具有更好的精密效果。

圖3 Horn-Schunck光流場(chǎng)

圖4 基于HS分量的光流場(chǎng)

由圖3可以看出，傳統(tǒng)的Horn-Schunck光流估計(jì)算法所得光流場(chǎng)可大致顯示出運(yùn)動(dòng)區(qū)域，但不能清楚地顯示路面分界線的相對(duì)運(yùn)動(dòng)細(xì)節(jié)和小汽車的運(yùn)動(dòng)情況。圖4所示HS分量的光流算法存在較大的誤差，不能夠顯示路面的分界線。

圖5 改進(jìn)的HSI光流場(chǎng)

圖6 小波變換的彩色圖像光流

圖5利用改進(jìn)的HSI方法能夠較清晰地看到圖中物體的運(yùn)動(dòng)情況，光流場(chǎng)的精度與密度都較高，但由于攝像機(jī)的運(yùn)動(dòng)和噪聲的干擾會(huì)產(chǎn)生奇異矢量信息。圖6利用小波變換對(duì)改進(jìn)的HSI光流場(chǎng)中奇異矢量進(jìn)行剔除，也抑制了噪聲的干擾，從而得到視頻圖像的精密光流場(chǎng)。由此可以看出，本文提出的基于小波變換和HSI的改進(jìn)視頻光流場(chǎng)估計(jì)算法是一種有效的光流算法。

4 結(jié) 語

在傳統(tǒng)光流算法的基礎(chǔ)上，提出了一種在HSI顏色模型下結(jié)合小波變換計(jì)算彩色圖像光流場(chǎng)的方法。將傳統(tǒng)的灰度圖像光流估計(jì)方法與HSI顏色模型估計(jì)方法相結(jié)合，并且用小波變換的方法對(duì)光流矢量場(chǎng)的異常數(shù)據(jù)點(diǎn)或因?yàn)槠ヅ溴e(cuò)誤而產(chǎn)生的異常塊數(shù)據(jù)進(jìn)行剔除，從而有效提高了光流場(chǎng)估計(jì)精度及光流密度，實(shí)驗(yàn)證明，取得較好的效果。但由于是對(duì)彩色圖像進(jìn)行處理，需要經(jīng)過3次矩陣方程的迭代計(jì)算，因此比一般算法所需的計(jì)算成本要高。因此如何提高算法的快速性仍需深入研究。

參考文獻(xiàn)

[1]THOMAS A，KAMBHAMETTU C，GEIGER C A. Vector field resampling using local streamline approximation [C]. Proceedings of the 19th International Conference on Pattern Recognition. Florida:[ s.n.] ， 2008.

[2]SHU Qing-yu ， HATTORI Tetsuo. Face identification for people image with general background using vector phase field[J]. Industrial Technology， 2008: 1-5.

[3]NIKITIDIS Symeon，ZAFEIRIOU Stefanos， PITAS Ioannis. Camera motion estimation using a novel online vector field model in particle filters[J]. Circuits and Systems for Video Technology， 2008: 1028-1039.

[4]GOLLAND P， BRUCKSTEIN A M. Motion from color [J]. Computer Vision and Image Understanding， 1997， 68 (3):346-362.

[5]項(xiàng)學(xué)智，趙春暉，李康.一種彩色光流場(chǎng)估計(jì)算法[J].哈爾濱工程學(xué)報(bào)，2008，29(6):604-609.

[6]危水根，陳震，黎明.基于梯度光流場(chǎng)計(jì)算方法的一種改進(jìn)[J].計(jì)算機(jī)工程，2006(1):198-200.

[7]尤雋永，劉貴忠，李宏亮.一種快速魯棒的壓縮視頻光流估計(jì)算法[J].電子信息，2007，29(9):2154-2157.

[8]符寶鼎，袁建暢，郭彩霞.基于RGB顏色模型棉花雜質(zhì)的識(shí)別算法[ J] .北京紡織學(xué)報(bào)，2005(10):48-50.

[9]孫慧賢，張玉華，羅飛路.基于HSI顏色空間的彩色邊緣檢測(cè)方法研究[ J] .光學(xué)技術(shù)，2009，35(2):221-228.

[10]肖揚(yáng)，魯凌云，高爽，等.基于二維離散小波變換的智能交通系統(tǒng)數(shù)據(jù)去噪聲壓縮[ J] .北京交通大學(xué)學(xué)報(bào):自然科學(xué)版，2004，28(5):1-5.