(濟(jì)南大學(xué) a.信息科學(xué)與工程學(xué)院，b.山東省網(wǎng)絡(luò)環(huán)境智能計算技術(shù)重點實驗室，c.山東省“十三五”高校信息處理與認(rèn)知計算重點實驗室,山東 濟(jì)南 250022)

運動目標(biāo)檢測是計算機視覺領(lǐng)域內(nèi)的一個重要研究課題[1-3]，其中具有偽裝色的運動目標(biāo)檢測是研究的難點之一。偽裝色運動目標(biāo)是一類在視覺上具有偽裝特性的運動目標(biāo)，其顏色、亮度、紋理等與所處的變化的環(huán)境非常類似，不易被察覺和發(fā)現(xiàn)，難以檢測。研究偽裝色運動目標(biāo)檢測對軍事偵察、視頻監(jiān)控等領(lǐng)域具有重要意義[4-5]。

動態(tài)背景下的偽裝色運動目標(biāo)檢測是視頻監(jiān)控的關(guān)鍵，這類運動目標(biāo)的顏色或紋理與變化的背景之間的差別往往不明顯。大多數(shù)研究是利用傳統(tǒng)的背景差分法檢測動態(tài)背景中的運動目標(biāo)，但該方法不適用于偽裝色運動目標(biāo)的檢測[6-7]。背景差分法的基本思想是首先建立背景模型，然后利用前景與背景之間的某種差別，例如顏色分布或紋理的不一致來檢測運動目標(biāo)。當(dāng)目標(biāo)的色彩、紋理等屬性在視覺上與變化的背景特別相似時，這類運動目標(biāo)的檢測效果就會非常不理想。

目前關(guān)于偽裝色目標(biāo)檢測的相關(guān)研究較少。李金屏等[8]通過對偽裝色運動目標(biāo)所經(jīng)歷運動區(qū)域的像素灰度值和色彩值變化規(guī)律進(jìn)行分析(簡稱像素值變化規(guī)律方法)，得到判定存在偽裝色目標(biāo)的條件是規(guī)律呈現(xiàn)異常變化，但是這個判定條件不適用于檢測視頻中背景發(fā)生較大變化時(如場景中風(fēng)速很大)的偽裝色運動目標(biāo)。Li等[9]根據(jù)目標(biāo)與背景在波段紅外高光譜的差別來檢測部分偽裝色運動目標(biāo)，但此方法所需檢測儀硬件成本較高，難以普及使用。文獻(xiàn)[10-12]中主要從稀疏光流場的角度出發(fā)來檢測運動目標(biāo)(簡稱稀疏光流場分割方法)，由于稀疏光流場在提取圖像特征角點過程中容易提取大量的偽角點，因此難以準(zhǔn)確地檢測出偽裝色運動目標(biāo)。

為了解決上述問題，本文中提出稠密光流場分割方法(簡稱本文方法)。該方法首先利用稠密逆搜索(DIS)光流算法[13]計算圖像所有像素點的光流矢量信息，得到當(dāng)前圖像的光流場，然后分析光流場中光流信息的變化，如光流大小與方向，最后結(jié)合K-均值算法分割光流場，進(jìn)而提取出偽裝色目標(biāo)。DIS光流算法基于逆向搜索與梯度下降思想實現(xiàn)光流移動估算，不但降低了時間復(fù)雜度，而且提升了計算精度。下面分析該方法的可行性以及具體的檢測流程。

1 偽裝色目標(biāo)的運動規(guī)律分析及其光流特點

偽裝色運動目標(biāo)的外在顏色、形態(tài)、紋理等統(tǒng)計特征與所處環(huán)境的對應(yīng)特征極其相似，這種與背景相近、極具偽裝性的目標(biāo)就是我們的研究重點。圖1為偽裝色運動目標(biāo)示例，其中包括部隊士兵在作戰(zhàn)時會將自己偽裝成不易被察覺的背景顏色(圖1(a))，以及在現(xiàn)實生活中較為常見的草叢中的螞蚱(圖1(b))。

(a)作戰(zhàn)中的士兵

(b)草叢中的螞蚱圖1 偽裝色運動目標(biāo)示例圖

1.1 偽裝色目標(biāo)的運動規(guī)律分析

由圖1可知，具有偽裝特性的運動目標(biāo)在視覺上與背景十分相近，以致人眼很難將其與背景區(qū)分；在圖像上表現(xiàn)為目標(biāo)的色彩值、紋理與背景非常類似，以致在提取背景與偽裝色運動目標(biāo)數(shù)據(jù)上的差別具有一定的難度，因此可以通過研究視頻中偽裝色運動目標(biāo)的運動規(guī)律來檢測偽裝色運動目標(biāo)。

通過研究視頻中偽裝色運動目標(biāo)的運動規(guī)律，發(fā)現(xiàn)具有偽裝特性的目標(biāo)潛伏于動態(tài)的背景之中，常常會為達(dá)到其目的而有所異動，從而導(dǎo)致目標(biāo)與背景的運動規(guī)律不同。在一定范圍內(nèi)，偽裝色運動目標(biāo)的運動具有連續(xù)性，運動方向較穩(wěn)定且運動方式較一致，而背景的運動往往具有隨機性，運動方向較不穩(wěn)定且運動方式多變。

1.2 偽裝色目標(biāo)的光流特點

光流是一種重要的運動估計方法，可描述圖像中像素間的相對運動信息[14]。偽裝色運動目標(biāo)與背景之間宏觀上的運動差異信息可以利用光流進(jìn)行描述。通過光流法計算得到視頻相鄰2幀之間的運動光流場后，可以發(fā)現(xiàn)偽裝色運動目標(biāo)與背景間的運動規(guī)律在光流場中的特點是不同的。

對一個完整的運動目標(biāo)而言，偽裝色運動目標(biāo)的運動具有連續(xù)性的特點，其光流的運動規(guī)律具有相似性，在一個較短的時間間隔內(nèi)的速度矢量保持一致，尤其在速度方向上保持穩(wěn)定，可以定量分析。相比之下，背景的運動方向多變，不可人為控制，其光流的運動規(guī)律不易描述，在一個較短的時間間隔內(nèi)速度矢量不穩(wěn)定，速度方向上不能保持穩(wěn)定的方向，且不能定量分析。實驗表明，通過分析偽裝色運動目標(biāo)與背景的光流特點來檢測偽裝色運動目標(biāo)確實是一種有效、可行的方法。

2 算法設(shè)計

利用光流法可計算出相鄰2幀圖像間的光流場，背景和偽裝色運動目標(biāo)往往會同時發(fā)生運動，所得到的光流場包含了偽裝色運動目標(biāo)和背景的光流，為了提取出偽裝色運動目標(biāo)還需要進(jìn)一步對所得到的光流場進(jìn)行分割。圖2為稠密光流場分割算法流程圖。

圖2 稠密光流場分割算法流程圖

2.1 稠密光流估計

光流是空間運動物體在觀察成像平面上像素運動的瞬時速度，包含了物體的運動信息。光流估計是求解相鄰2幀圖像間的同一像素點位移矢量的過程。光流場是圖像中的所有像素運動的二維瞬時速度場，光流場計算遵循亮度守恒模型，假定像素點發(fā)生位移之后像素強度或灰度值不發(fā)生變化。給定一幅圖像，其中，I(x,y,t)表示像素點(x,y)在t時刻的灰度值，I(x,y,t+1)表示同一像素點在t+1時刻的灰度值，像素點偏移量為(u,v)，則亮度守恒模型可表示為

I(x,y,t)=I(x+u,y+v,t+1)。

(1)

由亮度守恒模型可推出光流約束方程

Ixu+Iyv+It=0，

(2)

式中：u=dx/dt,v=dy/dt，分別為像素點沿x和y方向上的分量；Ix、Iy、It分別為灰度值I對x、y和t的偏導(dǎo)數(shù)。

由于稀疏光流法對特征角點的依賴性較強，提取的特征角點往往存在大量偽特征角點，因此采用Kroeger等[14]提出的一種在光流質(zhì)量和計算時間中取得平衡的算法，光流計算精度高且計算時間復(fù)雜度低。該算法對圖像中所有像素點進(jìn)行光流計算得到稠密光流場，利用圖像亮度守恒模型構(gòu)建梯度約束方程，以此為基礎(chǔ)，通過對光流約束方程添加不同程度的約束條件進(jìn)行光流求解。

為了使光流求解結(jié)果可靠、有效，光流計算要求一個更為精細(xì)化的變分模型。變分模型通常是由常值假設(shè)的數(shù)據(jù)項和平滑項構(gòu)成的能量泛函。DIS光流計算的能量泛函方程可表示為

(3)

式中：U為稠密光流場；EI、EG分別為原始圖像數(shù)據(jù)隨時間變化不滿足亮度恒等關(guān)系、梯度恒等關(guān)系時的誤差函數(shù)；ES表示先驗項，描述光流場變化不滿足先驗恒等關(guān)系時的誤差函數(shù)；φ(EI)、φ(EG)、φ(ES)分別為基于懲罰函數(shù)φ(a2)(a=EI、EG、ES)的亮度數(shù)據(jù)項、梯度數(shù)據(jù)項和平滑項；σ、γ、α為權(quán)重，用于調(diào)節(jié)亮度數(shù)據(jù)模型與梯度數(shù)據(jù)模型和平滑項之間的相對作用程度。

懲罰函數(shù)的表達(dá)式為

(4)

式中ε為經(jīng)驗數(shù)，為了防止輸出值為0，本文中取值為0.001。

2.2 可視化光流場

為了判斷光流算法的有效性，分析算法的應(yīng)用場景通常需要對計算出的光流場進(jìn)行可視化處理。光流場可視化的重點在于以直觀的方式顯示出視頻圖像間的光流信息。光流場有多種顯示方案，通常以灰度顯示和彩色顯示為主，但是，灰度顯示不能直觀表示光流方向，相比之下，彩色顯示是用顏色表示光流場，人眼對其分辨能力更強，且包含更豐富的信息。為此，我們通過DIS光流算法計算出光流(視頻序列圖像中每個像素的位移和方向)，將光流場轉(zhuǎn)換到色調(diào)飽和度明度(HSV)空間中顯示，光流的不同數(shù)值可用不同顏色來區(qū)分，色斑顏色深淺代表物體運動速率，黑色代表物體沒有發(fā)生運動。光流場分割后可視化效果如圖3所示。

2.3 光流場分割算法

光流場分割是基于光流法檢測目標(biāo)的關(guān)鍵技術(shù)。通過計算得到的光流場，可知運動目標(biāo)與背景間的運動規(guī)律在光流場中的體現(xiàn)是不同的。根據(jù)運動分布規(guī)律，不同目標(biāo)像素點運動不同，同一目標(biāo)像素點運動相似，因此，可將目標(biāo)圖像的各像素點根據(jù)其光流幅值和方向信息劃分到不同的運動區(qū)域中，采用K-均值聚類算法實現(xiàn)光流場的分割，保證分割的準(zhǔn)確性。

(a)作戰(zhàn)士兵潛伏

(b)士兵可視化結(jié)果

(c)變色龍爬行

(d)變色龍可視化結(jié)果圖3 光流場分割后可視化效果圖

2.3.1 光流矢量的提取

在一個較短的時間內(nèi)，偽裝色運動目標(biāo)中每個像素點的光流矢量可以很好地反映其運動的連續(xù)性，其中光流矢量的幅值反映運動的速度特性，光流矢量的方向反映運動的主方向。通過分析每個像素點的運動變化強度，可以將偽裝色運動目標(biāo)與背景中運動物體進(jìn)行區(qū)分。

在采用K-均值聚類算法時可選取像素點的位置及其光流幅值m、光流方向θ作為特征矢量，即pi=(xi,yi,mi,θi)，xi、yi為圖像Ii中第i個像素點的位置坐標(biāo)，mi為第i個像素點運動到第Ij+1幀中的距離，即像素點i的位移；θi為圖像中同一像素點i在2幀圖像間的角度，即像素點i的運動方向。設(shè)Δx、Δy分別為Ii中像素點運動到Ij+1中的x、y方向的偏移量，則mi和θi的計算公式為

(5)

θi=arctan(Δy/Δx)。

(6)

當(dāng)計算得到像素點的幅值和方向后，將光流幅值m和方向θ歸一化為0～255之間的整數(shù)值，并利用方向-幅值直方圖閾值技術(shù)確定初始聚類中心，完成光流場分割。

用Tm(i)、Tθ(j)表示光流幅值和光流方向直方圖，tm、tθ表示光流幅值為m和光流方向為θ的像素點數(shù)量，i和j分別為幅值、方向峰值的數(shù)量，因此方向-幅值直方圖可形式化為

Tm(i)=tm，

(7)

Tθ(j)=tθ。

(8)

對應(yīng)的光流幅值和光流方向峰值集合為Pm=(p1,p2,…,pi)和Pθ=(p1,p2,…,pj)。聚類中心的初始化步驟如下。

1)生成所有可能的聚類中心。聚類中心分別取自Pm、Pθ。

2)利用歐式距離函數(shù)計算像素點到各聚類中心的距離，根據(jù)就近原則形成新一個聚類集合。

3)再次遍歷上一步形成的聚類中心，當(dāng)像素點數(shù)小于閾值t的聚類中心時，去除此聚類中心(t通常為(0.006～0.008)M，M為圖像像素點總數(shù))。

4)再一次分配每個像素點距離它最近的聚類中心。

5)重復(fù)步驟2)再次更新像素的集合和聚類中心。

2.3.2 光流場分割算法

基于K-均值聚類算法的光流場分割算法步驟如下。

2)更新類。當(dāng)?shù)趌次時，計算所有像素點與聚類中心的距離，并按照最小距離原則將像素點歸入距離最小的那一類，距離函數(shù)為

(9)

3)計算新的聚類中心。在更新完成類時，利用類內(nèi)元素均值計算出新的聚類中心。

3 實驗結(jié)果與分析

為了驗證算法的有效性和實用性，使用隨機存儲器為12 GB、主頻為2.4 GHz的Inteli7-5550U處理器，在VS2015+OpenCV4.0環(huán)境下實現(xiàn)上述算法。

3.1 實驗數(shù)據(jù)

從網(wǎng)上選取26段具有代表性的視頻序列作為數(shù)據(jù)進(jìn)行實驗，其中有20段視頻為士兵手持槍在茂密的樹林中潛伏運動，有6段視頻為變色龍在樹枝上爬行運動，茂密的樹葉與變色龍顏色相近，如圖4所示。這些視頻的幀尺寸是430像素×270像素，幀速率是25 s-1，每段視頻共有500幀左右。

3.2 結(jié)果分析

選用稀疏光流場分割方法和本文方法進(jìn)行比較，就實驗視頻序列1(茂密的樹葉與變色龍顏色相近，變色龍在樹枝上爬行運動序列)、實驗視頻序列2(樹林作為背景，士兵手持槍潛伏運動序列)的檢測效果、檢測準(zhǔn)確率和平均檢測時間進(jìn)行對比分析。

(a)作戰(zhàn)士兵潛伏(b)作戰(zhàn)士兵步行(c)作戰(zhàn)士兵持槍(d)變色龍爬行圖4 具有代表性的部分視頻數(shù)據(jù)集

圖5、6分別為2種不同方法對視頻序列1、2的運動目標(biāo)檢測結(jié)果。圖5、6中的(a)、(b)為視頻相鄰2幀圖像，(c)為稀疏光流場分割方法檢測結(jié)果，(d)為本文方法檢測結(jié)果。就目標(biāo)完整性而言，與稀疏光流場分割方法相比，本文方法檢測結(jié)果更好。

稀疏光流場分割方法利用Lucas-Kanade(LK)光流法計算特征點光流，容易受噪聲影響，導(dǎo)致提取的角點存在大量偽角點，使得檢測結(jié)果存在較大誤差，因此目標(biāo)內(nèi)多數(shù)像素點被誤檢為背景，檢測效果不理想。本文方法使用DIS光流算法計算所有像素點的光流矢量并對光流矢量進(jìn)行聚類，光流計算精度高，檢測效果好。

為了驗證本文方法對偽裝色運動目標(biāo)檢測準(zhǔn)確率和平均檢測時間，本文中對比了使用像素值變化規(guī)律方法、稀疏光流場分割方法和本文方法進(jìn)行偽裝色運動目標(biāo)檢測的結(jié)果，采用檢測準(zhǔn)確率Acc、錯誤率R對檢測結(jié)果進(jìn)行比較，即

(a)士兵潛伏運動第32幀(b)士兵潛伏運動第33幀(c)Lucas-Kanade光流法檢測結(jié)果(d)稠密光流場分割方法檢測結(jié)果圖6 士兵手持槍潛伏運動序列檢測效果

(10)

式中：Acc為正確檢測偽裝色運動目標(biāo)的概率；R為將非偽裝色運動目標(biāo)檢測為偽裝色運動目標(biāo)的概率；假設(shè)某時間段內(nèi)存在偽裝色運動目標(biāo)，TP表示檢測到偽裝色運動目標(biāo)，F(xiàn)N表示未檢測到偽裝色運動目標(biāo)；假設(shè)某時間段內(nèi)不存在偽裝色運動目標(biāo)，F(xiàn)P表示檢測到偽裝色運動目標(biāo),TN表示未檢測到偽裝色運動目標(biāo)。

利用本文方法測試了20個視頻，并且每個實驗進(jìn)行5次，實驗結(jié)果均取平均值(見表1)。由表可知，使用像素值變化規(guī)律方法得到的偽裝色運動目標(biāo)的檢測準(zhǔn)確率最低，平均檢測時間較長；使用稀疏光流場分割方法得到的偽裝色運動目標(biāo)的準(zhǔn)確率較像素值變化規(guī)律方法有所提升，平均檢測時間較短；使用本文方法得到的偽裝色運動目標(biāo)的準(zhǔn)確率最高，且平均檢測時間最短。

表1 不同方法檢測偽裝色運動目標(biāo)的結(jié)果對比

4 結(jié)語

本文中以偽裝色運動目標(biāo)為研究對象，由于目標(biāo)處于運動狀態(tài)，且具備自己的運動速度和運動方向，并且在一個較小的時間間隔內(nèi)保持穩(wěn)定，相比之下，背景的運動規(guī)律不易描述，在一個較短的時間內(nèi)其運動規(guī)律不明確，尤其是在速度方向上，因此圍繞目標(biāo)運動與背景差別的這一特征，采取DIS光流算法計算出整個視頻序列的運動光流場，然后根據(jù)目標(biāo)與背景運動規(guī)律的差別對光流場使用K-均值算法進(jìn)行聚類，進(jìn)而提取興趣目標(biāo)。實驗結(jié)果表明，本文方法可以有效檢測偽裝色運動目標(biāo)。

由于光流法攜帶運動目標(biāo)的運動信息，能夠在場景任何信息未知的情況下檢測出運動對象，因此是檢測偽裝色運動目標(biāo)的有效方法。相對而言，DIS光流算法對于天空無紋理、地面弱紋理等場景中的目標(biāo)檢測效果不是很理想，接下來將圍繞此問題展開深入研究。