李倩倩，劉彥隆

（太原理工大學(xué)通信與嵌入式實驗室，太原 030024）

先驗信息光流法在運動目標(biāo)檢測中的應(yīng)用

李倩倩，劉彥隆

（太原理工大學(xué)通信與嵌入式實驗室，太原 030024）

針對運動目標(biāo)的智能跟蹤檢測提出一種基于先驗信息的光流檢測法。首先，通過利用區(qū)域生長法獲取的道路先驗信息并結(jié)合幀差法確定運動目標(biāo)的大致范圍。其次，采用光流法對處理后的圖像進(jìn)行分割，并由形態(tài)學(xué)方法對進(jìn)行圖像處理后檢測出運動目標(biāo)。最后，基于MATLAB平臺對其進(jìn)行仿真計算。結(jié)果表明，該方法克服了傳統(tǒng)光流法在運動目標(biāo)檢測中易受干擾的問題，并為軍事人員對運動目標(biāo)跟蹤檢測提供了有效的輔助。

運動目標(biāo)智能跟蹤檢測，光流法，區(qū)域生長，先驗信息，MATLAB

0 引言

運動目標(biāo)智能跟蹤檢測技術(shù)是一種對監(jiān)控視頻中運動目標(biāo)的狀況進(jìn)行跟蹤檢測、統(tǒng)計和分析的技術(shù)。通過運動目標(biāo)智能跟蹤檢測技術(shù)不僅可以鎖定軍事偵察領(lǐng)域內(nèi)的地面運動目標(biāo)，還可以對當(dāng)前環(huán)境狀況進(jìn)行分析、判斷，因此，被廣泛研究。

傳統(tǒng)光流法對運動目標(biāo)進(jìn)行檢測存在一些不足。例如：光照的變化會引起光流場的變化，導(dǎo)致檢測環(huán)境存在大量干擾信息。所以分析運動目標(biāo)所在的環(huán)境、道路結(jié)構(gòu)對目標(biāo)的檢測有著重要的作用。因此，結(jié)合道路結(jié)構(gòu)及其先驗信息對運動目標(biāo)進(jìn)行檢測，可以達(dá)到去除干擾的目的。

本文提出了一種結(jié)合先驗信息的光流檢測方法，該方法在車輛智能跟蹤過程中，首先應(yīng)用區(qū)域生長法獲取的道路先驗信息初步確定運動目標(biāo)的大致范圍的方法，其次利用光流法對運動的目標(biāo)進(jìn)行檢測與處理。通過上述方法可以有效地解決傳統(tǒng)光流法在現(xiàn)實應(yīng)用中易受道路環(huán)境干擾的問題。

1 光流法檢測原理

傳統(tǒng)光流法的基本思想是三維空間運動的目標(biāo)，其三維速度矢量在投影平面上具有二維速度場矢量。此二維速度場不僅包含著被觀察物體的運動信息，而且包含著相關(guān)景物的三維結(jié)構(gòu)信息。在二維投影面上通過求解光流方程，找到二維速度矢量場，進(jìn)而重構(gòu)出三維物體的運動信息，并最終檢測出運動目標(biāo)。

圖1 中以x，y，z為坐標(biāo)系的三維空間中的物體A在以h，v為坐標(biāo)系的二維空間中具有相應(yīng)的投影圖像B，當(dāng)空間中的三維物體A運動時，二維平面上投影的圖像B也相應(yīng)產(chǎn)生運動矢量。當(dāng)存在于三維空間中的物體A以位移矢量d1從位置a1移動到a2點時，在二維投影面的投影B也以運動矢量d2由b1移動到b2，這個位置的相對變化矢量d2就是光流。

給二維圖像中的每一個像素點賦予一個速度矢量，形成一個光流矢量場［1］。每幀視頻可以看作是一幅圖像，引入時間點則像素點P（x，y）的灰度值為I（x，y，t），時間點t+Δt的視頻幀為I（x，y，t+ Δt），當(dāng)Δt→0，則可以認(rèn)為這兩幀中對應(yīng)的像素點灰度不變。圖像的光流場包含兩個分量，引入光流的平滑性約束：

利用松弛迭代方程進(jìn)行求解，令平滑約束項得到最小值，就可以得到該幅圖像的光流場［2］：

圖像運動以一個像素點為中心的窗口Ω為范圍，小空間領(lǐng)域Ω內(nèi)圖像的光照是連續(xù)的，光流方程在像素點周圍的窗口Ω內(nèi)均是成立的。假設(shè)在小空間領(lǐng)域Ω上運動矢量保持恒定，使用加權(quán)最小二乘法估計光流。則在小空間領(lǐng)域Ω上，光流估計誤差為：

其中W（x）是窗口權(quán)重函數(shù)，其使得鄰域的中心部分對約束產(chǎn)生的影響比外圍部分更大。設(shè)：

誤差的解可以由式（7）給出：

在某個特定的時刻t的n個點xi∈Ω，有：

于是：

在實際應(yīng)用中對運動目標(biāo)利用光流法進(jìn)行檢測時，由于道路上存在大量的標(biāo)志信息如保護(hù)桿、道路白線等，導(dǎo)致當(dāng)前幀圖像梯度計算較大，使得運動目標(biāo)與干擾物的光流信息無法被分辨，從而無法將運動目標(biāo)與背景圖像區(qū)分開來。理論上，傳統(tǒng)光流法不需要預(yù)先知道場景的任何信息即可檢測出運動目標(biāo)，同時可以很精確地計算出運動目標(biāo)的速度、方向等運動信息。但傳統(tǒng)光流法的缺點在于當(dāng)外部照明條件發(fā)生變化（如室外云彩遮擋天氣變化、室內(nèi)照明變化等），即使目標(biāo)沒有處于運動狀態(tài)，仍然有光流產(chǎn)生。類似的噪聲嚴(yán)重影響了光流法的精確度。另外，光流法所采用的迭代算法計算量大、算法復(fù)雜，相應(yīng)的硬件條件要求也非常高。

圖2 展示了傳統(tǒng)光流法處理道路上運動目標(biāo)的效果。在道路白線、保護(hù)桿等處由于圖像梯度較大，形成了明顯且數(shù)量眾多的干擾信息，在圖2中出現(xiàn)的干擾性極強(qiáng)的光流信號，嚴(yán)重影響了目標(biāo)的識別?？梢娫谶\動目標(biāo)檢測中直接應(yīng)用光流算法存在著明顯不足。

3 結(jié)合先驗信息的運動目標(biāo)智能檢測法

針對運動目標(biāo)檢測應(yīng)用時直接運用傳統(tǒng)光流算法產(chǎn)生的道路信息干擾，本文提出了結(jié)合先驗信息的運動目標(biāo)檢測方法，將運動目標(biāo)運行的道路結(jié)構(gòu)化信息作為先驗信息檢測出來，利用感興趣區(qū)域代替整幀圖像進(jìn)行光流計算，達(dá)到減少干擾的目的。算法的流程如圖3所示：

3.1 區(qū)域生長算法提取道路信息

結(jié)構(gòu)性道路信息主要是指道路上的標(biāo)識白線以及道路的邊界等，提取信息可以通過樣本訓(xùn)練的方法訓(xùn)練出道路的描述信息，總結(jié)出一種符合人類視覺的知識規(guī)則以達(dá)到獲取道路信息的目的。

使用區(qū)域生長算法提取道路信息，是一種基于特征級別的提取算法，從圖像特征角度出發(fā)，提取出道路信息［3］?？紤]運動目標(biāo)行駛的特點，利用運動目標(biāo)前部的影像作為種子區(qū)，利用圖像特征進(jìn)行區(qū)域增長，最終獲取整幅圖像的道路信息。區(qū)域生長過程中對于閾值的選取決定了道路提取的精度，由于道路環(huán)境十分復(fù)雜，選取固定的閾值全局提取道路信息是一個很大的挑戰(zhàn)。為了保證道路提取的準(zhǔn)確性，加入相鄰幀的視頻信息，將獲取的道路信息進(jìn)行特征融合，最終確定道路區(qū)域［4］。其算法流程圖如圖4所示。

區(qū)域生長［5］是將整幅圖像看作是一個整體區(qū)域R，選取種子點通過區(qū)域生長的方法。區(qū)域生長將R分成若干個子區(qū)域R1，R2，…，Rn，具有如下特征：

3.2 幀差法提取車道信息

分析監(jiān)控視頻運動目標(biāo)運行的區(qū)域主要集中在視頻的三角區(qū)域，確定運動目標(biāo)所在的區(qū)域可以進(jìn)一步摒除道路信息產(chǎn)生的干擾，如圖5所示。藍(lán)線之外的區(qū)域均為道路的結(jié)構(gòu)性信息，藍(lán)線之內(nèi)的區(qū)域是運動目標(biāo)運行的區(qū)域，考慮到藍(lán)線內(nèi)的道路信息可以由區(qū)域生長算法提取出來，完全可以消除，在這里可以不作考慮。

幀差圖像可以檢測到兩幀視頻中的變化，根據(jù)變化提取出目標(biāo)所在區(qū)域，該變化可以反應(yīng)運動目標(biāo)的運動歷程［7］。根據(jù)幀差圖像可以大致分辨出運動目標(biāo)的位置，并且簡單地估計運動方向。I（x，y，t）表示為視頻序列在t時刻的圖形幀，I'（x，y，t+1）表示視頻序列在t+1時刻的圖像幀，即I幀的下一幀。I'也可以選擇與I幀非相鄰的圖像幀。幀差圖像D（x，y，t）定義為：

如果像素點的絕對值差大于某一個閾值，判斷其為運動目標(biāo)的一部分保留；反之，如果小于此閾值則被認(rèn)為是背景而被去除。I（x，y）為視頻中某幀圖像的灰度值集合，假設(shè)其灰度級L，則視頻某幀圖像的灰度值取值范圍為［0，L-1］?；叶戎礣為二值化閾值，則圖像被分成兩個部分，即運動目標(biāo)obj∈{I（x，y）≤T}和背景back∈{I（x，y）≥T}。為了得到較好的分割效果，必須使目標(biāo)與背景的類內(nèi)方差σ1、σ2最小，同時目標(biāo)與背景類間方差σ12最大。

具體計算公式如下：

方差實質(zhì)就是灰度分布均勻程度的一種度量方法。類內(nèi)方差值越大說明在此閾值下分割后的目標(biāo)與背景的差別就越大，分割效果就越好。類間方差反應(yīng)的是目標(biāo)與背景錯誤劃分的程度，類間方差越小，則說明錯誤劃分的概率最小。利用此方法自適應(yīng)選擇閾值，可以使圖像找到最佳的閾值從而達(dá)到比較好的分割效果。

由此區(qū)分、確定圖像序列中運動目標(biāo)的大致位置［7］，如圖6所示。

4 實驗結(jié)果分析與討論

本文在MATLAB平臺上搭建了運動目標(biāo)的智能檢測系統(tǒng)。通過對傳統(tǒng)光流法以及先驗信息的光流法進(jìn)行比較，分別從區(qū)域生長、幀差法、形態(tài)學(xué)圖像處理等幾個方面對其進(jìn)行優(yōu)化，具體步驟如下：

首先通過區(qū)域生長的方法得到道路的先驗信息。本文采用前三幀圖像進(jìn)行道路區(qū)域的確認(rèn)，其結(jié)果如圖7所示，通過區(qū)域生長算法將先驗信息提取了出來，從中能明顯辨識出現(xiàn)實條件下道路的主要干擾信息，如車道線、護(hù)欄等。

其次進(jìn)行圖像差值處理，幀差法得到的幀間差值圖像如圖8所示，這些差值圖像大致確定了運動目標(biāo)的位置。然而在圖像中車道線和護(hù)欄位置明顯存在干擾信息，在之后的步驟中這些干擾信息將會結(jié)合先驗信息被有效剔除。

在結(jié)合了利用區(qū)域生長法獲取的道路先驗信息和幀差法初步確定運動目標(biāo)大致范圍的方法之后，對圖像進(jìn)行光流法處理，得到如圖9的結(jié)果。對比直接運用光流法得到的結(jié)果，運用改進(jìn)后的方法得到光流場中的干擾因素得到了有效抑制與減少，使得光流法在運動目標(biāo)智能檢測的應(yīng)用中具有了現(xiàn)實應(yīng)用價值。

由圖9可以很直觀地看到，傳統(tǒng)光流法對每幀圖像的識別，存在較多的干擾點，在運動物體數(shù)量比較多的情況下，干擾點也呈現(xiàn)塊狀分布，嚴(yán)重影響接下來的數(shù)據(jù)分析處理。而經(jīng)過先驗信息，干擾點明顯減少，個別干擾點也呈離散分布，非常容易剔除。

下頁表1列出了傳統(tǒng)光流法和先驗信息光流法在數(shù)據(jù)識別中的對比。第1幀圖像為在沒有運動物體經(jīng)過時的圖像，識別出的數(shù)據(jù)點大致相同，第2幀是有少量物體經(jīng)過時，先驗信息后可把干擾點有效去除，得到有效數(shù)據(jù)點的數(shù)量為傳統(tǒng)光流法的一半；第101幀是有多個物體經(jīng)過時的識別效果；先驗信息光流法平均識別點數(shù)比傳統(tǒng)光流法減少大約35%，對運動物體的識別正確率提高約40%，改進(jìn)效果非常明顯。

然后對光流場進(jìn)行形態(tài)學(xué)處理，如圖10（a）所示。由圖10（a）可知，對圖像進(jìn)行形態(tài)學(xué)處理后，可以將目標(biāo)所在區(qū)域很好地標(biāo)記出來。最后對目標(biāo)進(jìn)行識別圈定如圖10（b）所示，至此完成運動目標(biāo)智能跟蹤檢測功能。

5 結(jié)束語

本文在運動目標(biāo)智能檢測領(lǐng)域提出了一種結(jié)合先驗信息的光流檢測方法。該方法首先利用區(qū)域生長法獲取的道路先驗信息，同時結(jié)合幀差法初步確定運動目標(biāo)的大致范圍，再通過光流法進(jìn)行運動目標(biāo)跟蹤檢測。通過實驗證明了此方法提高運動目標(biāo)檢測的準(zhǔn)確率，增強(qiáng)了光流算法魯棒性，同時對軍事偵查領(lǐng)域中的地面車輛及坦克的實時檢測和報警有著重要的應(yīng)用價值。

［1］Horn B K，Schunck B G.Determining Optical Flow［C］// Technical Symposium East.International Society for Optics and Photonics，1981.

［2］Beauchemin S S，Barron J L.The Computation of Optical Flow［J］.ACM Computing Surveys（CSUR），1995，27（3）: 433-466.

［3］Pavlidis T，Liow Y T.Integrating Region Growing and Edge Detection［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，1990，12（3）:225-233.

［4］林麗群，肖俊.結(jié)合先驗知識和圖像特征的道路提取方法［J］.計算機(jī)工程與應(yīng)用，2012，47（33）:236-239.

［5］魏國劍，侯志強(qiáng)，李武，等.融合顏色不變量的彩色圖像光流估計算法［J］.電子與信息學(xué)報，2013，35（5）:12.

［6］楊亞東.光流法在運動目標(biāo)識別領(lǐng)域的理論與應(yīng)用［J］.電子設(shè)計工程，2013，21（5）:24-26.

［7］Otsu N.A Threshold Selection Method from Gray-level Histograms［J］.Automatic，1975，11（285-296）:23-27.

Based on Optical Flow Method with Priori Information in the Application of Detecting Moving Target Tracking

LI Qian-qian，LIU Yan-long
（Communication and Embedded System Lab，Taiyuan University of Technology，Taiyuan 030024，China）

The paper proposes an improved method that based on optical flow algorithm in moving target tracking detection application.Firstly，it obtain the road priori information which use region growing method and range of moving target which through frame difference algorithm.Secondly，target moving objects is detected that through optical flow algorithm and morphological processing.Finally，through MATLAB platform simulation reveals that the new method overcomes interference problem in moving target detection that exist traditional optical flow method.Meanwhile it is provides the effective auxiliary for military.

moving target tracking，optical flow，priori information，region grow，MATLAB

TP391

A

1002-0640（2015）10-0156-05

2014-08-20

2014-10-10

李倩倩（1987- ），女，山東龍口人，碩士。研究方向：數(shù)字圖像處理。