羅 航 楊華高

(海軍駐景德鎮(zhèn)地區(qū)航空軍事代表室 景德鎮(zhèn) 333002)

?

基于序列圖像的目標(biāo)感興趣區(qū)自動(dòng)提取研究*

羅 航 楊華高

(海軍駐景德鎮(zhèn)地區(qū)航空軍事代表室 景德鎮(zhèn) 333002)

論文在分析傳統(tǒng)目標(biāo)檢測(cè)算法的基礎(chǔ)上，將背景差分法、幀差法相融合，提出了一種基于差分融合的目標(biāo)檢測(cè)算法，應(yīng)用于靜態(tài)場(chǎng)景序列圖像目標(biāo)感興趣區(qū)自動(dòng)提??；提出了基于QP_TR域圖像對(duì)準(zhǔn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，應(yīng)用到平移運(yùn)動(dòng)平臺(tái)下序列圖像感興趣區(qū)自動(dòng)提取，經(jīng)實(shí)驗(yàn)驗(yàn)證上述算法具有較好的針對(duì)性，取得了良好的效果。

直升機(jī); 感興趣區(qū); 作戰(zhàn)仿真

Class Number TP391

1 引言

現(xiàn)階段無(wú)人機(jī)、預(yù)警直升機(jī)紅外導(dǎo)引頭的感興趣區(qū)域編碼技術(shù)主要是基于單幀(幅)圖像，然而實(shí)際過(guò)程中，獲取的信息通常是序列圖像形式。本文將探討基于序列圖像的感興趣區(qū)自動(dòng)提取問(wèn)題。從軍事應(yīng)用角度出發(fā)，序列圖像中的感興趣區(qū)即是運(yùn)動(dòng)目標(biāo)所在的區(qū)域。因此序列圖像的感興趣區(qū)提取過(guò)程實(shí)質(zhì)上就是運(yùn)動(dòng)目標(biāo)檢測(cè)、運(yùn)動(dòng)目標(biāo)區(qū)域提取這兩個(gè)過(guò)程。

現(xiàn)有的運(yùn)動(dòng)目標(biāo)定位方法主要有三類(lèi)：光流法[1]、幀差法和背景差分法。光流法抗噪性能差，在沒(méi)有特殊硬件支持的條件下很難滿(mǎn)足實(shí)時(shí)性要求[2]，本文不對(duì)其作研究和討論。在研究背景差分法、幀差法等傳統(tǒng)目標(biāo)檢測(cè)算法的基礎(chǔ)上，重點(diǎn)研究靜態(tài)和動(dòng)態(tài)場(chǎng)景下目標(biāo)檢測(cè)算法問(wèn)題。通過(guò)目標(biāo)提取之后，可直接應(yīng)用圖像投影技術(shù)，生成目標(biāo)感興趣區(qū)，不在贅述。

2 傳統(tǒng)的目標(biāo)檢測(cè)算法分析

2.1 背景差分法

背景差分法[3]是采用圖像序列中當(dāng)前幀和背景參考模型的差值運(yùn)算來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)。設(shè)t時(shí)刻背景模型參考圖像為fb(t)，當(dāng)前幀圖像為fc(t)，則背景差分圖像為

f(x,y,t)=|fc(x,y,t)-fb(x,y,t)|

(1)

設(shè)分割閾值為T(mén)，那么二值化差分圖像為

(2)

2.2 平均值法

顧名思義，平均值法就是通過(guò)計(jì)算多幀圖像灰度的平均值來(lái)近似地模擬背景圖像，其計(jì)算方法如式(3)所示。

(3)

其中，B(i,j)表示在重構(gòu)的背景圖像中，坐標(biāo)為(i,j)的像素點(diǎn)的灰度值。N表示用于計(jì)算灰度平均值的圖像幀數(shù)，fk(i,j)表示在第k幀圖像中，坐標(biāo)為(i,j)的像素點(diǎn)灰度值。m和n分別表示每幀圖像的寬度和高度。

2.3 幀差法

幀差法是通過(guò)計(jì)算相鄰幀圖像中像素點(diǎn)的灰度差計(jì)算出運(yùn)動(dòng)目標(biāo)的位置與形狀等信息[4]。常用的方法主要有相鄰幀圖像差分法和對(duì)稱(chēng)差分法。

1) 相鄰幀圖像差分法

相鄰幀圖像差分法的計(jì)算過(guò)程可用下式來(lái)表示：

dk(x,y) =|Ik(x,y)-Ik-1(x,y)|

(4)

其中，Ik(x,y)、Ik-1(x,y)為連續(xù)兩幀圖像，dk(x,y)為幀差圖像，T是二值化閾值[5]。

2) 對(duì)稱(chēng)差分法

對(duì)稱(chēng)差分方法也稱(chēng)為連續(xù)三幀圖像差分法，就是由三幀連續(xù)圖像的差值得到中間幀運(yùn)動(dòng)目標(biāo)的輪廓，這種方法能夠去除因?yàn)檫\(yùn)動(dòng)而顯露的背景的影響，從而得到準(zhǔn)確的運(yùn)動(dòng)目標(biāo)輪廓。設(shè)Ik-1(x,y)、Ik(x,y)和Ik+1(x,y)分別表示連續(xù)三幀圖像，dk-1,k(x,y)、dk,k+1(x,y)分別表示相鄰兩幀差分后的二值圖像，且有：

(5)

(6)

(7)

背景差分法定位精確、速度快，但它需要建立背景模型對(duì)背景進(jìn)行估計(jì)，在復(fù)雜環(huán)境中進(jìn)行目標(biāo)檢測(cè)時(shí)，成像目標(biāo)背景復(fù)雜，往往很難找出一種合理的背景模型。幀差法具有計(jì)算速度快，對(duì)動(dòng)態(tài)背景適應(yīng)快，特別適用于細(xì)節(jié)信息比較模糊的紅外視頻圖像。在靜止背景場(chǎng)合中，幀間差分法能夠取得很不錯(cuò)的檢測(cè)效果。但在成像系統(tǒng)和目標(biāo)都存在運(yùn)動(dòng)的復(fù)雜背景下，直接利用幀間差分法無(wú)法進(jìn)行有效的目標(biāo)檢測(cè)。

3 傳統(tǒng)目標(biāo)檢測(cè)算法的適用范圍

對(duì)于靜態(tài)場(chǎng)景或靜態(tài)場(chǎng)景變化不大圖像序列而言，可通過(guò)背景建模的方法獲取背景模型，依據(jù)背景差分法可進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)。然而整個(gè)背景建模過(guò)程中需要分析多幀圖像，且無(wú)法適應(yīng)背景的任何變化。因此為了提高靜態(tài)場(chǎng)景序列圖像檢測(cè)算法的魯棒性，開(kāi)展了基于差分融合的目標(biāo)檢測(cè)算法研究工作。

3.1 靜態(tài)場(chǎng)景序列圖像目標(biāo)感興趣區(qū)自動(dòng)提取研究

為了解決背景差分法背景模型更新問(wèn)題，將幀間差分和背景差分相結(jié)合，參照文獻(xiàn)[6]相關(guān)思路，設(shè)計(jì)了一種基于差分融合的在線(xiàn)學(xué)習(xí)的目標(biāo)檢測(cè)算法(具體流程如圖1所示)。

圖1 基于差分融合的在線(xiàn)學(xué)習(xí)的目標(biāo)檢測(cè)算法流程

該算法主要涉及以下幾個(gè)問(wèn)題：

1) 背景建模

分析相鄰幀圖像，會(huì)發(fā)現(xiàn)背景像素點(diǎn)隨時(shí)間緩慢變化，在一定的時(shí)間里差別不大。而物體運(yùn)動(dòng)變化區(qū)域?qū)?yīng)的像素點(diǎn)變化很大。因此可假設(shè)在一定的時(shí)間段t里，由序列圖像中每一個(gè)背景像素點(diǎn)組成的集合服從各自的高斯分布，均值為μ(i,j)和標(biāo)準(zhǔn)方差σ(i.j)。在模型初始化時(shí)，由于序列圖像中每一個(gè)像素點(diǎn)的分布是未知的，因此取第一幀中該像素點(diǎn)的灰度值作為μ(i,j)，而將標(biāo)準(zhǔn)方差σ(i.j)設(shè)為0。事實(shí)上實(shí)際的背景模型是通過(guò)不斷學(xué)習(xí)新幀而得到的，兼顧了過(guò)去的背景信息，所以該方法對(duì)實(shí)際圖像中的偶然變化有一定的抑制作用。

2) 相鄰幀變化區(qū)域的檢測(cè)

幀間差分能夠檢測(cè)出相鄰兩幀間發(fā)生了變化的區(qū)域。在簡(jiǎn)單背景下，這個(gè)區(qū)域主要由包括運(yùn)動(dòng)目標(biāo)在前一幀所覆蓋的區(qū)域即顯露區(qū)P，運(yùn)動(dòng)物體在當(dāng)前幀所覆蓋的區(qū)域Q。示意圖如圖2所示。

圖2 相鄰幀變化區(qū)域示意圖

設(shè)fk(i,j)，fk+1(i,j)為相鄰兩幀各點(diǎn)像素的灰度值，對(duì)其進(jìn)行差分。

若|fk(x,y)-fk+1(x,y)|T，那么運(yùn)動(dòng)變化的區(qū)域M(i,j)=fk+1(i,j)。一般來(lái)說(shuō)，對(duì)256級(jí)灰度圖像，與前述的像素灰度歸類(lèi)法一樣，灰度閾值T取10～25。

3) 運(yùn)動(dòng)目標(biāo)檢測(cè)

4) 背景更新

對(duì)于區(qū)域B(i,j)中的像素點(diǎn)，用下述的規(guī)則來(lái)進(jìn)行背景更新：

uk+1(i,j)=(1-α1)μk(i,j)+α1fk+1(i,j)

將區(qū)域B2(i,j)中的像素點(diǎn)用以下的規(guī)則進(jìn)行更新：

uk+1(i,j)=(1-α2)μk(i,j)+α2fk+1(i,j)

其中α1,α2為更新率，fk+1(i,j)表示新幀中的像素點(diǎn)灰度值。這里α1,α2的取值是不同的，考慮到B2(x,y)中的點(diǎn)是前幀中被運(yùn)動(dòng)物體覆蓋的區(qū)域，在當(dāng)前幀中被重新顯露出來(lái)，所以α2的值取得較大，在0.8以上。實(shí)驗(yàn)表明, 這種處理策略使得在建模時(shí)即使有運(yùn)動(dòng)的物體存在，也會(huì)隨著運(yùn)動(dòng)物體的移動(dòng)而迅速得到背景模型[7]。對(duì)最終檢測(cè)為運(yùn)動(dòng)物體的區(qū)域Mo(i,j)不予更新。

3.2 靜態(tài)場(chǎng)景序列圖像目標(biāo)感興趣區(qū)域自動(dòng)提取實(shí)驗(yàn)與分析

選取紅外飛機(jī)序列圖像(共計(jì)110幀，每幀圖像大小256×200，飛機(jī)尺寸由小到大)作為實(shí)驗(yàn)對(duì)象。仔細(xì)分析該圖像序列，發(fā)現(xiàn)第31幀圖像到第70幀圖像、第71幀圖像到第110幀圖像之間的背景也差別不大，飛機(jī)成面目標(biāo)狀態(tài)。因此可以將其作為靜態(tài)場(chǎng)景圖象序列目標(biāo)檢測(cè)與感興趣區(qū)提取的實(shí)驗(yàn)對(duì)象。按照基于差分融合得在線(xiàn)學(xué)習(xí)的目標(biāo)檢測(cè)算法的流程，實(shí)驗(yàn)步驟主要分為：1)選取第一幀為初始背景圖像，對(duì)背景模型進(jìn)行初始設(shè)置；2)選取相鄰兩幀進(jìn)行幀差操作，并進(jìn)行變化區(qū)域檢測(cè)；3)利用背景模型，針對(duì)差分圖像進(jìn)行目標(biāo)檢測(cè)，并進(jìn)行背景更新操作；4)差分圖像二值化，并進(jìn)行形態(tài)濾波；5)圖像投影技術(shù)自動(dòng)提取感興趣區(qū)，形成感興趣區(qū)模板Mask。

在實(shí)驗(yàn)過(guò)程中，選取代表性的相鄰兩幀圖像(如第38、39幀，第99幀、100幀)，進(jìn)行靜態(tài)場(chǎng)景圖象序列目標(biāo)檢測(cè)與感興趣區(qū)提取。針對(duì)38幀、39幀，基于差分融合的運(yùn)動(dòng)目標(biāo)檢測(cè)過(guò)程如圖3所示。

以第31幀圖像為初始背景圖像，如圖3(a)。取第38，39幀圖像進(jìn)行差分(效果如圖3(d))，并通過(guò)與背景模型比較，進(jìn)行二值化分割，效果如圖3(f)。最后經(jīng)形態(tài)學(xué)濾波提取目標(biāo)。

圖3 基于差分融合的運(yùn)動(dòng)目標(biāo)檢測(cè)過(guò)程(針對(duì)38幀, 39幀)

針對(duì)第99幀、100幀，基于差分融合的運(yùn)動(dòng)目標(biāo)檢測(cè)過(guò)程4所示。所提取的感興趣區(qū)掩模Mask如圖5所示。

圖4 基于差分融合的運(yùn)動(dòng)目標(biāo)檢測(cè)過(guò)程(針對(duì)99幀, 100幀)

圖5 提取的感興趣區(qū)掩模Mask

4 動(dòng)態(tài)場(chǎng)景圖像序列目標(biāo)感興趣區(qū) 自動(dòng)提取研究

4.1 動(dòng)態(tài)場(chǎng)景圖像序列運(yùn)動(dòng)目標(biāo)檢測(cè)問(wèn)題分析

運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)在軍事偵察和武器制導(dǎo)方面有著十分重要的實(shí)用意義。軍事運(yùn)用中，運(yùn)動(dòng)目標(biāo)檢測(cè)的背景一般都是復(fù)雜背景。在復(fù)雜背景中，影響圖像質(zhì)量的因素主要有以下幾種：目標(biāo)的運(yùn)動(dòng)、背景的變化、載體平臺(tái)的運(yùn)動(dòng)及其他震動(dòng)和晃動(dòng)等。在以上條件下形成的動(dòng)態(tài)場(chǎng)景的序列圖像質(zhì)量差、對(duì)比度低；還存在晃動(dòng)、環(huán)境的干擾等?，F(xiàn)有動(dòng)態(tài)場(chǎng)景圖像序列中運(yùn)動(dòng)目標(biāo)檢測(cè)方法主要包括全局運(yùn)動(dòng)補(bǔ)償和運(yùn)動(dòng)目標(biāo)分割兩個(gè)步驟，其中全局運(yùn)動(dòng)補(bǔ)償處于基礎(chǔ)性地位。各國(guó)學(xué)者對(duì)此展開(kāi)研究并提出了大量的方法[8～10]，獲得了一定的成功。這類(lèi)檢測(cè)方法的基本思想是：首先估計(jì)出相鄰幀間的全局運(yùn)動(dòng)參數(shù)；然后運(yùn)用這些參數(shù)補(bǔ)償全局運(yùn)動(dòng)；最后利用差分法完成運(yùn)動(dòng)目標(biāo)檢測(cè)。本節(jié)將從運(yùn)動(dòng)目標(biāo)檢測(cè)的實(shí)時(shí)性出發(fā)，研究了一種基于QP_TR信任域圖像對(duì)準(zhǔn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。

4.2 基于QP_TR信任域圖像對(duì)準(zhǔn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法

基于QP_TR信任域圖像對(duì)準(zhǔn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法是基于“全局運(yùn)動(dòng)補(bǔ)償+差分法”的研究思路進(jìn)行設(shè)計(jì)的，這一點(diǎn)同現(xiàn)有動(dòng)態(tài)場(chǎng)景圖像序列中運(yùn)動(dòng)目標(biāo)檢測(cè)方法都是一樣。唯一不同，相鄰幀的全局運(yùn)動(dòng)參數(shù)是通過(guò)QP_TR信任域算法進(jìn)行求取。具體的算法框圖如圖6所示。

圖6 基于QP_TR信任域圖像對(duì)準(zhǔn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法框圖

以巡邏攻擊導(dǎo)彈為探測(cè)目標(biāo)，在巡邏偵察階段是絕大部分時(shí)間內(nèi)是處于平飛狀態(tài)，可看作是快速平移運(yùn)動(dòng)。若將上一幀像素在下一幀中的位置設(shè)為，由快速平移運(yùn)動(dòng)模型可知：

u=x+Δx

v=y+Δy

其中，Δx，Δy代表著圖像全局運(yùn)動(dòng)參數(shù)。正確的Δx，Δy將使前后兩幀間的像素灰度差最小，即使下式取最小值：

QP_TR信任域算法在第1層中的運(yùn)動(dòng)參數(shù)計(jì)算過(guò)程如下：1)以該層圖像中心點(diǎn)為中心，抽取長(zhǎng)寬分別為該層圖像長(zhǎng)寬1/S的子圖像作為計(jì)算圖像；2)若該層是最高層，則初始化Δx0=Δy0=1，否則Δx0=2(Δx)l-1，Δy0=2(Δy)l-1。Δend=1，Δ0=min(CL-1,RL-1)/4，MAXner=100；3) 以f(x)=E2(Δx,Δy)為目標(biāo)函數(shù)，在計(jì)算圖像上使用QP_TR信任域算法優(yōu)化，優(yōu)化得到(Δx,Δy)l，為該層兩幀間圖像全局平移距離(以像素為單位)。

通過(guò)QP_TR信任域算法，得到平移矢量之后，由于數(shù)字圖像以像數(shù)為單位，且是整數(shù)型式，因此在實(shí)際過(guò)程中，以平移矢量(23,30)對(duì)第二幀圖像進(jìn)行位移校正并對(duì)兩幀圖像進(jìn)行配準(zhǔn)，對(duì)配準(zhǔn)后的圖像進(jìn)行幀間差分操作。為了說(shuō)明基于QP_TR信任域圖像配準(zhǔn)算法的重要性，將兩幀直接差分與配準(zhǔn)后的差分圖像進(jìn)行了對(duì)比分析，效果如圖8所示。

圖7 兩幀紅外圖像作兩層高斯金字塔分解的效果

圖8 差分效果比較

將差分圖像進(jìn)行閾值分割，分割效果如圖9所示。

圖9 直接閾值分割的對(duì)比分析

經(jīng)過(guò)數(shù)學(xué)形態(tài)濾波、圖像投影技術(shù)，獲取的感興趣區(qū)Mask如圖10所示。

圖10 感興趣區(qū)提取過(guò)程

5 結(jié)語(yǔ)

本文在分析傳統(tǒng)目標(biāo)檢測(cè)算法的基礎(chǔ)上，將背景差分法、幀差法相融合，提出了一種基于差分融合的在線(xiàn)學(xué)習(xí)的目標(biāo)檢測(cè)算法，并將其應(yīng)用于靜態(tài)場(chǎng)景序列圖像目標(biāo)感興趣區(qū)自動(dòng)提取過(guò)程中；在分析動(dòng)態(tài)場(chǎng)景圖像序列運(yùn)動(dòng)目標(biāo)檢測(cè)問(wèn)題的基礎(chǔ)上，提出了基于QP_TR域圖像對(duì)準(zhǔn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，將其應(yīng)用到平移運(yùn)動(dòng)平臺(tái)下序列圖像感興趣區(qū)自動(dòng)提取，經(jīng)實(shí)驗(yàn)驗(yàn)證上述算法具有較好的針對(duì)性，取得了良好的效果。

[1] Barron J. Fleet D. Beauchemin S. Performance of optical flow-techniques [J]. International Journal of Computer Vision,1994,12(1):42-77.

[2] 董士崇,王天珍,許剛.視頻圖像中的運(yùn)動(dòng)檢測(cè)[J].武漢理工大學(xué)學(xué)報(bào)(信息與管理工程版),2004,26(1):1-3.

[3] K. Toyarea, J. Krumm, B. Brumitt, B. Meyers. Wallflower: Principles and Practice of Background Maintenance[C]//International Conference on Computer Vision,1999:255-261.

[4] 衣秀清.靜態(tài)場(chǎng)景下運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[D].濟(jì)南:山東大學(xué)學(xué)位論文,2006:2-50.

[5] 周西漢,劉勃,周荷琴.一種基于對(duì)稱(chēng)差分和背景消減的運(yùn)動(dòng)檢測(cè)方法[J].計(jì)算機(jī)仿真,2005,22(4):117-119.

[6] 朱明旱,羅大庸,曹倩霞.幀間差分與背景差分相融合的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)測(cè)量與控制,2005,13(3):215-217.

[7] 曾脈,左志宏,常曉夫,等.一種準(zhǔn)確而快速的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].成都信息工程學(xué)院學(xué)報(bào).2008,28(4):370-373.

[8] TsaigY, Averbuch A. Automatic segmentation of moving objects in video sequences: A region labeling approach [J]. IEEE Transactions on Circuits and System for Video Technology,2002,12(7):597-612.

[9] NeriA, Colonnese S, RussoG,et al. Automatic moving object and background separation[J]. Signal Processing,1998,66(2):219-232.

[10] Chien SY, Ma SY, Chen LG. Efficient moving object segmentation algorithm using background registration technique [J].IEEE Transactions on Circuits and System for Video Technology,2002,12(7):577-586.

Automatic Extraction of Target Region of Interest Based on Sequence Image

LUO Hang YANG Huagao

(Navy Representative Office of Aviation in Jingdezhen, Jingdezhen 333002)

In this paper, based on the analysis of traditional target detection algorithm, combined with background difference method and fusion frame differential method, a target detection algorithm is proposed to extract the static scene sequence image target ereas of interest automatically, and a moving target detection algorithm based on QP_TR domain is proposed to apply to the mobile platform automatic extraction sequence image areas of interest. The experiment shows the algorithm has good pertinence and effect.

helicopter, ROI(region of interest), combat simulation

2016年5月10日,

2016年6月26日

羅航,男，助理工程師，研究方向：航空機(jī)械。

TP391

10.3969/j.issn.1672-9730.2016.11.022