聊 蕾,左瀟麗,云 濤,朱岱寅

(1.南京航空航天大學(xué)電子信息工程學(xué)院,江蘇南京211100; 2.中國(guó)人民解放軍63778部隊(duì),黑龍江佳木斯154001)

0 引言

2003年,美國(guó)Sandia國(guó)家實(shí)驗(yàn)室首次提出了VideoSAR(Video Synthetic Aperture Radar)技術(shù)[1],能以每秒5幀以上的幀率獲得高分辨率SAR圖像。之后,國(guó)內(nèi)外很多學(xué)者和研究機(jī)構(gòu)對(duì)VideoSAR技術(shù)在分辨率、聚焦質(zhì)量以及成像實(shí)時(shí)性等方面展開(kāi)了研究,并取得了一定的成果[2-5]。

在SAR圖像中,當(dāng)運(yùn)動(dòng)目標(biāo)在沿雷達(dá)視線方向具有速度分量時(shí),會(huì)造成多普勒頻移[6],使得運(yùn)動(dòng)目標(biāo)在成像時(shí)發(fā)生偏移和散焦,甚至移出場(chǎng)景之外,使得依靠雷達(dá)截面積(RCS)來(lái)進(jìn)行動(dòng)目標(biāo)檢測(cè)變得十分困難,但在其真實(shí)位置能夠留下陰影,因此可以利用對(duì)陰影的檢測(cè)來(lái)實(shí)現(xiàn)對(duì)動(dòng)目標(biāo)的檢測(cè)。

文獻(xiàn)[7]提出了基于單幅高分辨SAR圖像的動(dòng)目標(biāo)檢測(cè)方法。該方法利用動(dòng)目標(biāo)的陰影并輔助以道路信息來(lái)進(jìn)行動(dòng)目標(biāo)檢測(cè)。但是,該方法必須在道路上進(jìn)行動(dòng)目標(biāo)檢測(cè),限制了成像場(chǎng)景;其次,該方法只能適用于運(yùn)動(dòng)目標(biāo)在雷達(dá)視線方向速度較慢的情況,當(dāng)速度較快時(shí),運(yùn)動(dòng)目標(biāo)嚴(yán)重散焦,使得峰值檢測(cè)失效。

文獻(xiàn)[8]利用閾值分割檢測(cè)出單幀SAR圖像的疑似目標(biāo),并融合目標(biāo)特征實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的自動(dòng)檢測(cè)。但是,當(dāng)目標(biāo)的運(yùn)動(dòng)速度較快時(shí),閾值分割將無(wú)法實(shí)現(xiàn)單幀SAR圖像中疑似目標(biāo)的提取。

文獻(xiàn)[9]提出了基于多幅高分辨SAR圖像來(lái)檢測(cè)動(dòng)目標(biāo)的方法。對(duì)同一場(chǎng)景在不同視角下所成的SAR圖像序列進(jìn)行旋轉(zhuǎn)對(duì)齊后求得背景圖像,利用當(dāng)前圖像和背景圖像的比率圖篩選出運(yùn)動(dòng)目標(biāo)的陰影。該算法存在的缺點(diǎn)是:SAR成像是將三維目標(biāo)投影到二維平面上,若圖像序列的視角間隔過(guò)大,則簡(jiǎn)單的旋轉(zhuǎn)操作不能使圖像序列的背景對(duì)齊,那么時(shí)域平均求得的背景將不能用來(lái)削弱靜態(tài)背景。

與傳統(tǒng)SAR相比,VideoSAR技術(shù)可以獲取高幀率、高分辨率的連續(xù)SAR圖像序列。運(yùn)動(dòng)目標(biāo)的陰影在幀與幀之間是不斷運(yùn)動(dòng)的,因此,可以利用這一特征將運(yùn)動(dòng)目標(biāo)的陰影與其他暗色區(qū)域(靜態(tài)目標(biāo)的陰影以及其他散射系數(shù)較低的目標(biāo))區(qū)分開(kāi)來(lái)。

本文提出一種基于VideoSAR圖像序列的動(dòng)目標(biāo)檢測(cè)方法,考慮圖像序列間存在旋轉(zhuǎn)、平移、縮放等變化,本文用SIFT+RANSAC算法來(lái)計(jì)算圖像序列間的變換參數(shù),完成圖形序列的背景運(yùn)動(dòng)補(bǔ)償;另外,采用單高斯背景模型差分來(lái)代替時(shí)域平均,降低對(duì)噪聲的敏感性,提高動(dòng)目標(biāo)檢測(cè)算法的穩(wěn)定性。

1 算法流程

本文算法的思想是:將VideoSAR圖像序列劃分成短間隔小組,以每組為單位進(jìn)行動(dòng)目標(biāo)檢測(cè)。將每組的第一幅圖像作為參考圖像,剩下的圖像作為待配準(zhǔn)圖像與之配準(zhǔn),也就是對(duì)背景的運(yùn)動(dòng)進(jìn)行補(bǔ)償。圖像序列的背景對(duì)齊后,以第一幅圖像來(lái)初始化單高斯背景模型,并對(duì)剩下的圖像序列依次進(jìn)行學(xué)習(xí),更新該背景模型。在得到該圖像序列的背景模型后,用最后一幅圖像與之進(jìn)行背景差分,并對(duì)差分結(jié)果進(jìn)行二值化,則可初步得到該組的前景二值圖。用形態(tài)學(xué)方法對(duì)二值圖進(jìn)行濾波和篩選,提取出運(yùn)動(dòng)的陰影,即完成動(dòng)目標(biāo)檢測(cè)。具體流程如圖1所示。

圖1 本文提出的動(dòng)目標(biāo)檢測(cè)流程圖

2 背景補(bǔ)償

VideoSAR的3種主要成像模式[5]為:條帶式、聚束式和圓跡式。這3種模式在生成圖像序列時(shí),載機(jī)的運(yùn)動(dòng)會(huì)使得雷達(dá)觀測(cè)角度以及雷達(dá)到場(chǎng)景中心的距離發(fā)生變化,所生成序列中的圖像之間發(fā)生平移、旋轉(zhuǎn)、縮放等幾何畸變,因此在動(dòng)目標(biāo)檢測(cè)前,必須對(duì)圖像序列的動(dòng)態(tài)背景進(jìn)行運(yùn)動(dòng)補(bǔ)償,使背景能夠?qū)R。

本文使用圖像配準(zhǔn)技術(shù)來(lái)進(jìn)行背景補(bǔ)償。圖像配準(zhǔn)即對(duì)同一場(chǎng)景在不同時(shí)間、不同角度或者不同傳感器拍攝(成像)下得到的兩幅圖像進(jìn)行對(duì)齊的技術(shù)。圖像配準(zhǔn)是圖像處理和分析的基礎(chǔ)問(wèn)題,在醫(yī)學(xué)圖像分析、模式識(shí)別、計(jì)算機(jī)視覺(jué)、環(huán)境監(jiān)測(cè)、遙感數(shù)據(jù)分析等方面都有著廣泛的應(yīng)用[10]。

本文的配準(zhǔn)流程如圖2所示。

首先,本文使用SIFT[11](Scale Invariant Feature Transform)算法來(lái)初步提取出兩幅圖中的特征點(diǎn)。SIFT算法提取出的特征點(diǎn)(每個(gè)特征點(diǎn)都用一個(gè)特征矢量進(jìn)行描述,稱為描述子),對(duì)尺度縮放和旋轉(zhuǎn)能夠保持不變,并且在仿射失真、三維視點(diǎn)改變以及存在噪聲的情況下具有很高的魯棒性。

在分別提取出參考圖像和待配準(zhǔn)圖像的特征點(diǎn)后,需要對(duì)兩幅圖像的特征點(diǎn)進(jìn)行初次配對(duì)。計(jì)算參考圖像的每一個(gè)特征點(diǎn)與待配準(zhǔn)圖像的所有特征點(diǎn)間描述子的歐式距離,并將距離最短的特征點(diǎn)進(jìn)行配對(duì)。

圖2 圖像配準(zhǔn)流程圖

因?yàn)樵肼?、重?fù)紋理等原因,初次配對(duì)會(huì)產(chǎn)生少數(shù)錯(cuò)誤的匹配對(duì),本文使用RANSAC(Random Sample Consensus)[12]算法來(lái)進(jìn)一步篩選,計(jì)算出滿足最多匹配對(duì)的參數(shù)模型。VideoSAR的成像幾何關(guān)系是將三維模型投影到二維平面上,因此使用透視矩陣來(lái)描述參考圖像與待配準(zhǔn)圖像之間的參數(shù)模型。

RANSAC算法計(jì)算出透視矩陣模型的參數(shù)后,利用該模型可以計(jì)算出參考圖像中的點(diǎn)坐標(biāo)映射到待配準(zhǔn)圖像中的對(duì)應(yīng)點(diǎn)坐標(biāo),而計(jì)算出的對(duì)應(yīng)點(diǎn)坐標(biāo)一般不是整數(shù),因而需要在待配準(zhǔn)圖像中進(jìn)行重采樣,獲得對(duì)應(yīng)點(diǎn)坐標(biāo)的灰度值,最終得到配準(zhǔn)后圖像。

3 單高斯背景模型

VideoSAR在生成圖像序列時(shí),隨著雷達(dá)視角發(fā)生變化,三維的地面目標(biāo)在成像平面上的二維投影也將發(fā)生變化。因此,為了保證圖像序列擁有較高的配準(zhǔn)精度,將VideoSAR圖像序列劃分為長(zhǎng)度為n(n小于圖像序列的總長(zhǎng)度,一般取4～6)的小組來(lái)進(jìn)行動(dòng)目標(biāo)檢測(cè),在該段時(shí)間內(nèi)二維投影的變化對(duì)配準(zhǔn)精度的影響可以忽略。

每組圖像序列以第一幅圖像作為參考圖像,第2～n幅圖像作為待配準(zhǔn)圖像依次與參考圖像進(jìn)行配準(zhǔn),則可得到背景對(duì)齊的新的n幅圖像。在新的圖像序列中,需要將發(fā)生運(yùn)動(dòng)的陰影區(qū)域檢測(cè)出來(lái)。背景差分是運(yùn)動(dòng)目標(biāo)檢測(cè)的常用方法,通過(guò)當(dāng)前圖像與背景圖像的差分,可以減去靜態(tài)的背景,留下發(fā)生變化的部分,但是如何獲得穩(wěn)定可靠的背景是非常關(guān)鍵的問(wèn)題。

為了能獲得較穩(wěn)定背景,本文使用高斯背景模型來(lái)統(tǒng)計(jì)圖像序列的背景模型。由于分時(shí)段后圖像序列較短,因而可以認(rèn)為場(chǎng)景背景變化比較微小,所以用單高斯函數(shù)來(lái)模擬背景模型。接下來(lái)介紹單高斯背景模型。

單高斯背景模型[13]就是用單個(gè)高斯函數(shù)來(lái)描述像素點(diǎn)的某種特征。本文使用灰度值作為特征來(lái)建立每個(gè)像素點(diǎn)的單高斯背景模型。在t時(shí)刻,某像素點(diǎn)的概率密度函數(shù)在其均值附近可近似表示為高斯概率密度函數(shù):式中,X i,t表示該像素點(diǎn)t時(shí)刻的灰度值,μi,t表示該像素點(diǎn)的灰度值均值,σi,t表示該像素點(diǎn)的灰度值方差。

對(duì)背景補(bǔ)償后長(zhǎng)度為n的連續(xù)圖像序列進(jìn)行背景建模。首先,初始化單高斯背景模型。設(shè)該時(shí)段圖像某像素點(diǎn)i的灰度值序列為I(x i,y i, 1∶n),其中x i和y i表示像素點(diǎn)的位置。初始化背景模型的均值μi,1為I(x i,y i,1),方差σi,1為0,學(xué)習(xí)次數(shù)αi,1為1。接下來(lái)對(duì)I(x i,y i,2∶n)進(jìn)行學(xué)習(xí)。若滿足

則將該點(diǎn)歸入該模型。其中t表示該像素點(diǎn)在該時(shí)段內(nèi)的時(shí)序,2≤t≤n,θ1表示設(shè)定的判斷閾值,取值大于1。求出t時(shí)刻的灰度值與當(dāng)前背景模型的均值的方差,若該方差與背景模型的方差的比值小于一定閾值θ1,則可判定該時(shí)刻的灰度值滿足該點(diǎn)的單高斯模型,對(duì)背景模型進(jìn)行更新,各參數(shù)的更新如式(3)所示:

若不滿足式(2),則背景模型不更新,各參數(shù)如式(4)所示:

在n個(gè)序列點(diǎn)統(tǒng)計(jì)完后,由于是從第一幅圖像開(kāi)始統(tǒng)計(jì)背景模型,所以得到基于I(x i,y i,1)的背景模型。接下來(lái)將該時(shí)段內(nèi)的最后一幅圖像與背景差分。若I(x i,y i,n)滿足

則初步判斷該點(diǎn)為該時(shí)段內(nèi)的動(dòng)目標(biāo),也就是前景,反之,則判為背景。其中,θ2為設(shè)定的判斷閾值,若I(x i,y i,n)的灰度值與背景模型均值的方差大于閾值,且灰度值小于背景模型的均值,則說(shuō)明該像素點(diǎn)的灰度值在該時(shí)段內(nèi)發(fā)生變化且是陰影,因此可以初步判斷該點(diǎn)是發(fā)生變化的陰影。

4 后續(xù)形態(tài)學(xué)處理

經(jīng)過(guò)對(duì)長(zhǎng)度為n的圖像序列進(jìn)行上述背景差分算法后,得到前景為1、背景為0的二值圖。但是,SAR圖像存在的相干斑以及圖像配準(zhǔn)時(shí)邊界的溢出都會(huì)被誤判成前景圖像,因此需要對(duì)二值圖進(jìn)一步處理。首先,對(duì)二值圖進(jìn)行連通域標(biāo)記算法,并去掉面積過(guò)大的連通域(一般由配準(zhǔn)時(shí)邊界旋轉(zhuǎn)造成);接著進(jìn)行形態(tài)學(xué)腐蝕,再進(jìn)行形態(tài)學(xué)膨脹,這樣可以去掉一些小的噪聲斑點(diǎn)。統(tǒng)計(jì)剩下的標(biāo)記區(qū)域,則可得到運(yùn)動(dòng)目標(biāo)的數(shù)目和位置。

5 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證算法性能,使用Sandia國(guó)家實(shí)驗(yàn)室提供的Kirtland空軍基地的VideoSAR成像片段,其中沿著道路運(yùn)動(dòng)的陰影表示運(yùn)動(dòng)車輛的真實(shí)位置。

圖3是未經(jīng)背景補(bǔ)償?shù)膱D像序列經(jīng)過(guò)單高斯背景模型統(tǒng)計(jì)出的背景;圖4是經(jīng)過(guò)SIFT+ RANSAC算法配準(zhǔn),動(dòng)態(tài)場(chǎng)景得到補(bǔ)償后的圖像序列經(jīng)過(guò)單高斯背景模型統(tǒng)計(jì)出的背景。但是由于圖像序列較短,場(chǎng)景變化較小,且場(chǎng)景中目標(biāo)灰度值接近,所以通過(guò)肉眼難以區(qū)分二者。

圖3 未經(jīng)背景補(bǔ)償圖像序列的背景模型

圖4 背景補(bǔ)償后圖像序列的背景模型

但是在圖5和圖6中,可以明顯看出背景補(bǔ)償?shù)淖饔?。其中圖5是未經(jīng)背景補(bǔ)償?shù)膱D像序列的背景差分二值圖;圖6是經(jīng)過(guò)背景補(bǔ)償后的圖像序列的背景差分后二值圖?？梢悦黠@看出,未經(jīng)背景補(bǔ)償?shù)膱D像序列由于背景沒(méi)有對(duì)齊,在背景差分后靜態(tài)背景沒(méi)有完全消除,對(duì)運(yùn)動(dòng)陰影的提取造成障礙。而經(jīng)過(guò)背景補(bǔ)償后,靜態(tài)背景基本被消除。另外,在圖6中可以看出,除了運(yùn)動(dòng)目標(biāo)被檢測(cè)出來(lái),其他相干斑、配準(zhǔn)時(shí)邊界的旋轉(zhuǎn)也被檢測(cè)為變化部分。

圖5 未經(jīng)背景補(bǔ)償圖像序列的背景差分二值圖

圖6 背景補(bǔ)償后圖像序列的背景差分二值圖

將圖6的背景差分二值圖用連通域標(biāo)記算法統(tǒng)計(jì)出各連通域的面積,并去除由旋轉(zhuǎn)造成的面積較大的連通域,結(jié)果如圖7所示。接下來(lái),對(duì)圖7的結(jié)果先進(jìn)行形態(tài)學(xué)腐蝕,再進(jìn)行形態(tài)學(xué)膨脹,去除噪聲斑點(diǎn),結(jié)果如圖8所示。從圖8可以看出,以上步驟有效去除了圖6中邊界溢出和噪聲斑點(diǎn),并正確保留了運(yùn)動(dòng)目標(biāo)。

圖7 去除旋轉(zhuǎn)溢出后二值圖

圖8 去除噪聲斑點(diǎn)后二值圖

將圖8得出的最終檢測(cè)結(jié)果在序列的第一幅圖像中進(jìn)行標(biāo)記,如圖9所示,可以看出在該VideoSAR時(shí)段內(nèi)的7個(gè)運(yùn)動(dòng)目標(biāo)都被正確檢測(cè)出來(lái)。

圖9 形態(tài)學(xué)處理后標(biāo)記結(jié)果

6 結(jié)束語(yǔ)

本文提出一種基于圖像處理技術(shù)的Video-SAR動(dòng)目標(biāo)檢測(cè)方法。先進(jìn)行背景補(bǔ)償,利用SIFT+RANSAC算法對(duì)VideoSAR圖像序列進(jìn)行配準(zhǔn),使得圖像序列的背景保持一致。背景補(bǔ)償后,使用穩(wěn)定性較好的單高斯來(lái)統(tǒng)計(jì)背景模型,并進(jìn)行背景差分,檢測(cè)圖像序列中變化的陰影。最后引入形態(tài)學(xué)處理以及連通域標(biāo)記算法來(lái)進(jìn)一步去除邊界和噪聲,最終實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)。本文提出的算法能夠正確檢測(cè)出運(yùn)動(dòng)目標(biāo),為接下來(lái)運(yùn)動(dòng)目標(biāo)軌跡跟蹤奠定基礎(chǔ)。

[1]WELLS L,SORENSEN K,DOERRY A,et al.Developments in SAR and IFSAR Systems and Technologies at Sandia National Laboratories[C]∥IEEE Aerospace Conference,Big Sky,Montana:IEEE,2003: 1085-1095.

[2]MILLER J,BISHOP E,DOERRY A.An Application of Backprojection for Video SAR Image Formation Exploiting a Subaperature Circular Shift Register [C]∥SPIE Conference on Algorithms for Synthetic Aperture Radar Imagery,Bellingham,WA:SPIE, 2013:1-14.

[3]LINNEHAN R,MILLER J,BISHOP E,et al.An Autofocus Technique for Video-SAR[C]∥SPIE Conference on Algorithms for Synthetic Aperture Radar Imagery,Bellingham,WA:SPIE,2013:1-10.

[4]DAMINI A,MANTLE V,DAVIDSON G.A New Approach to Coherent Change Detection in VideoSAR Imagery Using Stack Averaged Coherence[C]∥IEEE Radar Conference,Ottawa,ON:IEEE,2013:1-5.

[5]宋曉燊,禹衛(wèi)東.條帶式VideoSAR參數(shù)依賴關(guān)系的推導(dǎo)及應(yīng)用[J].中國(guó)科學(xué)院大學(xué)學(xué)報(bào),2016,33(1): 121-127.

[6]RAYNAL A M,BICKEL D L,DOERRY A W.Stationary and Moving Target Shadow Characteristics in Synthetic Aperture Radar[C]∥SPIE Conference on Radar Sensor Technology,Bellingham,WA:SPIE, 2014:1-15.

[7]史洪印,侯志濤,郭秀花,等.基于陰影檢測(cè)的單幅高分辨SAR圖像動(dòng)目標(biāo)檢測(cè)方法[J].信號(hào)處理,2012, 28(12):1706-1713.

[8]于曉涵,周偉,關(guān)鍵.基于特征融合的雷達(dá)視頻運(yùn)動(dòng)目標(biāo)檢測(cè)[J].雷達(dá)科學(xué)與技術(shù),2015,13(6):633-638. YU Xiaohan,ZHOU Wei,GUAN Jian.Moving Target Detection in Radar Video Based on Feature Fusion [J].Radar Science and Technology,2015,13(6): 633-638.(in Chinese)

[9]JAHANGIR M.Moving Target Detection for Synthetic Aperture Radar via Shadow Detection[C]∥IET International Conference on Radar Systems,Edinburgh,UK:IET,2007:183-188.

[10]余先川,呂中華,胡丹.遙感圖像配準(zhǔn)技術(shù)綜述[J].光學(xué)精密工程,2013,21(11):2960-2972.

[11]LOWE D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[12]FISCHLER M A,BOLLES R C.Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Communications of the ACM,1981,24 (6):381-395.

[13]WREN C R,AZARBAYEJANI A,DARRELL T, et al.Pfinder:Real-Time Tracking of the Human Body[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1997,19(7):780-785.