王 興,邵艷明,余 躍,朱婧文,楊大偉
(1.上海航天控制技術研究所·上?!?01109;2.中國航天科技集團有限公司紅外探測技術研發(fā)中心·上?!?01109)
基于紅外成像的目標檢測和跟蹤方法是一種基于被動式探測技術的光機電一體化方法[1],它具有良好的隱蔽性、抗干擾能力,被廣泛地應用于精確制導等武器裝備系統(tǒng)中。在實際使用過程中,為了盡可能早地發(fā)現目標,使紅外系統(tǒng)有足夠的反應時間,要求在較遠的距離就能夠捕獲到目標,并獲取目標的位置信息。然而當距離較遠時,目標在視場中以小目標的形態(tài)出現,并且信號微弱,這使得圖像序列中存在著較多的相似目標及噪聲點的干擾,因而無法使用基于目標的結構信息的模板匹配方法。尤其,當背景復雜時,目標往往會被淹沒在背景中,導致紅外點狀目標的檢測和跟蹤非常困難[2]。
目前的紅外弱小目標檢測系統(tǒng)一般由兩個功能模塊組成:一類是背景抑制模塊,其功能是提高單幀圖像中弱小目標的信雜比[3],降低檢測的虛警率;一類是目標確認模塊,其通過利用目標的幀間相關性信息進一步剔除虛假目標,最終實現對復雜場景中的紅外運動小目標的有效檢測。在下視情況下,弱小目標在紅外探測器上僅占據幾個像素,缺少結構紋理等細節(jié)特征,目標能量較弱,有時甚至低于背景的平均值,從而在圖像視覺上表現為暗目標。背景雜波極強,弱小目標極易被背景雜波淹沒。因此,一種有效的背景雜波抑制方法是弱小目標能否被成功檢測的關鍵所在[4]。本文的研究對象主要為在復雜背景下運動的小目標的檢測任務,主要討論了其中的背景抑制模塊的實現方法。
目前,常用的背景抑制方法主要有空域濾波法、頻域濾波法及背景運動估計匹配法。前兩種方法在提高目標信雜比的同時也會增強背景雜波邊緣的影響,使得虛警率提高,而背景運動估計匹配法是基于背景補償的背景抑制技術,該方法首先對背景的運動進行建模,再對背景的運動參數進行求解和補償,從而得到相應的目標運動信息,最后進行背景抑制。基于背景差分補償的背景抑制算法可以有效地去除背景雜波對弱小目標檢測的影響,將目標的信雜比提升兩倍以上,同時大幅降低檢測虛警率?;诒尘安罘盅a償的背景抑制算法一般由以下四個部分組成:建立背景運動的數學模型、確定背景中的匹配點對、求解幀間背景運動參數、背景補償與抑制。
當彈體在高空飛行時,相鄰幾幀背景圖像的變化可近似為由背景圖像沿探測器平面的平移運動和圍繞成像光軸的旋轉運動所引發(fā)的,也可以近似認為,背景中不同區(qū)域的圖像變化模式是相對一致的。因此,背景圖像的運動變換只需要考慮圖像的平移和旋轉。由于仿射變換模型可用于描述圖像的旋轉和平移運動變化,本文選用仿射變換模型來描述背景圖像的運動[5]。仿射變換模型的數學公式為
(1)
式中:cx,cy為x方向和y方向的放大系數;θx,θy表示x方向和y方向的旋轉角度;dx,dy表示圖像之間的平移距離。
在實際應用中,可將公式1簡化如下
xk=a1xk-1+b1yk-1+c1
yk=a2xk-1+b2yk-1+c2
(2)
式中:a1=cxcosθx、b1=-cysinθy、c1=dx、a2=cxsinθx、b2=cycosθy、c2=dy。
從式(2)中可以看出,只需在第k幀和第(k+5)幀(本文的幀間隔取為5)找到3對匹配點,便可以求解出背景的運動參數。目前,最為常用的匹配點計算方法有圖像塊匹配法和特征點匹配法。圖像塊匹配方法按照固定規(guī)則將每幀圖像分割成若干個小區(qū)域,通過在連續(xù)或是固定間隔的兩幀之間尋找相匹配的子塊,來確定各個子塊間的位移,進而通過子塊間的位移估計整幀圖像的全局運動矢量。基于特征點的匹配方法通過某些特定規(guī)則選取一定數量的像素點,然后通過相應的特征點描述子在當前幀中找到與參考幀中對應特征點最為匹配的點。根據這些匹配點之間的相對位移,便可以找到整幀圖像相對參考幀的位移。
在上述兩種方法中,前者簡單易行,效果穩(wěn)定可靠,是目前較為常用的算法。但是,塊匹配算法對幀間的旋轉運動不具有適用性,因此無法應對由彈體的抖動和旋轉所帶來的影響;由于圖像中的特征點包括邊緣點、交叉點、角點等具有旋轉不變性的點,適用于具有平移和旋轉的圖像匹配,因此,本文采用了基于特征點的匹配計算方法。
在現有的特征點檢測方法中,經典的Harris特征點檢測方法和尺度不變特征變換(SIFT)方法是很具有代表性的兩種方法。前者不具備尺度不變性,當圖像之間存在較大的尺度變換時,該方法的特征點檢測性能下降很快;后者具有良好的尺度不變性,但是計算時間較長[6]。本文使用加速的尺度不變特征變化SURF方法進行特征點的提取[7],其步驟如下:
第一步,選取特征點的計算區(qū)域。由于SURF算法的整體計算量較大,因此合理地選取特征點計算區(qū)域非常關鍵。本文對特征點計算區(qū)域的選取如圖1所示,首先將全圖像劃分為5個區(qū)域,再分別計算每個區(qū)域的梯度和。
圖1 區(qū)域選取示意圖Fig.1 Area selection diagram
梯度和是每個區(qū)域的水平方向與垂直方向的梯度之和。水平方向梯度的計算方法如公式(3)所示,垂直方向梯度的計算方法如公式(4)所示,區(qū)域總的梯度和的計算方法如公式(5)所示,最后選取梯度平方和G最大的一個區(qū)域作為特征點的計算區(qū)域。
(3)
(4)
G=Gh+Gv
(5)
第二步,建立圖像的Hessian矩陣。選中特征點計算區(qū)域后,用不同尺度的高斯模板與原圖像進行卷積濾波,再將濾波后的圖像進行Hessian矩陣的計算,將Hessian表示為
(6)
Lxx(x,σ)、Lxy(x,σ)、Lyy(x,σ)是原圖與尺度為σ的高斯模板在三個方向上的卷積和。
第三步,確定極值點。將經過Hessian確定過的每個像素與同尺度3×3區(qū)域像素和上下尺度的3×3區(qū)域內的共26個點進行大小比較,如圖2所示,若為極大值或極小值則需保留。最后,將保留后的數據做出線性插值。
圖2 初步確定特征點示意圖Fig.2 Characteristic points selection diagram
第四步,選取特征點的主方向。將特征點的圓形區(qū)域劃分為6個扇形區(qū),harr小波的x、y方向響應和最大的扇形區(qū)域方向即為特征點的主方向。
第五步,對特征點進行匹配。首先,根據導引頭的實際視場確定特征點的幀間最大移動半徑(本文設為10個像素單位),每個特征點在匹配半徑內以歐式距離最小(且小于設定值)的點作為匹配點。
若采用仿射變換模型,只需三對特征點即可求取公式(2)中的6個參數,但是這樣求取的參數的隨機誤差會比較大,而且實際求取的特征點對往往是3的n倍。因此,本文將特征點對分為n組,針對每組分別計算公式(2)中的6個參數,得到參數矩陣
(7)
(8)
(9)
(10)
(11)
(12)
其中,n代表組數,a11表示由第1組特征點對求取的參數a1,以此類推。
在公式(3)中,a1的最終確定方法如下
(13)
其他5個參數以同樣的方法確定。
求出當前幀的背景相對于基準幀的背景運動參數a1、b1、c1與a2、b2、c2之后,即可求出當前幀的每一點I(xk0,yk0)相對于基準幀的補償坐標
(14)
式中,(xk1,yk1)代表點(xk0,yk0)補償后的坐標。
最后,利用基準幀圖像與補償圖像的幀間差分結果得到背景抑制的結果。
I(x,y)=Ik+5(x,y)-Ik(xk1,yk1)
(15)
式中,Ik+5(x,y)表示基準圖像,Ik(xk1,yk1)表示補償后的圖像,I(x,y)表示背景抑制后的圖像。
在實驗中,選取了兩組圖像,分別利用圖像的塊匹配法和本文的SURF算法做出了特征點匹配。實驗結果如圖3所示,圖3(a)、圖3(b)中的圖像沒有旋轉,圖3(c)、圖3(d)中的圖像有5度的旋轉。
(a)塊匹配結果(a) Block-matching result
(b)SURF匹配結果(b) SURF matching result
從圖3(a)、圖3(b)中可以看出,在沒有旋轉的情況下,塊匹配法和本文所用的SURF算法匹配得都很準確。而在圖3(c)、圖3(d)旋轉圖中,塊匹配法的匹配點多數都存在較大誤差,本文所用的SURF算法的特征點匹配基本無誤差。兩種情況的具體匹配結果可見表1和表2。
表1 無旋轉情況下的匹配結果
表2 旋轉情況下的匹配結果
背景抑制實驗的目的是驗證背景估計運動匹配法能否提高運動目標的檢測效率,同時將其與頻域高通濾波[8]和形態(tài)學Top-hat濾波[9-10]等傳統(tǒng)背景抑制算法進行了對比,對比結果如圖4所示。在圖4中,第1行為原始圖像序列,第2行為頻域高通背景抑制的結果,第3行為形態(tài)學Top-hat背景抑制的結果,第4行為本文方法的背景抑制結果。目標的信雜比和虛警率的高低是決定目標能否成功實現檢測的兩個關鍵指標。本文就這兩方面對算法的有效性進行了驗證。
(a)原始圖像序列(a)Original image sequence
(b)頻域高通背景抑制結果(b)High-pass filter result
(c)Top-hat背景抑制結果(c)Top-hat result
(d)本文方法的背景抑制結果(d)Result of this paper圖4 不同背景抑制算法的結果Fig.4 Results of using different background suppression method
(a)信雜比指標
從原圖中可以看出,目標在復雜背景下表現為暗目標,而頻域高通濾波和Top-hat濾波只能提高亮目標的信雜比,因此在使用這兩種方法之前需要將待檢測圖像進行亮暗轉換,轉換公式為
Inew=|Iori-Imean|
(16)
式中,Iori代表原圖的像素灰度,Imean代表原圖的灰度平均值,Inew代表轉換后的圖像。
本文提出的方法不受暗目標的限制,只需將最終得到的差值結果做出絕對值計算即可。
信雜比的計算公式為
(17)
式中,fmax為局部窗口內目標灰度的最大值,favr為局部窗口內的灰度均值,σ為局部窗口內的灰度標準差。本文局部窗口的大小取為30×30,得到的信雜比如表3所示。
表3 SNR結果
(b)虛警率指標
雖然從表1中可以看到,3種算法對目標的局部信雜比都有提升作用,但是這并不表示能夠成功檢測到目標。以濾波后目標的最大值的0.5倍作為該濾波圖像的分割閾值,得到每個背景抑制算法的二值化圖像(如圖5所示)??梢钥闯?,傳統(tǒng)的頻域高通濾波和形態(tài)學濾波方法在經過二值化分割后,虛假目標的個數均大于10,這使得針對目標的檢測極為困難。在本文的方法中,虛假目標的個數幾乎為0,目標顯著性大幅提高。
(a) 原始圖像二值化結果(a) Thresholding result of original images
(b) 高通濾波后二值化結果(b) Thresholding result of high-pass filter
(c) Top-hat濾波后二值化結果(c) Thresholding result of Top-hat
(d) 本文方法二值化結果(d) Thresholding result of this paper圖5 不同背景抑制算法的二值化圖Fig.5 Thresholding result
針對下視復雜背景動態(tài)弱小目標的檢測問題,本文利用背景運動補償的方法達到了抑制背景的目的。首先,利用梯度信息選出特征點的局部計算區(qū)域,以降低整個算法的計算量,再使用SURF方法提取局部特征點,求取背景幀間運動參數,最后對背景進行幀間補償和抑制,得到信雜比提升的圖像。
實驗結果表明,采用合理的數學模型及特征點計算方法,能夠較為準確地估計出背景的幀間運動量,進而去除背景雜波對弱小目標的影響。對于暗目標,本文的背景抑制方法與傳統(tǒng)的背景抑制方法相比,可以省略亮暗目標轉換的環(huán)節(jié),能夠更顯著地提高目標的信雜比,并且降低整幅圖像檢測的虛警率,可有效地提高目標的單幀檢測能力。在進一步的工作中,還將優(yōu)化特征點的檢測算法,降低算法的運行時間。