王 磊，郭宏林，潘明然，楊永夫，關鈞鍵

(1 沈陽理工大學機械工程學院，遼寧 沈陽 110159；2 遼沈工業(yè)集團研發(fā)中心，遼寧 沈陽 110045)

0 引言

紅外小目標檢測是紅外圖像處理中一個重要的研究方向,主要應用于遠程預警系統(tǒng)、導彈跟蹤系統(tǒng)、海上船舶監(jiān)視系統(tǒng)等重要軍事領域[1]。在復雜環(huán)境下,由于其缺乏一定形狀、紋理等特征,小目標常常淹沒在背景中,導致檢測難度增加。近年來隨著研究的不斷深入和應用領域的愈加廣泛,對于紅外相機安裝在飛行器等移動載體[2-3],其檢測算法在嵌入式系統(tǒng)中移植和實現(xiàn)是研究熱點之一[4]。

目前,對于紅外小目標檢測有多種不同類型算法,其中經典濾波算法[5]和基于人類視覺系統(tǒng)(human visual system, HVS)算法都有良好的處理效果和廣泛的應用。在經典濾波算法中,He等[6]提出的最大均值濾波在以某點為中心的某一鄰域內計算灰度平均值,并將平均值與鄰域內像素比較,選擇最大值作為中心像素的新值。此方法一定程度上減少了邊緣信息對真實目標的影響。形態(tài)學濾波算法通過Serra擴展后被廣泛應用于圖像處理方面[7],過程主要根據先驗的目標信息選取合適的結構元素體,通過其對圖像進行開閉運算獲得處理后圖像,經典的頂帽變換就是形態(tài)學的組合使用?；贖VS,Han等[8]提出相對的局部對比度方法(RLCM),通過比值和差值聯(lián)合的方式進一步增強小目標區(qū)域以及抑制背景雜波。Han等[9]提出的加權增強局部對比度算法通過在比值和差值聯(lián)合的基礎上增加權重計算。Zhang等[10]提出的局部強度和梯度(LIG)算法在局部對比的基礎上結合梯度計算,對背景的邊緣處理有明顯效果。基于HVS的算法一般在目標檢測的前期處理階段加入濾波器對原始圖像進行去噪和初步背景抑制。高斯濾波、中值濾波、均值濾波等濾波器模型簡單,對于復雜背景的圖像處理效果有限。雙邊濾波[11]、導向濾波等計算復雜,消耗時間多,不利于圖像的前期處理。曲率濾波[12]利用圖像的離散性優(yōu)化曲率,簡化計算,但部分復雜背景下的處理能力不足。

綜上,提出一種改進加權增強局部對比算法(WSLCM)的紅外小目標檢測算法,通過自適應曲率濾波將處理前后的紅外圖像作差得到初始目標顯著圖。將WSLCM局部窗口的最大灰度值作為參數,引入目標增強因子和背景抑制因子對初始目標顯著圖進行背景抑制和目標增強,進而通過閾值分割得到理想目標。將算法進行輕量化和并行加速布置在ZYNQ7020開發(fā)板上,構建軟硬協(xié)同平臺,通過IP核定制,將算法進行移植,實現(xiàn)對紅外小目標的實時檢測。

1 改進的WSLCM

傳統(tǒng)的WSLCM由高斯濾波、增強局部對比(SLCM)以及加權函數組成。其中預處理階段采用3×3高斯卷積核,但其對復雜背景紅外小目標圖像處理效果并不明顯,為后續(xù)紅外小目標的檢測增加了難度。改進主要針對兩個部分,一是在預處理階段提出自適應曲率濾波算法取代高斯濾波;二是在背景抑制模塊SLCM中更新背景估計參數和引入估計因子提高算法的小目標檢測能力。

1.1 選取局部窗口最大值

SLCM采用局部窗口方式對原始圖像中的背景部分進行估計,由9個窗口組成,如圖1所示。其中A0為中心部分,用來估計小目標,面積應該等于或稍大于小目標的面積。A1～A8為目標周圍的背景估計,大小與A0一致。

圖1 局部窗口分布Fig.1 Local window distribution

對背景進行估計時計算每個窗口中n個最大像素的平均值如式(1)所示：

(1)

(2)

式中：I為原始圖像;G為高斯卷積核;x,y為像素位置。由于單一高斯濾波對紅外小目標的預處理效果有限,目標與周圍背景灰度差等級相差較小,易將目標平滑成背景。為改善這種情況,在采用自適應曲率濾波算法的同時將局部窗口灰度值的最大值作為背景估計值：

(3)

BE(x,y)=max{M1,M2,…,M8}

(4)

通過背景窗口最大值計算BE,提高了背景的灰度值,減小了目標與背景的對比度。通過比值與差值聯(lián)合對比實現(xiàn)進一步的背景抑制,為準確的目標檢測提供了基礎。

1.2 目標增強因子和背景抑制因子

SLCM中局部對比采用了比值與差值聯(lián)合對比的方式,比值算法可以增強真實目標,差值算法可以抑制復雜背景。目前比值與差值僅能以一種計算后固定值的方式進行圖像處理,仍然存在虛警和背景抑制不完全的情況。

在Y(x,y)的基礎上引入目標增強因子λ(0～1)和背景抑制因子γ(0～1),兩種因子在比值與差值聯(lián)合對比算法中對目標部分和背景部分分別賦予不同的權重,使目標得到明顯增強以及背景被進一步抑制：

(5)

式中：Y(x,y)為輸出圖像;I(x,y)為目標圖像;BE(x,y)為式(4)中背景估計圖像。

所提算法在WSLCM基礎上通過將背景估計的窗口平均值調整為最大值以及在比值與差值融合算法中引入λ和γ因子,實現(xiàn)了紅外小目標圖像較為有效的背景抑制和小目標的局部增強,在降低紅外小目標虛警率同時提高檢測精度。

檢測時,考慮耗時問題,改進的WSLCM在單尺度下對顯著圖的背景進行抑制,通過自適應閾值分割得到單幀處理圖像：

Th=kqmax+(1-k)qmean

(6)

式中：qmax和qmean分別為當前圖像像素的最大值和平均值;k為介于0和1之間的參數。

2 連續(xù)幀檢測算法

在連續(xù)幀檢測中,由于紅外小目標所占像素較小并且移動距離相對整幅圖像來說較短,相鄰幀間的真實目標距離有限,提出建立一定范圍的檢測專注區(qū),對專注區(qū)內的疑似目標進行判別,可有效節(jié)省檢測時間,提升檢測效率?？紤]到在經過處理后的專注區(qū)內可能仍然存在偽目標,易造成誤檢測的發(fā)生,采用目標平均值對比的方法。從第一幀開始計算每一幀中目標的灰度平均值,在當前幀存在偽目標的情況下,將當前幀檢測到的多個目標平均值分別與上一幀目標平均值作差,以差值最小為判定條件,所提算法流程如圖2所示。

圖2 連續(xù)幀檢測算法Fig.2 Flow chart of continuous frame detection algorithm

由圖2可見,在連續(xù)幀檢測中,算法對第一幀紅外圖像進行小目標檢測,確定其當前位置P0(x,y)。第二幀圖像以P1(x,y)為中心建立一個范圍為a×a的專注區(qū),在其內進行目標檢測。以此類推,第i幀圖像在以Pi-1(x,y)為中心的專注區(qū)內進行目標檢測。

其中在進行某一幀檢測時,通過所提算法對其進行處理。首先對輸入的原始圖像進行自適應曲率濾波處理,一方面原始圖像經過曲率濾波迭代和差分后得到目標圖像A;與此同時,將其降采樣后進行曲率濾波和差分,經過上采樣獲得與原始圖像尺寸相同的目標圖像B,兩者相加得到輸出的目標顯著圖。改進的WSLCM對輸出圖像進行背景抑制和目標增強,然后通過自適應閾值分割得到輸出圖像,具體流程如圖3所示。

圖3 所提檢測算法流程圖Fig.3 Flow chart of the proposed detection algorithm

在實際工程應用中,所提算法可以通過式(5)中目標增強因子和背景抑制因子的參數調節(jié)完成多場景下的紅外小目標檢測工作。如檢測復雜地面背景下的小目標時,目標增強因子取值應大于背景抑制因子,通常情況下目標增強因子取0.8～1.2,背景抑制因子取0.6～0.8;針對地面簡單背景下的小目標檢測,目標增強因子取值只需略大于背景抑制因子,目標增強因子取0.9～1,背景抑制因子取0.8～0.95;針對天空云層背景下的小目標檢測,目標增強因子取值與背景抑制因子需保持一致,即兩者都取1。所以針對不同的紅外圖像背景可以通過因子調節(jié),實現(xiàn)對不同場景下小目標檢測的適應能力。

3 實驗與結果分析

為驗證算法有效性,實驗分為兩組,第一組使用所提算法對特定紅外背景下融合的小目標進行檢測,目的為通過融合不同點目標模擬復雜背景下遠距離無人飛行器目標以及遠距離的地面車輛或行人目標,記為場景1。第二組將所提算法與經典的5種算法對3種不同背景下紅外無人機小目標檢測的結果進行對比,記為場景2。

3.1 特定背景下的小目標檢測

實驗的特定紅外背景相源圖像共307張,通過仿真軟件建立的目標融合系統(tǒng)實現(xiàn)圖像的生成,主要是將8×8小目標融合在640×512的相源圖像中,3×3小目標同樣融合在相同數量的100×100相源圖像中。分辨率減小后的相源圖像相較于原始圖像整體細節(jié)會有損失,灰度起伏程度加大,檢測難度也會增加。為了觀察目標在不同背景區(qū)域的檢測情況,分別在每張紅外圖像的天空部分,艦艇部分以及兩者相接部分融合真實小目標,利用所提算法對不同區(qū)域的小目標進行檢測,檢測后的圖像以及三維顯著圖如圖4所示。

圖4 紅外小目標處理效果圖Fig.4 Infrared small target processing effect

由圖4(a)可知在背景圖像和目標分辨率均較小的條件下,目標1和目標2能夠被準確識別,但位于艦身中的目標3被作為背景完全抑制,同時將艦上燈光誤檢為目標3。由圖(b)可知所提算法對于大小為640×512的不同場景下紅外小目標檢測有明顯效果,天空區(qū)域的小目標在云層的干擾下能夠正確識別。特別是當目標處于艦艇區(qū)域的復雜背景下時,能將艦身、燈光等背景進行完全的抑制,得到小目標的位置。綜上,所提算法對原始圖像的所有目標和分辨率減小后的目標1、目標2都能正確檢測,但在分辨率減小后背景復雜的目標3則未能正確檢測。

3.2 算法對比

選取3種不同的復雜背景圖像作為檢測對象,分別為地面叢林、天空云層以及地面山丘,地面背景的復雜多變以及天空云層的強干擾極容易造成小目標的淹沒和誤檢測。為驗證所提算法的優(yōu)勢,將所提算法與經典常規(guī)濾波算法、同領域代表算法以及不同領域優(yōu)質算法進行全面對比,其中最大均值濾波(Max mean)和頂帽變換(Tophat)是經典常規(guī)濾波算法,應用范圍極廣;增強局部對比和加權增強局部對比算法與所提算法都基于HVS,對復雜背景的紅外圖像處理有明顯效果;局部強度和梯度(Lig)算法是從局部灰度強度和目標梯度向心兩方面考慮的檢測算法。選取處理效果較強的兩種算法和所提算法進行結果展示,如圖5所示。

圖5 背景抑制對比圖Fig.5 Background suppression contrast diagram

由圖可知,第一張地面叢林圖像被分為背景起伏相對平緩的區(qū)域1和起伏較多的區(qū)域2,頂帽變換對區(qū)域1的背景抑制效果較好,只保留了真實目標。對區(qū)域2的處理則出現(xiàn)大量偽目標。同樣頂帽變換對地面山丘的背景抑制也不完全,導致偽目標的存在,易造成誤識別發(fā)生。對于天空云層的小目標檢測頂帽變換實現(xiàn)了良好的背景抑制。而所提算法則能夠將3種不同復雜背景部分完全抑制并完整保留真實目標。圖6為以上兩種算法的像素灰度顯著特性。

由對比可知,針對地面叢林,兩目標分別處在背景對比較大的山體部分以及背景更為復雜的叢林部分。經過頂帽變換處理的顯著圖中存在多個極值,產生了背景抑制不完全的情況,并未有效去除叢林地面中的高亮部分。所提算法則完好保留兩目標并將背景全部抑制。針對天空云層的處理,所有算法都能夠對背景有較好的抑制,所提算法最大程度保留小目標的原有尺寸且未失真。針對地面山丘,頂帽變換也產生了背景抑制不完全的情況,而所提算法仍能夠實現(xiàn)對背景的完全抑制。由此可見,在不同環(huán)境下所提算法均能有效檢測。

此外,對不同算法處理后的3種圖像集分別進行信雜比(signal clutter ratio, SCR)、信雜比增益(signal clutter ratio gain, SCRG)以及背景抑制因子(background suppress factor, BSF)的計算,分別記為SCR,SCRG和BSF,其具體定義如式(7)～式(9)所示：

(7)

(8)

(9)

其中：mt表示目標的平均像素大小;mb表示目標周圍像素平均值大小;σb表示目標周圍像素值標準差;SCR,out表示輸出圖像的信雜比;SCR,in表示輸入圖像的信雜比;σin和σout表示輸入圖像和輸出圖像的標準差。3種指標越大表征處理后結果越佳,具體數據見表1。

表1 不同背景下不同算法的3種指標值Table 1 Three index values of each background with different algorithms

由表1可見,在大多數情況下,所提算法處理后圖像的BSF,SCR和SCRG值均比前述5種算法的對應值大。針對背景最復雜的地面叢林, SCRG和BSF指標相比于其他算法中數值最高算法分別提升了10.7%和11.8%。另外所提算法主要針對640×512的特定紅外背景小目標進行改進,SCRG和BSF指標相比于傳統(tǒng)WSLCM,分別提升了41.6%和29.8%。表明所提算法不僅能更好增強目標,亦能提升背景抑制能力。

3.3 算法移植和嵌入式實現(xiàn)

目前,算法實現(xiàn)和驗證多依靠PC架構下的CPU進行處理,但此種方法需要借助強大的操作系統(tǒng),并且存在高功耗、便攜性差等問題。嵌入式平臺在近些年的發(fā)展中憑借低功耗、體積小、計算效率高以及可重復設計等優(yōu)勢成為許多項目的實現(xiàn)手段,所以提出將所提算法移植至嵌入式ZYNQ7020開發(fā)板進行實現(xiàn)。

設計采用軟硬件協(xié)同方式進行算法驗證,在開發(fā)板的PL端主要定制和封裝了改進算法IP核和VIVADO HLS高級綜合完成的自適應閾值分割IP核,見圖7(a)、(b)。另外構建了為存儲器或AXI4-Stream類目標外設提供高帶寬數據存取的VDMA,可將VDMA輸出的AXI4-Stream數據流轉換成視頻協(xié)議數據流的AXI4-Stream to Video Out(vid_out)以及用于控制視頻輸出時序參數的Video Timing Controller(VTC)等架構,最終通過布局布線完成Block design設計。PS端主要搭建VDMA,GPIO初始化,中斷初始化以及數據流地址分配和讀取等框架,總體實現(xiàn)流程見圖7(c)。

圖7 自定義IP核及嵌入式平臺實現(xiàn)流程圖Fig.7 Custom IP core and embedded platform implementation flow chart

由圖7可知,PS和PL通過AXI4協(xié)議進行數據交互。PC端生成的目標融合相源數據放置于嵌入式平臺的SD卡中,通過ARM處理器將圖像數據流導入DDR緩存;VDMA設置3幀緩存通過讀操作不斷傳輸圖像數據,上述定制的IP核實現(xiàn)對背景的抑制和目標分割,處理后結果由vid_out轉換成視頻格式后通過DVI Transmitter IP核在顯示器進行HDMI顯示。

經統(tǒng)計,所提算法在嵌入式端的檢測效率相比于PC端提升了17.6%。但檢測率有所下降,在虛警率為0.3%的情況下檢測率為93.2%,PC端為96.7%。LUT資源占用8%,BRAM資源占用3%,為后期算法進一步改進提供了空間。

4 結論

提出了一種改進WSLCM的紅外小目標檢測算法,通過自適應曲率濾波對原始圖像進行預處理,在對背景去噪的同時保留了小目標;選取局部窗口灰度值的最大值作為背景估計,引入目標增強因子和背景抑制因子,提高了檢測性能,憑借自適應閾值分割檢測目標位置。所提算法在連續(xù)幀中提出建立專注區(qū)和目標平均值對比提高了檢測效率和檢測精度。建立紅外小目標圖像集在嵌入式端對算法進行驗證,檢測效率相比于PC端提升了17.6%,保證了算法移植后實時性。將結果對比不同代表性算法,驗證了所提算法的有效性。