李 斌,李秀紅,艾斯卡爾·艾木都拉

(新疆大學(xué)信息科學(xué)與工程學(xué)院,新疆 烏魯木齊 830046)

1 引 言

紅外復(fù)雜場景下的小目標(biāo)檢測研究的意義極其重要。首先,在軍事領(lǐng)域的導(dǎo)彈防空預(yù)警、導(dǎo)彈精準(zhǔn)制導(dǎo)和海上漂浮地雷偵查中發(fā)揮了非常重要的作用[1]。其次,現(xiàn)如今由于輕量化的小型無人機(jī)的普遍使用,導(dǎo)致存在邊防間諜無人機(jī)的威脅與在敏感設(shè)施中未經(jīng)授權(quán)的無人機(jī)的偵查偷拍的威脅,所以遠(yuǎn)距離檢測和監(jiān)視非法無人機(jī)至關(guān)重要。小目標(biāo)檢測也為小目標(biāo)跟蹤技術(shù)提供了基礎(chǔ)。由于諸如目標(biāo)對比度極低和背景復(fù)雜雜波較高[2]之類的問題,在紅外圖像中準(zhǔn)確檢測非常小的目標(biāo)仍然是一項艱巨的任務(wù)。

紅外小目標(biāo)的檢測遇到的難點如下:①目標(biāo)距離非常遠(yuǎn)而導(dǎo)致目標(biāo)的形狀特點與紋理特點極其的少；②光學(xué)模糊的原因直接導(dǎo)致紅外小目標(biāo)在焦平面上發(fā)生畸變與點擴(kuò)展；③紅外小目標(biāo)的強度在不同的環(huán)境與天氣中不固定；④紅外小目標(biāo)的背景復(fù)雜且噪點高,比如存在?？毡尘?、山地背景與高樓宇背景等等,復(fù)雜背景會導(dǎo)致陽光反射、場景或云層變換等等問題。

近幾年在紅外場景下的小目標(biāo)檢測方法可以分為兩大類:順序檢測算法和單幀檢測算法。關(guān)于順序檢測算法有:基于動態(tài)規(guī)劃的算法[4]、基于最大似然估計的算法[5]、基于假設(shè)檢驗的算法[6]；關(guān)于單幀檢測算法有:基于最大中位數(shù)和最大均值濾波器的算法[7]、基于二維最小均方自適應(yīng)濾波器的算法[8]、基于形態(tài)學(xué)濾波的算法[9]。

本文提出了基于生物視覺啟發(fā)模型的小目標(biāo)檢測方案(PLMC),主要思想來源于Brinkworth等所提出的小型昆蟲視覺處理機(jī)制[10-11],文獻(xiàn)[11]根據(jù)蠅類具有檢測和跟蹤小型移動物體的能力而提出了基于生物視覺的圖像處理思路,小型昆蟲的視覺系統(tǒng)中的神經(jīng)元對于過濾目標(biāo)的復(fù)雜背景噪聲和雜波抑制的能力極強。本文將此思想嘗試應(yīng)用至紅外小目標(biāo)檢測中,擬解決紅外小目標(biāo)檢測中紋理信息不足、暗淡模糊和低目標(biāo)對比度等難點，PLMC方案流程圖如圖1所示。解決方案擬為基于感光細(xì)胞模型與大型單極細(xì)胞模型將紅外序列中的目標(biāo)信息增強且抑制背景雜波,增強信噪比,可通過改進(jìn)閾值分割小目標(biāo)。實驗對比五種具有代表性、檢測率高、魯棒性不錯且較新的算法,結(jié)果表明本文所提出的方案在較復(fù)雜場景中獲得了更高的檢測精度與魯棒性。

圖1 PLMC方案流程圖Fig.1 Flow chart of PLMC

2 PLMC檢測方案

本文提出的紅外小目標(biāo)檢測方案的流程如圖1所示。首先,輸入紅外序列幀,由感光計算模型增強目標(biāo)與抑制背景雜波,利用自適應(yīng)閾值消除了大多數(shù)背景雜波,從而獲得復(fù)雜背景下的可疑目標(biāo)像素；然后由LMC計算模型消除時空冗余與增強目標(biāo)對比度。經(jīng)過目標(biāo)增強處理后的圖像序列輸入閾值分割模塊,最后利用閾值分割出真實的目標(biāo),輸出目標(biāo)的位置信息。

2.1 感光模型

文獻(xiàn)[10]～[12]進(jìn)行了小型生物視覺系統(tǒng)對光強度變化的響應(yīng)的理論研究,研究了蜻蜓的感光細(xì)胞對強度自然時間序列的響應(yīng)。利用其對紅外小目標(biāo)做檢測時,其模型的輸出與刺激的速度高度相關(guān),但與其他通常會影響目標(biāo)檢測任務(wù)的背景統(tǒng)計數(shù)據(jù)(如局部亮度或?qū)Ρ榷?高度相關(guān)。瞬態(tài)細(xì)胞模型可從背景中區(qū)分目標(biāo),而無需相對運動提示。感光模型代表了沿著擬議的通往目標(biāo)檢測神經(jīng)元途徑的神經(jīng)處理過程[13],嘗試將其應(yīng)用于紅外小目標(biāo)增強,其計算模型推導(dǎo)如圖2所示。

圖2 感光計算模型Fig.2 Photosensitive computing model

感光模型第一階段:

第一階段在數(shù)值上模擬感光細(xì)胞的自適應(yīng)時間濾光機(jī)制。特點:①其臨時逐像素操作可抑制紅外圖像的背景噪聲,增強目標(biāo)背景辨別力,擴(kuò)大信號可變性的可能范圍并動態(tài)調(diào)整輸入圖像的暗區(qū)和亮區(qū)；②使用全局線性縮放,對輸入數(shù)據(jù)進(jìn)行每像素二階時域低通濾波和每像素增益可變；③可消除高頻,短時噪聲輸入像素的影響,并增強信號,從而可在更寬的輸入范圍內(nèi)捕獲細(xì)節(jié)。

步驟一:設(shè)Pt為時間t的輸入像素,使用時間常數(shù)T對Pt進(jìn)行時間低通濾波,如式(1)。則可以通過時間低通濾波器式(1)計算出適應(yīng)水平Lt,如式(2),其中TL表示預(yù)設(shè)的適應(yīng)水平過濾時間常數(shù)。

(1)

(2)

步驟二:自適應(yīng)水平Lt用于通過Naka-Rushton變換[15]實現(xiàn)的色調(diào)映射過程,由式(3)計算變量和自適應(yīng)時間常數(shù)Tt,其中g(shù)s表示輸入幀速率,Tmax和Tmin是分別對應(yīng)于時間低通濾波器的最大和最小自適應(yīng)率的范圍參數(shù),Pmid是中點像素值(可從一組訓(xùn)練像素中估算出該值)。色調(diào)映射過程的結(jié)果,其場景暗區(qū)中的像素將具有更長的時間常數(shù),并且比亮像素適應(yīng)性更慢。

(3)

步驟三:時間常數(shù)Tt用于通過低通濾波實現(xiàn)Pt的時間平滑式,可應(yīng)用多個低通濾波器來計算At,以實現(xiàn)更強的平滑度。自適應(yīng)水平Lt用于計算自適應(yīng)非線性增益因子,設(shè)Kmax是最大增益參數(shù),此過程使得紅外暗場景區(qū)域中的細(xì)節(jié)被自適應(yīng)地增強。綜上輸出式(4):

(4)

感光模型第二階段:

此階段由除數(shù)反饋機(jī)制組成,如圖2(a)所示。

步驟一:非線性除數(shù)反饋機(jī)制是通過反饋回路實現(xiàn),如式(5),其中MB是本階段的預(yù)設(shè)時間常數(shù):

(5)

步驟二:穩(wěn)態(tài)行是對平方根函數(shù)進(jìn)行建模,在時間t=0處初始化,即At是Bt的二次方。即可快速地適應(yīng)輸入強度,從而使像素能快速適應(yīng)紅外背景亮度變化的影響。

感光模型第三階段:

如圖2所示,此階段由低通濾波的指數(shù)除法反饋組成,可使感光模型能夠適應(yīng)強度的緩慢變化,同時保持時間一致性和對高頻變化的抵抗力。低通反饋環(huán)路為式(6),其中MC是此階段的預(yù)設(shè)時間常數(shù)。對穩(wěn)態(tài)對數(shù)響應(yīng)進(jìn)行建模,在t=0時初始化,即Ct是At的自然對數(shù)。指數(shù)縮放使該階段可以執(zhí)行輸入像素的顯著非線性重新縮放,進(jìn)一步壓縮了階梯狀的變化,有助于改善紅外小目標(biāo)的梯度對比度。

(6)

感光模型第四階段:

本階段用于限制感光模型的輸出范圍,隨著強度值的增加,響應(yīng)變得越來越非線性。使用Naka-Rushton非線性計算感光模型的最終輸出,如式(7),其中參數(shù)n為正偏移。感光計算模型通過將輸入同時壓縮為帶寬明顯較低的信號并改善信號變化范圍來減少視覺信號的冗余。最重要的是,不會丟失可能有用的紅外小目標(biāo)統(tǒng)計數(shù)據(jù),并且在信息量高的區(qū)域中,紅外小目標(biāo)背景對比度會增強。

(7)

2.2 LMC模型

文獻(xiàn)[14]～[15]測量了強度的自然時間序列及大型單極細(xì)胞(LMC)對這些時間序列的響應(yīng),小型飛行昆蟲的大型單極細(xì)胞(LMC)具有增強目標(biāo)對比度功能?？赏茖?dǎo)出LMC計算模型如圖3所示。該LMC模型減少了視覺信息的冗余,可以增強紅外小目標(biāo)的對比度。

LMC模型第一階段:

先將感光計算模型輸出結(jié)果進(jìn)行標(biāo)準(zhǔn)化,從中減去一個小的正偏移量z(可從感光模型輸出的時空立方體中估計),如式(8):

Et=Dt-z

(8)

LMC模型第二階段:

為了逐步淘汰紅外背景中低頻長期靜態(tài)場景元素,標(biāo)準(zhǔn)化輸出Et的可變時間高通濾波,暫時的高通濾波是通過低通濾波輸出的減法實現(xiàn)的。

步驟一:在Et上應(yīng)用低通濾波器(其自適應(yīng)水平ME通過等式中給出的類似色調(diào)映射過程計算出自適應(yīng)時間常數(shù)LE),再對其做減法,可得出高通濾波的輸出如式(9),其中ρ是預(yù)設(shè)的比例因子:

(9)

步驟二:使用預(yù)設(shè)時間常數(shù)平滑高通濾波的環(huán)繞抑制,最終輸出Gt。

LMC模型第三階段:

在紅外序列圖像的背景噪聲和多余的場景元素被抑制之后,通過空間高通濾波增強了紅外移動小目標(biāo)的細(xì)節(jié)。通過使用可變且空間自適應(yīng)的中心環(huán)繞核進(jìn)行空間卷積來實現(xiàn)空間高通濾波器,如圖3所示。

圖3 LMC計算模型Fig.3 LMC computing model

LMC模型第四階段:

使用飽和非線性獲得LMC計算模型的最終輸出。

LMC模型處理負(fù)責(zé)消除時空冗余并增強紅外小目標(biāo)對比度。其通過淘汰不感興趣的場景元素(例如長期的靜態(tài)明亮結(jié)構(gòu))來抑制混亂,并且在高信息內(nèi)容區(qū)域(有變化)中增強了場景的對比度,在低信息內(nèi)容區(qū)域(無變化)降低了場景的對比度。

2.3 改進(jìn)閾值分割方案

紅外小目標(biāo)的檢測類似于對雷達(dá)信號的檢測,本文使用恒虛警率(CFAR)算法來計算自適應(yīng)閾值A(chǔ)T,如圖4可知,統(tǒng)計圖像中的背景雜波為高斯分布。

圖4 CFAR確定閾值示意圖Fig.4 A schematic of CFAR to determine thresholds

假設(shè)預(yù)處理圖像的尺寸為x×y,設(shè)f(m,n)為坐標(biāo)(m,n)處的像素灰度值,則預(yù)處理圖像的平均值μ的計算如式(10)所示。預(yù)處理圖像的標(biāo)準(zhǔn)偏差σ的計算過程如式(11)所示。

(10)

(11)

從恒定誤報率中獲得的閾值定義如式(12),其中AT表示自適應(yīng)閾值,P表示誤報概率：

AT=μ-σ(P)φ-1

(12)

對閾值做修改,結(jié)果如式(13),其中k為調(diào)整系數(shù)：

AT=μ-kσ(P)φ-1

(13)

紅外序列經(jīng)過感光模型計算之后,通過自適應(yīng)閾值分割,可以獲得復(fù)雜背景下的一些可疑的目標(biāo)像素,并消除了大多數(shù)背景雜波。再經(jīng)過LMC模型計算消除時空冗余后,可通過閾值分離出小目標(biāo)。

在紅外小目標(biāo)的復(fù)雜背景中最明顯的區(qū)域大概率就是目標(biāo)位置區(qū)域,將修改后的閾值式(14)應(yīng)用到PLMC,消除噪聲影響準(zhǔn)確分割目標(biāo)。式(14)中的a為閾值的調(diào)整參數(shù)：

(14)

以灰度值為測量數(shù)據(jù),其數(shù)值若高于當(dāng)前的閾值,則其像素可被確定為真實目標(biāo)像素。經(jīng)過閾值分離出小目標(biāo)后,最后輸出目標(biāo)的位置信息。

3 實驗分析

本文所有實驗均通過Python3.5在配備Intel(R)Core(TM)i7-8700 CPU @ 3.20 GHz CPU,NVIDIA GeForce GT 730和16 GB內(nèi)存的計算機(jī)上執(zhí)行。

3.1 數(shù)據(jù)集與評估指標(biāo)

本文實驗為證明所提出紅外小目標(biāo)檢測方案具備有效性與實用性,選取了五種不同的復(fù)雜背景紅外小目標(biāo)數(shù)據(jù)集,見表1所示。五個示例幀中的標(biāo)注圈內(nèi)是待檢測的紅外小目標(biāo),每個復(fù)雜背景都含有層次不同的噪聲,比如云彩噪聲、樓宇噪聲與樹林山地噪聲,還有由于能量衰減和傳感器帶來的熱噪聲,特別是在高原雪山背景、森林山地背景與樓宇公路背景中的目標(biāo)信號極其的弱小,復(fù)雜的背景噪聲確實特別大,紅外小目標(biāo)隱蔽在了極強的熱噪聲中。

表1 復(fù)雜場景數(shù)據(jù)集Tab.1 Complex scene data set

本文使用常用定量評價指標(biāo)工作特性(ROC)曲線評估PLMC檢測方案的性能。ROC曲線表示真陽性率(TPR)與假陽性率(FPR)之間的變化關(guān)系[16],其中TPR表示檢測出的總的小目標(biāo)數(shù)量與真正的小目標(biāo)數(shù)量的比值,FPR表示檢測出總的偽目標(biāo)像素與圖像總像素數(shù)的比值。

3.2 PLMC檢測過程

本文提出的PLMC紅外小目標(biāo)檢測方案為分步增強目標(biāo)法,圖5為PLMC方案在五種復(fù)雜背景下的目標(biāo)增強分解過程,其中(a1)～(a5)使用山脈天空背景數(shù)據(jù)；(b1)～(b5)使用森林山地背景數(shù)據(jù);(c1)～(c5)使用海洋天空背景數(shù)據(jù);(d1)～(d5)使用層遮擋背景數(shù)據(jù);(e1)～(e5)使用平原公路背景數(shù)據(jù)。按照設(shè)定步驟增強目標(biāo)與抑制背景雜波,消除時空冗余與增強目標(biāo)對比度。當(dāng)式(13)中k屬于范圍[7,14]、式(14)中a的范圍是[1.1,2]時可以獲得所有背景的最佳性能。

圖5 PLMC目標(biāo)增強處理過程Fig.5 PLMC target enhancement process

3.3 對比其他方案

本文對在紅外小目標(biāo)檢測方面的五種具有廣泛代表性、目標(biāo)檢測率較高、較新的、魯棒性不錯的算法進(jìn)行比較。其中包含:一種較常用的紅外場景下的點狀目標(biāo)檢測算法IPI[IEEE.2012][17],四種較新的紅外小目標(biāo)檢測算法LIG[Elsevier.2018][18]、PSTNN[Remote Sens.2019][19]、NRAM[Remote Sens.2018][20]和MDDTM[激光技術(shù).2020][21]。則分別進(jìn)行一些實驗來評估PLMC方案的檢測性能。

經(jīng)過一系列的實驗,GST、IPI、PSTNN、NRAM等算法和本文PLMC方案的對比檢測結(jié)果見圖6,其列出了不同方法在不同復(fù)雜背景下運行后的三維灰度分布,其中橫行:(a1)～(a5)是LIG的結(jié)果,(b1)～(b5)是IPI的結(jié)果,(c1)～(c5)是PSTNN的結(jié)果,(d1)～(d5)是NRAM的結(jié)果,(e1)～(e5)是MDDTM的結(jié)果,(f1)～(f5)是PLMC的結(jié)果；豎列:(a1)～(f1)使用山脈天空背景數(shù)據(jù),(a2)～(f2)使用森林山地背景數(shù)據(jù),(a3)～(f3)使用海洋天空背景數(shù)據(jù),(a4)～(f4)使用云層遮擋背景數(shù)據(jù),(a5)～(f5)使用平原公路背景數(shù)據(jù)。

圖6 不同算法檢測結(jié)果的三維灰度分布Fig.6 The three-dimensional gray distribution of the detection results of different algorithms

通過對比觀察可得以下結(jié)論:①LIG算法、IPI算法和PSTNN算法在平原公路背景數(shù)據(jù)中出現(xiàn)明顯的錯誤,如圖6(a5)所示,增強了假目標(biāo)而抑制了真目標(biāo)。②NRAM算法和LIG算法在云層遮擋背景數(shù)據(jù)中檢測失敗,如圖6(a4)、(d4)所示。③相比本文的PLMC方案,IPI、PSTNN、NRAM和MDDTM對于簡單場景下的檢測結(jié)果挺好,但是對于略復(fù)雜的背景就顯得魯棒性較差,檢測效果不佳,對于真假目標(biāo)的區(qū)分表現(xiàn)性能不足,如圖6(b5)、(c5)、(d5)與(e5)所示。

圖7所示為四種復(fù)雜背景下的六種算法的ROC曲線。本文提出的PLMC方案的ROC曲線位于五個場景的曲線圖的左上角,這意味著本文提出的PLMC方案檢測率最強。由圖7可知:①單幀算法執(zhí)行的檢測通常很低,IPI算法、MDDTM算法和PSTNN算法在檢測方面表現(xiàn)良好,但明顯不如本文提出的方案好。②由圖7(d)可以看出,在較復(fù)雜的平原公路背景與中檢測小目標(biāo),本文的方案明顯比其他算法好。

圖7 不同算法在不同背景下的ROC曲線Fig.7 ROC curves of different algorithms under different backgrounds

綜上可得,通過本文PLMC方案,目標(biāo)顯著增強,背景雜波得到抑制,這也表明本文方法可以顯著改善輸入圖像的SCR,在復(fù)雜場景下的魯棒性比其他算法都強。

4 結(jié) 語

本文提出了基于生物啟發(fā)模型的紅外小目標(biāo)檢測的方案,首先由感光計算模型增強目標(biāo)、抑制背景雜波且增強信噪比,通過自適應(yīng)閾值獲得復(fù)雜背景下的可疑目標(biāo)；然后由LMC計算模型消除時空冗余與增強目標(biāo)對比度；最后經(jīng)過閾值分割出真實小目標(biāo),輸出位置坐標(biāo)。經(jīng)過實驗對比,本方案在普遍的小目標(biāo)復(fù)雜場景中獲得了更高的檢測精度。自適應(yīng)閾值與時間信息結(jié)合與紅外小目標(biāo)的跟蹤將是我們未來工作繼續(xù)研究的方向。