陳紫強(qiáng),梁 晨
(桂林電子科技大學(xué)a.信息與通信工程系;b.認(rèn)知無線電與信息處理教育部重點(diǎn)實(shí)驗(yàn)室,廣西 桂林541004)
在盡可能遠(yuǎn)的距離依然可以有效檢測(cè)與跟蹤目標(biāo),是紅外小目標(biāo)自動(dòng)檢測(cè)與跟蹤技術(shù)的研究意義。然而遠(yuǎn)距離成像時(shí),目標(biāo)表現(xiàn)為信噪比較低的點(diǎn)狀小目標(biāo),沒有明顯的紋理、大小、形狀等特征,容易淹沒在背景雜波中,給目標(biāo)的檢測(cè)帶來了很大的困難[1]。
為了有效檢測(cè)低信噪比條件下的紅外小目標(biāo),國(guó)內(nèi)外眾多學(xué)者進(jìn)行了廣泛而深入的研究。近年來,基于人類視覺機(jī)制(Human Visual System,HVS)的目標(biāo)檢測(cè)算法由于具備良好的檢測(cè)性能引起了學(xué)者們的廣泛關(guān)注。文獻(xiàn)[2]提出局部對(duì)比度算法(Local Contrast Measure,LCM),通過目標(biāo)局部區(qū)域的最大像素值與周圍局部背景塊的最大均值之間的比值來增強(qiáng)目標(biāo)與背景之間的對(duì)比度,但是該算法容易受到高亮點(diǎn)噪聲的影響。針對(duì)這一問題,文獻(xiàn)[3]提出了局部差異對(duì)比度算法(Difference-Based Local Contrast Method,DBLCM),使用目標(biāo)局部區(qū)域的均值與背景區(qū)域的最大均值來增強(qiáng)目標(biāo),以及利用抑制因子來消除高亮點(diǎn)噪聲干擾。針對(duì)傳統(tǒng)LCM算法計(jì)算耗時(shí)高的問題,文獻(xiàn)[4]提出了雙層局部對(duì)比度機(jī)制算法(Double-layer Local Contrast Measure,DLCM)。該算法通過雙層對(duì)角灰度差對(duì)比度機(jī)制,增強(qiáng)目標(biāo)的同時(shí)也能很好地抑制背景雜波,并且通過單尺度窗口進(jìn)行圖像遍歷,計(jì)算量大大降低。然而,這些基于空間濾波的單幀檢測(cè)算法往往檢測(cè)能力有限,因?yàn)楹雎粤硕鄮蛄兄心繕?biāo)的時(shí)間相關(guān)性,很難完全消除虛警。
文獻(xiàn)[5]提出了一種時(shí)空局部對(duì)比度濾波算子(Spatial-Temporal Local Contrast Filter,STLCF),采用空域局部對(duì)比度和時(shí)域局部對(duì)比度算子同時(shí)來增強(qiáng)目標(biāo)與局部背景之間的差異,但該算法在遠(yuǎn)距離場(chǎng)景下的檢測(cè)性能有限。文獻(xiàn)[6]提出了時(shí)空域聯(lián)合預(yù)測(cè)模型(Spatial-Temporal Local Contrast Map,STLCM),在空間域利用均值濾波來預(yù)測(cè)背景,同時(shí)結(jié)合時(shí)域的局部對(duì)比度差異信息進(jìn)行小目標(biāo)的檢測(cè)。該算法能夠很好地抑制高亮背景,但易受到高亮點(diǎn)噪聲的干擾,導(dǎo)致虛警率高。文獻(xiàn)[7]提出了時(shí)空局部差分算法(Spatial-Temporal Local Difference Measure,STLDM),通過構(gòu)造一個(gè)三維的時(shí)-空域滑動(dòng)窗口,在時(shí)域和空域同時(shí)進(jìn)行目標(biāo)局部對(duì)比度的計(jì)算,使得檢測(cè)結(jié)果得到了很大的提高,但是該算法在遠(yuǎn)距離場(chǎng)景下易受到高亮度背景物體以及背景邊緣的干擾。
針對(duì)遠(yuǎn)距離場(chǎng)景下目標(biāo)信噪比低的情況,本文提出了一種時(shí)空域相融合的紅外弱小目標(biāo)檢測(cè)算法。實(shí)驗(yàn)結(jié)果證明,在遠(yuǎn)距離復(fù)雜場(chǎng)景下,該算法能夠很好地降低虛警,同時(shí)保持較高的檢測(cè)率。
時(shí)空域融合檢測(cè)算法主要包括空域相對(duì)局部對(duì)比度算法(Relative Local Contrast Measure,RLCM)、時(shí)域局部差分算法(Temporal Local Difference Algorithm,TLCD)、時(shí)空域融合的局部顯著檢測(cè)圖(Spatial-Temporal Relative Local Contrast Difference,STRLCD),自適應(yīng)閾值分割。本文的目標(biāo)檢測(cè)算法框圖如圖1所示。
基于人類視覺對(duì)比度機(jī)制(Human Visual System,HVS)相關(guān)的最經(jīng)典的算法就是LCM[2],后續(xù)的很多算法都是在LCM算法上的延伸,本文采用的RLCM[8]算法就是在LCM算法的基礎(chǔ)上進(jìn)行的改進(jìn)。
LCM提出使用一個(gè)滑動(dòng)窗口在圖像上從左至右、從上至下逐像素滑動(dòng),如圖2所示。每個(gè)窗口被劃分成9個(gè)子窗口,如圖3所示。中間區(qū)域0是目標(biāo)可能出現(xiàn)的區(qū)域,在它周圍的區(qū)域1~8代表局部背景塊。
圖2 目標(biāo)區(qū)域與局部背景區(qū)域的定義
圖3 LCM算法滑動(dòng)窗口
LCM算法計(jì)算目標(biāo)局部對(duì)比度的公式可表示為
(1)
式中:L0為中心目標(biāo)區(qū)域塊的最大值;mi為周圍第i個(gè)局部背景塊的灰度均值。
LCM算法通過式(1)的比值運(yùn)算可以很好地增強(qiáng)目標(biāo),但是很容易對(duì)高亮度背景物體以及噪聲點(diǎn)也進(jìn)行增強(qiáng),使得虛警目標(biāo)增多。
針對(duì)這種情況,本文采用RLCM算法來進(jìn)行空域局部對(duì)比度的計(jì)算。RLCM算法不僅采用了比值運(yùn)算來進(jìn)行目標(biāo)的增強(qiáng),而且還采用差值運(yùn)算來進(jìn)一步抑制高亮背景,因此相較于其他算法,具有更好的魯棒性;同時(shí)該算法結(jié)構(gòu)簡(jiǎn)單,只采用局部背景塊和中心區(qū)域塊中的k個(gè)參數(shù)進(jìn)行計(jì)算,相比于傳統(tǒng)LCM算法,檢測(cè)速度得到大大提高。RLCM算法的滑動(dòng)窗口如圖4所示。由于遠(yuǎn)距離背景下紅外目標(biāo)多呈現(xiàn)點(diǎn)狀,目標(biāo)尺寸通常不大于3×3,本實(shí)驗(yàn)所選取的局部子塊窗口尺寸大小為3×3。
圖4 RLCM算法的滑動(dòng)窗口
中心窗口的像素點(diǎn)的RLCM定義如公式(2)~(5)所示:
(2)
(3)
(4)
(5)
傳統(tǒng)的紅外小目標(biāo)檢測(cè)算法大多都是基于空域?yàn)V波的單幀檢測(cè)方法,此類算法由于忽略了多幀序列中運(yùn)動(dòng)目標(biāo)的時(shí)空相關(guān)性,在復(fù)雜場(chǎng)景下的檢測(cè)能力有限,會(huì)造成大量虛警。
對(duì)于目標(biāo)而言,在不同幀圖像中所處的位置不同,相應(yīng)的灰度強(qiáng)度也會(huì)發(fā)生一定的變化[7]。然而,對(duì)于圖像中的高亮點(diǎn)噪聲大多都是隨機(jī)產(chǎn)生的,在圖像中所處位置相對(duì)固定,灰度值也不會(huì)發(fā)生變換。由此,采用時(shí)域局部差分算法,利用目標(biāo)中心區(qū)域在時(shí)空域的灰度強(qiáng)度變化,進(jìn)一步提高目標(biāo)檢測(cè)率,抑制虛警目標(biāo)。時(shí)域局部差分的計(jì)算公式如式(6)~(9)所示:
Imax=max{MTfn-t,MTfn,MTfn+t},
(6)
Imin=min{MTfn-t,MTfn,MTfn+t},
(7)
TLCD(i,j)=(Imax-Imin)2,
(8)
(9)
式中:MTfn、MTfn-t分別代表當(dāng)前第n幀以及第n-t幀的中心目標(biāo)區(qū)域塊(3×3)的最大灰度值,t為間隔的幀數(shù)。序列圖像間隔幀t的選取會(huì)影響一定的檢測(cè)結(jié)果,本文采用t=3。
對(duì)于空域RLCM算法,采用式(2)中的比值運(yùn)算和差分運(yùn)算可以增強(qiáng)目標(biāo)以及抑制高亮度背景的干擾,但是當(dāng)圖像中存在高亮度固定噪聲點(diǎn)時(shí),此種算法也會(huì)增強(qiáng)噪點(diǎn),使得檢測(cè)結(jié)果中存在大量虛警。
對(duì)于時(shí)域局部差分TLCD算法,利用了目標(biāo)的時(shí)域運(yùn)動(dòng)特征,可以檢測(cè)出運(yùn)動(dòng)的目標(biāo),消除固定噪點(diǎn)的干擾。由于在圖像序列中背景也存在相對(duì)運(yùn)動(dòng),所以當(dāng)紅外圖像中背景物的亮度明顯大于目標(biāo)時(shí),TLCD算法很難抑制高亮背景物的干擾。
因此,為了提高檢測(cè)率,并且更好地降低虛警率,將空域?yàn)V波結(jié)果和時(shí)域?yàn)V波結(jié)果進(jìn)行乘積融合,如式(10)所示:
STRLCM(i,j,n)=RLCM(i,j,n)×TLCD(i,j,n) 。
(10)
STRLCM定義為時(shí)空域相融合的局部顯著檢測(cè)圖。對(duì)于單獨(dú)的空域RLCM檢測(cè)算法和時(shí)域TLCD檢測(cè)算法,都可以大致檢測(cè)出目標(biāo)位置,但在復(fù)雜場(chǎng)景下,目標(biāo)容易淹沒在大量虛警下??沼蚝蜁r(shí)域檢測(cè)算法都會(huì)產(chǎn)生虛警,但產(chǎn)生虛警的位置不相同,而目標(biāo)位置相同。因此通過乘積融合,使得目標(biāo)得以保留同時(shí)增強(qiáng),背景物以及噪聲得到極大抑制,從而虛警率大大降低。
融合RLCM和TLCD的濾波結(jié)果得到的顯著檢測(cè)圖STRLCM中,目標(biāo)得到增強(qiáng),高亮背景物、背景邊緣以及高亮噪聲點(diǎn)等干擾目標(biāo)都得到了抑制。當(dāng)STRLCM的值越大時(shí),說明此處為真實(shí)目標(biāo)的概率越大。
通過對(duì)局部顯著檢測(cè)圖進(jìn)行自適應(yīng)閾值分割[4],即可提取出真實(shí)的紅外小目標(biāo)。本文中閾值分割的表達(dá)式為
TH=μSTRLCM+kσSTRLCM。
(11)
式中:μSTRLCM和σSTRLCM分別代表時(shí)空域相結(jié)合檢測(cè)圖STRLCM的均值和標(biāo)準(zhǔn)差;k值為分割系數(shù),k值的選取需要根據(jù)實(shí)際場(chǎng)景而定。本文通過對(duì)所采用的數(shù)據(jù)集進(jìn)行驗(yàn)證,選取k為[20,45]之間。經(jīng)過TH閾值分割后即可得到最終的檢測(cè)結(jié)果。
本文數(shù)據(jù)集中的目標(biāo)尺寸較小,在256×256的圖片像素中只占到不到2×2的像素范圍,因此,局部塊的濾波窗口采用3×3的大小即可。空域RLCM算法中K1和K2的參數(shù)根據(jù)虛警率進(jìn)行選取,K1和K2選取過大會(huì)影響計(jì)算效率,因此選取過小不能很好地抑制噪點(diǎn)。因此,選取K1=2、K2=4作為參數(shù)的應(yīng)用,便可以有效地檢測(cè)到目標(biāo)。
對(duì)于時(shí)域TLCD算法中幀數(shù)t的選取,t選取過小,目標(biāo)的位置發(fā)生變化不大,目標(biāo)灰度值的變化不夠明顯,檢測(cè)效果不好;t選取過大,容易造成高亮度噪點(diǎn)的誤檢。因此,本實(shí)驗(yàn)采用t=3作為參數(shù)。
對(duì)于自適應(yīng)閾值中分割系數(shù)K值的選取,根據(jù)虛警率進(jìn)行選取,選取的K值參數(shù)要使虛警率盡可能小,由于不同場(chǎng)景下閾值的選取不是固定的,因此選取了[20,45]這個(gè)適應(yīng)的范圍進(jìn)行目標(biāo)的檢測(cè)。
為了驗(yàn)證本文算法的有效性,引用文獻(xiàn)[9]中的遠(yuǎn)距離紅外真實(shí)場(chǎng)景進(jìn)行紅外目標(biāo)檢測(cè)的實(shí)驗(yàn),采用數(shù)據(jù)集中的data6、data8、data18、data19四組不同的遠(yuǎn)距離場(chǎng)景下的圖像序列。表1給出了四組圖像序列的詳細(xì)信息。本文所有試驗(yàn)均在一臺(tái)采用2.2 GHz英特爾酷睿i7-10700F處理器、內(nèi)存(RAM)為8 GB的臺(tái)式電腦上運(yùn)行,所使用的測(cè)試軟件為Pycharm2019。
表1 四組圖像序列的詳細(xì)信息
圖5展示了本文算法對(duì)data6圖像序列中取某幀圖片的濾波結(jié)果,分別顯示空域RLCM濾波結(jié)果、時(shí)域TLCD濾波結(jié)果,以及STRLCM的濾波結(jié)果。圖5中紅色框代表了目標(biāo)所在的位置。
圖5 時(shí)空域融合STRLCM濾波結(jié)果三維圖
對(duì)于圖5(a)中data6序列圖像選取的這幀圖片可以看出,目標(biāo)信噪比極低,并且淹沒在高亮度地面背景邊緣中。從圖5(b)的空域RLCM濾波結(jié)果可以看出,雖然檢測(cè)出了目標(biāo)的位置,但目標(biāo)周圍存在大量虛警,甚至虛警的RLCM檢測(cè)值大于目標(biāo)的檢測(cè)值。從圖5(c)時(shí)域TLCD濾波的檢測(cè)結(jié)果可以看出,目標(biāo)位置的檢測(cè)結(jié)果值小于虛警的檢測(cè)結(jié)果值,使得容易造成誤檢現(xiàn)象。圖5(d)對(duì)應(yīng)的本文算法的結(jié)果顯示,虛警得到很好抑制,并且目標(biāo)得到增強(qiáng)。上述結(jié)果可以解釋為:?jiǎn)为?dú)的空域和時(shí)域處理產(chǎn)生的目標(biāo)位置相同,虛警位置不同,通過時(shí)空域融合處理,目標(biāo)位置信息得到保留,虛警被相互抵消,使得虛警率較大程度地降低。
為了評(píng)價(jià)本文算法的性能,將本文算法與STLCF算法[5]、STLCM算法[6]、STLDM算法[7]進(jìn)行性能比較。圖6給出了各個(gè)算法的檢測(cè)結(jié)果圖。輸入圖片來自于表1中四組紅外圖像序列所選取的某幀紅外原圖,本文算法的閾值選取為25,每個(gè)算法的間隔幀數(shù)t都選取為3。圖6中黑色框代表了檢測(cè)到的目標(biāo)。
圖6 各個(gè)算法檢測(cè)結(jié)果圖
由圖6可以看出,相比較其他算法,STLDM算法和本文算法可以很好地檢測(cè)出data8、data18、data19圖像序列中的小目標(biāo),而 data6圖像序列的這幀圖片只有本文算法正確檢測(cè)到了目標(biāo),并且沒有虛警目標(biāo),說明本文算法對(duì)高亮度背景干擾物以及高亮點(diǎn)噪聲的抑制效果很好。
為了衡量相關(guān)算法的檢測(cè)性能,本文采用信雜比增益(Signal Clutter Ratio Gain,SCRG)和背景抑制因子(Background Suppress Factor,BSF)[10],以及檢測(cè)率(Pd)、虛警率(Pf)[3]作為評(píng)價(jià)指標(biāo),對(duì)各個(gè)算法進(jìn)行比較。通過比較各個(gè)算法的SCRG值、BSF值以及檢測(cè)率和虛警率值,可以有效判斷算法對(duì)真實(shí)目標(biāo)的檢測(cè)性能。對(duì)于SCRG值和BSF值分表代表對(duì)目標(biāo)的增強(qiáng)能力以及對(duì)背景的抑制能力,兩者的值越大,說明目標(biāo)越容易被檢測(cè)到,算法的性能越好。而針對(duì)Pd值和Pf值,Pd值越大,Pf值越小,代表對(duì)應(yīng)算法的檢測(cè)結(jié)果越好。各個(gè)指標(biāo)定義如公式(12)~(16)所示:
(12)
(13)
(14)
(15)
(16)
式(12)中:GT為目標(biāo)區(qū)域的最大灰度值;Gb為目標(biāo)周圍局部背景區(qū)域的平均灰度值;σb為目標(biāo)周圍局部背景區(qū)域的標(biāo)準(zhǔn)差。目標(biāo)區(qū)域取3×3尺寸大小,局部背景區(qū)域取7×7尺寸大小。式(14)中,σin和σout分別表示原始圖像和檢測(cè)結(jié)果圖STRLCM的標(biāo)準(zhǔn)差。
表2~5分別展示了各個(gè)算法對(duì)序列圖像的檢測(cè)性能指標(biāo)。
表2 各圖像序列下(取其中一幀為例)不同算法的SCRG值
表3 各圖像序列(取其中一幀為例)不同算法的BSF值
表4 各圖像序列(取其中一幀為例)不同算法的檢測(cè)率
表5 各圖像序列(取其中一幀為例)不同算法的虛警率
從表2~3可以看出,data6、data18、data19中本文算法的信噪比增益SCRG值都是最高的,data8中最高值是STLDM算法,但是本文算法和其結(jié)果相差不大。本文算法的背景抑制因子BSF值最高。因此,相比較其他算法而言,本文算法不僅能很好地增強(qiáng)目標(biāo),同時(shí)更好地抑制了高亮背景。
從表4~5可以看出,在data8中,本文算法的檢測(cè)率不及STLDM算法的檢測(cè)率,但本文算法的虛警率相比較其降低了0.237。綜合而言,本文算法相比較于其他算法,能夠得到較好檢測(cè)結(jié)果的同時(shí)保持更低的虛警率。
data8數(shù)據(jù)序列中存在目標(biāo)丟失以及畫面模糊等現(xiàn)象,導(dǎo)致本文算法的檢測(cè)效果不及STLDM檢測(cè)算法。這是由于STLDM算法采用了局部幀差分的思想,當(dāng)某幀中目標(biāo)丟失,但下一幀或隔幾幀目標(biāo)又重新出現(xiàn),那么通過隔幀相差,目標(biāo)的灰度值還是存在,便盡可能不會(huì)漏檢目標(biāo)。而本文算法僅僅在時(shí)域采取了目標(biāo)灰度值的變換大小進(jìn)行差分運(yùn)算,當(dāng)目標(biāo)在圖像中丟失時(shí)灰度值大小并沒有改變,目標(biāo)沒有得到增強(qiáng),檢測(cè)效果也就不好。因此在利用目標(biāo)時(shí)域的灰度值變化,同時(shí)加上隔幀差分的思想,可以進(jìn)一步提高檢測(cè)效果。
本文針對(duì)遠(yuǎn)距離復(fù)雜場(chǎng)景提出了時(shí)空域?yàn)V波融合的方法進(jìn)行紅外小目標(biāo)檢測(cè)。在空間域,采用相對(duì)局部對(duì)比度算法(RLCM)增強(qiáng)目標(biāo),同時(shí)抑制高亮度背景。在時(shí)間域,通過時(shí)域局部差分算法(TLCD)來消除固定高亮噪聲點(diǎn)的干擾。融合時(shí)域和空域的檢測(cè)結(jié)果,可以更好地增強(qiáng)目標(biāo)與背景之間的差異性,抑制高亮度噪點(diǎn),從而更準(zhǔn)確地提取出目標(biāo),大大降低了虛警率。有效的紅外小目標(biāo)檢測(cè)在精確制導(dǎo)以及安防預(yù)警中起到重要作用,檢測(cè)出低虛警率的紅外小目標(biāo)為后期對(duì)真實(shí)目標(biāo)的實(shí)時(shí)跟蹤提供了良好的基礎(chǔ)。