呂 弈,黃成章,史馨菊,祁海軍,喬志平,黃靜穎

(1.中國電子科技集團(tuán)公司第十一研究所,北京 100015;2.國網(wǎng)冀北電力有限公司管理培訓(xùn)中心,北京 102401 3.北京波普華光科技有限公司,北京 100015)

1 引 言

紅外弱小目標(biāo)檢測技術(shù)在紅外告警設(shè)備、預(yù)警衛(wèi)星中具有重要的作用。通過自動檢測算法可以使紅外設(shè)備自動識別并跟蹤人眼難以發(fā)現(xiàn)的弱小運(yùn)動目標(biāo)。在目標(biāo)檢測任務(wù)中,算法在部分情況下會不可避免的產(chǎn)生錯誤的告警事件,稱為虛警[1]。虛警會導(dǎo)致不必要的資源浪費(fèi),并會致使用者降低警惕性,從而影響決策者的判斷,并影響整體作戰(zhàn)效能[2]。因此降低虛警率對于提高紅外目標(biāo)檢測算法效用具有重要意義。

在紅外圖像中,弱小目標(biāo)檢測任務(wù)的虛警率往往較高,因?yàn)槠浠叶忍卣鞒市^(qū)域高斯分布,與紅外成像系統(tǒng)的噪聲、盲閃元[3]等干擾非常相似,使得現(xiàn)有紅外弱小目標(biāo)檢測算法從圖像中提取出較多符合高斯特征分布的潛在目標(biāo)點(diǎn)。此外,在飛機(jī)下視場景中,常常存在與目標(biāo)紅外特性相近的地面亮斑,進(jìn)一步增加了弱小目標(biāo)檢測任務(wù)的難度。因此,紅外圖像中的目標(biāo)檢測算法在提高檢測率的同時,會不可避免地將干擾錯誤地識別為目標(biāo),使得下視場景中的虛警率較高。而根據(jù)皮爾遜準(zhǔn)則[4],紅外告警設(shè)備的指標(biāo)要求紅外告警系統(tǒng)在保持虛警率不高于一定值的情況下,使檢測率盡可能提高。因此,虛警問題也成為限制紅外告警系統(tǒng)檢測率的重要因素。

目前常見的虛警抑制方法主要應(yīng)用在三個階段,成像階段、檢測階段與后處理階段。在成像階段常用的方法為紅外成像噪聲抑制技術(shù)、盲閃元濾除技術(shù)等[5],此類方法雖然可以降低圖像中的噪聲以減少干擾,但對于紅外弱小目標(biāo)特征也會產(chǎn)生一定的削弱,同時這類方法并不能解決與目標(biāo)特征相似的下視場景虛警問題。

在檢測階段常用的方法可分為跟蹤前檢測(Detection Before Track,DBT)和檢測前跟蹤(Track Before Detection,TBD)兩類。DBT算法通過計(jì)算單幀圖像的檢測概率和虛警概率確定檢測門限,在分割后得到的二值化圖像序列中根據(jù)目標(biāo)的運(yùn)動特性進(jìn)行目標(biāo)軌跡關(guān)聯(lián),剔除虛警點(diǎn),實(shí)現(xiàn)目標(biāo)跟蹤[6-8]。TBD 算法則先對所有候選目標(biāo)運(yùn)算運(yùn)動軌跡,再根據(jù)同一目標(biāo)灰度能量變化區(qū)分虛警[9-10]。這兩類方法可以有效利用時空信息找到目標(biāo),并濾除灰度特性不穩(wěn)定的虛警,但同樣由于其對目標(biāo)灰度特性的依賴,當(dāng)?shù)孛媪涟呋叶忍卣髋c弱小目標(biāo)相似時,則難以區(qū)分。而地面亮斑灰度特征常常與目標(biāo)極為相近,均符合高斯分布且灰度特征穩(wěn)定,如圖1所示,因此僅通過灰度難以區(qū)分目標(biāo)與虛警。

圖1 目標(biāo)灰度特征與虛警灰度特征對比圖

在后處理階段,目前常見的虛警抑制算法主要分為兩類。一類是基于圖像分類算法對目標(biāo)與虛警進(jìn)行分辨,隨著近幾年深度學(xué)習(xí)的飛速發(fā)展,基于機(jī)器學(xué)習(xí)的目標(biāo)分類算法[11-12]由于取得了不錯的精度而得到越來越廣泛的應(yīng)用。但在紅外小目標(biāo)檢測場景中,目標(biāo)與虛警的灰度特征差異較小,且基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)分類方法缺乏對時間維度信息的利用,導(dǎo)致識別精度不高,在復(fù)雜場景下難以完成對虛警與目標(biāo)的分辨。此外基于深度學(xué)習(xí)的方法往往有著較大的計(jì)算量,難以滿足工程中的實(shí)時性要求,因此難以實(shí)現(xiàn)各類場景的虛警抑制。另一類是基于圖像特征匹配的方法[13],通過對圖像的紋理特征進(jìn)行提準(zhǔn),并進(jìn)行幀間配準(zhǔn),以計(jì)算出兩幀圖像間的透視變換矩陣,進(jìn)而換算出目標(biāo)相對于背景的絕對速度,以分辨目標(biāo)檢測結(jié)果是運(yùn)動的目標(biāo)還是靜止的虛警。但該方法運(yùn)算量較大,在特征提取與配準(zhǔn)步驟運(yùn)算速度慢,難以滿足高實(shí)時性場景,且該算法為保持精度需要緩存多幀圖像信息,內(nèi)存占用大,對硬件配置要求高。此外在一些場景下,如相機(jī)移動速度過快導(dǎo)致能匹配上的相同特征較少,或紅外圖像中的背景紋理特征較弱,都會導(dǎo)致配準(zhǔn)運(yùn)算無法實(shí)現(xiàn),使該方法失效。

根據(jù)分析,影響紅外目標(biāo)檢測算法的因素并造成虛警問題的因素主要包括以下三類:第一類客觀因素,由于地理原因,紅外圖像背景復(fù)雜多變、且從物理角度目標(biāo)與干擾的紅外灰度特征相似導(dǎo)致難以區(qū)分;第二類系統(tǒng)因素,在許多情況下,圖像的成像質(zhì)量較差,存在盲閃元、焦距不實(shí)、畫面存在抖動、拖影問題,以及信號處理系統(tǒng)運(yùn)算能力限制問題;第三類人為因素,在一些情況下,相機(jī)會受人為控制而被動高速移動,使得目標(biāo)運(yùn)動特性非常不規(guī)律。如何使虛警抑制算法能夠在以上場景中均能正常工作,同時保持計(jì)算的高效性,是本文的主要研究目標(biāo)。

針對以上問題,本文提出基于目標(biāo)相對運(yùn)動信息的紅外虛警抑制方法,實(shí)現(xiàn)了低運(yùn)算量、高魯棒性、便于移植的虛警抑制技術(shù)。通過對上報目標(biāo)進(jìn)行運(yùn)動信息提取,并分析目標(biāo)間的相對運(yùn)動關(guān)系,以構(gòu)建運(yùn)動信息匹配表,最終根據(jù)運(yùn)動信息匹配結(jié)果進(jìn)行投票信息選擇,以濾除檢測目標(biāo)中的虛警。

2 方 法

本文中基于目標(biāo)相對運(yùn)動信息投票的虛警抑制系統(tǒng)分為三個模塊:一是基于歐氏距離的初始批次分配;二是基于自適應(yīng)幀匹配的運(yùn)動信息提取,三是基于相對運(yùn)動關(guān)系的推理投票統(tǒng)計(jì),算法的總體流程如圖2所示。

2.1 基于歐氏距離的初始批次分配

為便于集成應(yīng)用,采用模塊化設(shè)計(jì),輸入為所有候選目標(biāo)在紅外圖像中的位置信息,輸出為濾除虛警后的保留下來的當(dāng)前幀目標(biāo)位置信息。因此在批次分配階段需要對每一個候選目標(biāo)分配一個批次值,首先對輸入的所有候選目標(biāo)位置進(jìn)行保存,并基于歐幾里得距離遍歷所有的目標(biāo)最近幀位置信息,尋找最符合的歷史位置鏈,完成對目標(biāo)的關(guān)聯(lián)。對于無法關(guān)聯(lián)的目標(biāo),在這一過程將創(chuàng)建一個新的批次來存儲該目標(biāo)的位置信息以及出現(xiàn)的幀號。對于可以關(guān)聯(lián)到批次的目標(biāo),保存出現(xiàn)的幀號以及位置信息到對應(yīng)批次的信息中。完成對所有目標(biāo)的批次分配后,將在這一幀出現(xiàn)的所有批次存儲到批次記錄表中。

2.2 基于自適應(yīng)幀匹配的運(yùn)動信息提取

在較為復(fù)雜的情況下,紅外弱小目標(biāo)檢測算法輸出的目標(biāo)信息可能是不穩(wěn)定的,每一幀的上報內(nèi)容可能存在以下幾種情況:只包含目標(biāo)、只包含虛警、二者均包含或上報內(nèi)容為空幾種情況。其次,紅外告警系統(tǒng)可固定于飛行器上,考慮到目標(biāo)在圖像中的位置信息可能受機(jī)身抖動或視場變化影響而產(chǎn)生劇烈變化,僅考慮目標(biāo)的運(yùn)動信息是不準(zhǔn)確的。由于成像系統(tǒng)抖動或視場變化對目標(biāo)和虛警的影響都是相同的,因此在該場景下目標(biāo)與虛警間的相對位置信息仍能保持穩(wěn)定。根據(jù)以上分析,基于候選目標(biāo)的相對位置關(guān)系進(jìn)一步分析目標(biāo)的運(yùn)動特性,可以有效排除干擾,對運(yùn)動目標(biāo)進(jìn)行準(zhǔn)確判斷。

根據(jù)當(dāng)前幀輸入目標(biāo)結(jié)果,將所有出現(xiàn)的目標(biāo)兩兩組合分別計(jì)算之間的相對速度。在計(jì)算兩目標(biāo)間相對速度時,通過查找批次記錄表中這兩個目標(biāo)最早出現(xiàn)的幀號,提取上報位置信息,并和當(dāng)前幀兩目標(biāo)位置按照如下公式進(jìn)行計(jì)算可得。

(1)

其中,ΔVt2(P1,P2)代表P1和P2兩個目標(biāo)批次在t2時刻的相對速度,Dt2(P1,P2)代表P1和P2兩個目標(biāo)批次在t2時刻的相對歐式距離,t2代表當(dāng)前時刻,t1代表兩目標(biāo)最早同時出現(xiàn)的一幀。

(2)細(xì)煤泥系統(tǒng)處理能力不足。煤質(zhì)較好時，壓濾機(jī)一個壓濾循環(huán)周期需11 min，5臺壓濾機(jī)處理能力105 t/h；煤質(zhì)差時，泥化現(xiàn)象嚴(yán)重，小于320目粒級物料高達(dá)67.25%，煤泥沉降極慢，壓濾機(jī)一個壓濾循環(huán)周期需23 min以上，6臺壓濾機(jī)處理能力只有60 t/h，而且濾餅水分較高。按年入洗500萬t原煤計(jì)算，每小時需處理的細(xì)煤泥量為109 t，所以壓濾機(jī)處理能力明顯不足，這是洗水濃度居高不下的主要原因。

在計(jì)算得到多個目標(biāo)間的相對運(yùn)動關(guān)系時,可以發(fā)現(xiàn)虛警間的相對運(yùn)動速度近乎為0,只有目標(biāo)具有速度,因此可以快速并準(zhǔn)確判斷出哪一個是真正目標(biāo)。如圖3所示典型情況,目標(biāo)1和目標(biāo)2相對靜止,與目標(biāo)3相對速度為10,則可判斷目標(biāo)3為真正運(yùn)動目標(biāo)。

圖3 計(jì)算相對運(yùn)動典型情況

此外,由以上分析可以得出兩個基本定理:(1)靜止目標(biāo)間相對位移具有不變性;(2)目標(biāo)間相對速度具有傳遞性。因此在運(yùn)動信息提取階段,即使有兩個候選目標(biāo)沒有在同一幀內(nèi)同時出現(xiàn)過,依然可以通過將二者與另外一個候選目標(biāo)計(jì)算相對速度,進(jìn)而得出這二者間的相對速度,如圖4所示。

圖4 基于相對速度傳遞性計(jì)算相對運(yùn)動關(guān)系情況

2.3 基于相對運(yùn)動關(guān)系的推理投票統(tǒng)計(jì)

在投票統(tǒng)計(jì)階段,采用動態(tài)投票機(jī)制的方法,實(shí)現(xiàn)對運(yùn)動目標(biāo)的準(zhǔn)確識別。動態(tài)投票機(jī)制對匹配時間范圍內(nèi)出現(xiàn)的所有批次目標(biāo)構(gòu)建相對速度統(tǒng)計(jì)表,以目標(biāo)為單位進(jìn)行投票,保存一定迭代周期總票數(shù)作為目標(biāo)結(jié)果。在推理投票過程中,包含以下兩種可以判斷目標(biāo)信息的情況:

第一種情況,如圖5(a)所示,其中a代表目標(biāo)自身為運(yùn)動目標(biāo)的情況;b代表只有一個目標(biāo)在運(yùn)動的情況,當(dāng)所有目標(biāo)相對自身速度均大于預(yù)定閾值速度時,所有其他目標(biāo)均相對于自身在高速運(yùn)動。這種情況下可識別為該目標(biāo)自身為運(yùn)動目標(biāo)。

圖5 運(yùn)動關(guān)系推理投票示例圖

第二種情況,如圖5(b)所示,當(dāng)只有一個目標(biāo)相對自身速度大于預(yù)定閾值速度時,可以視作該目標(biāo)相對于其他大部分目標(biāo)均靜止,只有一個目標(biāo)在運(yùn)動。這種情況下可識別為該高速目標(biāo)為運(yùn)動目標(biāo)。

除以上兩種情況外,其他情況作為無法判斷處理。在完成運(yùn)動目標(biāo)判斷后,以每個目標(biāo)為單位對運(yùn)動的目標(biāo)批次進(jìn)行投票,并將每一輪投票結(jié)果進(jìn)行保存。最終將統(tǒng)計(jì)一定輪次后的投票結(jié)果進(jìn)行統(tǒng)計(jì),票數(shù)最多的目標(biāo)批次作為本算法的輸出結(jié)果。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

將本文方法與典型包含時空濾波、目標(biāo)軌跡關(guān)聯(lián)與目標(biāo)分類的紅外弱小目標(biāo)檢測算法相結(jié)合,使用存在大量無法被識別的、與目標(biāo)紅外特征相似的虛警的16位紅外圖像視頻數(shù)據(jù)進(jìn)行測試。數(shù)據(jù)集共包括8個場景,其中4個場景同時包含目標(biāo)與虛警,4個場景僅包含大量虛警而不包含目標(biāo)。本文方法中的目標(biāo)關(guān)聯(lián)歐式距離閾值大小為10(pix),判定運(yùn)動的速度閾值設(shè)置為0.4(p/s)。實(shí)驗(yàn)采用設(shè)備配置為Windows 10 64位系統(tǒng),CPU為Xeon Silver 4110 2.2 GHz,內(nèi)存為32 GB。

3.2 評價指標(biāo)

本文采用虛警率(False Alarm Rate,FAR)、單幀運(yùn)行時間(Time per Frame)兩個性能評價參量指標(biāo),進(jìn)一步的對比了本文提出的方法的有效性。其中虛警率是檢驗(yàn)裝備是否具有實(shí)戰(zhàn)價值的一項(xiàng)重要指標(biāo),用來表示虛警事件發(fā)生的頻率。虛警率的定義為“單位時間內(nèi)系統(tǒng)發(fā)生虛警事件的平均次數(shù)”,其公式定義如下:

(2)

其中,nFA為發(fā)生虛警事件的次數(shù);T為系統(tǒng)工作的總時間。

此外考慮到本文方法應(yīng)用的場景下,目標(biāo)與虛警特征均較為明顯,因此為了更詳細(xì)地展現(xiàn)本文數(shù)據(jù)集特征,對包含目標(biāo)的場景數(shù)據(jù)中,還加入了目標(biāo)信噪比的測量,具體公式定義如下:

(3)

其中,Er代表目標(biāo)區(qū)域的均值;EB代表背景區(qū)域的均值;δB代表背景區(qū)域的標(biāo)準(zhǔn)差。

3.3 實(shí)驗(yàn)結(jié)果

首先對典型紅外目標(biāo)檢測算法進(jìn)行了測試,在飛機(jī)下視包含大量地面亮斑的場景中,典型紅外目標(biāo)檢測算法的檢測結(jié)果中包含大量虛警。之后,將本文提出的方法與典型目標(biāo)檢測方法相結(jié)合,記錄了使用本文方案前與使用后的對比結(jié)果,包括每1000幀內(nèi)出現(xiàn)的虛警批次數(shù)量及算法平均每幀運(yùn)算消耗時間。實(shí)驗(yàn)結(jié)果如表1所示,其中場景1至場景4包含目標(biāo),場景5至場景8不包含目標(biāo)。

表1 不同場景下實(shí)驗(yàn)結(jié)果

通過表中結(jié)果可以看出,本文提出的方法大幅度降低了各類場景下的虛警率,且運(yùn)算速度較快,平均每幀運(yùn)算時間僅0.78 ms。此外,實(shí)驗(yàn)過程中記錄了輸出結(jié)果,并將典型目標(biāo)檢測算法的輸出以實(shí)線方框繪制于紅外圖像中,本文方法輸出結(jié)果以虛線方框繪制于紅外圖像中。包含目標(biāo)的場景實(shí)驗(yàn)結(jié)果如圖6所示,不包含目標(biāo)的場景實(shí)驗(yàn)結(jié)果如圖7所示。其中圖6從左至右三張圖分別為從場景1至場景4中隨機(jī)選取的三幀截圖,圖7從左至右三張圖分別為從場景5至場景8隨機(jī)選取的三幀截圖。通過實(shí)驗(yàn)結(jié)果可以看出,本文提出的方法不僅可以從包含大量虛警的候選目標(biāo)中準(zhǔn)確找到目標(biāo),同時可以在所有候選目標(biāo)均為虛警的場景下保持虛警率為0。

圖6 包含目標(biāo)場景的虛警抑制效果圖

圖7 不包含目標(biāo)場景的虛警抑制效果圖

4 總 結(jié)

本文針對復(fù)雜場景下的紅外弱小目標(biāo)檢測任務(wù),提出了一種基于目標(biāo)相對運(yùn)動信息的高魯棒性紅外虛警抑制方法,在8種包含虛警的復(fù)雜場景下進(jìn)行了實(shí)驗(yàn),包括背景相對相機(jī)靜止目標(biāo)移動的場景、目標(biāo)相對相機(jī)靜止虛警移動的場景、相機(jī)畫面劇烈抖動的場景以及所有檢測目標(biāo)均為虛警的場景。實(shí)驗(yàn)結(jié)果表明,本文提出的方法在以上場景中都能夠準(zhǔn)確濾除虛警,同時可以在所有候選目標(biāo)均為虛警的場景下保持虛警率接近為0?；谙鄬\(yùn)動推理的方法可以有效實(shí)現(xiàn)復(fù)雜場景中的虛警抑制,在不同場景中表現(xiàn)穩(wěn)定、快捷、濾除率高。