李 淼,胡銘原,樊建鵬,林再平,高金艷,安 瑋

(1.國防科技大學電子科學學院,湖南 長沙 410073;2.中國空間技術研究院北京空間飛行器總體設計部,北京 100094)

1 引 言

紅外探測技術被廣泛應用于軍事和民用領域,例如空中交通管制、小型無人機探測、戰(zhàn)場監(jiān)視、機載紅外搜索與跟蹤、天基光學監(jiān)視系統(tǒng)等[1-3],具有覆蓋范圍廣、受天氣影響小、可全天候工作、不主動輻射信號、抗干擾性高等優(yōu)點。在遠距離探測情況下,目標檢測存在如下挑戰(zhàn)[4-6]:

(1)目標在像平面上往往無紋理、幾何、顏色等特征,可用信息少。

(2)遠距離條件下成像分辨率低,主要呈現(xiàn)為斑點狀,例如5像素,當觀測距離較近時可達300像素,甚至更大,目標尺度變化范圍大,形狀不規(guī)則。

(3)紅外探測機制主要感知熱輻射,難以直觀反映目標本體形態(tài),且不同相機的分辨率、靈敏度等各不相同,目標和背景的差異性建模難度大。

(4)熱輻射信號受大氣衰減作用影響,目標被大量相機噪聲、背景雜波等淹沒,特別是容易被云層、樹木、建筑物等干擾。

具備上述特點的目標可稱之為弱特征目標。弱特征目標檢測是遠距離紅外感知系統(tǒng)(圖1)的首要環(huán)節(jié),直接影響系統(tǒng)級性能,在傳感器性能難以提升條件下,研究自適應不同場景的弱特征目標檢測技術對增強遠距離探測系統(tǒng)的整體效能十分重要。

(a)天基廣域監(jiān)視系統(tǒng)

目前,目標檢測一般包括兩類方法:基于經(jīng)驗驅(qū)動的傳統(tǒng)檢測方法、基于數(shù)據(jù)驅(qū)動的智能檢測方法。

基于經(jīng)驗驅(qū)動的傳統(tǒng)檢測方法,一般包括背景抑制、閾值分割等步驟,對人的經(jīng)驗依賴程度高,以不同濾波器的形式設置多種規(guī)則,例如頂帽(Top-hat)濾波[7]、LCM[8]、RLCM[9]等,濾波器的尺度和權重是預先設定的。此類方法的優(yōu)點是可解釋性好,數(shù)學模型清晰;缺點是主要適用于線性特征建模,對復雜非線性特征的建模能力弱,當目標形態(tài)與濾波器假設不同時,檢測性能退化明顯,難以在不同場景中自適應調(diào)整。

基于數(shù)據(jù)驅(qū)動的智能檢測方法,模仿生物神經(jīng)網(wǎng)絡,建立深層人工神經(jīng)網(wǎng)絡,從海量數(shù)據(jù)中自動挖掘目標和背景的差異特征,目前主要以深度學習方法為代表。此類方法的優(yōu)點是自動學習能力強,在學習過程中對人工干預需求少,通過多層神經(jīng)網(wǎng)絡級聯(lián)可更好建模深層模糊特征;缺點是可解釋性弱,針對性的神經(jīng)網(wǎng)絡架構設計是核心難點。

目前人工智能技術,在計算機視覺領域發(fā)展迅速,但所針對的目標主要是近景成像中的有形態(tài)物體(人臉、車輛、動物等),以輸出合理的目標框為目的,例如FasterRCNN[10]、YOLO[11]、SSD[12]。由于紅外監(jiān)視的特殊用途,對弱特征目標(圖2)檢測的研究較少,上述方法難以直接應用于尺度較小的弱特征目標檢測。

圖2 弱特征目標和有形態(tài)物體示例

針對遠距離探測條件下紅外序列中弱特征目標檢測問題,本文將目標檢測視為逐像素分割問題,提出基于注意力全卷積的弱特征目標分割方法,采用自注意力學習等方式強化不同層級特征、不同相關性特征的自主融合學習,提升復雜條件下多尺度目標檢測性能。

2 基于注意力全卷積的弱特征目標分割

2.1 整體算法架構

在計算機視覺中,目標檢測指的是用邊界框(Boundingbox)將目標大概位置框出,不追求精確到每個像素;語義分割指的是判決每個像素的屬性,屬于逐像素處理?？紤]到弱特征目標的尺度相對較小,邊界框過大則喪失檢測意義,邊界框過小則難以保證性能。因此,本文將弱特征目標檢測問題直接建模為二分類圖像分割問題,每個像素的屬性包括兩類(目標或背景),更好實現(xiàn)遠距離探測下動態(tài)多尺度目標提取。

考慮到對弱特征目標分割的任務需求,受UNet啟發(fā)[13],建立多尺度特征學習網(wǎng)絡,更好適應動態(tài)多尺度目標。主要思想是采用多卷積層和池化層進行多次下采樣,每進行一次下采樣感知野就擴大一次。通過多次感知野擴大,可學習不同尺度中的圖像特征,有利于背景中較大范圍內(nèi)的結構特征學習(例如較大的云層、建筑物等),更好抑制連續(xù)性背景成分。

但與有形態(tài)物體不同,在弱特征目標檢測中,每個像素的判決結果都十分有意義,因此需要通過連續(xù)反卷積實現(xiàn)上采樣,更好的保留連續(xù)像素細節(jié)信息,如圖3。

圖3 本文算法整體架構

在網(wǎng)絡框架中,主要步驟包括以下幾點:

(1)圖像配準:利用SIFT算法[14],從當前幀和參考圖像中提取特征點,生成特征向量并進行匹配,根據(jù)匹配結果計算幀間幾何變化,從而降低相機運動的影響。

(2)時域顯著圖構建:通過多幀差分預處理剔除明顯背景成分,使網(wǎng)絡集中學習較難區(qū)分的目標和雜波。實驗表明,通過多幀差分大部分背景得到抑制,且多幀差分法相較于深度學習方法處理算法簡單,能夠提高整體算法的處理時效,一定程度上也強化了時域信息利用。

(3)雙模數(shù)據(jù)特征學習:將原始圖像和時域顯著圖分別進行卷積和下采樣,基于時域顯著圖的學習突出時域變化成分之間的相關性,基于原始圖像的學習突出空域相關性,二者結合更好學習背景和目標之間的時空差異。

(4)通過跳層連接進行特征融合:在多次下采樣過程形成了多尺度淺層特征,在多次上采樣過程中形成了多尺度深層特征。淺層特征更接近原始信息,細節(jié)豐富,但感知野小,非線性化表征程度低;深層特征感知野大,且非線性化表征程度高,但容易缺失細節(jié)特征。在多個網(wǎng)絡層級設計跳層連接,將淺層特征與深層特征拼接,進行一體學習,實現(xiàn)更豐富維度特征融合。

(5)通過注意力機制進行自適應權重學習:為加快網(wǎng)絡收斂速度,在融合原始圖像和時域顯著圖學習結果的基礎上,重點突出目標局部區(qū)域,設計自注意力機制,對于目標相關的疑似區(qū)域加強學習關注度,以有限參數(shù)聚焦目標區(qū)域。

(6)目標分割后處理:對網(wǎng)絡輸出預測結果進行二值化分割,并對疑似目標像素進行形態(tài)學濾波,獲得完成目標像素。

2.2 時域顯著圖構建

為將不同相機生成的圖像進行解耦,將多模態(tài)數(shù)據(jù)解耦至相近屬性空間。本文通過預處理構建時域顯著圖,本質(zhì)上是通過當前幀與序列中歷史多幀分別進行差分預處理,突出所關注的目標運動或目標輻射強度變化的像素。紅外圖像中背景雜波起伏大,弱特征目標尺度較小且與背景界限不明顯,傳統(tǒng)單幀差分方法可能會出現(xiàn)目標重疊區(qū)域被抵消,背景未對齊被增強的情況。為了利用序列信息來降低上述誤差,本算法進行多幀差分并對相應像素按位與疊加。

將與當前幀的前后間隔為τ的多幀做配準和差分,將疊加幀差圖灰度化作為當前幀的背景抑制,流程圖如圖4所示。具體流程如下:

圖4 時域顯著圖構建流程圖

(1)對于當前幀圖像Ic,尋找在同序列中有步進τ的多幀圖像Ii。對于所用紅外小目標序列數(shù)據(jù)集,如果取較遠幀做差分,時間間隔過長,背景內(nèi)部相對運動,造成無法抑制的背景雜波,引發(fā)虛警,降低檢測準確率;如果取相鄰幀做幀差,由于無人機等目標距離航拍設備遠,常態(tài)運動速度較慢,目標會產(chǎn)生重疊,幀間相減會導致目標重疊部分被抵消,檢測率降低。選取多幀Ii,使其與Ic有步進間隔τ,能減少重復特征并減少目標重疊情況,且多幀圖疊加能增加目標的能量。因此,為了減少檢測誤差,提升檢測準確率,本文采用多幀幀差進行背景抑制。

(2)對選取的Ii,以當前幀為參考配準。由于采集序列圖像時相機晃動等因素影響,實測數(shù)據(jù)的相鄰幀間的背景可能會有旋轉(zhuǎn)、位移、拉伸。直接幀差背景抑制的背景難以匹配。對幀差對象Ii以當前幀做參考配準,再進行差分,降低相機運動的影響。

(3)對配準后的多Ii與當前幀分別做截0處理。與可見光圖像相比,紅外圖像測量的是物體的熱輻射信號,在圖像中目標和背景等屬于正疊加效應。因此,相減為負的被減方為背景,將這部分的灰度值截斷為0。

(4)將幀差后的序列疊加得到當前幀差分圖像?；叶葓D的像素數(shù)據(jù)范圍是0-255間的整數(shù),多個像素疊加的結果可能會大于最大范圍,為了防止疊加后像素值溢出,本文沒有直接將圖像像素的相應位置相加,而是對圖像像素進行按位與操作。

對序列中的每一幀重復步驟(1)～(4)實現(xiàn)背景抑制。

不同場景下構建的時域顯著圖如圖5所示,可見針對不同的地物背景,目標并未丟失,且大部分背景得到抑制。且預處理相較于神經(jīng)網(wǎng)絡方法時延消耗非常小,能夠提高算法整體處理時效。此外,通過幀間差分,構建的時域顯著圖,抑制了不同相機、不同場景的數(shù)據(jù)差異,提高網(wǎng)絡魯棒性。

圖5 時域顯著成分示意圖

2.3 基于注意力機制的雙模態(tài)特征學習

神經(jīng)網(wǎng)絡中的注意力機制與神經(jīng)網(wǎng)絡均為仿生技術。注意力機制以人體視覺選擇注意力為藍本,借鑒人體通過掃視聚焦關鍵區(qū)域信息的能力。由于注意力機制形式簡便,通常不會提高模型的復雜度,被廣泛應用于深度學習領域[15]。

注意力的計算公式如下:

(1)

Q是目標中的某個元素;S是輸入序列;Ls是S的長度;K是S的一個元素;V是對應元素的值;R(Q,K)代表輸入元素對輸出元素的相關性或相似性,作為輸入的權重影響注意力的聚焦程度;A(Q,S)代表輸入序列對輸出元素的注意力多少。

通過注意力門,網(wǎng)絡將注意力聚焦在與目標相關性高的輸入上。相關性高的輸入,其R大,對Q的權重高。如果R的取值范圍為[0,1],被認為是soft attention;如果R的取值為0或1,被認為是hard attention。soft attention被用于分類、分割、檢測、生成模型、視頻處理等,本文采用該方式。

通常情況下,目標檢測僅需要考慮與目標相關性強的區(qū)域,聚焦目標區(qū)域能夠節(jié)省計算資源,且提升目標特征提取準確性。在原始UNet等網(wǎng)絡中需要在反卷積層重新對目標區(qū)域定位,浪費網(wǎng)絡訓練資源,收斂變慢。

針對小目標檢測需求,本文在網(wǎng)絡的跳層連接處加裝注意力門模塊,如圖6所示,對不同層次的空域特征進行自適應權重調(diào)整。

圖6 注意力全卷積神經(jīng)網(wǎng)絡結構

為了更好實現(xiàn)時空信息融合,本文對雙模態(tài)數(shù)據(jù)同步進行學習,基于原始圖像的學習和基于時域顯著圖的學習,分別利用了時域運動信息和空域相關信息。本文中,注意力機制的輸入是雙模態(tài)學習的綜合結果。

注意力門的具體作用流程如下:

(1)對Xl下采樣使Xl和g尺寸相同。

(4)對步驟3的輸出做1×1×1卷積,再經(jīng)過sigmoid函數(shù)激活。

3 實驗設置及評估

3.1 紅外弱特征目標數(shù)據(jù)集特點

紅外弱特征目標序列數(shù)據(jù)集較少,檢測物體一般為飛機、艦船等,紅外弱特征目標數(shù)據(jù)集與物體檢測領域的可見光數(shù)據(jù)集相比存在多個差異。下面針對紅外弱特征目標數(shù)據(jù)集的特點進行介紹。

3.1.1 紅外目標數(shù)據(jù)集為灰度圖

紅外小目標數(shù)據(jù)集用紅外相機拍攝,一般呈現(xiàn)灰度圖?；叶葓D中的像素只有單通道,用灰度表示,位深一般為8。比較而言,可見光拍攝的圖片有RGB三原色,要用三通道24位深表示,信息更為豐富。

3.1.2 紅外目標數(shù)據(jù)集的目標特征少

紅外圖像的灰度值由溫度決定,目標核心部分的溫度高,外圍溫度低,呈現(xiàn)灰度梯度同心圓。相對而言,可見光目標往往有顏色差異,具有紋理特征。如圖7,紅外無人機檢測圖所示,發(fā)動機部分往往溫度高,灰度值大,在目標中所占像素有限,但機翼部分的溫度較低,與背景對比度低,難以準確提取目標。只有機身1/6的部分灰度值大于周圍背景,且該部分灰度值大于200的像素有6個,大于180的也僅有22個,周圍的平均灰度為150。且紅外圖像往往成像距離長,目標所占像素少,無法提供足夠的紋理及形狀信息。

圖7 無人機探測紅外圖像

3.1.3 紅外目標數(shù)據(jù)集的分辨率低

紅外手段測量的是物體向外輻射的熱量,熱量輻射后雜波干擾嚴重,相對而言,分辨率、信噪比均比可見光圖像低,且目標與背景邊界模糊,檢測難度更高。

3.2 真實數(shù)據(jù)集設計及分析

本文的真實數(shù)據(jù)集采用空天杯的紅外序列數(shù)據(jù)集[16]。拍攝由無人機航拍完成,拍攝目標為無人機。數(shù)據(jù)集所用背景包括天空、山、森林、地物等。

其中真實數(shù)據(jù)集從原數(shù)據(jù)集中剔除了模糊圖片,最終選定了22段共352幀航拍紅外無人機序列作為本文數(shù)據(jù)集,每段序列截取16幀,每幀圖像大小256×256像素,在Labelme上對數(shù)據(jù)集進行了標注。

真實數(shù)據(jù)集中的小目標在全圖中的像素及占比如表1所示。在真實數(shù)據(jù)集中大部分目標尺寸小于15×15像素,與原圖尺寸的相對占比小于5.86 %。如圖8所示,目標最小像素數(shù)約5個,最大像素數(shù)約295個,相差50倍以上,屬于大動態(tài)多尺度目標。

表1 真實數(shù)據(jù)集中不同尺度目標占比

圖8 最小和最大尺度目標

3.3 仿真數(shù)據(jù)集設計及分析

真實數(shù)據(jù)集的數(shù)據(jù)量少,且目標運動、尺度等種類少,為了充分訓練網(wǎng)絡,本文制作了紅外弱特征目標序列仿真數(shù)據(jù)集,在數(shù)據(jù)集中仿真了不同目標尺寸、灰度、運動及相機運動情況。

仿真數(shù)據(jù)集的背景圖像源自真實紅外數(shù)據(jù)集,其圖像從數(shù)百個不同場景中選擇,背景具有代表性和真實性。選取330個不同圖像背景,設計成13200段仿真紅外小目標序列。仿真數(shù)據(jù)集用每個真實圖像制作出40段隨機背景,并在仿真背景上各模擬一段紅外小目標序列的運動,每段序列有5幀圖像,每幀圖像大小均為128×128。

3.3.1 仿真數(shù)據(jù)集背景設計

仿真數(shù)據(jù)集的背景由真實背景剪切、旋轉(zhuǎn)、翻轉(zhuǎn)、拼接而成。首先在單幀真實紅外圖像中隨機剪切多個大小為128×128的不含目標的背景作為仿真數(shù)據(jù)集的背景源,然后將這些背景源旋轉(zhuǎn)、翻轉(zhuǎn),從這里面選取9個來自同一幀圖像的背景源緊湊拼接為大小為384×384的仿真背景。

每張真實紅外圖像的背景用隨機算法組合得到40段仿真背景,背景源相同的仿真背景會被一起分配,以保證對算法泛化能力的準確評估。序列按照7:2:2的比例分配到訓練集、測試集、驗證集內(nèi)。訓練集共有210個背景,測試集共有60個背景,驗證集共有60個背景。

3.3.2 仿真數(shù)據(jù)集目標設計

目標尺度動態(tài)變化,例如5×5、10×10、15×15,代表不同大小的目標。目標灰度為動態(tài)變化,代表不同強度的目標。目標設定為隨機向上下左右四個方向做勻速直線運動,目標運動速度動態(tài)變化,以模擬目標在短時間內(nèi)的運動。目標各種參數(shù)的出現(xiàn)權重均相同,以設置對照。

3.3.3 仿真數(shù)據(jù)集運動設計

仿真數(shù)據(jù)集在已有目標和背景的基礎上,仿真了多段連續(xù)運動目標。為更好的模擬動態(tài)背景和靜態(tài)背景,相機也設置了運動和抖動,每次選取一定區(qū)域的背景,模擬相機保持原地或在上下左右四個方向做勻速直線運動。相機運動速度動態(tài)變化,并且相機在每幀會有50 %的概率向隨機方向2個像素內(nèi)抖動。最后在圖像上加標準差為20的高斯噪聲,模擬各種各樣干擾和噪聲。

制作仿真數(shù)據(jù)集有兩個目的:其一為擴充數(shù)據(jù),增加訓練樣本,避免欠擬合;其二為制作各類數(shù)據(jù)集,對比算法在不同條件下的檢測效果。

3.4 評價指標

本文用準確率、召回率、F1值和交并比(IoU,Intersection over Union)評價模型的優(yōu)劣。首先對中間變量進行介紹,虛警(False Positives,FP)代表將背景誤判為目標,漏警(False Negatives,FN)代表將目標誤判為背景。真陽率(True Positives,TP)代表將目標正確預測目標。

準確率(Precision)與檢測率同義,表示在預測為目標的情況中,有多少是正確的真正目標。準確率低代表虛警多,理想狀況下的準確率為1,這時所有預測出的目標均為實際目標。準確率計算公式如下。

(2)

召回率(Recall)表示在實際樣本中,有多少是正確預測的。召回率與漏警相關。理想狀況下的召回率為1,這時所有目標均被正確預測。召回率低代表漏檢多。召回率計算公式如下。

(3)

F1值為準確率和召回率的調(diào)和平均數(shù),用于測量不均衡數(shù)據(jù)的精度。準確率和召回率越高,F1值越高,檢測的總體性能越好。F1值計算公式如下。

(4)

IoU交并比是實際樣本與預測樣本的交集面積/并集面積,同樣是準確率和召回率的變形,IoU比F1指數(shù)更小,但可以與圖形直觀對應,理想狀況下交并比為1,這時預測樣本與實際目標重合。交并比計算公式如下。

(5)

4 實驗結果及分析

本節(jié)用仿真實驗分析所提檢測算法的性能,進行了不同算法性能對比分析、多類型場景性能分析、注意力門影響對比分析、時域顯著圖預處理影響對比分析。

運行算法的GPU為NVIDIA GEFORCE RTX1650,顯存4G,網(wǎng)絡采用4層卷積,初始學習率0.01,采用Adagrad優(yōu)化器以及DICE損失函數(shù)。下面分別對上述對比實驗進行詳細介紹。

4.1 不同算法性能對比

對傳統(tǒng)序列小目標檢測方法(幀差法)[17]、UNet網(wǎng)絡方法[13]和本文設計方法在4段航拍真實紅外序列數(shù)據(jù)集上進行性能對比分析,測試結果分別如表2所示。

表2 不同方法測試結果

從表2可知,檢測性能上本文算法>UNet算法>傳統(tǒng)幀差法。下面選取典型目標序列進行分析,結果如圖10所示。

圖10 不同算法的結果比較

從準確率情況分析,當目標與背景的灰度相近時,傳統(tǒng)幀差法要權衡閾值控制虛警率和漏警率平衡,在二值化分割時保留了較多的背景高灰度點,且對幀差法來說,無法將目標無人機外圍低溫低灰度部分正確分類,正確檢測率和提取目標像素完整性偏低。而深度學習算法能學習到目標的空間分布特征,且所提算法由于添加注意力機制,對目標空間特征學習更強,能夠準確提取目標的邊緣部分,分割更準確,正確檢測率更高。

從虛警情況分析,傳統(tǒng)幀差法的虛警背景中存在較多空間高頻雜波,特別是建筑物邊緣,深度學習方法能夠感知整體背景分布,虛警較少,其中所提方法的虛警最少,對背景的抑制最強。

實驗證明,所提算法運用目標提取更準確,運用空間注意力,對空間特征提取更精準。比較而言,實現(xiàn)了對檢測交并比、F1值、準確率和召回率的綜合提高。

4.2 多類型場景性能分析

對不同類型場景的仿真數(shù)據(jù)集進行對照實驗,采用的為同一個訓練集、測試集、訓練模型,并在不同條件下驗證檢測效果。為不同的目標強度、目標大小、目標運動速度、相機運動速度、相機抖動序列數(shù)據(jù)分別設置驗證集,評估算法的泛化能力和魯棒性。

驗證集包含60個共同背景,每一個驗證集在一個背景下有4段序列,共計240段序列。動態(tài)背景實驗組的灰度為223,目標大小5×5像元,目標運動速度3像素/幀,相機運動速度1像素/幀,相機無抖動。靜態(tài)背景為第4組,既為實驗組又為對照組,對照組除一項不同外與實驗組無其他差異。網(wǎng)絡在不同場景的交并比、準確率、召回率、F1值如表3所示。其中,第1-1組的目標灰度為191,第1-2組的目標灰度為255,第2-1組目標運動速度為5像素/幀,第2-2組目標運動速度為7像素/幀,第3-1組目標大小為15×15像素,第3-2組目標大小為10×10像素,第4組相機靜止拍攝,第5組相機帶有3像元抖動。

表3 所提算法在不同場景的測試結果

下面對比實驗組與各情形下檢測性能,分析虛警和漏警原因:

(1)從實驗組與第1組的對比中可見,隨目標灰度的升高,交并比、準確率、召回率、F1值均有提高,且提高幅度較均勻。召回率的提升比準確率提升更大,灰度上升32時,召回率平均上升5 %,準確率平均上升7 %。

(2)從實驗組與第2組的對比中可見,隨目標運動速度提高,檢測性能均有提高。這時準確率的提升比召回率提升更大,且速度越快,提升越快,準確率的提升比召回率更明顯。

初步分析,背景運動速度慢或靜止,而目標運動明顯,通過目標位移規(guī)律可以將目標和噪聲區(qū)分。目標運動速度變快,提高了目標的檢測率,同時降低噪聲的虛警率,召回率也有所上升。

(3)從實驗組與第3組的對比中可見,目標尺寸從5到10,檢測性能均有提高,尺寸從10到15各項檢測指標的變化不大。

初步分析,三種尺寸的圖片數(shù)量一致,不存在數(shù)據(jù)集中某種尺寸出現(xiàn)多,而導致精度更高的問題。因此,可能有兩方面的原因?qū)е?×5的小目標檢測性能下降:一是小目標與雜波尺寸相近,小目標被分類為雜波或雜波被分類為小目標;二是小目標在特征提取的過程中能被提取的特征更少,這些都不利于小目標檢測。

(4)從實驗組與第4組的對比中可見,相機靜止的檢測性能均比實驗組高,其中準確率升高2 %,召回率升高1 %。

對序列背景運動變化的影響進行分析,根據(jù)仿真數(shù)據(jù)集的設計,目標和相機會隨機在上下左右四個方向運動,有1/4的可能性運動方向相同,1/4的可能性運動方向相反。運動目標檢測的背景按相機是否運動可分為靜態(tài)背景和動態(tài)背景,相機為了保持穩(wěn)定避免運動模糊,往往運動速度不會太快,仿真數(shù)據(jù)集中背景的最大運動速度為2像素/幀,小于目標的最小運動速度3像素/幀,在動態(tài)背景下,區(qū)分背景與目標的難度增大。

(5)在第4組的靜止拍攝基礎上加入隨機抖動得到第5組,從第4、5組的對比中可看出,相機抖動會降低檢測召回率,導致交并比與F1值下降。相機抖動的序列中,部分目標的運動速度降低,可能會被誤判為背景雜波,造成漏警,召回率下降。

上述分析了目標強度、目標大小、目標運動速度、相機運動速度、相機抖動因素對檢測性能的影響,總體而言本文算法對不同場景下的弱特征目標的魯棒性較好。

4.3 注意力機制影響分析

為了分析注意力機制的影響,在訓練序列仿真數(shù)據(jù)的基礎上,對跳層連接輸入的淺層特征加入空間注意力門。二者損失函數(shù)和F1值隨訓練迭代次數(shù)變化如圖11所示。

圖11 對比注意力門的F1值和損失迭代圖

與原始UNet網(wǎng)絡相比,加入注意力門后網(wǎng)絡的損失更早收斂,且收斂后的損失相差不大。從F1的變化來看,加入注意力后的F1值更大,檢測效果比未加注意力的時候更優(yōu)。

結合損失和F1值的變化圖可知,加入注意力機制后能節(jié)省計算資源,收斂更快,加快網(wǎng)絡訓練和收斂速度,加注意力門的訓練時間為原網(wǎng)絡的70 %左右。且網(wǎng)絡在目標區(qū)域的注意力權重增加,在背景區(qū)域的注意力權重減少,對目標分割更精準。

4.4 時域顯著圖預處理影響分析

本實驗首先對原圖進行時域顯著圖預處理,再將預處理的輸出送入神經(jīng)網(wǎng)絡訓練。為了分析預處理的影響,將該算法的在訓練過程中的F1值和損失變化情況與未做預處理時對比,評估二者各方面檢測性能的差異。

在圖12中,圓形點線為不做時域顯著圖預處理的訓練F1值和損失,三角形點線代表預處理后的訓練F1值和損失。從F1值的變化對比可知,加入時域顯著圖預處理后收斂加快,訓練所需時長是不做預處理的60 %。從損失的變化情況可見,沒有預處理的損失曲線的損失較大,在20次迭代后就一直在75 %到85 %區(qū)間波動。而預處理后的損失曲線的中值一直在下降,在100次迭代時的中值與不預處理的500次左右的損失相當,在270次迭代附近收斂。

圖12 時域顯著圖對F1值和損失迭代影響圖

仿真結果證實,采用時域顯著圖預處理,一方面可以實現(xiàn)背景抑制并增強目標,對提升檢測率與召回率均有幫助;另一方面強化對運動特征的關注,特征更加稀疏,減少了網(wǎng)絡需要學習的特征量,使損失下降更快,模型更早達到收斂。

5 結 論

遠距離探測條件下紅外序列中目標屬于弱特征目標,為檢測此類目標,提出了基于注意力全卷積的弱特征目標分割方法,首先采用多幀差分疊加構建時域顯著圖,將不同相機中的變化成分在同一域中表征,強化對運動特征的學習,繼而構建深度學習網(wǎng)絡從時域顯著圖和原始圖像中同步學習時空特征,并通過注意力機制從綜合多維特征中自適應學習目標相關信息。通過真實數(shù)據(jù)和仿真數(shù)據(jù)測試表明,在真實多類型場景中,本文方法對大小相差50倍以上的目標平均檢測準確率優(yōu)于93 %。