李文博,王 琦,高 尚

(江蘇科技大學計算機學院,江蘇 鎮(zhèn)江 212100)

1 引 言

紅外輻射是一種頻率介于可見光與微波之間的電磁波,具有與可見光相同的本質。在自然界中,溫度高于絕對零度(-273 ℃)的一切物體總是在不斷地發(fā)射著紅外輻射。按圖1所示流程,通過使用紅外熱像儀等專業(yè)設備收集、探測這些輻射能,并將其轉換為相應的電信號,經過放大、模數(shù)轉換等處理后就可以形成與景物溫度分布相對應的紅外熱圖像。它能夠再現(xiàn)景物各部分溫度與輻射發(fā)射率的差異,因而可以顯示出物體的特征。在一些特殊天氣或特殊場景,例如可視距離短、能見度差、存在被物體遮蔽的情況,基于可見光圖像的目標檢測效果并不十分理想。而紅外成像技術憑借穿透能力強,工作距離遠,受天氣影響較小,抗外界干擾能力強、且測量精度高、能持續(xù)工作等優(yōu)點,使得基于紅外成像技術得到的圖像進行的目標檢測方法得到了眾多領域的廣泛應用,如輔助醫(yī)學診斷[1]、缺陷檢測[2]、海上船艦搜尋[3]等。作為目標檢測領域的一個分支,基于紅外圖像的小目標檢測巨大的應用價值隨之顯露,眾多研究人員也相繼將關注點與研究方向集中于該領域。

圖1 紅外成像原理圖

目前對于紅外小目標的檢測主要可分為以下兩類算法:基于傳統(tǒng)方法的紅外小目標檢測算法與基于深度學習的紅外小目標檢測算法。由于受外界因素影響,在眾多應用場景下,待檢測的小紅外目標占整幅紅外圖像的面積非常小,一般不超過100個像素。同時,紅外小目標缺少相對明顯的顏色、形狀、紋理等信息,且邊界模糊,這使得對其的檢測更具挑戰(zhàn)。更困難的是,建筑物、流動的云等干擾物的存在使得紅外小目標容易被干擾和淹沒[4]。再者,由于高于絕對零度的物體都可以產生紅外輻射,檢測算法的虛警率會大幅度提升。此外,現(xiàn)有的檢測方法在實時性、高效率等性能上還不能全方位地完全滿足部分領域的特殊應用需求。因此,為應對上述挑戰(zhàn),我們可以:

1)分析紅外小目標的成像特性,確定合適的檢測算法并為其選擇恰當?shù)母倪M方式。

2)針對紅外小目標易受環(huán)境干擾等問題,除改進檢測方法外,可以適當對紅外圖像本身進行處理。

3)兼顧算法的實時性、魯棒性等,根據(jù)應用場景的特殊需求,尋求性能之間的平衡。

2 傳統(tǒng)紅外小目標檢測算法

由于任務及數(shù)據(jù)間存在差別,傳統(tǒng)的方法會更多依賴于人工,需要人為對數(shù)據(jù)進行觀察、計算與實驗,手動調整參數(shù)。根據(jù)檢測方式的不同,傳統(tǒng)的紅外小目標檢測算法可分為單幀型(Single-frame based)與多幀型(Multi-frame based)。

2.1 單幀型目標檢測算法

單幀型檢測算法的思路主要有以下三種:增加背景與相關目標間的對比度,從而實現(xiàn)直接檢測;抑制背景,提高相關目標可辨識度;將被檢測目標與背景分離,從而實現(xiàn)檢測。主要應用的方法有小波變換法、注意力模型法、形態(tài)學濾波法等。

在應用該類算法對紅外小目標進行檢測時,多是通過各種方式方法,盡可能地使得小目標與背景區(qū)別開來。如袁帥等人[5]基于第二種檢測思路,通過計算目標區(qū)域與內外雙層鄰域的差異以提高明弱小目標的局部對比度,抑制復雜背景噪聲;而吳文怡等人[6]為得到更多的小目標特征,將Contourlet變換應用于紅外小目標檢測領域,多方向分解圖像;此外,潘勝達等人[7]提出基于雙層局部對比度機制DLCM,可以實現(xiàn)不同尺度的紅外小目標檢測。

上述算法的優(yōu)點在于計算相對簡單、復雜度較低、實時性較好等,但其更適用于簡單場景下的檢測,而對于復雜多變的現(xiàn)實場景則略顯拙劣。

2.2 多幀型目標檢測算法

多幀型檢測算法是指利用時域、空域信息檢測目標,并預測目標在序列圖中的運動軌跡。按照目標特性處理順序的不同,該類算法主要分為兩類,跟蹤前檢測(Detect Before Track,DBT)算法與檢測前跟蹤(Track Before Detect,TBD)算法。

DBT算法通常先利用單幀檢測算法得到每幀中若干可能的目標,再根據(jù)目標運動軌跡的連續(xù)性,排除序列圖中的不可能目標,進而得到真實目標的運動軌跡,也可以理解為是在單幀型算法的基礎上加入后處理方法,其流程如圖2所示。以婁康等人[8]的研究為例,即基于卡爾曼濾波方法,預測下一幀的目標位置,再與實際位置進行校驗,最終提取到目標軌跡。該類算法容易實現(xiàn),且可以跟蹤目標運動軌跡,應用性強,但其性能受應用的單幀型算法的性能影響較大,若單幀型算法性能不佳,則DBT算法的最終性能也很難符合預期。

圖2 DBT 算法流程圖

TBD算法中多指利用灰度波動信息,直接對多幀序列圖中的目標進行提取,具體流程如圖3所示。該類算法的研究思路主要有四種:一維處理法、三維搜索法、幀間差分法與空時結合法。以一維處理法為例,它是指單獨關注某個像素點在連續(xù)多幀間的灰度信息,利用目標像素點與其他像素點在時域中的波動信息差異,對目標像素點與其他像素點進行區(qū)分。如Bae等人[9]提出逐個對像素點的灰度值在時域上采用時域內積,以確定小目標位置;劉德連等人[10]提出停滯點連線的概念,將其作為基準來計算每一個像素點的灰度與基準之間的差值來確定目標位置。該類算法性能相對較好,且在某些情況下,可以同時確定目標位置與運動軌跡,但其需要綜合考慮前后多幀圖才可完成對當前幀的檢測,使得實時性相對較差。同時,由于需要以目標的眾多信息作為先驗知識,某些場景下的檢測性能會有一定概率因缺少相關信息而導致檢測失敗。

圖3 TBD 算法流程圖

3 基于深度學習的紅外小目標檢測算法

隨著計算機性能的不斷提升,自2012年AlexNet出現(xiàn)后,基于深度學習方法的目標檢測算法逐漸走入人們的視野,并在安防[11]、自動駕駛[12]、智能醫(yī)療[13]、智慧家居[14]等眾多熱門行業(yè)受到關注。與依賴人工設定的基于傳統(tǒng)方法的目標檢測不同,基于深度學習的目標檢測算法是通過訓練神經網絡并根據(jù)其學習到的目標特征信息,判斷某物顏色、紋理等特征是否與目標特征吻合,進而實現(xiàn)對目標的檢測。值得注意的是,對于復雜場景下的小目標檢測,如同時出現(xiàn)建筑物、干擾物體、天空等的情況,基于深度學習的目標檢測算法的性能通常優(yōu)于傳統(tǒng)目標檢測算法。但并非所有的深度學習類目標檢測算法都適用于某一任務,需依照部署場景選擇恰當?shù)乃惴?。在對算法進行甄別時,評估指標是評定其性能是否符合要求的重要參照,而對于不同類型算法的性能判別,又需根據(jù)各自的特點采取不同的評估指標。此外,數(shù)據(jù)集選取的是否得當亦會影響算法的檢測效果,是須慎重考慮的部分,具體內容參照下文。

3.1 評估指標

作為了解算法性能的基準,評估指標為全面分析目標檢測算法的優(yōu)劣提供了參照物。目前對基于深度學習的目標檢測算法的性能評估指標有交并比(Intersection over Union,IoU)、準確率(Accuracy)、精確率(Precision)、召回率(Recall)、平均精確率(Average Precision,AP)、平均精確率均值(mean Average Precision,mAP)、檢測速度(Frames Per Second,FPS)、浮點運算數(shù)(Floating point operations,FLOPs)等。令TP、FP、FN、TN分別表示表1所示含義,即TP代表將正樣本預測為正樣本的數(shù)目,FN代表將正樣本預測為負樣本的數(shù)目,FP與TN同理可得,則上述評估指標的具體含義及計算方式可以參照表2。在使用評估指標選擇網絡模型時,若對精確度的需求較高,則主要考慮mAP與Recal兩個指標的數(shù)值;若對算法的實時性有較高要求,且有嵌入式部署需求的可能性,則主要考慮FPS與FLOPs兩個指標。

表1 混淆矩陣

表2 常用評估指標介紹

3.2 紅外小目標數(shù)據(jù)集

數(shù)據(jù)集的優(yōu)劣是影響深度學習模型優(yōu)劣的重要因素之一,數(shù)據(jù)集中圖像的特征越清晰,習得的特征越多越準確,檢測結果通常會越優(yōu)秀。不同于可見光的圖像數(shù)據(jù)可以通過拍攝多張圖片取平均的方式直接獲取,紅外圖像降噪數(shù)據(jù)集的制作難度較大?，F(xiàn)在可公開獲取的紅外小目標數(shù)據(jù)集數(shù)量相比之下較少,主要有如下幾種:

1.SIRST數(shù)據(jù)集[15]

SIRST單幀紅外小目標數(shù)據(jù)集由數(shù)百個序列中抽出的代表性圖片組成,其中的圖像目標以5種不同的形式進行標注,可適用于不同的檢測模型與任務,如實例分割、圖像分類等。該數(shù)據(jù)集共包含480個小目標,分布在427張紅外圖像中,且約55 %的目標面積占比在0.02 %之內,35 %的目標亮度是全圖最亮。

2.NUDT-SIRST數(shù)據(jù)集[16]

NUDT-SIRST數(shù)據(jù)集是受其他數(shù)據(jù)稀缺領域的解決方案的啟發(fā),開發(fā)的大型紅外小目標數(shù)據(jù)集。其中主要包含5個場景:城市、田野、亮點、海洋和云。每幅圖像都是由真實背景合成的,有各種不同的目標,如點狀、擴展狀等。

3.紅外飛機小目標數(shù)據(jù)集[17]

紅外飛機小目標數(shù)據(jù)集共包括22個已標注的data文件夾,圖像內容主要以地面背景、天空背景、多架飛機、飛機遠離、飛機靠近等情景為主。

4.地/空背景下紅外圖像弱小飛機目標檢測跟蹤數(shù)據(jù)集[18]

地/空背景下紅外圖像弱小飛機目標檢測跟蹤數(shù)據(jù)集是以低空飛行的弱小飛機目標檢測跟蹤為應用導向,以單架或集群固定翼無人機目標為檢測目標的數(shù)據(jù)集。其獲取場景包括天空、地面等,總計16177幀圖像、共囊括16944個目標。

3.3 紅外小目標檢測算法

3.3.1 檢測算法介紹

基于深度學習方法的紅外小目標檢測算法主要分為兩種:基于one-stage的方法與基于two-stage方法,其代表算法如圖4所示。

圖4 主流目標檢測算法圖

One-stage目標檢測算法是基于回歸的范式,不生成候選框而直接對物體進行分類和候選框預測,簡化了網絡結構,準確度雖較two-stage的目標檢測框架低但實時性較好,代表算法有YOLO[19]系列、SSD[20]系列、Anchor-Free[21]系列等。以R-CNN[22]、MaskR-CNN[23]、Faster-RCNN[24]等為代表的two-stage目標檢測算法則是將檢測過程劃分為兩步,先通過區(qū)域選擇方法生成候選框,再與卷積神經網絡CNN結合,對候選框的位置進行分類與回歸,準確率高但實時性較差。兩種算法的具體流程,如圖5所示。

圖5 One-stage 算法與 two-stage 算法流程圖

以上兩種方法各有其優(yōu)缺點,如表3所示。以YOLO算法與R-CNN算法的對比為例,YOLO算法將全圖分為S×S的網格,每一個小網格只負責對其中的目標進行檢測,所有網格中的目標的邊界框、置信度等會一次性得到預測,因而實時性好,但準確率相對有較大的提升空間,其結構如圖6所示。而R-CNN算法與YOLO算法的檢測流程不同,如圖7所示,它首先對圖像生成1～2 k個候選區(qū)域,再對每個候選區(qū)域進行特征提取并將其送入每一類的SVM分類器,判別其類別,最后使用回歸算法修正候選框的位置。與YOLO算法相比,R-CNN的準確率更高,但是由于其流程較復雜、生成的眾多候選框引入了大量的計算,故實時性較差。因而,根據(jù)實際問題選擇合適的算法,并對其進行恰當?shù)母倪M則尤為重要。

圖6 YOLO 算法結構圖

圖7 R-CNN 算法流程圖

雖然相比于其他傳統(tǒng)方法,基于深度學習方法的紅外小目標檢測算法在檢測性能方面占據(jù)優(yōu)勢,但是,使用該類的算法對紅外小目標進行檢測時,仍有需重點關注的問題難點,如下所述:

1)由于深度學習較依賴于利用大量的樣本數(shù)據(jù)對模型進行訓練的過程,因而樣本數(shù)據(jù)的數(shù)量與質量會對檢測結果造成較大的影響。然而,現(xiàn)有的高質量紅外小目標數(shù)據(jù)集較少,訓練樣本稀缺,使得在小樣本條件下,對紅外小目標進行檢測難度更大?？梢钥紤]利用現(xiàn)有樣本對其進行擴增,使得其數(shù)量與質量滿足基本訓練需求。同時,也要將算法的泛化性、魯棒性納入考量中。

2)CNN通常使用堆疊網絡的方式增大感受野以提取到更有效的語義特征。然而,對于紅外小目標,特征提取困難較大,極易受到環(huán)境因素干擾,且隨著網絡層數(shù)的增加,語義特征可能會消失,導致檢測效果差。

3)由于小目標在紅外圖中所占面積小,若直接利用現(xiàn)有主流深度學習模型,設定的錨框尺寸不貼近目標尺寸,則錨框偏移一個像素點也會對檢測效果影響非常大。

4)隨著近些年各行業(yè)領域對檢測模型的應用要求的逐步提高,為使得其可以移植于嵌入式這類對實時性要求較高的平臺,解決計算開銷大、資源受限等問題,需要對原有模型結構進行精簡,從而得到一個輕量化且準確率相當?shù)木W絡,即要求其具有更快的檢測速度,更小的內存占用,以便部署在硬件環(huán)境受限的條件下。因而,需要考慮是否有必要使用模型壓縮方法以輕量化網絡模型。

3.3.2 算法改進介紹

以one-stage方法為例,葛玉鵬等人[25]針對紅外小目標檢測,改進YOLOv3模型的特征融合結構FPN,提出如圖8所示的自適應特征融合方法。改進后的網絡可以提高重要信息權重,抑制次要信息,其mAP(mean Average Precision)可達到89.3 %。同時,結合了通道注意力和位置信息注意力的坐標注意力結構,進一步提升了模型的準確率。同樣是對于YOLOv3的改進,李慕鍇等人[26]借鑒SENet中依照權重重標定特征的思路,引入SEblock,將準確率提升到83.97 %。與上述改進思路不同,徐延想等人[27]為緩解紅外小目標特征不明顯,且提取困難等問題帶來的不良影響,基于ReneDet網絡設計了IoU預測模塊,使得網絡更好的感知小目標位置,并且針對小目標容易發(fā)生漏檢的問題,提出了目標搬移算法以間接增加小目標數(shù)量。而同樣是考慮到紅外圖像數(shù)據(jù)少的問題,王悅行[28]等人另辟蹊徑,利用如圖9所示的特征遷移學習,將大量仿真圖像和少量真實圖像作為訓練樣本,解決跨域適應性問題,將海天場景下的檢測mAP提高到94.21 %。對于輕量化領域的研究,李北明等人[29]利用GhostNet模塊做模型剪枝,改進YOLOv5s,使得模型參數(shù)量僅為1.9 M,在海思平臺取得90.2 %的mAP前提下,檢測速度可以達到25幀/s,兼顧了實時性、計算復雜度的問題,可以很好的移植到硬件條件受限的環(huán)境中。

圖8 自適應特征融合模塊圖

圖9 特征遷移學習流程圖

對于two-stage目標檢測算法,楊子軒等人[30]針對紅外小目標紋理信息少的問題,在由R-CNN改進的模型CascadeR-CNN的基礎上,引入注意力機制并將其分為全局通道注意力、局部通道注意力和空間注意力機制。同時,設置小錨框以匹配小目標尺寸問題,從而獲得更準確的檢測結果。而針對紅外圖像本身存在的問題,蔣志新等人[31]選擇在進行圖像預處理時,將直方圖均衡化與圖10所示的Retinex相結合以進行圖像增強,同時,改進FasterR-CNN網絡的損失函數(shù),較原始網絡,mAP提成了6.11 %。與之類似,李斌等人[32]基于差異統(tǒng)計方法,在top-hat上加入感興趣塊與周圍區(qū)域的差異信息,提出適用于小目標的增強方法,有效地增強圖像對比度,抑制背景信息。

綜上所述,研究者們可以根據(jù)紅外小目標檢測存在的問題難點,針對性地提出解決方案。如針對樣本稀少的問題,可以自行構建優(yōu)質紅外數(shù)據(jù)集;為獲得更好的檢測結果,一個非常有效的方式是在對紅外圖像進行預處理時,對圖像進行數(shù)據(jù)增強,如Mixup[33]、Mosaic[34]等;也可通過重新制定注意力模塊、特征融合模塊等方式,彌補紅外小目標缺少形狀、紋理等特征對檢測造成的影響,如YimianDai等人[15]為了強調紅外小目標的特征信息,對網絡的下采樣策略進行調整,同時,提出自底向上的注意力調制模塊BLAM與ACM模型,以此來將底層的細節(jié)特征編碼入高層特征中并供其使用;錨框問題可以通過k-means算法重新生成,或學習Jinming Du等人[35],針對紅外小目標設計新的small Anchor;實時性問題可以通過使用知識蒸餾、參數(shù)量化與模型剪枝等模型壓縮方法提高,其主要方法的原理與優(yōu)缺點如表4所示。以上方法都可以高效且極具針對性的解決上述提及的問題難點。

表4 常用模型壓縮方法對比

值得一提的是,對于樣本稀少問題,除上述提到的方法,使用生成對抗網絡(Generative Adversarial Networks,GAN)[36]來生成數(shù)據(jù)也是可行性非常強的一種方式。該網絡由兩個部分構成:生成器Generator與判別器Discrimination。生成器負責通過機器生成“真實”數(shù)據(jù)以通過判別器的檢測,而判別器則負責判斷數(shù)據(jù)是否是真實數(shù)據(jù),以過濾掉生成器偽造的“真實”數(shù)據(jù)。通過上述的過程,使得生成器與判別器實現(xiàn)相互間的對抗博弈,從而讓生成器生成的數(shù)據(jù)越來越“真實”,判別器的鑒定水平也隨之提高,其網絡流程如圖11所示。由于GAN中生成器的更新信息來自判別器,而不是來自數(shù)據(jù)樣本,因而,只用到了反向傳播,過程較為簡單。同時,GAN網絡生成的樣本更加清晰、真實,若形成規(guī)?；臄?shù)據(jù)庫,極有可能會提升目標檢測算法的檢測效果。

圖11 生成對抗網絡 GAN 的檢測流程圖

雖然基于深度學習方法的紅外小目標檢測算法研究已經取得了巨大的進展,上文3.3.1章節(jié)中提到的四個問題難點仍舊是在現(xiàn)階段乃至今后一段時期內阻礙該領域研究的重點所在,也是未來提高紅外小目標檢測性能的必由之路。

4 總結與展望

在技術發(fā)展日新月異的時代,基于深度學習的紅外小目標檢測算法具有較為重大的理論意義和實際應用價值,具有開闊的市場前景。目前,該領域的研究已經取得的一些成果可以滿足大多數(shù)場景的需求,如災難救援[37]、海洋監(jiān)測[38]、紅外預警[39]等。本文在對現(xiàn)有的紅外小目標檢測算法進行介紹的基礎之上,詳細闡述了基于深度學習的紅外小目標檢測算法的相關內容,如性能評估指標、可用數(shù)據(jù)集、類別劃分等,并對其算法原理、優(yōu)勢及不足進行解釋說明,同時,以介紹代表性示例的方式進一步解析算法的精妙之處。綜上所述,傳統(tǒng)的檢測方法雖然可以實現(xiàn)基本功能需求,但在精確度與實時性等性能方面皆有較大的實際限制;而基于深度學習的方法由于避免了人工調參步驟,轉而使用神經網絡進行訓練學習,相比于傳統(tǒng)方法,精確度與實時性具有一定的優(yōu)越性,且可以更好的應對復雜場景下的檢測任務。

然而,目前紅外小目標的檢測研究面臨著可用紅外樣本少、小目標自身可用特征少、算法魯棒性、實時性及泛化性還不能適用于特定場景等問題,在一定程度上限制著該領域的發(fā)展,并使得對其的研究仍然具有極大的挑戰(zhàn)性。因而,未來對于紅外小目標檢測算法研究的發(fā)展趨勢應是:

1)科技及工業(yè)的發(fā)展會為獲取圖像的設備、方式以及圖像處理方法等注入新的動力,使得研究者可以更加輕松地制作高質量紅外小目標數(shù)據(jù)集,獲取到攜帶有更多可用特征的紅外小目標,進而,提升算法精度。

2)高實時性、低復雜度的檢測算法成為研究熱點。AI技術的飛速發(fā)展使得模型的嵌入式部署、移動端部署成為可能,這要求在對算法進行設計時,要更多的考慮輕量化方面的改進。

3)各模塊、算法等跨領域融合成為未來研究的趨勢,如傳統(tǒng)算法與深度學習算法的結合、圖像處理領域算法與深度學習算法的結合等。

4)受限于二維平面圖像可學習信息的局限性,基于3D的深度學習模型會極大地增加信息量,更全面地對目標進行學習,從而更準確地確定目標類別,得到更準確地檢測結果。