胡亮 張聃*

（四川長(zhǎng)虹電器股份有限公司，四川 成都 610094）

1 概述

紅外光學(xué)系統(tǒng)廣泛應(yīng)用于航空航天、軍事、遙感等領(lǐng)域中[1-2]。對(duì)紅外圖像中的目標(biāo)進(jìn)行檢測(cè)，則是最重要的計(jì)算機(jī)視覺任務(wù)之一[3-5]。一般而言，紅外目標(biāo)多為點(diǎn)狀，面積小，無(wú)明顯的形狀、紋理等信息，對(duì)它們的檢測(cè)屬于弱小點(diǎn)目標(biāo)檢測(cè)范疇[6-7]，是一個(gè)經(jīng)久不衰的難點(diǎn)課題。

卷積神經(jīng)網(wǎng)絡(luò)[8]自從2012 年于imageNet 的圖片分類任務(wù)上登頂后，在計(jì)算機(jī)視覺領(lǐng)域大放異彩，對(duì)于目標(biāo)檢測(cè)任務(wù)非常有效[8-10]。但不同于可見光圖像中的目標(biāo)，紅外目標(biāo)缺乏紋理顏色等細(xì)節(jié)，也沒有大型的公共數(shù)據(jù)集進(jìn)行參數(shù)的預(yù)訓(xùn)練，直接使用現(xiàn)有的深度卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)果不甚理想。

本文考慮到紅外弱小點(diǎn)目標(biāo)的特點(diǎn)，基于卷積神經(jīng)網(wǎng)絡(luò)提出了一種檢測(cè)算法，通過(guò)紅外圖像預(yù)處理與數(shù)據(jù)增強(qiáng)技巧，該算法只需幾百個(gè)樣本即可訓(xùn)練好，相比傳統(tǒng)的檢測(cè)算法，可以極大的降低虛警率，同時(shí)提高檢測(cè)率。

2 相關(guān)檢測(cè)算法概述

本部分介紹一些常見的紅外弱小點(diǎn)目標(biāo)檢測(cè)算法。

應(yīng)用最為廣泛的是基于空域的檢測(cè)方法，其簡(jiǎn)單有效，算法復(fù)雜度較低，計(jì)算量較小；具體包括傳統(tǒng)的濾波、數(shù)學(xué)形態(tài)學(xué)方法及基于馬爾科夫隨機(jī)場(chǎng)（Markov Random Field）的檢測(cè)算法等。劉豐軼等人[11]提出了一種改進(jìn)的基于馬爾科夫隨機(jī)場(chǎng)的點(diǎn)目標(biāo)檢測(cè)算法。該算法依據(jù)基于復(fù)雜背景可分性度量的信雜比準(zhǔn)則對(duì)MRF 進(jìn)行初始配置，在此基礎(chǔ)上，改進(jìn)了MRF 標(biāo)記場(chǎng)的先驗(yàn)概率模型，構(gòu)造了基于歐式空間度量的概率能量函數(shù)和概率響應(yīng)函數(shù)，提高了目標(biāo)概率對(duì)鄰域標(biāo)記變化的響應(yīng)能力。相比傳統(tǒng)算法，該算法具有更強(qiáng)的魯棒性。

朱碩雅等人[12]提出了一種時(shí)空域聯(lián)合小目標(biāo)檢測(cè)方法，利用空域?yàn)V波提取紅外小目標(biāo)的灰度特征、梯度特征，結(jié)合多幀圖像的運(yùn)動(dòng)特征對(duì)小目標(biāo)進(jìn)行篩選，有效降低了虛警率。劉源等人[13]提出將人類視覺系統(tǒng)的局部對(duì)比度方法與Top-Hat 相結(jié)合，利用前者過(guò)濾掉Top-Hat 檢測(cè)出的候選弱小目標(biāo)，以降低虛警率。

基于局部對(duì)比度（Local Contrast Measure）的目標(biāo)檢測(cè)方法性能較好，通過(guò)利用滑動(dòng)窗口遍歷圖像，將中心灰度最大值和周圍灰度平均值作為增強(qiáng)系數(shù)，以達(dá)到對(duì)比度度量增強(qiáng)目標(biāo)的效果。同時(shí)，利用多尺度窗口遍歷的方式以適應(yīng)不同大小的目標(biāo)，但不斷改變窗口大小會(huì)導(dǎo)致算法耗時(shí)較長(zhǎng)。張祥越等人[14]提出了一種改進(jìn)的LCM紅外小目標(biāo)檢測(cè)算法，通過(guò)計(jì)算輸入圖像的對(duì)比度圖和顯著度圖，提高了目標(biāo)對(duì)比度的同時(shí)抑制背景雜波，并在此基礎(chǔ)上自適應(yīng)設(shè)定閾值以分離出小目標(biāo)。該方法比傳統(tǒng)LCM方法取得了更高的檢測(cè)率和更低的虛警率。

然而，復(fù)雜背景下的紅外弱小目標(biāo)極易淹沒在背景之中，使用上述這些傳統(tǒng)檢測(cè)算法直接對(duì)原始圖像進(jìn)行目標(biāo)檢測(cè)，在保證一定目標(biāo)檢測(cè)概率的條件下，會(huì)存在較大的虛警。

近年來(lái)，基于深度學(xué)習(xí)的檢測(cè)算法展現(xiàn)了極強(qiáng)的能力。

總體上，基于深度學(xué)習(xí)的檢測(cè)算法大致分為一階段檢測(cè)算法和兩階段檢測(cè)算法：①以R-CNN 系列為代表的兩階段檢測(cè)算法[8-9]，如R-CNN，F(xiàn)aster R-CNN，R-FCN，Cascade R-CNN。該系列算法首先從圖像中預(yù)測(cè)高質(zhì)量的區(qū)域候選框，然后分別連接分類和回歸的子網(wǎng)絡(luò)來(lái)判斷區(qū)域候選框的類別并矯正其位置。②以YOLO、SSD[10]為代表的單階段檢測(cè)算法，該系列算法在預(yù)測(cè)候選框的同時(shí)，進(jìn)行物體類別的分類和位置的回歸。在實(shí)際應(yīng)用中，因?yàn)閷?duì)算法速度有要求，通常選擇速度更快的單階段檢測(cè)算法。

3 算法設(shè)計(jì)

實(shí)際中需要在盡可能遠(yuǎn)的距離發(fā)現(xiàn)目標(biāo)，而且原始紅外圖像中弱小點(diǎn)目標(biāo)的輻射能量往往較弱，容易被淹沒。針對(duì)紅外數(shù)據(jù)的這些特點(diǎn)，借鑒近幾年深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)（CNN）在光學(xué)圖像目標(biāo)檢測(cè)任務(wù)的廣泛應(yīng)用，本文提出了專門針對(duì)紅外弱小點(diǎn)目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)算法模型IRCNN。該算法的總體流程如圖1 所示。

圖1 算法總體流程

3.1 圖像去噪

本文的去噪模塊由最大中值濾波算法完成[15]。該算法在消除孤立點(diǎn)的同時(shí)能更好地保護(hù)背景結(jié)構(gòu)的邊緣信息，其被定義為：

難點(diǎn)在于，弱小目標(biāo)同樣為空間上呈現(xiàn)的孤立高斯分布點(diǎn)，去噪過(guò)程中極易將目標(biāo)點(diǎn)一并去除，因此濾波窗口大小因謹(jǐn)慎選擇。

3.2 背景抑制

本文的背景抑制模塊由一種魯棒的背景抑制算法完成。在復(fù)雜的地面或云層背景下，增強(qiáng)后的圖像仍然受到大量雜波干擾，將目標(biāo)提取出來(lái)并不是一件容易的事。本階段首先用基于敏感區(qū)域的中值濾波算法提取出較為精準(zhǔn)的背景，輸入圖像做差后得到一些可能有目標(biāo)存在的點(diǎn)。

該算法分為兩步：敏感區(qū)域獲取和子區(qū)域分割。首先以大窗口進(jìn)行中值濾波提取粗糙背景，并與原圖做差得到差分圖像。該圖像代表原始圖像經(jīng)中值濾波后的各像素點(diǎn)變化等級(jí)，該變化越大，代表原始圖像中該點(diǎn)像素值越高，即為需要的敏感區(qū)域。計(jì)算所有非0 位置的灰度均值T 作為分割閾值：

子區(qū)域分割步驟中，將原始圖像大于T 的像素點(diǎn)作為敏感區(qū)域，以小窗口中值濾波值進(jìn)行替代；小于等于T 的像素點(diǎn)則保留。以此方法提取出較為精確的背景圖像，然后與原圖做差消除背景，得到的圖像中非零點(diǎn)所在的位置即為目標(biāo)可能存在的位置。總的來(lái)說(shuō)，該步驟進(jìn)一步消除了雜波影響。

3.3 IRCNN 網(wǎng)絡(luò)

紅外圖像在經(jīng)過(guò)去噪與背景抑制以后，雖然目標(biāo)的信雜比得到一定的提升，但一些常見的檢測(cè)方法如閾值法濾波法等對(duì)目標(biāo)的檢出還是容易受到鄰域內(nèi)雜波與噪聲的干擾。因此我們通過(guò)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)IRCNN 來(lái)檢測(cè)目標(biāo)?？紤]到紅外弱小點(diǎn)目標(biāo)的性質(zhì)，我們針對(duì)性的設(shè)計(jì)樣本集以及相應(yīng)的卷積網(wǎng)絡(luò)。

3.3.1 樣本制作

首先對(duì)圖像進(jìn)行標(biāo)注，截取10*10 目標(biāo)周邊大小的區(qū)域作為正樣本，同時(shí)按1 比2 的比例隨機(jī)選擇背景抑制圖像中非目標(biāo)的像素非零點(diǎn)，同樣截取10*10 大小的區(qū)域作為負(fù)樣本。

接著使用四個(gè)數(shù)據(jù)增強(qiáng)技巧：（1）旋轉(zhuǎn)變換：對(duì)正負(fù)樣本圖像做順時(shí)針90 度、180 度、270 度旋轉(zhuǎn)變換；（2）噪聲擾動(dòng)：在像素層面對(duì)每個(gè)樣本做隨機(jī)高斯擾動(dòng)；（3）位置變換：以第5 行和第6 行為對(duì)稱軸，對(duì)調(diào)每個(gè)樣本前五行與后五行的位置；以第5列和第6 列為對(duì)稱軸，對(duì)調(diào)每個(gè)樣本前五列與后五列的位置；（4）縮放變換：對(duì)每個(gè)樣本進(jìn)行兩倍放大和縮小，接著進(jìn)行下采樣和上采樣統(tǒng)一到10*10 大小。經(jīng)過(guò)這些數(shù)據(jù)增強(qiáng)技巧，樣本集擴(kuò)大了9 倍。

3.3.2 網(wǎng)絡(luò)設(shè)計(jì)

將每個(gè)樣本復(fù)制為三通道，這樣輸入圖像尺寸為10*10*3；首先經(jīng)過(guò)5*5 卷積核融合較大區(qū)域特征，接著兩組殘差模塊學(xué)習(xí)特征信息，最后經(jīng)過(guò)3*3 和1*1 卷積核輸出判別目標(biāo)。

3.3.3 損失函數(shù)

IRCNN 網(wǎng)絡(luò)的損失函數(shù)表達(dá)式如下式所示：

其中，xn為IRCNN 神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，yn為樣本的標(biāo)簽，正樣本取為1，負(fù)樣本取為0。

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)與評(píng)價(jià)指標(biāo)

收集包含目標(biāo)的紅外圖像總共546 張，取120 張作為測(cè)試集，剩下的426 張圖像作為訓(xùn)練集。通過(guò)3.3.1 部分的樣本制作，可得到3834 張正樣本圖像以及7668 張負(fù)樣本圖像，形成11502 張圖像構(gòu)成的樣本集。

一張?jiān)技t外圖像以及相應(yīng)的正負(fù)樣本如圖2 所示。

圖2 數(shù)據(jù)示例

這里我們選擇檢測(cè)率與虛警率作為評(píng)價(jià)指標(biāo)。其中檢測(cè)率的表達(dá)式為：Dr=NDT/nT，虛警率的表達(dá)式為：Fr=NDF/（nT+mDF），nDT表示正確檢出的目標(biāo)數(shù)，nDF表示錯(cuò)判為目標(biāo)的樣本數(shù)，nT表示真實(shí)的目標(biāo)數(shù)。

4.2 實(shí)驗(yàn)結(jié)果與討論

為了對(duì)比，我們分別采用傳統(tǒng)算法基于局部對(duì)比度的檢測(cè)、本文的算法以及深度學(xué)習(xí)算法YOLOv5 用426 張訓(xùn)練圖片訓(xùn)練好模型（本文算法使用4.1 節(jié)所述預(yù)處理與增強(qiáng)后的樣本集訓(xùn)練），并在120 張測(cè)試圖片上進(jìn)行測(cè)試。圖3 是某張測(cè)試集紅外圖像的測(cè)試結(jié)果對(duì)比。

圖3 測(cè)試結(jié)果對(duì)比

表1 則列出了三種算法的檢測(cè)率與虛警率數(shù)據(jù)。

表1 三種算法的檢測(cè)率與虛警率對(duì)比

可以看到，傳統(tǒng)的基于局部對(duì)比度的檢測(cè)算法，難以區(qū)分目標(biāo)與高亮噪聲，導(dǎo)致虛警很多；而深度學(xué)習(xí)檢測(cè)算法YOLOv5，往往在訓(xùn)練樣本充足的條件下，才能取得較好效果；但這里實(shí)際可用于訓(xùn)練的圖像數(shù)量只有426 張，導(dǎo)致效果不理想，無(wú)法檢測(cè)到目標(biāo)。最后，本文提出的算法由于針對(duì)性的進(jìn)行樣本制作以及網(wǎng)絡(luò)設(shè)計(jì)，從而可以正確的檢出目標(biāo)。

5 結(jié)論

本文分析了紅外弱小點(diǎn)目標(biāo)的性質(zhì)，結(jié)合紅外圖像預(yù)處理方法，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)算法。針對(duì)紅外圖像數(shù)據(jù)有限的情況，利用四種數(shù)據(jù)增強(qiáng)手段擴(kuò)充了訓(xùn)練集；實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的檢測(cè)算法以及單階段深度學(xué)習(xí)檢測(cè)算法相比，該算法能夠提高檢測(cè)率并降低虛警率。