張汝榛，張建林，祁小平*，左顥睿，徐智勇

復(fù)雜場(chǎng)景下的紅外目標(biāo)檢測(cè)

張汝榛1,2,3，張建林1,2，祁小平1,2*，左顥睿1,2，徐智勇1,2

1中國(guó)科學(xué)院光束控制重點(diǎn)實(shí)驗(yàn)室，四川 成都 610209；2中國(guó)科學(xué)院光電技術(shù)研究所，四川 成都 610209；3中國(guó)科學(xué)院大學(xué)，北京 100049

主流的目標(biāo)檢測(cè)網(wǎng)絡(luò)在高質(zhì)量RGB圖像上的目標(biāo)檢測(cè)能力突出，但應(yīng)用于分辨率低的紅外圖像上時(shí)目標(biāo)檢測(cè)性能則有比較明顯的下降。為了提高復(fù)雜場(chǎng)景下的紅外目標(biāo)檢測(cè)識(shí)別能力，本文采用了以下措施：第一、借鑒領(lǐng)域自適應(yīng)的方法，采用合適的紅外圖像預(yù)處理手段，使紅外圖像更接近RGB圖像，從而可以應(yīng)用主流的目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)一步提高檢測(cè)精度。第二、采用單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv3作為基礎(chǔ)網(wǎng)絡(luò)，并用GIOU損失函數(shù)代替原有的MSE損失函數(shù)。經(jīng)實(shí)驗(yàn)驗(yàn)證，該算法在公開(kāi)紅外數(shù)據(jù)集FLIR上檢測(cè)的準(zhǔn)確率提升明顯。第三、針對(duì)FLIR數(shù)據(jù)集存在的目標(biāo)尺寸跨度大的問(wèn)題，借鑒空間金字塔思想，加入SPP模塊，豐富特征圖的表達(dá)能力，擴(kuò)大特征圖的感受野。實(shí)驗(yàn)表明，所采用的方法可以進(jìn)一步提高目標(biāo)檢測(cè)的精度。

紅外目標(biāo)檢測(cè)；深度學(xué)習(xí)；復(fù)雜場(chǎng)景

1 引 言

近年來(lái)，隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷進(jìn)步發(fā)展，計(jì)算機(jī)視覺(jué)已廣泛應(yīng)用到眾多科研領(lǐng)域和民用應(yīng)用。目標(biāo)檢測(cè)作為大量高級(jí)視覺(jué)任務(wù)的基礎(chǔ)任務(wù)之一，在計(jì)算機(jī)視覺(jué)領(lǐng)域和實(shí)際應(yīng)用中具有重要的研究意義。目前在許多學(xué)者的共同努力下，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)研究已經(jīng)取得了顯著性的進(jìn)展。但是現(xiàn)在國(guó)內(nèi)外已發(fā)表的研究成果中絕大多數(shù)的應(yīng)用場(chǎng)景是基于可見(jiàn)光條件，關(guān)于紅外場(chǎng)景下的應(yīng)用研究卻很少。

可見(jiàn)光圖像具有成像分辨率高、目標(biāo)細(xì)節(jié)信息豐富等特點(diǎn)，但其相比于紅外圖像很容易受到光照變化的影響，這在很大程度上增加了目標(biāo)識(shí)別的難度。尤其是在一些特殊天氣，例如雨天、霧天、夜間和可見(jiàn)光光源缺少的情況下，可視距離和能見(jiàn)度很差，拍攝的圖片根本無(wú)法正常使用，從而影響目標(biāo)檢測(cè)的結(jié)果。而紅外成像技術(shù)具有工作距離遠(yuǎn)、抗干擾能力強(qiáng)、測(cè)量精度高、不受天氣影響、能晝夜工作，以及穿透煙霧能力強(qiáng)等特點(diǎn)，因此紅外成像技術(shù)一經(jīng)提出了便得到科研領(lǐng)域和民用的廣泛關(guān)注，市場(chǎng)對(duì)紅外目標(biāo)的檢測(cè)需求也隨之增加。

然而紅外圖像相較于其他的可見(jiàn)光圖像也具有一些不利于目標(biāo)檢測(cè)的特性，例如紅外圖像成像模糊、分辨率差、信噪比低、對(duì)比度低，以及圖像灰度分布與目標(biāo)反射特征無(wú)線性關(guān)系。這些物理特性使得主流的目標(biāo)檢測(cè)網(wǎng)絡(luò)在應(yīng)用于紅外場(chǎng)景時(shí)更有挑戰(zhàn)性。并且現(xiàn)有的檢測(cè)方法只局限于單一的紅外目標(biāo)檢測(cè)識(shí)別，缺乏包含多類普遍目標(biāo)檢測(cè)的相關(guān)研究。

傳統(tǒng)的目標(biāo)檢測(cè)算法最初選擇不同尺度長(zhǎng)寬比的滑動(dòng)窗口產(chǎn)生候選區(qū)域(ROI)，采用手工提取特征之后輸入到分類器進(jìn)行分類，主要的算法包括：Hog特征+SVM算法、Haar特征+Adaboost算法、DPM算法。但是由于滑動(dòng)窗口產(chǎn)生冗余窗口太多，時(shí)間復(fù)雜度高，會(huì)影響之后的特征提取及分類的速度和精度。并且傳統(tǒng)算法中通過(guò)手動(dòng)特征提取的方法與目標(biāo)特性緊密相關(guān)，而較難具有一般性，因此對(duì)于目標(biāo)形態(tài)的多樣性，以及背景的多樣性光照變化等情況的檢測(cè)效果不好。

近年來(lái)，利用卷積神經(jīng)網(wǎng)能夠提取圖像更深層、更具表示能力的語(yǔ)義信息，確保了目標(biāo)識(shí)別時(shí)減少像素質(zhì)量的影響且實(shí)現(xiàn)了檢測(cè)結(jié)果穩(wěn)定良好。2014年RBG首次提出了R-CNN模型框架并且在目標(biāo)檢測(cè)上取得了巨大成功，主要的目標(biāo)檢測(cè)方法也隨之沿著基于候選框和基于回歸的目標(biāo)檢測(cè)算法的方向發(fā)展。在文獻(xiàn)[1]中，作者發(fā)現(xiàn)將RGB和紅外圖像同時(shí)輸入Faster R-CNN檢測(cè)能夠改善對(duì)行人的檢測(cè)，因此設(shè)計(jì)了四種ConvNet fusion結(jié)構(gòu)，將可見(jiàn)光和紅外信息融合并尋找到了最優(yōu)的融合方法，成功地將Faster R-CNN應(yīng)用到RGB-T行人檢測(cè)任務(wù)中。朱大煒等人使用R-CNN網(wǎng)絡(luò)于紅外飛機(jī)檢測(cè)，驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行紅外目標(biāo)檢測(cè)的可行性，后使用速度更快的SSD網(wǎng)絡(luò)并進(jìn)行改進(jìn)實(shí)現(xiàn)了對(duì)紅外飛機(jī)的實(shí)時(shí)檢測(cè)[2]。侯志強(qiáng)等人根據(jù)Faster R-CNN存在目標(biāo)的漏檢和重復(fù)檢測(cè)的問(wèn)題，對(duì)Faster R-CNN進(jìn)行了改進(jìn)，提出了基于雙閾值-非極大值抑制算法，提升了檢測(cè)的性能[3]。在文獻(xiàn)[4]中，作者分析了現(xiàn)有的紅外目標(biāo)檢測(cè)所遇到的困難，針對(duì)數(shù)據(jù)不足問(wèn)題，分別對(duì)比了圖片進(jìn)行一次預(yù)處理并輸入、進(jìn)行多次預(yù)處理并輸入以及多個(gè)預(yù)處理并行輸入網(wǎng)絡(luò)的目標(biāo)檢測(cè)研究，實(shí)驗(yàn)表明進(jìn)行多次預(yù)處理并行輸入的檢測(cè)精度最高。SSD[5]、DSSD[6]、YOLOv3[7]、YOLOv4[8]等在多個(gè)網(wǎng)絡(luò)層上進(jìn)行檢測(cè)，提高了網(wǎng)絡(luò)在不同尺度目標(biāo)的檢測(cè)效果。在文獻(xiàn)[9]中針對(duì)視頻中小目標(biāo)難以檢測(cè)的難點(diǎn)改進(jìn)了YOLOv3網(wǎng)絡(luò)，并在Road-garbage Dataset數(shù)據(jù)集上成功地解決了以上問(wèn)題。之后的DetNet[10]和RFBNet[11]在特征提取網(wǎng)絡(luò)中引入空洞卷積來(lái)保證空間分辨率。實(shí)驗(yàn)表明，以上方法都能與主流算法媲美。

另外一個(gè)影響紅外目標(biāo)識(shí)別準(zhǔn)確率的原因是缺乏高質(zhì)量的數(shù)據(jù)集，針對(duì)此問(wèn)題主要有兩個(gè)解決方案：1) 對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，如翻轉(zhuǎn)，裁剪等。在文獻(xiàn)[5]中，對(duì)VOC數(shù)據(jù)集進(jìn)行隨機(jī)剪裁、翻轉(zhuǎn)等預(yù)處理方法進(jìn)一步提高了SSD對(duì)小目標(biāo)的檢測(cè)精度。石超等人[12]針對(duì)紅外圖像的特點(diǎn)使用Top-Hat算法對(duì)紅外圖像進(jìn)行預(yù)處理，并使用改進(jìn)后的ViBe算法成功實(shí)現(xiàn)了對(duì)船艦?zāi)繕?biāo)檢測(cè)。2) 進(jìn)行fine-tuning網(wǎng)絡(luò)訓(xùn)練，將在RGB圖像上進(jìn)行訓(xùn)練檢測(cè)后的權(quán)重設(shè)為初始權(quán)重，將其遷移學(xué)習(xí)到紅外目標(biāo)的檢測(cè)從而減少其對(duì)數(shù)據(jù)量的需求。在文獻(xiàn)[13]中，作者成功應(yīng)用遷移學(xué)習(xí)解決了使用少量樣本進(jìn)行目標(biāo)跟蹤的問(wèn)題。

本文主要目的是實(shí)現(xiàn)檢測(cè)精度和速度的平衡。采用YOLOv3作為檢測(cè)的基礎(chǔ)網(wǎng)絡(luò)對(duì)紅外目標(biāo)進(jìn)行檢測(cè)識(shí)別，并在YOLOv3的基礎(chǔ)上根據(jù)紅外數(shù)據(jù)集的特點(diǎn)進(jìn)行網(wǎng)絡(luò)修改以提高檢測(cè)的準(zhǔn)確率。其次解決因紅外數(shù)據(jù)集少所帶來(lái)的訓(xùn)練容易過(guò)擬合的問(wèn)題。本文的主要貢獻(xiàn)有：

1) 提出一種新型的紅外圖像預(yù)處理方法，并在實(shí)驗(yàn)中驗(yàn)證了提出的紅外圖像處理方法能提高檢測(cè)識(shí)別的精度。

2) 針對(duì)YOLOv3存在著定位不準(zhǔn)的問(wèn)題，使用GIOU損失函數(shù)代替原來(lái)的損失函數(shù)，用以改善該問(wèn)題，實(shí)驗(yàn)表明目標(biāo)檢測(cè)準(zhǔn)確率得以提高。

3) 借鑒空間金字塔思想方法，通過(guò)添加SPP(spatial pyramid pooling)模塊將圖像的局部特征和全局特征進(jìn)行融合，增大了特征圖的感受視野，豐富了特征圖的表達(dá)能力。

2 方法原理

2.1 紅外圖像預(yù)處理方法

由于主流的目標(biāo)檢測(cè)算法應(yīng)用的場(chǎng)景都是基于RGB圖像，不適于檢測(cè)紅外目標(biāo)，因此需要將紅外圖像進(jìn)行預(yù)處理，以使紅外圖像更接近RGB圖像，使得目標(biāo)檢測(cè)算法精度能進(jìn)一步提升。

假設(shè)有一紅外圖像，用表示圖像的像素，尋找變化函數(shù)使得變化后的圖像輸入到目標(biāo)檢測(cè)算法后能提升檢測(cè)精度，進(jìn)行的預(yù)處理有：

1) 倒置。一般目標(biāo)檢測(cè)所用的RGB圖像都是白天所攝，通常情況下背景較亮，而目標(biāo)較暗。但是紅外圖像所成像為輻射特性，故一般背景輻射較弱而目標(biāo)輻射較強(qiáng)。因此，采用倒置操作：

其中：表示灰度范圍為[0,1]的原圖上任意一點(diǎn)的灰度值。

2) 直方圖均衡。與RGB圖像的像素分布不同，紅外圖像的像素分布通常都是偏暗或者偏亮。為了增強(qiáng)紅外圖像的對(duì)比度，采用灰度拉伸操作在一定程度上可以均衡灰度分布：

3) 去噪+圖片銳化。由于紅外圖像的信噪比比較低，因此不能直接對(duì)圖片進(jìn)行銳化操作，需要先進(jìn)行去噪提高信噪比，再進(jìn)行圖像銳化。先采用5′5大小的中值濾波器，后用高低帽操作進(jìn)行銳化，其中：

圖1為進(jìn)行預(yù)處理后的圖像樣例，很容易發(fā)現(xiàn)倒置操作更接近RGB圖像的灰度圖。直方圖均衡提高了圖像的對(duì)比度，但是導(dǎo)致了圖像過(guò)曝。去噪+圖像銳化直觀上看在一定程度上增加了圖像的邊緣，但是從這些樣例中很難判斷是否會(huì)使檢測(cè)的效果更好。

2.2 紅外目標(biāo)檢測(cè)網(wǎng)絡(luò)

為了對(duì)復(fù)雜環(huán)境下的紅外目標(biāo)進(jìn)行快速、準(zhǔn)確地檢測(cè)，需要采用多層的特征進(jìn)行融合來(lái)提高網(wǎng)絡(luò)對(duì)各種尺度目標(biāo)的特征表達(dá)能力。通過(guò)對(duì)現(xiàn)有的主流目標(biāo)檢測(cè)算法的分析，結(jié)合基于回歸的目標(biāo)檢測(cè)算法速度快且能較好保證檢測(cè)精度的優(yōu)勢(shì)，本文采用YOLOv3算法來(lái)作為紅外目標(biāo)檢測(cè)的基礎(chǔ)網(wǎng)絡(luò)，在其目標(biāo)函數(shù)中通過(guò)加入檢測(cè)目標(biāo)重疊率GIOU進(jìn)行目標(biāo)位置的回歸以提升系統(tǒng)對(duì)目標(biāo)的檢測(cè)定位精度，通過(guò)特征金字塔SPP進(jìn)行多層特征的融合與多尺度目標(biāo)的檢測(cè)。YOLOv3是Redmon等人提出的系列YOLO算法中的第三個(gè)版本，在YOLOv2的基礎(chǔ)上借鑒了FPN思想，在3個(gè)尺度上進(jìn)行預(yù)測(cè)，每個(gè)尺度對(duì)應(yīng)3個(gè)候選框，每個(gè)候選框輸出“位置偏移”、置信度以及分類結(jié)果，并且使用Darknet-53作為基礎(chǔ)網(wǎng)絡(luò)，其精度超過(guò)了大部分主流的基于候選框的算法，而且速度上有很大的優(yōu)勢(shì)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，圖3為SPP模塊，圖4為本文算法的流程圖。

圖1 來(lái)自FLIR數(shù)據(jù)集的不同紅外圖片(每行)。(a) 原圖；(b) 倒置；(c) 直方圖均衡；(d) 去噪+圖像銳化

圖2 修改后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖

圖3 SPP模塊

圖4 算法流程圖

從式(7)可知，該方法能夠有效改善YOLOv3定位不準(zhǔn)的問(wèn)題。

另外，由于紅外圖片包括的信息量少，為了進(jìn)一步提高YOLOv3對(duì)特征的表達(dá)能力，借鑒了空間金字塔思想，在YOLOv3網(wǎng)絡(luò)中加入SPP模塊，使原用于目標(biāo)檢測(cè)的特征圖經(jīng)過(guò)SPP后，將局部特征和全局特征進(jìn)行融合，豐富了特征圖的表達(dá)能力，擴(kuò)大了特征圖的感受野，有利于檢測(cè)圖片中目標(biāo)尺寸跨度比較大的情況。由于用于目標(biāo)檢測(cè)的公開(kāi)紅外數(shù)據(jù)集比較少并且包含的數(shù)據(jù)量也很少，因此如果直接輸入YOLOv3進(jìn)行訓(xùn)練很容易導(dǎo)致過(guò)擬合。但是在通過(guò)數(shù)據(jù)集的預(yù)處理減少RGB與紅外圖像之間的差別后，使用網(wǎng)絡(luò)對(duì)RGB圖像進(jìn)行目標(biāo)檢測(cè)后的權(quán)重作為檢測(cè)紅外目標(biāo)的初始權(quán)重，可以在減少網(wǎng)絡(luò)對(duì)數(shù)據(jù)量要求的同時(shí)還能減少網(wǎng)絡(luò)訓(xùn)練的時(shí)間。工作過(guò)程為：首先，使用RGB圖像進(jìn)行訓(xùn)練的網(wǎng)絡(luò)模型的權(quán)重文件作為訓(xùn)練紅外圖像的檢測(cè)網(wǎng)絡(luò)初始權(quán)重；然后用紅外數(shù)據(jù)集進(jìn)行訓(xùn)練，得到訓(xùn)練模型，進(jìn)行保存；最后使用紅外數(shù)據(jù)集中的測(cè)試集對(duì)訓(xùn)練好的模型進(jìn)行測(cè)試，得出測(cè)試結(jié)果。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)細(xì)節(jié)

3.1.1 訓(xùn)練環(huán)境

算法基于pytorch框架進(jìn)行網(wǎng)絡(luò)搭建、訓(xùn)練和測(cè)試，在Ubuntu中用python進(jìn)行實(shí)驗(yàn)。訓(xùn)練平臺(tái)采用Intel i7-7700K CPU，GPU為GTX1080Ti，內(nèi)存為12 GB。訓(xùn)練過(guò)程中使用GPU進(jìn)行加速。

表1 使用ImageNet和MS COCO數(shù)據(jù)集權(quán)重訓(xùn)練FLIR紅外數(shù)據(jù)集

3.1.2 數(shù)據(jù)集

本文所使用的數(shù)據(jù)集為FLIR公司于2018年7月發(fā)行的紅外數(shù)據(jù)集，該數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集兩個(gè)部分，包含14152張圖像，其中包含待檢測(cè)目標(biāo)的有9241張，包括的目標(biāo)有人(28151個(gè))，汽車(46692個(gè))，自行車(4457個(gè))，狗(240個(gè))，由于狗的圖片都包含在訓(xùn)練集中，測(cè)試時(shí)會(huì)導(dǎo)致總的檢測(cè)精度降低，因此在剔除無(wú)效數(shù)據(jù)以及狗的圖像后剩余9220張圖片，并將數(shù)據(jù)集分為訓(xùn)練集(80%)和測(cè)試集(20%)進(jìn)行檢測(cè)。拍攝的內(nèi)容為11月至次年的5月期間日間(60%)和夜間(40%)的加利福尼亞州圣巴巴拉市街道和公路上的車輛及行人。

3.1.3 訓(xùn)練參數(shù)

本文分別使用由ImageNet數(shù)據(jù)集和MS COCO數(shù)據(jù)集經(jīng)過(guò)YOLOv3模型進(jìn)行訓(xùn)練后得到的權(quán)重作為紅外目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv3的初始權(quán)重進(jìn)行檢測(cè)，檢測(cè)結(jié)果如表1所示，因此預(yù)訓(xùn)練模型的參數(shù)使用YOLOv3模型在MS COCO數(shù)據(jù)集下訓(xùn)練得到的參數(shù)權(quán)重作為初始化權(quán)重。優(yōu)化算法使用可以加速SGD并且抑制振蕩的Momentum算法，動(dòng)量取值0.9；初始學(xué)習(xí)率為0.001；Batch size設(shè)置為16；周期數(shù)設(shè)置為300。

3.2 預(yù)處理手段對(duì)比

為了嚴(yán)格控制實(shí)驗(yàn)條件，所采用的目標(biāo)檢測(cè)網(wǎng)絡(luò)均為YOLOv3，權(quán)重文件均使用MS COCO數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練和初始化，實(shí)驗(yàn)結(jié)果如表2所示。

從表2可以看出只有倒置提高了檢測(cè)準(zhǔn)確率，原因可能是由于FLIR紅外數(shù)據(jù)集中大部分圖片都是復(fù)雜場(chǎng)景且目標(biāo)的尺度變化比較大，因此導(dǎo)致常規(guī)的預(yù)處理方法可能不合適。

3.3 對(duì)比實(shí)驗(yàn)

為了將本文改進(jìn)的網(wǎng)絡(luò)與目前主流的目標(biāo)檢測(cè)算法網(wǎng)絡(luò)進(jìn)行比較，采用雙階段目標(biāo)檢測(cè)網(wǎng)絡(luò)中精度較高的Faster R-CNN來(lái)進(jìn)行檢測(cè)精度的比較，所有實(shí)驗(yàn)的網(wǎng)絡(luò)結(jié)構(gòu)在表3中列出。對(duì)于Faster R-CNN選擇256個(gè)候選框進(jìn)行訓(xùn)練，正負(fù)樣本比例為1：3。

表2 不同的預(yù)處理方法輸入到Y(jié)OLOv3 網(wǎng)絡(luò)進(jìn)行訓(xùn)練的檢測(cè)結(jié)果

從表3中Faster R-CNN(VGG16)與Faster R-CNN (Res101)的結(jié)果可以看出，擁有更深層的殘差網(wǎng)絡(luò)結(jié)構(gòu)能夠提取到更多的目標(biāo)信息，檢測(cè)的準(zhǔn)確率提升了3.18%。而相對(duì)于兩階段的Faster R-CNN來(lái)說(shuō)，YOLOv3的檢測(cè)精度可能有所下降，但測(cè)試所用時(shí)間明顯縮短。用GIOU損失函數(shù)代替YOLOv3原始的損失函數(shù)，可以發(fā)現(xiàn)檢測(cè)精度提升了1.68%，提高了網(wǎng)絡(luò)定位準(zhǔn)確性。通過(guò)Ours(YOLOv3+GIOU)與Ours(YOLOv3+GIOU+SPP)實(shí)驗(yàn)結(jié)果對(duì)比可知加入SPP模塊能夠提升網(wǎng)絡(luò)的表達(dá)能力，檢測(cè)精度提升了7.1%。本文所用方法為采用YOLOv3框架下使用GIOU損失函數(shù)，并在檢測(cè)器前加入SPP模塊。經(jīng)相關(guān)實(shí)驗(yàn)表明，在檢測(cè)速度下降不是很明顯的情況下，對(duì)于車、人和自行車的檢測(cè)精度都有明顯的提升。

表3 不同框架對(duì)于FLIR數(shù)據(jù)集的檢測(cè)結(jié)果。Faster R-CNN IOU閾值為0.3，YOLOv3 IOU閾值為0.6

圖5 (a) 不同網(wǎng)絡(luò)的所有類別檢測(cè)速度和精度的結(jié)果；(b) 不同網(wǎng)絡(luò)的汽車檢測(cè)速度和精度的結(jié)果； (c) 不同網(wǎng)絡(luò)的人檢測(cè)速度和精度的結(jié)果；(d) 不同網(wǎng)絡(luò)的自行車檢測(cè)速度和精度的結(jié)果

圖6為部分FLIR數(shù)據(jù)集檢測(cè)結(jié)果圖，由圖6(a)列與圖6(b)列的對(duì)比可以看出，原始的YOLOv3網(wǎng)絡(luò)對(duì)紅外目標(biāo)進(jìn)行檢測(cè)時(shí)，對(duì)近距離大目標(biāo)或邊緣目標(biāo)的檢測(cè)能力較差的情況，并且在目標(biāo)較小時(shí)存在著誤檢和漏檢的問(wèn)題，而YOLOv3的作者也指出過(guò)YOLOv3網(wǎng)絡(luò)對(duì)大中型目標(biāo)會(huì)存在檢測(cè)精度下降的情況。通過(guò)圖6(a)列與圖6(c)列和圖6(d)列的對(duì)比圖可以看到，經(jīng)過(guò)修改后的網(wǎng)絡(luò)，對(duì)于近距離的大目標(biāo)以及邊緣目標(biāo)的檢測(cè)能力有了明顯的改善，并且對(duì)于定位的準(zhǔn)確性也有了一定的提升，網(wǎng)絡(luò)預(yù)測(cè)的框更接近真實(shí)值。而對(duì)比圖6(c)列和圖6(d)列，能夠看出在網(wǎng)絡(luò)加了SPP模塊后網(wǎng)絡(luò)的誤檢和錯(cuò)檢能力降低，在克服了YOLOv3原來(lái)的不足后，相比與只修改GIOU損失函數(shù)的方法能夠進(jìn)一步地提升目標(biāo)檢測(cè)精度。

4 結(jié) 論

針對(duì)復(fù)雜場(chǎng)景下紅外目標(biāo)檢測(cè)的成像分辨率低、對(duì)比度低的問(wèn)題，提出了以下解決方法：

圖6 (a) YOLOv3網(wǎng)絡(luò)檢測(cè)結(jié)果；(b) 真實(shí)值；(c) 使用GIOU損失函數(shù)的YOLOv3網(wǎng)絡(luò)檢測(cè)結(jié)果； (d) 使用GIOU損失函數(shù)并添加SPP模塊的YOLOv3網(wǎng)絡(luò)的檢測(cè)結(jié)果

首先采用倒置的預(yù)處理手段對(duì)紅外圖像進(jìn)行預(yù)處理，使紅外圖像更加接近RGB圖像，從而能對(duì)可見(jiàn)光圖像目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行遷移，并采用有限的紅外圖像fine-tuning訓(xùn)練網(wǎng)絡(luò)進(jìn)一步提升其紅外目標(biāo)檢測(cè)能力；考慮到Y(jié)OLOv3網(wǎng)絡(luò)對(duì)大中型目標(biāo)的檢測(cè)精度存在不足，使用GIOU損失函數(shù)以及SPP模塊進(jìn)一步改進(jìn)了網(wǎng)絡(luò)，提升了網(wǎng)絡(luò)的檢測(cè)能力以及定位精度，在速度損失不是很大的情況下檢測(cè)精度提升了近9個(gè)點(diǎn)。當(dāng)然，該網(wǎng)絡(luò)目前仍存在部分不足，如：由于自行車類在整個(gè)數(shù)據(jù)集中存在的數(shù)量相比人和車的數(shù)量較少，數(shù)據(jù)分布不均衡的問(wèn)題，因此網(wǎng)絡(luò)對(duì)自行車類別的學(xué)習(xí)能力有限，對(duì)訓(xùn)練后的檢測(cè)網(wǎng)絡(luò)進(jìn)行測(cè)試時(shí)存在著漏檢的情況，另外對(duì)于目標(biāo)重疊時(shí)檢測(cè)效果也較差，接下來(lái)的工作是對(duì)這兩個(gè)方面進(jìn)行改進(jìn)。

[1] Hou Y L, Song Y Y, Hao X L,. Multispectral pedestrian detection based on deep convolutional neural networks[C]//, 2018.

[2] Zhu D W. Infrared image plane target detection method based on deep learning[D]. Xi’an: Xidian University, 2018.

朱大煒. 基于深度學(xué)習(xí)的紅外圖像飛機(jī)目標(biāo)檢測(cè)方法[D]. 西安: 西安電子科技大學(xué), 2018.

[3] Herrmann C, Ruf M, Beyerer J. CNN-based thermal infrared person detection by domain adaptation[J]., 2018, 10643: 1064308.

[4] Hou Z Q, Liu X Y, Yu W S,. Improved algorithm of faster R-CNN based on double threshold-non-maximum suppression[J]., 2019, 46(12): 190159.

侯志強(qiáng), 劉曉義, 余旺盛, 等. 基于雙閾值-非極大值抑制的Faster R-CNN改進(jìn)算法[J]. 光電工程, 2019, 46(12): 190159.

[5] Liu W, Anguelov D, Erhan D,. SSD: single shot MultiBox detector[C]//2016, 9905: 21–37.

[6] Fu C Y, Liu W, Ranga A,. DSSD: deconvolutional single shot detector[Z]. arXiv:1701.06659[cs.CV], 2017.

[7] Redmon J, Farhadi A. YOLOv3: an incremental improvement[Z]. arXiv:1804.02767[cs.CV], 2018.

[8] Bochkovskiy A, Wang C Y, Liao H Y M. YOLOv4: optimal speed and accuracy of object detection[Z]. arXiv:2004.10934[cs.CV], 2020.

[9] Jin Y, Zhang R, Yin D. Object detection for small pixel in urban roads videos[J]., 2019, 46(9): 190053.

金瑤, 張銳, 尹東. 城市道路視頻中小像素目標(biāo)檢測(cè)[J]. 光電工程, 2019, 46(9): 190053.

[10] Li Z M, Peng C, Yu G,. DetNet: a backbone network for object detection[Z]. arXiv:1804.06215[cs.CV], 2018.

[11] Liu S T, Huang D, Wang Y H. Receptive field block net for accurate and fast object detection[Z]. arXiv:1711.07767[cs.CV], 2017.

[12] Zhao C M, Chen Z B, Zhang J L. Application of aircraft target tracking based on deep learning[J]., 2019, 46(9): 180261.

趙春梅, 陳忠碧, 張建林. 基于深度學(xué)習(xí)的飛機(jī)目標(biāo)跟蹤應(yīng)用研究[J]. 光電工程, 2019, 46(9): 180261.

[13] Shi C, Chen E Q, Qi L. Ship detection from infrared video[J]., 2018, 45(6): 170748.

石超, 陳恩慶, 齊林. 紅外視頻中的艦船檢測(cè)[J]. 光電工程, 2018, 45(6): 170748.

[14] Yu J H, Jiang Y N, Wang Z Y,. UnitBox: An advanced object detection network[C]//, 2016.

[15] Rezatofighi H, Tsoi N, Gwak J Y,. Generalized intersection over union: a metric and a loss for bounding box regression[C]//, 2020.

Infrared target detection and recognition in complex scene

Zhang Ruzhen1,2,3, Zhang Jianlin1,2, Qi Xiaoping1,2*, Zuo Haorui1,2, Xu Zhiyong1,2

1Key Laboratory of Beam Control, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;3University of Chinese Academy of Sciences, Beijing 100049, China

Improved YOLOv3 network for infrared target detection

Overview:In recent years, with the continuous development of computer vision, the ability of target detection based on deep learning has been significantly improved. However, most of the images used by mainstream target detection networks are RGB images, and there are few studies on the direction of infrared target detection. Moreover, the mainstream target detection network has a prominent target detection capability in high quality RGB images, but the target detection performance in infrared images with poor resolution is significantly reduced. Compared with infrared images, visible images have higher imaging resolution and rich target detail information. However, under certain weather conditions, the visible images cannot be obtained. Infrared imaging technology has the characteristics of long range, strong anti-interference ability, high measurement accuracy, not affected by weather, able to work day and night, and strong ability to penetrate smoke. Therefore, infrared imaging technology has been widely used once it was proposed. The demand for infrared target detection is also urgent.

In order to improve the performance of infrared target detection in complex scenes, the following measures are adopted in this paper: First, referring to the field adaptive method, appropriate infrared image preprocessing means are adopted to make the infrared image closer to the RGB image, so as to further improve the detection accuracy by applying the mainstream target detection network. Secondly, mean square error (MSE), a loss function, regards the coordinate value of each point of BBox as an independent variable, which does not consider the integrity of the target frame, andl-is sensitive to the scale of the object, so the algorithm is based on the single-stage target detection network YOLOv3 and replaces the original MSE loss function with GIOU loss function. It is verified by experiments that the detection accuracy on FLIR, an open infrared data set, is significantly improved, and the problem of inaccurate location in the original network is effectively improved. Thirdly, in view of the problem of large span of target size in the FLIR data set, the SPP module is added to enrich the expression ability of feature map and expand the receptive field of feature map by referring to the idea of space pyramid. The experimental results show that the network detection error rate decreases after the addition of SPP module, and after overcoming the original deficiency of the YOLOv3, the target accuracy of detection can be further improved compared with the modification of GIOU loss function only.

Citation: Zhang R Z, Zhang J L, Qi X P,. Infrared target detection and recognition in complex scene[J]., 2020,47(10): 200314

Infrared target detection and recognition in complex scene

Zhang Ruzhen1,2,3, Zhang Jianlin1,2, Qi Xiaoping1,2*, Zuo Haorui1,2, Xu Zhiyong1,2

1Key Laboratory of Beam Control, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;3University of Chinese Academy of Sciences, Beijing 100049, China

The mainstream target detection network has outstanding target detection capability in high quality RGB images, but for infrared images with poor resolution, the target detection performance decreases significantly. In order to improve the performance of infrared target detection in complex scene, the following measures are adopted in this paper: Firstly, by referring to the field adaption and adopting the appropriate infrared image preprocessing means, the infrared image is closer to the RGB image, so that the mainstream target detection network can further improve the detection accuracy. Secondly, based on the one-stage target detection network YOLOv3, the algorithm replaces the original MSE loss function with the GIOU loss function. It is verified by experiments that the detection accuracy on the open infrared data set the FLIR is significantly improved. Thirdly, in view of the problem of large target size span existing in FLIR dataset, the SPP module is added with reference to the idea of the spatial pyramid to enrich the expression ability of feature map, expand the receptive field of feature map, and further improve the accuracy of target detection.

infrared target detection; deep learning; complex scenario

TP391.41；TN219

A

張汝榛，張建林，祁小平，等. 復(fù)雜場(chǎng)景下的紅外目標(biāo)檢測(cè)[J]. 光電工程，2020，47(10): 200314

10.12086/oee.2020.200314

: Zhang R Z, Zhang J L, Qi X P,Infrared target detection and recognition in complex scene[J]., 2020, 47(10): 200314

2020-08-20；

2020-09-22

國(guó)家863計(jì)劃資助項(xiàng)目(G158207)

張汝榛(1994-)，女，碩士，主要從事基于深度學(xué)習(xí)的紅外目標(biāo)檢測(cè)的研究。E-mail：zrzhen0319@163.com

祁小平(1974-)，男，副研究員，主要從事擴(kuò)展目標(biāo)高精度定位技術(shù)和圖像處理算法的優(yōu)化及實(shí)時(shí)實(shí)現(xiàn)的研究。 E-mail：qixiaoping@163.com

Supported by National High Technology Research Development Program China (G158207)

* E-mail: qixiaoping@163.com