院老虎，翟柯嘉，張澤鵬，宋 瑞

(沈陽航空航天大學(xué) 航宇宇航學(xué)院，遼寧 沈陽 110136)

目標(biāo)檢測作為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，已廣泛應(yīng)用于自動(dòng)駕駛［1－2］、人臉識(shí)別［3－4］和其他領(lǐng)域［5－6］。隨著空間遙感技術(shù)的不斷發(fā)展，人們獲得了大量的空間遙感圖像數(shù)據(jù)，遙感圖像與常規(guī)圖像相比不僅存在著環(huán)境背景復(fù)雜、目標(biāo)物尺度多樣和目標(biāo)物種類復(fù)雜等缺點(diǎn)，而且易受云、霧等干擾信息的影響。如何快速準(zhǔn)確地處理復(fù)雜環(huán)境下的遙感數(shù)據(jù)，檢測出圖像中目標(biāo)的類別和位置等信息是當(dāng)前研究的熱點(diǎn)和難點(diǎn)。飛機(jī)在國家的軍用和民用方面扮演著重要的角色，對(duì)于霧天飛機(jī)遙感圖像目標(biāo)檢測的研究意義更為重大。

近年來，隨著大數(shù)據(jù)和人工智能的迅速發(fā)展，大量優(yōu)秀的目標(biāo)檢測算法被提出。在2014年，Girshick等［7］提出了R-CNN（Regions with Convolutional Neural Network Features）算法，基于遷移學(xué)習(xí)的方式將CNNs引入目標(biāo)檢測領(lǐng)域，進(jìn)行了對(duì)常規(guī)數(shù)據(jù)集的目標(biāo)檢測任務(wù)，隨后在2015年，Ren等［8］提出了Faster R-CNN算法，這類算法使用候選區(qū)域方法創(chuàng)建感興趣區(qū)域，候選區(qū)域采用卷積神經(jīng)網(wǎng)絡(luò)RPN（Region Proposal Network）推薦，不再使用之前的Selective Search算法，其在PASCAL VOC2007［9］數(shù)據(jù)集上的平均檢測精度提高到了73.2%。2016年，Redmon等［10］提出了無區(qū)域建議的YOLO（You Only Look Once）方法，網(wǎng)絡(luò)包含了2個(gè)全連接層和24個(gè)卷積層，該算法是將測試圖像劃分成很多個(gè)網(wǎng)格，在每個(gè)網(wǎng)格位置上預(yù)測n個(gè)邊界框，這種預(yù)測方法檢測速度得到提高，但對(duì)鄰近目標(biāo)的檢測效果較差，檢測精度低于Fast R-CNN及Faster R-CNN方法。這些目標(biāo)檢測算法被國內(nèi)外研究學(xué)者廣泛應(yīng)用于遙感圖像目標(biāo)檢測領(lǐng)域和去霧領(lǐng)域。

Cao等［11］基于RCNN模型［12］進(jìn)行飛機(jī)檢測，使用Selective search算法［13］提取候選區(qū)域，并采用深層CNN進(jìn)行分類，從而提取出較符合圖像本質(zhì)的特征。Sun等［14］基于Saliency Map方法削減了候選區(qū)域的數(shù)量，通過彈性變換和透視變換方法擴(kuò)展了數(shù)據(jù)集。Wu等［15］利用BING-CNN的方式實(shí)現(xiàn)了對(duì)飛機(jī)目標(biāo)的快速識(shí)別，在檢測精度優(yōu)于HOG-SVM、DBN等模型的同時(shí)，平均檢測速度也得到了提高。Li等［16］基于預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)，對(duì)比了FCN、Faster R-CNN和The proposed method三種模型的性能，采用的The proposed method實(shí)現(xiàn)了94.55%的檢測精確率，平均檢測速度提高3 fps。Wang等［17］提出針對(duì)飛機(jī)目標(biāo)檢測的ATRPN R-CNN（Aircraft Targets Region Proposal Network），使用ResNet-50網(wǎng)絡(luò)提取區(qū)域特征，隨后特征進(jìn)入ATRPN候選框，使用ROI池化層生成特定長度向量以計(jì)算目標(biāo)的置信度和候選框的位置。這些方法均在原始算法的基礎(chǔ)上提出了自己的改進(jìn)方法來提高檢測的精確率和速度。

國內(nèi)針對(duì)霧天遙感圖像的研究也逐漸興起。周明非等［18］結(jié)合FCN［19］與CNN，提出弱監(jiān)督深度神經(jīng)網(wǎng)絡(luò)（Weakly Supervised Deep Neural Network，WS-DNN），使用弱監(jiān)督FCN融合滑窗法提取候選區(qū)域，通過預(yù)訓(xùn)練方式獲取更深的CNN模型進(jìn)行分類，提高了檢測精度。侯偉寧［20］將深度學(xué)習(xí)引入到遙感圖像去霧和艦船的目標(biāo)檢測任務(wù)上去，建立對(duì)偶式生成對(duì)抗網(wǎng)絡(luò)完成去霧，對(duì)感興趣區(qū)域采樣進(jìn)行艦船目標(biāo)檢測。汪昱東等［21］提出了一種改進(jìn)的霧天圖像行人和車輛檢測算法，在檢測網(wǎng)絡(luò)中引入霧濃度判別模塊，實(shí)現(xiàn)了行人和車輛在霧天圖像中的檢測。郭青山［22］使用Dehaze Net對(duì)圖像進(jìn)行去霧，對(duì)航拍車輛基于卷積神經(jīng)網(wǎng)絡(luò)SSD進(jìn)行了檢測。李文斌等［23］提出了基于卷積神經(jīng)網(wǎng)絡(luò)遙感圖像飛機(jī)目標(biāo)檢測模型DC-DNN，該模型具有較好的檢測性能和泛化能力。

以上研究方法存在以下不足：（1）去霧處理過程復(fù)雜、繁瑣、耗費(fèi)時(shí)間；（2）缺乏霧天環(huán)境下飛機(jī)目標(biāo)檢測的數(shù)據(jù)集，易造成過擬合和欠擬合現(xiàn)象。針對(duì)以上不足，本文利用暗通道先驗(yàn)算法復(fù)原原理對(duì)常規(guī)飛機(jī)目標(biāo)圖像進(jìn)行霧氣模擬，生成了兩種不同霧氣狀態(tài)程度的霧天圖像，建立了一個(gè)專用于霧天狀態(tài)下飛機(jī)目標(biāo)檢測的數(shù)據(jù)集，保證霧天數(shù)據(jù)充足，提高了網(wǎng)絡(luò)特征的提取質(zhì)量。為了評(píng)估霧氣模擬方法的效果，使用暗通道先驗(yàn)算法［24］和多尺度Retinex（Retina and Cortex）算法［25］進(jìn)行驗(yàn)證，觀察去霧圖像與原始圖像的區(qū)別，以此證明模擬霧氣圖像數(shù)據(jù)的可信度?；贔aster R-CNN網(wǎng)絡(luò)模型直接對(duì)霧氣圖像進(jìn)行訓(xùn)練，探究霧氣模擬數(shù)據(jù)對(duì)檢測精度的影響。

1 方法介紹

本文提出了一種結(jié)合暗通道先驗(yàn)算法和Faster R-CNN模型的霧天條件下飛機(jī)目標(biāo)檢測方法，以實(shí)現(xiàn)霧天條件下飛機(jī)目標(biāo)的檢測任務(wù)。本文整體流程如圖1所示。先使用霧氣模擬方法獲得飛機(jī)目標(biāo)霧氣模擬圖像，創(chuàng)建了霧氣圖像數(shù)據(jù)集；通過暗通道先驗(yàn)算法及多尺度Retinex算法對(duì)霧氣模擬圖像進(jìn)行去霧處理，證明霧氣模擬圖像數(shù)據(jù)的可信度；最后基于Faster R-CNN網(wǎng)絡(luò)模型對(duì)霧氣模擬圖像數(shù)據(jù)集以及未添加霧氣模擬圖像的數(shù)據(jù)集進(jìn)行訓(xùn)練，檢測霧氣模擬數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型的影響效果。

圖1 目標(biāo)檢測流程

1.1 霧氣模擬法

暗通道先驗(yàn)算法是基于圖像復(fù)原原理對(duì)遙感圖像進(jìn)行去霧預(yù)處理的。圖像復(fù)原指的是借助某些先驗(yàn)知識(shí)，使用數(shù)學(xué)公式將圖像退化過程的物理模型表示出來，恢復(fù)其原來的內(nèi)容或質(zhì)量。暗通道是指在一些區(qū)域里的一些像素會(huì)有至少一個(gè)最低值的顏色通道，這個(gè)區(qū)域內(nèi)的光強(qiáng)度值極小。暗通道的定義如下：

其中，Jc是圖像的一個(gè)顏色通道，Ω（x）表示以圖像坐標(biāo)x為中心的局部窗口（模塊）。暗通道先驗(yàn)算法的理論基礎(chǔ)是大氣散射模型［26］，國際上廣泛采用的大氣散射模型數(shù)學(xué)表達(dá)式如式（3）所示，用于描述霧霾的形成。

其中，I（x）是有霧圖像，J（x）是去霧圖像，t（x）是透射率，A是大氣光強(qiáng)度。

全局大氣光值A(chǔ)的計(jì)算，通過獲取真實(shí)霧天圖像的暗通道圖像，對(duì)圖像像素進(jìn)行統(tǒng)計(jì)，選擇像素中最亮的部分，將其與原始霧天圖像一一對(duì)應(yīng)，選取最大灰度圖的像素點(diǎn)值作為大氣光值。

大氣透射率預(yù)估值計(jì)算公式如下：

其中，w表示去霧水平的參數(shù)，本研究設(shè)置w的值為0.95［24］。

對(duì)于圖像的霧氣模擬操作，首先收集一些不同程度的真實(shí)霧天圖像，部分真實(shí)霧天圖像如圖2所示，應(yīng)用式（4）計(jì)算其透射率t～（x），假設(shè)空氣中的介質(zhì)是均勻的，則透射率t（x）取決于場景到相機(jī)的距離l（x）

圖2 真實(shí)霧天圖像

其中，β表示衰減系數(shù)，通過改變?chǔ)碌拇笮】烧{(diào)節(jié)霧氣的濃度，本文對(duì)輕霧圖像的β區(qū)間設(shè)定為0.1至0.2，濃霧圖像為0.2至0.3。隨后調(diào)整無霧圖像的全局大氣光值，范圍為150至255。由于每張圖片的像素分布均不同，設(shè)定固定的全局大氣光值，效果會(huì)較差。因此對(duì)每張圖像嘗試不同的透射率以及全局大氣光值，使用式（3）去生成兩種不同程度的霧氣狀態(tài)：輕霧和濃霧。圖3展示了霧氣模擬方法制作的一組示例圖片，其中，圖3（a）至圖3（c）分別為原始圖像、輕霧圖像和濃霧圖像。

圖3 霧氣模擬圖像

1.2 用于遙感圖像飛機(jī)目標(biāo)檢測的Faster R-CNN

Faster R-CNN目標(biāo)檢測算法，不再使用傳統(tǒng)的滑動(dòng)窗口和selective search算法，而是直接使用RPN（Region Proposal Network）生成檢驗(yàn)框，對(duì)于檢驗(yàn)框的生成速度做了極大提升。近幾年國內(nèi)外學(xué)者常用的目標(biāo)檢測算法的識(shí)別時(shí)間以及平均精確率趨勢，對(duì)比結(jié)果如圖4所示，其橫軸表示識(shí)別時(shí)間，縱軸MAP表示每個(gè)類的AP（Average Precision）值的平均值。為了驗(yàn)證霧氣模擬圖像的加入對(duì)檢測結(jié)果的影響，本文選取了常用的Faster R-CNN目標(biāo)檢測算法進(jìn)行檢測驗(yàn)證，F(xiàn)aster R-CNN具體結(jié)構(gòu)如圖5所示。

圖4 各算法MAP和識(shí)別時(shí)間

圖5 Faster R-CNN結(jié)構(gòu)

對(duì)于訓(xùn)練網(wǎng)絡(luò)的選取，由于本文目前旨在研究霧氣模擬圖像的加入對(duì)檢測結(jié)果的影響，因此本文選取經(jīng)典的VGG-16網(wǎng)絡(luò)，后續(xù)研究會(huì)著重對(duì)特征提取網(wǎng)絡(luò)做出對(duì)比優(yōu)化。本文使用VGG-16網(wǎng)絡(luò)的3個(gè)全連接層和13個(gè)卷積層，圖像特征提取放在卷積層和池化層，分類放在全連接層。此VGG-16模型具有網(wǎng)絡(luò)層數(shù)多、特征提取效果佳、分類效果好的特點(diǎn)，能夠較好地完成遙感圖像中的分類任務(wù)。該網(wǎng)絡(luò)結(jié)構(gòu)表示為C-C-P-C-C-P-C-C-C-P-C-C-C-P-CC-C-P-FC-FC-Dr-FC，其中C、P、Dr、FC分別代表卷積層、池化層、刪除層和全連接層。其詳細(xì)各層參數(shù)見表1，結(jié)構(gòu)圖如圖6所示。

表1 VGG-16網(wǎng)絡(luò)參數(shù)

圖6 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)

2 實(shí)驗(yàn)驗(yàn)證

2.1 數(shù)據(jù)集

本文采用國內(nèi)兩所大學(xué)分別收集的數(shù)據(jù)集（西北工業(yè)大學(xué)收集的NWPU VHR-10［27］數(shù)據(jù)集和武漢大學(xué)團(tuán)隊(duì)制作的RSOD-Dataset［28］數(shù)據(jù)集），從兩個(gè)數(shù)據(jù)集中隨機(jī)選取500張飛機(jī)目標(biāo)圖像作為數(shù)據(jù)集的一部分。

對(duì)于網(wǎng)絡(luò)模型性能的檢測，使用了兩個(gè)不同的數(shù)據(jù)集。

（1）數(shù)據(jù)集1：對(duì)500張?jiān)紙D像（未添加霧氣模擬的圖像）旋轉(zhuǎn)三次，每次90°，一共得到了2 000張不同角度的圖像（0°，90°，180°和270°）。隨后使用隨機(jī)裁剪的方式擴(kuò)展1 000張圖像。數(shù)據(jù)集1一共有3 000張圖片。

（2）數(shù)據(jù)集2：該數(shù)據(jù)集擁有1 000張1.1節(jié)方法制作的霧氣模擬圖像和2 000張不同角度的原始圖像（與數(shù)據(jù)集1的角度分布相同）。

為了降低誤檢測率、誤識(shí)別率，提高網(wǎng)絡(luò)模型的泛化能力，對(duì)每個(gè)數(shù)據(jù)集擴(kuò)充了3 000張均采集于機(jī)場背景地面負(fù)樣本。本文數(shù)據(jù)集按照7∶3的比例劃分，隨機(jī)抽取4 200張圖像作為訓(xùn)練數(shù)據(jù)，1 800張圖片作為測試數(shù)據(jù)。

數(shù)據(jù)集2相對(duì)于數(shù)據(jù)集1增加了霧氣模擬方法制作的飛機(jī)目標(biāo)霧氣模擬圖像，保證了網(wǎng)絡(luò)模型對(duì)于霧氣狀態(tài)下飛機(jī)目標(biāo)的訓(xùn)練數(shù)據(jù)充足，可提高Faster R-CNN網(wǎng)絡(luò)特征的提取質(zhì)量，使得網(wǎng)絡(luò)對(duì)飛機(jī)目標(biāo)霧氣圖像有更好的訓(xùn)練，有益于提升霧天飛機(jī)目標(biāo)的檢測識(shí)別效果。

為了證實(shí)所提霧氣模擬方法的有效性，采用暗通道先驗(yàn)算法和多尺度Retinex算法兩種不同的去霧算法對(duì)霧氣模擬圖像進(jìn)行去霧，把去霧后的圖像與原始圖像進(jìn)行對(duì)比驗(yàn)證。圖7是使用暗通道先驗(yàn)算法去霧的驗(yàn)證對(duì)比結(jié)果。由于本文使用暗通道先驗(yàn)算法圖像復(fù)原原理模擬霧氣，因此再次使用該算法進(jìn)行去霧時(shí)，發(fā)現(xiàn)去霧圖像和原始圖像僅存在亮度區(qū)別，亮度不同則是由于修改了原始圖像的全局大氣光值導(dǎo)致。圖8展示了使用多尺度Retinex算法的驗(yàn)證對(duì)比結(jié)果，顯示去霧圖像與原始圖像無差別。通過兩種算法將去霧后的模擬圖像和真實(shí)圖像對(duì)比驗(yàn)證后發(fā)現(xiàn)效果一致，證明了飛機(jī)目標(biāo)霧氣模擬生成結(jié)果的可信度。

圖7 暗通道先驗(yàn)算法對(duì)比結(jié)果

圖8 多尺度Retinex算法對(duì)比結(jié)果

2.2 Faster R-CNN檢測

對(duì)比目前常用的目標(biāo)檢測方法，發(fā)現(xiàn)Faster R-CNN的平均精確率優(yōu)于其他算法，且Faster RCNN將特征提取、proposal提取、Bounding Box Regression、Classification整合到了一個(gè)網(wǎng)絡(luò)中，提升了目標(biāo)檢測速度，其檢測精度較高，更適合本文研究。因此，本文基于1.2節(jié)所提的Faster RCNN檢測框架進(jìn)行檢測，觀測所提數(shù)據(jù)集的創(chuàng)建對(duì)不同霧氣濃度環(huán)境下飛機(jī)目標(biāo)檢測精度的提升效果。

圖9、10分別展示了數(shù)據(jù)集1原始圖像正確的檢測結(jié)果和霧天圖像錯(cuò)誤的檢測結(jié)果；圖10中的前4張圖片均為錯(cuò)誤的目標(biāo)也就是誤報(bào)，其中有十字形狀的物體、機(jī)場連廊等目標(biāo)，這些目標(biāo)均在一定程度上與飛機(jī)的某個(gè)部位形狀相似。后兩張圖片目標(biāo)正確，但是預(yù)測框與真實(shí)目標(biāo)大小不符，因此也標(biāo)記為錯(cuò)誤。

圖9 數(shù)據(jù)集1部分原始圖像正確檢測結(jié)果

圖10 數(shù)據(jù)集1霧天圖像的誤檢效果

本文網(wǎng)絡(luò)模型在對(duì)新建立的專用于霧天狀態(tài)下飛機(jī)目標(biāo)檢測的數(shù)據(jù)集訓(xùn)練檢測時(shí)，直接對(duì)霧天圖像進(jìn)行了訓(xùn)練，摒棄了以往霧天條件下目標(biāo)檢測復(fù)雜、繁瑣、耗費(fèi)時(shí)間的去霧處理過程，有效優(yōu)化了霧天狀態(tài)下飛機(jī)目標(biāo)難以檢測的問題。

在測試數(shù)據(jù)不變的情況下，數(shù)據(jù)集1訓(xùn)練的網(wǎng)絡(luò)檢測誤報(bào)的霧天圖像在數(shù)據(jù)集2訓(xùn)練的網(wǎng)絡(luò)中的檢測結(jié)果如圖11所示，未存在誤檢、誤報(bào)情況。由于數(shù)據(jù)集2加入了霧天模擬圖像，F(xiàn)aster R-CNN檢測網(wǎng)絡(luò)對(duì)霧天圖像做了更深刻的學(xué)習(xí)訓(xùn)練，有效減少了對(duì)于霧天環(huán)境下飛機(jī)目標(biāo)誤報(bào)、漏報(bào)的情況。數(shù)據(jù)集2在對(duì)于霧天圖像飛機(jī)目標(biāo)檢測方面有較大提升。

圖11 數(shù)據(jù)集2霧天圖像檢測結(jié)果

2.3 檢測結(jié)果分析

為了評(píng)估網(wǎng)絡(luò)的訓(xùn)練效果，本文從檢測精度角度考慮，使用VOC2017的評(píng)價(jià)標(biāo)準(zhǔn)，評(píng)估參數(shù)如表2所示。

表2 評(píng)估參數(shù)

精確率表示的是預(yù)測結(jié)果的檢測中真正是檢測目標(biāo)的比例，它表示的是在對(duì)目標(biāo)類別的判定能力上檢測模型的表現(xiàn)。精確率計(jì)算公式為

召回率表示的是包含目標(biāo)的圖像成功被檢測出來的比例，它是對(duì)檢測識(shí)別目標(biāo)在檢測模型上檢測能力的衡量，召回率計(jì)算公式為

平均精確率計(jì)算公式則為

本文對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練檢測來分別計(jì)算其平均精確率，結(jié)果如表3所示。

表3 平均精確率結(jié)果 %

表3中數(shù)據(jù)集1對(duì)原始圖像的檢測平均精確率為83.4%，輕霧狀態(tài)時(shí)仍然有52.7%的平均精確率，在濃霧時(shí)為28.9%。數(shù)據(jù)集2比數(shù)據(jù)集1多了霧天模擬圖像，因此對(duì)霧天圖像的識(shí)別性能更為優(yōu)秀，在輕霧時(shí)檢測平均精確率從52.7%提高到了57.9%，濃霧時(shí)則從28.9%提高到了32.4%。由于數(shù)據(jù)集2的常規(guī)圖像數(shù)量較少（僅有2 000張，而數(shù)據(jù)集1有3 000張），因此對(duì)常規(guī)圖像的識(shí)別性能則略有下降。

3 結(jié)束語

本文解決了霧天飛機(jī)目標(biāo)遙感圖像數(shù)據(jù)不足、去霧處理復(fù)雜繁瑣的問題，使用暗通道先驗(yàn)算法對(duì)常規(guī)飛機(jī)目標(biāo)遙感圖像進(jìn)行霧氣生成，創(chuàng)建了霧天遙感圖像數(shù)據(jù)集。通過提取不同程度的模擬霧天圖像，使用兩種去霧算法去霧后，模擬圖像并未出現(xiàn)失真等問題。模擬圖像去霧后和原始圖像沒有差別，證實(shí)了霧天模擬數(shù)據(jù)集的可信度。

基于Faster R-CNN檢測實(shí)驗(yàn)結(jié)果顯示霧天模擬圖像數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)提高了對(duì)于霧天圖像的識(shí)別性能。輕霧圖像的平均識(shí)別精確率提高5.2%，濃霧圖像提高3.5%。該數(shù)據(jù)集創(chuàng)建方法可用于飛機(jī)目標(biāo)遙感圖像去霧領(lǐng)域及霧天遙感圖像飛機(jī)目標(biāo)檢測更深層次的研究。本文研究的目標(biāo)類別只有飛機(jī)一種且僅使用Faster R-CNN檢測算法驗(yàn)證數(shù)據(jù)集的可信度，后續(xù)的工作會(huì)增加目標(biāo)物的類別，使用多種改進(jìn)目標(biāo)檢測模型算法，對(duì)目標(biāo)檢測速度及精度做出提升，使其可應(yīng)用于日常生活中霧天目標(biāo)的檢測。