常鵬飛，段云龍

(中國電子科技集團(tuán)公司第二十七研究所，河南 鄭州 450047)

0 引言

隨著衛(wèi)星遙感技術(shù)及計(jì)算機(jī)視覺技術(shù)的發(fā)展和應(yīng)用，遙感圖像中的目標(biāo)檢測成為研究的熱點(diǎn)[1-2]。利用遙感圖像高效快速地檢測出飛機(jī)等典型的高價(jià)值目標(biāo)在模式識別、偵察探測等領(lǐng)域具有很高的應(yīng)用價(jià)值，同時(shí)也是遙感智能處理領(lǐng)域的重點(diǎn)研究問題。

多年來，國內(nèi)外許多學(xué)者對遙感圖像中飛機(jī)檢測技術(shù)進(jìn)行了廣泛而深入的研究，取得了一定的成果。Guang Shu利用顏色、紋理和亮度等低層特征構(gòu)建顯著圖實(shí)現(xiàn)飛機(jī)粗定位，訓(xùn)練AdaBoost級聯(lián)分類器，提取harr特征實(shí)現(xiàn)目標(biāo)檢測[3]；李新德等人提出了利用DSmT進(jìn)行多特征融合后用PNN進(jìn)行分類的飛機(jī)目標(biāo)識別方法[4]；蔡紅蘋等人提出了一種基于目標(biāo)輪廓與灰度特征的圓周頻率濾波法來實(shí)現(xiàn)飛機(jī)目標(biāo)的檢測[5]。雖然上述傳統(tǒng)算法在一定程度上解決了遙感圖像中飛機(jī)目標(biāo)檢測的問題，但是這些傳統(tǒng)算法依然存在特征難以設(shè)計(jì)選取、處理過程繁雜、識別精度低以及泛化能力差等不足。

近年來，隨著深度學(xué)習(xí)方法的異軍突起，基于深度學(xué)習(xí)的方法在推薦系統(tǒng)、智慧城市和計(jì)算機(jī)視覺等領(lǐng)域取得了令人矚目的成績，成為學(xué)術(shù)界和工業(yè)界研究的熱點(diǎn)[6-8]。同時(shí)，深度學(xué)習(xí)方法在推動自然場景圖像目標(biāo)檢測技術(shù)的發(fā)展過程中起到了重要作用。與傳統(tǒng)方法相比，深度學(xué)習(xí)方法是一種端到端模型結(jié)構(gòu)，可以學(xué)習(xí)到更豐富的語義信息和高層次的圖像特征表征，免去了以往繁瑣的數(shù)據(jù)預(yù)處理、特征提取和參數(shù)調(diào)優(yōu)等過程，同時(shí)能較好地免除復(fù)雜背景的干擾，提高檢測精度，具有較強(qiáng)的魯棒性和泛化能力。與R-CNN[9]，SPP[10]，F(xiàn)ast R-CNN[11]等其他基于目標(biāo)候選區(qū)的目標(biāo)檢測深度卷積神經(jīng)網(wǎng)絡(luò)模型相比，F(xiàn)aster R-CNN模型[12]在目標(biāo)檢測精度和檢測速度上具有明顯優(yōu)勢。2015年，F(xiàn)aster R-CNN模型在COCO目標(biāo)檢測比賽中取得第一名的優(yōu)異成績，并且在PASCAL VOC 2007和PASCAL VOC 2012上也有十分突出的表現(xiàn)。Faster R-CNN是目前最準(zhǔn)確、快速的目標(biāo)檢測模型之一。

雖然深度卷積神經(jīng)網(wǎng)絡(luò)模型Faster R-CNN在自然場景圖像目標(biāo)檢測任務(wù)中取得了優(yōu)異的表現(xiàn)，但是由于缺乏公開且成熟的專門針對遙感圖像飛機(jī)目標(biāo)檢測的數(shù)據(jù)集，導(dǎo)致將Faster R-CNN模型用于遙感圖像飛機(jī)目標(biāo)檢測的應(yīng)用研究相對較少。鑒于此，本文構(gòu)建了全新的遙感圖像飛機(jī)目標(biāo)檢測數(shù)據(jù)集Airplane-2018，并基于該數(shù)據(jù)集進(jìn)行FasterR-CNN模型的遷移學(xué)習(xí)訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，該方案可以較好地適應(yīng)遙感圖像飛機(jī)目標(biāo)檢測的應(yīng)用研究。

1 Faster R-CNN模型

R-CNN和Fast R-CNN等基于目標(biāo)候選區(qū)的目標(biāo)檢測模型中，目標(biāo)候選區(qū)提取步驟獨(dú)立于整個(gè)深度網(wǎng)絡(luò)單獨(dú)存在，且難以融入GPU運(yùn)算，成為限制檢測速度的瓶頸。針對以上問題，Shaoqing Ren等人提出了Faster R-CNN模型，該算法引入?yún)^(qū)域生成網(wǎng)絡(luò)(Region Proposal Networks，RPN)來進(jìn)行目標(biāo)候選區(qū)的提取。

Faster R-CNN模型主要由2個(gè)模塊組成：RPN候選區(qū)生成模塊和Fast R-CNN檢測模塊，如圖1所示。具體又可以細(xì)分為4個(gè)單元：卷積層單元、區(qū)域生成網(wǎng)絡(luò)單元、RoI池化單元以及分類和回歸單元。

① 卷積層單元：包括一系列卷積和池化操作，用于提取圖像的特征，卷積層單元的權(quán)值參數(shù)為RPN候選區(qū)生成模塊和Fast R-CNN檢測模塊共享；

② 區(qū)域生成網(wǎng)絡(luò)單元：生成目標(biāo)候選區(qū)，用于后續(xù)的目標(biāo)檢測與識別；

③ RoI池化單元：綜合卷積層特征和目標(biāo)候選區(qū)的信息，將目標(biāo)候選區(qū)在輸入圖像中的坐標(biāo)映射到最后一層特征中，對特征圖中對應(yīng)區(qū)域進(jìn)行池化操作，得到固定大小的池化結(jié)果；

④ 分類和回歸單元：用于判斷目標(biāo)候選區(qū)的類別并預(yù)測其準(zhǔn)確位置。

圖1 Faster R-CNN模型框架

Faster R-CNN模型將目標(biāo)候選區(qū)的提取、深度特征提取、目標(biāo)檢測和識別過程都融入到一個(gè)端到端的深度網(wǎng)絡(luò)模型中。所有的過程都可以在GPU中運(yùn)行，從而在不降低檢測精度的情況下，大大提高了檢測速度。

2 微調(diào)預(yù)訓(xùn)練模型

2.1 Airplane-2018數(shù)據(jù)集

在遙感圖像飛機(jī)目標(biāo)檢測的應(yīng)用研究方面，目前缺乏公開且成熟的專門針對遙感圖像飛機(jī)目標(biāo)檢測的數(shù)據(jù)集。因此，本文構(gòu)建了遙感圖像飛機(jī)目標(biāo)檢測數(shù)據(jù)集Airplane-2018。Airplane-2018數(shù)據(jù)集從Google Earth上人工截取不同國家機(jī)場的衛(wèi)星圖像，如圖2所示。每幅影像大小在66×51個(gè)像素到 3 072×2 480個(gè)像素之間，分辨率在0.3～2 m之間。數(shù)據(jù)集構(gòu)建過程中，為了增加數(shù)據(jù)集的多樣性和適用性，盡量采集了來自不同傳感器，且在不同時(shí)間、不同季節(jié)、不同光照強(qiáng)度和不同成像視角的圖像。

圖2 機(jī)場圖像截取

深度學(xué)習(xí)訓(xùn)練過程中，為了防止過擬合現(xiàn)象，需要進(jìn)行數(shù)據(jù)擴(kuò)充[13]操作。常見的幾種數(shù)據(jù)擴(kuò)充方式有隨機(jī)裁剪、旋轉(zhuǎn)變化及色彩抖動等，過程如圖3所示。經(jīng)過數(shù)據(jù)擴(kuò)充，獲得數(shù)據(jù)集共計(jì)3 410幅圖像，15 056個(gè)飛機(jī)樣本。Airplane-2018數(shù)據(jù)集部分圖像樣例如圖4所示。由圖4中可以看出，數(shù)據(jù)集Airplane-2018數(shù)據(jù)集中圖像場景較為復(fù)雜，飛機(jī)目標(biāo)在整幅圖像中所占比例小，且圖中含有大量背景目標(biāo)，如跑道、機(jī)庫和登機(jī)樓等。

圖3 數(shù)據(jù)擴(kuò)充

圖4 Airplane-2018數(shù)據(jù)集部分圖像樣例

本文使用開源軟件LabelImg對圖像中的飛機(jī)目標(biāo)人工進(jìn)行標(biāo)注，使用矩形框框選飛機(jī)目標(biāo)，生成的標(biāo)注信息自動保存在XML文件中，如圖5所示。

圖5 飛機(jī)目標(biāo)區(qū)域信息標(biāo)簽提取

標(biāo)注信息中最重要的是、和