余東行，張 寧，張保明，郭海濤，盧 俊

(1. 信息工程大學，河南 鄭州 450001; 2. 中國衛(wèi)星導航定位應(yīng)用管理中心，北京 100088)

機場作為國民經(jīng)濟的交通樞紐和軍事斗爭中重點打擊的戰(zhàn)略目標，實現(xiàn)遙感影像上機場和跑道的自動檢測和識別對于輔助飛機起降和空中交通管制、提高精確制導武器的打擊效果等方面都具有重要的現(xiàn)實意義。

機場目標在遙感影像上具有顯著共性特征：①長直性的跑道和滑行道；②水泥和瀝青等構(gòu)成的地面及建筑具有較高影像灰度值；③位置通常遠離城區(qū)，周邊大多為農(nóng)田、植被和稀疏的居民地，具有視覺顯著性特征?；谏鲜鎏卣?，機場檢測方法主要可分為三類：利用邊緣和直線特征檢測機場[1-4]、利用顯著性檢測與圖像分割算法提取較大的機場連通區(qū)域[5-9]和利用機器學習的方法識別機場[10-14]。利用邊緣和直線特征簡單直觀，但受影像質(zhì)量的影響，通常難以獲得穩(wěn)定可靠且連續(xù)性較強的直線，直線檢測的有效性與直線組的平行性判斷易受田壟和河流等影響，檢測耗時且精度低。視覺顯著性特征依賴于圖像上具有明顯的視覺顯著性區(qū)域，但這些方法極易受城區(qū)、山脈等其他同樣具有顯著特點的地物影響，虛警率高、通用性較差。文獻[10—11]將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)應(yīng)用于遙感影像的機場檢測與識別任務(wù)中，大大提高檢測的速度和精度，但由于機場具有多方向性，機場檢測的精度仍有進一步提升的空間。針對上述問題，利用卷積神經(jīng)網(wǎng)絡(luò)在目標檢測上的優(yōu)勢與機場在影像上的視覺顯著性特征，本文設(shè)計一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與顯著性特征的機場目標檢測算法，可實現(xiàn)機場的快速高精度檢測。

1 基于YOLO的目標檢測

YOLO[15]將目標檢測視為回歸問題，從而實現(xiàn)端對端的實時目標檢測。在訓練過程中，將圖像劃分若干網(wǎng)格(S×S，如圖1所示)，利用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測每一個網(wǎng)格是否存在目標的中心點以及該目標的類別置信度和邊界框，最后利用非極大值抑制的策略對所有邊界框進行篩選和合并，得到檢測結(jié)果。

YOLO模型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計如圖2所示，包含卷積層和全連接層，根據(jù)其功能可分為特征提取層和分類定位層兩部分。特征提取層由卷積層和池化層組成， 用于提取圖像的特征。分類定位層由全連接層組成，輸出大小為7×7的格網(wǎng)，用于預(yù)測目標的位置和類別概率。每個格網(wǎng)預(yù)測B個邊界框和C個類別的概率，每個邊界框包含5個預(yù)測值：邊界框的中心點坐標(x,y)、大小(w,h)和置信度(confidence)。置信度包含預(yù)測邊界框是否含有目標以及邊界框與實際位置的偏差。

YOLO算法采用損失函數(shù)為

(1)

YOLO對小目標的檢測能力較差，YOLOv2[16]和YOLOv3[17]算法在YOLO算法的基礎(chǔ)上進行了改進，提高了其精度和效率：去掉YOLO中的全連接層和最后的池化層，將格網(wǎng)劃分的數(shù)量從7×7增加到13×13，卷積神經(jīng)網(wǎng)絡(luò)模型采取殘差網(wǎng)絡(luò)等，增強了對小目標的檢測能力。

2 顯著性檢測

分析機場的空間分布及其在影像上的特征可知，在其周邊局部范圍內(nèi)，機場區(qū)域的面積較大，且具有較高的灰度值和明顯的邊界，這些特征具有視覺的顯著性。在卷積神經(jīng)網(wǎng)絡(luò)快速獲取機場范圍的基礎(chǔ)上，本文采取頻率域視覺顯著性分析方法[18]來獲取機場的顯著性區(qū)域。

圖像的頻率域信息可由傅里葉變換得到，f(x,y)表示一幅大小為M×N的圖像，其傅里葉變換為

(2)

式中，u=0,1,2,…,M,v=0,1,2,…,N。令R(u,v)和I(u,v)分別表示F(u,v)的實部和虛部，則圖像的頻譜為

|F(u,v)|=[R2(u,v)+I2(u,v)]1/2

(3)

F(u,v)=arctan[I(u,v)/R(u,v)]

(4)

F(u,v)=|F(u,v)|ejF(u,v)

(5)

式中,|F(u,v)|為振幅譜;Φ(u,v)為相位譜。圖像的相位譜保留了圖像中重要的顯著性信息，為了獲取圖像中較大的顯著目標、突出目標整體顯著性區(qū)域和邊界范圍，需要保留頻率域中的高頻信息；由于影像中的高頻信息還包含噪聲、紋理等干擾因素，需要截去一定的高頻信息，因此采用不同標準差(s1和s2，且s1>s2)高斯濾波器G進行差分

G(x,y,s1)-G(x,y,s2)

(6)

將多個差分結(jié)果相組合，從而大大提高顯著性檢測的效果。當采用的高斯方差成一定比例時，即s1/s2=r>1，s2=r，K個高斯差分的組合可表示為

G(x,y,rKs)-G(x,y,s)

(7)

當rKs為無窮大時，對圖像的高斯濾波即為計算整幅圖像的均值(Iu)；s值較小時，可以濾去部分噪聲，最終顯著性檢測的結(jié)果可表示為

S(x,y)=‖Iu-Is(x,y)‖

(8)

顯著性檢測的流程如下：

(1) 將影像進行高斯濾波以除去部分噪聲，將RGB通道的影像轉(zhuǎn)換到Lab顏色空間。

(3) 顯著性檢測結(jié)果為

(9)

3 機場檢測方法

目標檢測算法通常采用邊界框來描述所檢測到的目標，如圖3(a)所示。為了更精確地檢測機場目標，需要采用最小矩形邊界框來描述，如圖3 (b)所示。本文采取自上而下的檢測方式：利用卷積神經(jīng)網(wǎng)絡(luò)在目標檢測上的速度和精度優(yōu)勢，用于檢測機場的整體區(qū)域，在興趣區(qū)域內(nèi)利用機場在影像上所呈現(xiàn)的視覺顯著性特征，進而獲取更精確的機場位置，流程如圖4所示。因此本文算法步驟如下：

(1) 機場區(qū)域檢測：采集少量機場影像作為訓練數(shù)據(jù)，基于遷移學習的思想，對經(jīng)過自然影像數(shù)據(jù)集上訓練好的YOLOv3模型進行微調(diào)，用于機場的興趣區(qū)域提取。

(2) 顯著性檢測：利用基于頻率域分析的顯著性檢測方法計算所獲取興趣區(qū)域的顯著圖。

(3) 圖像分割和連通區(qū)提?。豪么蠼蚍指罘?Otsu)確定顯著圖的分割閾值，對分割后的圖像進行閉運算，填充圖像分割后產(chǎn)生的空洞，連接相近的碎片，擴大圖像分割后產(chǎn)生的連通區(qū)，對所有連通區(qū)進行標記，保留面積最大3個連通區(qū)。

(4) 機場位置確定：雖然利用卷積神經(jīng)網(wǎng)絡(luò)可以有效提取機場的整體范圍，但同時少數(shù)機場(的機場、瀝青材質(zhì)的跑道等)在影像上不具有視覺顯著性特征(如圖5所示)，難以提取機場的準確輪廓。因此，對興趣區(qū)域的連通區(qū)提取結(jié)果進行重心判斷，若該連通區(qū)的重心不在興趣區(qū)域的中心，則保留原始興趣區(qū)域的邊界；否則，輸出該連通區(qū)的邊界作為優(yōu)化后的機場邊界。

4 試驗結(jié)果分析

4.1 試驗數(shù)據(jù)與訓練

試驗采用264幅衛(wèi)星影像，空間分辨率約20 m，影像大小從500×500到2000×2000之間不等，其中100張影像用于訓練，164張影像用于測試。所選取影像涵蓋了不同地區(qū)、不同種類、不同形狀的機場目標，圖6給出部分機場實例。試驗使用深度學習環(huán)境為Tensorflow，所用的硬件配置為GTX1080Ti(顯存10 GB)，Intel酷睿8核處理器(主頻3.8 GHz，內(nèi)存64 GB)。由于所采集的數(shù)據(jù)不足以訓練一個完整的深層卷積神經(jīng)網(wǎng)絡(luò)，因此訓練采取遷移學習的方式，對COCO數(shù)據(jù)集下的Darknet-53的預(yù)訓練權(quán)重進行微調(diào)，并以聚類的方式獲取機場的先驗尺寸。

4.2 機場檢測結(jié)果對比

采用文獻[6]、FRCNN[19]、YOLOv2、RetinaNet[20]以及本文所采取的YOLOv3算法對測試集164張影像進行檢測，不同閾值T的檢測結(jié)果統(tǒng)計及用時見表1—表3(概率大于T的目標則認為是機場，文獻[6]僅采用視覺顯著性特征檢測機場，閾值T對其無影響)。

表1 機場檢測個數(shù)統(tǒng)計(閾值T=0.3)

表2 機場檢測結(jié)果統(tǒng)計(閾值T=0.7)

表3 平均每張影像檢測用時

從表1—表3統(tǒng)計結(jié)果可以看出，文獻[6]采用基于頻率域的視覺顯著性特征來檢測機場，具有較高的虛警率和漏檢率，且耗時長；將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于遙感影像的機場目標檢測任務(wù)中，顯著提高了機場識別的精度和效率。圖7為不同方法的檢測效果，測試影像涵蓋了多種場景：郊區(qū)機場、城區(qū)機場、瀕海岸機場以及特征不明顯的山地機場。位于郊區(qū)的機場周邊地物以植被為主，具有較強的視覺顯著性特征，易于檢測和識別，但同時受到道路、河道、田壟以及城鎮(zhèn)居民區(qū)的干擾；位于城區(qū)的機場影像上道路縱橫交錯、紋理較為復雜，機場灰度和對比度較弱；沿岸和島嶼上的機場受海岸線和突出的島嶼影響較大；位于山地(沙漠)的機場通常視覺特征較弱，也最難以檢測。

從機場的影像特征可以發(fā)現(xiàn)，機場的形狀多樣，僅靠跑道的直線特征通常難以做到準確檢測和識別。從不同方法在影像上機場的定位效果上看，利用機場的顯著性特征顏色和灰度特征來識別機場目標，缺乏有效的機場識別方法，難以有效排除同樣具有視覺顯著特征的非機場地物，虛警率和漏檢率較高。在機場周邊存在更為顯著的目標時，將極大地干擾機場檢測的效果。利用卷積神經(jīng)網(wǎng)絡(luò)對機場檢測，不依賴于直線特征和視覺顯著性特征，能夠有效應(yīng)對多種類型和復雜成像質(zhì)量下的機場檢測，穩(wěn)健性強。在眾多基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測算法中，F(xiàn)RCNN、RetinaNet和YOLOv3算法均具有較高的準確率，對多種類型的機場目標均能做到有效檢測和識別。但Faster R-CNN虛警率較高，這些誤識別為機場的地物主要為與機場跑道在顏色和形狀上相近的公路和海岸線等，同時FRCNN檢測速度較慢。YOLOv2算法檢測速度雖然較快，但準確性較差，漏檢率較大。RetinaNet和本文采取的YOLOv3對于各種類型的機場都可以較好地進行檢測，穩(wěn)健性較好，檢測的精度較高，其中YOLO3具有絕對的速度優(yōu)勢。

4.3 機場檢測優(yōu)化結(jié)果

利用YOLOv3算法可以準確快速地獲取機場整體范圍，對興趣區(qū)域的顯著性檢測決定了機場的精確位置，機場檢測的優(yōu)化結(jié)果如圖8和圖9所示。對興趣區(qū)域進行簡單的分割(Otsu分割法)，對大型機場效果較好，但當機場的范圍較小時，周圍地物(建筑物、裸地、植被等)將極大地干擾機場的分割結(jié)果，難以獲取機場的準確位置，本文所采取的顯著性檢測方法，能夠有效過濾機場跑道周邊地物的干擾，提高機場邊界和機場跑道的精確度。

5 結(jié) 論

本文提出了一種結(jié)合視覺顯著性特征的機場檢測算法，利用深層卷積神經(jīng)網(wǎng)絡(luò)快速提取機場目標，避免了傳統(tǒng)方法采用人工設(shè)計特征泛化性差的問題，同時結(jié)合機場在影像上所呈現(xiàn)的視覺顯著性特征獲取更加精確的機場邊界位置，實現(xiàn)了遙感影像上機場目標的快速高精度檢測。從試驗結(jié)果和分析來看，在遙感影像的機場檢測和識別問題中，相對于其他方法，YOLOv3算法不僅具有較好的識別效果，而且具有較強的穩(wěn)健性，能夠有效應(yīng)對復雜場景下的多種機場目標，在檢測精度和速度上具有明顯的優(yōu)勢。然而，這些優(yōu)勢主要依賴于具有高性能計算能力的硬件設(shè)備和訓練數(shù)據(jù)，如何在可移動設(shè)備上兼顧較高的識別精度和理想的實時性，實現(xiàn)多尺度影像上的機場檢測和識別，是進一步研究的問題。