郭曉靜，李 欣，隋昊達

(1.中國民航大學 電子信息與自動化學院，天津 300300；2.中國民航大學 計算機科學與技術學院，天津 300300)

0 引 言

起降階段飛機目標的識別跟蹤，可以輔助塔臺進行起降監(jiān)控決策，更好地監(jiān)控機場狀態(tài)[1]。傳統(tǒng)的目標識別算法利用決策分類分析飛機目標的特征[2]，進而實現(xiàn)飛機目標的識別，但效果受背景影響較大。

目前基于深度學習的目標識別算法識別效果較好，被廣泛應用。如杜聰[3]采用基于不變矩的傅里葉描述子和多邊形近似的方法進行特征提取，對比構建的模板特征庫中的紅外圖像飛機特征，進行識別跟蹤，但準確率依賴于選取的模板特征的好壞；黃蓉蓉[4]將SSD[5]算法應用于軍用飛機的識別檢測中，但模型缺少泛化性；郭進祥等[6]利用YOLOv3[7-9]算法對機場場面飛機進行識別，實現(xiàn)遮擋情況下的飛機的識別，但對部分飛機的識別精度不高；孫振華等[10]提出了多標簽卷積神經網絡實現(xiàn)對飛機的精確識別，但是增加了網絡的計算復雜度；衣世東[11]采用MobileNet改進SSD，與Faster R-CNN[12]結合實現(xiàn)對飛機的快速精準識別，但是模型過于龐大。

針對前述方法的不足，尤其是避免特征選取對識別精度的影響，本文提出改進YOLOv4[13]的飛機目標識別算法，選擇飛機以及飛機垂尾的航空公司標志作為識別對象，用MobileNetv3[14]改進YOLOv4結構，通過深度可分離卷積代替?zhèn)鹘y(tǒng)卷積，減少模型的參數量，提高模型的檢測速度。此外，利用基于馬爾科夫鏈蒙特卡洛采樣的K-means++聚類算法[15,16]對飛機數據集進行重新聚類，獲得更加合理的目標先驗框，提高模型的識別精度，降低參數減少造成的精度損失，實現(xiàn)飛機目標的快速精準識別。

1 相關算法

1.1 YOLOv4目標識別算法

YOLOv4(you only look once v4)在目標識別方面具有多尺度檢測優(yōu)勢。其算法結構包含特征提取、特征增強以及識別輸出3部分，如圖1所示。其特征提取網絡是CSPDarknet-53結構，在YOLOv3的基礎上引入了CSPNet結構，對引入的殘差網絡進行融合；通過SPPNet增大感受野，分離出最顯著的上下文特征；然后利用PANet改進特征金字塔的特征提取方式，輸出13×13，26×26，52×52這3個尺度的特征圖，分別對應識別圖像的深層、中層、淺層的特征；最后根據學習到的不同層次的特征信息進行識別。

圖1 YOLOv4網絡結構

YOLOv4算法包含3個不同尺度的特征圖，每一尺度對應3個先驗框，先驗框的尺寸由數據集決定，初始的先驗框尺寸是通過K-means聚類算法在COCO數據集上進行聚類，在13×13，26×26，52×52這3個尺度上得到9個不同寬高的先驗框，由此可得到輸入圖像中不同尺度上的目標特征信息，提高算法對目標對象的識別精度。但針對本文所研究的飛機目標識別，部分先驗框不適用，需要對聚類中心進行重新計算，獲得與飛機數據集相對應的先驗框尺寸。

采用YOLOv4做目標特征提取，獲得的信息更加豐富，且可利用數據在線增強擴充圖像信息，降低數據的內存占用，使得模型訓練更加合理高效。

1.2 MobileNetv3輕量型網絡

MobileNet是基于深度可分離卷積的輕量型神經網絡模型。該結構是通過深度卷積和逐點卷積這兩部分的操作大幅降低模型的計算量。假設輸入圖像的特征映射為 (DF,DF,M), 卷積核為 (DK,DK)， 輸出的映射為 (DF,DF,N)， 即對應的標準卷積計算量(floating point of operation，F(xiàn)LOPs)如式(1)所示

FLOPs1=DK·DK·M·N·DF·DF

(1)

將標準卷積分解為深度卷積(如圖2所示)和逐點卷積(如圖3所示)。深度卷積為 (DK,DK,1,M)， 輸出特征映射尺寸為 (DF,DF,M)， 逐點卷積為 (1,1,M,N)， 輸出映射尺寸為 (DF,DF,N)。 即對應的計算量FLOPs2如式(2)所示

FLOPs2=DK·DK·M·DF·DF+
M·N·DF·DF

(2)

圖2 深度卷積

圖3 逐點卷積

(3)

除了采用深度可分離卷積外，MobileNet在損失函數方面也先后采用了Relu損失函數和swish損失函數。Relu函數在低維空間進行運算時會出現(xiàn)的神經元失效，信息損失；swish函數是介于線性函數和Relu函數之間的平滑函數，實現(xiàn)了精度的提升，降低了信息損失，但也出現(xiàn)了計算量過大的問題。

本文所采用的MobileNetv3算法基于上述MobileNet特點，加入了SEnet網絡，引入注意力機制來調節(jié)每個通道的權重，增強通道信息量，同時改用新的損失函數h-swish，即采用近似函數逼近swish，既保留了swish對精度的提升，也降低了模型的計算量，有利于模型在嵌入式設備上的應用與實現(xiàn)。此外，MobileNetv3進一步降低了卷積核的數量，減少了運算量，降低了計算延時，提高了模型的速度。本文采用MobileNetv3-large。

2 本文算法

2.1 改進的YOLOv4目標識別算法

本文研究民航客機目標的檢測識別算法，實現(xiàn)對視頻圖像中的飛機目標識別跟蹤，并且根據尾翼標志進一步識別飛機所屬。此外，改進后的算法應滿足在光照度較低環(huán)境下的飛機大目標、尾翼圖標小目標識別的實時性要求。

為此，本文采用MobileNetv3改進傳統(tǒng)的YOLOv4模型結構，以便使模型輕量化，提升目標識別速度，降低模型部署的硬件要求。改進后的網絡結構如圖4所示，該結構保留了YOLOv4的多尺度優(yōu)勢，用MobileNetv3替換原有的CSPDarknet-53結構，從中獲得3個不同尺度的特征輸出，經過逐點卷積變換維度后與預測層進行連接。具體做法是用MobileNetv3中13×13×160，26×26×112，52×52×40這3個特征層，替換CSPDarknet-53中的13×13×1024，26×26×512，52×52×256這3個特征層，將多尺度特征輸入到特征加強網絡進行特征融合。

圖4 YOLOv4-MobileNet框架

YOLOv4結構的卷積運算主要在PANet特征加強網絡，包含2個三次卷積塊和4個5次卷積塊，利用MobileNetv3的深度可分離卷積優(yōu)勢，將卷積塊中的3×3卷積替換為1×1卷積，繼續(xù)降低模型的參數。

改進后算法在飛機目標識別跟蹤實驗中呈現(xiàn)明顯的輕量化特點。當輸入圖像大小為416×416×3時，模型的參數量在引入MobileNetv3后降至152.5 M，在PANet中進行卷積替換后，模型參數量降為48.4 M?？梢?，經過特征提取網絡的改進和卷積塊的替換，模型的參數量大幅下降。

2.2 改進K-means聚類

YOLOv4采用K-means聚類方法獲取先驗框的信息，見表1。通過聚類算法實現(xiàn)先驗框的選取，進而在預測中得到先驗框與目標框的偏移量，與直接預測目標框位置相比，降低了目標識別的難度，提高了YOLOv4算法的識別精度。因此，聚類算法得到的先驗框在一定程度上影響YOLOv4算法的檢測識別效果，先驗框越貼合數據集，目標識別的性能就越好。

表1 YOLOv4的先驗框尺寸

K-means算法是一種廣泛應用的不局限于數據假設的聚類方法，人為設定聚類中心的個數，以數據之間的距離度量數據之間的相似性。通過隨機初始化獲得初始的聚類中心點，根據數據點與初始中心點的距離來確定各數據點的類別，隨后將各類數據進行中心點計算，最終中心點趨于一個值，這個值就是最后的聚類中心。初始的聚類中心在一定程度上會影響最終的聚類效果。

在本文構建的飛機目標數據集中，飛機目標在圖片中相對較大，且姿態(tài)各異，而飛機垂尾標志相對略小，且占據8類目標，每一類目標的樣本個數并不均衡。為了更準確預測目標位置，對數據集引入先驗分布假設，提高聚類中心選取的合理性，采用基于馬爾科夫鏈蒙特卡羅采樣(Markov chain Monte Carlo sampling，MCMC)的K-means++算法對標注邊界框尺寸信息進行聚類分析。

K-means++算法的聚類思想是確保各類初始聚類中心之間的距離盡可能遠。因此，本文通過馬爾科夫鏈蒙特卡洛采樣進行數據的初始化，選取更加合理的候選節(jié)點，得到更加準確的聚類中心。具體流程如下：

假設，邊界框尺寸數據集X中共有n個數據點，馬爾科夫鏈長為m，聚類中心為K個。

(1)隨機初始化一個聚類中心點，計算與n-1個數據點的距離dx，如式(4)所示

dx=1-IOU(box,centroid)

(4)

其中，IOU(box,centroid) 表示標注的邊界框與先驗框的交并比。

(2)MCMC采樣，引入q(x)分布，構造一個長度為m的馬爾科夫鏈，以p(x)分布進行采樣，取最后K-1個點作為聚類中心。其中q(x)和p(x)分別如式(5)、式(6)所示

(5)

(6)

(3)根據K個聚類中心，利用K-means算法對數據集進行聚類分析，獲得K個先驗框信息。

使用改進后的聚類算法對飛機目標數據集進行聚類，設置聚類中心數為9，最大迭代次數為1000，效果如圖5所示，數據點的坐標為邊界框歸一化后的寬高值，三角形代表聚類中心，可獲得9種不同尺度的先驗框，見表2。

圖5 聚類算法效果

表2 改進后先驗框尺寸

由于數據集中的數據點不是均勻分布，存在某一類數據點較少的現(xiàn)象，使用原K-means聚類算法可能會導致多個聚類中心聚在一起，影響聚類中心選取的合理性。聚類算法改進后，避免了初始節(jié)點扎堆，同時也克服了小樣本數據在聚類時無法成為候選節(jié)點的問題，可以全面分析飛機目標的信息，得到更加貼合數據集的聚類中心，提高后續(xù)目標識別的準確性。

3 實驗結果及分析

3.1 數據集及實驗環(huán)境

本文采用自建數據集(圖6)，其中含有5000張公開的飛機目標圖像，由視頻圖像按幀獲取，目前涉及8家航空公司。圖像用labelImg工具標注，其中70%用于訓練集，30%用于驗證測試集?？紤]到光照等因素影響，在圖像獲取后，利用算法進行了數據增廣。

圖6 飛機目標數據集

本文的實驗環(huán)境采用Ubuntu16.04系統(tǒng)，GPU為NVIDIA GeForce RTX 1660，深度學習框架選擇Pytorch1.3.0。采用馬賽克數據增強方式增強數據集，余弦退火調整學習率，標簽平滑設為0.01，防止過擬合。總訓練輪數為400，前200輪凍結訓練，設置初始學習率0.001，批尺寸(batch size)設置為16。后200輪解凍訓練，設置學習率為0.0001，批尺寸(batch size)設置為8。

3.2 模型訓練

經過訓練后，模型的損失曲線如圖7所示，從圖7中可以看出，經過400輪訓練后，損失值逐漸趨于穩(wěn)定，模型收斂。

圖7 網絡訓練損失函數曲線

本文的識別目標類別劃分為9類，飛機目標為第1類，垂尾所屬公司分別為2～9類，進行模型訓練。為了檢測改進算法的效果與效率，選擇檢測精度和檢測速度兩方面指標來衡量模型的性能。檢測精度用準確率(precision，P)和召回率(recall，R)衡量，檢測速度用每秒幀數(frames per second，F(xiàn)PS)來衡量，F(xiàn)PS越大，實時性越好。

準確率P是指在所有預測為正確的目標中，真正正確目標所占的比例；召回率R是指在所有真正目標中，被正確檢測出來的目標所占的比例。如式(7)、式(8)所示

(7)

(8)

其中，TP表示被正確檢出的目標數，F(xiàn)P表示被錯誤檢出的目標數，F(xiàn)N表示沒有被正確檢出的目標數。

根據訓練所得的P-R值可以確定P-R曲線，該曲線以召回率為橫坐標，準確率為縱坐標繪制，

曲線與坐標軸所圍的面積為平均精度(average precision，AP)，如式(9)所示

(9)

計算出每一類目標的AP后，可以得到均值平均精度(mean average precision，mAP)，mAP值越高，模型的識別效果越好。

本文的9類目標經過模型訓練，可以得到全部9類目標的準確率和召回率曲線，訓練結果如圖8所示，設置IOU即預測框與真實框的交并比閾值為0.5，可以計算出各類目標的精度。

圖8 網絡訓練結果P-R曲線

3.3 實驗結果分析

經過模型訓練，獲得模型對這9類目標的檢測精度，見表3。經過計算，模型的mAP達到94.29%，其中1～8類的識別精度都在90%以上，第9類的識別精度在86.74%。按照不同背景顏色進行數據集的重新劃分，該類目標的識別精度達98.79%?？梢?，部分類別識別精度較低的原因，在于飛機垂尾目標圖案顏色差異。如果尾標圖案略小，且在標志的底色上采用不同的顏色背景，那么在模型訓練時，由于數據集劃分的隨機性會造成圖案的隨機分布，導致在識別中產生負樣本誤判，從而降低識別精度。

表3 9類目標的識別精度

3.4 消融實驗

通過消融實驗進一步驗證改進策略對網絡模型的影響。將YOLOv4算法、引入MobileNetv3的YOLOv4算法(用YOLOv4-M表示)，以及本文改進聚類算法后的YOLOv4-MobileNetv3算法進行相同條件下的實驗。

實驗結果見表4，YOLOv4-MobileNetv3與YOLOv4-M算法在識別速度方面明顯優(yōu)于YOLOv4，提高了35FPS，可見MobileNetv3的引入，提高了模型的檢測速度；在識別精度方面，YOLOv4-M引入MobileNetv3后，略有下降，而YOLOv4-MobileNetv3與YOLOv4-M相比，模型精度提高了2.23%，同時檢測速度沒有損失，可見，本文聚類算法實現(xiàn)了模型精度的提升，雖然本文算法相比原YOLOv4識別精度下降2.48%，但仍可以達到94.29%，能夠滿足目標識別需求。

表4 消融實驗結果

3.5 對比實驗

改進后的YOLOv4模型在檢測速度方面的改進效果，由不同算法對比實驗加以驗證。目前國內外針對可見光飛機圖像識別主要采用基于深度學習的方法，如SSD、YOLO等，因此通過使用本文構建的飛機數據集，選擇在相同的實驗環(huán)境下，對改進后的YOLOv4模型與YOLOv4、YOLOv3、SSD這4種模型進行訓練測試，實驗結果見表5。

表5 不同算法性能比較

可以看出，本文采用的YOLOv4-MobileNetv3的算法模型大小為56.4 M，是YOLOv4的五分之一，并且與SSD和YOLOv3相比，該模型也是最小的。單幀圖像檢測時間提高到67 f/s，與YOLOv4的32 f/s相比，檢測速度提高了一倍左右。在檢測精度方面，本文算法與YOLOv4相比下降了2.48%，比SSD精度高0.7%，總體的識別精度仍然保持在90%以上。識別精度下降是由于模型參數減少、模型輕量化后所導致，但由于采用了本文改進后的K-means++聚類算法，實現(xiàn)了在保證精度的前提下對模型的輕量化和檢測速度的提升，能夠滿足實際場景的識別要求。

為了進一步驗證模型對視頻圖像的檢測效果，將一段飛機降落的視頻輸入到模型中進行實驗，比較不同類別飛機目標在本文算法和YOLOv4中的效果。視頻總時長為22 s，幀速率為25 幀/秒，每一幀的分辨率為1280×720。圖9(a)、圖9(b)為改進后的YOLOv4算法的實驗效果，圖9(c)、圖9(d)為YOLOv4算法的實驗效果，其中圖9(a)、圖9(c)是針對3U進行跟蹤的某一幀效果，圖9(b)、圖9(d)是針對CZ進行跟蹤的某一幀效果?？梢?，在相同條件下，原始的YOLOv4算法FPS只能達到10 f/s左右，而改進后的YOLOv4算法可以達到29 f/s左右，與單幀圖像識別效果一致，本文算法在視頻圖像檢測速度方面仍有優(yōu)勢，檢測精度能維持在90%以上，效果提升明顯。

圖9 改進后 YOLOv4與原YOLOv4檢測效果對比

4 結束語

本文算法以YOLOv4算法結構為基礎，融合了MobileNetv3算法的輕量型特點，改進YOLOv4的結構，構建了起降階段飛機目標識別跟蹤的模型。從單幀圖像到視頻圖像，利用模型進行了識別效果實驗。實驗結果表明，單幀圖像的識別速度達到67 f/s，視頻圖像的識別速度達到29 f/s；檢測精度總體維持在90%以上；模型的大小相比YOLOv4及其它傳統(tǒng)算法大幅降低，實現(xiàn)了模型輕量化，提高了飛機目標識別效率。目前識別的飛機種類為民航客機，接下來可以嘗試對其它種類機型進行識別，進一步提高模型的實用性。