農(nóng)昌瑞，張 靜，楊智勇

（1.海軍航空大學(xué)，山東煙臺(tái) 264001；2.煙臺(tái)理工學(xué)院，山東煙臺(tái)， 264001）

0 引言

飛機(jī)蒙皮作為飛機(jī)的重要組成部分，是保持飛機(jī)良好的空氣動(dòng)力特性的重要支撐。飛機(jī)蒙皮大部分時(shí)間直接暴露在自然環(huán)境中，同時(shí)，在飛行過程中承受復(fù)雜的壓力，非常容易產(chǎn)生裂紋、缺損等損傷。因此，飛機(jī)蒙皮損傷檢測(cè)是飛機(jī)日常維護(hù)過程中的一項(xiàng)重要工作，是保障飛行人員人身安全、保護(hù)國家財(cái)產(chǎn)安全的重要環(huán)節(jié)。

目前，在飛行外場(chǎng)中，飛機(jī)蒙皮的檢測(cè)仍以機(jī)務(wù)人員目視檢查為主要方法，這種方法的檢測(cè)效率低，對(duì)機(jī)務(wù)人員的專業(yè)素養(yǎng)要求較高。隨著人工智能的發(fā)展，智能檢測(cè)設(shè)備在工業(yè)中得到廣泛的應(yīng)用。因此，飛機(jī)蒙皮損傷檢測(cè)急需1種智能化的檢測(cè)方法，以提高飛機(jī)蒙皮損傷檢測(cè)的效率，促進(jìn)部隊(duì)的智能化發(fā)展。

深度學(xué)習(xí)是人工智能領(lǐng)域的1 個(gè)研究熱點(diǎn)，它憑借自身強(qiáng)大的自學(xué)習(xí)能力，在目標(biāo)檢測(cè)等任務(wù)中具有突出表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的1 個(gè)分支，廣泛應(yīng)用在橋梁損傷檢測(cè)、道路裂縫檢測(cè)、鋼軌裂紋檢測(cè)中。而在飛機(jī)蒙皮損傷檢測(cè)中：文獻(xiàn)[7-8]利用深度學(xué)習(xí)與元學(xué)習(xí)結(jié)合的思路，提高蒙皮罕見損傷類別的檢測(cè)效果；文獻(xiàn)[9-10]利用Mask R-CNN目標(biāo)檢測(cè)算法，將圖像中的凹痕進(jìn)行掩碼分割，實(shí)現(xiàn)了對(duì)飛機(jī)凹痕的自動(dòng)化檢測(cè)；文獻(xiàn)[11]搭建了基于YOLOv3 算法的飛機(jī)蒙皮檢測(cè)網(wǎng)絡(luò)，獲取損傷類型和位置，并利用小孔成像原理對(duì)損傷部位的真實(shí)尺寸進(jìn)行測(cè)量；文獻(xiàn)[12]同樣利用YOLOv3 目標(biāo)檢測(cè)模型對(duì)蒙皮的掉漆、裂紋、銹蝕、變形和撕裂等多種損傷類型進(jìn)行檢測(cè)，準(zhǔn)確率達(dá)到了76%；文獻(xiàn)[13]將樹形結(jié)構(gòu)引入到Faster R-CNN的分類網(wǎng)絡(luò)中，提升了對(duì)飛機(jī)蒙皮緊固件的腐蝕損傷檢測(cè)的腐蝕程度分級(jí)和定位精度。

深度學(xué)習(xí)方法在飛機(jī)蒙皮損傷檢測(cè)中的應(yīng)用較少，上述文獻(xiàn)中采用的方法，檢測(cè)速度與精度仍有待提高，同時(shí)，對(duì)于小目標(biāo)的檢測(cè)效果也欠佳。為此，本文提出了1種基于增強(qiáng)特征融合和自適應(yīng)訓(xùn)練樣本選擇策略（Adaptive Training Sample Selection，ATSS）的YOLOv4 飛機(jī)蒙皮損傷檢測(cè)方法，通過增強(qiáng)特征融合網(wǎng)絡(luò)，將深層和淺層特征信息充分融合，豐富多尺度特征信息，提高小目標(biāo)檢測(cè)性能，同時(shí)改進(jìn)正負(fù)樣本的選擇策略，進(jìn)一步提高模型的檢測(cè)性能。

1 YOLOv4算法原理

YOLOv4是YOLO（You Only Look Once）系列算法中性能十分強(qiáng)悍的版本，具有檢測(cè)速度快、精度高的優(yōu)點(diǎn)。YOLOv4由CSPDarkNet-53主干特征提取網(wǎng)絡(luò)、SPPNets 空間金字塔池化網(wǎng)絡(luò)、PANet 特征融合網(wǎng)絡(luò)和檢測(cè)頭網(wǎng)絡(luò)組成，如圖1所示。

圖1 YOLOv4結(jié)構(gòu)Fig.1 Structure of YOLOv4

CSPDarkNet-53 在DarkNet-53 的基礎(chǔ)上加入了CSPNet（Cross Stage Partial Network）模塊的跨階段特征融合思想，不僅提高了網(wǎng)絡(luò)的特征提取能力，還減少了網(wǎng)絡(luò)的計(jì)算量。CSPDarkNet-53 網(wǎng)絡(luò)作為“特征提取器”，經(jīng)過一系列的卷積操作后，分別輸出52×52、26×26、13×13共3種不同尺度的特征層。

在CSPDarkNet-53 后，增加了SPPNet 模塊。SPPNet模塊的作用是固定圖像尺寸，使得網(wǎng)絡(luò)可以輸入任意尺寸的圖像。SPPNet 通過多個(gè)不同尺寸的池化核提取輸入的特征圖的特征信息，得到多尺度的池化特征圖，同時(shí)還增加了1條橋接路徑，將輸入的特征圖直接與多尺度的池化特征圖進(jìn)行融合，增加了融合圖像的魯棒性。

PANet 作為YOLOv4 的頸部網(wǎng)絡(luò)，融合了FPN 和PAN 的結(jié)構(gòu)思想。FPN采用自上而下的網(wǎng)絡(luò)路徑，利用上采樣的方式，將高層圖像的特征信息向下傳遞與低層特征信息融合，獲得多尺度的融合特征圖，PANet 在FPN 的基礎(chǔ)上，增加了1 條從底層到頂層的自下而上的橫向連接路徑，在縮短信息傳遞的同時(shí)，提升了特征金字塔的特征融合性能。

檢測(cè)頭網(wǎng)絡(luò)則是在多尺度融合特征圖進(jìn)行目標(biāo)檢測(cè)，輸出目標(biāo)的類別和位置邊界框。

2 改進(jìn)的YOLOv4算法

2.1 增強(qiáng)特征融合的結(jié)構(gòu)優(yōu)化

利用YOLOv4進(jìn)行飛機(jī)蒙皮損傷檢測(cè)過程中，發(fā)現(xiàn)YOLOv4 對(duì)于小目標(biāo)（小裂紋）的檢測(cè)效果并不理想，存在一定的漏檢情況。為此，我們對(duì)YOLOv4 的結(jié)構(gòu)進(jìn)行分析，YOLOv4 利用特征網(wǎng)絡(luò)中的3 個(gè)特征層進(jìn)行特征融合，獲得3個(gè)尺度的特征圖，隨后使用3個(gè)尺度的融合特征圖進(jìn)行預(yù)測(cè)，這3 個(gè)尺度的特征圖能夠檢測(cè)大部分物體目標(biāo)，但是對(duì)于小目標(biāo)的檢測(cè)能力仍有待提高。由于飛機(jī)蒙皮中的裂紋與背景的相似度較高，在特征提取的過程中，隨著特征提取層數(shù)的不斷加深，特征層中裂紋的特征信息越來越少，因此，多尺度特征圖中的特征信息不夠豐富，這就容易導(dǎo)致漏檢的情況出現(xiàn)。

為此，本文增加了淺層的104×104 特征圖用于預(yù)測(cè)，以提高對(duì)小裂紋目標(biāo)的檢測(cè)效果。淺層的特征圖包含大量的邊緣紋理信息，更有利于裂紋目標(biāo)的檢測(cè)。此外，為提升多尺度特征圖的信息融合能力，豐富多尺度特征圖的特征信息，本文通過增加特征融合層，將淺層的104×104 特征層與其他3 個(gè)尺度的特征層進(jìn)行特征融合，進(jìn)一步網(wǎng)絡(luò)的特征提取能力。改進(jìn)前后的特征融合網(wǎng)絡(luò)結(jié)構(gòu)，如圖2、3所示。

圖2 PANet結(jié)構(gòu)Fig.2 Structure of PANet

圖3 改進(jìn)的PANet結(jié)構(gòu)Fig.3 Structure of improved PANet

2.2 基于K-means++的錨框聚類算法優(yōu)化

錨框是一系列固定尺寸的先驗(yàn)框，其尺寸的設(shè)計(jì)關(guān)系著模型的收斂效果以及檢測(cè)精度的優(yōu)劣。YOLOv4 采用K-means 聚類算法來獲取先驗(yàn)框的尺寸。K-means聚類算法通過隨機(jī)方法選取初始的聚類中心，導(dǎo)致聚類結(jié)果對(duì)初始聚類中心的選取依賴性較大，容易產(chǎn)生局部最優(yōu)解。如果聚類得到的先驗(yàn)框的尺寸不夠準(zhǔn)確，則無法較好地與目標(biāo)的真實(shí)框匹配，導(dǎo)致定位不準(zhǔn)確，甚至出現(xiàn)漏檢的情況。

為了避免上述的問題，本文采用K-means++算法進(jìn)行先驗(yàn)框的聚類。K-means++對(duì)K-means 的中心點(diǎn)初始化過程進(jìn)行了改進(jìn)，避免了局部最優(yōu)解的產(chǎn)生，使得聚類的結(jié)果能夠更準(zhǔn)確地反映真實(shí)框的尺寸類型，獲得更優(yōu)的先驗(yàn)框尺寸。

為兼顧模型的計(jì)算量和模型的多尺度結(jié)構(gòu)設(shè)計(jì)，本文選擇先驗(yàn)框的數(shù)量為=12 。利用改進(jìn)的Kmeans++算法獲得的先驗(yàn)框聚類結(jié)果，如表1所示，先驗(yàn)框是輸入416×416時(shí)的飛機(jī)蒙皮損傷圖像數(shù)據(jù)集所采用的先驗(yàn)框尺寸。

表1 K-means++的聚類結(jié)果Tab.1 Clustering results of K-means++

2.3 正負(fù)樣本選擇策略優(yōu)化

YOLOv4的樣本選擇策略是人工對(duì)IoU閾值進(jìn)行預(yù)設(shè)，然后將每個(gè)樣本的IoU與設(shè)定的閾值進(jìn)行比較，以此來選取正樣本，樣本的IoU大于IoU閾值，則記為正樣本，反之則為負(fù)樣本。這種方法對(duì)人的依賴性較大，且閾值設(shè)置不恰當(dāng)會(huì)導(dǎo)致正負(fù)樣本不均衡，造成某一類別的目標(biāo)訓(xùn)練效果下降，從而對(duì)模型的整體訓(xùn)練效果產(chǎn)生重要的影響。為此，我們引入了ATSS 方法，該方法可以根據(jù)樣本的整體情況自動(dòng)獲取IoU閾值，在不帶超參數(shù)的情況下，實(shí)現(xiàn)正樣本和負(fù)樣本的自動(dòng)劃分。ATSS的運(yùn)算流程，如圖4所示。

圖4 ATSS流程圖Fig.4 Flow chart of ATSS

訓(xùn)練過程中，當(dāng)輸入1 張包含個(gè)真實(shí)目標(biāo)的蒙皮損傷圖像時(shí)：首先，獲得第個(gè)目標(biāo)在所有特征層的先驗(yàn)框，在每一特征層上利用2 距離選擇個(gè)距離最近的先驗(yàn)框作為候選正樣本；其次，計(jì)算這些候選正樣本與真實(shí)框的IoU 值，將這些候選正樣本的IoU的均值與方差進(jìn)行求和，獲得最終的IoU 閾值；再次，將候選正樣本的IoU 值與閾值進(jìn)行比較，選擇IoU 值大于閾值的候選正樣本作為正樣本，否則為負(fù)樣本；重復(fù)上述步驟，直到找到所有真實(shí)目標(biāo)的正負(fù)樣本，最后，輸出正負(fù)樣本進(jìn)行網(wǎng)絡(luò)的回歸訓(xùn)練。

自適應(yīng)樣本選擇策略能夠根據(jù)輸入樣本自適應(yīng)獲取閾值，相比人工設(shè)定閾值，使用這種方法得到的正負(fù)樣本更加合理均衡，更有助于提升模型的訓(xùn)練效果，提高模型的檢測(cè)精度。

3 訓(xùn)練過程與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境配置

本文采用的實(shí)驗(yàn)環(huán)境配置，如表2所示。

表2 實(shí)驗(yàn)環(huán)境組成Tab.2 Components of the experimental environment

本文采用的是單GPU的計(jì)算機(jī)，算法的網(wǎng)絡(luò)結(jié)構(gòu)都是基于Windows 系統(tǒng)下的Tensorflow-1.13.0 以及Keras-2.1.5神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行搭建，Keras具有大量封裝好的各個(gè)神經(jīng)網(wǎng)絡(luò)層，直接調(diào)用便可進(jìn)行目標(biāo)檢測(cè)模型的搭建，且其后端為Tensorflow 平臺(tái)。所有的程序都是在Python3.6平臺(tái)的第三方庫調(diào)用，所有的第三方庫都集成在集成平臺(tái)Anaconda 環(huán)境中，其中，主要利用Opencv 庫實(shí)現(xiàn)圖像處理部分，利用Numpy 庫實(shí)現(xiàn)數(shù)值計(jì)算，利用Matplotlib庫實(shí)現(xiàn)圖表處理。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

本文采用某型飛機(jī)的蒙皮損傷圖像1 300 張，將原圖像按照80%、10%和10%的比例劃分成訓(xùn)練集、驗(yàn)證集和測(cè)試集，如表3 所示。訓(xùn)練集和驗(yàn)證集主要用于網(wǎng)絡(luò)訓(xùn)練過程中的訓(xùn)練和網(wǎng)絡(luò)性能驗(yàn)證；測(cè)試集則用于網(wǎng)絡(luò)訓(xùn)練結(jié)束后對(duì)網(wǎng)絡(luò)泛化能力的測(cè)試。

表3 數(shù)據(jù)集的劃分情況Tab.3 Partitioning of data sets

3.3 訓(xùn)練過程

在模型訓(xùn)練前，需要根據(jù)訓(xùn)練集的特點(diǎn)對(duì)超參數(shù)進(jìn)行設(shè)置與優(yōu)化，訓(xùn)練過程中，還需要根據(jù)訓(xùn)練損失對(duì)學(xué)習(xí)率進(jìn)行調(diào)整優(yōu)化，以提高模型的訓(xùn)練水平。在訓(xùn)練過程中，采用了以下幾種訓(xùn)練技巧。

1）優(yōu)化算法的選擇。本文選取了適應(yīng)性矩陣估計(jì)優(yōu)化方法（Adaptive Moment Estimation，Adam）作為網(wǎng)絡(luò)的優(yōu)化算法，加快模型訓(xùn)練的收斂速度，強(qiáng)化模型的訓(xùn)練效果。

2）模型遷移訓(xùn)練方法。在公開數(shù)據(jù)集訓(xùn)練好的權(quán)重基礎(chǔ)上，再用飛機(jī)蒙皮圖像進(jìn)行訓(xùn)練，有助于加快模型的訓(xùn)練速度，提升模型的檢測(cè)精度。

3）標(biāo)簽平滑。為訓(xùn)練標(biāo)簽加上1 個(gè)較小系數(shù)的懲罰值，使模型的分類不會(huì)太準(zhǔn)確，從而避免模型出現(xiàn)過擬合。

訓(xùn)練過程中：輸入的圖像尺寸統(tǒng)一調(diào)整為416×416，訓(xùn)練的迭代次數(shù)設(shè)置為epoch=800。凍結(jié)訓(xùn)練100次，解凍后訓(xùn)練700次。凍結(jié)訓(xùn)練的初始學(xué)習(xí)率為1×10，最小值為1×10；解凍后訓(xùn)練的初始學(xué)習(xí)率為1×10，最小值為1×10。當(dāng)學(xué)習(xí)率衰減到最小值或到達(dá)迭代次數(shù)的最大值后會(huì)停止訓(xùn)練。

圖5、6分別展示了網(wǎng)絡(luò)訓(xùn)練過程中模型的損失變化曲線以及驗(yàn)證損失變化曲線。

圖5 訓(xùn)練過程中的損失曲線圖Fig.5 Loss curve during training

圖6 訓(xùn)練過程中的驗(yàn)證損失曲線圖Fig.6 Verification loss curve during training

由訓(xùn)練的損失變化曲線可以看到，當(dāng)網(wǎng)絡(luò)訓(xùn)練epoch 為100 時(shí)，網(wǎng)絡(luò)的冰凍訓(xùn)練階段結(jié)束，訓(xùn)練損失值已經(jīng)下降至小于2，隨后進(jìn)行解凍后的訓(xùn)練，損失值會(huì)有短時(shí)間的上升，后續(xù)開始下降，并進(jìn)行小幅度的波動(dòng)下降，直至訓(xùn)練結(jié)束，此時(shí)的損失值已經(jīng)下降到小于1 的范圍內(nèi)。再看訓(xùn)練的驗(yàn)證損失變化曲線圖，與損失曲線的變化趨勢(shì)相似。2 張曲線圖可以說明，模型訓(xùn)練的epoch 為100 時(shí)，已經(jīng)開始收斂了，后續(xù)的訓(xùn)練使得模型的收斂效果更好。

3.4 實(shí)驗(yàn)結(jié)果與分析

在測(cè)試階段，隨機(jī)選取了部分測(cè)試圖像進(jìn)行拼接，這樣獲得的拼接圖像能夠包含多個(gè)類型的損傷目標(biāo)，檢測(cè)背景更復(fù)雜，檢測(cè)難度更大，更有利于對(duì)模型的檢測(cè)性能和泛化能力進(jìn)行測(cè)試。圖7展示了部分檢測(cè)結(jié)果，其中，左側(cè)代表YOLOv4的檢測(cè)結(jié)果，右側(cè)代表改進(jìn)后YOLOv4的檢測(cè)結(jié)果。

圖7 檢測(cè)結(jié)果圖Fig.7 Detection results

由圖7可以看到，除了左側(cè)第2幅圖像中YOLOv4沒有檢測(cè)到缺損目標(biāo)，其他圖像中的損傷目標(biāo)基本上都能夠檢測(cè)出來。再從2組結(jié)果中各個(gè)類別的預(yù)測(cè)框?qū)δＰ偷亩ㄎ荒芰M(jìn)行分析，可以看到Y(jié)OLOv4算法的預(yù)測(cè)框尺寸較緊湊，個(gè)別預(yù)測(cè)框沒有完整框出目標(biāo)區(qū)域，而是緊貼目標(biāo)區(qū)域的邊緣，而改進(jìn)后的YOLOv4對(duì)于目標(biāo)區(qū)域的定位能力則更優(yōu)，目標(biāo)區(qū)域能夠完整地包含在預(yù)測(cè)框內(nèi)。再對(duì)檢測(cè)結(jié)果的置信度進(jìn)行分析，YOLOv4的檢測(cè)置信度在某些類別并不高，甚至沒有達(dá)到0.6，而改進(jìn)后檢測(cè)的置信度均達(dá)到了0.8 以上。通過檢測(cè)的結(jié)果來看，改進(jìn)后的YOLOv4檢測(cè)能力確實(shí)獲得了一定的提升。

為了對(duì)改進(jìn)后的模型檢測(cè)性能的提升程度進(jìn)行充分的分析說明，本文還與其他的算法模型進(jìn)行對(duì)比分析。將訓(xùn)練集在Faster R-CNN、SSD 和YOLOv3 模型上分別進(jìn)行訓(xùn)練，并采用測(cè)試集分別對(duì)各模型的檢測(cè)性能進(jìn)行測(cè)試，最后的檢測(cè)結(jié)果，如表4所示。

表4 不同算法的檢測(cè)性能對(duì)比Tab.4 Detection performance comparison of different algorithms

從表中可以看到，本文改進(jìn)的算法由于增加了特征融合層與預(yù)測(cè)層，所以模型的檢測(cè)速度有所下降，但是mAP值、精確率和召回率相比原來的YOLOv4算法均有小幅度的提升，其中mAP 提升了6.65%，精確率提升了3.85%，召回率提升了3.16%，說明本文的改進(jìn)方法在一定程度上提升了模型的檢測(cè)性能。

4 結(jié)論

文章針對(duì)基于深度學(xué)習(xí)的飛機(jī)蒙皮損傷檢測(cè)算法開展研究，主要的工作總結(jié)如下：

1）借鑒了多尺度預(yù)測(cè)思想對(duì)YOLOv4 結(jié)構(gòu)進(jìn)行優(yōu)化，增加了特征融合層與小目標(biāo)預(yù)測(cè)層，使得網(wǎng)絡(luò)能夠充分利用淺層特征信息，提升了網(wǎng)絡(luò)的小目標(biāo)檢測(cè)性能；

2）引入了K-means++的候選框聚類算法，通過聚類的方法對(duì)訓(xùn)練樣本的真實(shí)框尺寸進(jìn)行聚類，得到與訓(xùn)練樣本的目標(biāo)類別較符合的候選框尺寸，提高了預(yù)測(cè)框的定位能力；

3）引入了ATSS對(duì)網(wǎng)絡(luò)訓(xùn)練的樣本選擇策略進(jìn)行優(yōu)化，通過自適應(yīng)的方法獲得更合理的閾值，提高了正負(fù)樣本的分類效果，提升了模型的檢測(cè)性能。

通過實(shí)驗(yàn)驗(yàn)證表明，模型的檢測(cè)精度更高，檢測(cè)結(jié)果更準(zhǔn)確，算法性能得到了有效提升。