樊 瑋，李晨炫，邢 艷，黃 睿*，彭洪健

（1.中國民航大學計算機科學與技術學院，天津 300300；2.廈門航空有限公司維修工程部，福建廈門 361006）

0 引言

航空發(fā)動機損傷是影響飛行安全的重要因素。業(yè)界普遍采用視情維護策略，通過孔探檢查在不拆解發(fā)動機的前提下監(jiān)測其內(nèi)部的損傷狀況［1］。90%以上的拆解發(fā)動機的主要依據(jù)來自孔探檢查的結(jié)果［2］。然而，傳統(tǒng)人工檢查方式需要專業(yè)的檢修人員并耗費大量的時間［3］。

近年來，研究人員將圖像處理技術，如：樣條插值［4］、骨架特征提?。?］，用于發(fā)動機損傷檢測。雖然取得了一些進展，但僅用于某類（如：裂紋）損傷，不適用于其他損傷類型。隨著深度學習在計算機視覺中取得巨大的成功，基于VGG16（Visual Geometry Group network 16）［6］、FCN（Fully Convolutional Network）［7］、Faster R-CNN（Faster Region-based Convolutional Neural Network）［8］和SSD（Single Shot multibox Detector）［9］，研究人員發(fā)表了一系列用于航空發(fā)動機孔探損傷檢測的文章。盡管基于深度學習的檢測算法與傳統(tǒng)基于手工特征的算法相比省去了復雜的特征設計過程，但是存在以下兩方面問題：一、現(xiàn)有檢測算法將發(fā)動機孔探損傷檢測視為目標檢測或者語義分割問題，利用成熟的目標檢測或者語義分割模型進行發(fā)動機孔探損傷檢測，對發(fā)動機孔探檢測問題的特殊性關注不足，檢測精度較低；二、現(xiàn)有檢測算法使用的數(shù)據(jù)量較少、損傷類型單一，在處理發(fā)動機圖像時模型的魯棒性低，可檢測類別少，難以用于實際的孔探檢測工作。

在實際孔探檢測工作中，首先由檢修人員確定發(fā)動機中有無損傷，其次轉(zhuǎn)交技術專家確定損傷類型和嚴重程度。結(jié)合孔探檢測的實際需求，本文提出基于Mask R-CNN（Mask Regionbased Convolutional Neural Network）［10］的二分類到多分類遞進式航空發(fā)動機損傷圖像檢測網(wǎng)絡。本文方法充分利用孔探圖像中健康區(qū)域面積較大的特點，通過在Mask R-CNN中的區(qū)域候選網(wǎng)絡和檢測分支之間中增加二分類檢測分支，首先訓練二分類檢測器對孔探圖像中可能的損傷區(qū)域進行檢測；然后遞進地訓練多分類檢測算法，對第一步檢測出的結(jié)果進一步優(yōu)化并細分其類型；最后使用分割分支對損傷區(qū)域進行分割。整個訓練過程端到端地進行，最終各自獨立輸出二分類和多分類的檢測結(jié)果，在實際應用過程中可互為參考和補充。

為了驗證本文方法的有效性，經(jīng)過篩選后標注了1 315張孔探圖像，其中包括熱障涂層丟失、燒蝕與凹坑、裂紋、氧化變色、葉邊缺口、磨損、葉邊卷曲和材料丟失等八類損傷。以圖像對應的發(fā)動機部位為依據(jù)，分別隨機抽樣85%作為訓練集，其余部分作為測試集。對比實驗的量化結(jié)果表明多分類檢測的平均精度（Average Precision，AP）和AP75（Average Precision under IoU（Intersection over Union）of 75%）指標與Mask R-CNN算法相比分別提高3.34%，9.71%。本文方法中二分類檢測分支作為對多類檢測分支的補充，具有更高的魯棒性。如圖1所示，相對于多類數(shù)據(jù)下訓練的Mask R-CNN，本文方法可以檢測出子圖（c）右上角圓圈所示的損傷。

圖1 本文方法的檢測結(jié)果Fig.1 Detection resultsof the proposed method

本文的主要工作如下：1）結(jié)合孔探檢測的實際需求，提出了二分類到多分類遞進式航空發(fā)動機損傷圖像檢測網(wǎng)絡；2）構(gòu)建了包括多種損傷類型共1 315張孔探圖像的數(shù)據(jù)集，并驗證了本文方法的有效性。

1 相關工作

基于計算機視覺的發(fā)動機損傷的檢測方法主要包括基于傳統(tǒng)圖像處理技術的方法和基于CNN（Convolutional Neural Network）的方法?；趥鹘y(tǒng)圖像處理技術對發(fā)動機損傷的檢測方法包括邊緣檢測、小波變換、閾值分割等。粗糙度系數(shù)法［11］使用邊緣檢測和小波變換，借助損傷區(qū)域邊緣的曲線粗糙度特征對損傷進行檢測。盡管能夠有效地識別孔探圖像中存在的裂紋損傷，但該方法容易受到圖像中雜物和高粗糙度特征噪聲的影響而產(chǎn)生假警，難以解決具有復雜背景的損傷檢測問題。針對發(fā)動機損傷的測量主要使用樣條插值［4］、細化和骨架特征提?。?］等方法。張勇等［12］通過對葉邊缺口圖像灰度化、濾波降噪、銳化、閾值分割并提取邊緣進行基于樣條插值的測量。盡管該方法可以自動提取葉片掉塊的起點和終點并計算損傷的尺寸，但需要選取適當?shù)拈撝颠M行分割。陳果等［13］結(jié)合BP（Back Propagation）神經(jīng)網(wǎng)絡和遺傳算法設計自適應神經(jīng)網(wǎng)絡用于孔探損傷檢測。孟嬌茹等［14］使用最大類間方差法提取孔探圖像的統(tǒng)計特征并使用BP神經(jīng)網(wǎng)絡進行損傷類型分類?；趥鹘y(tǒng)圖像處理的損傷檢測方法檢測類別單一且易受到圖像噪聲的影響。

近年來在計算機視覺領域，研究人員開展了將CNN相關進展應用于航空發(fā)動機損傷檢測的研究。Svensén等［15］利用VGG16將孔探圖像分為混合器、燃燒室、燃料噴管和高壓渦輪葉片等。Kim等［16］利用CNN對圖像中提取的SIFT（Scale-Invariant Feature Transform）特征進行分類，用于葉片邊緣缺口的檢測。Bian等［17］提出多尺度FCN用于檢測熱障涂層丟失。Shen等［3］利用FCN檢測裂紋和燒蝕并取得了良好的效果。曠可嘉［18］基于Faster R-CNN和SSD，設計了可以檢測凹痕、缺口和燒蝕三類損傷的損傷檢測系統(tǒng)。樊瑋等［19］從數(shù)據(jù)的角度入手，提出使用交互式數(shù)據(jù)擴展方法，增加損傷圖像的數(shù)量，進行發(fā)動機孔探圖像的損傷檢測。盡管現(xiàn)有的基于深度學習的損傷檢測方法在特定損傷類型的檢測中取得了較好的檢測效果，但由于缺少多類別像素級標注的數(shù)據(jù)，難以檢測多種類型的損傷，且現(xiàn)有檢測算法直接進行多類損傷檢測時精度較低、漏檢率較高。然而，在實際孔探檢測中首先要確定有無損傷，再確定損傷類型及位置?？紤]到孔探檢測的實際需求，本文提出了二分類到多分類遞進式檢測網(wǎng)絡，并將其應用于航空發(fā)動機孔探圖像中的損傷檢測。

2 本文方法

本文所提出的網(wǎng)絡基于Mask R-CNN，整體框架如圖2所示，主要模塊包括：1）特征提取網(wǎng)絡（Backbone）：使用特征金字塔網(wǎng)絡（Feature Pyramid Network，F(xiàn)PN）對圖像中多尺度的卷積特征進行提取；2）區(qū)域候選網(wǎng)絡（Region Proposal Network，RPN）：依據(jù)給定錨框選取多尺度卷積特征的子特征區(qū)域，對前景和背景區(qū)域進行粗略的分類和回歸，產(chǎn)生候選區(qū)域；3）RoI（Region of Interest）分支：包括用于二分類目標檢測的Box1、用于多類目標檢測的Box2和用于產(chǎn)生分割結(jié)果的Mask分支。Box1進一步對區(qū)域候選網(wǎng)絡的結(jié)果進行篩選優(yōu)化，依據(jù)區(qū)域候選網(wǎng)絡的結(jié)果對多尺度卷積特征進行RoIAlign的池化操作，得到若干子特征圖，并對其進行二分類和回歸；Box2對Box1的結(jié)果進行重采樣和更高閾值的匹配，再次池化并對池化結(jié)果進行多分類和回歸，預測損傷的具體類別并生成更準確的Box坐標；Mask在Box2檢測結(jié)果的基礎上對每個檢測結(jié)果進行語義分割。

圖2 本文方法的整體框架Fig.2 Overall framework of the proposed method

下面首先介紹了Mask R-CNN中特征提取網(wǎng)絡、區(qū)域候選網(wǎng)絡，然后詳述了改進的遞進式RoI檢測分支以及損失函數(shù)的細節(jié)。

2.1 特征提取網(wǎng)絡

本文使用特征金字塔網(wǎng)絡（FPN）作為特征提取網(wǎng)絡。以殘差網(wǎng)絡（Residual Network，ResNet）為基礎，從圖像中提取不同尺度的卷積特征，記為C1，C2，…，C5。為了獲取魯棒的特征，采用自頂向下的方式，逐步融合不同尺度的特征。首先對C5特征進行1×1和3×3卷積得到F5：

其中：Conv1表示1×1卷積，Conv3表示3×3卷積。對F5進行步長值為1、填充值為2的最大池化操作得到F6。F6具有較豐富的語義信息，可以用于檢測較大的物體。為了檢測不同尺度物體，使用式（2）計算F2、F3、F4：

其中：i∈[2，4]，UpSampling2表示2倍上采樣，⊕表示逐元素相加（element-wise addition）。

2.2 區(qū)域候選網(wǎng)絡

RPN使用特征提取網(wǎng)絡的特征Fi，產(chǎn)生相應的候選區(qū)域。可由式（3）表示：

其中：RPN表示區(qū)域候選層對FPN各層特征Fi和anchors的處理過程。然后使用非極大值抑制（Non-Maximum Suppression，NMS）對class中前景類別的置信度為依據(jù)對候選框排序并取前M個作為最終輸出的RoI。形式化如式（4）所示：

2.3 遞進式RoI檢測分支

遞進式RoI檢測分支包括Box1、Box2和Mask分支。Box1對RPN輸出的上千個RoI進行匹配篩選，以0.5的IoU閾值為目標對候選框進行邊框回歸，同時輸出對圖像的二分類檢測結(jié)果。Box2分支在Box1二分類結(jié)果的基礎上，進行多類別分類，以0.6的IoU閾值為目標對候選框進行邊框回歸，從而得到更為準確的結(jié)果。最后Mask分支在Box2多分類結(jié)果的基礎上進行語義分割，得到損傷的實例分割結(jié)果。實現(xiàn)細節(jié)如下：

從RoI分支輸入輸出的角度考慮，用于兩分類的Box1、多分類檢測的Box2分支和用于分割的Mask分支（以下簡記為Box分支），依次將RoI-Align操作輸出的特征作為輸入。RoIAlign通過雙線性插值將候選區(qū)域映射回對應區(qū)域在指定特征圖中的大?。ㄌ崛〕鲞吙?qū)獏^(qū)域的特征稱為RoI特征）如式（5）、（6）和（7）所示：

其中：B1和B2分別表示Box1和Box2分支對候選框的重采樣和匹配過程；Mp表示Mask分支對候選框的正例篩選過程；RoIBox1、RoIBox2和RoIMask分別表示Box1、Box2和Mask分支對候選框的優(yōu)化結(jié)果；Align即RoI-Align的池化操作。在RPN部分對候選區(qū)域粗略的前景背景二分類的基礎上，Box1分支和Box2分支分別依據(jù)對應的RoI特征對前景候選區(qū)域進行二分類和多分類，然后進行檢測框回歸和非極大值抑制，如式（8）和（9）所示：

其中，Box1和Box2分別表示Box1分支和Box2分支對RoI特征進行前述的處理過程。Mask分支處理Box2的輸出特征，得到每一個目標的二值Mask結(jié)果，如式（10）所示：

Mask_FCN表示Mask分支對FMask特征的語義分割過程。

2.4 損失函數(shù)

在Box分支中包括分類和回歸兩種類型的損失函數(shù)，其中分類采用交叉熵損失函數(shù)，回歸使用sommth_L1損失函數(shù)。分類損失定義如式（11）、（12）和（13）所示：

回歸損失定義如式（14）、（15）和（16）所示：

其中LBB1和LBB2分別表示Box1和Box2的回歸損失；RIoU=0.5和RIoU=0.6分別表示Box1和Box2的回歸器；b=(bx，by，bw，bh)是單個子圖像塊RoI的檢測框坐標，g為真值的坐標。

網(wǎng)絡的整體損失函數(shù)是區(qū)域候選損失LBB、區(qū)域分類損失LC和Mask分割損失LM之和：L=LC+LBB+LM。

3 孔探圖像數(shù)據(jù)

本文使用的原始數(shù)據(jù)來自在多型航空發(fā)動機的孔探檢查過程中的損傷報告，其中孔探圖像使用多型孔探儀在各自配套的孔探光源下拍攝，涵蓋了發(fā)動機中不同部位、不同類型的損傷。依據(jù)發(fā)動機診斷檢測手冊，利用開源標注工具Labelme，標注圖像中多類損傷區(qū)域，最終形成一個包含1 315張孔探圖像具有熱障涂層丟失（missing thermal barrier coating，missing_tbc）、燒蝕與凹坑（burn and dent，b&d）、裂紋（crack）、氧化變色（oxidation and discoloration，o&d）、葉邊缺口（nick）、磨 損（worn）、葉 邊 卷 曲（curl）和 材 料 丟 失（missing_material）共計8種損傷類型的數(shù)據(jù)集。孔探數(shù)據(jù)中不同發(fā)動機部位的圖像數(shù)量分布如表1所示。

表1 孔探數(shù)據(jù)中不同發(fā)動機部位的圖像數(shù)量分布Tab.1 Imagenumber distribution of different engine components in borescope data

由于每一類損傷的圖像數(shù)量分布不均衡，且單張孔探圖像上可能存在多類損傷，同一發(fā)動機部位中的損傷分布大致相近，因此在不同發(fā)動機部位拍攝的孔探圖像中分別隨機采樣85%作為訓練集，總計1132張圖像，其余部分作為測試圖像。

由于數(shù)據(jù)集中752×576圖像的分辨率的圖像占92.3%，768×576的圖像占5%，實驗中統(tǒng)一限制圖像最長邊為752，最大限度保持原有數(shù)據(jù)的信息。在輸入到網(wǎng)絡中進行計算之前，使用式（17）對訓練集中的圖像進行歸一化操作：

其中：均值μR=94.02，μG=91.69，μB=85.92和方差σR=54.03，σG=54.15，σB=56.09是由訓練數(shù)據(jù)的統(tǒng)計所得，xR、xG和xB分別表示單張圖像像素的R、G、B值。

4 實驗

4.1 實驗設置

硬件環(huán)境：Intel Core i7-9700K@3.6 GHz CPU，16 GB RAM，NVIDIA RTX 2080Ti 11 GB GRAM GPU。軟件環(huán)境：CUDA 10.0.130，cuDNN 7.6.3，Python 3.6.7，Pytorch 1.0.0，Ubuntu 16.04.6 LTS。

本文方法的實驗加載了在ImageNet數(shù)據(jù)集［20］上預訓練得到的模型權(quán)重，學習率為固定值5E-3，權(quán)重衰減值為1E-4，動量值為0.9。在17 500和22 500次迭代時分別調(diào)整學習率為5E-4和5E-5，總迭代次數(shù)為30 000。

4.2 對比方法

本文使用Faster R-CNN、Mask R-CNN、YOLO（You Only Look Once）［21］以及本文方法的另一種網(wǎng)絡模型（變種形式）作為對比。其中變種形式是在本文方法Box1分支后額外構(gòu)造二分類Mask分支所組成，Box1分支與二分類Mask分支之間的結(jié)構(gòu)關系與本文方法中Box2分支與多分類Mask分支之間的相同。對比方法中YOLO采用與本文方法相似的訓練策略，經(jīng)過充分訓練收斂后取最高結(jié)果作為對比，其他方法使用與本文方法相同的訓練策略分別訓練了二分類和多分類的檢測模型。實驗結(jié)果如表2、3所示。

4.3 評價指標

在目標檢測及實例分割的性能度量中，使用單類目標的真值標注區(qū)域與檢測結(jié)果區(qū)域的重疊程度為評價指標，對單次檢測結(jié)果（Eval）進行評價，如式（18）所示：

其中，認為標注真值GT（Ground Truth）與檢測區(qū)域（Detection Area，DA）的交并比IoU（Intersection over Union）超過thpos的匹配是正確的匹配，將匹配正確的數(shù)量記為TP（True Positive），交并比低于thneg且大于零的DA數(shù)量記為FP（False Positive），標注真值的數(shù)量記為AGT（All Ground Truths）。查準率（Precision，P）和查全率（Recall，R）的計算如式（19）所示：

作為目標檢測及實例分割任務中對單類目標實例的評價指標，平均精度（Average Precision，AP）的精確定義為查準率-查全率曲線（Precision-Recall curve）與坐標軸包圍的面積，如式（20）所示：

實際應用場景中樣本數(shù)量有限，查準率-查全率曲線并不光滑，在實際計算過程中通常使用求和代替上式的積分。取置信度降序下101個查全率與其對應查準率乘積的平均值，即101點插值平均精度（101-point interpolated AP）作為計算平均精度的依據(jù)，如式（21）所示：

前述的IoU閾值thpos和thneg決定了訓練過程中真值與檢測結(jié)果的匹配程度，不同的IoU閾值將給出相差甚遠的評價結(jié)果。MSCOCO（MicroSoft Common Objects in COntext）數(shù) 據(jù)集［22］中選取thpos=thneg∈［0.5，0.55，0.6，…，0.95］十個級別AP的平均值，稱之為AP［0.5：0.95］，簡記為AP。如式（22）所示：

AP對應的平均查全率記為AR（Average Recall）?？紤]到部分發(fā)動機損傷邊界模糊，真值的標注過程受主觀經(jīng)驗的影響其誤差不可避免，本文采用MSCOCO數(shù)據(jù)集的AP、AP50、AP75、AR作為檢測和分割結(jié)果的評價指標，其中模型對損傷的檢測結(jié)果依據(jù)區(qū)域形狀分為目標檢測的包圍框（bounding box，bbox）結(jié)果和實例分割的掩膜（Mask）結(jié)果，在文中以在對應評價指標加上標的形式進行區(qū)分。

4.4 定性分析

圖3分別給出了五張孔探圖像的原始圖像及其檢測分割結(jié)果，其中第二列子圖中輪廓線為真值標注，第四列子圖中虛線矩形框為本文方法中Box1得到的二分類預測結(jié)果，實線矩形框為Box2得到的多分類預測結(jié)果，檢測框內(nèi)部的輪廓線為Mask分支得到的實例分割結(jié)果，其中檢測的類別、置信度位于檢測框左上角。

圖3 可視化結(jié)果對比Fig.3 Comparison of visualization results

圖3第一行的圖像中，右側(cè)邊緣處的涂層丟失有多層邊界，內(nèi)部紋理不均，且光照較暗，區(qū)域內(nèi)特征與磨損相似；圖3第二行的圖像中，上方邊緣處的涂層丟失位于失焦區(qū)域，圖像邊緣模糊，識別難度較大；圖3第三行的圖像中，下方存在大塊涂層丟失，該損傷左側(cè)與背景相似程度較高，邊緣處與背景融為一體不易區(qū)分；圖3第四行的圖像中，裂紋延伸后在圖像中呈現(xiàn)扭曲變細的特點，占據(jù)像素數(shù)量較少；圖3第五行的圖像中，下方情況類似第一行圖像。上述五例區(qū)域被Mask RCNN及本文方法的Box2歸為背景，而被本文方法的Box1檢測為損傷。由圖3可知，本文方法可以同時給出有無損傷的二分類檢測結(jié)果和具體類別的多分類檢測結(jié)果，其中二分類結(jié)果更具魯棒性，在實際應用中可作為多分類結(jié)果的補充和參考。

4.5 定量分析

表2給出了本文方法及其變種形式在發(fā)動機孔探圖像數(shù)據(jù)集上的量化結(jié)果。變種形式相對于原有方法在Box1部分額外添加了Mask分支，提升了二分類檢測結(jié)果的各項指標，而多分類檢測結(jié)果下降明顯。損傷類型種類數(shù)“1”表示僅區(qū)分有損/無損，輸出結(jié)果中僅包含有損部分，表示無損和有損二分類；“8”表示區(qū)分8種損傷類型，輸出結(jié)果中包含8類損傷部分，表示無損和8種損傷的9分類。

表2 本文方法與其變種形式在孔探數(shù)據(jù)集中的AP和ARTab.2 APand AR of the proposed method and one variant of it in borescope dataset

表3給出了Faster R-CNN、Mask R-CNN和YOLO分別訓練二分類和多分類檢測模型的結(jié)果。其中本文方法Box1與使用Mask R-CNN單獨訓練兩類數(shù)據(jù)得到的各項精度相近，并高于其他對比方法。本文方法Box2的AP比Faster R-CNN、Mask R-CNN和YOLO的多分類檢測AP分別提升13.58%、3.34%和62.63%。

表3 多種對比方法在孔探數(shù)據(jù)集中的AP和ARTab.3 APand AR of multiplemethods in borescope dataset

本文方法的缺點在于Box1的二分類檢測AP略低于對比方法中Mask R-CNN的二分類結(jié)果。在本文方法的Box2結(jié)果中，可以發(fā)現(xiàn)AP75對AP的提升貢獻較大，而AP50和AR比Box1有所降低，相較于Box2，Box1的AR較高，保證了Box2有較多的高質(zhì)量訓練樣本。本文方法在Box1基礎上遞進地由Box2進行邊框精調(diào)和類別細分，即使Box2丟失了部分檢測結(jié)果，AP仍然有所提升。注意到，Mask R-CNN在現(xiàn)有實驗條件下訓練二分類和多分類檢測器分別用了5.2 h和5.3 h，而本文方法僅使用了5.9 h即達到了訓練兩次Mask R-CNN的效果，且多分類AP提升3.34%。

綜合定性和定量分析可知，本文方法優(yōu)于對比方法。

5 結(jié)語

本文基于Mask R-CNN提出了航空發(fā)動機損傷圖像的二分類到多分類遞進式檢測網(wǎng)絡，對孔探圖像中的損傷進行檢測和識別。通過在Mask R-CNN的RPN和檢測分支之間增加二分類檢測分支，與原始的多分類檢測分支形成二分類到多分類遞進式的檢測器，以提高模型對損傷區(qū)域的檢測和識別精度。二分類檢測器以較高的查全率檢測孔探圖像中出現(xiàn)的損傷，多分類檢測器基于二分類檢測器的結(jié)果進一步優(yōu)化損傷的位置并確定損傷類型。二分類與多分類檢測結(jié)果互為補充和參考。為了驗證本文方法的有效性，構(gòu)建了一個包含1 315張孔探圖像，具有8種損傷類型的數(shù)據(jù)集。在該集合上，本文方法以較少的訓練時間，實現(xiàn)同時對兩類和多類的損傷檢測，并在多類損傷檢測的AP上高于各對比方法，有效地緩解了孔探圖像背景復雜、模型可檢測類別少的問題。本文方法可一定程度上擴展至YOLO系列［23］等用于目標檢測的框架中。在未來的工作中，研究將本文方法擴展至孔探視頻數(shù)據(jù)，利用視頻幀之間的連續(xù)性檢測發(fā)動機損傷。