樊 瑋，李晨炫，邢 艷，黃 睿*，彭洪健

（1.中國(guó)民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300；2.廈門航空有限公司維修工程部，福建廈門 361006）

0 引言

航空發(fā)動(dòng)機(jī)損傷是影響飛行安全的重要因素。業(yè)界普遍采用視情維護(hù)策略，通過(guò)孔探檢查在不拆解發(fā)動(dòng)機(jī)的前提下監(jiān)測(cè)其內(nèi)部的損傷狀況［1］。90%以上的拆解發(fā)動(dòng)機(jī)的主要依據(jù)來(lái)自孔探檢查的結(jié)果［2］。然而，傳統(tǒng)人工檢查方式需要專業(yè)的檢修人員并耗費(fèi)大量的時(shí)間［3］。

近年來(lái)，研究人員將圖像處理技術(shù)，如：樣條插值［4］、骨架特征提?。?］，用于發(fā)動(dòng)機(jī)損傷檢測(cè)。雖然取得了一些進(jìn)展，但僅用于某類（如：裂紋）損傷，不適用于其他損傷類型。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺中取得巨大的成功，基于VGG16（Visual Geometry Group network 16）［6］、FCN（Fully Convolutional Network）［7］、Faster R-CNN（Faster Region-based Convolutional Neural Network）［8］和SSD（Single Shot multibox Detector）［9］，研究人員發(fā)表了一系列用于航空發(fā)動(dòng)機(jī)孔探損傷檢測(cè)的文章。盡管基于深度學(xué)習(xí)的檢測(cè)算法與傳統(tǒng)基于手工特征的算法相比省去了復(fù)雜的特征設(shè)計(jì)過(guò)程，但是存在以下兩方面問題：一、現(xiàn)有檢測(cè)算法將發(fā)動(dòng)機(jī)孔探損傷檢測(cè)視為目標(biāo)檢測(cè)或者語(yǔ)義分割問題，利用成熟的目標(biāo)檢測(cè)或者語(yǔ)義分割模型進(jìn)行發(fā)動(dòng)機(jī)孔探損傷檢測(cè)，對(duì)發(fā)動(dòng)機(jī)孔探檢測(cè)問題的特殊性關(guān)注不足，檢測(cè)精度較低；二、現(xiàn)有檢測(cè)算法使用的數(shù)據(jù)量較少、損傷類型單一，在處理發(fā)動(dòng)機(jī)圖像時(shí)模型的魯棒性低，可檢測(cè)類別少，難以用于實(shí)際的孔探檢測(cè)工作。

在實(shí)際孔探檢測(cè)工作中，首先由檢修人員確定發(fā)動(dòng)機(jī)中有無(wú)損傷，其次轉(zhuǎn)交技術(shù)專家確定損傷類型和嚴(yán)重程度。結(jié)合孔探檢測(cè)的實(shí)際需求，本文提出基于Mask R-CNN（Mask Regionbased Convolutional Neural Network）［10］的二分類到多分類遞進(jìn)式航空發(fā)動(dòng)機(jī)損傷圖像檢測(cè)網(wǎng)絡(luò)。本文方法充分利用孔探圖像中健康區(qū)域面積較大的特點(diǎn)，通過(guò)在Mask R-CNN中的區(qū)域候選網(wǎng)絡(luò)和檢測(cè)分支之間中增加二分類檢測(cè)分支，首先訓(xùn)練二分類檢測(cè)器對(duì)孔探圖像中可能的損傷區(qū)域進(jìn)行檢測(cè)；然后遞進(jìn)地訓(xùn)練多分類檢測(cè)算法，對(duì)第一步檢測(cè)出的結(jié)果進(jìn)一步優(yōu)化并細(xì)分其類型；最后使用分割分支對(duì)損傷區(qū)域進(jìn)行分割。整個(gè)訓(xùn)練過(guò)程端到端地進(jìn)行，最終各自獨(dú)立輸出二分類和多分類的檢測(cè)結(jié)果，在實(shí)際應(yīng)用過(guò)程中可互為參考和補(bǔ)充。

為了驗(yàn)證本文方法的有效性，經(jīng)過(guò)篩選后標(biāo)注了1 315張孔探圖像，其中包括熱障涂層丟失、燒蝕與凹坑、裂紋、氧化變色、葉邊缺口、磨損、葉邊卷曲和材料丟失等八類損傷。以圖像對(duì)應(yīng)的發(fā)動(dòng)機(jī)部位為依據(jù)，分別隨機(jī)抽樣85%作為訓(xùn)練集，其余部分作為測(cè)試集。對(duì)比實(shí)驗(yàn)的量化結(jié)果表明多分類檢測(cè)的平均精度（Average Precision，AP）和AP75（Average Precision under IoU（Intersection over Union）of 75%）指標(biāo)與Mask R-CNN算法相比分別提高3.34%，9.71%。本文方法中二分類檢測(cè)分支作為對(duì)多類檢測(cè)分支的補(bǔ)充，具有更高的魯棒性。如圖1所示，相對(duì)于多類數(shù)據(jù)下訓(xùn)練的Mask R-CNN，本文方法可以檢測(cè)出子圖（c）右上角圓圈所示的損傷。

圖1 本文方法的檢測(cè)結(jié)果Fig.1 Detection resultsof the proposed method

本文的主要工作如下：1）結(jié)合孔探檢測(cè)的實(shí)際需求，提出了二分類到多分類遞進(jìn)式航空發(fā)動(dòng)機(jī)損傷圖像檢測(cè)網(wǎng)絡(luò)；2）構(gòu)建了包括多種損傷類型共1 315張孔探圖像的數(shù)據(jù)集，并驗(yàn)證了本文方法的有效性。

1 相關(guān)工作

基于計(jì)算機(jī)視覺的發(fā)動(dòng)機(jī)損傷的檢測(cè)方法主要包括基于傳統(tǒng)圖像處理技術(shù)的方法和基于CNN（Convolutional Neural Network）的方法?；趥鹘y(tǒng)圖像處理技術(shù)對(duì)發(fā)動(dòng)機(jī)損傷的檢測(cè)方法包括邊緣檢測(cè)、小波變換、閾值分割等。粗糙度系數(shù)法［11］使用邊緣檢測(cè)和小波變換，借助損傷區(qū)域邊緣的曲線粗糙度特征對(duì)損傷進(jìn)行檢測(cè)。盡管能夠有效地識(shí)別孔探圖像中存在的裂紋損傷，但該方法容易受到圖像中雜物和高粗糙度特征噪聲的影響而產(chǎn)生假警，難以解決具有復(fù)雜背景的損傷檢測(cè)問題。針對(duì)發(fā)動(dòng)機(jī)損傷的測(cè)量主要使用樣條插值［4］、細(xì)化和骨架特征提?。?］等方法。張勇等［12］通過(guò)對(duì)葉邊缺口圖像灰度化、濾波降噪、銳化、閾值分割并提取邊緣進(jìn)行基于樣條插值的測(cè)量。盡管該方法可以自動(dòng)提取葉片掉塊的起點(diǎn)和終點(diǎn)并計(jì)算損傷的尺寸，但需要選取適當(dāng)?shù)拈撝颠M(jìn)行分割。陳果等［13］結(jié)合BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)和遺傳算法設(shè)計(jì)自適應(yīng)神經(jīng)網(wǎng)絡(luò)用于孔探損傷檢測(cè)。孟嬌茹等［14］使用最大類間方差法提取孔探圖像的統(tǒng)計(jì)特征并使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行損傷類型分類?；趥鹘y(tǒng)圖像處理的損傷檢測(cè)方法檢測(cè)類別單一且易受到圖像噪聲的影響。

近年來(lái)在計(jì)算機(jī)視覺領(lǐng)域，研究人員開展了將CNN相關(guān)進(jìn)展應(yīng)用于航空發(fā)動(dòng)機(jī)損傷檢測(cè)的研究。Svensén等［15］利用VGG16將孔探圖像分為混合器、燃燒室、燃料噴管和高壓渦輪葉片等。Kim等［16］利用CNN對(duì)圖像中提取的SIFT（Scale-Invariant Feature Transform）特征進(jìn)行分類，用于葉片邊緣缺口的檢測(cè)。Bian等［17］提出多尺度FCN用于檢測(cè)熱障涂層丟失。Shen等［3］利用FCN檢測(cè)裂紋和燒蝕并取得了良好的效果。曠可嘉［18］基于Faster R-CNN和SSD，設(shè)計(jì)了可以檢測(cè)凹痕、缺口和燒蝕三類損傷的損傷檢測(cè)系統(tǒng)。樊瑋等［19］從數(shù)據(jù)的角度入手，提出使用交互式數(shù)據(jù)擴(kuò)展方法，增加損傷圖像的數(shù)量，進(jìn)行發(fā)動(dòng)機(jī)孔探圖像的損傷檢測(cè)。盡管現(xiàn)有的基于深度學(xué)習(xí)的損傷檢測(cè)方法在特定損傷類型的檢測(cè)中取得了較好的檢測(cè)效果，但由于缺少多類別像素級(jí)標(biāo)注的數(shù)據(jù)，難以檢測(cè)多種類型的損傷，且現(xiàn)有檢測(cè)算法直接進(jìn)行多類損傷檢測(cè)時(shí)精度較低、漏檢率較高。然而，在實(shí)際孔探檢測(cè)中首先要確定有無(wú)損傷，再確定損傷類型及位置。考慮到孔探檢測(cè)的實(shí)際需求，本文提出了二分類到多分類遞進(jìn)式檢測(cè)網(wǎng)絡(luò)，并將其應(yīng)用于航空發(fā)動(dòng)機(jī)孔探圖像中的損傷檢測(cè)。

2 本文方法

本文所提出的網(wǎng)絡(luò)基于Mask R-CNN，整體框架如圖2所示，主要模塊包括：1）特征提取網(wǎng)絡(luò)（Backbone）：使用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）對(duì)圖像中多尺度的卷積特征進(jìn)行提??；2）區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network，RPN）：依據(jù)給定錨框選取多尺度卷積特征的子特征區(qū)域，對(duì)前景和背景區(qū)域進(jìn)行粗略的分類和回歸，產(chǎn)生候選區(qū)域；3）RoI（Region of Interest）分支：包括用于二分類目標(biāo)檢測(cè)的Box1、用于多類目標(biāo)檢測(cè)的Box2和用于產(chǎn)生分割結(jié)果的Mask分支。Box1進(jìn)一步對(duì)區(qū)域候選網(wǎng)絡(luò)的結(jié)果進(jìn)行篩選優(yōu)化，依據(jù)區(qū)域候選網(wǎng)絡(luò)的結(jié)果對(duì)多尺度卷積特征進(jìn)行RoIAlign的池化操作，得到若干子特征圖，并對(duì)其進(jìn)行二分類和回歸；Box2對(duì)Box1的結(jié)果進(jìn)行重采樣和更高閾值的匹配，再次池化并對(duì)池化結(jié)果進(jìn)行多分類和回歸，預(yù)測(cè)損傷的具體類別并生成更準(zhǔn)確的Box坐標(biāo)；Mask在Box2檢測(cè)結(jié)果的基礎(chǔ)上對(duì)每個(gè)檢測(cè)結(jié)果進(jìn)行語(yǔ)義分割。

圖2 本文方法的整體框架Fig.2 Overall framework of the proposed method

下面首先介紹了Mask R-CNN中特征提取網(wǎng)絡(luò)、區(qū)域候選網(wǎng)絡(luò)，然后詳述了改進(jìn)的遞進(jìn)式RoI檢測(cè)分支以及損失函數(shù)的細(xì)節(jié)。

2.1 特征提取網(wǎng)絡(luò)

本文使用特征金字塔網(wǎng)絡(luò)（FPN）作為特征提取網(wǎng)絡(luò)。以殘差網(wǎng)絡(luò)（Residual Network，ResNet）為基礎(chǔ)，從圖像中提取不同尺度的卷積特征，記為C1，C2，…，C5。為了獲取魯棒的特征，采用自頂向下的方式，逐步融合不同尺度的特征。首先對(duì)C5特征進(jìn)行1×1和3×3卷積得到F5：

其中：Conv1表示1×1卷積，Conv3表示3×3卷積。對(duì)F5進(jìn)行步長(zhǎng)值為1、填充值為2的最大池化操作得到F6。F6具有較豐富的語(yǔ)義信息，可以用于檢測(cè)較大的物體。為了檢測(cè)不同尺度物體，使用式（2）計(jì)算F2、F3、F4：

其中：i∈[2，4]，UpSampling2表示2倍上采樣，⊕表示逐元素相加（element-wise addition）。

2.2 區(qū)域候選網(wǎng)絡(luò)

RPN使用特征提取網(wǎng)絡(luò)的特征Fi，產(chǎn)生相應(yīng)的候選區(qū)域。可由式（3）表示：

其中：RPN表示區(qū)域候選層對(duì)FPN各層特征Fi和anchors的處理過(guò)程。然后使用非極大值抑制（Non-Maximum Suppression，NMS）對(duì)class中前景類別的置信度為依據(jù)對(duì)候選框排序并取前M個(gè)作為最終輸出的RoI。形式化如式（4）所示：

2.3 遞進(jìn)式RoI檢測(cè)分支

遞進(jìn)式RoI檢測(cè)分支包括Box1、Box2和Mask分支。Box1對(duì)RPN輸出的上千個(gè)RoI進(jìn)行匹配篩選，以0.5的IoU閾值為目標(biāo)對(duì)候選框進(jìn)行邊框回歸，同時(shí)輸出對(duì)圖像的二分類檢測(cè)結(jié)果。Box2分支在Box1二分類結(jié)果的基礎(chǔ)上，進(jìn)行多類別分類，以0.6的IoU閾值為目標(biāo)對(duì)候選框進(jìn)行邊框回歸，從而得到更為準(zhǔn)確的結(jié)果。最后Mask分支在Box2多分類結(jié)果的基礎(chǔ)上進(jìn)行語(yǔ)義分割，得到損傷的實(shí)例分割結(jié)果。實(shí)現(xiàn)細(xì)節(jié)如下：

從RoI分支輸入輸出的角度考慮，用于兩分類的Box1、多分類檢測(cè)的Box2分支和用于分割的Mask分支（以下簡(jiǎn)記為Box分支），依次將RoI-Align操作輸出的特征作為輸入。RoIAlign通過(guò)雙線性插值將候選區(qū)域映射回對(duì)應(yīng)區(qū)域在指定特征圖中的大?。ㄌ崛〕鲞吙?qū)?yīng)區(qū)域的特征稱為RoI特征）如式（5）、（6）和（7）所示：

其中：B1和B2分別表示Box1和Box2分支對(duì)候選框的重采樣和匹配過(guò)程；Mp表示Mask分支對(duì)候選框的正例篩選過(guò)程；RoIBox1、RoIBox2和RoIMask分別表示Box1、Box2和Mask分支對(duì)候選框的優(yōu)化結(jié)果；Align即RoI-Align的池化操作。在RPN部分對(duì)候選區(qū)域粗略的前景背景二分類的基礎(chǔ)上，Box1分支和Box2分支分別依據(jù)對(duì)應(yīng)的RoI特征對(duì)前景候選區(qū)域進(jìn)行二分類和多分類，然后進(jìn)行檢測(cè)框回歸和非極大值抑制，如式（8）和（9）所示：

其中，Box1和Box2分別表示Box1分支和Box2分支對(duì)RoI特征進(jìn)行前述的處理過(guò)程。Mask分支處理Box2的輸出特征，得到每一個(gè)目標(biāo)的二值Mask結(jié)果，如式（10）所示：

Mask_FCN表示Mask分支對(duì)FMask特征的語(yǔ)義分割過(guò)程。

2.4 損失函數(shù)

在Box分支中包括分類和回歸兩種類型的損失函數(shù)，其中分類采用交叉熵?fù)p失函數(shù)，回歸使用sommth_L1損失函數(shù)。分類損失定義如式（11）、（12）和（13）所示：

回歸損失定義如式（14）、（15）和（16）所示：

其中LBB1和LBB2分別表示Box1和Box2的回歸損失；RIoU=0.5和RIoU=0.6分別表示Box1和Box2的回歸器；b=(bx，by，bw，bh)是單個(gè)子圖像塊RoI的檢測(cè)框坐標(biāo)，g為真值的坐標(biāo)。

網(wǎng)絡(luò)的整體損失函數(shù)是區(qū)域候選損失LBB、區(qū)域分類損失LC和Mask分割損失LM之和：L=LC+LBB+LM。

3 孔探圖像數(shù)據(jù)

本文使用的原始數(shù)據(jù)來(lái)自在多型航空發(fā)動(dòng)機(jī)的孔探檢查過(guò)程中的損傷報(bào)告，其中孔探圖像使用多型孔探儀在各自配套的孔探光源下拍攝，涵蓋了發(fā)動(dòng)機(jī)中不同部位、不同類型的損傷。依據(jù)發(fā)動(dòng)機(jī)診斷檢測(cè)手冊(cè)，利用開源標(biāo)注工具Labelme，標(biāo)注圖像中多類損傷區(qū)域，最終形成一個(gè)包含1 315張孔探圖像具有熱障涂層丟失（missing thermal barrier coating，missing_tbc）、燒蝕與凹坑（burn and dent，b&d）、裂紋（crack）、氧化變色（oxidation and discoloration，o&d）、葉邊缺口（nick）、磨 損（worn）、葉 邊 卷 曲（curl）和 材 料 丟 失（missing_material）共計(jì)8種損傷類型的數(shù)據(jù)集。孔探數(shù)據(jù)中不同發(fā)動(dòng)機(jī)部位的圖像數(shù)量分布如表1所示。

表1 孔探數(shù)據(jù)中不同發(fā)動(dòng)機(jī)部位的圖像數(shù)量分布Tab.1 Imagenumber distribution of different engine components in borescope data

由于每一類損傷的圖像數(shù)量分布不均衡，且單張孔探圖像上可能存在多類損傷，同一發(fā)動(dòng)機(jī)部位中的損傷分布大致相近，因此在不同發(fā)動(dòng)機(jī)部位拍攝的孔探圖像中分別隨機(jī)采樣85%作為訓(xùn)練集，總計(jì)1132張圖像，其余部分作為測(cè)試圖像。

由于數(shù)據(jù)集中752×576圖像的分辨率的圖像占92.3%，768×576的圖像占5%，實(shí)驗(yàn)中統(tǒng)一限制圖像最長(zhǎng)邊為752，最大限度保持原有數(shù)據(jù)的信息。在輸入到網(wǎng)絡(luò)中進(jìn)行計(jì)算之前，使用式（17）對(duì)訓(xùn)練集中的圖像進(jìn)行歸一化操作：

其中：均值μR=94.02，μG=91.69，μB=85.92和方差σR=54.03，σG=54.15，σB=56.09是由訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)所得，xR、xG和xB分別表示單張圖像像素的R、G、B值。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

硬件環(huán)境：Intel Core i7-9700K@3.6 GHz CPU，16 GB RAM，NVIDIA RTX 2080Ti 11 GB GRAM GPU。軟件環(huán)境：CUDA 10.0.130，cuDNN 7.6.3，Python 3.6.7，Pytorch 1.0.0，Ubuntu 16.04.6 LTS。

本文方法的實(shí)驗(yàn)加載了在ImageNet數(shù)據(jù)集［20］上預(yù)訓(xùn)練得到的模型權(quán)重，學(xué)習(xí)率為固定值5E-3，權(quán)重衰減值為1E-4，動(dòng)量值為0.9。在17 500和22 500次迭代時(shí)分別調(diào)整學(xué)習(xí)率為5E-4和5E-5，總迭代次數(shù)為30 000。

4.2 對(duì)比方法

本文使用Faster R-CNN、Mask R-CNN、YOLO（You Only Look Once）［21］以及本文方法的另一種網(wǎng)絡(luò)模型（變種形式）作為對(duì)比。其中變種形式是在本文方法Box1分支后額外構(gòu)造二分類Mask分支所組成，Box1分支與二分類Mask分支之間的結(jié)構(gòu)關(guān)系與本文方法中Box2分支與多分類Mask分支之間的相同。對(duì)比方法中YOLO采用與本文方法相似的訓(xùn)練策略，經(jīng)過(guò)充分訓(xùn)練收斂后取最高結(jié)果作為對(duì)比，其他方法使用與本文方法相同的訓(xùn)練策略分別訓(xùn)練了二分類和多分類的檢測(cè)模型。實(shí)驗(yàn)結(jié)果如表2、3所示。

4.3 評(píng)價(jià)指標(biāo)

在目標(biāo)檢測(cè)及實(shí)例分割的性能度量中，使用單類目標(biāo)的真值標(biāo)注區(qū)域與檢測(cè)結(jié)果區(qū)域的重疊程度為評(píng)價(jià)指標(biāo)，對(duì)單次檢測(cè)結(jié)果（Eval）進(jìn)行評(píng)價(jià)，如式（18）所示：

其中，認(rèn)為標(biāo)注真值GT（Ground Truth）與檢測(cè)區(qū)域（Detection Area，DA）的交并比IoU（Intersection over Union）超過(guò)thpos的匹配是正確的匹配，將匹配正確的數(shù)量記為TP（True Positive），交并比低于thneg且大于零的DA數(shù)量記為FP（False Positive），標(biāo)注真值的數(shù)量記為AGT（All Ground Truths）。查準(zhǔn)率（Precision，P）和查全率（Recall，R）的計(jì)算如式（19）所示：

作為目標(biāo)檢測(cè)及實(shí)例分割任務(wù)中對(duì)單類目標(biāo)實(shí)例的評(píng)價(jià)指標(biāo)，平均精度（Average Precision，AP）的精確定義為查準(zhǔn)率-查全率曲線（Precision-Recall curve）與坐標(biāo)軸包圍的面積，如式（20）所示：

實(shí)際應(yīng)用場(chǎng)景中樣本數(shù)量有限，查準(zhǔn)率-查全率曲線并不光滑，在實(shí)際計(jì)算過(guò)程中通常使用求和代替上式的積分。取置信度降序下101個(gè)查全率與其對(duì)應(yīng)查準(zhǔn)率乘積的平均值，即101點(diǎn)插值平均精度（101-point interpolated AP）作為計(jì)算平均精度的依據(jù)，如式（21）所示：

前述的IoU閾值thpos和thneg決定了訓(xùn)練過(guò)程中真值與檢測(cè)結(jié)果的匹配程度，不同的IoU閾值將給出相差甚遠(yuǎn)的評(píng)價(jià)結(jié)果。MSCOCO（MicroSoft Common Objects in COntext）數(shù) 據(jù)集［22］中選取thpos=thneg∈［0.5，0.55，0.6，…，0.95］十個(gè)級(jí)別AP的平均值，稱之為AP［0.5：0.95］，簡(jiǎn)記為AP。如式（22）所示：

AP對(duì)應(yīng)的平均查全率記為AR（Average Recall）?？紤]到部分發(fā)動(dòng)機(jī)損傷邊界模糊，真值的標(biāo)注過(guò)程受主觀經(jīng)驗(yàn)的影響其誤差不可避免，本文采用MSCOCO數(shù)據(jù)集的AP、AP50、AP75、AR作為檢測(cè)和分割結(jié)果的評(píng)價(jià)指標(biāo)，其中模型對(duì)損傷的檢測(cè)結(jié)果依據(jù)區(qū)域形狀分為目標(biāo)檢測(cè)的包圍框（bounding box，bbox）結(jié)果和實(shí)例分割的掩膜（Mask）結(jié)果，在文中以在對(duì)應(yīng)評(píng)價(jià)指標(biāo)加上標(biāo)的形式進(jìn)行區(qū)分。

4.4 定性分析

圖3分別給出了五張孔探圖像的原始圖像及其檢測(cè)分割結(jié)果，其中第二列子圖中輪廓線為真值標(biāo)注，第四列子圖中虛線矩形框?yàn)楸疚姆椒ㄖ蠦ox1得到的二分類預(yù)測(cè)結(jié)果，實(shí)線矩形框?yàn)锽ox2得到的多分類預(yù)測(cè)結(jié)果，檢測(cè)框內(nèi)部的輪廓線為Mask分支得到的實(shí)例分割結(jié)果，其中檢測(cè)的類別、置信度位于檢測(cè)框左上角。

圖3 可視化結(jié)果對(duì)比Fig.3 Comparison of visualization results

圖3第一行的圖像中，右側(cè)邊緣處的涂層丟失有多層邊界，內(nèi)部紋理不均，且光照較暗，區(qū)域內(nèi)特征與磨損相似；圖3第二行的圖像中，上方邊緣處的涂層丟失位于失焦區(qū)域，圖像邊緣模糊，識(shí)別難度較大；圖3第三行的圖像中，下方存在大塊涂層丟失，該損傷左側(cè)與背景相似程度較高，邊緣處與背景融為一體不易區(qū)分；圖3第四行的圖像中，裂紋延伸后在圖像中呈現(xiàn)扭曲變細(xì)的特點(diǎn)，占據(jù)像素?cái)?shù)量較少；圖3第五行的圖像中，下方情況類似第一行圖像。上述五例區(qū)域被Mask RCNN及本文方法的Box2歸為背景，而被本文方法的Box1檢測(cè)為損傷。由圖3可知，本文方法可以同時(shí)給出有無(wú)損傷的二分類檢測(cè)結(jié)果和具體類別的多分類檢測(cè)結(jié)果，其中二分類結(jié)果更具魯棒性，在實(shí)際應(yīng)用中可作為多分類結(jié)果的補(bǔ)充和參考。

4.5 定量分析

表2給出了本文方法及其變種形式在發(fā)動(dòng)機(jī)孔探圖像數(shù)據(jù)集上的量化結(jié)果。變種形式相對(duì)于原有方法在Box1部分額外添加了Mask分支，提升了二分類檢測(cè)結(jié)果的各項(xiàng)指標(biāo)，而多分類檢測(cè)結(jié)果下降明顯。損傷類型種類數(shù)“1”表示僅區(qū)分有損/無(wú)損，輸出結(jié)果中僅包含有損部分，表示無(wú)損和有損二分類；“8”表示區(qū)分8種損傷類型，輸出結(jié)果中包含8類損傷部分，表示無(wú)損和8種損傷的9分類。

表2 本文方法與其變種形式在孔探數(shù)據(jù)集中的AP和ARTab.2 APand AR of the proposed method and one variant of it in borescope dataset

表3給出了Faster R-CNN、Mask R-CNN和YOLO分別訓(xùn)練二分類和多分類檢測(cè)模型的結(jié)果。其中本文方法Box1與使用Mask R-CNN單獨(dú)訓(xùn)練兩類數(shù)據(jù)得到的各項(xiàng)精度相近，并高于其他對(duì)比方法。本文方法Box2的AP比Faster R-CNN、Mask R-CNN和YOLO的多分類檢測(cè)AP分別提升13.58%、3.34%和62.63%。

表3 多種對(duì)比方法在孔探數(shù)據(jù)集中的AP和ARTab.3 APand AR of multiplemethods in borescope dataset

本文方法的缺點(diǎn)在于Box1的二分類檢測(cè)AP略低于對(duì)比方法中Mask R-CNN的二分類結(jié)果。在本文方法的Box2結(jié)果中，可以發(fā)現(xiàn)AP75對(duì)AP的提升貢獻(xiàn)較大，而AP50和AR比Box1有所降低，相較于Box2，Box1的AR較高，保證了Box2有較多的高質(zhì)量訓(xùn)練樣本。本文方法在Box1基礎(chǔ)上遞進(jìn)地由Box2進(jìn)行邊框精調(diào)和類別細(xì)分，即使Box2丟失了部分檢測(cè)結(jié)果，AP仍然有所提升。注意到，Mask R-CNN在現(xiàn)有實(shí)驗(yàn)條件下訓(xùn)練二分類和多分類檢測(cè)器分別用了5.2 h和5.3 h，而本文方法僅使用了5.9 h即達(dá)到了訓(xùn)練兩次Mask R-CNN的效果，且多分類AP提升3.34%。

綜合定性和定量分析可知，本文方法優(yōu)于對(duì)比方法。

5 結(jié)語(yǔ)

本文基于Mask R-CNN提出了航空發(fā)動(dòng)機(jī)損傷圖像的二分類到多分類遞進(jìn)式檢測(cè)網(wǎng)絡(luò)，對(duì)孔探圖像中的損傷進(jìn)行檢測(cè)和識(shí)別。通過(guò)在Mask R-CNN的RPN和檢測(cè)分支之間增加二分類檢測(cè)分支，與原始的多分類檢測(cè)分支形成二分類到多分類遞進(jìn)式的檢測(cè)器，以提高模型對(duì)損傷區(qū)域的檢測(cè)和識(shí)別精度。二分類檢測(cè)器以較高的查全率檢測(cè)孔探圖像中出現(xiàn)的損傷，多分類檢測(cè)器基于二分類檢測(cè)器的結(jié)果進(jìn)一步優(yōu)化損傷的位置并確定損傷類型。二分類與多分類檢測(cè)結(jié)果互為補(bǔ)充和參考。為了驗(yàn)證本文方法的有效性，構(gòu)建了一個(gè)包含1 315張孔探圖像，具有8種損傷類型的數(shù)據(jù)集。在該集合上，本文方法以較少的訓(xùn)練時(shí)間，實(shí)現(xiàn)同時(shí)對(duì)兩類和多類的損傷檢測(cè)，并在多類損傷檢測(cè)的AP上高于各對(duì)比方法，有效地緩解了孔探圖像背景復(fù)雜、模型可檢測(cè)類別少的問題。本文方法可一定程度上擴(kuò)展至YOLO系列［23］等用于目標(biāo)檢測(cè)的框架中。在未來(lái)的工作中，研究將本文方法擴(kuò)展至孔探視頻數(shù)據(jù)，利用視頻幀之間的連續(xù)性檢測(cè)發(fā)動(dòng)機(jī)損傷。