王錦申 黃旭 萬(wàn)夕里

1研究背景和意義

近年來(lái)，人們的出行需求隨著國(guó)家經(jīng)濟(jì)的快速發(fā)展而急速增長(zhǎng)，而航空出行也日益成為人民群眾主要出行方式之一。中國(guó)民用航空局的發(fā)布的公告顯示，我國(guó)民航2022年雖受新冠疫情影響，但國(guó)內(nèi)航線旅客運(yùn)輸量預(yù)計(jì)將達(dá)到4.4億人次。為了滿足廣大人民航空出行的需求，我國(guó)民航業(yè)快速發(fā)展，行業(yè)規(guī)模不斷擴(kuò)大，民航公司持有的飛機(jī)數(shù)量以及飛機(jī)飛行的頻次隨之急劇增長(zhǎng)，這給民航飛機(jī)的飛行安全保障帶來(lái)巨大的挑戰(zhàn)。如何有效保證航空飛行安全是航空維修業(yè)最為關(guān)注的問(wèn)題之一。

航空發(fā)動(dòng)機(jī)作為飛機(jī)的關(guān)鍵部件，其故障診斷和維護(hù)是保障民航飛機(jī)飛行安全的核心任務(wù)。隨著航空發(fā)動(dòng)機(jī)使用時(shí)間的增加，航空發(fā)動(dòng)機(jī)長(zhǎng)期工作在高溫、高壓、高負(fù)荷和高轉(zhuǎn)速的條件下，葉片、燃燒室等重要部件出現(xiàn)內(nèi)部損傷的概率不斷上升，如各種形式的裂紋、缺損和燒蝕等，如不能及時(shí)準(zhǔn)確地發(fā)現(xiàn)并定位發(fā)動(dòng)機(jī)內(nèi)部損傷，則無(wú)法根據(jù)損傷情況制定相應(yīng)的檢查及維護(hù)措施，而繼續(xù)在此狀態(tài)下使用發(fā)動(dòng)機(jī)，不僅會(huì)降低發(fā)動(dòng)機(jī)性能，還可能會(huì)造成部件損傷超標(biāo)或者突然失效，導(dǎo)致發(fā)動(dòng)機(jī)的緊急換發(fā)，不僅對(duì)機(jī)隊(duì)正常運(yùn)行造成影響，甚至?xí){飛行安全，造成嚴(yán)重的安全事故。能否及時(shí)發(fā)現(xiàn)、快速評(píng)估并準(zhǔn)確診斷航空發(fā)動(dòng)機(jī)內(nèi)部的各類損傷，將直接影響航班的正常運(yùn)行和飛行的安全。因此，對(duì)航空發(fā)動(dòng)機(jī)內(nèi)部損傷故障診斷的研究已經(jīng)成為當(dāng)前航空業(yè)的迫切需求。

目前民航行業(yè)主要采用以孔探檢測(cè)為主的無(wú)損檢測(cè)技術(shù)進(jìn)行航空發(fā)動(dòng)機(jī)的損傷檢測(cè)?？滋綑z測(cè)的基本原理是將連接光纖的光學(xué)鏡頭從小孔送入不便于觀察的區(qū)域，將其觀察拍攝到的圖像通過(guò)光纖傳輸出來(lái)，最后對(duì)傳輸出來(lái)的圖像進(jìn)行分析評(píng)估?？滋綑z測(cè)作為無(wú)損檢測(cè)技術(shù)的一個(gè)重要手段，在發(fā)動(dòng)機(jī)等工業(yè)設(shè)備內(nèi)部損傷檢測(cè)和維護(hù)中得到了廣泛的應(yīng)用。在對(duì)航空發(fā)動(dòng)機(jī)進(jìn)行孔探檢測(cè)時(shí)，專業(yè)的孔探員將航空專用孔探儀前端的孔探攝像頭伸入發(fā)動(dòng)機(jī)內(nèi)部，獲取發(fā)動(dòng)機(jī)數(shù)據(jù)，再由孔探員在孔探儀拍攝和傳輸出圖像上，人工識(shí)別和標(biāo)記裂紋、缺損和燒蝕等發(fā)動(dòng)機(jī)內(nèi)部損傷。之后，根據(jù)發(fā)動(dòng)機(jī)內(nèi)部損傷檢測(cè)的結(jié)果和航空發(fā)動(dòng)機(jī)廠商給出的發(fā)動(dòng)機(jī)生命周期管理標(biāo)準(zhǔn)，決定航空發(fā)動(dòng)機(jī)的維修方式以及下一次檢修的時(shí)間節(jié)點(diǎn)。

2深度學(xué)習(xí)在工業(yè)損傷檢測(cè)的使用

近年來(lái)，基于深度學(xué)習(xí)的圖像識(shí)別方法已經(jīng)被用于檢測(cè)各種應(yīng)用中的損傷，例如地下下水道、混凝土表面以及路面等應(yīng)用場(chǎng)景?；谏疃葘W(xué)習(xí)的損傷檢測(cè)方法主要分為圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割以及進(jìn)一步的語(yǔ)義視頻分割等技術(shù)路線。這些方法從根本上改變了一些傳統(tǒng)上困難或棘手的視覺(jué)任務(wù)的處理方式，有望輔助傳統(tǒng)上由人工進(jìn)行的現(xiàn)場(chǎng)檢查，有效降低人為誤差以及減少工作量。下面將分別介紹這幾種技術(shù)路線：

（1）圖像分類

在計(jì)算機(jī)視覺(jué)的經(jīng)典上下文中，圖像分類任務(wù)的目標(biāo)是為圖像分配正確的確定損傷類別標(biāo)簽。圖1為發(fā)動(dòng)機(jī)葉片上裂紋損傷的圖像示例。2016年有學(xué)者提出了一種基于深度學(xué)習(xí)的道路裂縫檢測(cè)方法，其本質(zhì)是圖像分類。具體是，首先通過(guò)將原始圖像分割成多個(gè)小塊，以生成更多的數(shù)據(jù)；其次，通過(guò)對(duì)原始圖像的每個(gè)小塊進(jìn)行分類，以獲得原始圖像中裂紋的定位信息。該方法采用具有完全連通層的卷積神經(jīng)網(wǎng)絡(luò)模型（CNN），并且通常為少于10層的輕量級(jí)模型。雖然這種塊級(jí)別的分類可以生成定位信息，但結(jié)果是粗糙的和塊狀的，因此圖像分類的方法一般不用于估計(jì)損傷特征。

（2）目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是在圖像分類的基礎(chǔ)上通過(guò)突出損傷的位置提供進(jìn)一步的信息。這對(duì)于損傷信息定位是有益的，因?yàn)榛痉诸惾蝿?wù)僅強(qiáng)調(diào)損傷的存在，但仍將尋找實(shí)際損傷位置的任務(wù)留給觀察者，而檢測(cè)任務(wù)的目的是提供某種損傷的定位。目標(biāo)檢測(cè)的關(guān)鍵是在包含損傷的區(qū)域周?chē)蛇吔缈?，之后再?duì)每個(gè)生成的邊界框執(zhí)行損傷類型分類。如用于混凝土裂紋檢測(cè)的深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于飛機(jī)結(jié)構(gòu)裂紋檢測(cè)的YOLOv3-Lite方法等，所有這些方法都在裂紋區(qū)域周?chē)蛇吔缈?。具體效果如圖2所示，不僅將兩處裂紋用紅色框標(biāo)記同時(shí)還在邊界框的上方標(biāo)注了具體損傷的類型為裂紋。與圖像分類方法相比，目標(biāo)檢測(cè)任務(wù)使用了邊界框來(lái)標(biāo)記損傷區(qū)域，可獲取更直觀地?fù)p傷定位信息，但該任務(wù)仍然不能準(zhǔn)確地反映損傷的特征。

（3）語(yǔ)義分割

語(yǔ)義分割可以劃分為二進(jìn)制分割和多類別分割。簡(jiǎn)單的二進(jìn)制分割只有兩類，如有裂紋和無(wú)裂紋。在多類別分割環(huán)境中，裂紋（或缺損、燒蝕等其他損傷）與背景只是相鄰的兩個(gè)像素類標(biāo)簽。隨著孔探技術(shù)的進(jìn)步，孔探儀可以獲得分辨率更高的2D和3D數(shù)據(jù)，語(yǔ)義分割的預(yù)測(cè)效果也會(huì)隨之提升。因此，語(yǔ)義分割已成為當(dāng)前損傷檢測(cè)發(fā)展的主流趨勢(shì)。如圖3所示，由語(yǔ)義分割產(chǎn)生的精確的損傷位置和結(jié)構(gòu)不僅可以用來(lái)對(duì)損傷類型進(jìn)行分類，還可以用來(lái)獲取重要的損傷特征。

目前最流行的語(yǔ)義分割模型是基于編解碼器的模型，如一種針對(duì)混凝土結(jié)構(gòu)的像素級(jí)檢測(cè)方法，它是將深度卷積神經(jīng)網(wǎng)絡(luò)用于識(shí)別混凝土、隧道表面的裂紋損傷識(shí)別， 并且取得了較高的識(shí)別精度。對(duì)于語(yǔ)義分割任務(wù)，研究人員正在研究整個(gè)隱藏層保持空間分辨率的模型，以避免下采樣過(guò)程導(dǎo)致的空間信息丟失。沿著這個(gè)方向，損傷分割使用沒(méi)有池化層的模型來(lái)保持空間分辨率或者使用具有全連接層的CNN模型執(zhí)行分類任務(wù)，并與其他方法相結(jié)合，如使用自適應(yīng)閾值執(zhí)行損傷分割等。

目前，孔探設(shè)備采用CCD攝像頭，其拍攝頻率大多為30 fps。使用基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割技術(shù)預(yù)測(cè)圖像中的每個(gè)像素需要大量的處理能力，將該技術(shù)應(yīng)用于孔探視頻時(shí)，很難匹配拍攝頻率。因此，該方法無(wú)法實(shí)現(xiàn)孔探視頻的實(shí)時(shí)損傷檢測(cè)?；谏鲜鰡?wèn)題，應(yīng)用于視頻的語(yǔ)義分割技術(shù)應(yīng)運(yùn)而生。

（4）語(yǔ)義視頻分割

目前主流的視頻檢測(cè)可以分為兩類，即通過(guò)降低輸入圖像的分辨率和采用輕量級(jí)CNN。降低分辨率可降低計(jì)算代價(jià)，而采用輕量級(jí)CNN則減少了網(wǎng)絡(luò)的層數(shù)和復(fù)雜度。因?yàn)榭滋綑z測(cè)的關(guān)鍵是損傷區(qū)域的提取，對(duì)檢測(cè)精度要求很高，而這兩種方法都犧牲了損傷預(yù)測(cè)的準(zhǔn)確性，因此不能直接用于孔探損傷檢測(cè)。41975B38-6E44-4844-B134-A0D14B4E2DEF

在實(shí)際應(yīng)用中，孔探視頻中連續(xù)損傷視頻幀通常會(huì)展現(xiàn)出相似性。如圖4所示，t時(shí)刻的圖像是孔探視頻中關(guān)鍵幀（上）及其對(duì)應(yīng)的裂紋特征（下），在時(shí)刻t+5、t+10、t+15的連續(xù)視頻幀具有相似的損傷特征。裂紋在連續(xù)的視頻幀中移動(dòng)，它的語(yǔ)義特征（用紅色標(biāo)注）在兩個(gè)連續(xù)幀中僅略有不同[1]。這種特征相似性提供了沿時(shí)間維度傳播語(yǔ)義特征的可能性，可以減少耗時(shí)的語(yǔ)義分割網(wǎng)絡(luò)的使用頻率?，F(xiàn)有的方法，如使用相似關(guān)鍵和非關(guān)鍵幀樣式架構(gòu)的方法解決具有挑戰(zhàn)性的語(yǔ)義視頻分割任務(wù)，雖然大大提高了速度，但也犧牲了較多精度?；谶@些觀察結(jié)果，本方案研究了高層語(yǔ)義提取和捕捉連續(xù)幀之間的相似度，以開(kāi)發(fā)高效、智能的孔探視頻損傷檢測(cè)。

3基于深度學(xué)習(xí)的發(fā)動(dòng)機(jī)損傷檢測(cè)智能解決方案

本節(jié)具體描述利用深度學(xué)習(xí)的方法對(duì)發(fā)動(dòng)機(jī)內(nèi)部損傷進(jìn)行識(shí)別的解決方案，整體框架圖如圖5所示，具體的主要包括4個(gè)核心模塊。

3.1特征工程模塊

特征工程是指通過(guò)已有工程模型和分析工具從原始數(shù)據(jù)中提煉出數(shù)據(jù)特征，以此來(lái)提升模型的訓(xùn)練效果，是深度學(xué)習(xí)不可或缺的一部分。現(xiàn)有的發(fā)動(dòng)機(jī)孔探視頻圖像主要有裂紋、缺損和燒蝕等多種損傷。由于這些圖像來(lái)自航空發(fā)動(dòng)機(jī)不同零部件的不同角度，其損傷的大小、方向、形狀和位置各不相同。此外，圖像的背景差異也很大，加大了檢測(cè)損傷難度。為解決這些問(wèn)題，需要對(duì)原圖像數(shù)據(jù)做以下處理[2]：

a. 將收集的孔探視頻圖像轉(zhuǎn)換為相同的存儲(chǔ)格式。

b. 從數(shù)據(jù)集中剔除所有模糊的或未正確聚焦的圖像。

c. 對(duì)亮度不足的圖像進(jìn)行預(yù)處理，通過(guò)直方圖均衡技術(shù)調(diào)整其元素值，使得每個(gè)RGB通道的每個(gè)亮度級(jí)別的像素?cái)?shù)大致相同，同時(shí)改善對(duì)比度。

3.2面向發(fā)動(dòng)機(jī)孔探損傷圖像的語(yǔ)義分割和目標(biāo)檢測(cè)模塊

針對(duì)發(fā)動(dòng)機(jī)孔探損傷圖像，本模塊才采用了一種上下文編碼器神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割方法[2]?；谏舷挛木幋a器神經(jīng)網(wǎng)絡(luò)模型主要由特征提取子網(wǎng)和特征擴(kuò)展子網(wǎng)兩個(gè)子網(wǎng)組成，其結(jié)構(gòu)如圖6所示。

特征提取子網(wǎng)絡(luò)通過(guò)堆疊不同尺度的空洞卷積來(lái)構(gòu)建多尺度的圖像上下文語(yǔ)義特征的提取，由密集空洞卷積和多尺度池化兩部分組成。具體來(lái)說(shuō)，特征提取子網(wǎng)絡(luò)包含卷積塊堆積的五個(gè)分支，其中第一個(gè)和第二個(gè)卷積分支均采用整流線性單元激活函數(shù)和一個(gè)最大池化層，后三個(gè)卷積分支中則是均包含兩個(gè)整流線性單元激活函數(shù)和一個(gè)最大池化層。五個(gè)分支中四個(gè)為級(jí)聯(lián)分支，一個(gè)是直聯(lián)分支。每個(gè)分支中的卷積大小和擴(kuò)張率各不相同，池化的尺度也不盡相同，從而增強(qiáng)網(wǎng)絡(luò)多尺度特征的提取功能，也就是捕捉不同形狀和大小的各種損傷特征。

特征擴(kuò)張子網(wǎng)絡(luò)主要用于從上述特征提取子網(wǎng)絡(luò)輸出的特征中恢復(fù)高級(jí)語(yǔ)義特征。該子網(wǎng)絡(luò)由反卷積塊組成，每個(gè)反卷積包含一個(gè)上采樣操作。通過(guò)添加在特征提取子網(wǎng)絡(luò)中的每個(gè)反卷積塊與其在特征擴(kuò)展子網(wǎng)絡(luò)中對(duì)應(yīng)的反卷積塊之間建立對(duì)應(yīng)的跳躍連接，使得上采樣得到的特征向量和特征提取子網(wǎng)絡(luò)中對(duì)應(yīng)層級(jí)的卷積塊的輸出按照通道維度進(jìn)行層疊。擴(kuò)張子網(wǎng)絡(luò)最后一層是由單元卷積核和Softmax激活函數(shù)構(gòu)成的卷積層，從而提取與原始圖像相同大小的損傷掩碼。

因發(fā)動(dòng)機(jī)孔探圖像中損傷通常以小目標(biāo)居多，本模塊還借鑒了YOLOv5目標(biāo)檢測(cè)方法，以對(duì)各種損傷類型進(jìn)行標(biāo)注。該方法對(duì)孔探圖像進(jìn)行了Mosaic數(shù)據(jù)增強(qiáng)，即隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式進(jìn)行拼接。在主干網(wǎng)絡(luò)中設(shè)計(jì)使用了CSP結(jié)構(gòu)，以增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，在輕量化同時(shí)確保目標(biāo)檢測(cè)的準(zhǔn)確性，降低計(jì)算瓶頸和內(nèi)存成本。通過(guò)該方法以初步實(shí)現(xiàn)對(duì)發(fā)動(dòng)機(jī)損傷的目標(biāo)檢測(cè)，定位等功能，從而為后續(xù)孔探視頻損傷檢測(cè)、定位、追蹤和孔探報(bào)告自動(dòng)生成做準(zhǔn)備工作。

3.3面向發(fā)動(dòng)機(jī)孔探損傷視頻的語(yǔ)義分割和目標(biāo)檢測(cè)模塊

在對(duì)孔探圖像的損傷分割研究基礎(chǔ)上，繼續(xù)實(shí)現(xiàn)了對(duì)孔探視頻中發(fā)動(dòng)機(jī)損傷的精準(zhǔn)分割和目標(biāo)檢測(cè)模塊。本小節(jié)分別介紹孔探視頻快速語(yǔ)義分割以及發(fā)動(dòng)機(jī)損傷目標(biāo)檢測(cè)、追蹤、在線計(jì)數(shù)和孔探報(bào)告自動(dòng)生成方法。

本模塊基于深度融合網(wǎng)絡(luò)框架（DFNet），對(duì)所有視頻幀快速準(zhǔn)確語(yǔ)義分割的同時(shí)通過(guò)估計(jì)幀之間的光流來(lái)加速孔探視頻的損傷語(yǔ)義分割[1]。圖7展示了深度融合網(wǎng)絡(luò)的整體框架，包含語(yǔ)義分割網(wǎng)絡(luò)和空間追蹤神經(jīng)網(wǎng)絡(luò)兩個(gè)模塊。對(duì)于視頻中的每一幀，分為關(guān)鍵幀和非關(guān)鍵幀分別進(jìn)行處理。若當(dāng)前幀是關(guān)鍵幀，則只需要通過(guò)語(yǔ)義分割網(wǎng)絡(luò)直接處理，否則該幀將被發(fā)送到空間追蹤神經(jīng)網(wǎng)絡(luò)進(jìn)行光流預(yù)測(cè)和識(shí)別。語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)主要是用于對(duì)稀疏關(guān)鍵幀提取損傷語(yǔ)義特征以獲得損傷對(duì)象，而空間追蹤神經(jīng)網(wǎng)絡(luò)通過(guò)光流預(yù)測(cè)損傷的位移并將分割神經(jīng)網(wǎng)絡(luò)提取到的關(guān)鍵幀語(yǔ)義特征傳播到其他非關(guān)鍵幀，以減少幀預(yù)測(cè)的數(shù)量從而加速損傷預(yù)測(cè)過(guò)程?？臻g追蹤神經(jīng)網(wǎng)絡(luò)實(shí)際是充分利用孔探視頻中連續(xù)幀具有高度相似的損傷結(jié)構(gòu)這一特點(diǎn)減少語(yǔ)義分割的使用，從而降低計(jì)算成本并加速對(duì)視頻的損傷分割計(jì)算。

光流預(yù)測(cè)是通過(guò)光流標(biāo)簽估算物體的相對(duì)位移，目前已在常見(jiàn)的監(jiān)控視頻追蹤中得到廣泛應(yīng)用。但與通常的監(jiān)控視頻內(nèi)容不同，孔探視頻中因發(fā)動(dòng)機(jī)內(nèi)部各種部件、高溫高壓燃燒以及孔探過(guò)程中的抖動(dòng)、光線等因素造成其視頻背景極其復(fù)雜，這使得現(xiàn)有的光流預(yù)測(cè)方法難以直接應(yīng)用于追蹤神經(jīng)網(wǎng)絡(luò)模塊中的光流計(jì)算。而現(xiàn)有的光流方法對(duì)于小數(shù)據(jù)集容易出現(xiàn)過(guò)擬合現(xiàn)象，同時(shí)目前也缺乏對(duì)具有復(fù)雜背景的孔探視頻中光流標(biāo)簽的研究。為解決此問(wèn)題，本模塊提出一種光流標(biāo)簽變換方法，如圖8所示。41975B38-6E44-4844-B134-A0D14B4E2DEF

通過(guò)觀察采集的孔探視頻特征發(fā)現(xiàn)，孔探視頻中顯示的損傷在連續(xù)視頻幀中發(fā)生的位移幅度較小?；诖颂卣?，本模塊提出采用隨機(jī)模擬變換的思路來(lái)學(xué)習(xí)該位移特征。首先，將當(dāng)前幀作為關(guān)鍵幀以隨機(jī)方式調(diào)整其亮度和對(duì)比度，然后圍繞關(guān)鍵幀圖像中心進(jìn)行隨機(jī)仿射變換，并通過(guò)對(duì)一定寬度范圍內(nèi)的圖像進(jìn)行水平和垂直平移、隨機(jī)旋轉(zhuǎn)采用以及基于橫向軸的剪切的方法，產(chǎn)生新的圖像幀作為下一幀，再計(jì)算當(dāng)前幀和下一幀之間的EPE（Endpoint Error）終點(diǎn)誤差作為損失用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

為實(shí)現(xiàn)對(duì)發(fā)動(dòng)機(jī)孔探視頻中的損傷進(jìn)行目標(biāo)檢測(cè)、追蹤和在線計(jì)數(shù)等功能，本模塊還提出了結(jié)合目標(biāo)檢測(cè)、目標(biāo)追蹤和深度融合網(wǎng)絡(luò)框架的方法，其流程解析圖如圖9所示。

首先對(duì)發(fā)動(dòng)機(jī)內(nèi)部損傷進(jìn)行目標(biāo)檢測(cè)，讀取當(dāng)前幀目標(biāo)檢測(cè)框的位置以及各檢測(cè)框圖像塊的深度特征；然后根據(jù)置信度對(duì)檢測(cè)框進(jìn)行過(guò)濾；對(duì)檢測(cè)框進(jìn)行極大值抑制以消除同一損傷有多個(gè)檢測(cè)框的現(xiàn)象；再使用卡爾曼濾波預(yù)測(cè)目標(biāo)當(dāng)前幀的位置；接著對(duì)基于外觀信息的馬氏距離計(jì)算軌跡信息和探測(cè)信息的代價(jià)矩陣[3]；相繼進(jìn)行級(jí)聯(lián)匹配和IoU（Intersection over Union）匹配；最后更新卡爾曼濾波追蹤器參數(shù)和特征集，進(jìn)行目標(biāo)消失和新目標(biāo)出現(xiàn)的判斷，同時(shí)通過(guò)深度融合網(wǎng)絡(luò)對(duì)關(guān)鍵幀進(jìn)行處理，判斷當(dāng)前計(jì)數(shù)是否需要更新。本方法利用YOLOv5方法作為檢測(cè)器實(shí)時(shí)檢測(cè)當(dāng)前的損傷類型，使用DeepSort算法進(jìn)行目標(biāo)追蹤，同時(shí)使用深度綜合網(wǎng)絡(luò)處理關(guān)鍵幀，有效地改善了發(fā)動(dòng)機(jī)內(nèi)部進(jìn)行孔探檢測(cè)時(shí)受的角度、遮擋和光線影響等問(wèn)題，更加精確的對(duì)航空發(fā)動(dòng)機(jī)損傷進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)、追蹤和在線計(jì)數(shù)。

其中DeepSort算法主要包括級(jí)聯(lián)匹配算法和IoU與匈牙利算法匹配兩個(gè)部分。級(jí)聯(lián)匹配即不同優(yōu)先級(jí)的匹配，針對(duì)每一個(gè)檢測(cè)器都會(huì)分配一個(gè)跟蹤器，每個(gè)跟蹤器會(huì)設(shè)定一個(gè)參數(shù)。在級(jí)聯(lián)匹配中，會(huì)根據(jù)這個(gè)參數(shù)來(lái)對(duì)跟蹤器分先后順序，參數(shù)小的先來(lái)匹配，參數(shù)大的后匹配； IoU與匈牙利算法匹配中匈牙利算法的目的在于盡量多的匹配，容易造成ID switch， 缺乏準(zhǔn)確性與魯棒性，因此加入IoU進(jìn)行衡量，計(jì)算檢測(cè)器與跟蹤器的IoU，并用其判斷置信度的高低。

3.4模型評(píng)估模塊

4應(yīng)用結(jié)果

通過(guò)對(duì)實(shí)際的孔探圖像數(shù)據(jù)進(jìn)行的實(shí)驗(yàn)，上下文編碼器神經(jīng)網(wǎng)絡(luò)模型和YOLOv5不僅獲得了高精度的結(jié)果，而且在檢測(cè)精度上也優(yōu)于其它深度學(xué)習(xí)方法。主要應(yīng)用結(jié)果如下：

a. 上下文編碼器神經(jīng)網(wǎng)絡(luò)模型的mIoU指標(biāo)達(dá)到了81.76%，比當(dāng)前最高的精度高出13.87%，有效地減少人為因素造成的潛在誤差。

b. 引入了一種基于正交陣列的方法指導(dǎo)神經(jīng)網(wǎng)絡(luò)最優(yōu)參數(shù)的快速選擇。

c. 使用數(shù)據(jù)增廣、Mosaic數(shù)據(jù)增強(qiáng)擴(kuò)充訓(xùn)練數(shù)據(jù)集，減少潛在的過(guò)度擬合和不平衡。

為了更好地說(shuō)明上下文編碼器神經(jīng)網(wǎng)絡(luò)模型損傷檢測(cè)的效果，這里展示一組上下文編碼器神經(jīng)網(wǎng)絡(luò)對(duì)從不同角度拍攝的6張不同部位的發(fā)動(dòng)機(jī)孔探圖像損傷進(jìn)行的自動(dòng)檢測(cè)的效果圖[2]。圖10給出了6張不同部位不同損傷的效果圖，在所有圖像中，帶有裂縫的分割區(qū)域以紅色突出顯示，而帶有燒傷的分割區(qū)域以綠色突出顯示。6張孔探圖像的背景各不相同，且有的背景模糊昏暗，損傷大小也各不相同，有的損傷相對(duì)較小，即使人工識(shí)別都相對(duì)困難。但從上下文編碼器神經(jīng)網(wǎng)絡(luò)識(shí)別的結(jié)果來(lái)看，所有孔探圖像中的損傷均能準(zhǔn)確的識(shí)別和分割出來(lái)。在圖10（a）中，可以看到整體裂紋能夠在暗黑背景和類似于裂紋的邊緣形狀背景中提取出來(lái)。在圖10（b）中，孔探圖像存在多條裂縫，其中兩條裂縫與渦輪附近的燒傷區(qū)域相連接，且背景為高溫燃燒后的復(fù)雜背景。但上下文編碼器神經(jīng)網(wǎng)絡(luò)依然可以準(zhǔn)確的識(shí)別出這三條裂縫。如圖10（c）和圖10（d）所示，在背景受到不同的光照反射以及燃燒后的復(fù)雜背景下，微小的表面裂縫依舊可以被上下文編碼器神經(jīng)網(wǎng)絡(luò)完全識(shí)別出來(lái)。圖10（e）和圖10（f）中分別顯示了上下文編碼器神經(jīng)網(wǎng)絡(luò)對(duì)不規(guī)則燒傷區(qū)域的提取。尤其是圖10（e）中同時(shí)存在交叉裂紋和燒傷兩種類型的混合損傷。如圖所示，上下文編碼器神經(jīng)網(wǎng)絡(luò)依然能夠高精度識(shí)別出不同類型的混合損傷。

通過(guò)對(duì)孔探視頻的實(shí)驗(yàn)，DFNet框架不僅減少了計(jì)算資源的消耗，加快視頻損傷檢測(cè)的速度，同時(shí)還保證了損傷識(shí)別的準(zhǔn)確度[1]。基于目標(biāo)檢測(cè)和追蹤結(jié)合深度融合網(wǎng)絡(luò)算法不僅可以對(duì)視頻中的損傷進(jìn)行精準(zhǔn)識(shí)別、定位、追蹤和在線計(jì)數(shù)，還可以自動(dòng)生成孔探視頻損傷報(bào)告。主要的應(yīng)用結(jié)果如下：

a. DFNet 可以在保持高精度的同時(shí)顯著提高推理速度，在46.21 fps 時(shí)能夠達(dá)到 79.01% 的準(zhǔn)確率。

b. 與逐幀方法相比，該方法實(shí)現(xiàn)了較高的準(zhǔn)確率和顯著的加速，并且可以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)任務(wù)，如圖11所示。

c. 在損傷視頻背景切換頻繁的情況下，不僅識(shí)別、匹配多種損傷對(duì)象，而且實(shí)現(xiàn)了對(duì)損傷的持續(xù)定位跟蹤、在線計(jì)數(shù)功能。如圖12中（a）、（b）、（c）、（d）所示，分別為不同時(shí)刻下?lián)p傷識(shí)別情況，其在線計(jì)數(shù)的誤差僅在8%左右。

d. 與現(xiàn)有的目標(biāo)檢測(cè)追蹤方法相比，本方法在加入改進(jìn)的DFNet后大幅降低了損傷ID重復(fù)的情況，提高了實(shí)時(shí)計(jì)數(shù)功能的準(zhǔn)確性。

e. 自動(dòng)生成孔探視頻損傷報(bào)告，包括損傷出現(xiàn)的時(shí)間、位置、損傷類型和當(dāng)前孔探視頻中各類損傷總數(shù)等。41975B38-6E44-4844-B134-A0D14B4E2DEF

南航從2018年開(kāi)始孔探智能檢測(cè)的研究和初步投入使用，在實(shí)際運(yùn)行上效果明顯如圖13所示，特別是發(fā)動(dòng)機(jī)的非計(jì)劃換發(fā)率（包含AOG）得到顯著降低，在2017-2021年，非計(jì)劃換發(fā)率從57.1%降低到了19.7%，孔探原因?qū)е碌姆怯?jì)劃換發(fā)率從39.3%降低到了12.8%，有效降低人為誤差以及減少工作量，保障了機(jī)隊(duì)的正常運(yùn)行。

5結(jié)語(yǔ)

傳統(tǒng)的孔探檢測(cè)方式的準(zhǔn)確性主要是依靠孔探員嚴(yán)格按照手冊(cè)的操作以及對(duì)損傷模式的認(rèn)知判斷，因此各個(gè)航司都制定了嚴(yán)格的孔探檢測(cè)和復(fù)審流程及標(biāo)準(zhǔn)，但是還是會(huì)因孔探員的能力差異、工作難度和強(qiáng)度、外部工作環(huán)境、疲勞程度等因素而導(dǎo)致檢測(cè)結(jié)果的差異，而且檢測(cè)工作的時(shí)長(zhǎng)也會(huì)影響后續(xù)飛機(jī)的運(yùn)行安排，因此在運(yùn)用科學(xué)的人工智能方式進(jìn)行智能維修，不僅能大幅提高發(fā)動(dòng)機(jī)內(nèi)部損傷檢查的準(zhǔn)確率，有效降低由于工作疲勞導(dǎo)致的人為誤差以及減少工作量，對(duì)民航企業(yè)保障飛行安全，減少非計(jì)劃維修，達(dá)到降本增效的目的有著重要的意義。

本文主要從孔探圖像和孔探視頻兩個(gè)角度，以提高損傷檢測(cè)精度、加快視頻損傷檢測(cè)速度、定位追蹤視頻損傷和自動(dòng)生成損傷檢測(cè)報(bào)告為目標(biāo)，展示了具有上下文編碼器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的深度學(xué)習(xí)框架、深度融合網(wǎng)絡(luò)和基于目標(biāo)檢測(cè)和追蹤結(jié)合深度融合網(wǎng)絡(luò)算法的智能損傷檢測(cè)一體化解決方案，極大地提高了孔探 探傷檢測(cè)的效率。

由于深度學(xué)習(xí)對(duì)高計(jì)算量的要求，綜合以上孔探圖像和孔探視頻上的智能檢測(cè)方法，后續(xù)將將進(jìn)一步設(shè)計(jì)支撐實(shí)時(shí)損傷識(shí)別和分布式的深度學(xué)習(xí)訓(xùn)練平臺(tái)，以實(shí)現(xiàn)低延時(shí)的在線神經(jīng)網(wǎng)絡(luò)系統(tǒng)的訓(xùn)練和損傷識(shí)別，最終形成以神經(jīng)網(wǎng)絡(luò)損傷識(shí)別技術(shù)為支撐，孔探過(guò)程的全自動(dòng)探測(cè)、識(shí)別系統(tǒng)，為航空發(fā)動(dòng)機(jī)內(nèi)部損傷的智能檢測(cè)提供一體化全自動(dòng)解決方案。

參考文獻(xiàn)

[1] Xiao， R.， Wan， X.， Li， Y.， Guan， X.， & Huang， X. （2022）. Semantic Damage Segmentation for Aircraft Engine Borescope Videos. AIAA Journal of Aerospace Information Systems， April 27， 2022， doi： 10.2514/1.I011051.

[2] Guan， X.， Jian， Z.， Wan， X.， Xiao， R.， & Li， Y. （2021）. Intelligent Damage Detection for Aircraft Engine with Context Encoder Neural Networks. AIAA Journal of Aerospace Information Systems， 18（11）， 803-812.

[3] Wojke， N.， Bewley， A.， & Paulus， D. （2017）. Simple online and realtime tracking with a deep association metric. In 2017 IEEE international conference on image processing （ICIP） （pp. 3645-3649）. IEEE.41975B38-6E44-4844-B134-A0D14B4E2DEF