吳 榮,汪劍偉,謝鋒云

(1.華東交通大學機電與車輛工程學院,江西 南昌 330013; 2.載運工具與裝備教育部重點實驗室(華東交通大學),江西 南昌 330013;3.華東交通大學軌道交通基礎設施性能監(jiān)測與保障國家重點實驗室,江西 南昌 330013)

1 引 言

激光剪切散斑干涉技術是一種運用光學、計算機、數字圖像處理等現代技術發(fā)展起來的非接觸物體變形測量技術,其通過計算物體變形前后散斑圖的相位來獲取被測物體的應變信息[1]。剪切散斑干涉技術運用剪切裝置將物光分為兩束光,使待測表面相鄰兩點的物光相干涉,相比較物光與參考光相干涉的電子散斑干涉技術[2],剪切散斑干涉技術對于環(huán)境中的擾動較不敏感,更加適用于工程現場檢測,并被廣泛應用于工業(yè)無損檢測。

激光剪切散斑干涉技術在執(zhí)行缺陷無損檢測時,首先通過對被測對象進行一定程度的均勻加載,常見的加載方式包括熱加載、真空加載、振動加載等;加載后引起內部缺陷處的應力集中,并導致對應的表面產生與其周圍有差異的微小變形。利用激光剪切散斑干涉技術能直觀精確地測量出該變形,從而推斷出物體內部缺陷,缺陷通常以“蝴蝶斑”狀干涉條紋的形式呈現[3]。特別是對于復合材料與粘接結構的缺陷檢測,激光剪切散斑干涉技術能夠有效檢測被檢對象中的氣泡、空隙、分層、裂紋、脫粘等缺陷。對比傳統(tǒng)無損檢測方法,激光剪切散斑干涉技術具有測量面積廣、效率高、非接觸、高靈敏度等優(yōu)點,因此在航空航天、船舶制造、汽車等領域的使用量正在迅速增加[4]。Leszek[5]結合全息術和剪切散斑干涉技術通過聲波使壁畫振動,在壁畫有損傷處發(fā)生不規(guī)則變化,檢測缺陷的大小和分布;Kim[6]利用剪切散斑技術對輪胎面上的空洞缺陷的大小和形狀進行了檢測;馬銀行等人[7]搭建了數字剪切散斑干涉測量系統(tǒng)用于含狹縫的懸臂鋁板的振動分析;劉斌等人[8]運用剪切散斑干涉技術對不同類型缺陷的衛(wèi)星用鋁蒙皮鋁蜂窩夾層結構實現了缺陷檢測。剪切散斑干涉技術的發(fā)展和應用為工業(yè)發(fā)展中結構應變分析、健康狀態(tài)檢測以及部件維修等方面提供了重要的技術支持。

隨著航空航天、交通運輸等領域的快速發(fā)展,材料缺陷檢測的準確率和效率的提升有助于推動現代化工業(yè)生產的高質量與高效率發(fā)展,因此需要發(fā)展一種高精度高效的缺陷自動識別方法來替代人工識別方式。為此,國內外許多學者對激光剪切散斑干涉缺陷自動識別方法做出了大量研究。例如南瑞亭等人[9]提出的基于剪切散斑圖角點特征的輪胎缺陷識別方法,實現了輪胎缺陷的自動識別,提高了輪胎檢測的效率;李學哲等人[10]通過圖像降維和協同進化算法實現了剪切散斑條紋信息的識別,且在測量速率和抗干擾方面有著明顯提高;馮巍巍等人[11]采用了基于小波分析和神經網絡的算法,實現了特種材料表面激光散斑特征的提取和識別,操作簡單且識別率較高,但識別速率較慢。近年,深度學習技術被快速發(fā)展,并在激光散斑干涉技術中的條紋圖像去噪、解包裹以及缺陷識別等方面取得了重要進展。例如,Gurrola-Ramos[12]提出了一種用于條紋去噪的U-Net神經網絡模型,該方法在計算上更簡單高效;Wang[13]提出了將包裹相位經U-Net網絡直接獲取展開相位的一步解包裹技術,并且可實現相位去噪;因此,將深度學習運用于缺陷識別是發(fā)展趨勢,例如:Chang等[14]將卷積神經網絡與高性能快速區(qū)域卷積神經網絡集成混合融合,檢測輪胎剪切成像圖像中的氣泡缺陷;Ye等[15]開發(fā)了一種基于深度學習的圓柱形表面檢測的剪切成像系統(tǒng)。相對于傳統(tǒng)算法,深度學習相關方法具有更快的速率和更高的識別精度;將深度學習與剪切成像技術結合使用的方法是實現無損檢測自動化的第一步,同時為進一步發(fā)展開辟了空間。

盡管以上研究能解決剪切散斑缺陷圖像的檢測與識別,但其檢測效率和檢測精度仍然有待提高。近年,YOLOv5、Faster R-CNN等深度學習算法在圖像識別方面取得了高效與高精度的識別效果,并在無人駕駛、工業(yè)缺陷圖像識別等領域被廣泛使用[16]。本文提出將YOLOv5和Faster R-CNN算法應用于剪切散斑干涉缺陷圖像的自動識別,分析對比了兩者的檢測準確率和效率,并設計制作了用于缺陷檢測的大量樣本數據,為缺陷高精度快速自動識別提供了依據。

2 剪切散斑干涉無損檢測原理

剪切散斑干涉無損檢測原理如圖1所示,在執(zhí)行檢測時,首先需要對被檢測對象進行均勻的加載,加載方式通常有熱輻射加載、負氣壓加載和振動加載。物體被加載后,缺陷處將產生與周圍有差異的微小變形,該變形將反映到物體表面,進而利用剪切散斑干涉技術檢測該變形,從而實現物體內部缺陷的檢測。在缺陷檢測運用中,通常采用檢測離面位移導數的邁克爾遜干涉光路,即剪切干涉來實現表面的變形檢測。該光路如圖1所示,激光入射到粗糙物體表面產生漫反射,反射光進入邁克爾遜干涉光路;反射光進入分光棱鏡被分為兩束光線,一束反射到剪切鏡,并從剪切鏡反射到分光棱鏡;另一束是直接穿透入射在平面鏡,再反射到分光棱鏡上。最后,兩束光同時進入到攝像機并產生干涉,從而通過計算機處理獲得剪切散斑干涉條紋圖。

圖1 剪切散斑干涉無損檢測系統(tǒng)示意圖

本文采用被廣泛使用的高精度四步相移技術來獲取剪切成像條紋圖[17]。測量首先在物體變形前運用驅動電路使PZT相移器產生精確的四步相移,四步相移對應的激光相位分別為(0,π/2,π,3π/2),同時相機同步采集對應的物體表面相移圖。假設物體變形前的四步相移圖為Ri(x,y),i=1,2,3,4,具體表示如下:

(1)

其中,(x,y)是圖像的空間像素坐標;Ri(x,y)是變形前采集到的四幅散斑圖像,它們依次有π/2相移量;A(x,y),B(x,y)分別表示背景光強和條紋的調制幅值;φR(x,y)是變形前的散斑相位。

聯立上述四個方程,即可得到變形前的相位分布:

(2)

同理,假設變形后的四幅散斑圖像為Di(x,y),i=1,2,3,4,

(3)

則可得到變形后的相位分布:

(4)

將變形后的相位減去變形前的相位即可得到由于變形引起的相位差:

Δφ(x,y)=φD(x,y)-φR(x,y)

(5)

或者運用以下等式獲得相位差[18]:

Δφ(x,y)=

(6)

通過以上等式直接獲得的相位圖通常包含較大的噪聲,為了提高干涉相位圖的成像質量,因此,需要對獲得的圖像進行濾波處理[19],進而得到高信噪比的干涉條紋圖。

3 深度學習缺陷智能識別算法

剪切散斑干涉缺陷的高精度智能識別能為其工業(yè)應用提供一種自動化的無損檢測手段,從而提高檢測效率和檢測準確率。目前基于深度學習的目標檢測算法主要包括SSD、YOLO、Faster R-CNN、Mask-RCNN等[20]。各個算法在不同的應用場合和數據集樣本下的效果存在差異,而本文將目前較為主流的YOLOv5和Faster R-CNN兩種目標檢測算法引入到剪切散斑干涉缺陷的智能識別中,并深入分析這兩種方法的優(yōu)劣勢。

3.1 基于YOLOv5算法的缺陷檢測模型

如圖2所示為YOLOv5的缺陷檢測模型,該網絡首先將輸入的缺陷圖像分別進行8倍、16倍和32倍下采樣,從而獲得3種尺寸大小不同的特征圖,然后將特征圖輸入到特征融合網絡中,經過特征融合網絡的深層次卷積后得到具有豐富語義信息的特征圖。雖然在多次卷積之后會丟掉目標圖像的部分位置信息,但是目標位置的信息是仍較為精確。

圖2 YOLOv5的缺陷檢測模型

3.2 基于Faster R-CNN的缺陷檢測模型

Faster R-CNN主要由特征提取網絡CNN,區(qū)域建議網絡RPN(region proposal network)和目標檢測網絡RCNN這3個部分組成,如圖3所示為其缺陷檢測模型。特征提取網絡CNN采用經典的卷積神經網絡VGG16對輸入的高分辨率圖像可提取相對初級特征,并輸出對應的特征圖;區(qū)域建議網絡RPN的輸入是特征提取網絡CNN輸出的特征圖,使用滑動窗口對該特征圖進行遍歷卷積,然后將特征圖映射成的低維向量送入分類層和回歸定位層,最后輸出被檢測物體的區(qū)域建議框;目標檢測網絡RCNN利用非極大值抑制算法獲取感興趣區(qū)域(region of interest,ROI),接著通過ROI池化層并將其下采樣至某一固定尺寸。最后通過全連接層獲得ROI的低維特征向量并送至Softmax分類器中,從而使得目標分類置信度和矩形框位置得到進一步的調整。

圖3 Faster R-CNN的缺陷檢測模型

3.3 基于YOLOv5與Faster R-CNN的缺陷智能檢測

缺陷的自動檢測要求結構的各部分獲得圖像的相位圖,且通過拼接技術實現缺陷分布的全尺寸圖像的映射。如果結構中存在缺陷,它們將通過剪切散斑干涉條紋反映在相位圖中。為了準確識別與缺陷相關的條紋圖案,需要使用包含條紋圖案的樣本訓練相應的模型。由于主要考慮的缺陷是脫粘,所以樣本為包含蝴蝶斑狀的條紋圖像。在深度學習算法中,實驗的樣本數量對最后識別的結果起著非常關鍵的作用。樣本數量太少會使得回歸方程中的相關系數比較低從而導致識別精度也不高。

訓練完成之后,便可將模型用于缺陷識別。圖4(a)描述的是基于YOLOv5算法的缺陷自動識別過程的示意圖。輸入圖像進入輸入端進行Mosaic數據增強、自適應錨框計算和自適應圖片縮放操作;然后在基準網絡中利用Focus結構提取一些通用的特征表示;接著在Neck網絡中使用SPP模塊、FPN+PAN模塊進一步提升特征的多樣性及魯棒性;最后通過Head輸出端完成目標檢測結果的輸出。

(a)YOLOv5識別流程圖 (b)Faster R-CNN識別流程圖

圖4(b)是基于Faster R-CNN的缺陷自動識別過程的示意圖。輸入圖像通過預先訓練好的卷積神經網絡得到卷積特征映射。然后通過區(qū)域建議網絡(RPN)尋找可能包含缺陷的區(qū)域。在原始圖像中列出了可能的相關缺陷及位置后,Faster R-CNN網絡使用該信息對邊界框中的內容進行分類,以及調整邊界框最佳匹配缺陷。在執(zhí)行以上步驟之后,顯示所有篩選區(qū)域內的缺陷類別,并識別有缺陷區(qū)域的位置。

4 實驗與結果

4.1 樣本制作與數據采集

為獲得缺陷高度敏感的識別,樣本尺寸和缺陷位置應具有多樣性,訓練樣本應是不同尺寸和位置的缺陷剪切散斑干涉相位圖,這些相位圖代表實際樣本中預期的特征。為此,本次實驗制作了多種尺寸和類型的缺陷樣本,樣本制作過程如圖5所示,其中,(a),(b)為模擬不同形狀的內部缺陷圖,(c)為制作完成的內部含缺陷的試樣。試樣中間是一塊長寬高為150 mm×150 mm×5 mm的鋁板,并在鋁板上制作了幾種不同形狀和尺寸的孔洞,并在鋁板兩面均粘貼厚度為4 mm的橡膠板,以此模擬復合材料中脫粘、氣泡和分層等缺陷。

圖5 缺陷樣本

完成樣本缺陷的制作之后,即可使用剪切散斑干涉無損檢測儀進行缺陷圖像數據的采集。該設備采用532 nm激光器,相機的空間分辨率為2048×1536,型號為MER2-302-37 GM-P,幀率為37 f/s。如圖6所示為剪切散斑干涉無損檢測儀對樣本進行采集,其中加熱燈熱加載時間設置為2 s,采樣間隔時間為5 s,重復上述操作,并采集500幅包含缺陷的剪切散斑干涉條紋的圖像 。如圖7所示為采集的部分數據。

圖6 剪切散斑干涉無損檢測儀采集樣本數據

圖7 采集的部分數據

4.2 缺陷智能檢測

將上述采集到的含有缺陷的500幅圖像隨機選擇80 %作為YOLOv5和Faster R-CNN網絡的訓練數據集,剩下的20 %則是用來評估兩個模型準確性的測試數據集。訓練樣本由500幅包含缺陷的剪切散斑干涉條紋的圖像組成,這些圖像是由邁克爾遜剪切散斑干涉檢測設備對粘有橡膠的鋁板實體進行熱加載時獲得的。由于這些樣本圖像是從一系列脫粘缺陷實驗中采集的,因此缺陷的剪切散斑條紋自然也各不相同。為了能夠對模型進行有效的應用測試,所以樣本被分為訓練集和測試集。

搭建適合的硬件和軟件環(huán)境是深度學習算法運行的首要條件。在本文實驗中所有算法均在Windows10的64位操縱系統(tǒng)上運行,該系統(tǒng)搭載Intel Core i9-10900處理器,NVIDIA Quadro RTX 4000 顯卡和32 G內存,實驗網絡在由python 3.7.11和pytorch 1.8.1搭建的框架內運行。為提高訓練模型的速度,所以配置了cuda和cudnn來調用GPU參與訓練。最后,本文對復合材料板結構進行了自動檢測,結果如圖8所示。由此可知,測試結果與人工觀察判斷結果一致,并且大大提高了缺陷檢測效率。

圖8 缺陷識別效果圖

4.3 模型評價

在深度學習領域中,模型的效果需要用多種指標來進行評價。目標檢測模型的評價指標有精度(Precision)、召回率(Recall)、PR曲線、AP(平均精度)等。本次實驗對樣本數據進行10次訓練集和測試集的隨機選擇(D0～D9),然后分別對這10組數據集進行訓練,最后通過檢測速率和檢測精度對訓練完成的YOLOv5和Faster R-CNN模型進行對比分析。

如圖9(a)和(b)所示分別為YOLOv5和Faster R-CNN模型在本次實驗硬件及軟件環(huán)境下的檢測精度和速率對比。從圖中可知,在檢測精度方面,Faster R-CNN明顯比YOLOv5更高,且檢測精度也更加穩(wěn)定;計算10次訓練模型的精度平均值,得到Faster R-CNN和YOLOv5的平均精度分別為97.84 %和92.09 %。而在檢測速率方面,Faster R-CNN的平均檢測速率為11 f/s,YOLOv5的平均檢測速率則可達到50 f/s,YOLOv5明顯比Faster R-CNN更快。

圖9 YOLOv5和Faster R-CNN模型

5 分析與討論

上述實驗將YOLOv5和Faster R-CNN算法應用于剪切散斑干涉缺陷圖像的自動識別,分析對比了兩者的檢測精度和檢測速率。其中,YOLOv5模型尺寸小,部署成本低,靈活性高,檢測速率快;而Faster R-CNN檢測精度高,但模型較為復雜。兩種基于深度學習的缺陷檢測方法的檢測精度和檢測速率都遠遠高于傳統(tǒng)的識別方法,能有效提高實際工程應用的缺陷檢測效率和準確率。在實際的工程運用中,可根據需求選擇使用YOLOv5和Faster R-CNN方法。當然,本研究是基于實驗室的模擬缺陷所建立的模型,實際應用中增加更多不同類型、尺寸的樣本量,將能進一步提高缺陷的識別率。同時,通過提升計算機的硬件配置可進一步提高缺陷的識別效率。

6 結 論

本次研究搭建基于邁克爾遜干涉的剪切成像系統(tǒng)并利用高精度四步相移技術獲得高質量剪切成像條紋;然后使用YOLOv5和Faster R-CNN深度學習算法對典型剪切散斑干涉缺陷條紋數據集進行訓練,得到相應的檢測模型;最后將這兩種檢測模型成功地應用于復合材料的缺陷識別。在本次實驗條件下,YOLOv5和Faster R-CNN缺陷識別方法的檢測平均精度分別為92.09 %和97.84 %,檢測平均速率分別為50 f/s和11 f/s。因此,提出的兩種缺陷檢測方法能夠有效提高剪切散斑干涉成像復合材料缺陷評估中的檢測效率和準確率。