章栩苓，周正東，毛 玲，張靈維，魏士松,2

(1.南京航空航天大學(xué)機(jī)械結(jié)構(gòu)力學(xué)及控制國家重點(diǎn)實驗室，江蘇 南京 210016)(2.上海航天精密機(jī)械研究所，上海 201600)

隨著高速加工、安全保障和節(jié)能需求的日益增長，復(fù)合材料的應(yīng)用領(lǐng)域不斷擴(kuò)大。其中，碳纖維增強(qiáng)復(fù)合材料(carbon fiber reinforced plastic, CFRP)由于其具有質(zhì)量輕、比強(qiáng)度高等突出的力學(xué)性能，已成為最常用的復(fù)合材料之一，廣泛應(yīng)用于航空航天、交通運(yùn)輸?shù)刃袠I(yè)。然而，復(fù)合材料的成形工藝和使用條件極其復(fù)雜，制造工藝、運(yùn)輸和操作等都可能在復(fù)合材料的表面或內(nèi)部形成微小的變形或缺陷(如夾雜、裂紋、空洞、分層等)，進(jìn)而導(dǎo)致嚴(yán)重后果[1]。

目前常用的復(fù)合材料無損檢測方法主要有超聲檢測、紅外熱成像檢測、X射線檢測等[2-3]。超聲檢測適用于檢測內(nèi)部缺陷，但需使用耦合劑且對不同缺陷的專業(yè)度要求高；紅外熱成像檢測速度較快，但檢測深度??；X射線檢測能較好地解決材料內(nèi)部密度分布不均的問題，可用于檢測大部分的缺陷類型，檢測效率較高。雖然上述無損檢測方法可以提供CFRP缺陷的信息和圖像，但后續(xù)的缺陷或可疑位置的檢測和定位通常依賴人工處理，其工作量大、效率低，且僅憑人眼進(jìn)行判別不客觀。因此，亟需一種自動且準(zhǔn)確可靠的方法對CFRP缺陷進(jìn)行檢測。

傳統(tǒng)的圖像處理可作為一種對圖像中的缺陷進(jìn)行分類和檢測的有效方法。閆俊紅等[4]在對鋼板缺陷圖像濾波去噪的基礎(chǔ)上，采用Otsu閾值法進(jìn)行圖像分割，對缺陷的周長、面積及寬度等幾何特征進(jìn)行提取并識別。王子冠等[5]用傳統(tǒng)的圖像處理對軌道進(jìn)行識別檢測，提出利用Sobel算子提取圖像邊緣特征，再用Hough變換識別圖像中的軌道，算法簡單且速度快，但在有光照和遮擋的復(fù)雜環(huán)境下，識別性能受到明顯影響。

近年來，機(jī)器學(xué)習(xí)在圖像處理、計算機(jī)視覺等領(lǐng)域表現(xiàn)出了強(qiáng)大的潛力，使之在缺陷分類和檢測領(lǐng)域的應(yīng)用成為可能[6]。越來越多的機(jī)器學(xué)習(xí)模型被用于缺陷的分類和檢測[7-9]，如深度神經(jīng)網(wǎng)絡(luò)[10-14]、多層感知器[15]等。Wei等[16]用改進(jìn)的SIFT算法對圖像進(jìn)行特征提取，并用VGG16對圖像進(jìn)行分類和識別；王鳴霄等[17]設(shè)計了一個分層的分類體系結(jié)構(gòu)，首先利用二分類模型將輸入圖像分為有缺陷和無缺陷兩類，再利用多分類模型對預(yù)測為缺陷的圖像進(jìn)一步細(xì)分類，緩解了數(shù)據(jù)不平衡的問題。

本文針對環(huán)狀CFRP的X射線圖像中的背景給缺陷分類和檢測帶來干擾的問題，利用圖像變換有效減少了圖像中的黑色背景部分。實驗結(jié)果表明，與原始圖像訓(xùn)練LeNet-5相比，利用變換后的圖像訓(xùn)練LeNet-5能夠使缺陷的召回率、查準(zhǔn)率和F1值得到顯著提高。

1 圖像預(yù)處理

1.1 圖像擴(kuò)增

在工業(yè)生產(chǎn)中，CFRP缺陷圖像數(shù)據(jù)集規(guī)模小，而卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量的圖像數(shù)據(jù)，為此本文采用增加或降低對比度以及翻轉(zhuǎn)、旋轉(zhuǎn)90°和180°的方法進(jìn)行圖像擴(kuò)增。本文數(shù)據(jù)的缺陷類別分別是聚膠、夾雜、氣孔和裂紋，共4類。把這4類的數(shù)據(jù)共同作為含有缺陷的數(shù)據(jù)集，與不含有缺陷的數(shù)據(jù)一起輸入LeNet-5網(wǎng)絡(luò)進(jìn)行二分類訓(xùn)練。

1.2 圖像變換

本文利用X射線數(shù)字?jǐn)z影技術(shù)對環(huán)狀CFRP零件進(jìn)行成像，圖像大小為1 024像素×1 024像素，而缺陷尺寸比圖像小很多。為了確保分類性能并減少計算量，根據(jù)CFRP缺陷尺寸的統(tǒng)計參數(shù)將原圖像裁剪為64像素×64像素大小的圖像塊。然而原始環(huán)狀CFRP圖像中存在大量的背景，致使神經(jīng)網(wǎng)絡(luò)的分類性能下降。為此，本文運(yùn)用極坐標(biāo)圖像變換對環(huán)狀CFRP圖像進(jìn)行處理，將其變換為矩形。首先，對圖中的環(huán)狀目標(biāo)進(jìn)行輪廓跟蹤，根據(jù)提取的輪廓數(shù)據(jù)進(jìn)行圓環(huán)擬合，得到環(huán)狀目標(biāo)的圓心坐標(biāo)；然后運(yùn)用極坐標(biāo)變換將原始環(huán)狀圖像變換為矩形；最后在變換后的圖像中提取感興趣區(qū)域并進(jìn)行分塊構(gòu)成數(shù)據(jù)集。

1.2.1圓環(huán)擬合

為了驗證算法的性能，仿照環(huán)狀CFRP的X射線圖像，制作了圓心坐標(biāo)為(700, 700)、半徑分別為450和600的同心圓環(huán)狀仿真圖，并用Otsu法得到其二值圖像，如圖1(a)所示。對二值圖像進(jìn)行輪廓跟蹤得到輪廓上每個點(diǎn)的坐標(biāo)，如圖1(b)所示，進(jìn)一步得到輪廓點(diǎn)橫、縱坐標(biāo)值的分布曲線，如圖1(c)和圖1(d)所示，從圖中可以觀察到圖像中存在明顯的直線段，表明該范圍輪廓點(diǎn)的橫、縱坐標(biāo)保持不變。結(jié)合圖1(b)可知，直線段的起點(diǎn)和終點(diǎn)對應(yīng)圓弧的起點(diǎn)和終點(diǎn)。利用差分法對輪廓點(diǎn)的橫、縱坐標(biāo)求微分，找到圓弧的起點(diǎn)和終點(diǎn)。根據(jù)起點(diǎn)和終點(diǎn)分離輪廓，可得到兩段圓弧的輪廓，如圖1(e)所示。運(yùn)用最小二乘法分別對兩段圓弧進(jìn)行擬合，擬合結(jié)果如圖1(f)所示。對內(nèi)環(huán)輪廓點(diǎn)進(jìn)行擬合得到的圓心坐標(biāo)為(700.45, 700.30)，半徑為449.83，圓心橫坐標(biāo)的誤差為0.064%，圓心縱坐標(biāo)的誤差為0.043%，半徑的誤差為0.038%。對外環(huán)輪廓點(diǎn)進(jìn)行擬合得到的圓心坐標(biāo)為(700.23, 700.10)，半徑為598.89，圓心橫坐標(biāo)的誤差為0.033%，圓心縱坐標(biāo)的誤差為0.014%，半徑的誤差為0.185%。從仿真結(jié)果可以看出，圓心坐標(biāo)和半徑的誤差都在0.2%以下，表明該方法性能優(yōu)良。對內(nèi)外兩個圓弧擬合得到的圓心坐標(biāo)取平均值作為最終的圓心坐標(biāo)擬合結(jié)果。

圖1 仿真圓環(huán)擬合過程圖

1.2.2坐標(biāo)系轉(zhuǎn)換

以圖像中各個點(diǎn)到擬合圓心的距離為半徑，根據(jù)極坐標(biāo)變換公式，將原圖直角坐標(biāo)系下的坐標(biāo)(x,y)變換為極坐標(biāo)系下的(r,θ)，如式(1)和(2)。將原圖中每個坐標(biāo)的像素值放置在變換圖像的對應(yīng)位置，得到坐標(biāo)系轉(zhuǎn)換后的圖像。

x=cx+rcosθ

(1)

y=cy+rsinθ

(2)

式中：cx和cy為圓心的橫坐標(biāo)和縱坐標(biāo)；r為半徑；θ為按逆時針方向坐標(biāo)距離極軸的角度。在實際環(huán)狀CFRP的X射線圖像上的變換過程如圖2所示。

圖2 坐標(biāo)系轉(zhuǎn)換過程圖

1.2.3感興趣區(qū)域提取

對圖像進(jìn)行極坐標(biāo)變換后，進(jìn)一步通過邊界跟蹤算法提取目標(biāo)區(qū)域。然后根據(jù)目標(biāo)輪廓找到其最小外接矩形，將其中的圖像裁剪出來作為感興趣區(qū)域，如圖3(a)所示。本文將感興趣區(qū)域統(tǒng)一按照從上到下、從左到右的順序依次分為64像素×64像素大小的圖像塊，再縮小為32像素×32像素大小的圖像以符合LeNet-5網(wǎng)絡(luò)輸入的要求，并把分塊的圖像按順序標(biāo)上序號，篩選出圖中含有缺陷的部分構(gòu)成有缺陷的數(shù)據(jù)集，不含有缺陷的部分構(gòu)成無缺陷的數(shù)據(jù)集。本文數(shù)據(jù)集的分配見表1。從變換圖像中裁剪得到的缺陷圖如圖3(b)所示，與從原圖像中裁剪的樣本(圖3(c))相比，在圖3(b)中黑色背景部分基本被消除。

圖3 感興趣區(qū)域提取及裁剪過程圖

表1 數(shù)據(jù)集分配表

2 網(wǎng)絡(luò)結(jié)構(gòu)

LeNet-5是由Lecun等[18]提出的一種卷積神經(jīng)網(wǎng)絡(luò)。它涵蓋了深度學(xué)習(xí)的基本模塊，包括卷積層、池化層和全連接層。在LeNet-5中，卷積核大小設(shè)置為5像素×5像素，步幅為1，最大池化層的過濾器都設(shè)置為2像素×2像素，步幅為2。LeNet-5網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示。

圖4 LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4中，C1是卷積層，可以提取6張28像素×28像素的特征圖；S2是池化層，可以提取6張尺寸為14像素×14像素的特征圖；C3是卷積層，可以提取16張尺寸為10像素×10像素的特征圖；S4是池化層，可以提取16張尺寸為5像素×5像素的特征圖；C5是卷積層，使用的卷積核為1像素×1像素，相當(dāng)于做了全連接的操作，最終輸出120個1像素×1像素的特征向量；C6表示84個神經(jīng)元的全連接層，輸出層有10個神經(jīng)元。

3 實驗結(jié)果與分析

本文采用Tensorflow-Slim框架在NVIDIA Quadro P2000顯卡上進(jìn)行訓(xùn)練，編程語言為python 3.5.2，運(yùn)行環(huán)境配置包括Tensorflow-GPU 1.11.0、NVIDIA CUDA toolkit 9.0、NVIDIA CUDA deep neural network library (cuDNN) 7.6.4。網(wǎng)絡(luò)的性能評價指標(biāo)為召回率(Recall)、查準(zhǔn)率(Precision)和F1值。召回率是指預(yù)測正確的正例與總預(yù)測正確的樣本的比率，查準(zhǔn)率是指預(yù)測正確的正例與所有正例的比率，F(xiàn)1值是基于召回率和查準(zhǔn)率的調(diào)和平均定義的，可以對召回率和查準(zhǔn)率進(jìn)行整體評價。召回率、查準(zhǔn)率和F1值分別由式(3)、(4)和(5)計算[19]。

(3)

(4)

(5)

式中：R為召回率；P為查準(zhǔn)率；TP為真正例；FN為假反例；FP為假正例。

實驗中，初始學(xué)習(xí)率設(shè)置為0.01，衰減方式為多項式衰減，最終學(xué)習(xí)率設(shè)置為0.000 1，批尺寸設(shè)置為16，迭代次數(shù)設(shè)置為100 000。利用原始樣本和圖像變換后的樣本對LeNet-5進(jìn)行訓(xùn)練，選用原始樣本訓(xùn)練InceptionV3和InceptionResNetV2作為對比網(wǎng)絡(luò)，得到的缺陷召回率、查準(zhǔn)率和F1值見表2。

表2 圖像分類的召回率、查準(zhǔn)率和F1值

從表2中可以看出，與利用原始樣本訓(xùn)練InceptionV3和InceptionResNetV2相比，LeNet-5網(wǎng)絡(luò)能獲得更優(yōu)的性能。原始樣本訓(xùn)練LeNet-5網(wǎng)絡(luò)得到的有缺陷樣本召回率、查準(zhǔn)率、F1值和無缺陷樣本查準(zhǔn)率均能達(dá)到最優(yōu)，但是無缺陷樣本召回率和F1值略低于InceptionResNetV2。與利用原始樣本訓(xùn)練LeNet-5相比，對于有缺陷樣本，利用圖像變換后的樣本訓(xùn)練LeNet-5得到的召回率、查準(zhǔn)率和F1值分別提高了11.02%、38.6%和25.02%；對于無缺陷樣本，利用圖像變換后的樣本訓(xùn)練LeNet-5得到的召回率、查準(zhǔn)率和F1值分別提高了53.8%、23.8%和38.1%。

4 結(jié)束語

針對環(huán)狀CFRP圖像，本文提出了一種結(jié)合LeNet-5和圖像變換的缺陷檢測新方法。該方法運(yùn)用圖像分割、目標(biāo)輪廓跟蹤、圓環(huán)擬合等技術(shù)得到環(huán)狀目標(biāo)的圓心，然后對原始圖像進(jìn)行極坐標(biāo)變換，將環(huán)狀目標(biāo)拉直，再提取變換后圖像中的感興趣區(qū)域并進(jìn)行分塊，構(gòu)成LeNet-5網(wǎng)絡(luò)訓(xùn)練和測試的數(shù)據(jù)集，根據(jù)分塊圖像的二分類結(jié)果得知缺陷的局部位置，實現(xiàn)對缺陷的檢測。實驗結(jié)果表明，所提出的方法能有效減少背景圖像的干擾，降低背景對網(wǎng)絡(luò)性能的影響，顯著提高缺陷檢測的召回率、查準(zhǔn)率和F1值。