林 麗,劉 新,朱俊臻,馮輔周
〈無損檢測〉
基于卷積神經(jīng)網(wǎng)絡(luò)的超聲紅外熱圖像分類
林 麗1,劉 新1,朱俊臻2,馮輔周2
(1. 大連交通大學(xué) 機車車輛工程學(xué)院,遼寧 大連 116000;2. 陸軍裝甲兵學(xué)院車輛工程系,北京 100072)
在超聲紅外熱像技術(shù)應(yīng)用中,從紅外熱圖像來判斷被測對象是否含有裂紋,通常需要先基于人工經(jīng)驗,從紅外熱圖像中提取特征再采用某種模式識別方法進行分類,裂紋的識別與定位過程繁瑣且識別率較低。為此,提出一種基于卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的超聲紅外熱圖像裂紋檢測與識別方法,其特點是可以直接從超聲紅外圖像中學(xué)習(xí)特征進而實現(xiàn)是否含有裂紋紅外熱圖像的分類。通過實驗得到的含裂紋和不含裂紋金屬平板試件的紅外熱圖像,建立卷積神經(jīng)網(wǎng)絡(luò)模型對圖像中是否含有裂紋進行分類,研究結(jié)果表明,參數(shù)優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)模型對超聲紅外熱圖像的有無裂紋分類準(zhǔn)確率達到98.7%。
卷積神經(jīng)網(wǎng)絡(luò);超聲紅外檢測;圖像識別;圖像分類
科技快速發(fā)展,計算機性能得到大幅提升,深度學(xué)習(xí)作為一種實現(xiàn)人工智能的強大技術(shù),在圖像視頻、語音處理等領(lǐng)域獲得了大量成果,對各個領(lǐng)域都產(chǎn)生了廣泛的影響。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)作為深度學(xué)習(xí)中極為重要的模型,自2012年以來極大地推進了圖像分類、識別和理解技術(shù)的發(fā)展。曾平平等人[1]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到水果圖像分類中并取得了較好的識別率。林明旺等人[2]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于魚類圖像識別分類,識別率達到了96.24%。張安安等人[3]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于軸承故障模式的識別中,該方法較其他方法分類準(zhǔn)確率提高了4.26%。當(dāng)然,卷積神經(jīng)網(wǎng)絡(luò)的影響不僅僅局限于圖像處理,通過與其他技術(shù)的結(jié)合,卷積神經(jīng)網(wǎng)絡(luò)也在用于圍棋程序AlphaGo、語音識別和機器翻譯軟件等各種應(yīng)用系統(tǒng),推動了人工智能的空前發(fā)展[4]。
本文依據(jù)卷積神經(jīng)網(wǎng)絡(luò)的特性提出了一種利用卷積神經(jīng)網(wǎng)絡(luò)對超聲紅外熱圖像分類的技術(shù)從而實現(xiàn)對裂紋的檢測與分類,本方法將超聲紅外檢測所得的圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中進行學(xué)習(xí)對其識別分類,并對多種網(wǎng)絡(luò)的識別率進行對比,以確定最優(yōu)方案。
卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)為5部分,分別為輸入層(Input Layer)、交替分布的卷積層(Convolution Layer)和池化層(Pooling Layer)、全連接層(Fully Connected Layer,F(xiàn)C)和輸出層(Output Layer)[5]。
輸入的圖像為矩陣形式,卷積層對應(yīng)的卷積運算是此矩陣與參數(shù)矩陣在卷積層中做卷積操作的過程。參數(shù)矩陣也被稱作卷積核,不同的卷積核能夠提取到圖像中的不同特征。卷積核的每個元素與被卷積圖像對應(yīng)位置相乘,再求和。通過卷積核的不斷移動,就會產(chǎn)生新的圖像,該圖像完全由卷積核在各個位置時的乘積求和的結(jié)果組成。卷積網(wǎng)絡(luò)中的卷積核參數(shù)是通過反向傳播中不斷優(yōu)化訓(xùn)練出來的,卷積核除了可以學(xué)習(xí)到類似于橫向邊緣、縱向邊緣,還可以學(xué)習(xí)到任意角度邊緣甚至檢測顏色、紋理等信息[5]。
池化層主要的作用是下采樣,通過去掉特征圖(feature map)中不重要的樣本,進一步減少參數(shù)數(shù)量。池化的方法很多,常用的是最大池化(max pooling)與平均池化(mean pooling)。最大池化實際上就是在×的樣本中取最大值,作為采樣后的樣本值。平均池化就是取其平均值作為采樣后的樣本值。池化層可降低數(shù)據(jù)維度,避免過擬合、增強局部感受野以及提高平移不變性。
全連接層的作用是搭建特征提取到分類的橋梁。全連接層將學(xué)習(xí)到的特征空間里的特征參數(shù)映射到樣本的標(biāo)記空間里。特征向量的長度對應(yīng)分類的類別數(shù)。由于此特征向量里的值是將經(jīng)過多個卷積層、池化層以及激活函數(shù)所獲得的圖像特征進行高度提純后得到的,所以這個特征向量具有高層的特征信息,即包含了輸入圖像經(jīng)過各種操作的所有特征的組合信息,這些信息就是圖像中最具有特點的特征,這樣就可以通過這些信息輸出圖像具體所屬類別的概率值對圖像進行分類。
2.1.1 紅外熱成像無損檢測技術(shù)的原理
超聲紅外熱像技術(shù)采用超聲脈沖作為激勵源,注入被測對象的振動能量傳播至裂紋、分層等接觸界面類型缺陷區(qū)域時,缺陷區(qū)域因摩擦生熱、塑性變形等產(chǎn)生熱量,使機械能轉(zhuǎn)化為熱能,產(chǎn)生的熱量以熱波的形式向試件表面?zhèn)鲗?dǎo),從而通過熱像儀獲取表面溫度分布來判斷被測對象內(nèi)部或表面缺陷[6]。
超聲紅外熱像技術(shù)發(fā)揮了超聲和紅外熱像技術(shù)的優(yōu)點。利用超聲在傳播路徑上因缺陷等不均勻結(jié)構(gòu)引起超聲的附加衰減,使缺陷局部溫度升高,同時利用紅外照相機以較大的視場顯示被檢測物體的表面溫度分布,而不必考慮超聲源與缺陷之間的相對方位和距離。由此,采用紅外熱像技術(shù)進行缺陷檢測的特點是不受材料的幾何結(jié)構(gòu)及材質(zhì)的限制,可以實現(xiàn)非接觸、大面積的檢測,具有可靠性強、靈敏度高、檢測速度快和使用方便等優(yōu)點[7]。
2.1.2 系統(tǒng)組成
課題組自主設(shè)計搭建了一套超聲紅外熱像無損檢測實驗臺并編寫一套超聲紅外無損檢測系統(tǒng)軟件,實現(xiàn)軟件及硬件上的實驗要求,并實現(xiàn)激勵與圖像信號采集的同步控制。實驗臺主要由超聲激勵裝置、圖像采集裝置及導(dǎo)軌等輔助裝置組成,如圖1所示。
圖1 超聲紅外熱像無損檢測實驗臺
圖像采集裝置采用美國FLIR公司生產(chǎn)的T640型紅外熱像儀,主要用于實現(xiàn)采集對象表面的溫度場信息。其采用非制冷微熱量紅外焦平面陣列,實現(xiàn)了整幅圖像所有像素點同時采集,有效避免了光機掃描式紅外熱像儀存在的同一幅圖像不同像素點采集時間有偏差的不足。該熱像儀可以提供T系列紅外熱像儀中最高的紅外圖像分辨率,為640pixel×480pixel,熱靈敏度優(yōu)于0.035℃,圖像采集幀頻為30Hz,鏡頭可實現(xiàn)120°上下翻轉(zhuǎn)。其自帶軟件FLIR-Research IR功能強大,可在同一場景下序列圖像中選定多個不同形狀區(qū)域,并繪制選定區(qū)域的平均溫度值、最高溫度值等相關(guān)溫度信息隨時間的變化曲線,并實現(xiàn)簡單的圖像處理功能。
本次實驗數(shù)據(jù)采集的對象為金屬平板試件,分為有裂紋與無裂紋。在課題組搭建的試驗臺上進行金屬板的激勵采集實驗。控制采集終端采用課題組自主開發(fā)的系統(tǒng),可實現(xiàn)對紅外熱像儀及超聲換能器在自動、手動兩種情況下的同步控制,并可視實驗需求對超聲激勵振幅、頻率、作用時間進行快速調(diào)節(jié),在最短時間內(nèi)完成對待測件的有效檢測。
實驗共進行6組,每組實驗對應(yīng)著不同的激勵參數(shù)或不同的激勵位置。激勵結(jié)束后實驗采集系統(tǒng)會自動生成對應(yīng)文件,然后通過FLIR-Research IR軟件生成CSV文件。
此次選取的實驗數(shù)據(jù)為同側(cè)激勵,獲得的圖像共有兩千多張,圖2給出了一張含裂紋缺陷的紅外熱圖像,圖中溫度較高的紅色圓點周圍區(qū)域?qū)?yīng)著實際裂紋所在位置。
將實驗所得的CSV文件輸入到軟件MATLAB中進行圖像處理,選取所需的實驗范圍,制作實驗所需的數(shù)據(jù)集。最終實驗圖像數(shù)據(jù)共2024張,含有裂紋和無裂紋各1012張,并將圖像像素尺寸大小先后設(shè)置為16×16、32×32、64×64、128×128。并分別進行卷積神經(jīng)網(wǎng)絡(luò)的建模與測試。
2.3.1 AlexNet網(wǎng)絡(luò)模型
本文采用深度學(xué)習(xí)框架Deep Network Designer構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)。Deep Network Designer是一個基于MATLAB的神經(jīng)網(wǎng)絡(luò)設(shè)計平臺,與MATLAB軟件有著良好的兼容性。整個AlexNet[8]有8個需要訓(xùn)練的層,不包含局部響應(yīng)歸一化(Local Response Normalization,LRN)層和池化層,前5層是卷積層,后3層全連接層。此處用軟最大函數(shù)(Softmax)層替代最后一層全連接層,新的網(wǎng)絡(luò)模型依舊有8層,其中包含了5個卷積層(C1、C2、C3、C4、C5),2層全連接(F1、F2)和1個分類層。使用重疊最大池化方法,池化核尺寸大于步長,使卷積層的輸出之間有重疊部分,提升了特征的豐富性。使用校正線性單元(Rectified Linear Unit,ReLU)作為激活函數(shù),并將其應(yīng)用于每個卷積層及全連接層的輸出之后,解決網(wǎng)絡(luò)較深時的梯度彌散問題。在6、7兩個全連接層后使用丟失(Dropout)算法,隨機讓網(wǎng)絡(luò)的某些節(jié)點失去作用,減小過擬合,網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,網(wǎng)絡(luò)模型及參數(shù)如表1所示。
2.3.2 迭代次數(shù)的確定
迭代的過程是不斷擬合不斷逼近,迭代次數(shù)(epoch)過少會影響擬合效果。當(dāng)?shù)螖?shù)到達一定數(shù)量時,擬合誤差接近收斂,不再減小,過高的迭代次數(shù)會不斷的增加實驗的時間成本。所以選擇適當(dāng)?shù)牡螖?shù)能在得到最佳擬合效果的同時擁有最小的時間成本。
圖2 實驗獲得的超聲紅外圖像
圖3 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)
為測試最佳的迭代次數(shù),簡化討論的復(fù)雜度,將迭代次數(shù)以外的其他參數(shù)設(shè)為固定值,應(yīng)用上述CNN網(wǎng)絡(luò)模型,設(shè)定最大迭代次數(shù)為30次,通過網(wǎng)絡(luò)的訓(xùn)練選取最佳的迭代次數(shù)。
2.3.3 網(wǎng)絡(luò)模型性能參數(shù)優(yōu)化
對AlexNet模型中可調(diào)參數(shù)進行優(yōu)化,此處優(yōu)化的參數(shù)有兩個,分別是網(wǎng)絡(luò)訓(xùn)練時批量尺寸(batchsize)以及在防止過擬合中使用的丟失比率。
批量尺寸即每次訓(xùn)練在訓(xùn)練集中取定量樣本訓(xùn)練,迭代過程以iteration作為單位,1個iteration等于使用批量尺寸個樣本訓(xùn)練一次,而迭代次數(shù)等于使用訓(xùn)練集中的全部樣本訓(xùn)練的次數(shù)。批量尺寸在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中,影響著網(wǎng)絡(luò)的訓(xùn)練速度和網(wǎng)絡(luò)最終的訓(xùn)練效果,當(dāng)批量尺寸選擇較大的時候,網(wǎng)絡(luò)訓(xùn)練收斂速度比較快,但同時由于權(quán)值調(diào)整次數(shù)減少會影響訓(xùn)練效果,批量尺寸選擇較小時則反之,所以,需要在較小的時間成本內(nèi)取得較好的網(wǎng)絡(luò)訓(xùn)練效果,那么就需要根據(jù)時間成本和訓(xùn)練效果的平衡來選擇合適的批量尺寸。
批量尺寸一般需要滿足可以整除全部樣本數(shù)據(jù)個數(shù),但實際訓(xùn)練中如果不能整除,網(wǎng)絡(luò)會自動舍棄最后的余數(shù)部分?jǐn)?shù)據(jù),在樣本量較大的情況下不會影響整體的訓(xùn)練效果。AlexNet模型中批量尺寸一般為16的倍數(shù),所以實驗中選擇批量尺寸大小依次為16,32,64,128;參數(shù)在MATLAB深度學(xué)習(xí)程序training Options下進行調(diào)整;重復(fù)實驗10次,取10次實驗最終分類正確率的平均值和訓(xùn)練所用時間的平均值為標(biāo)準(zhǔn),則二者隨批量尺寸的變化關(guān)系如表2所示。
由表2可以看出,批量尺寸選擇的越大,網(wǎng)絡(luò)訓(xùn)練時間就會越長;除了批量尺寸取16時的識別正確率較低,其余情況下識別率基本在97%左右,因為在批量尺寸選擇的過小的時候,網(wǎng)絡(luò)收斂不穩(wěn)定,loss函數(shù)收斂動蕩,導(dǎo)致在批量尺寸最小時有著最低的識別率。所以實際應(yīng)用中,在保證時間成本的情況下,選擇恰當(dāng)?shù)呐砍叽缈梢蕴岣呔W(wǎng)絡(luò)的識別正確率,有助于故障類別的判斷。針對此次實驗可以將批量尺寸選擇為32或者64。
表2 不同批量尺寸下的識別正確率和網(wǎng)絡(luò)訓(xùn)練時間
2012年,Alex、Hinton提出了AlexNet模型的同時,用到了丟失算法,用于防止過擬合[8]。丟失算法的工作原理是在每次網(wǎng)絡(luò)訓(xùn)練中,通過忽略一定比例的特征檢測器,可以減少過擬合現(xiàn)象的發(fā)生。而丟失比率代表著忽略特征檢測器的比例,不同比例的忽略可以對過擬合現(xiàn)象有著不同的影響。參數(shù)與批量尺寸大小一樣可以在MATLAB深度學(xué)習(xí)程序training options下進行調(diào)整。丟失比率從無到有一般可以選擇10種比率,分別為0到0.9,間隔為0.1。針對10種比率,重復(fù)10次實驗,取10次實驗最終分類正確率的平均值為標(biāo)準(zhǔn),識別正確率隨丟失比率變化的關(guān)系如表3、表4所示。
對批量尺寸32與64兩者分別進行dropout比率的選取實驗,通過實驗,最終確定參數(shù)的選擇為批量尺寸選取64、dropout選取0.5、迭代次數(shù)為20次。
2.3.4 模型實驗
實驗平臺為WIN10系統(tǒng),仿真軟件為MATLAB2019b,GPU為GeForce GTX 1060 3G。將不同大小尺寸的圖像輸入到網(wǎng)絡(luò)中進行訓(xùn)練識別,輸入到網(wǎng)絡(luò)中的圖像70%作為訓(xùn)練集,其余各15%為測試集和驗證集。進行10次實驗取其均值,獲得的識別率如表5所示,其中某次訓(xùn)練的正確率和損失曲線如圖4所示,此次測試樣本的分類結(jié)果如圖5所示。分類結(jié)果圖5中的矩陣稱為混淆矩陣,其中,橫軸表示實際情況,縱軸表示預(yù)測情況。最右下角方框中的百分比分別代表所有測試樣本分類的正確率和錯誤率,最后一行方框(除去最右下角方框中)的百分比分別代表每種圖像測試樣本分類的正確率和錯誤率[3]。此模型訓(xùn)練及分類結(jié)果并未達到100%,與樣本集的數(shù)量大小有一定的關(guān)聯(lián),在實驗條件允許的情況下增加數(shù)據(jù)集進行實驗,獲得的識別率一定會有所提高。
表3 批量尺寸32時不同丟失比率下的識別率
表4 批量尺寸64時不同丟失比率下的識別率
圖4 訓(xùn)練結(jié)果曲線
圖5 測試樣本分類結(jié)果
表5 不同尺寸圖像識別率
由此可知圖像尺寸為64×64時識別率最高,達到98.7%且時間相對較少。
2.3.5 模型對比
為了驗證此網(wǎng)絡(luò)模型的分類識別的能力,將其與GoogLeNet[9]和ResNet[10]兩種CNN模型進行對比,GoogLeNet和ResNet網(wǎng)絡(luò)模型分別是2014年和2015年世界ImageNet比賽的冠軍,網(wǎng)絡(luò)深度分別為22層和50層(卷積層加全連接層的數(shù)量)。使用與AlexNet相同的輸入,即相同的圖像樣本集,網(wǎng)絡(luò)訓(xùn)練參數(shù)也設(shè)置為相同,批量尺寸設(shè)置時,GoogLeNet模型和AlexNet模型均可設(shè)置為64;ResNet模型訓(xùn)練時當(dāng)把批量尺寸設(shè)置為64會出現(xiàn)程序錯誤的現(xiàn)象,所以本實驗把模型批量尺寸統(tǒng)一設(shè)置為32,迭代次數(shù)為15。實驗結(jié)果如表6所示。從表6可知,參數(shù)優(yōu)化后的AlexNet網(wǎng)絡(luò)模型有著最高的識別率且相對較少的網(wǎng)絡(luò)訓(xùn)練時間。
表6 各神經(jīng)網(wǎng)絡(luò)模型對比
針對超聲紅外熱圖像識別分類需要先基于人工經(jīng)驗,從紅外熱圖像中提取特征再采用某種模式識別方法進行裂紋的識別與定位,過程繁瑣且識別率較低。本文結(jié)合CNN在圖像特征自動提取與圖像分類識別中的廣泛應(yīng)用,提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的超聲紅外熱圖像分類技術(shù),其可應(yīng)用于金屬件(車軸等)裂紋的檢測與分類識別。本文對多種網(wǎng)絡(luò)模型進行對比,最終確定最優(yōu)方案。實驗結(jié)果表明:參數(shù)優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)AlexNet模型對超聲紅外熱圖像的分類即對裂紋檢測與識別的技術(shù)是可行的,其識別率達到了98.7%。
[1] 曾平平, 李林升. 基于卷積神經(jīng)網(wǎng)絡(luò)的水果圖像分類識別研究[J]. 機械設(shè)計與研究, 2019, 35(1): 23-26, 34.
ZENG Pingping, LI Linsheng . Classification and Recognition of Common Fruit Images Based on Convolutional Neural Network[J]., 2019, 35(1): 23-26, 34.
[2] 林明旺. 基于卷積神經(jīng)網(wǎng)絡(luò)的魚類圖像識別與分類[J]. 電子技術(shù)與軟件工程, 2017(6): 82-83.
LIN Mingwang. Fish image recognition and classification based on convolutional neural network[J]., 2017(6): 82-83.
[3] 張安安, 黃晉英, 冀樹偉, 等.基于卷積神經(jīng)網(wǎng)絡(luò)圖像分類的軸承故障模式識別[J]. 振動與沖擊, 2020, 39(4): 165-171.
ZHANG An’an, HUANG Jinying, JI Shuwei, et al. Bearing fault pattern recognition based on image classification with CNN[J]., 2020, 39(4): 165-171.
[4] 李玉鑑, 張婷, 單傳輝, 等. 深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)從入門到精通[M]. 北京: 機械工業(yè)出版社,2018.
LI Yujian, ZHANG Ting, SHAN Chuanhui, et al.[M]. Beijing: China Machine Press, 2018.
[5] 李彥冬, 郝宗波, 雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計算機應(yīng)用, 2016, 36(9): 2508-2515, 2565.
LI Yandong, HAO Zongbo, LEI Hang. Survey of convolutional neural network[J]., 2016, 36(9): 2508-2515, 2565.
[6] 馮輔周, 張超省, 宋愛斌, 等. 超聲紅外熱像檢測中疲勞裂紋的檢出概率模型研究[J]. 紅外與激光工程, 2016, 45(3): 60-65.
FENG Fuzhou, ZHANG Chaosheng, SONG Aibin, et al. Probability of detection model for fatigue crack in ultrasonic infrared imaging[J]., 2016, 45(3): 60-65.
[7] 馮輔周, 張超省, 閔慶旭, 等. 超聲紅外熱像技術(shù)中金屬平板裂紋的生熱特性[J]. 紅外與激光工程, 2015, 44(5): 1456-14461.
FENG Fuzhou, ZHANG Chaosheng, MIN Qingxu, et al. Heating characteristics of metal plate crack in sonic IR imaging[J]., 2015, 44(5): 1456-14461.
[8] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//, 2012: 1106-1114.
[9] Szegedy C, LIU W, JIA Y, et al. Going deeper with convolutions[C]//2015:, 2015: 1-8.
[10] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[EB/OL]. [2020-6-20]. https://arxiv.org/pdf/1512.03385.pdf.
Classification of Ultrasonic Infrared Thermal Images Using a Convolutional Neural Network
LIN Li1,LIU Xin1,ZHU Junzhen2,F(xiàn)ENG Fuzhou2
(1.,116000,;2.,,100072,)
In the application of ultrasonic infrared thermographic technology, it is usually necessary to extract features from infrared thermographic images based on artificial experience and then adopt a pattern recognition method to classify the cracks. The identification and positioning process of the cracks is complicated, and the recognition rate is low. Therefore, a method of crack detection and recognition in ultrasonic infrared thermal images based on convolutional neural network technology is proposed in this paper. Its feature is that the features can be directly learned from the ultrasonic infrared image to realize the classification of infrared thermal images containing cracks. Thesis through the research experiment of metal plate specimen of the crack in and do not contain infrared thermal images, the convolutional neural network model is established for whether the image contains crack classification, the results show that the parameter optimized convolution neural network model for ultrasonic infrared thermal images of crack classification accuracy rate reached 98.7%.
convolutional neural network; ultrasonic infrared detection; image recognition; image classification
TP391
A
1001-8891(2021)05-0496-06
2020-06-29;
2020-10-24.
林麗(1971-),女,副教授,博士,碩士生導(dǎo)師,主要從事列車故障診斷方面的研究。E-mail:julandalili@126.com。
馮輔周(1971-),男,教授,博士生導(dǎo)師,主要從事故障診斷與無損檢測技術(shù)研究。E-mail:fengfuzhou@tsinghua.org.cn。
國家自然科學(xué)基金(51875576);教育部重點實驗室開放基金項目(EW201980445)。