林 麗，劉 新，朱俊臻，馮輔周

〈無損檢測〉

基于卷積神經網絡的超聲紅外熱圖像分類

林 麗1，劉 新1，朱俊臻2，馮輔周2

（1. 大連交通大學 機車車輛工程學院，遼寧 大連 116000；2. 陸軍裝甲兵學院車輛工程系，北京 100072）

在超聲紅外熱像技術應用中，從紅外熱圖像來判斷被測對象是否含有裂紋，通常需要先基于人工經驗，從紅外熱圖像中提取特征再采用某種模式識別方法進行分類，裂紋的識別與定位過程繁瑣且識別率較低。為此，提出一種基于卷積神經網絡技術的超聲紅外熱圖像裂紋檢測與識別方法，其特點是可以直接從超聲紅外圖像中學習特征進而實現是否含有裂紋紅外熱圖像的分類。通過實驗得到的含裂紋和不含裂紋金屬平板試件的紅外熱圖像，建立卷積神經網絡模型對圖像中是否含有裂紋進行分類，研究結果表明，參數優(yōu)化后的卷積神經網絡模型對超聲紅外熱圖像的有無裂紋分類準確率達到98.7%。

卷積神經網絡；超聲紅外檢測；圖像識別；圖像分類

0 引言

科技快速發(fā)展，計算機性能得到大幅提升，深度學習作為一種實現人工智能的強大技術，在圖像視頻、語音處理等領域獲得了大量成果，對各個領域都產生了廣泛的影響。卷積神經網絡（Convolutional Neural Network，CNN）作為深度學習中極為重要的模型，自2012年以來極大地推進了圖像分類、識別和理解技術的發(fā)展。曾平平等人[1]將卷積神經網絡應用到水果圖像分類中并取得了較好的識別率。林明旺等人[2]將卷積神經網絡應用于魚類圖像識別分類，識別率達到了96.24%。張安安等人[3]將卷積神經網絡應用于軸承故障模式的識別中，該方法較其他方法分類準確率提高了4.26%。當然，卷積神經網絡的影響不僅僅局限于圖像處理，通過與其他技術的結合，卷積神經網絡也在用于圍棋程序AlphaGo、語音識別和機器翻譯軟件等各種應用系統(tǒng)，推動了人工智能的空前發(fā)展[4]。

本文依據卷積神經網絡的特性提出了一種利用卷積神經網絡對超聲紅外熱圖像分類的技術從而實現對裂紋的檢測與分類，本方法將超聲紅外檢測所得的圖像輸入到卷積神經網絡中進行學習對其識別分類，并對多種網絡的識別率進行對比，以確定最優(yōu)方案。

1 卷積神經網絡

卷積神經網絡的基礎結構為5部分，分別為輸入層（Input Layer）、交替分布的卷積層（Convolution Layer）和池化層（Pooling Layer）、全連接層（Fully Connected Layer，FC）和輸出層（Output Layer）[5]。

1.1 卷積層

輸入的圖像為矩陣形式，卷積層對應的卷積運算是此矩陣與參數矩陣在卷積層中做卷積操作的過程。參數矩陣也被稱作卷積核，不同的卷積核能夠提取到圖像中的不同特征。卷積核的每個元素與被卷積圖像對應位置相乘，再求和。通過卷積核的不斷移動，就會產生新的圖像，該圖像完全由卷積核在各個位置時的乘積求和的結果組成。卷積網絡中的卷積核參數是通過反向傳播中不斷優(yōu)化訓練出來的，卷積核除了可以學習到類似于橫向邊緣、縱向邊緣，還可以學習到任意角度邊緣甚至檢測顏色、紋理等信息[5]。

1.2 池化層

池化層主要的作用是下采樣，通過去掉特征圖（feature map）中不重要的樣本，進一步減少參數數量。池化的方法很多，常用的是最大池化（max pooling）與平均池化（mean pooling）。最大池化實際上就是在×的樣本中取最大值，作為采樣后的樣本值。平均池化就是取其平均值作為采樣后的樣本值。池化層可降低數據維度，避免過擬合、增強局部感受野以及提高平移不變性。

1.3 全連接層

全連接層的作用是搭建特征提取到分類的橋梁。全連接層將學習到的特征空間里的特征參數映射到樣本的標記空間里。特征向量的長度對應分類的類別數。由于此特征向量里的值是將經過多個卷積層、池化層以及激活函數所獲得的圖像特征進行高度提純后得到的，所以這個特征向量具有高層的特征信息，即包含了輸入圖像經過各種操作的所有特征的組合信息，這些信息就是圖像中最具有特點的特征，這樣就可以通過這些信息輸出圖像具體所屬類別的概率值對圖像進行分類。

2 基于卷積神經網絡的超聲紅外熱圖像分類實驗

2.1 超聲紅外熱像技術原理與圖像采集

2.1.1 紅外熱成像無損檢測技術的原理

超聲紅外熱像技術采用超聲脈沖作為激勵源，注入被測對象的振動能量傳播至裂紋、分層等接觸界面類型缺陷區(qū)域時，缺陷區(qū)域因摩擦生熱、塑性變形等產生熱量，使機械能轉化為熱能，產生的熱量以熱波的形式向試件表面?zhèn)鲗?，從而通過熱像儀獲取表面溫度分布來判斷被測對象內部或表面缺陷[6]。

超聲紅外熱像技術發(fā)揮了超聲和紅外熱像技術的優(yōu)點。利用超聲在傳播路徑上因缺陷等不均勻結構引起超聲的附加衰減，使缺陷局部溫度升高，同時利用紅外照相機以較大的視場顯示被檢測物體的表面溫度分布，而不必考慮超聲源與缺陷之間的相對方位和距離。由此，采用紅外熱像技術進行缺陷檢測的特點是不受材料的幾何結構及材質的限制，可以實現非接觸、大面積的檢測，具有可靠性強、靈敏度高、檢測速度快和使用方便等優(yōu)點[7]。

2.1.2 系統(tǒng)組成

課題組自主設計搭建了一套超聲紅外熱像無損檢測實驗臺并編寫一套超聲紅外無損檢測系統(tǒng)軟件，實現軟件及硬件上的實驗要求，并實現激勵與圖像信號采集的同步控制。實驗臺主要由超聲激勵裝置、圖像采集裝置及導軌等輔助裝置組成，如圖1所示。

圖1 超聲紅外熱像無損檢測實驗臺

圖像采集裝置采用美國FLIR公司生產的T640型紅外熱像儀，主要用于實現采集對象表面的溫度場信息。其采用非制冷微熱量紅外焦平面陣列，實現了整幅圖像所有像素點同時采集，有效避免了光機掃描式紅外熱像儀存在的同一幅圖像不同像素點采集時間有偏差的不足。該熱像儀可以提供T系列紅外熱像儀中最高的紅外圖像分辨率，為640pixel×480pixel,熱靈敏度優(yōu)于0.035℃，圖像采集幀頻為30Hz，鏡頭可實現120°上下翻轉。其自帶軟件FLIR-Research IR功能強大，可在同一場景下序列圖像中選定多個不同形狀區(qū)域，并繪制選定區(qū)域的平均溫度值、最高溫度值等相關溫度信息隨時間的變化曲線，并實現簡單的圖像處理功能。

2.2 實驗數據采集及獲取

本次實驗數據采集的對象為金屬平板試件，分為有裂紋與無裂紋。在課題組搭建的試驗臺上進行金屬板的激勵采集實驗?？刂撇杉K端采用課題組自主開發(fā)的系統(tǒng)，可實現對紅外熱像儀及超聲換能器在自動、手動兩種情況下的同步控制，并可視實驗需求對超聲激勵振幅、頻率、作用時間進行快速調節(jié)，在最短時間內完成對待測件的有效檢測。

實驗共進行6組，每組實驗對應著不同的激勵參數或不同的激勵位置。激勵結束后實驗采集系統(tǒng)會自動生成對應文件，然后通過FLIR-Research IR軟件生成CSV文件。

此次選取的實驗數據為同側激勵，獲得的圖像共有兩千多張，圖2給出了一張含裂紋缺陷的紅外熱圖像，圖中溫度較高的紅色圓點周圍區(qū)域對應著實際裂紋所在位置。

將實驗所得的CSV文件輸入到軟件MATLAB中進行圖像處理，選取所需的實驗范圍，制作實驗所需的數據集。最終實驗圖像數據共2024張，含有裂紋和無裂紋各1012張，并將圖像像素尺寸大小先后設置為16×16、32×32、64×64、128×128。并分別進行卷積神經網絡的建模與測試。

2.3 卷積神經網絡模型建立

2.3.1 AlexNet網絡模型

本文采用深度學習框架Deep Network Designer構建卷積神經網絡。Deep Network Designer是一個基于MATLAB的神經網絡設計平臺，與MATLAB軟件有著良好的兼容性。整個AlexNet[8]有8個需要訓練的層，不包含局部響應歸一化（Local Response Normalization，LRN）層和池化層，前5層是卷積層，后3層全連接層。此處用軟最大函數（Softmax）層替代最后一層全連接層，新的網絡模型依舊有8層，其中包含了5個卷積層（C1、C2、C3、C4、C5），2層全連接（F1、F2）和1個分類層。使用重疊最大池化方法，池化核尺寸大于步長，使卷積層的輸出之間有重疊部分，提升了特征的豐富性。使用校正線性單元（Rectified Linear Unit，ReLU）作為激活函數，并將其應用于每個卷積層及全連接層的輸出之后，解決網絡較深時的梯度彌散問題。在6、7兩個全連接層后使用丟失（Dropout）算法，隨機讓網絡的某些節(jié)點失去作用，減小過擬合，網絡結構如圖3所示，網絡模型及參數如表1所示。

2.3.2 迭代次數的確定

迭代的過程是不斷擬合不斷逼近，迭代次數（epoch）過少會影響擬合效果。當迭代次數到達一定數量時，擬合誤差接近收斂，不再減小，過高的迭代次數會不斷的增加實驗的時間成本。所以選擇適當的迭代次數能在得到最佳擬合效果的同時擁有最小的時間成本。

圖2 實驗獲得的超聲紅外圖像

圖3 AlexNet網絡結構

為測試最佳的迭代次數，簡化討論的復雜度，將迭代次數以外的其他參數設為固定值，應用上述CNN網絡模型，設定最大迭代次數為30次，通過網絡的訓練選取最佳的迭代次數。

2.3.3 網絡模型性能參數優(yōu)化

對AlexNet模型中可調參數進行優(yōu)化，此處優(yōu)化的參數有兩個，分別是網絡訓練時批量尺寸（batchsize）以及在防止過擬合中使用的丟失比率。

批量尺寸即每次訓練在訓練集中取定量樣本訓練，迭代過程以iteration作為單位，1個iteration等于使用批量尺寸個樣本訓練一次，而迭代次數等于使用訓練集中的全部樣本訓練的次數。批量尺寸在卷積神經網絡的訓練中，影響著網絡的訓練速度和網絡最終的訓練效果，當批量尺寸選擇較大的時候，網絡訓練收斂速度比較快，但同時由于權值調整次數減少會影響訓練效果，批量尺寸選擇較小時則反之，所以，需要在較小的時間成本內取得較好的網絡訓練效果，那么就需要根據時間成本和訓練效果的平衡來選擇合適的批量尺寸。

批量尺寸一般需要滿足可以整除全部樣本數據個數，但實際訓練中如果不能整除，網絡會自動舍棄最后的余數部分數據，在樣本量較大的情況下不會影響整體的訓練效果。AlexNet模型中批量尺寸一般為16的倍數，所以實驗中選擇批量尺寸大小依次為16，32，64，128；參數在MATLAB深度學習程序training Options下進行調整；重復實驗10次，取10次實驗最終分類正確率的平均值和訓練所用時間的平均值為標準，則二者隨批量尺寸的變化關系如表2所示。

由表2可以看出，批量尺寸選擇的越大，網絡訓練時間就會越長；除了批量尺寸取16時的識別正確率較低，其余情況下識別率基本在97%左右，因為在批量尺寸選擇的過小的時候，網絡收斂不穩(wěn)定，loss函數收斂動蕩，導致在批量尺寸最小時有著最低的識別率。所以實際應用中，在保證時間成本的情況下，選擇恰當的批量尺寸可以提高網絡的識別正確率，有助于故障類別的判斷。針對此次實驗可以將批量尺寸選擇為32或者64。

表2 不同批量尺寸下的識別正確率和網絡訓練時間

2012年，Alex、Hinton提出了AlexNet模型的同時，用到了丟失算法，用于防止過擬合[8]。丟失算法的工作原理是在每次網絡訓練中，通過忽略一定比例的特征檢測器，可以減少過擬合現象的發(fā)生。而丟失比率代表著忽略特征檢測器的比例，不同比例的忽略可以對過擬合現象有著不同的影響。參數與批量尺寸大小一樣可以在MATLAB深度學習程序training options下進行調整。丟失比率從無到有一般可以選擇10種比率，分別為0到0.9，間隔為0.1。針對10種比率，重復10次實驗，取10次實驗最終分類正確率的平均值為標準，識別正確率隨丟失比率變化的關系如表3、表4所示。

對批量尺寸32與64兩者分別進行dropout比率的選取實驗，通過實驗，最終確定參數的選擇為批量尺寸選取64、dropout選取0.5、迭代次數為20次。

2.3.4 模型實驗

實驗平臺為WIN10系統(tǒng)，仿真軟件為MATLAB2019b，GPU為GeForce GTX 1060 3G。將不同大小尺寸的圖像輸入到網絡中進行訓練識別，輸入到網絡中的圖像70%作為訓練集，其余各15%為測試集和驗證集。進行10次實驗取其均值，獲得的識別率如表5所示，其中某次訓練的正確率和損失曲線如圖4所示，此次測試樣本的分類結果如圖5所示。分類結果圖5中的矩陣稱為混淆矩陣，其中，橫軸表示實際情況，縱軸表示預測情況。最右下角方框中的百分比分別代表所有測試樣本分類的正確率和錯誤率，最后一行方框（除去最右下角方框中）的百分比分別代表每種圖像測試樣本分類的正確率和錯誤率[3]。此模型訓練及分類結果并未達到100%，與樣本集的數量大小有一定的關聯(lián)，在實驗條件允許的情況下增加數據集進行實驗，獲得的識別率一定會有所提高。

表3 批量尺寸32時不同丟失比率下的識別率

表4 批量尺寸64時不同丟失比率下的識別率

圖4 訓練結果曲線

圖5 測試樣本分類結果

表5 不同尺寸圖像識別率

由此可知圖像尺寸為64×64時識別率最高，達到98.7%且時間相對較少。

2.3.5 模型對比

為了驗證此網絡模型的分類識別的能力，將其與GoogLeNet[9]和ResNet[10]兩種CNN模型進行對比，GoogLeNet和ResNet網絡模型分別是2014年和2015年世界ImageNet比賽的冠軍，網絡深度分別為22層和50層（卷積層加全連接層的數量）。使用與AlexNet相同的輸入，即相同的圖像樣本集，網絡訓練參數也設置為相同，批量尺寸設置時，GoogLeNet模型和AlexNet模型均可設置為64；ResNet模型訓練時當把批量尺寸設置為64會出現程序錯誤的現象，所以本實驗把模型批量尺寸統(tǒng)一設置為32，迭代次數為15。實驗結果如表6所示。從表6可知，參數優(yōu)化后的AlexNet網絡模型有著最高的識別率且相對較少的網絡訓練時間。

表6 各神經網絡模型對比

3 結論

針對超聲紅外熱圖像識別分類需要先基于人工經驗，從紅外熱圖像中提取特征再采用某種模式識別方法進行裂紋的識別與定位，過程繁瑣且識別率較低。本文結合CNN在圖像特征自動提取與圖像分類識別中的廣泛應用，提出了一種基于卷積神經網絡的超聲紅外熱圖像分類技術，其可應用于金屬件（車軸等）裂紋的檢測與分類識別。本文對多種網絡模型進行對比，最終確定最優(yōu)方案。實驗結果表明：參數優(yōu)化后的卷積神經網絡AlexNet模型對超聲紅外熱圖像的分類即對裂紋檢測與識別的技術是可行的，其識別率達到了98.7%。

[1] 曾平平, 李林升. 基于卷積神經網絡的水果圖像分類識別研究[J]. 機械設計與研究, 2019, 35(1): 23-26, 34.

ZENG Pingping, LI Linsheng . Classification and Recognition of Common Fruit Images Based on Convolutional Neural Network[J]., 2019, 35(1): 23-26, 34.

[2] 林明旺. 基于卷積神經網絡的魚類圖像識別與分類[J]. 電子技術與軟件工程, 2017(6): 82-83.

LIN Mingwang. Fish image recognition and classification based on convolutional neural network[J]., 2017(6): 82-83.

[3] 張安安, 黃晉英, 冀樹偉, 等.基于卷積神經網絡圖像分類的軸承故障模式識別[J]. 振動與沖擊, 2020, 39(4): 165-171.

ZHANG An’an, HUANG Jinying, JI Shuwei, et al. Bearing fault pattern recognition based on image classification with CNN[J]., 2020, 39(4): 165-171.

[4] 李玉鑑, 張婷, 單傳輝, 等. 深度學習卷積神經網絡從入門到精通[M]. 北京: 機械工業(yè)出版社,2018.

LI Yujian, ZHANG Ting, SHAN Chuanhui, et al.[M]. Beijing: China Machine Press, 2018.

[5] 李彥冬, 郝宗波, 雷航. 卷積神經網絡研究綜述[J]. 計算機應用, 2016, 36(9): 2508-2515, 2565.

LI Yandong, HAO Zongbo, LEI Hang. Survey of convolutional neural network[J]., 2016, 36(9): 2508-2515, 2565.

[6] 馮輔周, 張超省, 宋愛斌, 等. 超聲紅外熱像檢測中疲勞裂紋的檢出概率模型研究[J]. 紅外與激光工程, 2016, 45(3): 60-65.

FENG Fuzhou, ZHANG Chaosheng, SONG Aibin, et al. Probability of detection model for fatigue crack in ultrasonic infrared imaging[J]., 2016, 45(3): 60-65.

[7] 馮輔周, 張超省, 閔慶旭, 等. 超聲紅外熱像技術中金屬平板裂紋的生熱特性[J]. 紅外與激光工程, 2015, 44(5): 1456-14461.

FENG Fuzhou, ZHANG Chaosheng, MIN Qingxu, et al. Heating characteristics of metal plate crack in sonic IR imaging[J]., 2015, 44(5): 1456-14461.

[8] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//, 2012: 1106-1114.

[9] Szegedy C, LIU W, JIA Y, et al. Going deeper with convolutions[C]//2015:, 2015: 1-8.

[10] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[EB/OL]. [2020-6-20]. https://arxiv.org/pdf/1512.03385.pdf.

Classification of Ultrasonic Infrared Thermal Images Using a Convolutional Neural Network

LIN Li1，LIU Xin1，ZHU Junzhen2，FENG Fuzhou2

(1.,116000,;2.,,100072,)

In the application of ultrasonic infrared thermographic technology, it is usually necessary to extract features from infrared thermographic images based on artificial experience and then adopt a pattern recognition method to classify the cracks. The identification and positioning process of the cracks is complicated, and the recognition rate is low. Therefore, a method of crack detection and recognition in ultrasonic infrared thermal images based on convolutional neural network technology is proposed in this paper. Its feature is that the features can be directly learned from the ultrasonic infrared image to realize the classification of infrared thermal images containing cracks. Thesis through the research experiment of metal plate specimen of the crack in and do not contain infrared thermal images, the convolutional neural network model is established for whether the image contains crack classification, the results show that the parameter optimized convolution neural network model for ultrasonic infrared thermal images of crack classification accuracy rate reached 98.7%.

convolutional neural network; ultrasonic infrared detection; image recognition; image classification

TP391

A

1001-8891(2021)05-0496-06

2020-06-29；

2020-10-24.

林麗（1971-），女，副教授，博士，碩士生導師，主要從事列車故障診斷方面的研究。E-mail：julandalili@126.com。

馮輔周（1971-），男，教授，博士生導師，主要從事故障診斷與無損檢測技術研究。E-mail：fengfuzhou@tsinghua.org.cn。

國家自然科學基金（51875576）；教育部重點實驗室開放基金項目（EW201980445）。