江海軍,盛 濤,鄭金華,向 蘋

(1.南京諾威爾光電系統(tǒng)有限公司,南京 210014;2.上海復(fù)合材料科技有限公司,上海 201112)

紅外無(wú)損檢測(cè)是一種實(shí)用型無(wú)損檢測(cè)技術(shù),目前被應(yīng)用在航空、航天、機(jī)械、油氣、新能源、新材料等多個(gè)領(lǐng)域。紅外無(wú)損檢測(cè)技術(shù)采用主動(dòng)式熱激勵(lì)源對(duì)試件進(jìn)行熱激勵(lì),主動(dòng)式熱激勵(lì)源包括閃光燈、激光、LED、鹵素?zé)?、超聲、電磁激?lì)等[1-4]。主動(dòng)式熱激勵(lì)源用于打破試件表面原有的溫度平衡,在試件表面形成新的溫度場(chǎng)分布。在傳播過(guò)程中,試件表面的溫度場(chǎng)分布受試件內(nèi)部缺陷影響,若要使試件表面產(chǎn)生異常的溫度分布,需要使用紅外熱像儀采集激勵(lì)前后的紅外圖像序列,并對(duì)采集的紅外圖像進(jìn)行處理。紅外圖像處理對(duì)試件的缺陷檢測(cè)至關(guān)重要。紅外圖像處理方法包括單幀圖像處理和序列圖像處理方法。文章主要對(duì)紅外圖像處理方法的現(xiàn)狀和發(fā)展趨勢(shì)進(jìn)行介紹和總結(jié)。

1 單幀圖像處理

單幀紅外圖像處理主要包括畸變校正、圖像增強(qiáng)、圖像垂直條紋去除、圖像濾波等,原始紅外圖像經(jīng)過(guò)處理后可以變得清晰,同時(shí)噪聲會(huì)變小。采集紅外圖像之前,一般都會(huì)進(jìn)行紅外熱像儀非均勻性校正,文章不考慮紅外熱像儀兩點(diǎn)校正及單點(diǎn)校正圖像處理方法。

1.1 畸變校正

紅外熱像儀成像過(guò)程中需要使用紅外鏡頭,紅外鏡頭為滿足成像系統(tǒng)大視場(chǎng)的需求,一般設(shè)計(jì)為大口徑系統(tǒng),不可避免地造成了紅外圖像的幾何畸變(一般為桶形畸變)。大視場(chǎng)光學(xué)系統(tǒng)中,一般采用多組鏡片組合模式,但受限于工藝水平,其在加工時(shí)會(huì)產(chǎn)生誤差而加重畸變?；冸m然不影響圖像的清晰度,但是會(huì)影響成像幾何位置的精度,給后續(xù)檢測(cè)結(jié)果分析和判斷帶來(lái)不利影響[5]。另一方面,在紅外無(wú)損檢測(cè)應(yīng)用中,檢測(cè)距離一般小于500 mm,通常采用短焦距鏡頭(10～15 mm),鏡頭焦距越短,檢測(cè)距離越小,畸變?cè)絿?yán)重。國(guó)內(nèi)外學(xué)者針對(duì)圖像畸變進(jìn)行研究并提出了不同的解決方案[6-7]。主要有兩種修正方法,一種是試驗(yàn)法,借助試驗(yàn)儀器對(duì)畸變量進(jìn)行測(cè)量并修正,但是由于試驗(yàn)裝置復(fù)雜、成本高,故不容易實(shí)現(xiàn);另外一種方法就是采用圖像畸變算法進(jìn)行重建,通過(guò)幾何變換校正失真圖像中各像素點(diǎn)原來(lái)的空間關(guān)系。圖像畸變校正算法前后效果對(duì)比如圖1所示,可以看到,離中心越遠(yuǎn),畸變?cè)絿?yán)重,畸變校正后,試件中彎曲的邊緣變成了直線。

1.2 圖像增強(qiáng)

紅外無(wú)損檢測(cè)技術(shù)中采用主動(dòng)熱激勵(lì)源對(duì)試件進(jìn)行熱激勵(lì),熱激勵(lì)結(jié)束后,熱波(變化的溫度場(chǎng))會(huì)進(jìn)行三維擴(kuò)散,導(dǎo)致紅外圖像對(duì)比度低、圖像邊緣模糊,且隨著熱波的不斷傳播,三維熱擴(kuò)散持續(xù)進(jìn)行,檢測(cè)到的紅外圖像就越來(lái)越模糊,直到看不見(jiàn)缺陷信息。同時(shí),紅外圖像采用14位/16位輸出,常規(guī)顯示設(shè)備或者人眼只有8位數(shù)據(jù)顯示寬度,因此紅外圖像顯示需把大動(dòng)態(tài)范圍數(shù)據(jù)壓縮到8位數(shù)據(jù)。研究人員發(fā)現(xiàn)紅外圖像增強(qiáng)主要有3類算法:基于統(tǒng)計(jì)的直方圖增強(qiáng)、基于頻率變化進(jìn)行增強(qiáng)、數(shù)字細(xì)節(jié)增強(qiáng)[8-9]。前兩類算法容易造成部分區(qū)域過(guò)亮或者過(guò)暗,導(dǎo)致圖像細(xì)節(jié)丟失。數(shù)字細(xì)節(jié)增強(qiáng)算法是一種高級(jí)的非線性圖像增強(qiáng)算法,也是目前紅外圖像增強(qiáng)的最佳算法,通過(guò)引導(dǎo)濾波或者其他濾波算法把高動(dòng)態(tài)范圍原始圖像分成背景圖像和細(xì)節(jié)圖像,再分別對(duì)背景圖像進(jìn)行壓縮和對(duì)細(xì)節(jié)圖像進(jìn)行增強(qiáng)處理,最后將背景圖像和細(xì)節(jié)圖像進(jìn)行融合,得到增強(qiáng)圖像,增強(qiáng)后的圖像不僅保留了細(xì)節(jié)信息,并且不會(huì)出現(xiàn)部分圖像區(qū)域過(guò)亮或者過(guò)暗的現(xiàn)象。不同圖像增強(qiáng)算法的效果對(duì)比如圖2所示。由圖2可以看出,統(tǒng)計(jì)直方圖算法容易造成部分圖像區(qū)域過(guò)亮或者過(guò)暗;數(shù)字細(xì)節(jié)增強(qiáng)算法處理的圖像不僅使缺陷區(qū)域明顯,也未出現(xiàn)過(guò)亮或者過(guò)暗區(qū)域,背景區(qū)域的黑點(diǎn)區(qū)域邊緣也非常明顯。

圖2 圖像的不同增強(qiáng)算法效果對(duì)比

1.3 垂直條紋去除

一般制冷紅外熱像儀很少看得到垂直條紋,除非是紅外原始圖像過(guò)度增強(qiáng)或者數(shù)字細(xì)節(jié)增強(qiáng)后才能勉強(qiáng)看到。垂直條紋常出現(xiàn)在非制冷紅外熱像儀中,非制冷熱像儀采用的是焦平面探測(cè)器,焦平面探測(cè)器每一列共用一個(gè)放大器,每個(gè)列放大器具有不同的噪聲特性,從而造成了列和列之間的差異,在圖像上整體表現(xiàn)為明顯的垂直條紋[10-11]。紅外熱像儀中的垂直條紋用非均勻性校正很難去掉,因?yàn)槠涫菬嵯駜x受到芯片周圍電路溫度影響而產(chǎn)生的,采用非均勻性校正處理時(shí)僅能校正與擋板溫度接近的垂直條紋,當(dāng)真實(shí)溫度與擋板溫度差超過(guò)2℃時(shí),垂直條紋依然會(huì)存在。在實(shí)際使用中,熱像儀長(zhǎng)時(shí)間工作更容易產(chǎn)生垂直條紋,垂直條紋比較影響缺陷特別是與垂直條紋平行的裂紋的判斷。TENDERO 等[12]采用列方向中值直方圖均衡化方法對(duì)垂直條紋進(jìn)行去除,但該方法需要進(jìn)行直方圖均衡以及逆變換,算法復(fù)雜度高、計(jì)算量大;WANG等[13]提出了一種利用迭代計(jì)算獲取條紋噪聲的校正算法,該算法迭代次數(shù)多,不易實(shí)時(shí)處理。張盛偉等[14]提出了基于引導(dǎo)濾波提取垂直條紋噪聲校正項(xiàng),再對(duì)噪聲進(jìn)行校正的方法,該方法具有算法復(fù)雜度低、可實(shí)時(shí)等優(yōu)點(diǎn)。不同紅外熱像儀采集圖像中的垂直條紋去除前后對(duì)比如圖3所示。圖3(a)為制冷紅外熱像儀采集的圖像,并且經(jīng)過(guò)數(shù)字細(xì)節(jié)增強(qiáng),圖中可以看到微弱的垂直條紋,條紋去除后圖像如圖3(b)所示;圖3(c)為非制冷紅外熱像儀采集的圖像,圖像中垂直條紋明顯,條紋去除后如圖3(d)所示,可見(jiàn)垂直條紋去除干凈,試件表面的水平弧形紋理和試件邊緣都沒(méi)有變模糊,故垂直條紋去除算法不會(huì)影響圖像的清晰度,不會(huì)模糊圖像的細(xì)節(jié)信息。

圖3 不同紅外熱像儀采集圖像中的垂直條紋去除前后對(duì)比

1.4 圖像濾波

紅外熱像儀噪聲主要包括熱噪聲、散粒噪聲、固定圖案噪聲、1/f噪聲等。通常,非制冷紅外熱像儀噪聲比制冷紅外熱像儀噪聲嚴(yán)重得多[15]。但制冷紅外熱像儀采集圖像增強(qiáng)后或者采集均勻的黑體圖像中也會(huì)出現(xiàn)噪聲,非制冷紅外熱像儀采集圖像增強(qiáng)后噪聲更加明顯。傳統(tǒng)紅外圖像去噪方法主要有空域和頻域兩種方法,空域方法除了常規(guī)的中值濾波、均值濾波外,還可以采用引導(dǎo)濾波進(jìn)行噪聲去除,噪聲去除效果最好的為三維塊匹配(BM3D)的圖像濾波算法[16-18]。不同紅外熱像儀采集圖像的引導(dǎo)濾波和BM3D濾波的效果對(duì)比如圖4所示,其噪聲圖像分別為圖3中條紋去除后的圖像。由圖4可以看出,經(jīng)過(guò)垂直條紋去除以及圖像濾波后,圖像噪聲變小,已經(jīng)很難分辨是什么類型紅外熱像儀采集的圖像。從圖像濾波效果上看,BM3D濾波圖像比引導(dǎo)濾波圖像更加光滑,細(xì)節(jié)更為清晰。

2 序列圖像處理方法

紅外序列圖像處理方法主要包括熱波信號(hào)重建技術(shù)、主成分分析技術(shù)、獨(dú)立成分分析技術(shù)、脈沖相位法。文章除介紹該技術(shù)研究狀況以外,同時(shí)會(huì)采用該技術(shù)對(duì)序列圖像進(jìn)行處理。處理的圖像來(lái)自于同一套閃光燈激勵(lì)紅外無(wú)損檢測(cè)系統(tǒng),閃光燈能量為12 000 J,閃光燈脈沖寬度為3 ms,紅外熱像儀為制冷熱像儀FLIR X6530SC,分辨率為640 像素×512 像素,等效噪聲溫差小于20 mK。試件為塑料平底孔,共含15個(gè)平底孔缺陷,缺陷直徑為20 mm,缺陷深度從0.25 mm 至3.75 mm 不等,采集時(shí)間為70 s,采集頻率為100 Hz。

2.1 熱波信號(hào)重建技術(shù)

熱波信號(hào)重建技術(shù)(TSR)主要用于對(duì)脈沖激勵(lì)的紅外序列圖像進(jìn)行增強(qiáng)。對(duì)采集的熱激勵(lì)后的紅外圖像序列減去背景后,對(duì)每一個(gè)像素點(diǎn)的溫差數(shù)據(jù)進(jìn)行取雙對(duì)數(shù)操作,并進(jìn)行多項(xiàng)式擬合,再對(duì)擬合數(shù)據(jù)求一階導(dǎo)、二階導(dǎo),獲得1-D、2-D圖像。導(dǎo)數(shù)圖像不僅可以消除表面加熱不勻的影響,也可以對(duì)圖像細(xì)節(jié)信息進(jìn)行增強(qiáng),提早發(fā)現(xiàn)缺陷信息,同時(shí)可以利用導(dǎo)數(shù)圖像對(duì)缺陷深度進(jìn)行測(cè)量[19-20]。李艷紅[21]對(duì)熱波信號(hào)重建技術(shù)進(jìn)行了詳細(xì)分析和研究,梁濤[22]采用熱波信號(hào)重建技術(shù)對(duì)復(fù)合材料沖擊損傷后的缺陷特征進(jìn)行研究,試驗(yàn)結(jié)果表明,采用熱波信號(hào)重建技術(shù)和主成分分析技術(shù)在缺陷特征提取方面效果更好。熱波信號(hào)重建圖像序列如圖5所示。圖5(a)為不同時(shí)刻的原始圖像,0.1 s時(shí)看不見(jiàn)缺陷信息,可以清楚看到試件表面的紋理信息,也可看出由于缺陷深度不同,缺陷是逐漸顯現(xiàn)的。從圖5(b)、(c)可以看出,導(dǎo)數(shù)圖像比原始圖像更清晰,圖像邊緣更銳利。

圖5 熱波信號(hào)重建的圖像序列

2.2 主成分分析技術(shù)

主成分分析(PCA)技術(shù)是利用數(shù)學(xué)原理,找出一組最優(yōu)的基向量來(lái)表征紅外圖像序列之間的關(guān)系。其用最少的特征來(lái)表述更多的圖像信息,是一種具有圖像降維特性的圖像序列處理方法。從本質(zhì)上說(shuō),PCA可以把復(fù)雜數(shù)據(jù)關(guān)系降低為簡(jiǎn)單數(shù)據(jù)關(guān)系。采用PCA可以提取紅外圖像序列中較高的主成分,同時(shí)可以對(duì)紅外序列圖像進(jìn)行壓縮。董毅旺等[23]探究了玻璃鋼平底孔試件融合區(qū)間對(duì)PCA 算法處理結(jié)果的影響,提出了可依據(jù)溫差峰值選擇融合區(qū)間。WANG等[24]對(duì)玻璃鋼纖維復(fù)合材料脫黏缺陷采用TSR、PCA、FFT 等方法進(jìn)行研究發(fā)現(xiàn),PCA算法的缺陷識(shí)別率最高。同時(shí),研究人員對(duì)復(fù)合材料分層、沖擊損傷圖像序列進(jìn)行處理時(shí)發(fā)現(xiàn),采用PCA算法可以有效提高圖像信噪比和缺陷識(shí)別能力。圖像的主成分分析結(jié)果如圖6所示,第一主成分包含全部的缺陷信息,其余主成分更多地包含了試件表面的紋理信息。

圖6 圖像的主成分分析法處理結(jié)果

2.3 獨(dú)立成分分析技術(shù)

獨(dú)立成分分析(ICA)技術(shù)是從獲得的多種觀測(cè)信號(hào)中提取出獨(dú)立信號(hào)。觀測(cè)信號(hào)是一個(gè)線性組合,該組合由多個(gè)獨(dú)立的分量構(gòu)成,ICA 就是一個(gè)解混過(guò)程,最終獲得的圖像具有非高斯特征。對(duì)紅外圖像序列進(jìn)行盲源分離,目的是把隱含的獨(dú)立信號(hào)分離開(kāi)[25-26]。WANG等[27]對(duì)包覆層高硅氧酚醛樹脂板材缺陷進(jìn)行了檢測(cè),研究對(duì)比了主成分分析、獨(dú)立成分分析、脈沖相位法算法對(duì)紅外序列圖像的處理效果,結(jié)果表明獨(dú)立成分分析算法能顯著提高信噪比。LIU 等[28]采用渦流脈沖熱成像技術(shù)檢測(cè)復(fù)合材料人工分層缺陷,用主成分分析、獨(dú)立成分分析、脈沖相位法3種算法對(duì)紅外序列圖像進(jìn)行處理,結(jié)果表明獨(dú)立成分分析算法在處理深度缺陷時(shí)表現(xiàn)更好。袁麗華等[29]對(duì)復(fù)合材料沖擊損傷進(jìn)行了提取,由重構(gòu)矩陣得到獨(dú)立成分特征圖像,從而獲得最大損傷長(zhǎng)徑和損傷短徑的缺陷表征量。圖像的獨(dú)立成分分析結(jié)果如圖7所示,可見(jiàn),相對(duì)于主成分分析結(jié)果圖像,其顯示的試件表面紋理信息更少,更多的是試件的內(nèi)部信息。

圖7 圖像的獨(dú)立成分分析法處理結(jié)果

2.4 脈沖相位法

脈沖相位法(PPT)從紅外圖像序列中提取相位,通過(guò)相位差來(lái)判定缺陷信息,結(jié)合了脈沖激勵(lì)技術(shù)和脈沖鎖相技術(shù)的優(yōu)點(diǎn)。其核心是對(duì)紅外圖像序列進(jìn)行傅里葉變換,可以消除表面加熱不勻、表面發(fā)射率的影響。該方法對(duì)空域內(nèi)噪聲有一定的抑制作用,可以提高圖像的對(duì)比度[30]。劉穎韜等[31]采用脈沖相位法對(duì)復(fù)合材料進(jìn)行了研究分析,試驗(yàn)結(jié)果表明脈沖相位法用于復(fù)合材料檢測(cè)是可行的。陶勝杰等[32]研究了脈沖相位法,結(jié)合熱擴(kuò)散深度提出了最佳采樣長(zhǎng)度估算公式,提高了相位計(jì)算速度。圖像的脈沖相位法結(jié)果如圖8所示,可見(jiàn)其能得到不同頻率下的振幅和相位信息,以及缺陷的深度信息。

2.5 二階導(dǎo)峰值法

二階導(dǎo)峰值法(PSDT)以熱波信號(hào)重建技術(shù)為基礎(chǔ),將雙對(duì)數(shù)曲線(對(duì)數(shù)溫差-對(duì)數(shù)時(shí)間)的二階峰值時(shí)間作為特征時(shí)間,不需要選擇非缺陷區(qū)域作為參考區(qū)域。PSDT用于深度測(cè)量時(shí),不會(huì)因?yàn)閰⒖夹盘?hào)引入誤差。線性擬合二階導(dǎo)峰值時(shí)間與試件深度的平方,再將二階導(dǎo)峰值時(shí)間代入擬合參數(shù)便可計(jì)算出缺陷深度信息。王中華等[33]采用PSDT對(duì)不銹鋼平底孔缺陷進(jìn)行了測(cè)量,獲得了缺陷深度信息。李美華等[34]通過(guò)ANSYS軟件模擬分析和試驗(yàn)驗(yàn)證了PSDT對(duì)平底孔缺陷的檢測(cè)可行性,結(jié)果表明PSDT 對(duì)缺陷深度的測(cè)量精度為0.36%～20%,測(cè)量誤差主要受三維熱擴(kuò)散的影響。ZENG等[35]采用PSDT對(duì)鋁和不銹鋼平底孔缺陷進(jìn)行了深度測(cè)量,得到了可靠性較高的測(cè)量結(jié)果。上述研究主要對(duì)單個(gè)像素點(diǎn)的單條曲線進(jìn)行研究,文章重塑了PSDT 算法并獲取了整幅圖像的深度信息,如圖9(a)所示,對(duì)應(yīng)的是圖像中5個(gè)點(diǎn)的二階導(dǎo)曲線,求出該曲線的二階導(dǎo)峰值,二階導(dǎo)峰值對(duì)應(yīng)時(shí)間構(gòu)成的峰值時(shí)間圖像如圖9(b)所示;二階導(dǎo)峰值構(gòu)成了峰值圖像,如圖9(c)所示;二階導(dǎo)峰值和二階導(dǎo)峰值時(shí)間圖像邊緣都比較清晰,包含了所有的缺陷信息,由峰值圖像和峰值時(shí)間圖像可以得出缺陷深度圖像,缺陷深度圖像能更為直觀地展示不同深度的缺陷信息,如圖9(d)所示。

圖9 圖像的二階導(dǎo)峰值法處理結(jié)果

3 未來(lái)發(fā)展趨勢(shì)

文章對(duì)單幀紅外圖像處理方法和紅外序列圖像處理方法進(jìn)行了介紹,同時(shí)采用紅外圖像對(duì)各個(gè)算法進(jìn)行了驗(yàn)證,試驗(yàn)結(jié)果表明,TSR、PCA、ICA、PPT、PSDT都有各自的適用范圍,要判斷哪種方法效果好,需對(duì)各方法的圖像處理效果進(jìn)行對(duì)比才能得出結(jié)論。TSR和PSDT需要面激勵(lì)源激勵(lì)試件表面且紅外序列圖像僅采集降溫段數(shù)據(jù),適用于閃光燈激勵(lì)、激光激勵(lì)、鹵素?zé)舳堂}沖激勵(lì),不適用于超聲激勵(lì)、渦流激勵(lì)方式;PCA和ICA對(duì)激勵(lì)方式基本沒(méi)有限制,適用于各種激勵(lì)方式。紅外圖像處理的目的不僅是獲取缺陷的位置信息,還要獲取缺陷的深度信息,對(duì)序列圖像處理是未來(lái)圖像處理的發(fā)展方向。另一方面,現(xiàn)有的缺陷需要人工判斷,準(zhǔn)確度非常依賴于檢測(cè)人員的經(jīng)驗(yàn)。隨著深度學(xué)習(xí)方法研究的深入,其在目標(biāo)檢測(cè)、語(yǔ)義分割、圖像去模糊等領(lǐng)域的表現(xiàn)獲得了認(rèn)可。深度學(xué)習(xí)的算法較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法神經(jīng)層深度增加,具有更好的特征信息感知能力,并且解決了容易收斂到局部最優(yōu)解的問(wèn)題,更容易實(shí)現(xiàn)缺陷的自動(dòng)識(shí)別。采用深度學(xué)習(xí)方法的圖像處理效果如圖10所示,可見(jiàn),圖像去模糊處理后,缺陷邊緣清晰、銳利;采用深度學(xué)習(xí)語(yǔ)義分割模型,可以獲得缺陷信息,自動(dòng)過(guò)濾背景信息,很適合缺陷的自動(dòng)分割和自動(dòng)判斷,欲獲取缺陷的深度信息,可以采用更加復(fù)雜或者特殊定制的深度學(xué)習(xí)模型。

圖10 深度學(xué)習(xí)方法的圖像處理效果模型

4 結(jié)語(yǔ)

熱波是一種衰減波,會(huì)導(dǎo)致紅外圖像邊緣模糊,對(duì)比度降低,采用原始的紅外圖像往往達(dá)不到理想的效果,因此需要采用合適的紅外圖像處理方法。文章介紹和總結(jié)了單幀紅外圖像處理方法和紅外序列圖像處理方法,并用紅外圖像對(duì)各種處理方法進(jìn)行了驗(yàn)證。通過(guò)文章綜述可以得知,不同的缺陷適合于不同的圖像處理方法。如文章試驗(yàn)采用的是塑料平底孔缺陷,該缺陷的二階導(dǎo)峰值法處理效果更佳,不僅可以過(guò)濾掉背景信息,更可以獲取缺陷深度信息。隨著人工智能深度學(xué)習(xí)的發(fā)展,通過(guò)算法創(chuàng)新、優(yōu)化與改進(jìn)獲取紅外圖像中的語(yǔ)義信息,有望實(shí)現(xiàn)紅外圖像的圖像去模糊、超分辨率重建、目標(biāo)檢測(cè)、語(yǔ)義分割和場(chǎng)景理解,推動(dòng)紅外無(wú)損檢測(cè)技術(shù)在人工智能領(lǐng)域的應(yīng)用和發(fā)展,實(shí)現(xiàn)紅外無(wú)損檢測(cè)缺陷判定由人工識(shí)別向智能自動(dòng)化識(shí)別方向發(fā)展。