丁 超，金 珂，王少鑫，穆全全，宣 麗，李大禹*

(1. 中國科學(xué)院 長春光學(xué)精密機械與物理研究所 應(yīng)用光學(xué)國家重點實驗室，吉林 長春130033；2. 中國科學(xué)院大學(xué)，北京 100049；3. 航天材料及工藝研究所，北京 100071)

1 引 言

碳纖維復(fù)合材料是近年來迅速發(fā)展的一類新型材料，具有強度大、質(zhì)量輕、耐高溫等優(yōu)越性能，在航空航天、船舶、汽車等領(lǐng)域應(yīng)用廣泛[1]。碳纖維材料是由碳纖維和高性能樹脂基體復(fù)合而成的碳纖維增強樹脂基復(fù)合材料(Carbon Fiber Rein Forced Polymer，CFRP)[2]，在生產(chǎn)、加工及使用過程中，CFRP板內(nèi)部易產(chǎn)生脫粘、裂紋等缺陷，這些缺陷會嚴重影響材料質(zhì)量和性能，降低使用壽命[3]。對于材料內(nèi)部的缺陷，需要在不破壞其結(jié)構(gòu)完整性的前提下進行探測。

紅外成像無損檢測技術(shù)是基于紅外輻射原理，通過記錄被檢測物體表面的溫度場變化，來判斷材料內(nèi)部結(jié)構(gòu)的不連續(xù)所引起的熱量傳遞差別，實現(xiàn)對內(nèi)部缺陷進行判斷的無損檢測方法[4]。它相比于常規(guī)無損檢測方法具有非接觸、靈敏度高、結(jié)果直觀可靠的優(yōu)勢，特別適用于復(fù)合材料的無損檢測。目前許多學(xué)者對基于紅外成像的材料內(nèi)部缺陷檢測及可視化進行過研究，英國學(xué)者D.P.Almond提出了紅外熱波檢測中確定缺陷大小的方法，需要在三維空間中考慮熱擴散對缺陷邊緣的影響[5]。郭興旺等采用奇異值分解法對紅外圖像序列進行處理和增強，消除了加熱不均效應(yīng)，有效提高圖像的信噪比[6]。汪子君等提出了基于魯棒Otsu的缺陷分割算法,提高了紅外無損檢測缺陷分割的準確性和魯棒性[7]。

傳統(tǒng)的紅外熱波檢測的工作主要集中在紅外圖像處理方面。在實際的工程應(yīng)用中，往往需要將缺陷位置在實物上進行標記，而從紅外圖像中提取出的內(nèi)部缺陷位置只能顯示在屏幕上，很難將結(jié)果及時與被測樣件的實際缺陷位置進行聯(lián)系。如果操作人員需要在被檢測樣件上標記缺陷區(qū)域，就必須在屏幕和樣件之間反復(fù)確認，效率低下且容易出錯。因此，實現(xiàn)無損檢測數(shù)據(jù)的自動標記是非常有必要的。方法是在測試數(shù)據(jù)和測試結(jié)構(gòu)之間建立一個可視化的鏈接。

本文提出基于熱像儀-投影儀系統(tǒng)的脈沖激勵紅外無損檢測及標記方法。利用紅外熱像儀獲得脈沖激勵下人工缺陷碳纖維樣品的紅外圖像序列，并利用采樣時間優(yōu)化后的脈沖相位算法對圖像序列進行處理，增強缺陷的檢測效果。再通過自動閾值對缺陷區(qū)域進行提取，并將提取結(jié)果經(jīng)投影儀投射到被測樣品上進行標記。由于熱像儀投影儀間的視角差異、鏡頭誤差等因素，投影到樣品上的圖像存在畸變，從而使標記結(jié)果產(chǎn)生較大誤差。借助輔助相機對熱像儀及投影儀進行標定[8]，利用所得的內(nèi)外參數(shù)矩陣對缺陷提取結(jié)果進行變換，可以對畸變進行有效修正。經(jīng)驗證，該方法可以實現(xiàn)對缺陷位置較為準確的標注。

2 紅外熱波圖像的缺陷分割

要實現(xiàn)缺陷位置的準確標注，需要進行兩項工作：缺陷提取和缺陷投影。首先是對缺陷輪廓的提取，即對紅外圖像中的缺陷進行分割。

紅外熱波圖像的目標分割由于其特殊性，相比于一般的圖像分割存在不少難點，主要包括：紅外成像為熱源成像，圖像目標及邊界較為模糊；目標成像面積較小時，紅外信號強度較弱，目標分割要在低信噪比條件下進行[9]；碳纖維材料表面的紋理會對缺陷邊緣的分割產(chǎn)生影響。紅外熱波圖像處理可分為單幀圖像處理和多幀圖像處理。單幀紅外圖像反映的只是樣品表面某時刻的溫度分布，沒有充分反映不同時刻的溫度分布情況，因此基于單幀圖像的處理效果一般較差。紅外圖像序列則包含更豐富的缺陷信息，在進行紅外熱波圖像的目標分割前，先對圖像序列進行處理，可以獲得更全面的缺陷信息，增強微弱缺陷的顯示效果。

脈沖相位法(Pulse Phase Thermography, PPT)是一種用于處理脈沖激勵紅外熱波圖像序列的算法[10]。脈沖激勵熱波包含很多不同頻率的成分，而脈沖相位法可以通過傅里葉變換，對樣品的頻譜響應(yīng)進行分析。其原理是采集脈沖熱激勵下樣品表面溫度分布隨時間變化的圖像序列，將圖像序列中每個像素點(x,y)對應(yīng)的溫度-時間信號T(k)(k=1,2,...,N)進行離散傅里葉變換，得到頻域信號：

(1)

對實部和虛部進行處理，可獲得每個像素點傅里葉變換后的幅值譜和相位譜：

(2)

對紅外圖像序列中的每個像素點均進行上述計算，得到圖像的幅值圖譜和相位圖譜。由于時域信號為實數(shù)值，N個時間數(shù)據(jù)存在N/2個獨立的頻率數(shù)據(jù)。離散頻率為:

(3)

其中，Δt為相鄰兩幅熱圖像的時間間隔，n=0,1,2...,N/2。圖1為紅外圖像序列表面溫度信號的傅里葉變換示意圖。

圖1 表面溫度信號傅里葉變換分析示意圖Fig.1 Schematic diagram of Fourier transform analysis of surface temperature signal

實驗中，脈沖激勵時間為5 ms，脈沖能量為6 000 J。采用FLIR X6530sc熱像儀采集紅外圖像，熱像儀焦距為12 mm，像元尺寸15 μm×15 μm，采樣頻率為100 Hz，采樣時間為15 s。為對缺陷提取結(jié)果進行準確評價，檢測對象為一塊矩形碳纖維復(fù)合材料，并在平板背面制造6個不同大小盲孔模擬內(nèi)部缺陷。

同一熱擴散系數(shù)和缺陷深度的材料，對脈沖熱流不同頻率的下響應(yīng)敏感程度不同[11]。不同采樣時間的圖像序列進行脈沖相位處理后的效果也不同。以信噪比作為處理效果的評價標準，其定義為：

(4)

其中:FD為脈沖相位處理后缺陷區(qū)域平均灰度值，F(xiàn)S為非缺陷區(qū)域平均灰度值，σSF為無缺陷區(qū)域像素值標準差。不同采樣時間下圖像序列處理后的信噪比分布如圖2所示。其中橫軸表示所選圖像序列的圖片數(shù)量，縱軸表示處理的第一張圖像在整個圖像序列中的位置。每個格的色溫表示該位置的信噪比。

圖2 處理后圖像的信噪比分布Fig.2 SNR distribution of the processed images

當(dāng)參與脈沖相位處理的圖像序列初始位置為第150幀，數(shù)量為1 300幀，即采樣時間為1.5～14.5 s時，處理結(jié)果擁有最佳信噪比。如圖3所示，采用該圖像序列進行脈沖相位處理后的相位圖效果好于傳統(tǒng)脈沖相位算法，缺陷與非缺陷區(qū)域的對比度顯著提高，缺陷邊界也更加清晰，面積較小的缺陷也能有效顯示，有利于對缺陷邊界的準確分割。

為對缺陷區(qū)域的位置信息進行定量化分析，需要對缺陷進行提取。本文主要提取的缺陷信息

(a)原始紅外圖像(a)Original infrared image

(b) 傳統(tǒng)脈沖相位法相位圖(b) Phase diagram of traditional pulse phase method

(c) 優(yōu)化后脈沖相位法相位圖(c) Phase diagram of optimized pulse phase method圖3 脈沖相位法處理前后圖像對比Fig.3 Image comparison before and after pulse phase method processing

為中心和輪廓。由于缺陷區(qū)域與背景主要在灰度上存在差異，故采用Otsu閾值分割法進行缺陷提取。以進行閾值處理后分離的像素類之間的類間方差最大作為閾值選取準則，閾值之上和之下的像素分別作為目標和背景，生成二值圖像。如圖4(a)所示。在二值圖中可以得到缺陷輪廓和質(zhì)心位置，缺陷的提取結(jié)果如圖4(b)所示。

(a) 閾值分割后的二值圖(a) Binary image after threshold segmentation

(b) 缺陷輪廓與質(zhì)心(b) Contour and centroid of defects圖4 缺陷位置提取結(jié)果Fig.4 Defect location extraction

3 缺陷位置標注

圖5 紅外無損檢測及投影裝置示意圖Fig.5 Schematic diagram of infrared non-destructive testing and projection device

無損檢測結(jié)果的可視化需要通過投影裝置實現(xiàn)。實驗裝置如圖5所示。作為激勵源的閃光燈并排放置且正對被測樣件，以保證樣件表面得到均勻且充分的加熱，熱像儀位于閃光燈正上方，投影儀位于閃光燈正下方。為保證樣件位于熱像儀視場中心，熱像儀需傾斜一定角度。同時，投影儀也需要傾斜一定角度保證缺陷能夠投影到樣件表面。

投影儀與熱像儀存在視角差異，導(dǎo)致前面提取的缺陷輪廓投影到樣品表面時發(fā)生形變，使標注存在較大誤差。需要利用投影變換對形變進行校正。

3.1 熱像儀與投影儀的坐標變換

當(dāng)檢測裝置與被測樣件距離固定時，熱像儀和投影儀的傾斜角度也是固定的。被測樣件豎直放置，以中心投影的方式建立成像模型[12]，以被測樣件長寬方向為X軸和Y軸，垂直該平面方向為Z軸，建立世界坐標系。XpYpZpOp為熱像儀坐標系，XcYcZcOc為投影儀坐標系，XwYwZwOw為被測樣件所在平面的世界坐標系。

根據(jù)成像模型，物點在世界坐標系下齊次坐標與其對應(yīng)像點在圖像像素坐標系下齊次坐標的變換關(guān)系為：

(5)

變換關(guān)系由內(nèi)參數(shù)矩陣和外參數(shù)矩陣組成。T為3×1的平移矩陣，R為3×3的旋轉(zhuǎn)矩陣，OT為3×1的零矩陣的轉(zhuǎn)置，構(gòu)成外參數(shù)矩陣。fx,fy分別表示沿圖像平面X軸和Y軸方向的焦距，單位為mm。(u0,v0)表示圖像物理坐標系的原點在像素坐標系中的坐標，單位為像素(px)。du，dv分別是單位像素在x軸和y軸上的尺寸,單位為mm/px。以fu、fv代替fx/du和fy/dv，構(gòu)成內(nèi)參數(shù)矩陣。Zc為比例系數(shù)。

Zc1I1=A1[R1T1]Pw，

(6)

其中:I1為熱像儀像素坐標系下某點坐標，Pw為其對應(yīng)物點在世界坐標系下坐標。A1為熱像儀內(nèi)參數(shù)矩陣。R1、T1組成熱像儀外參數(shù)矩陣。

投影儀將圖像投影到世界坐標系下被測樣件所在平面，相當(dāng)于逆向的相機[13]，因此其數(shù)學(xué)模型與相機模型相同。投影儀的圖像像素坐標I2與世界坐標Pw的轉(zhuǎn)換關(guān)系可寫為：

Zc2I2=K2[R2T2]Pw，

(7)

其中:K2為投影儀內(nèi)參數(shù)矩陣，R2、T2組成投影儀外參數(shù)矩陣。為保證缺陷投影的準確，投影儀和熱像儀的物點坐標Pw相同，對式(6)、(7)消去Pw，可以得到投影儀圖像的像素坐標與熱像儀圖像的像素坐標間的變換關(guān)系：

(8)

H為投影儀像素坐標到熱像儀像素坐標的投影變換矩陣。缺陷提取結(jié)果經(jīng)過該變換，再經(jīng)投影儀投射到被測樣件上，理論上可以準確標注缺陷位置。變換過程如圖6所示。

圖6 投影變換流程Fig.6 Projection transformation process

3.2 可見-紅外相機輔助標定法

投影儀圖像像素坐標到熱像儀圖像像素坐標的變換需要投影儀和熱像儀的內(nèi)外參數(shù)矩陣，通過標定可以得到內(nèi)外參數(shù)。

鏡頭在加工、裝配過程中往往存在誤差，自身也存在幾何像差，標定過程中需要考慮畸變影響[14]。常見的畸變包括徑向畸變k1,k2和切向畸變p1,p2，若實際成像點在圖像物理坐標系下坐標為p′(x′,y′),理想成像點為p(x,y),則畸變修正公式為：

(9)

其中:δx和δy為畸變值，其計算為：

δx=k1x(x2+y2)+k2x(x2+y2)+
p1(3x2+y2)+2p2xy,
δy=k1y(x2+y2)+k2y(x2+y2)+
p2(3x2+y2)+2p1xy.

(10)

標定過程中得到畸變參數(shù)k1,k2,p1,p2，u、v方向的尺度因子fu、fv,圖像主點坐標(u0,v0),以及熱像儀坐標系到投影儀坐標系的旋轉(zhuǎn)矩陣與平移矩陣。對于熱像儀，可以利用張正友標定法[12]進行標定。但投影儀作為投影器件,無法通過拍攝圖像得到物平面二維圖像坐標與對應(yīng)點三維世界坐標之間的對應(yīng)關(guān)系。利用輔助相機可以建立投影儀與標定板間的坐標對應(yīng)關(guān)系，在熱像儀下方固定一工業(yè)相機作為輔助標定工具，如圖5所示。

以10×7的黑白棋盤圖案作為標定板，每個棋盤格邊長27.7 mm。將棋盤圖案粘貼于白色背景板上，投影儀同樣將棋盤格圖案投射到該背景板，用于建立像機圖像與投影圖像間的對應(yīng)關(guān)系，且可以保證投影平面與標定板平面位于同一平面。

以標定板棋盤格左上角的角點為坐標原點，XY平面與標定板平面重合，Z軸與標定板平面垂直，可建立標定板的世界坐標系。不同位姿下的標定板相對于相機同樣存在旋轉(zhuǎn)矩陣Ri和平移矩陣Ti，若相機的內(nèi)參矩陣為A,則標定板世界坐標與相機的圖像像素坐標的轉(zhuǎn)換關(guān)系為：

(11)

若相機已標定，即內(nèi)外參數(shù)矩陣已知，依據(jù)該轉(zhuǎn)換關(guān)系，可以實現(xiàn)對投影儀投影圖像世界坐標的提取。利用相機對投影儀進行標定的具體過程如下：

(1)按圖5所示固定好相機與投影儀。投影儀將黑白棋盤圖案投射到標定板所在背景板上，相機拍攝此時的標定板及投影圖案的圖像。

(2)改變背景板位姿(包括進行紅外圖像采集時樣品的位姿，以得到該位置下投影儀的外參數(shù)矩陣)，重復(fù)上述步驟，拍攝10組圖像。

(3)對相機拍攝圖像中標定板和投影圖案棋盤格的角點進行精確提取，如圖7所示。由標定板的角點坐標，利用張正友標定法[15]對相機進行標定，并根據(jù)式(11)結(jié)合已標定的相機參數(shù)計算投影圖案提取的角點像素坐標對應(yīng)的世界坐標，進而實現(xiàn)對投影儀的標定。

圖7 標定板特征點提取Fig.7 Feature point extraction of calibration plate

按圖5所示模型搭建該標定系統(tǒng)，投影儀型號為XGIMI NEW Z6X，可投影圖像的最大分辨率為1 920×1 080像素。相機型號為DAHENG MER-503_36U3M，焦距7 mm，可拍攝圖像最大分辨率為2 448×2 048像素,像元尺寸3.45 μm×3.45 μm。標定所得參數(shù)見表1。

其中fu、fv、u0、v0單位均為像素(px)，k1、k2、p1、p2為無量綱。進行紅外圖像采集時樣品位姿下熱像儀坐標系到投影儀坐標系的旋轉(zhuǎn)矩陣為：

(12)

平移矩陣為：

(13)

表1 相機、投影儀和熱像儀標定參數(shù)

圖8 投影儀重投影誤差Fig.8 Reprojection error of projector

旋轉(zhuǎn)矩陣各元素?zé)o量綱，平移矩陣各元素單位為mm。利用標定相機所得內(nèi)外參數(shù)矩陣，將棋盤圖案的特征點轉(zhuǎn)換到世界坐標系，再通過投影儀內(nèi)外參數(shù)矩陣轉(zhuǎn)換到投影儀的圖像像素坐標系，并與預(yù)先設(shè)定的棋盤圖案特征點坐標相減，以相減值的均值作為投影儀標定精度的評價方法[16]。結(jié)果如圖8所示，在x方向和y方向誤差均小于1個像素，該標定方法精度較高。

3.3 缺陷提取結(jié)果的投影

利用標定所得的熱像儀和投影儀內(nèi)外參數(shù)矩陣，可以得到投影儀像素坐標與熱像儀像素坐標間的投影變換關(guān)系。將熱像儀采集的圖像進行缺陷提取和投影變換,并通過投影儀投射到樣品表面。熱像儀采集的樣品紅外圖像如圖9所示，投影儀投影圖像如圖10所示。

圖9 熱像儀采集紅外圖像Fig.9 Infrared image collected by thermal imaging camera

圖10 投影儀投影圖像Fig.10 Image projected by the projector

圖11 缺陷投影結(jié)果Fig.11 Defect projection result

缺陷在樣品上的標注結(jié)果如圖11所示。以樣品左上角為原點，水平方向為X軸，豎直方向為Y軸建立坐標系，對投影結(jié)果進行定位。投影缺陷位置與實際位置對比見表2。

可以看出本文提出的紅外圖像處理及投影標注方法對于不同大小的缺陷，中心標注誤差在3 mm以內(nèi)，面積標注誤差在10%以內(nèi)。主要誤差來源為：(1) 標定板的制作不夠精確，本文的標定板是直接打印出來貼在背景平板上，對角點提取的精度有影響。同時，環(huán)境因素如拍攝環(huán)境周圍光照及外界引起的震動等都會對標定和投影結(jié)果產(chǎn)生影響。(2) 熱像儀采集的紅外圖像中，樣品表面紋理也會對缺陷邊緣的提取產(chǎn)生影響。通過選用精確度更高的標定板、改善拍攝環(huán)境以及對缺陷提取算法進一步優(yōu)化，可以提升缺陷位置標注精確度。

表2 缺陷投影位置與實際位置對比Tab.2 Comparison of defect’s projection position and actual position

4 結(jié) 論

本文針對紅外熱波檢測中缺陷提取結(jié)果難以及時在被測樣件上進行標注的問題，提出了基于熱像儀-投影儀系統(tǒng)的脈沖激勵紅外無損檢測及投影標記方法。對脈沖相位法的采樣時間進行優(yōu)化，提高處理后缺陷區(qū)域的對比度和邊界清晰度。利用自動閾值對處理結(jié)果進行分割，提取缺陷邊緣和中心位置。針對投影儀與熱像儀視角差異等因素引起的畸變問題，提出了可見-紅外相機輔助標定方法，利用輔助相機對熱像儀-投影儀系統(tǒng)進行標定，并用所得內(nèi)外參數(shù)矩陣對缺陷提取結(jié)果進行變換，矯正圖像畸變。經(jīng)測量，缺陷中心標注誤差在3 mm以內(nèi)，面積標注誤差在10%以內(nèi)。經(jīng)一次標定后，如果熱像儀、投影儀與被測樣品的相對位置不變，則標定的內(nèi)外參數(shù)仍適用，可直接對其他樣品進行缺陷標注，復(fù)用性較高。