陳樹越，劉金星，丁 藝，董 偉

(常州大學信息科學與工程學院，江蘇 常州213164)

1 引言

紅外熱成像檢測技術(shù)由于具有無損傷、非接觸式、可靠性好的優(yōu)點，因而被廣泛應用于工業(yè)中的缺陷檢測、故障診斷等領域［1］。紅外與可見光圖像的融合，可以得到構(gòu)件表面的熱輻射圖，同時還含有豐富的背景信息。常見的紅外與可見光圖像融合的方法有小波融合、金字塔融合、像素平均加權(quán)融合等方法［2－4］。X光具有很高的穿透本領，能透過許多對可見光不透明的物體。工業(yè)上用于探傷，X光可以激發(fā)熒光，使感光乳膠感光，故X光可作用于電離計、閃爍計數(shù)器和感光乳膠片等來進行構(gòu)件的缺陷檢測［5］。

紅外圖像與X光圖像進行融合，不僅能獲得構(gòu)件表面的溫度場分布，還可以透過構(gòu)件內(nèi)部獲得不可視零部件的結(jié)構(gòu)，進而判斷和追蹤熱輻射來源，使得圖像的信息更加豐富。本文在分析紅外與可見光融合的基礎上，提出了紅外圖像與X光圖像的融合方案。采用交互式選擇配準點的方法對他們進行圖像配準，然后用灰度加權(quán)平均法對圖像進行融合。通過實驗，我們得出了融合后的圖像，從圖像中可以獲得構(gòu)件內(nèi)部的分布及溫度場分布，并對融合后的圖像進行了質(zhì)量評價。

2 圖像配準與融合

2．1 圖像配準

圖像配準是將兩幅或者多幅從不同視角、在不同條件或時間下獲得的關于同一場景的圖像進行最佳匹配的過程，從而去掉待配準圖和標準圖在幾何上的差異，如旋轉(zhuǎn)，平移和變形，使得相同目標在不同的圖像上具有相同的坐標［6］。

可以將圖像配準定義為:

式中，P1、P2分別為待配準圖像和參考圖像，兩幅圖像在點(x，y)處的灰度值分別表示為P1(x，y)，P2(x，y);L和F分別表示一維灰度變換函數(shù)和二維灰度變換函數(shù)，F(xiàn)可以用一些常見的空間變換模型表示，如仿射變換、投影變換等［7］，本文采用了仿射變換。

圖像特征的配準方法根據(jù)在特征點提取的過程中是否需要人為介入，可以將基于特征點的配準方法分為自動配準和交互式配準。自動配準方法是使用各種角點算法提取出待測圖像特征點，然后通過某種算法除去不一致的特征點，獲得可靠的特征點對。交互式配準方法分別在參考圖像和待配準圖像上選取特征點對，這個過程是由人主觀選取的。對紅外圖像和X光圖像的融合，由于它們在灰度和特征信息上還存在著較大的差別，很難通過自動配準的方法精確地選取到一致的特征點。所以，本文采用交互式配準的方法。

2．2 圖像融合

灰度加權(quán)平均法圖像融合算法對原圖像的像素值直接取相同的權(quán)值，然后進行加權(quán)平均得到融合圖像的像素值，得到一幅新的融合圖像。加權(quán)平均法不需要對圖像進行任何變換，也不需要考慮像素之間的關系。假定融合的源圖像分別為f1和f2，圖像大小為M×N，融合圖像為f，則融合過程可以表示為［8］:

式中，m表示圖像中像素的行號，m=1，2，3，…，M;n表示圖像中像素的列號，n=1，2，3，…，N;w1，w2為加權(quán)系數(shù)，一般情況下，w1+w2=1。

3 質(zhì)量評價

對同樣的兩幅圖像，不同的融合方法可以得到不同的融合圖像，并且不同的融合方法有不同的優(yōu)點。因此，對融合圖像進行質(zhì)量評價，有助于我們選擇適當?shù)膱D像融合算法和改進現(xiàn)有的融合算法。

客觀評價主要有:熵、平均梯度、標準差、均方根誤差、信噪比、峰值信噪比、聯(lián)合熵、偏差與相對偏差、交互信息量。由于在實際應用中很難得到融合圖像的標準圖像，因此，對于紅外與X光圖像融合效果，可以采用圖像的熵、平均梯度、標準差等來評價圖像融合前后的變化和融合圖像質(zhì)量。

設f和g為M×N的源圖像，r為融合圖像。L為圖像灰度級數(shù)，h(i)為圖像的歸一化直方圖，hf，g(i)為f和g的歸一化聯(lián)合直方圖。所采用的評價融合圖像的幾種方法如下:

(1)熵:反映圖像攜帶平均信息量的多少，熵越大，圖像攜帶的信息量越豐富［9－10］。

(2)標準差:圖像中像素的灰度與整幅圖像平均灰度相比的離散情況，標準差越大，圖像的灰度分布越分散，說明圖像的對比度就越大［11］。

(3)平均梯度指圖像的邊界或影線兩側(cè)附近灰度有明顯差異，即灰度變化率大，這種變化率的大小可用來表示圖像清晰度。它反映了圖像微小細節(jié)反差變化的速率，即圖像多維方向上密度變化的速率，表征圖像的相對清晰程度［12］。

其中，f(m，n)表示圖像中點(m，n)的灰度大小。圖像的平均梯度越大，說明圖像越清晰。

4 實驗結(jié)果及分析

電路在工作中，其中的元器件會產(chǎn)生熱量，實驗以電路板為研究對象，對其進行了X光與紅外圖像融合，并對實驗結(jié)果進行了分析。首先，采用紅外熱像儀和數(shù)字X光成像機獲取紅外與X光圖像，如圖1所示。

圖1 紅外與X光圖像

由于在一幅圖像中，圖像的灰度變化大多存在于低頻部分，而圖像的邊緣和線條等細節(jié)通常存在于高頻部分。因此，為了使圖像的輪廓變得更突出，線條變得更清晰，先對X光圖像進行高通濾波處理，處理后的圖像如圖2所示。然后，再以圖2為基準圖像，對紅外圖像進行配準，用交互式選擇配準點的方法得到配準的紅外圖像，如圖3所示。

采用灰度平均融合法對圖2與圖3圖像進行融合，得到融合后的圖像，如圖4所示。通過融合實驗結(jié)果可以清晰地觀察到電路板所反映的溫度信息和內(nèi)部結(jié)構(gòu)細節(jié)。

圖2 高通濾波的X光圖像

圖3 配準后的紅外圖像圖

圖4 融合圖像

由于不存在標準的融合圖像，因此，采用熵、標準差和聯(lián)合熵來客觀評價獲得的融合圖像。由于本實驗中主要是獲得構(gòu)件內(nèi)部溫度場分布和細節(jié)，尤其是芯片的溫度場分布，因此，選取芯片附近互相對應的的區(qū)域進行融合質(zhì)量評價，如圖5所示，評價結(jié)果如表1所示。

圖5 相對應的區(qū)域圖像

由表1可知，融合圖像熵值比紅外圖像大，比X光小，這是因為圖像的信息熵表示圖像中灰度分布的聚集特征所包含的信息量，即灰度的起伏量。表明X圖像最為清晰，而融合后的圖像次之。融合圖像的標準差和平均梯度都介于紅外圖像和X光圖像之間，表明它在繼承了兩幅圖像的信息基礎上進行了折中，既包含構(gòu)件的溫度場分布，同時也反映了構(gòu)件內(nèi)部清晰的結(jié)構(gòu)。實驗表明融合后的圖像盡管沒有X光圖像清晰，但它能表達溫度場信息，而比紅外圖像對構(gòu)件的細節(jié)描述上更加清晰。

表1 評價結(jié)果

5 結(jié)論

提出了X光和紅外圖像的融合，結(jié)合了相關的質(zhì)量評價參數(shù)來評價圖像。通過實驗，得到了紅外與X光圖像的融合圖，可以直觀地獲得構(gòu)件表面和內(nèi)部結(jié)構(gòu)的溫度場的分布，為了驗證實驗的融合效果，還進行了融合圖像的質(zhì)量評價，從主觀上來看，融合圖像在溫度和構(gòu)建內(nèi)部細節(jié)上的表達很明顯，效果較好。同時，通過客觀評價實驗，表明融合圖像所選擇的三種客觀評價指標都介于兩者之間，因此，融合圖像在保留了構(gòu)件內(nèi)部結(jié)構(gòu)清晰的前提下還包含有圖像豐富的溫度場信息。

［1］ GUO Tiantai．Application of infrared thermal imaging technique in non－destructive testing［J］．Machine Tool＆Hydraulics，2004(2):110－111．(in Chinese)郭天太．紅外熱成像技術(shù)在無損檢測中的應用［J］．機床與液壓，2004(2):110－111．

［2］ TAO Shifeng，WANG Yihong．Application research on wavelet fusion technology in image segmentation algorithm［J］．Measurement＆Control Technology，2014，33(2):39－42．(in Chinese)陶士鳳，王亦紅．小波融合技術(shù)在圖像分割算法中的應用研究［J］．測控技術(shù)，2014，33(2):39－42．

［3］ HU GANG，LIU Zhe，XU Xiaoping，et al．Research and recent development of image fusion at pixel level［J］．Application Research of Computers，2008，25(3):651－652．(in Chinese)胡鋼，劉哲，徐小平，等．像素級圖像融合技術(shù)的研究與進展［J］．計算機應用研究，2008，25(3):651－652．

［4］ Sheng Zheng，Wen Zhongshi，Liu Jian，et al．Multisource image fusion method using support value transform［J］．IEEE Transactions on Image Processing，2007，16(7):1183－1837．

［5］ ZHENG Jinzhou，LU Shaodong．The application of X－ray technology in sectuirty inspection domain［J］．CT Theory and Applications，2012，21(2):357－361．(in Chinese)鄭金州，魯紹棟．X射線技術(shù)在安檢領域的應用［J］．CT理論與應用研究，2012，21(2):357－361．

［6］ YUAN Jinsha，ZHAO Zhenbing，GAO Qiang，et al．Review and prospect on infrared/visible image registration［J］．Laser＆Infrared，2009，39(7):693－699．(in Chinese)苑津莎，趙振兵，高強，等．紅外與可見光圖像配準研究現(xiàn)狀與展望［J］．激光與紅外，2009，39(7):693－699．

［7］ WU Xueling，REN Fu，DU Qingyun．Spatial information augmented representation using affine transformations registration［J］．Computer Engineering and Applications，2010，46(3):16－17．(in Chinese)武雪玲，任福，杜清運．仿射變換虛實配準的空間信息增強表達［J］．計算機工程與應用，2010，46(3):16－17．

［8］ WANG Ke，OU Yangning．Study of image fusion and evaluation methods［J］．Video Engineering，2007，31(1):20－21．(in Chinese)王珂，歐陽寧．圖像融合技術(shù)及評價方法［J］．電視技術(shù)，2007，31(1):20－21．

［9］ ZHENG Yongan，SONG Jianshe，ZHOU Wenming，et al．Objective evaluation method for image fusion based on image quality index［J］．Systems Engineering and Electronics，2006，28(3):463－466．(in Chinese)鄭永安，宋建社，周文明，等．基于質(zhì)量因子的圖像融合客觀評價方法［J］．系統(tǒng)工程與電子技術(shù)，2006，28(3):463－466．

［10］Deepak Kumar Sahu，M P Parsai．Different image fusion techniques－a critical review［J］．International Journal of Modern Engineering Research，2012，2(5):4299－4300．

［11］LI Guangxin．Fusion technology of infrared and visible images［D］．Changchun:Jilin University，2008．(in Chinese)李光鑫．紅外和可見光圖像融合技術(shù)研究［D］．長春:吉林大學，2008．

［12］WANG Haihui，PENG Jiaxiong，WU Wei．Comparison of the methods of evaluating the performance of multi－sensor image fusion［J］．Infrared and Laser Engineering，2004，33(2):189－193．(in Chinese)王海暉，彭嘉雄，吳?。u價多傳感器圖像融合效果方法的比較［J］．紅外與激光工程，2004，33(2):189－193．