邱 根，王 鋰，陳 凱

（電子科技大學(xué)自動(dòng)化工程學(xué)院，四川 成都 611731）

0 引 言

隨著科技發(fā)展與進(jìn)步，高壓容器得到廣泛應(yīng)用，并且推動(dòng)了各個(gè)行業(yè)的發(fā)展。基于應(yīng)用環(huán)境的多變性，高壓容器采用不同的規(guī)格與材質(zhì)以適應(yīng)環(huán)境的變化[1-2]。然而，復(fù)雜的應(yīng)用環(huán)境以及材料的特殊性等原因，會(huì)使得高壓容器產(chǎn)生疲勞裂紋、腐蝕損傷甚至孔洞等一系列的損傷類型[3-5]。因此對(duì)高壓容器潛在損傷的檢測(cè)是一類重要的研究方向。基于無(wú)損檢測(cè)的紅外熱成像技術(shù)因其高效性、損耗低、安全性高等優(yōu)勢(shì)而應(yīng)用廣泛[6-9]。

由于高壓容器體積過(guò)于巨大或者缺陷信息的幾何形狀特點(diǎn)，單幅圖像往往無(wú)法完全展示針對(duì)缺陷的信息，這時(shí)就需要應(yīng)用到圖像拼接技術(shù)，對(duì)紅外熱像儀拍攝到的多個(gè)視頻流進(jìn)行ICA處理得到完整缺陷信息重構(gòu)圖像[10-11]，對(duì)獲得的重構(gòu)圖像進(jìn)行拼接融合從而獲得完整清晰的圖像結(jié)果。同時(shí)，因拍攝角度和環(huán)境亮度等其他因素的影響，容易對(duì)圖像配準(zhǔn)過(guò)程產(chǎn)生干擾，降低配準(zhǔn)結(jié)果的準(zhǔn)確度，導(dǎo)致最終無(wú)法獲得有效的融合圖像以供進(jìn)一步針對(duì)缺陷部位的研究，因此需要研究魯棒性強(qiáng)、時(shí)效性高并且能對(duì)拼接結(jié)果進(jìn)行調(diào)整處理的拼接算法。

基于局部不變特征的匹配算法因其具有計(jì)算量小、魯棒性強(qiáng)，對(duì)圖像偏移、旋轉(zhuǎn)、灰度亮度變化等都有較好的適應(yīng)力的特點(diǎn)，成為了圖像匹配算法研究的主流方向。本文采用SURF算法對(duì)多個(gè)視頻流進(jìn)行ICA處理后得到的完整缺陷信息重構(gòu)圖像進(jìn)行特征提取[12-13]，同時(shí)采用雙向匹配法和MSAC算法對(duì)提取到的特征點(diǎn)對(duì)進(jìn)行匹配[14-16]，再通過(guò)提出的圖像融合算法對(duì)兩幅圖像進(jìn)行無(wú)縫拼接以及消除亮度和色彩對(duì)比度差異，最終融合結(jié)果圖像基本達(dá)到了預(yù)期效果[17-18]。

1 研究方法

1.1 紅外圖像融合算法流程

首先，對(duì)試件表面進(jìn)行多次紅外無(wú)損檢測(cè)，得到多個(gè)紅外視頻流，針對(duì)每個(gè)紅外視頻流使用ICA處理算法后得到局部區(qū)域的重構(gòu)圖像[10-11]。需要指出的是，對(duì)于含有缺陷的局部區(qū)域，ICA算法可以保證重構(gòu)圖像包含該局部區(qū)域的完整缺陷信息。接下來(lái)對(duì)重構(gòu)圖像應(yīng)用一套完整的圖像拼接和圖像融合流程，最終獲得試件經(jīng)紅外無(wú)損檢測(cè)后的完整融合圖像。圖1為本文所采用的圖像拼接融合算法的流程圖。

圖1 圖像拼接算法流程圖

1.2 ICA重構(gòu)算法

在紅外熱成像檢測(cè)系統(tǒng)中，由缺陷引起的熱輻射變化導(dǎo)致試件不同檢測(cè)區(qū)域有著不同的溫度變化率，樣本的所有這些空間溫度響應(yīng)被紅外相機(jī)作為圖像序列記錄下來(lái)。紅外傳感器無(wú)法直接定義這些熱響應(yīng)，但是可以認(rèn)為記錄下了一個(gè)由幾個(gè)特征區(qū)域組成的獨(dú)立成分構(gòu)成的盲源信號(hào)。不同的獨(dú)立特征區(qū)域有著不同的典型熱響應(yīng)特征，可以幫助提取不同的獨(dú)立信號(hào)圖像，從原始圖像序列到最終獲得突出各缺陷信息的特征圖像，這些典型的特征圖像為重構(gòu)圖像。ICA的目標(biāo)是從原始采集的圖像序列中分離出幾個(gè)獨(dú)立成分（ICs），如果人工地選擇缺陷部分和樣本背景為兩個(gè)獨(dú)立成分，即可實(shí)現(xiàn)含缺陷部分的重構(gòu)圖像。

基本的ICA數(shù)學(xué)模型可以表示為：

新的重構(gòu)序列可以被表示為生成的獨(dú)立信號(hào)的線性組合：

對(duì)于每一個(gè)估計(jì)的獨(dú)立信號(hào)，對(duì)應(yīng)其第i個(gè)區(qū)域產(chǎn)生的獨(dú)立信號(hào)圖像序列的重建過(guò)程可表示為：

根據(jù)缺陷信號(hào)對(duì)應(yīng)的圖像序列即可提取到包含完整缺陷信息的重構(gòu)圖像。

1.3 特征提取算法

本文采用SURF算法提取特征點(diǎn)的步驟分為特征點(diǎn)檢測(cè)和特征點(diǎn)描述。SURF算法在生成特征矢量時(shí)，利用積分圖像，使用快速Hessian檢測(cè)子來(lái)判斷經(jīng)尺度空間變換后提取的圖像關(guān)鍵點(diǎn)是否為極值點(diǎn)，完成特征點(diǎn)的檢測(cè)。特征點(diǎn)描述首先需要確定每個(gè)關(guān)鍵點(diǎn)的主方向，然后沿主方向構(gòu)造一個(gè)窗口領(lǐng)域，在窗口內(nèi)提取用來(lái)描述關(guān)鍵點(diǎn)的特征向量[12-13]。

SURF算法檢測(cè)特征點(diǎn)是基于尺度空間的，空間中的任意一像素點(diǎn)（x,y），對(duì)應(yīng)的尺度是σ，則Hessian矩陣的定義為：

其中Lxx,Lxy,Lyy是圖像上的點(diǎn)分別與高斯濾波二階偏導(dǎo)卷積后得到的。通過(guò)這種近似方法會(huì)帶來(lái)誤差，濾波器響應(yīng)的相對(duì)權(quán)重ω用于平衡Hessian行列式的表達(dá)式，通過(guò)此權(quán)重因子糾正后的近似Hessian表達(dá)式為：

可以通過(guò)式（10）中所示的近似Hessian矩陣行列式的計(jì)算方法，快速地對(duì)圖像中每一點(diǎn)求響應(yīng)并記錄下來(lái)就得到在相應(yīng)尺度 σ上的響應(yīng)圖，并通過(guò)非極大值抑制法精確定位極值點(diǎn)，每一個(gè)像素點(diǎn)通過(guò)與它所有的相鄰點(diǎn)進(jìn)行比較，判斷其是否比它的圖像域和尺度域的相鄰點(diǎn)大或者小。和同尺度的8個(gè)相鄰點(diǎn)和與其上下相鄰尺度對(duì)應(yīng)的9×2個(gè)點(diǎn)總共26個(gè)點(diǎn)比較，確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)。至此已經(jīng)得到特征點(diǎn)的位置信息和其所在的尺度信息。

1.4 特征點(diǎn)匹配

特征點(diǎn)提取步驟之后，需要對(duì)包含了64維向量信息的特征點(diǎn)進(jìn)行匹配，在檢測(cè)到的特征點(diǎn)中找出具有相似性的特征點(diǎn)對(duì)，依據(jù)特征點(diǎn)建立兩幅圖像之間的一種對(duì)應(yīng)關(guān)系，為之后的拼接工作與最終的圖像融合提供了基礎(chǔ)[14-16]。

Hessian矩陣不僅可以用來(lái)檢測(cè)到特征點(diǎn)的位置，另外，該矩陣跡的正負(fù)性還與特征點(diǎn)的亮度密切相關(guān)。

Hessian矩陣跡的表達(dá)式為：

其中 dx、dy分別是積分圖像濾波器中x、y方向的響應(yīng)值。根據(jù)Hessian矩陣跡的符號(hào)能夠加快相似性度量時(shí)的匹配速度，根據(jù)亮度的不同把特征點(diǎn)分為特征點(diǎn)與其鄰域的亮度比背景區(qū)域要亮和暗的兩種，對(duì)于比背景區(qū)域亮的特征點(diǎn)值為正的，比背景區(qū)域暗的特征點(diǎn)Hessian矩陣的跡是負(fù)的。

傳統(tǒng)SURF算法在特征點(diǎn)匹配過(guò)程中，基于歐氏距離作為相似性度量，參考圖像中的某個(gè)特征點(diǎn)，通過(guò)搜索策略獲得待配準(zhǔn)圖像中與點(diǎn)p距離最小和次小的兩個(gè)點(diǎn)，分別記為q1和q2，并且記這兩個(gè)點(diǎn)與點(diǎn)p的特征描述矢量之間的距離分別即為d1和d2。設(shè)定一個(gè)閾值T，將d1與d2的比值與閾值T進(jìn)行比較，如果前者大于后者，那么點(diǎn)q1即為所選擇的匹配點(diǎn)，點(diǎn)p和點(diǎn)q1成為一對(duì)匹配點(diǎn)，該方法稱作最近/次近比率法，用數(shù)學(xué)表達(dá)式可表示為：

由于特征匹配階段算法速度快，可以通過(guò)犧牲少量時(shí)間來(lái)提高匹配過(guò)程的正確率，獲得了唯一對(duì)應(yīng)的匹配點(diǎn)對(duì)，同樣為后續(xù)去除誤匹配階段算法提供更精確的匹配點(diǎn)對(duì)，加快后續(xù)算法的速度。去除誤匹配算法采用MSAC算法，其表達(dá)式為：

1.5 圖像融合

圖像拼接的最后一步是利用上節(jié)求得的參考圖像和待拼接圖像間的基礎(chǔ)變換矩陣將兩幅圖像整合成一幅完整的圖像。本文提出一種改進(jìn)的先對(duì)亮度調(diào)整之后再采用基于距離的加權(quán)平均融合算法來(lái)實(shí)現(xiàn)基本無(wú)亮度差異以及明顯拼接縫的融合結(jié)果[17-18]。

基于距離的加權(quán)融合算法基本思路是根據(jù)重疊區(qū)域里的特征點(diǎn)到左右邊界的距離，分別記為d1和d2，則合并后的像素值表示為：

式中：I1和I2——重疊區(qū)域中兩圖像特征點(diǎn)對(duì)應(yīng)的像素值；

I——最后經(jīng)過(guò)加權(quán)得到的新的像素點(diǎn)像素值。

該方法有效地消除了由初始圖像間采集以及后續(xù)預(yù)處理算法引起的色彩和亮度差異，后續(xù)實(shí)驗(yàn)部分表明，應(yīng)用本文改進(jìn)的融合算法，獲得了良好的圖像拼接質(zhì)量，拼接縫隙幾乎消失，并消除了極為明顯的亮度和色彩差異，圖像拼接效果平滑自然。

2）學(xué)生的英語(yǔ)水平能到了提升。音樂(lè)治療專業(yè)學(xué)生的英語(yǔ)基礎(chǔ)普遍較薄弱。教師在開(kāi)課前經(jīng)與學(xué)生訪談得知，大部分學(xué)生的英語(yǔ)高考分?jǐn)?shù)較低，多數(shù)學(xué)生對(duì)大學(xué)英語(yǔ)課程有壓力感，甚至對(duì)能否順利通過(guò)期末考試存在擔(dān)憂。在實(shí)施任務(wù)型教學(xué)模式后，學(xué)生接觸和使用英語(yǔ)的時(shí)間增加了，信心也增強(qiáng)了，其英語(yǔ)基本技能得到了明顯的提升。

2 實(shí)驗(yàn)過(guò)程及結(jié)果分析

2.1 特征點(diǎn)提取實(shí)驗(yàn)

本實(shí)驗(yàn)采用的是壓容器復(fù)合金屬板樣本，對(duì)圖2中的九孔試件進(jìn)行特征點(diǎn)提取。紅外采集樣本為362幀512×640的圖像數(shù)據(jù)，對(duì)同一九孔試件進(jìn)行兩次紅外采集數(shù)據(jù)后經(jīng)過(guò)降維和ICA處理，為檢驗(yàn)算法性能和可行性，在Matlab環(huán)境下實(shí)現(xiàn)了本文的算法，通過(guò)對(duì)兩幅重構(gòu)圖像提取到的缺陷獨(dú)立成分得到的結(jié)果圖像進(jìn)行匹配實(shí)驗(yàn)，以此來(lái)檢驗(yàn)算法的性能。

圖2 試件

采用SURF算法在參考圖像中提取到了415個(gè)特征點(diǎn)，待配準(zhǔn)圖像中提取到了376個(gè)特征點(diǎn)，這里為了便于觀察，只顯示了其中50個(gè)特征點(diǎn)效果圖。圖3中（a）和（b）分別為參考圖像和待配準(zhǔn)圖像的檢測(cè)結(jié)果。從特征點(diǎn)效果圖可以看出，采用SURF算法所得到的參考圖像和待拼接圖像結(jié)果中的特征點(diǎn)能被明顯辨識(shí)，該方法能夠較為準(zhǔn)確地檢測(cè)并提取到紅外缺陷圖像中的特征點(diǎn)信息。

圖3 SURF算法特征提取結(jié)果

2.2 特征點(diǎn)匹配實(shí)驗(yàn)

完成對(duì)圖像提取SURF特征點(diǎn)之后，需要進(jìn)行特征匹配的步驟。在得到數(shù)量可觀的特征點(diǎn)后，匹配方法的選擇也是圖像配準(zhǔn)中的重要一環(huán)。

本文特征點(diǎn)匹配實(shí)驗(yàn)采用Hessian矩陣來(lái)檢測(cè)前面提取到的415個(gè)參考圖像特征點(diǎn)和376個(gè)待配準(zhǔn)圖像特征點(diǎn)，為了加快相似度匹配速度，首先通過(guò)特征點(diǎn)亮度預(yù)先判定矩陣跡的正負(fù)性，再通過(guò)最近/次近比率法搜索策略檢測(cè)特征點(diǎn)的位置。同時(shí)，采用雙向匹配法確保匹配點(diǎn)對(duì)的唯一性原則和MSAC算法剔除誤匹配點(diǎn)對(duì)來(lái)提高匹配正確率。

圖4是本文算法結(jié)果圖，匹配對(duì)數(shù)為27，匹配正確率70%。圖5是傳統(tǒng)SURF法采用的特征點(diǎn)匹配效果圖，匹配對(duì)數(shù)為34，匹配正確率56%。

圖4 采用雙向匹配算法效果圖

圖5 傳統(tǒng)SURF采用最近鄰與次近鄰比法匹配效果圖

采用本文算法獲得的匹配點(diǎn)對(duì)數(shù)減少了20%，對(duì)于出現(xiàn)的一些誤匹配的點(diǎn)對(duì)，依據(jù)本文選用的MSAC算法將其剔除，使匹配精度得到進(jìn)一步提高。圖6為剔除后的匹配結(jié)果，最終在雙向匹配獲得的27對(duì)匹配點(diǎn)基礎(chǔ)上，去除誤配點(diǎn)對(duì)，得到用于估計(jì)變換模型的內(nèi)點(diǎn)對(duì)19對(duì)，數(shù)量可觀的內(nèi)點(diǎn)數(shù)量可以保證估計(jì)的變換矩陣參數(shù)的精確度。

圖6 MSAC法剔除誤匹配點(diǎn)對(duì)后結(jié)果圖

通過(guò)對(duì)比可以直觀發(fā)現(xiàn)，在對(duì)圖像進(jìn)行雙向匹配并對(duì)誤匹配點(diǎn)對(duì)剔除之后，圖像中的匹配點(diǎn)對(duì)數(shù)顯著減少，成功率大大提高，這對(duì)后續(xù)拼接以及圖像融合算法中速度的提升起著重要的作用。

圖7 幾何變換的結(jié)果圖

2.3 圖像融合實(shí)驗(yàn)

本文圖像融合目的在于平衡兩幅圖像的亮度差異，以及消除拼接縫隙，使圖像更加自然地顯示，對(duì)于后期的觀察與研究有很大幫助。實(shí)驗(yàn)根據(jù)本文提出的改進(jìn)算法先對(duì)亮度進(jìn)行調(diào)整，再采用基于距離的加權(quán)平均融合算法，以實(shí)現(xiàn)拼接融合圖像無(wú)亮度差異和明顯拼接縫的效果。

圖8所示為未經(jīng)融合處理的直接拼接結(jié)果，極易觀察到拼接部位出現(xiàn)了較為明晰的拼接縫以及縫隙兩端的亮度和色彩差異。

圖8 直接拼接結(jié)果

根據(jù)本文提出的算法對(duì)圖像進(jìn)行基于亮度和距離加權(quán)融合處理，得到處理后的圖像中沒(méi)有顯示出明顯的拼接縫，圖像之間過(guò)渡平緩，達(dá)到了預(yù)期的效果。對(duì)亮度加權(quán)處理后的結(jié)果如圖9所示，相比圖8的直接拼接結(jié)果，可觀察出色彩對(duì)比度和亮度的差異得到了明顯的改善，基于亮度加權(quán)處理后的圖像成功消除了明顯的亮度差異，使得圖像顯示正確且平滑。

圖9 亮度調(diào)整后拼接結(jié)果

采用本文拼接算法最終融合后的結(jié)果如圖10所示，融合之后的圖像成功消除了拼接縫和明顯的色彩對(duì)比度差異，圖像之間過(guò)渡平緩，顯示正確且平滑，達(dá)到了預(yù)期效果，為后期的研究工作奠定了良好基礎(chǔ)。

圖10 最終拼接融合結(jié)果

3 結(jié)束語(yǔ)

本文采用SURF算法對(duì)經(jīng)過(guò)ICA處理的紅外熱圖像進(jìn)行特征提取，通過(guò)雙向匹配法和MSAC算法進(jìn)行特征點(diǎn)對(duì)的粗匹配和去除誤匹配過(guò)程，最后提出改進(jìn)的基于亮度和距離加權(quán)融合算法對(duì)參考圖像和待配準(zhǔn)圖像進(jìn)行融合。通過(guò)實(shí)驗(yàn)仿真，在SURF算法提取到數(shù)量可觀的特征點(diǎn)以及經(jīng)匹配算法后得到的一定數(shù)量的精準(zhǔn)匹配點(diǎn)對(duì)后，通過(guò)提出的算法可以實(shí)現(xiàn)最終圖像的無(wú)縫拼接以及消除亮度和色彩對(duì)比度差異，實(shí)驗(yàn)結(jié)果體現(xiàn)了算法的有效性。