趙晨+陳天華+李子伊+王聰聰

摘要：在紅外與可見(jiàn)光的配準(zhǔn)中，可見(jiàn)光圖像和紅外圖像之間存在較大的灰度差異，對(duì)同一景物所表現(xiàn)出的特征也不相同，這是造成配準(zhǔn)精度不高的主要原因。目前，對(duì)于邊緣特征比較明顯的圖像，主要通過(guò)歸一化互信息和邊緣特征相結(jié)合的方法來(lái)將其配準(zhǔn)。這種方法的優(yōu)點(diǎn)是容易實(shí)現(xiàn)，魯棒性高；缺點(diǎn)是計(jì)算量大、速度慢。因此我們比較了3種不同算法間的優(yōu)缺點(diǎn)，能為圖像的融合和配準(zhǔn)研究提出新的研究方向和想法。

關(guān)鍵詞：小波變換；主要成分分析；相似三角形匹配

圖像融合是將兩幅或多幅圖像組合成一幅保持重要圖像特征的過(guò)程。圖像的融合通常需要從不同的圖像獲得原始圖像的特征。在同一場(chǎng)景下，通常不同的儀器或捕獲技術(shù)（如多傳感器、多焦點(diǎn)和多模態(tài)）進(jìn)行取景并融合配準(zhǔn)。對(duì)于遙感圖像，一些具有良好的光譜信息，而一些具有相對(duì)較高的幾何分辨率。因此，這些圖像在許多方面都是互補(bǔ)的，沒(méi)有一個(gè)圖像能清晰展示場(chǎng)景的全部特征。通過(guò)整合這些圖像，充分利用這些圖像的優(yōu)點(diǎn)和各自的不同的信息，在不同的圖像中看到互補(bǔ)的特征，從而生成相對(duì)較清晰的圖像。融合技術(shù)包括最簡(jiǎn)單的像素平均方法，更復(fù)雜的方法，有主要成分分析和小波變換融合等等。

1.三種算法的基本介紹

1.1 基于相似三角形法

基于相似三角形法的首要任務(wù)是將提取出來(lái)的Harris角點(diǎn)組成相似三角形，通過(guò)算法搜索出兩副圖像中最匹配的一對(duì)相似三角形即找出最匹配的三個(gè)角點(diǎn)并通過(guò)相似三角形的性質(zhì)，計(jì)算出相關(guān)的匹配點(diǎn)，最后利用RANSAC算法擬合出匹配參數(shù)對(duì)圖像進(jìn)行配準(zhǔn)。

1.2 主要成分分析法

主要成分分析法（PCA）的主要過(guò)程是將一些相關(guān)變量轉(zhuǎn)換成一些非相關(guān)變量，其核心算法是計(jì)算出經(jīng)過(guò)壓縮后的最優(yōu)的數(shù)據(jù)組的描述。本方法可以在保留大量信息的情況下，通過(guò)突出圖片的相似點(diǎn)和不同點(diǎn)來(lái)進(jìn)行匹配。在圖像融合時(shí)，PCA主要分析維度減少前后的數(shù)據(jù)，幫助減少多余的信息并且重點(diǎn)突出特征最為明顯的成分，近一步增加信號(hào)對(duì)噪聲的比例。

1.3 小波變換法

該方法的基本思想是通過(guò)選擇合適的基礎(chǔ)函數(shù)來(lái)影響圖像采樣的時(shí)間-頻率變換數(shù)值，運(yùn)用小波變換，能有效地從圖像中提取有用信息。它還提供了一個(gè)可以隨著信號(hào)頻率改變的時(shí)間-頻率窗口，能夠隨著頻率的不同而改變窗口大小。它通過(guò)伸縮和平移等方法可對(duì)函數(shù)或信號(hào)進(jìn)行多尺度的細(xì)化分析，從而解決了很多Fourier變換不能解決的復(fù)雜信號(hào)處理問(wèn)題。

2.三種算法的基本原理

2.1 基于相似三角形法

該算法主要包括三個(gè)主要步驟：1.特征點(diǎn)提??；2.搜索最佳匹配的三個(gè)特征點(diǎn)組成的相似三角形；3.RANSAC算法擬合出配準(zhǔn)參數(shù)。

首先是提取Harris角點(diǎn)。Harris角點(diǎn)檢測(cè)算法就是對(duì)角點(diǎn)響應(yīng)函數(shù)R進(jìn)行閾值處理：R > threshold，即提取R的局部極大值；

其次是搜索最優(yōu)匹配和判別相似三角形。為加快計(jì)算速度，提取的三角形需滿足三邊互不相等，利用三角形三邊對(duì)應(yīng)成比例的判定條件，判別相似三角形。但三角形的一條邊需要與另一三角形的每一條邊進(jìn)行匹配，才能判斷出是否相似，這樣計(jì)算量很大。如果三角形相似，對(duì)應(yīng)長(zhǎng)度的邊應(yīng)匹配：即長(zhǎng)邊對(duì)應(yīng)長(zhǎng)邊，為此，先計(jì)算三角形每一條邊的長(zhǎng)度。按邊長(zhǎng)從大到小的順序，求對(duì)應(yīng)長(zhǎng)度的邊長(zhǎng)的比值。設(shè)置誤差閾值k當(dāng)三角形對(duì)應(yīng)長(zhǎng)度的邊長(zhǎng)比值在誤差閾值內(nèi)近似相等時(shí)，即認(rèn)為兩個(gè)三角形相似。由三角形頂點(diǎn)與對(duì)邊一一對(duì)應(yīng)的關(guān)系，可以通過(guò)三角形對(duì)應(yīng)長(zhǎng)度的邊，判斷出三對(duì)匹配的角點(diǎn)。

但相似三角形中會(huì)存在誤匹配問(wèn)題，為解決此問(wèn)題，提出了位置相似三角形的概念。位置相似三角形滿足一般相似三角形的性質(zhì)，相似三角形對(duì)應(yīng)邊正向夾角相等，規(guī)定逆時(shí)針為夾角的正方向。通過(guò)位置相似三角形，可以去除掉大量誤匹配三角形，但當(dāng)兩幅圖像間旋轉(zhuǎn)角度很小或圖像間僅存在平移問(wèn)題時(shí)，不滿足位置相似三角形的條件。且由于紅外與可見(jiàn)光圖像中角點(diǎn)間相關(guān)度較小，如果去除掉類(lèi)似這種情況的匹配三角形，可能會(huì)使配準(zhǔn)誤差變大，甚至找不到匹配點(diǎn)。因此，可以通過(guò)設(shè)置兩個(gè)誤差閾值k1，k2來(lái)控制相似三角形匹配，即當(dāng)圖像間旋轉(zhuǎn)角度較大時(shí)（設(shè)置旋轉(zhuǎn)角度大于等于2°），通過(guò)K1控制相似三角形對(duì)應(yīng)邊正方向夾角的誤差；設(shè)置α，β，γ為對(duì)應(yīng)邊正方向夾角，當(dāng)滿足|α-β|，|α-γ|，|β-γ|都小于等于k1時(shí)，兩三角形位置相似，當(dāng)圖像間旋轉(zhuǎn)角度很小或僅存在平移問(wèn)題時(shí)，通過(guò)閾值K2控制，即設(shè)三角形對(duì)應(yīng)邊的正方向夾角為α，當(dāng)三條對(duì)應(yīng)邊正方向夾角同時(shí)滿足α≤k2或α≥π-k2時(shí)，認(rèn)為是位置相似三角形，即誤差小于k1或k2時(shí)，為最優(yōu)匹配三角形。

通過(guò)上述方法，提取出的三對(duì)匹配的角點(diǎn)為可疑匹配特征點(diǎn)。接下來(lái)要估算相關(guān)匹配點(diǎn)。傳統(tǒng)的特征點(diǎn)匹配需找出滿足求取變換模型參數(shù)的特征點(diǎn)個(gè)數(shù)，這樣在匹配的特征點(diǎn)中有些誤差較大會(huì)降低匹配精度。本文提出利用三角形相似的相關(guān)性質(zhì)，如：對(duì)應(yīng)三邊中點(diǎn)匹配。三角形內(nèi)切圓圓心，外接圓圓心匹配等。通過(guò)最佳匹配的三對(duì)特征點(diǎn)生成的匹配點(diǎn)，精度會(huì)更高。本文通過(guò)三角形的性質(zhì)：對(duì)應(yīng)三邊中點(diǎn)匹配，外接圓圓心匹配，計(jì)算出四對(duì)匹配點(diǎn)，與搜索出的三對(duì)可疑匹配特征點(diǎn)組成一組可以匹配點(diǎn)。

在RANSAC算法求取θ（參數(shù)矩陣θ=[cosΦ sinΦ tx]T）中，可通過(guò)RANSAC算法求取θ的最優(yōu)解，步驟如下：

1.選取四對(duì)匹配點(diǎn)計(jì)算參數(shù)矩陣θ

2.計(jì)算其他匹配點(diǎn)離θ的距離d

3.設(shè)定閾值計(jì)算出此對(duì)應(yīng)θ的內(nèi)點(diǎn)；

4.找到內(nèi)點(diǎn)最多的θ的估計(jì)和對(duì)應(yīng)的內(nèi)點(diǎn)；

2.2 主要成分分析法

PCA的實(shí)現(xiàn)方法主要有三種：原始PCA，基于PCA的奇異值分解和基于PCA的經(jīng)濟(jì)型奇異值分解。接下來(lái)將詳細(xì)論述這三種實(shí)現(xiàn)方法。

2.2.1原始PCA

在原始PCA中，將原始空間的數(shù)據(jù)投射到特征空間，來(lái)增加方差并且減少協(xié)方差，以便識(shí)別數(shù)據(jù)中的模式。原始PCA的流程主要由建立類(lèi)似柵格矩陣、標(biāo)準(zhǔn)化圖像、建立協(xié)方差矩陣、尋找特征向量和特征值、找到主要成分和重建圖像幾部分組成。endprint

2.2.2基于PCA的奇異值分解

基于PCA的奇異值分解的主要理念是通過(guò)對(duì)奇異值的分解來(lái)尋找特征值和特征變量?？傮w上來(lái)看，一個(gè)M×N的矩陣可以被分解成三個(gè)小的矩陣。

A=UΣV T式（2-1）

其中M≥N，U是一個(gè)M×M的矩陣，Σ是一個(gè)M×N的非負(fù)的對(duì)角矩陣，代表矩陣A的奇異值。V是一個(gè)N×N的矩陣。并且U的每一列給出矩陣A在主要成分空間里的坐標(biāo)。通過(guò)保持矩陣U的列并且重建結(jié)果圖像，這樣很容易減少原始圖像序列中的多余數(shù)據(jù)。相同的，一但類(lèi)柵格矩陣被建立和標(biāo)準(zhǔn)化，SVD變換就會(huì)被式子2-1用來(lái)去特征值和特征向量。

式（2-2）

式（2-3）

2.2.1基于PCA的經(jīng)濟(jì)型奇異值分解

一種更簡(jiǎn)潔的，更省時(shí)的方法，是基于PCA的奇異值分解法。因?yàn)樵谠摲N方法中，只有矩陣U的各別列被保留，用來(lái)重建結(jié)果圖片。跟普通的基于PCA的SVD相比，這種方法在建立類(lèi)光柵的矩陣有所不同（2-2）。用相同的標(biāo)準(zhǔn)化操作在每個(gè)維度來(lái)建立以零為中心數(shù)據(jù)（2-3）。

接下來(lái)，用經(jīng)濟(jì)型SVD來(lái)標(biāo)準(zhǔn)化矩陣（2-1）當(dāng)標(biāo)準(zhǔn)化矩陣是M×N，且，，的矩陣時(shí)，這種方法只計(jì)算M矩陣中最開(kāi)始的N列和的矩陣Σ的大小，而不是的矩陣Σ的大小。最后，通過(guò)最開(kāi)始的矩陣U（呈現(xiàn)將近百分之八十到百分之九十的原始圖像的序列的方差）的經(jīng)驗(yàn)正交函數(shù)重建結(jié)果圖像。

2.3 小波變換法

在小波變換中，時(shí)間上的延長(zhǎng)將順應(yīng)相關(guān)的分析頻率的基函數(shù)變化?；谛盘?hào)處理的不確定性原理：

?T ?ω≥1/2

其中，T代表時(shí)間，ω代表角頻率（ω=2πF，其中F是時(shí)間頻率）。我們?cè)跁r(shí)域中要求的分辨率越高，則相應(yīng)的頻率分辨率就越低。所以要選擇較大的分析窗口去擴(kuò)展。還有一個(gè)很重要的參考標(biāo)準(zhǔn)是?T。

當(dāng)?T很大時(shí)，時(shí)間分辨率差，但頻率分辨率較高，低頻成分占到了很大的比例；當(dāng)ΔT很小的時(shí)候，時(shí)間分辨率較高，但頻率分辨率變差。高頻成分只占一小部分。

換句話說(shuō)，基函數(shù)Ψ可以被視為一個(gè)系統(tǒng)的脈沖響應(yīng)函數(shù)x（t）而被過(guò)濾掉。經(jīng)過(guò)轉(zhuǎn)換后的信號(hào)提供了有關(guān)時(shí)間和頻率的信息。因此，小波變換不僅包含了與快速傅立葉變換類(lèi)似的信息，還具有小波的特殊性質(zhì)，即在基函數(shù)的較高分析頻率下及時(shí)顯示出分辨率的特性。

基于此，小波變換在圖像融合中的步驟如下：

首先要對(duì)紅外與可見(jiàn)光的圖像分別進(jìn)行小波變換，建立他們的小波塔型分解；

接著對(duì)每一分解層分別進(jìn)行融合處理，各分解層上的頻率分量根據(jù)融合規(guī)則進(jìn)行融合處理，最終得到融合后的小波金字塔；

對(duì)融合后的小波金字塔進(jìn)行小波逆變換，所得到的圖像即為重構(gòu)的融合圖像。

3.結(jié)論與對(duì)比

1.基于相似三角形匹配的紅外與可見(jiàn)光圖像配準(zhǔn)方法通過(guò)最優(yōu)的三個(gè)匹配角點(diǎn)計(jì)算出相關(guān)的匹配點(diǎn)，師匹配點(diǎn)精度更高；因?yàn)樵撍惴ㄖ豢紤]特征點(diǎn)間的幾何性質(zhì)，所以對(duì)圖像間的灰度變化、縮放、旋轉(zhuǎn)、平移具有較強(qiáng)的魯棒性，可以較好地解決在剛體變換條件下紅外與可見(jiàn)光圖像配準(zhǔn)的問(wèn)題。

2. PCA可以減少背景中不需要的物體，保留關(guān)鍵物體。同時(shí)，背景和所要突出的物體的對(duì)比度提高了。關(guān)鍵物體的邊沿被增強(qiáng)，有利于接下來(lái)的融合和進(jìn)程的跟蹤。基于PCA的圖像融合成功的保留了所有關(guān)鍵特征，并且增強(qiáng)了信噪比，增強(qiáng)邊緣，突出主要特征。但是在空間域上有時(shí)候會(huì)發(fā)生光譜退化，導(dǎo)致圖像失真，因?yàn)榇诤系膱D片的近似圖片差異過(guò)大，即相關(guān)性較弱，往往不能準(zhǔn)確的分配權(quán)重。

3.小波變換在高頻時(shí)分辨能力較好，而對(duì)于慢變函數(shù)而言，頻率分辨率是顯著的?；诙囝l域分別融合的小波變換技術(shù)，將一幅圖像分別變換到不同的頻域，用不同的融合規(guī)則進(jìn)行處理，得到的新圖像能有效提高多焦點(diǎn)圖像的清晰程度。

參考文獻(xiàn)：

[1]Different Image Fusion Techniques –A Critical Review，Deepak Kumar Sahu1，M.P.Parsai2，2012

[2]紅外與可見(jiàn)光圖像配準(zhǔn)研究現(xiàn)狀與展望，趙振兵，高強(qiáng)等，2009

[3]PHS Tor A Zissernan Feature based methods for structure and motion estimation，Proc of Workshop on Vision A gorithms，1999

[4]基于PCA分解的圖像融合框架，潘瑜，孫權(quán)森，夏德深，2011

[5]KIM Y S，LEE J H，RA J B.Multi-sensor image registration based on intensity and edge orientation information[J].Pattern Recognition，2008，41（11）：3356-3365.

[6]王阿妮，馬彩文，劉爽，等.基于角點(diǎn)的紅外與可見(jiàn)光圖像自動(dòng)配準(zhǔn)方法[J].光子學(xué)報(bào)，2009，38（12）：3328-3332.

[7]馮宇平，戴明，孫立悅，等.圖像自動(dòng)拼接融合的優(yōu)化設(shè)計(jì)[J].光學(xué) 精密工程，2010，18（2）：471-475.

[8]MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1630.

[9]紀(jì)華，吳元昊，孫宏海，等.結(jié)合全局信息的SIFT特征匹配算法[J].光學(xué) 精密工程，2009，17（2）：339-444.endprint