李 培，姜 剛,2,，馬千里，薛萬(wàn)峰，楊偉華

1.長(zhǎng)安大學(xué)地質(zhì)與測(cè)繪工程學(xué)院，陜西 西安 710054；2.西部礦產(chǎn)資源與地質(zhì)工程教育部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054

隨著遙感技術(shù)的發(fā)展，多模態(tài)圖像的數(shù)量顯著增加。不同模態(tài)數(shù)據(jù)之間具有互補(bǔ)性，充分利用這些數(shù)據(jù)十分必要[1-2]。整合這些多模態(tài)數(shù)據(jù)的關(guān)鍵步驟是圖像配準(zhǔn)，即將不同時(shí)間、從不同角度或由不同傳感器拍攝的具有重疊場(chǎng)景的兩幅或多幅圖像進(jìn)行配準(zhǔn)，是圖像處理(如圖像拼接[3-4]、目標(biāo)識(shí)別[5]和變化檢測(cè)[6])的一項(xiàng)基本任務(wù)[7-8]。由于不同模態(tài)圖像的成像機(jī)制不同，多模態(tài)圖像間存在顯著的輻射量變化，導(dǎo)致同一地物在不用模態(tài)圖像中的強(qiáng)度呈現(xiàn)出非線性畸變，這使得控制點(diǎn)的檢測(cè)變得困難許多。

總的來(lái)說(shuō)，多模態(tài)圖像配準(zhǔn)可以分為基于特征的和基于區(qū)域的[9]?；谔卣鞯姆椒▽?duì)圖像幾何畸變的穩(wěn)健性更強(qiáng)，而基于區(qū)域的方法對(duì)圖像之間的非線性強(qiáng)度差異有更好的抵抗力[10]。基于特征的方法提取穩(wěn)定、可重復(fù)、顯著的特征，利用特征之間的相關(guān)性來(lái)確定最優(yōu)對(duì)齊，它們?cè)诙嗄B(tài)圖像配準(zhǔn)上的主要問(wèn)題是依賴于圖像之間提取重復(fù)率高的特征[11]。為了克服這個(gè)問(wèn)題，文獻(xiàn)[12]針對(duì)光學(xué)和SAR圖像的固有特點(diǎn)，將光學(xué)和SAR圖像放在兩個(gè)Harris尺度空間中檢測(cè)特征點(diǎn)，提出了OS-SIFT算法。文獻(xiàn)[8]提出了PSO-SIFT算法，引入了一種梯度定義，并結(jié)合特征點(diǎn)的位置、尺度、方向信息來(lái)增強(qiáng)對(duì)應(yīng)點(diǎn)的數(shù)量。文獻(xiàn)[13]提出了RIFT (radiation invariant feature transform)算法，利用相位一致性 (phase congruency,PC)[14]進(jìn)行特征點(diǎn)檢測(cè)，并提出了最大索引圖 (maximum index map,MIM)用于特征描述。不過(guò)，這些基于特征的方法對(duì)非線性強(qiáng)度差異并不具有較好的穩(wěn)健性，配準(zhǔn)精度較低。

基于區(qū)域的配準(zhǔn)方法是在遙感圖像中定義一個(gè)模板，然后利用不同的相似度準(zhǔn)則搜索最優(yōu)對(duì)應(yīng)。常用的相似度準(zhǔn)則包括誤差平方和 (sum of squared differences,SSD)、歸一化互相關(guān) (normalized correlation coefficient,NCC)和互信息 (mutual information,MI)[15]。文獻(xiàn)[16]提出將互信息與局部梯度信息合成項(xiàng)相乘獲得新的相似度準(zhǔn)則，提高了配準(zhǔn)的穩(wěn)健性。文獻(xiàn)[17]用MI來(lái)解決復(fù)雜的SAR和光學(xué)配準(zhǔn)問(wèn)題。文獻(xiàn)[1，18]利用圖像的幾何結(jié)構(gòu)，構(gòu)建對(duì)非線性強(qiáng)度差異有穩(wěn)健性的密集描述符，在多模態(tài)圖像配準(zhǔn)中取得了較好的效果。然而，盡管這些方法已經(jīng)在多模態(tài)圖像上實(shí)現(xiàn)了自動(dòng)配準(zhǔn)，具有高精度配準(zhǔn)效果，但仍存在不可忽視的局限性。首先，這些基于區(qū)域的方法都需要地理坐標(biāo)進(jìn)行正射校正。而且，這些局部描述符或相似度準(zhǔn)則的穩(wěn)健性不強(qiáng)，容易受到噪聲影響。

綜上所述，多模態(tài)圖像間存在非線性強(qiáng)度差異與噪聲影響，導(dǎo)致多模態(tài)圖像配準(zhǔn)中存在配準(zhǔn)精度低、描述符和相似度準(zhǔn)則穩(wěn)健性較差等問(wèn)題。針對(duì)這些問(wèn)題，本文提出了一種基于混合模型的多模態(tài)圖像自動(dòng)配準(zhǔn)方案。該方法利用基于特征的方法對(duì)齊圖像，采用基于區(qū)域方法進(jìn)行高精度配準(zhǔn)。在基于區(qū)域的方法中，本文采用張量捕捉細(xì)微的結(jié)構(gòu)變化，構(gòu)建密集描述符。但是張量對(duì)噪聲比較敏感，對(duì)它采用各向異性濾波器進(jìn)行處理，可以降低噪聲影響，避免不必要的模糊。在相似度準(zhǔn)則方面，張量方向平行度可以很好地解決圖像間強(qiáng)度反轉(zhuǎn)的問(wèn)題。為進(jìn)一步提升相似度準(zhǔn)則的穩(wěn)健性，本文將張量方向平行度與梯度互信息相結(jié)合，充分利用圖像結(jié)構(gòu)信息與統(tǒng)計(jì)信息。

1 本文方法

本文算法包括預(yù)配準(zhǔn)與精配準(zhǔn)兩方面，流程如圖1所示。

1.1 預(yù)配準(zhǔn)

為了使SIFT算法[19]適用于多模態(tài)圖像配準(zhǔn)，可以大致對(duì)齊多模態(tài)圖像對(duì)[20]，本文對(duì)SIFT算法作出以下3點(diǎn)改進(jìn)。

(1)多尺度Harris角點(diǎn)代替DoG尺度空間局部極值點(diǎn)：SIFT算法在DoG尺度空間中檢測(cè)局部極值點(diǎn)作為特征點(diǎn)，而DoG和Hessian矩陣都依賴于二階導(dǎo)數(shù)，會(huì)被SAR影像中的散斑噪聲嚴(yán)重破壞，不能檢測(cè)出SAR圖像中可靠的特征點(diǎn)[21]。相比之下，多尺度Harris函數(shù)[22]是基于一階導(dǎo)數(shù)計(jì)算的，Harris角點(diǎn)具有更好的穩(wěn)定性和重復(fù)性。

垂直方向多尺度Sobel算子公式如下

(1)

(2)

Gv,αi=Sv1,αi+Sv2,αi

(3)

式中，M和N表示尺度αi下處理窗口的大小；(x,y)表示中心點(diǎn)的位置；I代表原圖像素強(qiáng)度；Gv,αi代表αi尺度下的垂直梯度。圖2(a)展示了垂直處理窗口，圖2(b)展示了垂直多尺度Sobel算子。

圖1 本文方法流程Fig.1 Flow chart of the proposed method

圖2 Sobel濾波器Fig.2 Sobel filter

梯度幅值和梯度方向計(jì)算如下

(4)

(5)

多尺度Harris矩陣和函數(shù)定義如下

(6)

R(x,y,αi)=det(C(x,y,αi))-

d·tr(C(x,y,αi))2

(7)

本文計(jì)算多尺度Harris函數(shù)得到原圖的多尺度表示，尺度層數(shù)M=5，尺度αi=α1·ci-1i∈[1,2,…,M]。圖3展示了兩種方法的特征點(diǎn)檢測(cè)示例，可以看出，Harris檢測(cè)出來(lái)的特征點(diǎn)都落在角點(diǎn)或高亮點(diǎn)上，而DoG方法檢測(cè)出來(lái)的特征點(diǎn)大多落在同質(zhì)區(qū)域。

圖3 LiDAR-Optical圖像上的特征點(diǎn)點(diǎn)檢測(cè)Fig.3 Feature point detection on LiDAR-Optical images

(2)梯度方向修改：多模態(tài)圖像之間往往存在非線性強(qiáng)度差異，會(huì)出現(xiàn)梯度反轉(zhuǎn)現(xiàn)象。因此，對(duì)SIFT算法的梯度方向進(jìn)行了修改，將方向限制在區(qū)間[0,180°)，公式如下

(8)

(9)

基于以上改進(jìn)，可以提高SIFT算法在多模態(tài)圖像配準(zhǔn)上的正確匹配率。如圖4所示，改進(jìn)的SIFT算法夠提供多于4個(gè)對(duì)應(yīng)點(diǎn)，確定投影變換參數(shù)。

圖4 用改進(jìn)的SIFT算法提取的對(duì)應(yīng)點(diǎn)Fig.4 Corresponding points extracted with the improved SIFT algorithm

1.2 精配準(zhǔn)

本節(jié)詳細(xì)描述了特征描述符和相似度準(zhǔn)則的構(gòu)建。精配準(zhǔn)階段主要包括以下6個(gè)步驟：

(1)在預(yù)配準(zhǔn)參考圖上采用塊Harris算子提取特征點(diǎn)。

(2)計(jì)算預(yù)配準(zhǔn)后參考圖和待配準(zhǔn)圖的結(jié)構(gòu)張量。

(3)采用一種各向異性濾波器來(lái)增強(qiáng)結(jié)構(gòu)張量并計(jì)算張量方向圖。

(4)根據(jù)特征點(diǎn)坐標(biāo)，在張量方向圖上分別確定模板窗口和搜索區(qū)域。

(5)利用相似度準(zhǔn)則，將模板窗口與搜索區(qū)域內(nèi)候選窗口進(jìn)行比較，確定對(duì)應(yīng)點(diǎn)的位置。

(6)利用步驟(5)所確定的對(duì)應(yīng)點(diǎn)計(jì)算轉(zhuǎn)換參數(shù)，對(duì)圖像進(jìn)行變換。

1.2.1 特征點(diǎn)檢測(cè)

在參考圖中使用塊Harris算子獲得均勻分布的特征點(diǎn)。先將參考圖像分成n×n的不重疊的塊，計(jì)算圖像塊中每個(gè)像素的Harris值。然后，將每一塊中像素點(diǎn)的Harris值從高到低排列，取出得分最高的k個(gè)點(diǎn)作為特征點(diǎn)。整幅參考圖像上提取n×n×k個(gè)特征點(diǎn)，在待配準(zhǔn)圖像上可以找到n×n×k個(gè)大致對(duì)應(yīng)的點(diǎn)。在本文實(shí)驗(yàn)中，采用n=5,k=8的參數(shù)設(shè)置。

1.2.2 密集描述符構(gòu)建

在本節(jié)中，通過(guò)各向異性結(jié)構(gòu)張量構(gòu)建特征描述符，具體步驟如下。

(1)計(jì)算張量。張量表示圖像邊緣的大小和方向信息，雖然邊緣的大小會(huì)因?qū)Ρ榷茸兓淖?，但隨著光照或?qū)Ρ榷雀淖?，方向保持不變，所以利用張量提取圖像結(jié)構(gòu)信息。經(jīng)典結(jié)構(gòu)張量表達(dá)式為

(10)

式中，Gρ是標(biāo)準(zhǔn)差為ρ的高斯核函數(shù)；f為強(qiáng)度圖像；fx和fy分別表示x方向和y方向的梯度；符號(hào)*表示卷積操作；符號(hào)?是梯度算子；上標(biāo)T表示轉(zhuǎn)置操作。

(2)計(jì)算各向異性濾波器。雖然經(jīng)典結(jié)構(gòu)張量在一些圖像處理領(lǐng)域(如：光流估計(jì)和紋理分析[23])已經(jīng)證明了它的價(jià)值，但是它也有一些缺點(diǎn)。經(jīng)典結(jié)構(gòu)張量采用高斯卷積的方法平均鄰域內(nèi)的信息，會(huì)導(dǎo)致結(jié)構(gòu)的模糊和錯(cuò)位，因此，它不能廣泛用于各種不同的數(shù)據(jù)[24]。本文采用文獻(xiàn)[25]中提出的一種沙漏狀的濾波器來(lái)避免不必要的模糊

(11)

式中，σ′表示高斯核的尺度，可以決定有效鄰域大小；ρ決定方向的強(qiáng)度，一般取值在[0.3,0.7]之間，下面試驗(yàn)中ρ=0.7，(x,y)是有效鄰域內(nèi)點(diǎn)的坐標(biāo)；(x0,y0)代表有效鄰域中點(diǎn)的坐標(biāo)。式(11)可以分成兩部分，左邊部分就是高斯濾波器，右邊部分則是沙漏狀濾波器，圖5是不同ρ值下的沙漏狀濾波器。

圖5 沙漏狀濾波器Fig.5 Hourglass filter

式(11)所定義的濾波器是隨局部邊緣方向θ(x0,y0)進(jìn)行旋轉(zhuǎn)的，文獻(xiàn)[18]中簡(jiǎn)單的采用梯度方向來(lái)表示局部邊緣方向，當(dāng)圖像的信噪比較低，其派生的局部梯度向量有噪聲時(shí)，就會(huì)出現(xiàn)問(wèn)題[26]。張量方向能夠捕捉更細(xì)微的結(jié)構(gòu)，本文采用張量方向來(lái)表示局部邊緣方向，計(jì)算公式如下

(12)

(13)

(3)計(jì)算各向異性結(jié)構(gòu)張量。本文采用式(11)所描述的濾波器對(duì)結(jié)構(gòu)張量進(jìn)行處理，采用類似空洞卷積的方法，如圖7(b)所示，比圖7(a)展示的傳統(tǒng)的濾波器卷積過(guò)程更具有計(jì)算效率。通過(guò)該方法得到各向異性結(jié)構(gòu)張量，公式如下

(14)

式中，H表示有效鄰域，分別以一定的間隔來(lái)取x和y。

圖6 張量方向與梯度方向?qū)Ρ菷ig.6 Comparison between tensor orientation and gradient orientation

圖7 卷積方法Fig.7 Convolution method

利用式(14)得到各向異性結(jié)構(gòu)張量，計(jì)算出各向異性張量方向θ′，公式如下

(15)

為了計(jì)算效率，使用式(16)代替式(15)計(jì)算各向異性張量方向θ′，公式如下

(16)

1.2.3 搜索策略

在得到張量方向圖之后，便可以進(jìn)行模板匹配處理。傳統(tǒng)的全局搜索方式計(jì)算效率太低。因此，本文采用文獻(xiàn)[1—2]中提出的快速模板搜索策略。即以參考圖的張量方向圖上特征點(diǎn)為中心取w×w大小的模板窗口，在待配準(zhǔn)圖的張量方向圖以粗略對(duì)應(yīng)點(diǎn)為中心取(w+20)×(w+20)大小的搜索窗口。

1.2.4 相似度準(zhǔn)則

在南極，科考人員可以登上大陸，而北極到處是浮冰，科考人員需要一直住在船上，所以“雪龍?zhí)枴鄙系纳钤O(shè)施也十分完備，游泳池、圖書館、健身房、籃球場(chǎng)、洗衣房、診療室、手術(shù)室等一應(yīng)俱全。

多模態(tài)圖像間存在方向反轉(zhuǎn)，文獻(xiàn)[18]發(fā)現(xiàn)即使方向反轉(zhuǎn)，但方向間的平行度和垂直度是不變的，提出了一種利用方向平行度的方法。同時(shí)受文獻(xiàn)[16]啟發(fā)，本文基于方向平行度，結(jié)合梯度互信息，提出了TOMI。該相似度準(zhǔn)則綜合考慮了圖像梯度分布和結(jié)構(gòu)方向，可以更好地保存圖像的結(jié)構(gòu)信息，對(duì)于多模態(tài)影像具有較好的穩(wěn)健性。

張量方向平行度準(zhǔn)則如圖8所示，計(jì)算如下

(17)

圖8 方向平行度曲線Fig.8 Orientation parallelism curve

互信息作為一種相似度準(zhǔn)則，可以用熵表示，熵的定義如下

(18)

(19)

式中，H(Tg)是Tg的熵；Tg和Cg分別表示模板窗口T和候選窗口C的梯度幅值；H(Tg,Cg)是Tg和Cg的聯(lián)合熵；pTg(t)是邊緣概率質(zhì)量函數(shù)(probability mass function)；pTg,Cg(t,c)是聯(lián)合概率質(zhì)量函數(shù)。本文采用歸一化梯度互信息，公式如下

(20)

結(jié)合圖像梯度分布和張量方向，TOMI相似度準(zhǔn)則公式如下

TOMI(T,C)=S(T,C)×I(T,C)

(21)

(22)

式中，Uc為搜索區(qū)域中的所有候選窗口。

為了說(shuō)明TOMI在多模態(tài)圖像匹配方面的優(yōu)勢(shì)，將其與STV[18]、HOPC、MI、NCC 4種方法通過(guò)相似度曲面進(jìn)行對(duì)比，結(jié)果如圖9所示。測(cè)試中使用了兩對(duì)高分辨率的圖像 (Optical-SAR和LiDAR-Optical)，圖像之間存在非常明顯的非線性強(qiáng)度差異，模板大小均采用65×65像素。圖9中，虛線矩形框代表的是搜索區(qū)域，實(shí)線矩形框代表與模板匹配的目標(biāo)窗口，相似度曲面的中心對(duì)應(yīng)正確的匹配位置。

圖9顯示了這些模板匹配方法的相似度曲面。可以明顯看出，在Optical-SAR圖像對(duì)進(jìn)行測(cè)試時(shí)，5種方法都能找到正確匹配，不過(guò)HOPC、MI和NCC的相似度曲面中均出現(xiàn)了多個(gè)峰值，這會(huì)對(duì)匹配結(jié)果產(chǎn)生干擾，只有STV和TOMI是單峰值。對(duì)比STV和TOMI兩種方法的相似度曲面，TOMI的更顯著。在LiDAR-Optical圖像對(duì)進(jìn)行測(cè)試時(shí)，盡管5種方法均能找到正確匹配，不過(guò)TOMI和MI表現(xiàn)更好，全局最大值顯著。這初步證明了本文提出的相似度準(zhǔn)則在多模態(tài)圖像配準(zhǔn)上具有更強(qiáng)的穩(wěn)健性。

2 本文試驗(yàn)

首先評(píng)估預(yù)配準(zhǔn)算法與精配準(zhǔn)算法在多模態(tài)圖像上的匹配性能，將精配準(zhǔn)算法與其他多模態(tài)圖像匹配算法進(jìn)行比較分析。然后，討論本文算法對(duì)噪聲的穩(wěn)健性強(qiáng)弱以及模板大小對(duì)匹配性能的影響。本節(jié)對(duì)算法精度的評(píng)估采用兩種方法：①對(duì)棋盤圖和放大子圖進(jìn)行目視檢查；②采用均方根誤差(root mean square error,RMSE)和正確匹配率(correct matching rate,CMR)這兩種量化準(zhǔn)則對(duì)配準(zhǔn)結(jié)果進(jìn)行評(píng)估。

2.1 數(shù)據(jù)集

利用5組多模態(tài)圖像評(píng)價(jià)本文提出算法的有效性。這5組圖像被分成4類：① Visible-Infrared；② LiDAR-Visible；③ Optical-SAR；④ Map-Optical。這5組圖像對(duì)之間均存在明顯的非線性強(qiáng)度差異，包括低分圖像(240 m)和多種高分圖像(0.5～3 m)，覆蓋了包括結(jié)構(gòu)信息豐富的城市區(qū)域，以及結(jié)構(gòu)信息缺乏的山川湖泊，甚至還有云霧干擾。表1給出了測(cè)試數(shù)據(jù)的信息。

表1 測(cè)試數(shù)據(jù)描述Tab.1 Descriptions of the test data

圖9 相似度曲面Fig.9 Similarity surface

(1)Visible-Infrared：選用了2對(duì)Visible-Infrared圖像對(duì)進(jìn)行試驗(yàn)：①城市區(qū)域的高分圖像，具有豐富的結(jié)構(gòu)和邊緣信息；②低分圖像，該圖像對(duì)被云霧遮擋，并且時(shí)態(tài)相差一年以上，具有顯著的非線性強(qiáng)度差異，對(duì)配準(zhǔn)很具有挑戰(zhàn)性。

(2)LiDAR-Visible：選用一對(duì)城區(qū)LiDAR-Visible圖像對(duì)，從2幅圖像的強(qiáng)度特征上可以看到很大的差異。此外，LiDAR強(qiáng)度圖受噪聲影響，導(dǎo)致圖像退化，給配準(zhǔn)增加了困難。

(3)Optical-SAR：選用一對(duì)覆蓋城區(qū)的高分圖像，圖像對(duì)中存在非常豐富的結(jié)構(gòu)信息。不過(guò)，城區(qū)有高層建筑，局部畸變明顯。同時(shí)，SAR圖像存在嚴(yán)重的散斑噪聲影響，圖像中的精細(xì)結(jié)構(gòu)被散斑噪聲破壞，使得配準(zhǔn)較為困難。

(4)Map-Optical：這對(duì)圖像的強(qiáng)度差異十分顯著，包含的紋理信息很少。并且，地圖上標(biāo)注一些文字，這些給配準(zhǔn)帶來(lái)了挑戰(zhàn)。

2.2 預(yù)配準(zhǔn)試驗(yàn)

遙感圖像之間的旋轉(zhuǎn)和尺度差異是影響配準(zhǔn)精度的主要因素。上述的試驗(yàn)數(shù)據(jù)沒有顯著的旋轉(zhuǎn)和尺度差異，為了驗(yàn)證預(yù)配準(zhǔn)算法對(duì)于圖像旋轉(zhuǎn)、尺度差異的穩(wěn)健性，進(jìn)行了模擬試驗(yàn)。將上述試驗(yàn)數(shù)據(jù)case 1—case 5中的待配準(zhǔn)圖像先分別采用θ=[10°,20°,30°]進(jìn)行旋轉(zhuǎn)，再分別對(duì)旋轉(zhuǎn)后的圖像采用比例因子s=[0.9,0.8,0.7]進(jìn)行縮小，以此模擬圖像對(duì)之間的旋轉(zhuǎn)、尺度差異。

由圖10可以看出，隨著角度、尺度差異的增大，預(yù)配準(zhǔn)算法找到的對(duì)應(yīng)點(diǎn)的數(shù)量逐漸減少。不過(guò)，預(yù)配準(zhǔn)算法始終能找出足夠多的對(duì)應(yīng)點(diǎn) (大于4個(gè)對(duì)應(yīng)點(diǎn))，讓圖像可以進(jìn)行投影變換，對(duì)齊圖像對(duì)。

圖10 不同角度、不同尺度下的多模態(tài)圖像中的對(duì)應(yīng)點(diǎn)Fig.10 Corresponding points of multi-modal images at different angles and scales

本文采用RMSE和CMR對(duì)預(yù)配準(zhǔn)進(jìn)行定量化評(píng)價(jià)。對(duì)于預(yù)配準(zhǔn)而言，點(diǎn)位誤差小于3個(gè)像素視為正確匹配。

表2 預(yù)配準(zhǔn)精度評(píng)定 (RMSE,CMR)Tab.2 Accuracy evaluation of pre-registration(RMSE,CMR)

由表2中可以看出，預(yù)配準(zhǔn)在處理case 1和case 2中的Visible-Infrared圖像對(duì)時(shí)具有較好的配準(zhǔn)效果，能夠抵抗多模態(tài)圖像中的非線性強(qiáng)度差異。在case 3—case 5中，圖像對(duì)受噪聲影響，RMSE較大，但是都在10個(gè)像素以內(nèi)，可以大致對(duì)齊具有旋轉(zhuǎn)和尺度差異的多模態(tài)圖像。

2.3 精配準(zhǔn)試驗(yàn)

在精配準(zhǔn)階段，本文先用目視檢查對(duì)算法進(jìn)行評(píng)估。精配準(zhǔn)采用32×32像素的模板大小，得到測(cè)試數(shù)據(jù)的棋盤圖，可以直觀地看出精配準(zhǔn)的配準(zhǔn)效果(如圖11所示)。圖11中，對(duì)比預(yù)配準(zhǔn)與精配準(zhǔn)的棋盤圖可以看出，預(yù)配準(zhǔn)已經(jīng)將參考圖和待配準(zhǔn)圖大致對(duì)齊。不過(guò)從放大子圖可以看出，預(yù)配準(zhǔn)之后還有一些局部區(qū)域沒有對(duì)齊。而精配準(zhǔn)處理后，沒對(duì)齊的區(qū)域都已經(jīng)精確對(duì)齊。

目視檢查之后，再對(duì)精配準(zhǔn)算法進(jìn)行量化評(píng)價(jià)，將對(duì)應(yīng)點(diǎn)的點(diǎn)位誤差小于1個(gè)像素視為正確匹配。精配準(zhǔn)算法作為一種模板匹配方法，將它與最先進(jìn)的模板匹配算法(STV、HOPC、MI和NCC)進(jìn)行比較，來(lái)驗(yàn)證其多模態(tài)圖像匹配的能力。其中STV和HOPC都是利用結(jié)構(gòu)信息來(lái)進(jìn)行模板匹配，且取得了較好地配準(zhǔn)效果。MI和NCC是基于強(qiáng)度的經(jīng)典模板匹配方法。

(1)STV提出了一種基于結(jié)構(gòu)張量投票方案的密集特征描述子，能夠很好地抵抗由于強(qiáng)度畸變引起的梯度反轉(zhuǎn)現(xiàn)象，對(duì)多模態(tài)圖像間存在的非線性強(qiáng)度畸變具有較好的穩(wěn)健性。

(2)HOPC擴(kuò)展相位一致性模型以建立其方向信息，構(gòu)建了一個(gè)密集描述子，能夠捕捉圖像的幾何結(jié)構(gòu)和形狀特征，在多模態(tài)圖像配準(zhǔn)上取得了較好的效果。

(3)MI模板匹配算法基于互信息的最大化，對(duì)非線性強(qiáng)度差異具有較好的穩(wěn)健性。不過(guò)，MI對(duì)直方圖bin的大小很敏感，將直方圖bin設(shè)置為32，在數(shù)據(jù)集上取得最佳的匹配性能。

(4)NCC是一種常用的圖像匹配算法的相似度準(zhǔn)則，它不受線性強(qiáng)度變化的影響。

表3 精配準(zhǔn)精度評(píng)定(RMSE,CMR)Tab.3 Accuracy evaluation of fine registration(RMSE,CMR)

從表3可以看出，在case 1中，圖像之間存在梯度反轉(zhuǎn)現(xiàn)象，TOMI和STV利用張量方向平行度可以很好地處理梯度反轉(zhuǎn)。TOMI該圖像對(duì)上的配準(zhǔn)效果最佳，其次是STV、MI、HOPC及NCC，顯示出TOMI在表達(dá)結(jié)構(gòu)這方面的優(yōu)勢(shì)。在case 2中，這對(duì)低分圖像包含紋理信息較少，故TOMI的配準(zhǔn)效果稍微遜色于MI。由于NCC對(duì)線性輻射差異具有不變性，不能很好地處理圖像間復(fù)雜的強(qiáng)度變化，所以NCC在該圖像對(duì)上配準(zhǔn)失敗。在case 3中，LiDAR-Visible圖像對(duì)之間存在噪聲影響以及非常顯著的強(qiáng)度差異。TOMI表現(xiàn)最好，只有TOMI和HOPC能達(dá)到亞像素精度，明顯優(yōu)于其他3種算法，STV其次，而MI和NCC在該圖像對(duì)上配準(zhǔn)效果很差。因?yàn)闇y(cè)試的圖像對(duì)之間存在非常豐富的結(jié)構(gòu)信息，使得3種基于結(jié)構(gòu)的方法(TOMI、STV、HOPC)在匹配性能上優(yōu)于兩種基于強(qiáng)度的方法(MI、NCC)。在case 4中，是一對(duì)城區(qū)的Optical-SAR圖像對(duì)。TOMI配準(zhǔn)精度和正確匹配率都是最高的，原因是TOMI具有良好的噪聲穩(wěn)健性，可以很好地抵抗SAR圖像上存在的散斑噪聲的影響。同時(shí)圖像對(duì)中存在非常豐富的幾何結(jié)構(gòu)和輪廓信息(如建筑和道路)，使得TOMI可以很輕易捕捉到這些結(jié)構(gòu)信息來(lái)找對(duì)應(yīng)點(diǎn)。在case 5中，Map-Optical圖像對(duì)之間除了邊界幾乎沒有任何共享的特征，使得TOMI、STV和HOPC的配準(zhǔn)精度低于MI和NCC。綜合而言，相比較其他4種算法，TOMI算法結(jié)合圖像的統(tǒng)計(jì)特性與紋理特征，在結(jié)構(gòu)表達(dá)方面更具有優(yōu)勢(shì)，更能適應(yīng)非線性強(qiáng)度變化，對(duì)圖像噪聲具有更好的穩(wěn)健性，取得了最好的配準(zhǔn)效果。

圖11 預(yù)配準(zhǔn)與精配準(zhǔn)對(duì)比Fig.11 Comparison of pre-registration and fine registration

2.4 噪聲穩(wěn)健性試驗(yàn)

檢驗(yàn)所提出的相似度準(zhǔn)則對(duì)噪聲的穩(wěn)健性，在case 1的圖像對(duì)上進(jìn)行模擬試驗(yàn)。通過(guò)給圖像對(duì)添加均值為0，方差為v=[0.1%,0.2%,…,1%]的高斯噪聲重復(fù)進(jìn)行5次，生成5組噪聲圖像。用噪聲圖像的平均正確匹配率來(lái)對(duì)TOMI、STV、HOPC、MI和NCC算法的噪聲穩(wěn)健性進(jìn)行評(píng)價(jià)。算法模板大小都選用64×64像素，對(duì)應(yīng)點(diǎn)的點(diǎn)位誤差小于1個(gè)像素視為正確匹配。

圖12展示了5種模板匹配算法隨噪聲等級(jí)提高，平均正確匹配率的變化。在增加噪聲的條件下，TOMI在5種算法中表現(xiàn)最優(yōu)，平均正確匹配率一直是最高的，其次是STV、MI、HOPC和NCC。多模態(tài)圖像往往帶有大量的噪聲，TOMI能夠很好地適應(yīng)噪聲引起的圖像退化。對(duì)比基于結(jié)構(gòu)張量的模板匹配算法，TOMI穩(wěn)健性優(yōu)于STV，因?yàn)镾TV是基于梯度方向構(gòu)建各向異性濾波，而TOMI是基于張量方向構(gòu)建各向異性濾波。張量方向比梯度方向?qū)υ肼暩哂蟹€(wěn)健性，且能夠描述更細(xì)微的結(jié)構(gòu)變化。同時(shí)，TOMI不僅利用方向平行度，還利用梯度分布構(gòu)建相似度準(zhǔn)則，進(jìn)一步增加了算法的穩(wěn)健性。

2.5 模板大小分析試驗(yàn)

驗(yàn)證所提出的算法在不同模板大小下的匹配性能。將5種模板匹配算法在case 1—case 5中的多模態(tài)圖像上進(jìn)行試驗(yàn)，取5對(duì)圖像的平均正確匹配率作為評(píng)價(jià)指標(biāo)，模板大小取[32,40,…,112]，對(duì)應(yīng)點(diǎn)的點(diǎn)位誤差小于1個(gè)像素視為正確匹配。

圖12 相似度準(zhǔn)則在各種高斯噪聲上的平均正確匹配率Fig.12 Average matching correct rates of similarity measures over the various Gaussian noise

圖13顯示了不同模板大小下，5種模板匹配方法在case 1—case 5圖像對(duì)上的平均正確匹配率對(duì)比結(jié)果。在5種模板匹配算法中，本文提出的TOMI算法在不同模板大小下實(shí)現(xiàn)了最高的匹配精度，這說(shuō)明了TOMI對(duì)多模態(tài)圖像匹配的優(yōu)越性。NCC的性能最差，不能很好地處理圖像間復(fù)雜的強(qiáng)度變化。對(duì)一些強(qiáng)度變化劇烈的圖像對(duì)(如Visible-Infrared)甚至?xí)霈F(xiàn)配準(zhǔn)失敗的情況。盡管MI的表現(xiàn)比NCC好，不過(guò)它不能有效地處理這些多模態(tài)圖像的匹配，由表3可知，MI在case 3中表現(xiàn)不佳，不適合處理非線性強(qiáng)度變化和噪聲影響下的LiDAR-Visible圖像對(duì)。HOPC配準(zhǔn)平均正確匹配率優(yōu)于MI，在各個(gè)模態(tài)圖像配準(zhǔn)時(shí)都取得較好的表現(xiàn)，總體表現(xiàn)要優(yōu)于MI。不過(guò)，HOPC的配準(zhǔn)效果還是低于TOMI和STV，這是因?yàn)镠OPC使用拓展的PC來(lái)提取圖像結(jié)構(gòu)信息，盡管PC可以抵抗光照和對(duì)比度的變化，但是PC圖所含有的信息太少，PC圖上的大部分像素值都接近于0。此外，PC圖包含邊緣信息受噪聲影響，會(huì)導(dǎo)致特征描述不準(zhǔn)確，對(duì)特征的描述不夠穩(wěn)健。

圖13 不同模板大小的平均正確匹配率Fig.13 Average matching correct rates of investigated algorithms over template size

3 結(jié) 論

本文提出了一種多模態(tài)圖像配準(zhǔn)方法，以解決顯著的非線性強(qiáng)度差異和噪聲退化問(wèn)題。在預(yù)配準(zhǔn)階段，對(duì)SIFT算法進(jìn)行改進(jìn)，粗略對(duì)齊多模態(tài)圖像對(duì)。在精配準(zhǔn)階段，用各向異性結(jié)構(gòu)張量來(lái)捕捉圖像幾何結(jié)構(gòu)，大大降低了多模態(tài)圖像間噪聲的影響，可以更可靠地表現(xiàn)真實(shí)數(shù)據(jù)，同時(shí)對(duì)非線性強(qiáng)度差異有較好的穩(wěn)健性。更進(jìn)一步，將張量方向平行度與梯度互信息相結(jié)合，提出了TOMI相似度準(zhǔn)則，利用圖像統(tǒng)計(jì)特性與紋理特征，進(jìn)一步提高算法對(duì)圖像噪聲的穩(wěn)健性，增強(qiáng)了算法的匹配性能。試驗(yàn)結(jié)果表明，TOMI在配準(zhǔn)精度上和對(duì)噪聲的穩(wěn)健性上均優(yōu)于STV、HOPC、MI和NCC等先進(jìn)的圖像匹配方法。

然而，本文提出的算法仍然有一些局限性。通過(guò)試驗(yàn)發(fā)現(xiàn)，如果圖像中包含的結(jié)構(gòu)或形狀信息較少，TOMI的性能會(huì)降低。在精配準(zhǔn)試驗(yàn)中，TOMI在case 1—case 4中均取得亞像素級(jí)的配準(zhǔn)精度，而在case 5這對(duì)紋理信息缺乏的圖像對(duì)中，RMSE降低至像素級(jí)。此外，發(fā)現(xiàn)其余兩種基于結(jié)構(gòu)的算法STV與HOPC在該圖像對(duì)中配準(zhǔn)精度也在像素級(jí)，明顯低于基于強(qiáng)度的配準(zhǔn)算法MI與NCC。因此，在下一步的研究中，可以更深入地結(jié)合MI或NCC這類基于強(qiáng)度的配準(zhǔn)方法，增強(qiáng)算法在紋理缺乏地區(qū)的配準(zhǔn)效果。