朱 明，姚 強，唐 俊，張 艷

(1. 安徽大學 電子信息工程學院， 安徽 合肥 230601； 2. 偏振光成像探測技術安徽省重點實驗室， 安徽 合肥 230031)

圖像配準是對不同時間、不同視角、不同來源的兩幅或多幅圖像進行空間幾何變換，使得各個圖像中相同場景在幾何上對準的過程。圖像配準是圖像處理一個重要的基礎問題，是諸多應用，如目標跟蹤檢測、目標識別、對地觀測、安全監(jiān)控、智能交通、醫(yī)學成像等的先決條件[1]。

圖像配準方法基本上可以分為基于區(qū)域和基于特征兩大類?；趨^(qū)域的配準方法是直接利用像素點的灰度值來確定待配準圖像之間的幾何變換關系，這類方法充分利用了圖像所包含的信息，不需要提取圖像的特征，而是直接利用其灰度信息，因此能提高估計的精度和魯棒性，但由于需要計算匹配點周圍區(qū)域點的灰度信息，因此存在計算量大、速度較慢等問題?；谔卣鞯呐錅史椒ㄊ悄壳皯米顬閺V泛的方法，其優(yōu)點是能夠將對整個圖像的分析轉化為對特征的分析，極大地減小了運算量，并且對灰度變化、圖像變形和遮擋等都有較好的適應能力[2-6]。Pei等[7]將圖像進行分割形成包含不同數(shù)量角點的局部區(qū)塊，對密集角點區(qū)域進行篩選，提高了圖像配準的效率和精度。Kang等[8]提出了結合互信息和角點檢測的圖像配準算法，該方法利用互信息作為特征點粗匹配的相似準則，然后采用隨機抽樣一致性(RANdom SAmple Consensus, RANSAC)算法消除誤匹配進行配準。文獻[9]提出了一種基于最近鄰圖結構的圖形變換(Graph Transformation Matching, GTM)配準算法，該算法使用最近鄰約束策略構造待配準特征的局部鄰近結構作為特征描述方法來剔除錯誤匹配對，但可能會因為相同鄰域結構的錯誤匹配點的存在，而無法完全剔除錯誤匹配點對。文獻[10]對RANSAC算法進行了改進，提出了一種改進樣本一致性(Fast Sample Consensus, FSC)配準算法，該算法利用不同均方根誤差獲得不同正確匹配率的樣本子集，從高正確率的樣本子集中得到全局變換模型剔除低正確率的樣本子集中的錯誤匹配進行配準，它與RANSAC算法一樣都過于依賴隨機樣本的選擇。文獻[11]提出了一種特征點對齊度準則，并基于該準則進行圖像配準，該方法首先提取特征點的角度信息，然后計算特征點對之間的對齊度，從而得到最終的匹配對進行配準，這樣不僅計算量大，而且出格點的存在會影響該方法的配準精度。

為提高圖像配準的精度和配準方法的適應能力，本文提出了超圖約束和改進歸一化互相關方法相結合的圖像配準算法。

1 初始匹配

1.1 Hessian-Affine特征

Hessian-Affine特征檢測算子是Mikolajczyk等在文獻[12-13]中提出和完善的。Hessian-Affine特征檢測算子是基于圖像上某點的Hessian矩陣進行興趣點計算，選擇在多尺度下Hessian矩陣行列式具有局部最大的興趣點。在每個獨立的尺度下，得到一系列對旋轉、尺度、平移、亮度改變穩(wěn)定的點，然后運用多尺度迭代算法進行空間定位和篩選尺度、仿射不變特征。該算子相對其他仿射不變算子而言，可以檢測出更多特征區(qū)域且具有較高的準確性[14]，因此可以有效解決圖像配準中局部畸變等難題。

1.2 改進的NCC匹配算法

歸一化互相關(Normalized Cross Correlation NCC)匹配方法通過比較兩幅匹配圖像在特征點上的歸一化互相關系數(shù)來衡量匹配的程度，最大相關系數(shù)對應最佳匹配。在得到的特征點集合中，以每個特征點為中心，取一個(2N+1)×(2N+1)大小的相關窗，設參考圖像I中第i個特征點和輸入圖像(待配準圖像)J中第j個特征點對應的窗口像素的灰度值分別是I(x,y)和J(x,y)，通過式(1)歸一化互相關函數(shù)計算兩個特征點之間的NCC值進行特征點匹配。NCC的值域為[-1，1]，NCC為-1時，表示兩個相關窗口不相似；NCC為1時，則表示兩個窗口完全相同。

(1)

設由HNCC算法得到的I和J的s個特征點分別為v1,v2,v3,…,vs和u1,u2,u3,…,us，通過雙向匹配策略可以較大程度地提高匹配正確率，但仍會存在一部分誤匹配點，接下來仍需要剔除剩余錯誤匹配并在剩余的匹配點對中求解變換矩陣。

2 超圖匹配理論

若任意一條邊均連接兩個以上的點，則稱為超圖，如果每條邊均連接k(k≥3)個點，則稱該超圖為k一致超圖。相對于一般圖來說，超圖能很好地描述數(shù)據(jù)點間的多維關聯(lián)信息[15-16]。

圖1 相似度計算模型Fig.1 Similarity calculation model

Hi,j,k=

(2)

(3)

3 基于超圖約束的圖像配準算法

Score(t)=Score(t)+Hi,j,k，t={(vi,ui),(vj,uj),(vk,uk)}

(4)

其中，σs∈(0,1)，t表示當前三角結構下的3個匹配對。

如果兩對三角結構中的3個匹配對都正確，那么這兩對三角結構的相似度較大，相應的各個匹配對的分數(shù)值就有較大的增幅；如果三角結構中存在錯誤匹配，那么得到的相似度值較小或者為0，匹配對的分數(shù)值增加較小。在比較完所有的三角結構之后，得到的正確匹配對的分數(shù)值會高于錯誤匹配對的分數(shù)值。

所以，根據(jù)Score(x)的值按從大到小的順序對s對特征點對排序，得到s對匹配對集合：C={c1,c2,…,cs}，其中ci=(vi,ui)為第i個匹配對，且Score(ci)≥Score(ci+1)。選取集合C中前4個特征點對初始化正確匹配對集合C′={c1,c2,c3,c4}并求解圖像變換矩陣，然后逐步判斷集合C中剩余的匹配點對，并更新正確匹配對集合C′和變換矩陣T，具體步驟如下：

步驟1：對參考圖像I和待配準圖像J中的s對特征點對，根據(jù)Score(x)值從大到小排序，得到s對匹配對集合：C={c1,c2,…，cs}。

步驟2：用集合C的前k個匹配對初始化正確匹配對集合C′，初始化k=4。

步驟3：檢驗集合C中第k+1個匹配對，根據(jù)正確匹配對集合C′求變換矩陣T，對集合C中在待配準圖像J的第k+1個特征點做變換，得到待檢驗點在參考圖像I上的坐標，利用均方根誤差選擇是否剔除此匹配點對，如果所得均方根誤差小于容錯誤差，則加入集合C′，并更新k=k+1。

步驟4：判斷是否檢驗完集合C中剩余的s-k個匹配對，若k

步驟5：通過雙線性插值對待配準圖像進行重采樣，最終實現(xiàn)配準。

4 實驗及結果分析

實驗圖像共有4組，如圖2所示，左邊為參考圖像，右邊為待配準圖像，第一組圖2(a)和第二組圖2(b)是來自Mikolajczyk測試數(shù)據(jù)集的“wall”和“graf”，兩組均為不同視角下的旋轉和尺度變換圖像，并且包含不同形式的重復紋理。第三組圖2(c)是不同視點拍攝的同一地點的遙感圖像，第四組圖2(d)是兩幅尺寸不同而且存在較大角度差異的遙感圖像。

(a) 第一組“wall”圖像(a) The first set of “wall” images

(b) 第二組“graf”圖像(b) The second set of “graf” images

(c) 第三組遙感圖像(c) The third set of remote sensing image

(d) 第四組遙感圖像(d) The fourth set of remote sensing image圖2 實驗圖像Fig.2 Experimental images

在初始匹配中，NCC歸一化互相關匹配和改進得到的HNCC匹配方法在四組實驗圖像上的匹配效果用Precision作為評價指標。該指標直觀反映出匹配方法的有效性，Precision定義如下：

Precision=Nc/(Nc+Nf)

(5)

其中，Nc是指正確匹配對的數(shù)目，Nf是指錯誤匹配對的數(shù)目。Precision值越大，則匹配效果越好。

在四組圖像提取的特征點中，隨機選擇部分特征點作為NCC與HNCC算法的匹配特征點，兩種方法關于Precision的實驗對比結果如圖3所示。

圖3 NCC和HNCC算法關于Precision的性能對比Fig.3 Comparison of NCC and HNCC algorithms on precision performance

配準算法的一個性能評價指標采用均方根誤差(Root Mean Square Error, RMSE)，其值越小表明配準效果越好。均方根誤差是各個誤差平方和的平均值的開方，計算公式為：

(6)

對圖像配準精度的另一個指標采用歸一化互信息(Normalized Messure of mutual Information, NMI)，它是一個重要的全局指標，由Studholme等[17]提出，其值越大則表明圖像配準的效果越好，其中NMI的最大值為2。

為了驗證文中配準算法的有效性，使用圖3中HNCC算法的匹配結果作為初始匹配的輸出，將本文配準算法與RANSAC算法剔除誤匹配算法、GTM算法、FSC算法進行比較，其中對于求解圖像變換矩陣的方法均采用最小二乘法，變換模型選擇射影變換(projection transform)模型。上述幾種算法重復100次在均方根誤差上的平均值取得的對比結果和在NMI上的平均值對比結果如表1所示。

由圖3知，改進得到的HNCC算法在四組圖像中的匹配準確率均高于NCC方法，因此HNCC算法匹配性能最好。由表1可知，在相同的初始匹配情況下，本文算法能夠在幾種算法的對比中取得最低的均方根誤差和最高的NMI值。在實驗中，雖然HNCC算法極大地提高了初始匹配正確率，但由于在初始匹配中使用的特征點是從提取的特征點集合中隨機選取一部分得到的，所以在各組圖像上得到的初始匹配對中錯誤匹配所占的比例會比較高，尤其是在第二組實驗圖像中，圖像形變較大，正確匹配對所占的比例非常低，正確率僅為0.32。在這種情況下，RANSAC、GTM和FSC方法配準失敗，而本文算法不僅能成功配準，而且效果較好。實驗中導致配準失敗的原因是無法全部剔除錯誤的匹配，而本文算法則可以完全剔除錯誤的匹配。圖4為四組圖像在本文算法下的匹配和配準結果。

表1 幾種算法配準精度對比

注：“-”代表配準失敗。

(a) 第一組圖像匹配及配準結果(a) Results of matching and registration results of the first set of image

(b) 第二組圖像匹配及配準結果(b) Results of matching and registration results of the second set of image

(c) 第三組圖像匹配及配準結果(c) Results of matching and registration results of the third set of image

(d) 第四組圖像匹配及配準結果(d) Results of matching and registration results of the fourth set of image圖4 本文算法在實驗圖像上的匹配和配準結果Fig.4 Results of matching and registration of the algorithm in the experimental image

5 結論

針對各場景中的圖像配準問題，提出了超圖約束和改進歸一化互相關方法相結合的HNCC算法。實驗結果表明，HNCC算法有較好的匹配效果，配準方法具有較高的配準精度和適應能力，且對于形變較大的圖像也有很好的配準效果。