陳占軍 王耀武 龔詠喜

(哈爾濱工業(yè)大學(深圳)建筑學院 廣東 深圳 518055)(哈爾濱工業(yè)大學(深圳)深圳市城市規(guī)劃與決策仿真重點實驗室 廣東 深圳 518055)

0 引 言

圖像特征匹配是計算機視覺領域的一個重要研究方向，對于立體視覺[1-2]、三維重建[3-4]、物體識別[5]以及圖像配準[6]等研究和應用都具有重要意義。從圖像匹配技術的發(fā)展過程來看，由于應用領域和具體圖像的特點和技術要求的不同，因此，不存在一種圖像匹配算法能解決所有匹配問題。對于一些室外的建筑物場景的圖像來說，由于建筑本身的表面紋理是單一而重復的，會導致匹配多義性即錯誤匹配問題；由于不同視角差的建筑物圖像的基線較寬，會帶來圖像畸變和深度不連續(xù)問題。因此，上述問題給圖像匹配提出了新的要求和挑戰(zhàn)。我們需要在傳統(tǒng)的圖像匹配算法基礎上加以改進，減少匹配錯誤率并得到數(shù)量更多、更準確的特征匹配點。

傳統(tǒng)的特征提取和匹配算法，如SIFT[7]，Hessian-Affine[8]、Harris角點[9]、MSER[10]等匹配方法在建筑物圖像上只能提取和得到數(shù)量較少的正確特征匹配點即稀疏匹配，通過這些稀疏匹配結果，可以恢復攝像機的相機姿態(tài)，但遠遠不夠恢復出建筑物完整的、全視角的三維空間結構。為了重建較準確且視覺效果較好的建筑物的三維結構，需要得到稠密匹配，至少是準稠密匹配結果。

稠密匹配算法[11]先獲取稀疏的初始種子匹配，再用結構化方法、體元方法以及跨尺度圖像濾波方法[12]等計算出稠密視差圖和立體匹配，獲得數(shù)量巨大的稠密匹配結果。這種方法的局限是計算復雜度高且對硬件要求也較高，有些算法要求圖像是短基線或者先經(jīng)過校正。

準稠密匹配方法[13]先通過尺度不變的Harris角點獲取初始種子匹配點，再通過一定的匹配擴散規(guī)則如余弦距離測度和最優(yōu)最先擴散策略，獲取數(shù)量較多且分布較均勻的匹配點。其中匹配擴散這一步是計算機視覺的一個重要問題和關鍵環(huán)節(jié)，其正確性、數(shù)量及魯棒性直接影響到圖像的其他處理，如三維重建和圖像配準的效果。準稠密匹配既克服了稀疏匹配方法的匹配點數(shù)量不足，又克服了稠密匹配方法的效率低及對運算條件要求高的缺點，是適用性比較廣的一種匹配方法。

最有代表性的準稠密匹配方法是由Maxime L和Quan L[14-15]提出的。該算法過程是：先獲取初始種子匹配點，通過局部和全局幾何約束，采用ZNCC[14]為匹配點打分，每次取出最優(yōu)的種子匹配點，在其鄰域窗口內(nèi)進行擴散來獲取更多新匹配點，最終得到準稠密匹配結果。Kannala等[16]提出了針對寬基線圖像的匹配擴散方法：檢測特征點并進行匹配得到初始種子匹配點后，針對每對種子匹配點的鄰域窗口，用一個仿射變換來近似，計算仿射變換矩陣，利用該矩陣對鄰域窗口進行規(guī)范化，通過ZNCC確定種子匹配點的優(yōu)先序列，再依次在種子點周圍擴散獲取新的匹配點。

上述準稠密匹配方法可以應用于部分基線較寬的圖像，但是應用于室外建筑物場景圖像的匹配擴散時卻不能取得較好效果。Megyesi等[17]提出的匹配擴散算法應用到了表面紋理是豐富且分段光滑的圖像，具體如下：在種子匹配點的仿射矩陣參數(shù)基礎上，進行小幅度范圍搜索來確定新的匹配點的最佳仿射矩陣，通過這種擴散方法獲取數(shù)量更多的準稠密匹配。該算法的應用限制在于：要求原始圖像是紋理豐富的，且需要將原始圖像對的極線預先校正為水平方向。而校正工作應用到大多數(shù)寬基線圖像來說是比較復雜的，所以，該方法也不適應于寬基線的表面紋理單一的建筑物場景圖像。

通過上述常用特征檢測算法、特征點匹配算法、稠密匹配算法以及典型的準稠密匹配算法的介紹和分析來看，紋理重復且單一的建筑物圖像匹配擴散的關鍵在于應用更佳的匹配度量準則來減少匹配多義性即模糊匹配問題。本文在上述匹配擴散算法框架基礎上加以改進，加入了自適應支持加權準則作為匹配度量準則，提出了適用于建筑物圖像的匹配擴散算法：

(1) 加入了自適應支持加權準則即Adaptive Support Weight[18](以下簡稱ASW)作為匹配擴散的度量準則。對于初始種子匹配點和擴散后獲得的新匹配點都應用ASW分數(shù)進行打分，并結合應用仿射傳遞思想進行擴散匹配，以此確定新的匹配點的準確位置，從而減少由于匹配多義性而導致的錯誤匹配數(shù)。

(2) 對于建筑物圖像具有較好的適用性，匹配前，不需要對輸入圖像做預處理，也不需要預先計算攝像機的參數(shù)和獲取姿態(tài)。

1 建筑物圖像的匹配擴散算法框架

1.1 算法框架

先獲取兩幅建筑物圖像的初始種子匹配點，一般來說，得到的初始種子匹配點的數(shù)量比較少，需要運用一定的匹配約束和擴散規(guī)則在每隊種子匹配點鄰域內(nèi)擴散，搜索和確定新的匹配點，以此獲取準稠密匹配點。算法流程如下：

步驟1提取圖像SIFT特征點，獲得圖像的初始匹配。

步驟2利用8點算法和RANSAC[19]計算圖像之間基本矩陣F，剔除外點得到較準確的SIFT匹配作為種子匹配點。

步驟3計算每一個種子匹配點的ASW分數(shù)，根據(jù)ASW分數(shù)對種子點進行排序組成集合L，每次從L取出ASW分數(shù)最小的種子點進行擴散操作。

步驟4對當前種子點圖像鄰域進行基于仿射變換的幾何規(guī)范化，對于鄰域內(nèi)部的點，重新計算仿射變換和ASW分數(shù)，選擇ASW最小的匹配點，將ASW分數(shù)小于一定閾值V并且滿足極線約束的匹配點插入集合L中。轉步驟3，直到L為空集。

步驟5將獲取的匹配點進行重采樣，得到分布較均勻的準稠密匹配點。

步驟6利用8點算法和RANSAC再次計算基本矩陣F并剔除錯誤匹配，得到準稠密匹配結果。

1.2 鄰域窗口幾何規(guī)范化

種子匹配點的信息除了包括匹配點的二維坐標(i,j)和(i′,j′)之外，還包括其所在鄰域窗口對應的仿射矩陣A。應用ASW度量準則進行打分并排序可以在很大程度上減少匹配錯誤數(shù)量。計算ASW分數(shù)時，當前種子匹配點的鄰域窗口都需要先進行幾何規(guī)范化操作(見圖1)，其步驟如下：

圖1 鄰域窗口幾何規(guī)范化過程

(1) 以左邊圖像當前匹配點為中心沿極線方向提取一個大小為(2W+1)×(2W+1)方形區(qū)域。

(2) 對方形鄰域進行仿射變換A，得到右邊圖像上對應方塊區(qū)域。

(3) 對左右圖像中方形鄰域進行雙線性插值變換成(4W+1)×(4W+1)大小。

(4) 將插值后的窗口重新采樣為(2W+1)×(2W+1)大小窗口。

由于寬基線建筑物圖像透視變換嚴重，若沿著水平方向選取鄰域窗口可能導致擴散失敗。因此，通常在左邊圖像中，沿著當前種子匹配點的極線方向選取方形小塊，通過仿射變換得到右邊圖像的對應窗口。由此，計算候選匹配點的ASW分數(shù)時，所使用到的當前種子匹配點對的鄰域窗口區(qū)域內(nèi)包含了相同的內(nèi)容，因此計算得到的ASW分數(shù)更加準確，減少擴散后的錯誤匹配。

在計算種子匹配點和擴散時搜索到的候選匹配點的ASW分數(shù)時，分別選擇了不同大小的窗口來進行計算。由于初始種子匹配點是識別度較高的特征點，對于表面紋理不太豐富的建筑物圖像來說，初始種子匹配點可選擇稍大的窗口(如15×15)來計算其ASW分數(shù)值，再進行排序，確定初始種子匹配點的準確性排序；對于擴散搜索到的候選匹配點，則選擇較小的窗口(如7×7)，在該窗口內(nèi)計算其ASW分數(shù)，確保搜索到的候選匹配點所在窗口不超出種子匹配點的窗口范圍。

此外，計算候選匹配點的ASW分數(shù)使用的匹配度量準則結合了像素的顏色信息和幾何距離信息，運用各像素的顏色支持權重和幾何距離支持權重的差異，通過ASW匹配代價函數(shù)來計算ASW匹配分數(shù)。

1.3 仿射傳遞

算法的步驟4中采用了仿射傳遞思想。在一般的匹配擴散算法中如文獻[17]和文獻[20]都應用到了仿射傳遞，其過程如下：在進行匹配擴散時，以種子匹配點為中心，沿著極線選取鄰域窗口，利用初始種子匹配點的仿射矩陣，將該矩陣的三個參數(shù)進行微小變化而搜索，最終得到新匹配點的最佳仿射矩陣，由此也獲得了新匹配點的最佳鄰域窗口。當匹配擴散到達邊界或角落時，擴散搜索到的新候選匹配點的深度或顏色信息發(fā)生突變，仿射矩陣的各參數(shù)突變，即仿射矩陣的各參數(shù)無法在小幅度范圍內(nèi)搜索變化得到新的仿射矩陣，因此仿射傳遞將停止，當前種子點的擴散終止。本文使用的仿射傳遞同時結合ASW分數(shù)匹配度量準則，以此使每次搜索計算得到的仿射矩陣是最佳的，提高了算法的準確性。

2 自適應支持加權匹配度量準則ASW

圖像的匹配多義性即對于左邊圖像中給定像素，由于右邊圖像存在多個像素的顏色和結構等信息很相似，因此無法確定該特征點唯一對應的精確匹配點。一般的匹配約束條件或匹配打分如灰度相似性約束ZNCC和置信度約束等都無法解決上述匹配模糊問題。本節(jié)將詳細介紹第1節(jié)算法中的步驟3，闡述ASW匹配度量準則原理及ASW分數(shù)計算過程。

ASW是在固定窗口下用權重自適應變化計算其匹配代價函數(shù)值即ASW分數(shù)來度量兩個像素點的匹配程度，其思想是綜合考慮左右圖像對應參考支持窗口內(nèi)像素的支持權重，結合初始匹配代價進行加權求和，得到對應像素對的ASW分數(shù)。對于落到同一窗口內(nèi)的候選匹配點，ASW分數(shù)決定了其匹配代價和匹配程度，因此分析ASW分數(shù)從很大程度上可以減少誤匹配。

通過上面的分析可知，計算ASW分數(shù)須要結合顏色支持權重和距離支持權重。像素和像素之間的支持權重表達式如下：

w(i,j)=f(Δcij,Δdij)

(1)

Δcij和Δdij分別表示像素i和像素j的顏色差值和歐式幾何距離。

將f(Δcij,Δdij)分開來計算：

f(Δcij,Δdij)=f(Δcij)·f(Δdij)

(2)

f(Δcij)為顏色權重，f(Δdij)為距離權重，其表達式分別如下：

(3)

(4)

式中：Δcij是在CIELab顏色空間上對像素i的顏色值ci=[Li,ai,bi]和像素j的顏色值cj=[Lj,aj,bj]進行差值計算得到的，rc是顏色差值閾值，由窗口內(nèi)的實際顏色信息來決定，rp是距離差值閾值，由支持窗口的大小來決定。CIELab是CIE的一個顏色系統(tǒng)，Li、ai、bi表示CIELab顏色值ci的三個坐標。相較于RGB顏色空間來說，CIELab顏色空間更接近于人的視覺感知系統(tǒng)。

綜合上面四個表達式，得到w(i,j)的最終表達式為：

(5)

在左邊圖像I中取以i為中心的鄰域窗口Ni，在右邊圖像I′中取以i′為中心的對應鄰域窗口Ni′，結合Ni和Ni′的支持權重w(i,j)、w(i′,j′)，對初始匹配代價e(j,j′)加權求和，獲得ASW匹配分數(shù)E(i,i′)：

(6)

(7)

式中：Ni和Ni′是幾何規(guī)范化的(2W+1)×(2W+1)窗口，e(j,j′)為初始匹配代價，Y為顏色差值閾值。

綜上可知，ASW應用左邊圖像和右邊圖像對應的像素對其各自窗口中心像素的顏色支持權重和距離支持權重來計算其匹配代價值。在通常小范圍局部窗口區(qū)域內(nèi)，像素的顏色變化一般是連續(xù)的，其深度信息也相同或相近。反之，在顏色變化不連續(xù)和深度有突變的邊界上，像素與中心點的顏色差值很大，計算得到的ASW分數(shù)都較大，其值也大于閾值V，對于這種候選匹配點不滿足入選種子匹配隊列的條件，當前種子匹配點的擴散和仿射傳遞也將終止。因此，利用ASW分數(shù)作為匹配度量準則，結合仿射傳遞，可以使邊界上的匹配更加準確。

3 實驗結果和分析

圖2、圖3、圖4是三個實際場景的建筑物圖像對的匹配擴散結果，通過原始圖像對、初始種子點匹配、準稠密匹配以及部分三維重建來呈現(xiàn)效果。算法程序用C++代碼實現(xiàn)，程序在普通的PC機平臺上運行。實驗中的主要參數(shù)設置如下：式(3)中rc取6；式(4)中rp取7.5；式(6)中，Ni和Ni′為15×15大小窗口；式(7)中Y取21；算法步驟4的閾值V取24。

(a) 原始圖像對

(b) 種子SIFT匹配結果

(c) 準稠密擴散匹配結果圖2 Merton College校園建筑樓圖像的準稠密匹配

(a) 原始圖像對

(b) 種子SIFT匹配結果

(c) 準稠密擴散匹配結果

(d) 場景三維重建結果：紋理貼圖、三維點云圖3 山西應縣木塔準稠密匹配結果和三維重建結果

(a) 原始圖像對

(b) 種子匹配結果

(c) 準稠密擴散匹配結果

(d) 三維重建結果圖4 聞一多雕像圖像的準稠密匹配結果

首先，圖2是通過本文算法針對Merton College校園建筑樓圖像得到的準稠密匹配結果。原始圖像分辨率1 024×768，初始種子匹配點數(shù)目1 736對，擴散后得到5 514對最終準稠密匹配點。經(jīng)過擴散后得到403 805對稠密匹配點，耗時1 062 s，平均匹配用時2.63 ms。由圖2可見，初始圖像的視角變化比較大，而由初始種子匹配擴散得到的準稠密匹配結果數(shù)量較多、準確而且分布較均勻，并且絕大部分邊界上的匹配結果都是正確的。

圖3是針對山西應縣木塔的圖像對，使用本文算法得到的準稠密匹配結果。為了驗證本文算法的合理性，將準稠密匹配結果結合三維重建算法，得到了三維重建結果包括紋理貼圖和三維點云。原始圖像對的分辨率為1 440×1 920，初始種子匹配點獲取了3 874對，通過匹配擴散后，最終獲得16 584對準稠密匹配。

此外，我們還將本文算法應用到同樣是紋理單一且重復的視角變化較大的雕塑圖像上進行實驗。圖4是針對清華大學校園內(nèi)的聞一多雕像不同角度拍攝的圖像得到的準稠密匹配及三維重建結果。所使用的原始圖像對的分別率為1 000×1 504，獲得的初始種子點數(shù)為368，經(jīng)過匹配擴散后最終得到5 329對準稠密匹配結果。

將本文算法與文獻[16]算法都應用到清華大學某建筑樓圖像進行匹配擴散對比，得到如圖5所示結果。圖5(a)和(b)為文獻[16]算法結果：從68對初始種子點進行匹配擴散，最終得到2 041對準稠密匹配結果；圖5(c)和(d)為本文算法結果：從82對初始種子點經(jīng)過匹配擴散后，最終得到3 101對準稠密匹配結果。

(a) 文獻[16]算法種子匹配結果

(b) 文獻[16]算法準稠密擴散匹配結果

(c) 本文算法種子匹配結果

(d) 本文算法準稠密擴散匹配結果圖5 本文算法與文獻[16]算法匹配擴散比較

為了體現(xiàn)本文算法及文獻[16]算法的運行結果和效率，將上述圖2至圖5實驗的匹配結果和運行時間總結于表1。

表1 實驗2至實驗5數(shù)據(jù)

結合圖5和表1結果：綜合最終準稠密擴散匹配點數(shù)、匹配點分布以及運算效果來看，本文算法都要略優(yōu)于文獻[16]算法結果。

4 結 語

本文運用自適應支持加權準則研究了適用于紋理單一而重復的建筑物場景圖像的匹配擴散算法。實驗結果表明，本文算法取得了效果比較好的匹配擴散結果。本文算法適用性廣，不需要對原始圖像進行預先校正，攝像機的內(nèi)參數(shù)矩陣和外參數(shù)矩陣也無需預先標定，整個匹配擴散的計算過程都是自動的。

下一步的研究工作將針對初始公共種子匹配點數(shù)量少的問題，提高多幅圖像之間的準稠密匹配擴散質量和效果。