崔戈輝，房金譜

(1. 西安工業(yè)大學計算機科學與工程學院，陜西 西安 710021；2. 西安工業(yè)大學，陜西 西安 710021)

1 引言

在不同類型的影像中均含有大量有價值的幾何和語義信息，影像匹配在三維建模中占據(jù)重要的地位，影像匹配是指分析兩幅圖像中相似特征之間的關聯(lián)性，即求解不同影像之間的幾何關系[1，2]。目前，影像匹配已經(jīng)逐漸發(fā)展成為目標圖像識別和配準的重要技術之一。和傳統(tǒng)的影像相比，多重影像更加復雜，導致進行多重影像線特征匹配存在更大的難度。

為此，各種多重影像線特征匹配方法相繼被提出，例如張平等人[3]通過直線檢測算法針對參考圖像和搜索圖像進行直線特征提取，將提取結果進行編碼處理，得到對應的直線對。將直線對設定為匹配基元，通過雙重核線約束以及最優(yōu)相似性原則確定同名直線對，對直線對進行拆分處理，同時結合仿射變換過程中不一致的單直線進行整合，獲取最終的匹配結果。陳敏等人[4]優(yōu)先分析不同直線特征之間的幾何關系，構建特征區(qū)域和對應的描述符，采用雙向匹配策略對圖像直線特征進行初始匹配。結合初始匹配結果建立影像基礎矩陣，同時借助自適應特征進行二次匹配。在設定的自適應特征區(qū)域內(nèi)，提取影像內(nèi)容一致的特征區(qū)域，獲取相似特征描述符，完成特征點自適應匹配。

由于以上兩種算法沒有對多重影像進行邊緣檢測，導致匹配結果不理想，匹配效率下降，漏匹配率增加。為此提出一種基于仿射不變性的多重影像線特征匹配算法，經(jīng)實驗測試證明，所提算法能夠有效提升匹配效率，降低漏匹配率，獲取高精度的匹配結果。

2 多重影像線特征匹配算法

2.1 多重影像邊緣檢測

對于多重影像{f(x，y)}中的不同像素，需要考慮不同坐標下鄰近點灰度的加權和，設定Sobel算子表示為

s(i，j)=|Δxf|+|Δyf|

(1)

式中，s(i，j)代表邊緣圖像；Δxf和Δyf分別代表不同的卷積算子，詳細的表達形式如下

(2)

(3)

針對Sobel算子具有較強的方向性等特點，對已有Sobel算子進行改進，詳細的操作步驟為：

優(yōu)先對圖像進行全局閾值分割處理，同時進行邊緣提取，即可精準檢測到多重影像各個方向的邊緣[5，6]。經(jīng)過以上分析，結合邊緣提取以及數(shù)學形態(tài)學理論和方法，對多重影像進行邊緣檢測，詳細的檢測流程如圖1所示。

圖1 多重影像邊緣檢測流程圖

結合圖1，優(yōu)先對多重影像進行閾值處理，主要使用迭代求全局閾值的方法，詳細的操作步驟如下所示：

1)設定閾值為T，選取一個與之對應的初始估計值。

2)通過閾值T對多重影像進行分割。

3)計算亮度值G1和高度值G2，設定范圍內(nèi)像素的平均值。

4)計算一個全新的閾值。

5)重復步驟1)到步驟4)，直至滿足設定的約束條件。

當?shù)玫蕉嘀赜跋竦淖罴验撝礣后，需要對多重影像進行二值化處理，得到經(jīng)過分割處理后的影像[7，8]。對多重影像進行分割時，會出現(xiàn)將錯誤背景作為孤立像素的情況。因此，需要將背景中存在的孤立像素全部剔除，然后再進行閉運算。其中，閉運算的基本計算流程為：優(yōu)先對多重影像進行膨脹；完成膨脹后再對其進行腐蝕，將影像中存在的小裂縫進行擬合，確保目標的位置和形狀不發(fā)生任何改變。

通過上述分析，能夠直接得到一個可以進行目標邊緣檢測的目標影像。通過Sobel算子實現(xiàn)目標影像的邊緣檢測，采用A表示。另外一幅多重目標影像需要先對其中一個閾值進行分割，然后再通過Sobel算子進行一次邊緣檢測，采用B表示。將兩幅影像加以相加，即可獲取一幅完成邊緣檢測的多重影像。

2.2 基于仿射不變的多重影像線特征提取

針對目標區(qū)域內(nèi)的不同影像分別采取不同的分割方式進行劃分，將梯度方向相同的點統(tǒng)一放置在一個支持區(qū)域內(nèi)，同時提取對應的直線，詳細的操作流程如下所示：

1)計算多重影像中各個像元對應的幅值以及梯度方向。

2)將梯度方向?qū)闹涤騽澐譃槎鄠€較小的區(qū)域，將各個區(qū)域進行編號。

3)通過連通成分算法將符號相同的鄰接點進行連接，組成直線支持區(qū)。

4)提取每一個直線區(qū)域所對應的直線。

當?shù)玫较裨奶荻群螅梢酝ㄟ^方向的差異，根據(jù)一定的規(guī)則將多重影像劃分為不同的直線支撐區(qū)域。將多重影像直線支持區(qū)域內(nèi)的灰度表面借助平面進行展示。其中，平面中的參數(shù)是利用最小二乘法加權擬合獲取，而且直線的各個面都是相互垂直的。結合2.1小節(jié)獲取的邊緣檢測結果，優(yōu)先提取邊緣點所在的直線支持區(qū)，同時將全部像元設定為已知變量，通過計算得到不同邊緣點的權值。采用最小二乘計算方法對直線支持區(qū)內(nèi)的全部參數(shù)進行擬合，得到直線方程。詳細的操作步驟如圖2所示。

圖2 多重影像線特征提取流程圖

1)在二值化影像中獲取不同坐標點的位置信息，將其存儲到對應的二維數(shù)據(jù)組中。對數(shù)組中的全部像素進行遍歷處理，得到對應的參數(shù)空間矩陣。

2)嵌入清零法的峰值檢測：計算多重影像經(jīng)過Hough變換后矩陣的最大極值點，即局部峰值點。獲取該點的取值范圍以及坐標位置信息，將其存儲到對應的文件夾中。

3)消除偽直線和過連接直線：設定直線連接的最小間隔和檢測直線的最小長度，結合兩者的取值設定閾值，通過閾值進行偽直線和過連接直線的消除工作。

4)直線合并：由于直線本身具有長度和角度等多種不同的幾何屬性，所以在進行直線檢測的過程中，需要結合閾值對兩條直線之間的角度進行設定，當直線滿足設定的約束條件，則將其進行合并。

5)直線擬合：當直線完成合并后，通過最小二乘法進行擬合，同時結合仿射不變特性完成多重影像線特征提取[9，10]。

2.3 多重影像線特征匹配

采用SIFT算子對特征區(qū)域進行描述，SIFT算子共包含4個步驟，具體如下所示：

1)尺度空間特征檢測：

將原始多重影像和高斯函數(shù)兩者進行卷積操作，形成高斯尺度空間。同時將卷積結果和鄰近層次的卷積結果兩者相減，獲取DOG金字塔D(x，y，σ)，具體的計算公式為

(4)

式中，G(x，y，σ)代表特征描述符；I(x，y)代表原始多重影像；L(x，y，σ)代表經(jīng)過卷積操作后的多重影像；k代表特征描述符的總數(shù)。

2)特征點精確定位：

根據(jù)局部極值點對全部函數(shù)進行擬合，實現(xiàn)亞像素的精準定位，并且消除外界各種干擾因素帶來的不良影響。

3)特征點主方向的計算：

設定鄰域中心為特征點，以此為依據(jù)計算各個梯度方向的像素值。

4)特征描述符的形成：

設定特征點所在的方向為主方向，其中多重影像以特征點為中心進行旋轉(zhuǎn)。設定中心窗口的大小為16×16，將其劃分為4個規(guī)格相同的小塊，經(jīng)過計算得到對應的累加值，進而構建128維的SIFT特征向量，即特征描述符。

通過Hesssin-Affine和MSER算法對多重影像中的仿射不變特征進行提取，將目標提取區(qū)域進行標準化處理，形成全新的橢圓形區(qū)域，采用統(tǒng)一的參數(shù)形式進行描述。另外，還需要對得到的區(qū)域統(tǒng)一進行歸一化處理，形成圓形區(qū)域。同時借助SIFT對區(qū)域的組成結構進行描述，在此基礎上，結合歐式距離進行粗匹配，將匹配不成功的匹配點刪除[11]。詳細的操作步驟如下所示：

優(yōu)先通過仿射不變量的方式對特征區(qū)域進行轉(zhuǎn)換，形成橢圓區(qū)域。結合不同規(guī)格MSER特征區(qū)域內(nèi)的像素信息建立二階中心矩陣，同時將該區(qū)域調(diào)整為橢圓形區(qū)域，如公式(5)所示：

(5)

式中，X代表向量；R代表不規(guī)則區(qū)域；|R|代表不規(guī)則區(qū)域內(nèi)相似像素的總數(shù)；E代表中心坐標點；T代表橢圓區(qū)域內(nèi)全部像素點數(shù)量。

在上述分析的基礎上，需要建立標準的橢圓方程，將兩種不同形式的特征參數(shù)采用標準化機制進行描述，并且轉(zhuǎn)換為標準的橢圓參數(shù)模式。另外，還需要將屬性不同的特征進行屬性統(tǒng)一。

為了對特征區(qū)域進行描述，同時保持原有區(qū)域內(nèi)的內(nèi)容能夠順利進行傳遞。結合特征點自相關矩陣M，將特征點xL和xR對應的橢圓區(qū)域經(jīng)過歸一化處理形成圓形區(qū)域，具體的計算式為

(6)

經(jīng)過歸一化處理后，兩個特征區(qū)域之間的關系為

xL=RxR

(7)

將Hesssin-Affine和MSER獲取的橢圓區(qū)域經(jīng)過歸一化處理形成圓形區(qū)域，優(yōu)先通過SIFT計算主方向的方式計算獲取各個特征點的主方向，并對多重影像根據(jù)特征點進行旋轉(zhuǎn)，保持其旋轉(zhuǎn)不變的特性。結合Hesssin-Affine和MSER特征區(qū)域的優(yōu)勢，優(yōu)先采用SIFT描述目標區(qū)域內(nèi)的全部向量，使多重影像具有旋轉(zhuǎn)不變特性，并且對光照以及噪聲等具有較好的抑制作用。所以，無論在任何位置都能夠進行精準地匹配。

為了提升匹配結果的準確性，需要通過兩個不同的階段實現(xiàn)。第一階段將提取的全部多重影像特征向量進行對比，獲取可信度最高的匹配點；第二階段分析不同多重影像之間的約束關系，同時設定約束條件，將不滿足需求的特征向量剔除，獲取高精度的匹配對。詳細的操作步驟如下所示：

1)通過距離相似度的初始匹配：

當?shù)玫诫S機兩幅多重影像的特征向量后，在多重影像中任意提取一個特征點，同時獲取另外一個影像中相似的特征點。假設第一近距離和第二近距離之間的比例小于閾值，則說明兩者是匹配的。另外，多重影像線特征匹配率會隨著閾值的降低而增加。

2)基于核線約束的特征匹配：

核線約束在計算機視覺中也可以稱為極限幾何約束，主要采用基礎矩陣F描述任意兩幅多重影像之間的核線約束關系。

利用RANSANC算法對各個多重影像之間的關系進行分析，進而獲取基本矩陣F，結合矩陣完成基于核線約束的匹配。

3 仿真研究

為了驗證所提基于仿射不變性的多重影像線特征匹配算法的有效性，選取文獻[3]方法和文獻[4]方法作為對比方法，進行仿真實驗測試。

為了實現(xiàn)多重影像的匹配，需要對各個算法的匹配性能進行測試，實驗優(yōu)先對比三種不同匹配算法的正確匹配對數(shù)量，詳細的實驗結果如表1所示。

表1 不同視角下的正確匹配對數(shù)量

分析表1中的實驗數(shù)據(jù)可知，當視角開始增加，各個方法的正確匹配對數(shù)量開始呈下降趨勢，但是相比另外兩種方法，所提方法的正確匹配對數(shù)量明顯更高一些。

分析各個方法在不同實驗次數(shù)下的正確匹配率，詳細的實驗對比結果如圖3所示。

圖3 不同算法的正確匹配率仿真測試

分析圖3中的實驗數(shù)據(jù)可知，所提算法的匹配結果明顯更好，同時具有較高的正確匹配率。

為了更進一步驗證所提算法的匹配性能，實驗選取一幅多重影像作為測試對象，對各個算法的匹配性能進行測試，詳細的實驗結果如圖4所示。

圖4 不同算法的匹配結果測試分析

根據(jù)圖4可知，相比另外兩種算法，所提方法能夠更加精準提取多重影像的線特征，進而更好地進行線特征匹配，獲取滿意的匹配結果。

在進行多重影像線特征匹配的過程中，會存在遺漏匹配的情況，以下實驗測試將漏匹配率設定為測試指標，詳細的實驗對比結果如5所示。

圖5 不同算法的漏匹配率對比結果

分析圖5中的實驗數(shù)據(jù)可知，相比另外兩種算法，所提算法的漏匹配率明顯更低一些，其漏匹配率始終低于5%。

為了更進一步驗證所提算法的有效性，以下測試三種不同算法的匹配效率，詳細的實驗對比結果如圖6所示。

圖6 不同算法的匹配效率對比結果

分析圖6中的實驗數(shù)據(jù)可知，由于所提算法在進行多重影像線特征匹配之前，對影像進行了邊緣檢測，并結合邊緣檢測結果進行特征匹配，能夠有效優(yōu)化特征匹配流程，促使整個算法的匹配效率得到有效提升，明顯優(yōu)于另外兩種算法。

4 結束語

多重影像線特征匹配是目前三維重建過程中的難點和熱點話題，通過對現(xiàn)有算法的分析和總結，提出一種基于仿射不變性的多重影像線特征匹配算法。實驗測試結果表明，所提算法能夠有效提升匹配結果的準確性和匹配效率，降低漏匹配率，更好地完成多重影像線特征匹配。

由于研究時間和精力有限，所提算法仍然存在一定的不足，后續(xù)將對其展開更加深入地研究。