范新峰，程遠增，付　強

(解放軍軍械工程學院電子與光學工程系，河北 石家莊 050003)

?

基于歸一化互相關的亞像素雙目視覺匹配方法

范新峰，程遠增，付強

(解放軍軍械工程學院電子與光學工程系，河北 石家莊 050003)

摘要:針對當前單一的區(qū)域匹配和特征匹配精度不高的問題,提出了基于歸一化互相關的亞像素雙目視覺匹配方法。該方法首先采用歸一化互相關匹配獲得目標圖像的像素級最佳匹配點；然后根據(jù)互相關函數(shù)呈現(xiàn)出的特性，用改進的二次曲面擬合法擬合最佳匹配點周圍區(qū)域，得到費馬點，該點即為亞像素級的最佳匹配點；最后對兩臺相機采集的圖像分別處理即可得到亞像素的匹配視差。實驗結(jié)果表明，該匹配方法具有較高精度，能達到0.01像素。

關鍵詞:歸一化互相關；二次曲面擬合；圖像匹配；亞像素；雙目視覺

0引言

雙目視覺是計算機視覺的重要組成部分，即由不同位置的兩臺或一臺相機經(jīng)過移動或旋轉(zhuǎn)拍攝同一幅場景，通過計算空間點在兩幅圖像中的視差，獲得空間點的三維坐標值[1]。圖像匹配是雙目視覺理論中的一項重要技術(shù)，其實質(zhì)在于將兩幅或多幅圖像進行對準，求取同一目標點的視差，其匹配精度直接決定著三維信息的獲取是否準確。盡管在許多場合像素級的匹配精度已經(jīng)能夠滿足需要[2]，但在雙目測距、衛(wèi)星遙感、醫(yī)學成像等精度要求高的場合，必須要達到亞像素級匹配精度才能解決問題。

目前，圖像匹配算法很多，可以分為區(qū)域匹配[3]和特征匹配[4]兩大類。如果單一地進行匹配，它們的匹配精度都只能達到像素級別[5]，必須通過亞像素定位技術(shù)來提高精度。亞像素定位技術(shù)最早在20世紀70年代由Huechel[6]提出，現(xiàn)已發(fā)展為圖像重采樣、灰度矩和曲面擬合等多種定位方法。目前針對曲面擬合法的研究較多，雖然精度有限，但運算速度快，其亞像素精度不高的原因在于曲面趨于理想化。本文針對此問題，提出了基于歸一化互相關的亞像素雙目視覺匹配方法。

1歸一化互相關匹配

區(qū)域匹配，本質(zhì)是根據(jù)某種匹配準則確定參考圖像中與模板圖像最相似的區(qū)域圖像，如圖1所示。

圖1　區(qū)域匹配原理圖Fig.1　Principle figure of zone matching

匹配的結(jié)果是確定二者間的相對位置。目前，常用的匹配準則有最大互相關準則、最小平方誤差準則、最小均方差準則等。最大互相關準則被認為是最佳的相似程度判據(jù)[7]，在實際應用中，為了克服模板和參考圖像的灰度對互相關函數(shù)的影響，需要對它進行歸一化處理。

(1)

F(m,n)的取值范圍是[-1,1]，其頂點(相關峰)即為最佳匹配點(模板圖像在參考圖像中匹配程度最高的位置)。因為數(shù)字圖像的灰度分辨率是以像素為單位，那么利用NC函數(shù)進行匹配時模板圖像的滑動是以整像素來進行的，所以NC匹配僅能達到像素級精度，必須過亞像素定位技術(shù)來提高到亞像素級。

考慮到NC匹配的計算量大，參考圖像進行了自適應的尺度變換，縮小了匹配范圍。給定參考圖像，按式(2)作橫向梯度計算得到梯度圖。式(2)中，f(x,i+1)、f(x,i)分別是第(i+1)、i列的灰度值，Th是梯度閾值。在梯度圖中找出灰度和最大的行和列，可初步確定目標位置(行列相交的點)，以該點為中心外擴一定的像素作為最終的參考圖像。在該圖像中，確定目標最上行、最下行、最左列和最右列像素，并留有一定余量，作為模板圖像。在計算最終的視差時，進行簡單的變換即可。

(2)

2改進的二次曲面擬合法亞像素雙目視覺匹配

2.1二次曲面擬合法原理

曲面擬合法的思想是在最佳匹配點附近按NC函數(shù)值進行曲面擬合，然后求極值獲得亞像素的匹配點。定位精度主要由擬合函數(shù)決定，文中采用的是二次曲面函數(shù)。設二次曲面函數(shù)表達式如下：

F(x,y)=ax2+by2+cxy+dx+ey+f

(3)

式(3)中，F(xiàn)(x,y)是位置點(x,y)處的NC函數(shù)值。將最佳匹配點坐標及其八鄰域像素點坐標代入式(3)，解方程組即可得到式(3)中各系數(shù)。二次曲面函數(shù)表達式可寫成矩陣表達形式：

AX=b

(4)

式中，

(5)

(7)

由于系數(shù)矩陣不可逆，上述方程組一般用偽逆矩陣法求解。此法計算量大，而本文的程序開發(fā)環(huán)境中有求逆函數(shù)cvInvert(const CvArr* src, CvArr* dst, Int method=CV_SVD)，因而采取如下處理：矩陣A奇異值分解(SVD)得到廣義逆矩陣A+，則：X=A+b。

獲得擬合函數(shù)后求極值即確定最佳匹配點的亞像素級坐標，如式(8)。式中，f是二次曲面函數(shù)。

(8)

2.2對二次曲面擬合法進行改進

基于二次曲面擬合的亞像素定位中，存在著亞像素精度僅達到0.1～0.2像素且擬合的二次曲面趨于理想化的問題。針對出現(xiàn)的問題，吸取文獻[8]中亞像素邊緣擬合的思想，對二次曲面擬合法進行改進，提出新的擬合方法。以最佳匹配點的八鄰域點中的4個頂點為中心，分別作45°、135°、225°及315°方向上的縱切，由點及面，獲得相應的八鄰域像素點，如圖2所示。

圖2　八鄰域像素點的示意圖Fig.2　Schematic diagram of 8 neighborhood pixels

綜上，本文的亞像素雙目視覺匹配方法步驟如下：

1)進行參考圖像的尺度變換，縮小匹配范圍，進行歸一化互相關匹配，得到像素級的最佳匹配點；

2)根據(jù)NC函數(shù)，利用改進的二次曲面擬合法擬合最佳匹配點附近區(qū)域，得到4組亞像素坐標；

3)求4組亞像素坐標的費馬點，完成單目圖像的亞像素定位；

(9)

3實驗結(jié)果分析

為了驗證上述方法的正確性和評估性能，采用基于Microsoft Visual Studio 2010+OpenCV的程序開發(fā)環(huán)境進行了仿真實驗。參考圖像來源于兩臺相機同步拍攝的飛機圖像和太陽圖像，如圖3。

圖3　飛機圖像Fig.3　Airplane image

實驗中，先利用歸一化互相關匹配得到左側(cè)相機圖像的飛機像素級坐標并作為精度衡量基準，在此基礎上進行二次曲面擬合得到亞像素級坐標；利用左側(cè)相機圖像中提取的模板對右側(cè)相機圖像進行匹配，得到右側(cè)圖像中的飛機定位坐標；計算視差并進行精度評估。表1給出了本文方法及二次曲面擬合法的有關測試結(jié)果(不連續(xù)5幀圖像)。

表1　飛機圖像測試結(jié)果

從表1中看，本文算法x坐標的最大精度偏差的絕對值是0.002 5，而y坐標的最大精度偏差的絕對值是0.000 6；相比之下，二次曲面擬合法坐標偏差最大值達到了0.15。因而可認為本文方法的精度可達到0.01像素以上的亞像素精度，比二次曲面擬合法的精度有所提高，對于研究亞像素的雙目視覺匹配有重要意義。

4結(jié)論

本文提出了基于歸一化互相關的亞像素雙目視覺匹配方法。該方法首先根據(jù)歸一化互相關匹配計算出目標的像素級坐標，然后通過對最佳匹配點作4個方向上的二次曲面擬合，確定新的亞像素定位坐標，計算視差完成雙目視覺匹配。實驗結(jié)果表明，本文方法精度達到0.01亞像素精度，提高了亞像素匹配精度，具有一定的應用價值。但在復雜背景條件下，本文方法精度有所降低，這在下一步的工作中將進行針對性研究并加以解決。

參考文獻:

[1]高宏偉.計算機雙目立體視覺[M].北京:電子工業(yè)出版社，2012.

[2]張凌,趙永強,張洪才,等.基于相位相關和自適應閾值的圖像亞像素配準[J].火力與指揮控制,2009,34(9):24-27.

[3]孫卜效,周東華.基于NCC的存在旋轉(zhuǎn)的圖像匹配算法[J].傳感器與微系統(tǒng),2008,27(5):43-45,48.

[4]徐一鳴,劉曉麗,劉怡昕.基于角點響應函數(shù)的加權(quán)Hansdorff距離匹配算法[J].探測與控制學報,2009,31(6):29-32,37.

[5]雷鳴,張廣軍.基于互相關的圖像匹配亞像素定位[J].光電工程,2008,35(5):108-113.

[6]M H Huechel. An operator which locate edges in digital pictures[J].Journal of the Association for Computer Machinery, 1971,18(1):113-125.

[7]Brown L G. A Survey of Image Registration Techniques[J].ACM Computer Surveys, 1992,24(4):148-150.

[8]Steger C. An unbiased detector of curvilinear structures[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998,20(2):113-125.

*收稿日期:2015-11-20

基金項目:武器裝備軍內(nèi)科研項目資助(裝司2014551)

作者簡介:范新峰(1990—),男，湖北武穴人，碩士研究生，研究方向：圖像處理，計算機視覺。E-mail:1132544091@qq.com。

中圖分類號:TN911.73

文獻標志碼:A

文章編號：1008-1194(2016)03-0071-04

Sub-pixelBinocularVisionImageMatchingBasedonNormalizedCorrelation

FANXinfeng,CHENGYuanzeng,FUQiang

(ElectronicandOpticalDepartment,OrdanceEngineeringCollege,Shijiazhuang050003,China)

Abstract:Aiming at the problem of low accuracy in a single regional matching or feature matching, an image matching method for binocular vision with sub-pixel accuracy based on normalized correlation was proposed. Firstly, the normalized correlation matching was used to get the optimal matching point with pixel accuracy. Then the correlation peak was fitted according to the feature of correlation function by method of improved quadratic surface fitting, and the Fermat point was gained, which was the optimal matching point with sub-pixel accuracy. Finally, the matching parallax with sub-pixel accuracy was calculated by photos of two cameras. Experimental results showed this method had high sub-pixel accuracy to 0.01 pixel.

Key words:normalized correlation; quadratic surface fitting; image matching; sub-pixel; binocular vision