（武漢大學(xué)遙感信息工程學(xué)院，武漢,430079）

基于特征點(diǎn)的影像匹配

馮莞舒

（武漢大學(xué)遙感信息工程學(xué)院，武漢,430079）

在數(shù)字?jǐn)z影測量中，影像匹配代替了傳統(tǒng)的人工觀測，來達(dá)到自動確定同名像點(diǎn)的目的。影像匹配的理論與實(shí)踐，是實(shí)現(xiàn)自動立體量測的關(guān)鍵，也是數(shù)字?jǐn)z影測量的重要研究課題之一。本文中對基于特征點(diǎn)的影像匹配思路及特征點(diǎn)的提取與匹配中所涉及到的各種算法進(jìn)行說明，并通過實(shí)驗(yàn)對算法展開分析。

特征點(diǎn)；提??；匹配；影像

0 引言

隨著現(xiàn)代技術(shù)發(fā)展的不斷推進(jìn)，影像匹配技術(shù)已成為影像處理與信息獲取領(lǐng)域中一項(xiàng)重要的技術(shù)，并在國防、科技、工農(nóng)業(yè)與日常生活中都發(fā)揮著越來越重要的作用。目前已經(jīng)提出的影像匹配主要可分為基于灰度的匹配和基于特征的匹配兩大類。基于灰度的匹配是以待定點(diǎn)為中心的窗口內(nèi)，以影像的灰度分布為影像匹配的基礎(chǔ)。其計(jì)算量比較大，匹配速度較慢，若待匹配的點(diǎn)位于低反差區(qū)內(nèi)，匹配的成功率不高。此外，在很多應(yīng)用場合，影像匹配不一定用于地形測繪目的，也不一定要生成秘籍的DEM（或DSM）網(wǎng)格點(diǎn)。

基于特征的匹配方法有效的避免了基于灰度匹配的缺點(diǎn)，該方法不是直接利用灰度信息進(jìn)行匹配，而是在影像灰度的基礎(chǔ)上提取特征點(diǎn)、線或面，然后在紋理基礎(chǔ)上進(jìn)行匹配。其大大壓縮了匹配的信息量，提高了匹配的速度，且特征的匹配度量值對位置變化比較敏感，提高了影像匹配的精度。此外，特征受噪聲的影響小，對灰度變化、影像形變以及遮擋等都有較好的適應(yīng)能力。

在目前基于特征的匹配方法中，由于特征點(diǎn)具有穩(wěn)定性、旋轉(zhuǎn)不變性等特點(diǎn)，同時在利用特征點(diǎn)進(jìn)行匹配運(yùn)算時不會損失影像中的重要灰度信息，因而基于特征點(diǎn)的匹配方法應(yīng)用較為廣泛。在本文中就基于特征點(diǎn)的影像匹配的各種實(shí)現(xiàn)方式進(jìn)行研究，并通過實(shí)驗(yàn)結(jié)果對實(shí)施效果進(jìn)行比較。

1 基本思想

在基于特征點(diǎn)的影像匹配方法中，主要的內(nèi)容分為兩個部分：特征點(diǎn)提取與特征點(diǎn)匹配。首先采用特征點(diǎn)提取算子對左影像進(jìn)行特征點(diǎn)提取，常用的提取方法有Moravec算子、Forstner算子、Harris角點(diǎn)提取算法等多種算子。各種特征點(diǎn)提取算子的特點(diǎn)及適用情況不同，這將在下部分中進(jìn)行分別闡述。然后根據(jù)左影像中已得到的特征點(diǎn)對右影像進(jìn)行點(diǎn)匹配，常用的相似性測度包括相關(guān)系數(shù)（矢量夾角）、協(xié)方差函數(shù)（矢量投影）、相關(guān)函數(shù)（矢量數(shù)積）、差平方和（差矢量模）和差絕對值和（差矢量分量絕對值和），其中相關(guān)系數(shù)的匹配應(yīng)用最為常見。

影像匹配中為了得到較好的精度，會用到金字塔影像結(jié)構(gòu)，采用由粗到細(xì)的策略對匹配點(diǎn)進(jìn)行搜索。將上一層影像的特征點(diǎn)匹配結(jié)果傳到下一層作為初始值，并考慮對粗差的剔除和改正，分辨率逐漸提高，搜索區(qū)域逐漸變小，最后用原始分辨率影像進(jìn)行相關(guān)。金字塔影像結(jié)構(gòu)在影像匹配中的應(yīng)用非常廣泛，也可以只用原始影像（相當(dāng)于只有一層的“金字塔”影像）。

2 特征點(diǎn)提取

通常進(jìn)行特征點(diǎn)提取時，采用Moravec算子、Forstner算子及Harris算子三種方法，不同方法有各自的提取特點(diǎn)。對Moravec算子、Forstner算子、Harris角點(diǎn)提取算法分別進(jìn)行程序?qū)崿F(xiàn)。調(diào)整算法中各項(xiàng)參數(shù)的數(shù)值，使得提取出的特征點(diǎn)數(shù)目大致相當(dāng)，以便于對三種算法有一個縱向比較。觀察算子的特征點(diǎn)提取效果，結(jié)合其原理可對算子各自特點(diǎn)進(jìn)行分析。

其中Moravec算子計(jì)算興趣值的窗口尺寸設(shè)為5，提取極值點(diǎn)的窗口設(shè)為30，經(jīng)驗(yàn)閾值設(shè)為1500。在相同參數(shù)條件下對圖像和旋轉(zhuǎn)90°后的圖像分別提取特征點(diǎn)，得到的結(jié)果如圖1所示。分析可知Moravec算子具有如下特點(diǎn)：

（1）Moravec算子原理上較為簡單，提取速度較快；

（2）由于響應(yīng)值是自相關(guān)的最小值而不是差值，算子對邊緣比較敏感；

（3）不是旋轉(zhuǎn)不變的，當(dāng)影像發(fā)生旋轉(zhuǎn)時，檢測出的特征點(diǎn)具有較低的重復(fù)率；

（4）對噪聲也比較敏感。

圖1 Moravec算子提取特征點(diǎn)

在實(shí)驗(yàn)中，F(xiàn)orstner算子興趣窗口設(shè)為5，抑制窗口為30。旋轉(zhuǎn)90°前后的兩幅影像的特征點(diǎn)提取效果對比如下圖2所示，觀察提取效果可知：

（1）對比特征點(diǎn)數(shù)等級相近的Moravec算子與Harris算子可知，F(xiàn)orstner算子對邊緣點(diǎn)提取效果較好，對于影像中操場上半部分的邊緣點(diǎn)也能較完整的提取出來；

（2）Forstner算子提取的特征點(diǎn)定位精度高，且能給出特征點(diǎn)的類型；

（3）Forstner算子可以在一定程度上保持旋轉(zhuǎn)不變性，對于一些紋理特征明顯的區(qū)域能夠在旋轉(zhuǎn)后保持特征點(diǎn)位置不發(fā)生變化；

（4）原理復(fù)雜，與其余算法相比提取速度慢。

圖2 Forstner算子提取特征點(diǎn)

在實(shí)驗(yàn)中，Harris角點(diǎn)提取算法中高斯窗口為3，卷積模版的取0.8，閾值為3000。旋轉(zhuǎn)90°前后的兩幅影像的特征點(diǎn)提取效果對比如下圖3所示，可知Harris算子的特點(diǎn)有：

（1）通過差分運(yùn)算和自相關(guān)矩陣來檢測角點(diǎn)，能反映象素點(diǎn)在任意方向上的灰度強(qiáng)度變化，因而能夠有效的區(qū)分角點(diǎn)和邊緣，使得算子具有旋轉(zhuǎn)不變性；

（2）對梯度值進(jìn)行高斯平滑濾波，在一定程度上抑制了噪聲的影響；

（3）分析效果圖像可知，相比較于Moravec算子與Forstner算子，Harris算子提取的點(diǎn)分布較不均勻。在紋理信息豐富的區(qū)域提取的特征點(diǎn)分布較為密集，而在紋理信息匱乏的區(qū)域幾乎沒有特征點(diǎn)分布。

圖3 Harris角點(diǎn)提取效果

綜上可知，Moravec算子原理簡單，F(xiàn)orstner算子過程復(fù)雜但提取精度高。Harris算子復(fù)雜程度介于前兩者之間，其抗噪性、旋轉(zhuǎn)不變性均較好，而且Harris算子提取的特征點(diǎn)較Moraec算子與Forstner算子的分布均勻更有利于影像的匹配。因而在實(shí)際中，Harris算子的應(yīng)用最為廣泛。在本次實(shí)驗(yàn)中亦選用Harris算子進(jìn)行影像匹配操作。

3 特征點(diǎn)匹配

3.1金字塔影像結(jié)構(gòu)

金字塔算法基本思想是用不同帶寬的低通濾波器對原始影像進(jìn)行低通濾波，將原始圖像分解成許多不同空間分辨率的子圖像。低分辨率的子圖像在上層，高分辨率的子圖像在下層，最下層是原始分辨率的影像，從而形成一個金字塔形狀。

金字塔算法采用逐次低通濾波和增大采樣間隔的方式來實(shí)現(xiàn)影像分層，其中包括兩像元平均、三像元平均、四像元平均等多種實(shí)現(xiàn)方式。以兩像元平均為例，一頻道是取采樣間隔為的原始影像灰度數(shù)據(jù)；二頻道是采樣間隔為、灰度值為一頻道中相鄰兩像元灰度平均值；三頻道是間隔為、灰度值為二頻道中相鄰兩像元灰度平均值，以此類推。在實(shí)驗(yàn)中對要匹配的影像對采用兩像元平均生成三層金字塔結(jié)構(gòu)如下圖4所示。

圖4 金字塔影像結(jié)構(gòu)

采用金字塔影像結(jié)構(gòu)進(jìn)行匹配的基本思想是：從金字塔的最高層（分辨率最低）開始，對左右影像進(jìn)行特征點(diǎn)匹配，找到同名點(diǎn)的粗略位置作為預(yù)測值，對下一層子影像利用高頻信息進(jìn)行精確相關(guān)，最后達(dá)到原始分辨率。

3.2特征點(diǎn)匹配方法

在匹配操作的實(shí)現(xiàn)部分，可使用相關(guān)系數(shù)（或其它相似性度量方法）作為匹配測度。在左影像上以一個特征點(diǎn)為中心建立目標(biāo)窗口，然后在右影上按照一定的準(zhǔn)則確定一個大于目標(biāo)窗口的搜索窗口。利用目標(biāo)窗口對搜索窗口進(jìn)行遍歷計(jì)算相關(guān)系數(shù)。

在本文中主要考慮了兩種方法。

方法一：對右影像也進(jìn)行相應(yīng)的特征點(diǎn)提取，利用左影像的特征點(diǎn)對右影像搜索窗口內(nèi)的特征點(diǎn)進(jìn)行遍歷，尋找相關(guān)系數(shù)最大的點(diǎn)，若最大相關(guān)系數(shù)大于設(shè)定的閾值，則可認(rèn)為兩特征點(diǎn)匹配。

該方法匹配速度較快，當(dāng)用于匹配的影像對間僅存在單一方向的偏移量時，匹配效果非常好。但在實(shí)際中兩幅影像由于存在各種誤差導(dǎo)致的形變，其偏移量往往不是單一方向的，不能保證提取的特征點(diǎn)相應(yīng)位置都絕對一致，因而會導(dǎo)致特征點(diǎn)損失和誤判現(xiàn)象。

方法二：右影像不進(jìn)行特征點(diǎn)提取，對右影像搜索窗口內(nèi)的所有點(diǎn)均求取與左影像相應(yīng)特征點(diǎn)的相關(guān)系數(shù)，取相關(guān)系數(shù)最大且大于預(yù)設(shè)閾值的右影像點(diǎn)為特征點(diǎn)。該方法的實(shí)現(xiàn)相對于方法一要慢，但在多數(shù)條件下適用，匹配效果比較穩(wěn)定，精度更高。

不管采用哪種方法，在匹配過程中需要注意同名點(diǎn)的唯一性，一個右影像特征點(diǎn)只可與一個左影像點(diǎn)相對應(yīng)。在提取特征點(diǎn)的算法中都會進(jìn)行抑制局部非最大，使特征點(diǎn)分布均勻的步驟，但在紋理信息豐富的區(qū)域仍會存在特征點(diǎn)分布密集的情況，在進(jìn)行點(diǎn)匹配時可能會有一個以上的左影像特征點(diǎn)與右影像同一點(diǎn)相匹配。針對這種情況，在實(shí)驗(yàn)中對右影像建立內(nèi)存空間記錄點(diǎn)標(biāo)記情況，未匹配的點(diǎn)標(biāo)記值為0，匹配點(diǎn)則記為1。

3.3匹配結(jié)果及分析

在影像匹配的實(shí)施環(huán)節(jié)，采用VC6.0環(huán)境下基于MFC的編程實(shí)現(xiàn)特征點(diǎn)提取與匹配。添加CBmpFile類來實(shí)現(xiàn)對bmp文件的信息獲取、讀取，顯示、保存等操作；建立CRightView類來實(shí)現(xiàn)左右影像同時顯示與操作；建立CFunction類來封裝三種特征點(diǎn)提取算法、構(gòu)建金字塔結(jié)構(gòu)以及利用相關(guān)系數(shù)進(jìn)行影像匹配的算法。

在實(shí)驗(yàn)中，采用方法二，對左影像利用Harris算子提取到125個特征點(diǎn)，根據(jù)左影像特征點(diǎn)對右影像搜索窗口內(nèi)的所有點(diǎn)計(jì)算相關(guān)性，最后得到118個匹配點(diǎn)。為了使效果更加直觀，將匹配點(diǎn)設(shè)置為紅色，其匹配前后的左右影像如下圖5所示。分析前后結(jié)果可知，影像同名點(diǎn)提取與匹配效果較好。

圖5 影像匹配

4 結(jié)束語

本文通過對特征點(diǎn)提取算子與特征點(diǎn)匹配方法進(jìn)行列舉、分析與實(shí)驗(yàn)驗(yàn)證，對基于特征點(diǎn)的影像匹配方法有了較為完整與系統(tǒng)的說明。目前來說，影像匹配技術(shù)在圖像鑲嵌、圖像融合、動態(tài)跟蹤與軍事偵查等領(lǐng)域的應(yīng)用都十分廣泛。隨著計(jì)算機(jī)軟硬件技術(shù)、網(wǎng)絡(luò)通信技術(shù)與軟件研發(fā)應(yīng)用能力的飛速發(fā)展，影像匹配將向?qū)崟r、高效、智能化地完成海量遙感影像的高精度匹配方向發(fā)展。

[1] 謝萍.基于Harris角點(diǎn)與SIFT特征的近景影像匹配[D].長沙:中南大學(xué)地球科學(xué)與信息物理學(xué)院,2011.

[2] 張祖勛,張劍清.數(shù)字?jǐn)z影測量學(xué)[M].武漢:武漢大學(xué)出版社,2012

[3] 田慧云.基于特征點(diǎn)的立體影像匹配[D].北京:北京建筑工程學(xué)院, 2008

[4] 李峰,周源華.采用金字塔分解的最小二乘影像匹配算法[J].上海交通大學(xué)學(xué)報,1999,33(5):513-519.

[5] 全斌,劉二洋.金字塔影像結(jié)構(gòu)在影像匹配中的應(yīng)用[J].測繪通報, 2010(3):10-34

[6] 李健,劉鳳德,趙利平.基于影像特征點(diǎn)、線整體匹配的DSM自動生成[J].測繪科學(xué),2007,32(4):96-97

[7] 鄭悅,程紅,孫文邦,蘇清賀.遙感影像匹配技術(shù)研究[J].電子設(shè)計(jì)工程,2011,19(20):97-101

Feature based image matching

Feng Guanshu
(Remote Sensing Information Engineering College of Wuhan University,Wuhan,430079)

In digital photogrammetry,image matching instead of the traditional manual observations,to automatically determine the corresponding image points to.The theory and practice of image matching,is the key to realize automatic stereo measurement of digital photogrammetry,is also one of the important research topics.A description of the feature point based image matching method and feature point matching algorithms and involved in this paper,and the results of the algorithm.

Feature extraction;image matching