趙西安，陳志學，呂京國，靖常峰

北京建筑工程學院測繪系，北京100044

具有尺度與旋轉(zhuǎn)不變性的立體影像自動匹配研究

趙西安，陳志學，呂京國，靖常峰

北京建筑工程學院測繪系，北京100044

提出一種具有尺度與旋轉(zhuǎn)不變性的影像自動匹配算法。首先基于方向小波變換構(gòu)造三尺度特征點算子，進行兩尺度匹配，保證其尺度不變性問題；其次構(gòu)造特征點64維描述向量，解決影像匹配的旋轉(zhuǎn)不變性。分別采用地面立體像對、無人機平臺立體像對、航空立體像對進行試驗分析。試驗結(jié)果表明，提出的立體匹配算法具有良好的尺度和旋轉(zhuǎn)不變性。

影像匹配；立體影像；尺度不變性；旋轉(zhuǎn)不變性；特征點

1 引 言

立體影像匹配是數(shù)字攝影測量的核心技術(shù)之一。常用立體影像匹配算法，如跨接法匹配、核線匹配、最小二乘匹配［1］在地形信息自動生成中效果明顯。但對于建筑物的三維信息自動生成，上述算法效果還不明顯。文獻［2］提出的基于小波變換、遺傳算法和最小二乘匹配的高精度影像匹配組合算法，其小波變換用于減少匹配搜索數(shù)據(jù)，遺傳算法用于優(yōu)化搜索空間，最小二乘匹配則用于獲得子像素匹配精度。文獻［3］提出的全局自動配準算法，采用多分辨率小波變換縮小搜索空間，實現(xiàn)多傳感器、大數(shù)據(jù)量影像的快速高效自動配準。當影像間視差不連續(xù)，或存在明顯輻射強度變化，或有較大旋轉(zhuǎn)變化時，上述算法的匹配效果明顯下降。Fourier－Mellin變換是保持旋轉(zhuǎn)、尺度和平移不變性算法，在SAR與多光譜影像配準，醫(yī)學影像匹配中得到應用［6－8］。Fourier－Mellin影像匹配算法屬于一致性尺度不變算法，用于存在中心投影變形的影像匹配還存在一些問題待解決。文獻［9］提出SIFT（scale－invariant feature transform）算法，對于不同傳感器影像配準、地面立體影像匹配，具有輻射強度與尺度不變性。但是，SIFT算法的高斯多尺度變換以及128維向量匹配，計算量大、效率低，已經(jīng)影響到其實際應用。

針對上述問題，本文提出了一種新的尺度與旋轉(zhuǎn)不變性匹配算法，其基本思路是利用方向小波變換構(gòu)造三尺度特征點算子，保證特征提取的尺度與輻射強度不變。采用兩尺度立體匹配，解決匹配中尺度不變性問題；在精匹配中，構(gòu)造特征點的主方向與64維描述向量，解決匹配中旋轉(zhuǎn)不變性問題。算法流程如圖1所示。

2 方向小波變換與多尺度特征點提取

為解決影像特征提取中輻射強度與尺度不變性，基于多尺度方向小波變換，構(gòu)造多尺度小波特征算子，在3個尺度下進行特征點提取。

圖1 算法流程Fig.1 The algorithmic flow chart

2.1 二維方向小波構(gòu)造

對于任意函數(shù)f（x，y），有方向小波變換

式中，α表示方向小波變換后高頻信息方向。

2.2 生成三尺度小波影像

采用樣條小波，基于式（2）對數(shù)字影像G（m，n）進行二尺度離散方向小波變換，分別得到三尺度下影像：

尺度0 低頻影像 G0

尺度1 低頻影像 G1

尺度2 低頻影像 G2

其中，高頻影像D的上標表示方向。

離散方向小波變換流程如圖2所示。

圖2 離散方向小波多尺度變換Fig.2 Multi－scale transform of directional wavelet

2.3 三尺度特征點提取

三尺度特征點算子構(gòu)造如下：由尺度2高頻影像得

由尺度1高頻影像得

由尺度0低頻影像得

式中，dg1、dg2、dg3、dg4分別為水平、垂直、傾斜方向的灰度差分絕對值和，三尺度下同時滿足條件的點為特征點。

3 尺度與旋轉(zhuǎn)不變性立體匹配

尺度與旋轉(zhuǎn)不變性立體匹配分為兩步進行。首先在尺度1低頻影像G1上作粗匹配，得到左右影像間視差；然后在尺度0低頻影像G0上構(gòu)造特征點主方向和64維描述向量，進行向量距離匹配。

3.1 基于特征的粗匹配

在尺度1左右低頻影像上，利用公式（3）計算左、右影像特征點的灰度相關(guān)系數(shù)

式中，σgg′為左右影像灰度協(xié)方差。對于左像上任一特征點，在右像上可找到其最大相關(guān)系數(shù)max（R）、次大相關(guān)系數(shù)submax（R）所對應的點。取滿足式（4）的點對

作為粗匹配點。通過試驗，選取T在0.5～0.8之間。

3.2 特征點梯度主方向確定

在G0影像選定特征點鄰域，計算鄰域內(nèi)梯度模m與梯度方向θ將鄰域內(nèi)梯度方向

按每10°劃分，統(tǒng)計鄰域內(nèi)梯度直方圖，其峰值即為該特征點的主方向。

3.3 構(gòu)造64維特征描述向量

在G0影像上構(gòu)造64維特征描述符，保持特征點鄰域窗口的0°方向與主方向重合。

定義鄰域窗口為以特征點為中心8個同心環(huán)，將環(huán)域分為8方向（0°、45°、90°、135°、180°、225°、270°、315°）。如圖3所示，以一特征點為中心取17×17像素的窗口，依次建立8層環(huán)形區(qū)域。由式（5）計算每個像素的梯度模和方向，統(tǒng)計每環(huán)內(nèi)8個方向的梯度累加值。構(gòu)建8×8＝64維的特征向量。

圖3 構(gòu)造64維特征描述向量Fig.3 The describing vector of 64parameters

3.4 向量距離匹配

設(shè)左像一特征點的64維描述向量為X，右像第i個特征點的64維描述向量為Yi，由

可判斷右像第i個特征點即為匹配點。

4 基于核線約束的可靠性匹配

完成64維特征向量匹配后，建立核線約束模型，剔除不滿足核線約束的點對，提高匹配可靠性。

4.1 最優(yōu)共面模型參數(shù)確定

由圖4知，左右影像上同名像點滿足共面方程展開得［1］

式中，q為“上下視差”；L為待求參數(shù)。當已知8對以上同名像點坐標，可根據(jù)最小二乘平差解求L參數(shù)。

采用隨機抽樣一致性算法RANSAC（random sample consensus）從匹配點集中迭代搜索匹配點子集，不斷修正解算的共面模型（8）中的L參數(shù)，計算得到最優(yōu)共面模型參數(shù)，可保證模型整體誤差最小。通過試驗得出：RANSAC法隨機抽取不少于100組同名點對（每組＞8對），迭代計算可得到最優(yōu)模型L參數(shù)。

圖4 核線幾何關(guān)系Fig.4 Relation of epipolar line

4.2 核線約束檢查

由于匹配點對必位于同名核線上，不在同名核線上的點對為誤匹配，需要剔除。因此核線約束用于檢查發(fā)現(xiàn)誤匹配，提高匹配的可靠性。

5 試驗與分析

5.1 立體影像自動匹配實現(xiàn)

（1）對影像作方向小波變換，得到三尺度低、高頻影像，按2.3節(jié)進行三尺度影像特征點提取。

（2）在尺度1低頻影像G1上，給定鄰域窗口進行粗匹配。選取滿足式（4）并均勻分布的16點對作為粗匹配結(jié)果，計算立體像對視差中數(shù)。

（3）在尺度0低頻影像G0上，構(gòu)造特征點主方向和64維描述向量，進行向量距離匹配。

（4）計算最優(yōu)共面模型參數(shù)，基于式（9）進行核線約束，剔除誤匹配點對。

5.2 試驗與結(jié)果分析

本文采用3種平臺獲取的立體像對（像對間存在尺度與旋轉(zhuǎn)變化）進行匹配試驗。為了說明本文算法的優(yōu)越性，對試驗結(jié)果進行人工檢查，表1列出傳統(tǒng)基于特征匹配算法及本文算法得到的正確匹配點對數(shù)。

表1 與傳統(tǒng)特征匹配比較Tab.1 Comparison with original feature matching

（1）圖5（a）采用Cannon EOS 400D數(shù)字相機在地面拍攝立體影像，影像尺寸：3888像素× 2592像素。對右像逆時針旋轉(zhuǎn)30°；圖6（a）以無人機為遙感平臺用Cannon EOS 400D數(shù)字相機拍攝立體影像，相對航高600m，攝影比例尺1／25 000，對右像順時針旋轉(zhuǎn)15°；圖7（a）是采用專業(yè)DMC面陣相機獲取的航空攝影像對，影像尺寸：7680像素×13 824像素，飛行航高800m，攝影比例尺1／6000，對右像順時針旋轉(zhuǎn)120°。圖8是將上述3種立體像對的右像縮到原圖大小的0.6倍后，與左像的匹配效果。

（2）圖5（b）、圖6（b）、圖7（b）是在三尺度（尺度2高頻影像、尺度1高頻影像、尺度0低頻影像）下，提取同時滿足條件的點作為特征點。3類不同影像對提取效果表明，本算法對于點特征敏感且分布密度均勻。多尺度特征抗輻射強度變化、尺度變化效果明顯。

（3）圖5（c）、圖6（c）、圖7（c）是首先在G1低頻影像上，基于（4）式獲取均勻分布的16對匹配點，計算影像對的視差中數(shù)；然后在G0低頻影像上，確定特征點主方向及與主方向有關(guān)的64維特征向量，進行向量距離匹配；最后用核線約束剔除誤匹配，確保匹配可靠性。為了便于說明，在圖5（c）、圖6（c）、圖7（c）分別表示出10對匹配點。由于立體匹配是在兩尺度下完成，其結(jié)果具有一定抗尺度變化，基于主方向的64維向量匹配保證了匹配過程的旋轉(zhuǎn)不變性。

（4）圖8試驗結(jié)果表明，無論是地面、無人機還是航空平臺得到立體像對，其立體匹配尺度不變性效果明顯。

（5）表1表明，當立體影像間存在尺度與旋轉(zhuǎn)變化時，本文算法匹配獲得的正確匹配點對數(shù)遠多于傳統(tǒng)算法，優(yōu)勢明顯。

圖5 地面影像特征提取與立體匹配Fig.5 Feature point extracting and stereo matching by close－range images

6 討 論

常用立體影像匹配算法，當影像視差不連續(xù)、影像間存在明顯輻射強度變化，或影像間存在旋轉(zhuǎn)、尺度變化時匹配效果不好。試驗結(jié)果表明，本文提出基于方向小波多尺度算子、64維特征描述向量、兩尺度匹配，可以解決影像尺度和旋轉(zhuǎn)不變性問題。今后需要進一步研究、提高多方向多尺度點特征提取精確性，特別是提高算法對于特殊關(guān)鍵點（如建筑物角點、道路交叉點等）的選擇性；另外，進行地面大交向角立體像對匹配時，得到的正確匹配點對較為稀疏，不能滿足攝影測量的要求，需要進一步研究改善，同時對城市建筑物特征點匹配的有效性，還需要作深入研究。

圖6 無人機平臺影像特征提取與立體匹配Fig.6 Feature point extracting and stereo matching by unpiloted－aircraft images

圖7 航空影像特征提取與立體匹配Fig.7 Feature point extracting and stereo matching by airplane images

圖8 不同尺度立體影像匹配Fig.8 Stereo matching between different scale images

［1］ ZHANG Zuxun.Study on Digital Photo－Grammetry 30 Years［M］.Wuhan：Wuhan University Press，2007.（張祖勛.數(shù)字攝影測量研究30年［M］.武漢：武漢大學出版社，2007.）

［2］ XIONG Xinghua，CHEN Ying，QIAN Zengbo.A Fast，Accurate and Robust Image Matching Algorithm［J］.Acta Geodaetica et Cartographica Sinica，2005，34（1）：40－45.（熊興華，陳鷹，錢曾波.一種快速、高精度和穩(wěn)健的影像匹配算法［J］.測繪學報，2005，34（1）：40－45.）

［3］ ZHOU Haifang，TANG Yu，HE Kaitao，et al.An Automatic Global Registration Algorithm Based on Wavelet and Its Parallel Implementation［J］.Acta Automatica Sinica，2004，30（6）：880－889.（周海芳，唐宇，何凱濤，等.基于小波遙感圖像全局配準算法研究及其并行實現(xiàn)［J］.自動化學報，2004，30（6）：880－889.）

［4］ LI Xiaoming.Reaserch in Image Registration Methods［D］.Beijing：Beijing Institute of Technology，2006.（李曉明.圖像配準方法研究［D］.北京：北京理工大學，2006.）

［5］ MALLAT S.A Wavelet Tour of Signal Processing［M］.YANG Lihua，DAI Daoqing，HUANG Wenliang，et al.Translated.Beijing：China Machine Press，2002.（MALLAT S.信號處理的小波導引［M］.楊力華，戴道清，黃文良，等譯.北京：機械工業(yè)出版社，2002.）

［6］ ANUTA P E.Spatial Registration of Multi－spectral and Multi－temporal Digital Imagery Using Fast Fourier Transform Techniques［J］.IEEE Transactions on Geoscience Electronics，1970（8）：353－368.

［7］ CASTRO E D，MORANDI C.Registration of Translated and Rotated Images Using Finite Fourier Transforms［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1987，9（5）：700－703.

［8］ CHEN Q S，DEFRISE M，DECONINCK F.Phase－only Matched Filtering of Fourier－mellin Transforms for Image Registration and Recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1994，16（12）：1156－1168.

［9］ DAVID G L.Distinctive Image Features from Scale－invariant Keypoints［J］.International Journal of Computer Vision，2004，22（1）：77－85.

［10］ BROWN M，LOWE D G.Invariant Features from Interest Point Groups［C］∥Proceedings of British Machine Vision Conference.Cardiff：［s.n.］，2002：656－665.

［11］ DENOS M.Automated System for Coarse－to－fine Pyramidal Area Correlation Stereo Matching［J］.Image and Vision Computing，1996，14（3）：225－236.

［12］ HANK P，SONG K W，CHUNG E Y，et al.Stereo Matching Using Genetic Algorithm with Adaptive Chromosomes［J］.Pattern Recognition，2001，34（9）：1729－1740.

［13］ MALLAT S G.A Theory for Multiresolution Signal Decomposition：the Wavelet Representation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11（7）：674－693.

［14］ CANDES E J.Ridgelets：Theory and Application［D］.Stanford：Stanford University，1998.

［15］ DO M N，VETTERLI M.The Contourlet Transform：an Efficient Directional Multi－resolution Image Representation［J］.IEEE Transactions on Image Processing，2005，14（12）：2091－2106.

［16］ DONOBO D L.Wedgelets：Nearly Minmax Estimation of Edges［J］.The Annals of Statistics，1999，27（3）：859－897.

［17］ SONKA M，HLAVAC V，BOYLE R.Image Processing，Analysis，and Machine Vision［M］.AI Haizhou，WU Bo，Tanslated.Beijing：Post and Telecom Press，2003.（SONKA M，HLAVAC V，BOYLE R.圖像處理、分析與機器視覺［M］.艾海舟，武勃，譯.北京：人民郵電出版社，2003.）

［18］ TONJES R，GROWE S，BUCKNER J，et al.Knowledge Based Interpretation of Remote Sensing Images Using Semantic Nets［J］.Photogrammetric Engineering ＆Remote Sensing，1999，65（7）：811－821.

［19］ KRUGER N，PETERS G.ORASSYLL：Object Recognition with Autonomously Learned and Sparse Symbolic Representation Based on Metrically Organizied Local Line Detectors［J］.Computer Vision and Understanding，2000，77：48－77.

［20］ SZU H H，TELFERN B，KADAMBE S.Neural Network Adaptive Wavelets for Signal Representation and Classification［J］.Optical Engineering，1998，31（9）：1907－1916.

The ScaIe and Rotating Invariant Auto Stereo Matching

ZHAO Xi’an，CHEN Zhixue，LüJingguo，JING Changfeng
Department of Geomatics，Beijing University of Architecture and CiviI Engineering，Beijing100044，China

A stereo matching aIgorithm with invariant scaIe and rotation is presented.FirstIy，the directionaI waveIet transform is used to extract the feature points of images with three scaIes，and a stereo matching at two scaIes is then carried out，this processing is scaIe invariant.SecondIy，a key direction and a 64－dimensionaI describing vector are derived from these feature points to make the image matching be rotation invariant.This new aIgorithm is used to process different stereo images from cIose－range，un－manned aircraft，and airpIane，and the scaIe and rotation invariant is cIearIy shown.

image matching；stereo image；scaIe invariant；rotation invariant；feature point

ZHAO Xi’an（1957—），maIe，PhD，professor，majors in digitaI photogrammetry and remote sensing.E－maiI：zhaoxian＠bucea.edu.cn

ZHAO Xi’an，CHEN Zhixue，LüJingguo，et al.The Scale and Rotating Invariant Auto Stereo Matching［J］.Acta Geodaetica et Cartographica Sinica，2012，41（1）：81－86.（趙西安，陳志學，呂京國，等.具有尺度與旋轉(zhuǎn)不變性的立體影像自動匹配研究［J］.測繪學報，2012，41（1）：81－86.）

P234

A

1001－1595（2012）01－0081－06

國家自然科學基金（40771178）；北京市自然科學基金（KZ200710016007）；北京市學術(shù)創(chuàng)新團隊項目（PHR200907127）

雷秀麗）

2010－03－05

2011－01－07

趙西安（1957—），男，博士，教授，主要從事攝影測量與遙感研究。