王琳 ,陳楚,吳正鵬,張力,艾海濱
(1.天津市測繪院,天津 300381; 2.中國測繪科學(xué)研究院,北京 100830)
立體像對的相對定向就是要恢復(fù)攝影時相鄰兩影像攝影光束的相互關(guān)系,從而使同名光束對對相交[1]。目前,數(shù)字影像的全自動相對定向已不再僅僅利用傳統(tǒng)的6 點,而是通過匹配的方法獲得相當(dāng)多的點來完成。然而,匹配點集中不可避免地會存在錯誤匹配,影響到相對定向結(jié)果的準(zhǔn)確性,甚至導(dǎo)致相對定向不收斂或錯誤。本文提出一套自動相對定向的流程,重點介紹了其中的誤匹配剔除方法。實驗結(jié)果表明,本文提出的誤匹配剔除方法具有很高的魯棒性,能有效將誤匹配濾除,保證了相對定向結(jié)果的正確性。
本文提出的自動相對定向流程如圖1所示,首先,構(gòu)建立體像對的金字塔影像序列以減少搜索匹配時間,最高層金字塔影像采用SIFT 匹配[2];匹配點集中不可避免地存在錯誤匹配,需要將這些錯誤匹配剔除,并根據(jù)得到的正確匹配獲得精度較低的初始相對定向元素和相鄰影像的重疊區(qū)域;為保證特征點分布的均勻性和提高相對定向精度,將重疊區(qū)域的金字塔影像均勻劃分為固定大小的網(wǎng)格,在每個網(wǎng)格內(nèi)采用F?rstner 算子提取影像中明顯的特征點;通過核線約束和仿射變換,在預(yù)測得到的同名像點概略位置上,采用帶核線幾何約束條件的近似一維影像匹配[3]尋找相鄰兩張影像上的同名像點;經(jīng)過逐層金字塔影像匹配,在原始影像上通過最小二乘匹配法來精細(xì)化匹配結(jié)果;最后,通過多次相對定向,刪除誤差較大的同名像點,同時獲得相對定向元素。
本文通過圖1所示的方法對大量無人機影像以及大航片影像進行實驗,自動相對定向失敗的原因經(jīng)分析如下:①影像中存在了大量的重復(fù)性紋理或無紋理,如大面積麥田和水域,使得SIFT 匹配后的正確點對數(shù)量很少;②在圖示的第3 步中,沒能將錯誤匹配有效剔除,致使后續(xù)匹配得到的正確點對數(shù)量很少,導(dǎo)致相對定向失敗。因此,研究一種有效的誤匹配剔除方法對保證自動相對定向的成功率具有重要的意義。
圖1 自動相對定向流程
在計算機視覺中,提高匹配正確率的方法通常是采用RANSAC 原理[4]和基本矩陣估計[5],如最小中值平方法[6],具體計算過程[7]如下:
(1)從匹配點集中任取s 個樣本,每個樣本由p 個匹配點構(gòu)成,計算:
其中,ε 是整個匹配集中含有錯誤匹配比例的估計值;P 是m 個樣本中至少含有一個正確樣本的概率,且必須接近于1。
(2)對樣本J 用8 點法解出一個基本矩陣FJ,J=1,2,…,s。
(3)設(shè)有N 對特征點,對每個FJ從整個點集中得出一組平方殘差,并從中選出一個中值,用MJ表示,即:
(4)從所有MJ中找出最小者,記為MM,其對應(yīng)的基本矩陣為FM。
其中,ri是平方殘差,且Fmi)2,wi為加權(quán)值,權(quán)值為0 的匹配是錯誤匹配,將被去除。
本文結(jié)合最小中值平方法的原理,利用RANSAC的相對定向法剔除誤匹配,其基本思想如下:在輸入的原始匹配點集中,隨機抽取P 個匹配點對,計算相對定向元素和相對定向中誤差;相對定向中誤差的大小能在一定程度反映選取匹配點集的正確性[8],但仍可能陷入局部最優(yōu),同時核線約束不是唯一性約束,因此本文同時利用選取的P 個匹配點對計算仿射變換約束參數(shù),以加強約束力度;為提高效率,本文采用金字塔影像,并在其頂層提取F?rstner 特征,利用仿射變換參數(shù)進行灰度匹配以提取兩幅影像的同名點;在這些同名點中,求取滿足核線約束的同名點,并記錄個數(shù);認(rèn)為最多同名點個數(shù)對應(yīng)的P 個匹配點對和相對定向元素最為可靠,因此以這P 個匹配點對作為指導(dǎo)找出原始匹配點集中正確的匹配點對,接著根據(jù)找出的所有匹配點對計算相對定向元素,獲取相對定向元素的初始值。誤匹配的具體剔除過程如圖2所示。
圖2 相對定向的誤匹配剔除流程圖
本文做了兩組實驗,一組是對低空遙感影像立體像對進行的實驗,一組是其和最小中值平方法的對比實驗。
圖3 SIFT 匹配得到的初始匹配點對
圖4 誤匹配剔除之后的結(jié)果圖
圖5 最終得到的相對定向點
圖3為自動相對定向流程(圖1所示)中第2 步得到的匹配結(jié)果,共126 個匹配點對。圖4是誤匹配剔除之后得到的結(jié)果,得到了108 個匹配點對,從圖中可以看到本文方法有效的剔除了誤匹配,改善了匹配結(jié)果。根據(jù)圖1所示的自動相對定向流程,最終得到的相對定向結(jié)果如圖5所示。
最小中值平方法中基本矩陣的計算只使用了當(dāng)前“最好”的匹配點對[9],丟失了其他可能正確的候選匹配信息,容易陷入局部最優(yōu)。另外,極線幾何約束是一種較弱的約束,滿足極線距離準(zhǔn)則的匹配并不一定符合立體成像的幾何模型,筆者經(jīng)常發(fā)現(xiàn)一些明顯不匹配的點也能很好的滿足極線幾何約束。本文根據(jù)所隨機選取的點對為指導(dǎo)去匹配更多的點對,以匹配點對數(shù)量的多少判定隨機選取點對的可靠性。分別采用最小中值平方法和本文方法各獨立運行100 次,每次從匹配點集中隨機抽取5 000個樣本。如表1所示,在這100 次實驗中,最小中值平方法有13 次不能將錯誤匹配點剔除,本文方法每次均成功將錯誤匹配剔除。這在一定程度上說明了采用本文方法有更好的魯棒性。
表1 最小中值平方法和本文方法的魯棒性比較表
本文提出了一套自動相對定向流程,重點介紹了基于RANSAC 誤匹配剔除的方法,分析了其對保證自動相對定向成功率的意義。為防止在誤匹配剔除過程中相對定向結(jié)果陷入局部最優(yōu),本文采用根據(jù)所隨機選取的點對為指導(dǎo)去匹配更多的點對,以匹配點對數(shù)量的多少判定隨機選取點對的可靠性。對低空遙感影像像對的實驗及與最小中值平方法的對比實驗表明,本文方法能有效地將誤匹配進行剔除,保證了相對定向結(jié)果的準(zhǔn)確性,并在魯棒性方面得到了一定提高。為進一步提高本文方法的魯棒性,將確定性退火方法和RANSAC 算法結(jié)合使用,有效保證相對定向結(jié)果的正確性,是下一步的研究重點。
[1]金為銑,楊先宏,邵鴻潮等.攝影測量學(xué)[M].武漢:武漢大學(xué)出版社,2001.
[2]王琳.高精度、高可靠的無人機影像全自動相對定向及模型連接研究[D].北京:中國測繪科學(xué)研究院,2011.
[3]DAVID G.Lowe.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision.2004,60(2):91 ~110.
[4]張永生,鞏丹超,劉軍等.高分辨率遙感衛(wèi)星應(yīng)用-成像模型、處理算法及應(yīng)用技術(shù)[M].北京:科學(xué)出版社,2004:80 ~121.
[5]FISCHLER M A,BOLLES R C.Random sample consensus:A Paradigm for model fitting with applications to image analysis and automated cartography[J].Communications ACM,1981,24(6):381 ~395.
[6]馬頌德,張正友.計算機視覺-理論與算法基礎(chǔ)[M].北京:科學(xué)出版社,1997.
[7]ZHANG Z Y,DERICHE R,F(xiàn)AUGERAS O,et al.A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry[J].Artificial Intelligence,1995,7(8):87 ~119.
[8]周驥,石教英,趙友兵.圖像特征點匹配的強壯算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2002,14(8):754 ~757.
[9]武漢大學(xué)測繪學(xué)院.誤差理論與測量平差基礎(chǔ)[M].武漢:武漢大學(xué)出版社,2003.
[10]蔡濤,李德華,關(guān)景火.非標(biāo)定圖像的最優(yōu)匹配方法[J].計算機工程與應(yīng)用,2004:3 ~5,229.