陳小衛(wèi),張保明,郭海濤,趙 傳，徐俊峰

1. 信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州 450052； 2. 地理信息工程國家重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054

利用自由形狀線特征的遙感影像分級(jí)匹配方法

陳小衛(wèi)1,2,張保明1,郭海濤1,趙 傳1,2，徐俊峰1,2

1. 信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州 450052； 2. 地理信息工程國家重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054

為較好地解決自由形狀線特征匹配研究中線特征豐富信息的充分利用與有效描述這對(duì)矛盾，提出一種利用分級(jí)匹配策略的遙感影像匹配方法。為保證方法具有較高的匹配精度，從影像中檢測(cè)亞像素邊緣并進(jìn)行有效的跟蹤以得到連續(xù)性較好的自由形狀線特征；再從中提取閉合線特征、線特征交點(diǎn)和角點(diǎn)等較穩(wěn)定的特征作為共軛實(shí)體進(jìn)行粗匹配，在確定各類特征的待選同名特征后，根據(jù)面積、角度等幾何信息以及模型參數(shù)的分布特點(diǎn)逐步剔除誤匹配，進(jìn)而利用同名特征確定精匹配的初始參數(shù)；精匹配時(shí)對(duì)線特征中的亞像素邊緣點(diǎn)加以利用，采用多層次二維迭代最鄰近點(diǎn)(ICP)法依次利用由低到高采樣率的邊緣點(diǎn)進(jìn)行匹配。試驗(yàn)結(jié)果表明，粗匹配選取的特征性能穩(wěn)定，具有較高的匹配正確率和精度，能為精匹配提供較準(zhǔn)確的初始參數(shù)，精匹配能達(dá)到與最小二乘影像匹配相當(dāng)?shù)膩喯袼丶?jí)匹配精度，并且對(duì)具有較小仿射變形的影像也能實(shí)現(xiàn)穩(wěn)定、準(zhǔn)確的匹配。

自由形狀線特征；影像匹配；分級(jí)匹配策略；閉合線特征；線特征角點(diǎn)；線特征交點(diǎn)

作為影像的基本特征，線特征包含了豐富的信息，且比較穩(wěn)定，所以線特征匹配方法相對(duì)于傳統(tǒng)的灰度匹配和點(diǎn)特征匹配[1-3]方法在穩(wěn)定性上有很大的優(yōu)勢(shì)，對(duì)影像間的視角及亮度差異具有更好的穩(wěn)定性[4]，得到了研究者的廣泛關(guān)注。影像中的線特征主要包括直線特征等可用數(shù)學(xué)解析式表達(dá)的特征和自由形狀線特征兩類。因較容易進(jìn)行表達(dá)，前者最早被加以利用，也應(yīng)用得更廣泛，針對(duì)這類特征的匹配可分為單直線匹配[5]、直線組合的匹配[6-7]以及直線與特征點(diǎn)組合的匹配[8]，這些方法在城區(qū)高分辨遙感影像的匹配以及建筑物三維重建等應(yīng)用中發(fā)揮著重要作用。但在自然場(chǎng)景中，線特征更多的表現(xiàn)形式卻是自由形狀的，如海岸線、道路等，這類特征由一系列連續(xù)無規(guī)律的邊緣點(diǎn)組成，難以通過數(shù)學(xué)模型解析表達(dá)，在處理過程中很難被直接利用[9]，所以針對(duì)這類特征的研究也相對(duì)較少。

文獻(xiàn)[10]提出一種經(jīng)典的自由形狀曲線匹配方法——迭代最鄰近點(diǎn)法(iterative closest point,ICP)，匹配過程中所有點(diǎn)均參與匹配，通過搜索最鄰近點(diǎn)確定對(duì)應(yīng)點(diǎn)，能達(dá)到較高的匹配精度，但其對(duì)匹配的初始條件要求較高，計(jì)算量也較大。

目前，對(duì)自由形狀線特征的匹配研究大體可分為兩類：一類是采用描述子對(duì)自由形狀線特征進(jìn)行表達(dá)后匹配，包括曲率尺度空間的方法、鏈碼、Zernike矩[11]以及對(duì)仿射變換具有較好穩(wěn)定性的傅里葉描述子[12]、Helmholtz描述子[13-14]等，這些方法對(duì)圖形間的仿射變形具有一定的穩(wěn)定性，但對(duì)線特征的連續(xù)性要求較高，匹配的穩(wěn)定性很大程度上依賴于線特征的穩(wěn)定性，往往對(duì)邊緣斷裂等問題難以克服，此外，描述子對(duì)一些形狀較復(fù)雜線特征的適應(yīng)性有待提升[14]，且采用描述子進(jìn)行表達(dá)會(huì)使曲線變得平滑從而導(dǎo)致部分曲線偏離原始位置，影響匹配精度；另一類則是提取線特征中的部分信息進(jìn)行匹配，即利用線特征的特征進(jìn)行匹配，如線特征的角點(diǎn)、閉合線的重心等特征[15-16]，這些特征的提取對(duì)成像條件的變化有較好的穩(wěn)定性，但對(duì)特征信息量有很大程度的舍棄，難以保證匹配方法達(dá)到較高的匹配精度。為較好地解決線特征豐富信息的充分利用與對(duì)線特征的有效描述這一對(duì)矛盾，本文提出一種利用分級(jí)匹配策略的基于自由形狀線特征的影像匹配方法。

1 研究方法

本文方法包括自由形狀線特征提取、匹配所用特征提取、粗匹配和精匹配等主要步驟，整體流程如圖1所示?；舅枷胧牵菏紫葘?duì)影像進(jìn)行亞像素邊緣檢測(cè)并對(duì)離散邊緣點(diǎn)進(jìn)行跟蹤、精化，得到連續(xù)性較好的自由形狀線特征；然后分別從中提取用于粗匹配和精匹配的特征；粗匹配時(shí)，將根據(jù)相似性測(cè)度確定的待選同名特征進(jìn)行兩兩組合后，依次基于幾何信息、模型參數(shù)分布剔除誤匹配，進(jìn)而確定精匹配的初始變換參數(shù)；最后采用二維ICP法，依次利用由低到高采樣率的亞像素邊緣點(diǎn)進(jìn)行精匹配。

圖1 自由形狀線特征匹配流程Fig.1 Flowchart of free-form linear features matching

1.1 自由形狀的亞像素線特征提取

自由形狀線特征的提取包括邊緣檢測(cè)和邊緣跟蹤與精化兩個(gè)主要步驟，提取的精度直接影響著最終匹配的精度。近年來，隨著計(jì)算機(jī)視覺技術(shù)在各領(lǐng)域的應(yīng)用不斷深入，亞像素邊緣檢測(cè)受到了研究者們的廣泛關(guān)注[17-18]。為了保證本文方法的匹配精度，本文采用文獻(xiàn)[18]提出的利用極值梯度的亞像素邊緣檢測(cè)方法對(duì)影像中的邊緣進(jìn)行檢測(cè)。該方法對(duì)不同類型的邊緣都能較好地檢測(cè)，具有較好的通用性，并且對(duì)包括角點(diǎn)在內(nèi)的邊緣均有較高的定位精度。

極值梯度包括正梯度和負(fù)梯度兩部分，分別是各像點(diǎn)灰度值增加最大和減少最大的梯度。大小由當(dāng)前像點(diǎn)與其八鄰域像點(diǎn)的灰度差值極值確定，方向?yàn)楫?dāng)前像點(diǎn)指向差值極值所對(duì)應(yīng)的鄰域像點(diǎn)。通過計(jì)算各點(diǎn)的極值梯度，即可得到由局部灰度增加最大和減少最大的兩類像點(diǎn)共同組成的初始邊緣，再根據(jù)初始邊緣的特點(diǎn)，分別利用建立的不同邊緣類型的亞像素定位模型確定邊緣點(diǎn)的精確位置。

邊緣檢測(cè)的結(jié)果是離散的邊緣點(diǎn)，在對(duì)其進(jìn)行利用前還需進(jìn)行有效的跟蹤。通常，自由形狀邊緣的形狀較復(fù)雜且存在相交的情況，加之噪聲等因素使得部分邊緣斷裂、不平滑，而目前大部分的跟蹤算法并未對(duì)這些情況加以充分的討論，使得難以對(duì)邊緣特征進(jìn)行完整有效的提取，一定程度上制約著自由形狀線特征的應(yīng)用。

針對(duì)上述問題，文獻(xiàn)[19]提出一種亞像素邊緣提取方法，在保持邊緣檢測(cè)高定位精度的基礎(chǔ)上，該方法能有效提取連續(xù)性較好且平滑的自由形狀線特征，在此采用該方法對(duì)所檢測(cè)的邊緣點(diǎn)進(jìn)行跟蹤及精化等后處理。為盡可能完整地記錄自由形狀邊緣，根據(jù)邊緣點(diǎn)的實(shí)際分布情況，以邊緣連通塊為單元對(duì)邊緣進(jìn)行跟蹤記錄；再采用一種雙角度長度控制的擴(kuò)展連接法以盡量恢復(fù)邊緣的連續(xù)性，同時(shí)也可避免連接不相關(guān)的邊緣；最后利用基于曲線內(nèi)在表示的平滑算法對(duì)二維的自由形狀線特征進(jìn)行平滑處理。

1.2 粗匹配所用特征的提取

1.2.1 閉合線特征

通過判斷起點(diǎn)和終點(diǎn)相同的線特征即可確定閉合線特征。為了使所選取特征具有更好的穩(wěn)定性，本方法僅將面積大于閾值Ts的閉合線特征用于粗匹配，Ts應(yīng)不小于30像素，并將利用二階和三階中心矩構(gòu)造的可以描述閉合區(qū)域形狀特點(diǎn)的7個(gè)不變矩作為其匹配實(shí)體，這7個(gè)不變矩對(duì)旋轉(zhuǎn)、平移和縮放都具有較好的不變性。

1.2.2 線特征交點(diǎn)

1.1節(jié)中所采用的跟蹤方法，對(duì)線特征進(jìn)行了較完整的提取，通過判斷各邊緣點(diǎn)的記錄次數(shù)是否超過兩次即可確定線特征交點(diǎn)。由于多于3個(gè)線特征分支的線特征交點(diǎn)的提取容易受噪聲的影響，且數(shù)量較少，故僅選擇包含3個(gè)分支且各分支方向較穩(wěn)定的交點(diǎn)用于匹配，并將各分支之間的3個(gè)夾角作為其匹配實(shí)體，最大夾角的平分線所在方向記為主方向。

為了保證線特征交點(diǎn)的匹配實(shí)體具有更好的唯一性，按如下規(guī)則排列3個(gè)夾角：從最大的夾角開始且按順時(shí)針排列。各分支間夾角的順時(shí)針排列可通過各分支的方向向量的順時(shí)針排列來實(shí)現(xiàn)。通過分析可知，起點(diǎn)相同的3個(gè)向量的任意排列只包括順時(shí)針和逆時(shí)針排列兩種，并且交換后兩個(gè)向量的順序即可實(shí)現(xiàn)兩種方式的互換(如圖2所示，圖中數(shù)字表示各分支的排列序號(hào))。因此，在計(jì)算過程中，通過比較各方向向量的橫縱分量判斷其排列方式，若是逆時(shí)針排列則交換后兩個(gè)向量的順序，進(jìn)而可計(jì)算相鄰向量間的夾角，最后從最大夾角開始，按順時(shí)針依次記錄各夾角即可得到交點(diǎn)的匹配實(shí)體。

圖2 3個(gè)方向向量的兩種排列順序示意圖Fig.2 Two arrangement types of three direction vectors

1.2.3 線特征角點(diǎn)

Douglas-Peucker(DP)法是從整體到局部確定曲線的特征點(diǎn)，對(duì)平移、旋轉(zhuǎn)具有不變性，計(jì)算效率高，但其閾值不易確定。閾值較大時(shí)，易造成過度壓縮；反之則對(duì)噪聲引起的突刺較敏感，易得到錯(cuò)誤的特征點(diǎn)。文獻(xiàn)[20]提出的基于絕對(duì)鏈碼和之差的角點(diǎn)提取方法具有較好的信息壓縮能力和抗干擾能力，此處利用該方法對(duì)DP法提取的待選角點(diǎn)進(jìn)行可靠性和準(zhǔn)確性檢驗(yàn)，下面結(jié)合圖3對(duì)基本原理進(jìn)行簡(jiǎn)要介紹。

設(shè)點(diǎn)O是待選角點(diǎn)(即DP法確定的特征點(diǎn))，處理時(shí)同時(shí)考慮點(diǎn)O及其兩側(cè)相鄰的兩個(gè)邊緣點(diǎn)Ai、Bi(i=1,2)：首先判斷點(diǎn)O、點(diǎn)A1、B1的絕對(duì)鏈碼和之差是否大于閾值Tc(Tc取3～4)，若只有點(diǎn)O滿足，則該點(diǎn)為正確的角點(diǎn)；若點(diǎn)A1、B1至少有一點(diǎn)滿足，則比較該點(diǎn)與點(diǎn)O作為角點(diǎn)的可靠性，將可靠性最大的點(diǎn)作為角點(diǎn)；若上述3個(gè)點(diǎn)均不滿足，則進(jìn)一步對(duì)點(diǎn)A2、B2進(jìn)行判斷，當(dāng)至少有一點(diǎn)滿足時(shí)，將其與點(diǎn)O可靠性較大的點(diǎn)作為角點(diǎn)；否則將點(diǎn)O作為虛假角點(diǎn)進(jìn)行剔除。其中，某點(diǎn)作為角點(diǎn)的可靠性根據(jù)式(1)進(jìn)行確定。

圖3 角點(diǎn)檢驗(yàn)的基本原理Fig.3 Basic inspection principle of the LFC

(1)

式中，d1j和d2j分別表示Pj和Qj到直線l1和l2的距離；li(i=1,2)是待選角點(diǎn)(如圖中點(diǎn)O)與其某側(cè)分支上間隔h點(diǎn)的邊緣點(diǎn)(如點(diǎn)A′,B′)之間的連線(如OA′,OB′)；Pj、Qj(j=1,2,…,h)分別為這兩側(cè)分支上的第j個(gè)邊緣點(diǎn)。

為得到分布均勻、數(shù)量適中的角點(diǎn)，僅利用線特征上分支方向穩(wěn)定且與同一線特征上相鄰角點(diǎn)的間隔大于閾值Td的角點(diǎn)，Td應(yīng)不小于10像素。將角點(diǎn)兩側(cè)分支方向向量之間的夾角作為其匹配實(shí)體，并將夾角平分線所在方向記為主方向。

1.3 精匹配所用邊緣點(diǎn)的提取

ICP法被認(rèn)為是基于純粹幾何模型的三維物體匹配算法，可直接對(duì)三維物體無關(guān)表面的數(shù)據(jù)進(jìn)行處理，無需對(duì)物體的特征進(jìn)行假設(shè)和分割，得到了廣泛的應(yīng)用。ICP法在點(diǎn)集精度較高時(shí)能得到較高的匹配精度，但其易受噪聲點(diǎn)的干擾，魯棒性較差，并且當(dāng)點(diǎn)集數(shù)量較大時(shí)效率較低。

此外，點(diǎn)集的采樣率也對(duì)該方法的匹配結(jié)果有影響。如圖4所示，圖4(a)中3個(gè)實(shí)心圓點(diǎn)、5個(gè)圓點(diǎn)分別為左影像中曲線的兩種采樣率所包含的數(shù)據(jù)點(diǎn)，十字叉代表右影像中對(duì)應(yīng)的數(shù)據(jù)點(diǎn)，圖4(b)、4(c)分別為兩種采樣率數(shù)據(jù)點(diǎn)的匹配結(jié)果，這表明在數(shù)據(jù)點(diǎn)具有同等精度的條件下，采樣率越高，越可能得到更準(zhǔn)確的匹配結(jié)果[10]。

基于上述分析，對(duì)1.1節(jié)中提取的自由形狀線特征進(jìn)行下述兩步處理，以提取用于精匹配的邊緣點(diǎn)，需要說明的是，此處對(duì)所有提取的線特征均加以利用，包括閉合的、不閉合單條的以及不閉合存在相交的所有1.1節(jié)中提取到的各類線特征。

(1) 結(jié)合角點(diǎn)進(jìn)行線特征平滑處理，減小噪聲的影響。考慮到地物特別是人工地物的邊緣曲線通常比較光滑，同時(shí)為了保持具有較高精度和較好穩(wěn)定性的角點(diǎn)，在進(jìn)行1.1節(jié)中的線特征平滑處理時(shí)，若其中有1.2節(jié)中提取的角點(diǎn)，則對(duì)這些角點(diǎn)進(jìn)行保持，僅對(duì)各角點(diǎn)之間的邊緣曲線進(jìn)行平滑處理。

(2) 在原始邊緣點(diǎn)(1.1節(jié)中所提線特征中的邊緣點(diǎn))的基礎(chǔ)上分別進(jìn)行降采樣和內(nèi)插處理，建立邊緣點(diǎn)金字塔。降采樣時(shí)每?jī)蓚€(gè)相鄰的邊緣點(diǎn)保留一個(gè)點(diǎn)，并且對(duì)其中的線特征角點(diǎn)也進(jìn)行保留；內(nèi)插處理則是在所有相鄰的兩個(gè)邊緣點(diǎn)中線性內(nèi)插增加一個(gè)點(diǎn)。因此，建立的邊緣點(diǎn)金字塔共3層，頂層為經(jīng)降采樣處理后所保留的邊緣點(diǎn)，第2層為原始邊緣點(diǎn)，底層為原始邊緣點(diǎn)和內(nèi)插增加的點(diǎn)。

圖4 曲線不同采樣率對(duì)匹配結(jié)果的影響Fig.4 Influence of different sampling rate on matching result

1.4 利用多種邊緣特征的粗匹配

1.4.1 確定待選同名特征

對(duì)于閉合線特征，由于其匹配實(shí)體的7個(gè)不變矩之間的數(shù)量級(jí)差異較大，采用如式(2)所示的歸一化相關(guān)算法來度量各閉合線特征之間的相似度

(2)

式中，Mi(·)表示閉合線特征的第i個(gè)不變矩；p·、q·分別代表左、右影像中的閉合線特征，i=1,2，…,7，m1=1,2,…，MCLF，n1=1,2,…,NCLF，MCLF、NCLF分別為左、右影像中閉合線特征數(shù)。

依次計(jì)算兩影像中各閉合線特征之間的相似度，可得矩陣K=(kij)MCLF×NCLF，其中元素kij即為閉合線特征pi和qj之間的相似度K(pi,qj)，根據(jù)式(3)將每行和每列最小且小于閾值Tk的元素對(duì)應(yīng)的閉合線特征作為待選的同名閉合線特征。

(3)

對(duì)于線特征交點(diǎn)、角點(diǎn)，分別利用式(4)、式(5)確定待選的同名特征。

(4)

式中，α·,i、β·,i分別表示左、右影像中線特征交點(diǎn)匹配實(shí)體的第i個(gè)角，i=1,2,3；m2=1,2,…，MLFI；n2=1,2,…，NLFI；MLFI、NLFI分別為左、右影像中線特征交點(diǎn)數(shù)。

(5)

式中，α·、β·分別表示左、右影像中線特征角點(diǎn)的匹配實(shí)體，m3=1,2,…,MLFC；n3=1,2,…，NLFC；MLFC；NLFC分別為左、右影像中線特征角點(diǎn)數(shù)。

為保證方法對(duì)仿射變形的適應(yīng)性及抗噪性，閾值Tk和Ta取值稍大，取值范圍分別為4.2～4.9、10°～20°。

1.4.2 待選同名特征的兩兩組合

在遙感圖像處理中，二維(或三維)的相似變換可近似代替許多二維(或三維)的變換，并因其變換參數(shù)較少，可獨(dú)立求解而得到廣泛應(yīng)用，本文便將二維相似變換作為粗匹配的變換模型。

由于經(jīng)過相似變換的特征之間只存在縮放、旋轉(zhuǎn)和平移，故兩影像中各特征的面積和特征間的距離有相同的縮放比例，特征的主方向和特征之間的連線則應(yīng)有相同角度的旋轉(zhuǎn)。此外，利用兩對(duì)同名特征即可求解一組二維相似變換參數(shù)，根據(jù)兩對(duì)正確同名特征組成的組合(簡(jiǎn)稱“正確組合”)確定的參數(shù)會(huì)比較接近真實(shí)值，即各正確組合所確定的參數(shù)分布相對(duì)集中，而其中至少有一對(duì)待選同名特征不是正確同名特征組成的組合(簡(jiǎn)稱“誤匹配組合”)所確定參數(shù)則會(huì)存在較大的差異。

因此，在確定待選同名特征后，將各類特征分別進(jìn)行兩兩組合，得到若干組待選同名特征組合(簡(jiǎn)稱“待選組合”)，并根據(jù)上述待選組合的特點(diǎn)，對(duì)誤匹配組合進(jìn)行剔除。

1.4.3 剔除誤匹配組合

根據(jù)1.4.2節(jié)中分析的待選組合所具有的特點(diǎn)，剔除誤匹配組合主要包括基于幾何信息和基于模型參數(shù)分布兩個(gè)步驟，流程如圖5所示。

圖5 剔除誤匹配組合流程 Fig.5 Flowchart of elimination false matching combinations

基于幾何信息剔除誤匹配組合的基本原理為：

(1) 對(duì)于閉合線特征，兩影像中待選同名特征的面積比、特征組合之間的距離比應(yīng)保持一致，比值差異大于閾值Tdr的則判定為誤匹配組合。

若兩影像中的閉合線特征分布如圖6所示，設(shè)N1(p2,q1)、N2(p2,q2)、N3(p3,q3)和N4(p4,q4)是根據(jù)相似性測(cè)度確定的4對(duì)待選同名特征，其中N1為誤匹配，將其進(jìn)行兩兩組合得到N1N2、N1N3、N1N4、N2N3、N2N4、N3N4共6種待選組合，依次計(jì)算如式(6)所示的各組合的最大比例差異度量dR(式(6)以組合N1N3為例)，并將dR大于閾值Tdr的組合判定為誤匹配組合進(jìn)行剔除，Tdr取0.08～0.12。

圖6 利用幾何信息剔除誤匹配組合的原理Fig.6 False matching combinations elimination principle based on geometric information

(6)

(2) 對(duì)于特征交點(diǎn)和角點(diǎn)，根據(jù)待選同名特征主方向之間的夾角、特征組合連線之間的夾角一致的原則進(jìn)行判斷，將角度差異較大的判定為誤匹配組合。

下面再根據(jù)變換參數(shù)的分布特點(diǎn)進(jìn)一步剔除誤匹配組合。利用剩余的各待選組合均可確定一組變換參數(shù)，將這些參數(shù)視為高維空間(R4)中的點(diǎn)，進(jìn)行下面兩步處理：

(1) 利用各空間點(diǎn)建立K-D樹，并搜索各點(diǎn)的最鄰近點(diǎn)(即差異最小的變換參數(shù))，剔除與最鄰近點(diǎn)的距離超過閾值Tkd的空間點(diǎn)對(duì)應(yīng)的組合，Tkd取[0.08～0.12,5°～7°,6～10像素,6～10像素]T。

(2) 利用k-means法將剩余點(diǎn)分為兩類，若兩類點(diǎn)的中心的距離小于閾值Tkm， 則認(rèn)為剩余點(diǎn)已相對(duì)集中，根據(jù)剩余的待選組合確定同名特征；否則保留點(diǎn)數(shù)較多的一類繼續(xù)利用k-means法進(jìn)行分類，直至兩類點(diǎn)中心的距離滿足閾值要求或者剩余點(diǎn)少于3，對(duì)于后一種情形，則認(rèn)為未找到同名特征，Tkm取Tkd～2Tkd。

通過分析和試驗(yàn)驗(yàn)證可知，閉合線特征數(shù)量適中、性能穩(wěn)定，為保證效率，粗匹配時(shí)首先僅匹配閉合線特征，當(dāng)有3對(duì)以上的正確同名特征實(shí)現(xiàn)匹配時(shí)，將其作為先驗(yàn)信息確定同名交點(diǎn)和角點(diǎn)；否則再利用上述方法確定同名交點(diǎn)和角點(diǎn)。

1.5 采用多層次二維ICP法的精匹配

精匹配利用式(7)來表達(dá)兩影像間的變換關(guān)系，該模型通常在兩影像間變換模型較復(fù)雜或未知時(shí)選用[21]

(7)

式中，L=[L1L2L3L4L5L6L7L8]T是投影變換參數(shù)；(x1,y1)為左影像中邊緣點(diǎn)的像坐標(biāo)；(x2,y2)為邊緣點(diǎn)(x1,y1)經(jīng)變換后在右影像中最鄰近的邊緣點(diǎn)坐標(biāo)。

在方程兩側(cè)同時(shí)乘以分母，對(duì)其進(jìn)行線性化可得

(8)

因此，利用二維ICP法進(jìn)行迭代計(jì)算時(shí)的誤差方程和法方程分別如式(9)和式(10)所示

V=AL-lP

(9)

L=(ATPA)-1×(ATPl)

(10)

式中，P是權(quán)矩陣，權(quán)值根據(jù)同名點(diǎn)之間的距離確定。

根據(jù)上文分析可知，精匹配時(shí)按從頂層到底層的順序依次對(duì)各層邊緣點(diǎn)進(jìn)行匹配可兼顧匹配的效率和精度，具體流程如圖7所示。

匹配時(shí)上一層邊緣點(diǎn)匹配確定的變換參數(shù)作為下一層邊緣點(diǎn)匹配的初始值，底層確定的變換參數(shù)則為最終確定的變換參數(shù)。各層邊緣點(diǎn)進(jìn)行匹配時(shí)，首先根據(jù)變換參數(shù)將左影像中的邊緣點(diǎn)變換至右影像中，并利用K-D樹搜索各變換點(diǎn)的最鄰近邊緣點(diǎn)，對(duì)應(yīng)點(diǎn)即為同名點(diǎn)；然后利用同名點(diǎn)按上述計(jì)算模型改正變換參數(shù)；最后判斷是否完成該層邊緣點(diǎn)的匹配(變換參數(shù)的改正值小于閾值Tdl)，若是則對(duì)下一層邊緣點(diǎn)進(jìn)行匹配；反之，則按照上述迭代計(jì)算模型繼續(xù)對(duì)變換參數(shù)進(jìn)行改正。

2 試驗(yàn)結(jié)果與分析

2.1 試驗(yàn)1：利用模擬數(shù)據(jù)驗(yàn)證粗匹配的穩(wěn)定性及精度

為驗(yàn)證本文方法提取的用于粗匹配的各類特征的穩(wěn)定性以及粗匹配方法的正確率和精度，設(shè)計(jì)了具有不同旋轉(zhuǎn)角度和縮放系數(shù)的影像間的匹配試驗(yàn)。選取某城區(qū)航空影像的局部區(qū)域(圖8(a))作為基準(zhǔn)影像，大小為339×353像素，利用兩組相似變換參數(shù)(見表2)得到如圖8(b)、8(c)所示的兩幅模擬影像，兩幅影像分別包含較小和較大角度的旋轉(zhuǎn)以及一定程度的縮放。

圖7 精匹配流程Fig.7 Flowchart of accurate matching

圖8 基準(zhǔn)影像和經(jīng)相似變換生成的模擬影像Fig.8 Reference image and simulated images generated by the similarity transformation

利用本文方法分別將兩幅模擬影像與基準(zhǔn)影像進(jìn)行粗匹配試驗(yàn)，根據(jù)前文給出的各閾值的參考取值范圍，各閾值設(shè)置情況如下：Ts=30像素，Tc=3，Td=10像素，Tk=4.5、Ta=15°，Tdr=0.10、Tkd=[0.10,6°,8像素,8像素]T、Tkm=1.5Tkd，Tdl=[0.0010.0010.050.0010.0010.050.0010.001]T，試驗(yàn)2、3所設(shè)參數(shù)相同。提取的各類特征及匹配結(jié)果如表1所示，第1列表示從基準(zhǔn)影像中提取的特征數(shù)， 模擬影像對(duì)應(yīng)的3列數(shù)據(jù)分別為從模擬影像中提取的特征數(shù)(提取)、所提取特征中有同名特征的特征數(shù)(實(shí)際)、粗匹配確定的同名特征數(shù)(匹配)及其中正確的同名特征數(shù)(括號(hào)內(nèi)的數(shù)字)。根據(jù)粗匹配確定的同名特征計(jì)算的相似變換參數(shù)如表2所示。

表1 所提取特征及同名特征統(tǒng)計(jì)結(jié)果

Tab.1 Statistical results of the extracted and matched features

統(tǒng)計(jì)參數(shù)基準(zhǔn)影像模擬影像1模擬影像2提取實(shí)際匹配提取實(shí)際匹配閉合線特征111144(4)1666(6)線特征交點(diǎn)81400(0)1011(1)線特征角點(diǎn)641233333(33)923533(33)

表2 實(shí)際變換參數(shù)和粗匹配確定的變換參數(shù)對(duì)比

Tab.2 Comparison between the actual parameters and the parameters determined by coarse matching

參數(shù)模擬影像1模擬影像2實(shí)際參數(shù)粗匹配結(jié)果實(shí)際參數(shù)粗匹配結(jié)果s 1．2000 1．2004 1．1000 1．1010α/(°)20．000019．9978170．0000170．0108tx/像素180．0000179．9175450．0000450．0876ty/像素30．000029．8674400．0000400．2685

為定量評(píng)價(jià)匹配精度，從基準(zhǔn)影像中選取在行列方向上均間隔10像素的點(diǎn)作為檢查點(diǎn)(共計(jì)1155個(gè))，分別利用實(shí)際變換參數(shù)和匹配確定的變換參數(shù)計(jì)算各檢查點(diǎn)在模擬影像中的理論坐標(biāo)和計(jì)算坐標(biāo)，通過對(duì)檢查點(diǎn)兩種坐標(biāo)的差值進(jìn)行分析從而評(píng)價(jià)匹配精度。這些檢查點(diǎn)均勻分布于整幅影像，利用其可以對(duì)匹配精度進(jìn)行較好的評(píng)價(jià)，兩幅模擬影像與基準(zhǔn)影像的匹配試驗(yàn)中檢查點(diǎn)在列方向(x)、行方向(y)以及整體(xy)誤差的統(tǒng)計(jì)結(jié)果如表3所示。

表3 檢查點(diǎn)誤差的統(tǒng)計(jì)結(jié)果

由表1可知，本文方法從影像中提取的閉合線特征數(shù)量適中，線特征角點(diǎn)最多，這兩類特征對(duì)旋轉(zhuǎn)、縮放變換以及噪聲具有較好的穩(wěn)定性，從變換前后的影像中能提取到適量的同名特征；提取的線特征交點(diǎn)及對(duì)應(yīng)的同名特征均較少，這主要是由于重采樣、噪聲等原因使得線特征提取時(shí)在這些位置較難在各個(gè)分支方向仍然保持較好的連續(xù)性，任意一個(gè)分支未完整提取均會(huì)造成該點(diǎn)不能檢測(cè)為特征性交點(diǎn)。由匹配結(jié)果可知，本文方法對(duì)各類特征的同名特征均能實(shí)現(xiàn)較好的匹配：匹配的準(zhǔn)確率高，漏匹配率低，且沒有誤匹配。由表2和表3可知，粗匹配確定的變換參數(shù)與實(shí)際變換參數(shù)很接近，檢查點(diǎn)在行方向和列方向上的中誤差均較小，整體中誤差小于±1個(gè)像素，這表明本方法的粗匹配即具有較高的匹配精度。

綜上可知，粗匹配所選取的各類特征穩(wěn)定可靠，利用它們進(jìn)行粗匹配切實(shí)可行，粗匹配方法具有較高的準(zhǔn)確率和精度，且能保持較低的誤匹配率和漏匹配率，穩(wěn)定性較好，可為精匹配提供準(zhǔn)確可靠的初始值。

2.2 試驗(yàn)2：利用仿射變換生成的模擬數(shù)據(jù)驗(yàn)證本方法的精度

本試驗(yàn)利用通過仿射變換生成的模擬影像與基準(zhǔn)影像進(jìn)行匹配，并與SIFT[1]、ASIFT[2]、MSER[3]等經(jīng)典點(diǎn)特征匹配方法以及最小二乘影像匹配(least square matching,LSM)的精度進(jìn)行比較，以驗(yàn)證本文方法的精度以及對(duì)仿射變形的適應(yīng)性。

利用如圖9(a)、9(d)所示的兩幅影像進(jìn)行模擬試驗(yàn)：第1幅影像為長江流域某段的天繪一號(hào)全色影像，分辨率為5 m，影像大小為560×750像素，該區(qū)域包括河流、池塘、道路等地物，其中的邊緣特征多為自由形狀；第2幅影像為德黑蘭廣場(chǎng)的QuickBird全色影像，分辨率為0.61 m，影像大小為930×1000像素，該區(qū)域主要包括道路以及不規(guī)則形狀的草坪等地物。模擬影像分別由原始影像根據(jù)表4中的兩組仿射變換參數(shù)變換得到，如圖9(b)、9(e)所示。

表4 生成模擬影像的仿射變換參數(shù)

兩組數(shù)據(jù)的匹配結(jié)果如圖9(c)、9(f)所示，由于精匹配確定的同名點(diǎn)較多，未對(duì)同名點(diǎn)進(jìn)行連線。利用與試驗(yàn)1相同的方法對(duì)各種方法的匹配精度進(jìn)行評(píng)價(jià)，檢查點(diǎn)的中誤差統(tǒng)計(jì)結(jié)果如表5所示。

由試驗(yàn)結(jié)果可知，粗匹配的精度與SIFT、ASIFT等經(jīng)典的點(diǎn)特征匹配方法在一個(gè)數(shù)量級(jí)，可為精匹配提供較準(zhǔn)確的初始值；精匹配時(shí)有大量定位精度較高的亞像素邊緣點(diǎn)參與匹配，匹配精度高，檢查點(diǎn)在行、列方向的誤差以及整體誤差的最大值均小于±0.10像素，整體中誤差優(yōu)于±0.02像素，與LSM精度相當(dāng)(整體中誤差優(yōu)于±0.01像素)，即本文方法可達(dá)到與LSM相當(dāng)?shù)膩喯袼丶?jí)匹配精度。試驗(yàn)影像的覆蓋范圍內(nèi)包括河流、道路等典型的具有自由形狀線特征的地物，由圖9中的匹配結(jié)果可知，各類地物的邊緣點(diǎn)都得到了充分的利用，同時(shí)試驗(yàn)影像涵蓋了米級(jí)和亞米級(jí)的高分辨率衛(wèi)星影像，這些均表明本文方法對(duì)不同場(chǎng)景、不同分辨率的遙感影像具有較好的適應(yīng)性。此外，試驗(yàn)結(jié)果還表明本文方法對(duì)仿射變換也具有一定的適應(yīng)性，當(dāng)影像間存在的仿射變形不嚴(yán)重時(shí)，利用本文方法仍然能實(shí)現(xiàn)高精度的匹配。

表5 各種匹配方法的中誤差

2.3 試驗(yàn)3：遙感立體影像的匹配試驗(yàn)

本試驗(yàn)利用美國加州圣塔芭芭拉分校(UCSB)提供的該校區(qū)的IKONOS影像，該區(qū)域內(nèi)包含建筑物、海域、湖泊等地物類型，影像大小分別為1024×1024像素，1064×1172像素，試驗(yàn)影像和匹配結(jié)果如圖10所示，由圖10(c)可知，建筑物、道路、湖泊等具有不同邊緣形狀特點(diǎn)的地物的邊緣都得到了較充分的利用。

下面對(duì)匹配精度進(jìn)行定量評(píng)價(jià)。理論分析以及試驗(yàn)2的結(jié)果均表明LSM具有很高的匹配精度，可達(dá)±0.10～±0.01像素，甚至更高；此外，由于本文方法與LSM的基本原理不同，兩種方法的精度高低不存在相關(guān)性，所以本文試驗(yàn)中將SIFT+LSM確定的變換參數(shù)視為實(shí)際變換參數(shù)，并用于確定檢查點(diǎn)在待匹配影像中的理論坐標(biāo)，參照前兩組試驗(yàn)的定量評(píng)價(jià)方法對(duì)各種方法的匹配精度進(jìn)行比較，各種方法所確定的同名特征數(shù)及檢查點(diǎn)中誤差統(tǒng)計(jì)結(jié)果如表6所示。

圖9 存在仿射變換關(guān)系的影像間的匹配Fig.9 Matching results between affine deformation image and original image

圖10 IKONOS影像的匹配結(jié)果Fig.10 Matching result between IKONOS satellite images

表6 各種方法確定的同名特征數(shù)及匹配結(jié)果

Tab.6 Conjugate features number and matching precision of different methods

數(shù)據(jù)SIFTASIFTMSER粗匹配精匹配同名特征數(shù)29819052083926852RMSE＿x(像素)0．350．140．080．120．02RMSE＿y(像素)0．520．440．020．180．01RMSE＿xy(像素)0．620．460．080．220．02

從圖10和表6可知，本方法對(duì)只有部分重疊的高分辨率航天影像也能實(shí)現(xiàn)較好的匹配，粗匹配能達(dá)到與SIFT、ASIFT、MSER等經(jīng)典的點(diǎn)特征匹配方法相當(dāng)?shù)木?，精匹配與LSM的精度相當(dāng)，與試驗(yàn)2的結(jié)果一致。因此，本文試驗(yàn)進(jìn)一步驗(yàn)證了本文方法的匹配特征性能穩(wěn)定，匹配策略切實(shí)可行，具有較高的匹配正確率和精度。

3 結(jié) 語

在自由形狀線特征的匹配研究中，特征中豐富信息的充分利用與有效描述是一對(duì)矛盾，這在一定程度上制約著這類方法的發(fā)展。此外，正是由于僅有線特征被利用，這類方法對(duì)線特征中的誤差更敏感，最終匹配的可靠性和精度很大程度上依賴于線特征的可靠性和精度。為較好地解決上述問題，本文提出一種利用分級(jí)匹配策略的基于自由形狀線特征的遙感影像匹配方法。試驗(yàn)結(jié)果表明，本文方法選取的用于粗匹配的特征性能穩(wěn)定可靠，粗匹配具有較高的正確率和精度，能為精匹配提供較好的初值，精匹配能達(dá)到與最小二乘影像匹配相當(dāng)?shù)膩喯袼丶?jí)精度。此外，本方法對(duì)較小的仿射變形也具有較好的穩(wěn)定性。需要說明的是，盡管本方法涉及較多的閾值參數(shù)，但都具有較廣的適用性，文中針對(duì)不同分辨率、不同場(chǎng)景的航空航天遙感影像的幾組試驗(yàn)都采用同一組閾值取值，均能得到較穩(wěn)定、準(zhǔn)確的匹配結(jié)果，因此，參數(shù)較多并不影響本方法的自動(dòng)化水平。后續(xù)研究中，一方面提高線特征提取方法抗噪能力等方面的性能，以得到連續(xù)性更好的自由形狀線特征；另一方面則試圖對(duì)自由形狀線特征中具有較好仿射不變性的特征進(jìn)行研究，以進(jìn)一步提高匹配方法的抗仿射能力。

[1] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[2] MOREL J M, YU Guoshen. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[3] MATAS J, CHUM O, URBAN M, et al. Robust Wide-baseline Stereo from Maximally Stable Extremal Regions[J]. Image and Vision Computing, 2004, 22(10): 761-767.

[4] VASSILAKI D I, IOANNIDIS C C, STAMOS A A. Multitemporal Data Registration through Global Matching of Networks of Free-form Curves[C]∥FIG Working Week 2009: Surveyors Key Role in Accelerated Development. Eilat, Israel: FIG, 2009: TS 6B 1-18.

[5] 王競(jìng)雪, 宋偉東, 王偉璽. 同名點(diǎn)及高程平面約束的航空影像直線匹配算法[J]. 測(cè)繪學(xué)報(bào), 2016, 45(1): 87-95. DOI: 10.11947/j.AGCS.2016.20140527. WANG Jingxue, SONG Weidong, WANG Weixi. Line Matching Algorithm for Aerial Image Based on Corresponding Points and Z-plane Constraints[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(1): 87-95. DOI: 10.11947/j.AGCS.2016.20140527.

[6] KIM H, LEE S.Simultaneous Line Matching and Epipolar Geometry Estimation Based on the Intersection Context of Coplanar Line Pairs[J]. Pattern Recognition Letters, 2012, 33(10): 1349-1363.

[7] ZHANG Li.Automatic Digital Surface Model (DSM) Generation from Linear Array Images[D]. Zurich, Switzerland: Institute of Geodesy and Photogrammetry, Swiss Federal Institute of Technology, ETH, 2005.

[8] SAEEDI P, MAO M. Two-edge-corner Image Features for Registration of Geospatial Images with Large View Variations[J]. International Journal of Geosciences, 2014, 5(11): 1324-1344.

[9] VASSILAKI D I, IOANNIDIS C C, STAMOS A A. Automatic ICP-based Global Matching of Free-form Linear Features[J]. The Photogrammetric Record, 2012, 27(139): 311-329.

[10] ZHANG Zhenyou.Iterative Point Matching for Registration of Free-form Curves and Surfaces[J]. International Journal of Computer Vision, 1994, 13(2): 119-152.

[11] CHEN Zen, SUN Shukuo. A Zernike Moment Phase-based Descriptor for Local Image Representation and Matching[J]. IEEE Transactions on Image Processing, 2010, 19(1): 205-219.

[12] EKOMBO P L E, ENNAHNAHI N, OUMSIS M, et al. Application of Affine Invariant Fourier Descriptor to Shape-based Image Retrieval[J]. International Journal of Computer Science and Network Security, 2009, 9(7): 240-247.

[13] ZULIANI M, BERTELLI L, KENNEY C S, et al. Drums, Curve Descriptors and Affine Invariant Region Matching[J]. Image and Vision Computing, 2008, 26(3): 347-360.

[14] 張桂梅, 馬珂, 儲(chǔ)珺. 基于薄膜振動(dòng)模型的曲線匹配方法[J]. 電子學(xué)報(bào), 2013, 41(10): 1917-1925. ZHANG Guimei, MA Ke, CHU Jun. A New Curve Matching Method Based on Membrane Vibration Model[J]. Acta Electronica Sinica, 2013, 41(10): 1917-1925.

[15] NG E S, KINGSBURY N G. Matching of Interest Point Groups with Pairwise Spatial Constraints[C]∥Proceedings of the 17th IEEE International Conference on Image Processing. Hong Kong: IEEE, 2010: 2693-2696.

[16] WU Bo, ZHANG Yunsheng, ZHU Qing. Integrated Point and Edge Matching on Poor Textural Images Constrained by Self-adaptive Triangulations[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2012, 68: 40-55.

[17] DA Feipeng,ZHANG Hu. Sub-pixel Edge Detection Based on an Improved Moment[J]. Image and Vision Computing, 2010, 28(12): 1645-1658.

[18] 陳小衛(wèi), 徐朝輝, 郭海濤, 等. 利用極值梯度的通用亞像素邊緣檢測(cè)方法[J]. 測(cè)繪學(xué)報(bào), 2014, 43(5): 500-507. DOI: 10.13485/j.cnki.11-2089.2014.0073. CHEN Xiaowei, XU Zhaohui, GUO Haitao, et al. Universal Sub-pixel Edge Detection Algorithm Based on Extremal Gradient[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(5): 500-507. DOI: 10.13485/j.cnki.11-2089.2014.0073.

[19] 陳小衛(wèi), 張保明, 郭海濤, 等. 一種亞像素邊緣提取方法[J]. 測(cè)繪科學(xué)技術(shù)學(xué)報(bào), 2014, 31(6): 624-629. CHEN Xiaowei, ZHANG Baoming, GUO Haitao, et al. An Edge Curve Extraction Method Based on Sub-pixel Edge[J]. Journal of Geomatics Science and Technology, 2014, 31(6): 624-629.

[20] 李富裕, 李言俊, 張科. 鏈碼技術(shù)在景象圖像特征提取中的應(yīng)用[J]. 中國圖象圖形學(xué)報(bào), 2008, 13(1): 114-118. LI Fuyu, LI Yanjun, ZHANG Ke. The Use of the Chain-code Technique in Extracting Feature Point in Scene Image[J]. Journal of Image and Graphics, 2008, 13(1): 114-118.

[21] 季順平, 袁修孝. 基于RFM的高分辨率衛(wèi)星遙感影像自動(dòng)匹配研究[J]. 測(cè)繪學(xué)報(bào), 2010, 39(6): 592-598. JI Shunping, YUAN Xiuxiao. Automatic Matching of High Resolution Satellite Images Based on RFM[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(6): 592-598.

(責(zé)任編輯：宋啟凡)

Hierarchical Remote Sensing Image Matching Method Based on Free-form Linear Features

CHEN Xiaowei1,2,ZHANG Baoming1,GUO Haitao1,ZHAO Chuan1,2,XU Junfeng1,2

1. Institute of Surveying and Mapping, Information Engineering University, Zhengzhou 450052, China; 2. State Key Laboratory of Geo-information Engineering, Xi’an 710054, China

A remote sensing image matching method using the hierarchical matching strategy is proposed, with the purpose of resolving the conflict between the full use and effective description of the rich information of free-form linear feature (FFLF) in the study of FFLF matching. To ensure high matching precision, continuous FFLFs are extracted based on sub-pixel edge detection and tracing method. In the coarse matching process, closed linear features (CLF), linear feature intersection (LFI) and corner (LFC) were selected as conjugated entities. After determining candidate features, the false matching was gradually eliminated based on area, angle and other geometry information as well as the distribution characteristics of the model parameters determined by feature combinations, finally the initial value of accurate matching was determined by the conjugate features. In the accurate matching process, based on multi-level two-dimensional iterative closest point (ICP) method, sub-pixel edge points with the sampling rate from low to high were orderly used for matching. Experimental results show that the features selected for coarse matching have stable performance. Coarse matching is of high accuracy and precision and can provide high precision initial matching parameters for accurate matching. Accurate matching can reach sub-pixel level precision equal to the least square matching (LSM) and with good adaptability to small image affine transformation.

free-form linear feature (FFLF); image matching； hierarchical matching strategy; closed linear feature (CLF); linear feature corner (LFC); linear feature intersection (LFI)

The National Natural Science Foundation of China (No. 41601507); The Open Research Foundation of State Key Laboratory of Geo-information Engineering (No. SKLGIE2015-M-3-3)

CHEN Xiaowei (1989—), male, PhD candidate, majors in photogrammetry without GCPs and image matching based on linear features.

陳小衛(wèi),張保明,郭海濤,等.利用自由形狀線特征的遙感影像分級(jí)匹配方法[J].測(cè)繪學(xué)報(bào)，2017,46(2)：208-217.

10.11947/j.AGCS.2017.20160282. CHEN Xiaowei,ZHANG Baoming,GUO Haitao,et al.Hierarchical Remote Sensing Image Matching Method Based on Free-form Linear Features[J]. Acta Geodaetica et Cartographica Sinica,2017,46(2):208-217. DOI:10.11947/j.AGCS.2017.20160282.

P237

A

1001-1595(2017)02-0208-10

國家自然科學(xué)基金(41601507)；地理信息工程國家重點(diǎn)實(shí)驗(yàn)室開放基金(SKLGIE2015-M-3-3)

2016-06-12

陳小衛(wèi)(1989—)，男，博士生，研究方向?yàn)樾l(wèi)星影像無控定位、影像線特征匹配。

E-mail： chenxw_2007@aliyun.com

修回日期： 2016-12-30