謝勛偉

(中國西南電子技術(shù)研究所,成都 610036)

0 引 言

圖像匹配實質(zhì)是在具有一定重疊的影像間提取感興趣共有特征的過程,是實現(xiàn)光束法平差、影像拼接與融合等應(yīng)用的前提。受傳感器成像機制、視角、時間及地物變化等影響,遙感影像間可能存在幾何和輻射差異,為匹配算法帶來了巨大挑戰(zhàn)。目前,多模態(tài)圖像匹配已成為研究的熱點之一。

圖像匹配方法主要分為區(qū)域匹配方法和特征匹配方法。區(qū)域匹配方法以局部圖像信息為模板,遍歷搜索窗口,計算每個位置的相似性度量,以某種測度作為特征對應(yīng)的準則。特征匹配方法先提取顯著的結(jié)構(gòu)特征,再進行特征描述,最后通過描述子的距離衡量特征對應(yīng)關(guān)系。它們的共性特點是在特征點提取或描述階段采用了梯度信息,而多模態(tài)圖像由于成像機制不同,圖像間灰度存在顯著的非線性差異,必然導(dǎo)致構(gòu)造的特征描述符間也存在很大差異,由此造成其描述子的辨識能力較弱,產(chǎn)生大量錯誤匹配。

學(xué)者們研究發(fā)現(xiàn),多模態(tài)圖像雖然灰度差異較大,但圖像結(jié)構(gòu)細節(jié)信息具有高度相似性,可用于設(shè)計特征匹配。如Kovesi[1]提出了一種與圖像強度無關(guān)的特征度量——相位一致性(Phase Congruency,PC),它對圖像光照和對比度變化具有不變性,從而直接在PC圖上提取角點和邊緣具有明顯優(yōu)勢。但PC圖存在一定的局限:一是PC圖大部分特征值為零,不利于特征描述;二是PC圖包含強響應(yīng)的孤立點,容易被噪聲干擾,特征描述不夠精確。李加元等人[2]提出的輻射不變特征變換方法(Radiation Invariant Feature Transform,RIFT)通過Log-Gabor[3]循環(huán)卷積序列構(gòu)造多個最大指數(shù)圖并以此構(gòu)造描述子來獲得旋轉(zhuǎn)不變性,其實驗顯示該方法對多模態(tài)圖像匹配的適應(yīng)性大幅提高,但通過本文實驗發(fā)現(xiàn),該方法雖可以提高匹配點數(shù)量,但同時帶來大量誤匹配,其原因可能是最大指數(shù)圖忽略了特征點局部鄰域像素的空間結(jié)構(gòu),導(dǎo)致描述子的辨識能力有所下降。此外,在使用結(jié)構(gòu)相似性進行多模態(tài)圖像匹配領(lǐng)域,文獻[4]采用圖像的方向梯度構(gòu)造了一種像素級的特征表達,在頻率域采用三維快速傅里葉變換定義結(jié)構(gòu)相似性測度以提升計算效率,可一定程度上適應(yīng)輻射畸變,但它需要比較精確的初始匹配結(jié)果,適合在多模圖像精匹配階段使用。

近年來深度學(xué)習(xí)方法也逐漸引入到多模態(tài)醫(yī)學(xué)圖像匹配領(lǐng)域[5],但還未廣泛應(yīng)用到多模態(tài)遙感影像匹配領(lǐng)域[6]。受限于大規(guī)模遙感圖像數(shù)據(jù)標注成本,采用深度學(xué)習(xí)方法完全取代人工描述子方法還不大現(xiàn)實,且迄今為止還未有不同模態(tài)圖像間的深度網(wǎng)絡(luò)訓(xùn)練模型高效遷移的成功范例。因此,人工描述子方法還有很大的潛力可挖,這也是本文的核心目的。

本文的基本思路是借鑒PC原理提取圖像間的相似結(jié)構(gòu)特征,利用結(jié)構(gòu)特征構(gòu)造描述子。為了增強圖像的結(jié)構(gòu)信息,克服PC圖的局限,本文通過構(gòu)造累積結(jié)構(gòu)特征圖(Cumulative Structural Feature,CSF)提升多模態(tài)圖像間結(jié)構(gòu)特征的相似性,并用其設(shè)計特征描述子。實驗結(jié)果顯示,本文方法可提高多模態(tài)遙感圖像匹配的魯棒性。

1 累積結(jié)構(gòu)特征匹配方法

為了便于描述,將本文提出的特征匹配方法稱為CSF方法,其實現(xiàn)流程如圖1所示。

圖1 CSF匹配流程圖

1.1 多尺度多方向Log-Gabor奇對稱濾波

二維Log-Gabor濾波器與人類視覺系統(tǒng)的度量一致,適于進行特征提取,可表示為[3]

式中:(ρ,θ)表示極坐標;s和o表示Log-Gabor的尺度和方向;ρs和θs,o表示Log-Gabor的中心頻率;σρ和σθ表示Log-Gabor在ρ和θ方向的帶寬。

通過逆傅里葉變換將Log-Gabor濾波轉(zhuǎn)換到空間域,得到二維Log-Gabor濾波表示:

式中:(x,y)表示空間域坐標;和分別表示Log-Gabor的偶對稱濾波器和奇對稱濾波器。

1.2 累積結(jié)構(gòu)特征圖構(gòu)造和邊緣特征點提取

式中:Es,o(x,y)和Os,o(x,y)分別為Log-Gabor偶對稱濾波器和奇對稱濾波器的濾波結(jié)果。

通過多尺度多方向的Log-Gabor濾波結(jié)果,并考慮噪聲補償,可得PC模型:

式中:Wo(x,y)為o方向的頻率擴展權(quán)重;As,o(x,y)=表示圖像幅值;ΔΦs,o(x,y)為相位偏差函數(shù);T為噪聲補償;ε是一個極小的常數(shù),防止分母為0。

PC圖描述了圖像的特征顯著性,主要包含圖像邊緣結(jié)構(gòu)和強響應(yīng)角點,但其易受噪聲干擾,因此,用PC圖構(gòu)造的特征描述子通常不大精確,辨識能力有限。有研究表明[7-8],Log-Gabor奇對稱濾波器的濾波結(jié)果主要為圖像上重復(fù)性更高的邊緣,更適于不同模態(tài)圖像的特征提取與匹配。而為了獲得更加豐富的邊緣結(jié)構(gòu)特征,本文將多個尺度和方向的Log-Gabor奇對稱濾波器的濾波結(jié)果進行信號平方和累加,以獲得累積結(jié)構(gòu)特征圖:

為了消除CSF特征值絕對量的影響,將式(5)進行歸一化,可得到最后的累積結(jié)構(gòu)特征圖模型:

CSF是一幅圖像,其像素值表征了邊緣結(jié)構(gòu)的特征顯著性。后續(xù)實驗定性結(jié)果顯示CSF圖在細節(jié)和紋理上比PC圖更豐富,非零元素大大減少,可有效克服PC圖易受噪聲干擾的問題,理論上更適于多模態(tài)圖像的特征描述。

文獻[9-10] 均依賴圖像梯度提取特征點,在存在顯著非線性輻射差異的圖像上很難獲得大量重復(fù)的特征點,不利于后續(xù)的特征匹配。Kovesi[11]通過對PC圖進行協(xié)方差分析,分別在最大分量圖和最小分量圖上提取邊緣點和角點。但最大分量圖受Log-Gabor偶對稱濾波結(jié)果影響,會潛在影響特征點的重復(fù)性。而本文在設(shè)計特征匹配方法時只考慮邊緣結(jié)構(gòu),因為其對噪聲點的敏感性更小。因此,后續(xù)實驗中直接在只包含邊緣結(jié)構(gòu)的CSF圖上采用FAST[12]方法進行特征點提取。

1.3 方向特征圖構(gòu)造

Kovesi[11]的模型中PC圖的最小分量對應(yīng)的軸即為特征點的方向,但該方向信息既有邊緣結(jié)構(gòu)的貢獻,也有角點的貢獻,后者中可能混有強響應(yīng)的噪聲,從而導(dǎo)致方向統(tǒng)計不夠精確。而Log-Gabor奇對稱濾波結(jié)果主要包含邊緣結(jié)構(gòu)特征,易于表達特征變化最顯著的方向,從而表征特征的方向信息。通過多個尺度和方向的Log-Gabor奇對稱濾波結(jié)果在水平和垂直方向的分量可計算CSF特征值的方向信息,計算方式如下:

式中:ψ(x,y)的范圍為[0,2π),ψ也是一幅圖像,稱為方向特征圖。

1.4 特征描述符構(gòu)造和特征向量匹配

結(jié)合梯度方向直方圖的概念,在以邊緣特征點為中心的鄰域窗口內(nèi),利用高斯核函數(shù)對CSF特征值大小進行加權(quán),計算CSF特征方向直方圖,以直方圖的峰值方向作為該特征點的主方向。CSF特征方向直方圖的范圍是0°～360°,每隔10°分為一柱。將邊緣特征點局部鄰域的坐標軸旋轉(zhuǎn)到其主方向上,然后將鄰域劃分為N×N的圖像塊,每個圖像塊分為P個方向,從而形成局部CSF特征描述結(jié)構(gòu)。對每個圖像塊內(nèi)的CSF特征值進行方向直方圖統(tǒng)計,再將所有直方圖組合起來,形成N×N×P維的CSF特征描述向量。本文在后續(xù)實驗中采用經(jīng)驗值(鄰域半徑取48,N取8,P取9),而在實際的工程應(yīng)用中可根據(jù)遙感影像的分辨率或地物的豐富程度調(diào)整相應(yīng)參數(shù)。

在特征匹配階段,以往文獻中通常采用最近-次近距離比閾值作為匹配判斷準則,降低該閾值可增加匹配點正確率,但匹配點數(shù)量也會下降[13]。而該閾值設(shè)置往往依賴于經(jīng)驗或數(shù)據(jù),如文獻[13]和文獻[14]中該閾值分別設(shè)置為0.8和0.6。為了避免閾值設(shè)置且盡可能保留更多正確的匹配點,本文采用最近距離準則和雙向匹配策略進行特征匹配,獲得一一對應(yīng)的初始匹配點。

2 實驗與分析

2.1 實驗數(shù)據(jù)

本文選擇深度圖與可見光、紅外與可見光、SAR與可見光、Google Map與可見光、光學(xué)-光學(xué)、夜光-白天等6種多模態(tài)遙感圖像匹配場景,每個場景3組圖像,共計18組數(shù)據(jù)進行實驗,驗證CSF方法的表現(xiàn)性能。如圖2所示,左邊是參考影像,右邊是待匹配影像;每組圖像中,每種場景選擇一組圖像顯示。數(shù)據(jù)中主要存在微量的旋轉(zhuǎn)和平移且無明顯的尺度差異,但光譜差異大、非線性輻射差異明顯。其中前三組圖像比后三組圖像更難匹配,因為其圖像對之間的非線性輻射差異更加明顯,對描述子的辨識能力要求也更高。

圖2 部分實驗數(shù)據(jù)

2.2 評估指標和實驗細節(jié)

將CSF方 法 與SIFT[13]、SAR-SIFT[15]、LHOPC[10]和RIFT[2]進行對比,以成功匹配數(shù)(Success Number,SN)、匹配正確點數(shù)目(Number of Correct Number,NCM)、匹配正確率(Ratio of Correct Number,RCM)和運行時間作為評估指標。SIFT和SAR-SIFT選擇文獻中的默認參數(shù)運行。為了盡可能公平比較CSF、LHOPC和RIFT的表現(xiàn)性能,三者均在CSF圖上提取不超過2 500個特征點,以保證特征點輸入相同;同時主方向和描述符的計算方式及參數(shù)均相同,以保證三者的性能不受描述符局部區(qū)域大小和構(gòu)造方式的影響,從而評估描述子的辨識能力。所有算法采用Matlab 2014a編程,運行環(huán)境為Inter(R) Core(TM) i7-6700HQ CPU@2.6 GHz和8 GB內(nèi)存。

實驗評估階段,在原始圖像上人工選擇一定數(shù)量的控制點,以單應(yīng)矩陣模型為約束,采用RANSAC方法[16]剔除粗差,保留模型殘差小于3個像素的匹配點,并采用最小二乘對模型進行重估計,產(chǎn)生單應(yīng)性模型真值。以最終匹配點坐標和模型真值計算同名點殘差,將殘差小于3個像素的匹配點視為正確點;若正確點個數(shù)小于4,則視為匹配失敗。

2.3 非線性輻射差異匹配實驗

上述五種方法的SN、平均NCM和平均NCR對比如表1所示,NCM運行時間對比如表2所示。表1中“F”表示該場景下三組數(shù)據(jù)均匹配失敗,而匹配失敗的案例不參與NCM和RCM計算。

表1 五種算法的成功匹配數(shù)、平均NCM和RCM對比

表2 五種算法的平均運行時間

由表1可知,SIFT有7對圖像匹配失敗,成功率為61%,且前三種場景的匹配成功率低于后三種場景,說明SIFT對于少量的非線性輻射差異也具有一定的抗性,但對存在顯著非線性輻射差異的圖像中很難提取到高度相似的描述子,容易造成大量誤匹配。SAR-SIFT僅在兩對圖像上匹配成功,成功率僅為11%,且其匹配點數(shù)和正確率均極低,說明SAR-SIFT改進的梯度計算方式仍然不能保證提供穩(wěn)定的特征顯著性表達,以此計算的特征描述符也不夠穩(wěn)健,因此對于存在顯著強度和對比度差異的場景適應(yīng)性能很差。而基于結(jié)構(gòu)信息設(shè)計且原理基本相似的三種描述子LHOPC、RIFT和CSF在6種場景中的匹配成功率分別為94%、100%和100%,間接說明采用圖像結(jié)構(gòu)的顯著性特征來進行多模態(tài)圖像匹配比直接采用梯度信息更有優(yōu)勢。前三種場景中,RIFT的NCM要明顯優(yōu)于LHOPC,說明RIFT比LHOPC具有更強的正確匹配召回性能;但RIFT的平均NCR要低于LHOPC,說明RIFT匹配結(jié)果中混合大量的誤匹配,其描述子的辨識能力反而不如LHOPC。而本文提出的CSF方法在平均NCM和NCR上均要優(yōu)于LHOPC和RIFT,說明本文采用的累積結(jié)構(gòu)特征圖設(shè)計描述子要優(yōu)于PC圖,同時累積結(jié)構(gòu)特征圖也克服了最大指數(shù)圖辨識能力不足的局限。

由表2可知,平均運行時間上,CSF方法要優(yōu)于SIFT、SAR-SIFT和RIFT,但與LHOPC的運行時間相當。其原因是SIFT和SAR-SIFT需要構(gòu)造尺度空間,而RIFT需要構(gòu)造循環(huán)描述子以克服最大指數(shù)圖受構(gòu)造順序影響的缺陷。CSF方法理論上具有LHOPC一致的計算復(fù)雜度,其時間消耗均主要集中在多個尺度和方向的結(jié)構(gòu)信息提取及描述子計算兩個環(huán)節(jié),在實際應(yīng)用中可C++編程結(jié)合并行加速技術(shù)以提高計算效率。

為了定性分析CSF和LHOPC性能差異的本質(zhì)原因,圖3給出了圖2(c)中SAR和可見光圖像的PC圖和CSF圖。直觀上可以看出,CSF圖上主要為邊緣結(jié)構(gòu),而PC圖上包含邊緣結(jié)構(gòu)和孤立點(含噪聲),而孤立點更容易造成同名點描述子的巨大差異,降低描述子的辨識能力;CSF圖上非零元素明顯多于PC圖,用其構(gòu)造描述子也更精確。

圖3 圖2(c)中的PC圖和CSF圖對比

圖4為本文方法的匹配結(jié)果,可見匹配點分布比較均勻,可用于后續(xù)圖像拼接、鑲嵌等常規(guī)遙感圖像數(shù)據(jù)處理任務(wù)。

圖4 本文方法對于圖2數(shù)據(jù)的匹配結(jié)果

3 結(jié)束語

針對相位一致性模型在具有非線性輻射差異的多模態(tài)遙感影像特征匹配中非零信息少且易受噪聲干擾而導(dǎo)致特征描述能力有限的問題,本文提出了一種累積結(jié)構(gòu)特征圖構(gòu)造和特征描述子建立的新方法。相比PC圖,累積結(jié)構(gòu)特征圖所含非零信息明顯增多,提高了多模態(tài)圖像的結(jié)構(gòu)相似性,直接用于特征提取和描述可有助于獲得高度重復(fù)的特征對應(yīng),增強匹配成功性。實驗結(jié)果表明,相比SIFT、SAR-SIFT、基于PC圖的LHOPC和RIFT,本文方法在匹配成功率、平均正確匹配數(shù)目和正確率上均有明顯的提升,說明了本文方法的有效性。

本文方法暫無法適應(yīng)重復(fù)紋理或無紋理結(jié)構(gòu),對于弱紋理結(jié)構(gòu),可通過邊緣增強技術(shù)提高其成功率。在實際應(yīng)用中,特征匹配階段可采用最近一次近距離閾值比準則提高匹配正確率。筆者通過前期實驗,該閾值設(shè)置為0.95可大幅剔除誤匹配,提高初始匹配正確率,供讀者參考。后續(xù)研究中可將高精度的特征檢測子與本文的描述子相結(jié)合,同時擴展對大尺度差異的適應(yīng)性。