姚國標,黃鵬飛,龔健雅,孟 飛,張 進

1. 山東建筑大學測繪地理信息學院,山東 濟南 250100; 2. 武漢大學遙感信息工程學院,湖北 武漢 430079

近年來,隨著衛(wèi)星多角度遙感、無人機傾斜航攝及貼近攝影測量等新型測繪技術的興起,與之對應的影像拼接技術在算法的自動化和穩(wěn)定性方面亟須突破[1-4]。影像拼接是將兩幅或多幅具有一定重疊度的影像序列融合成一幅全景圖的技術[5]。現階段,已有的影像拼接算法難以對大視角變化的弱紋理影像實現全自動高精度拼接,主要原因是:①對大視角變化的弱紋理區(qū)域難以提取穩(wěn)定和可靠的連接點;②對存在地形起伏或視差突變的影像難以創(chuàng)建顧及全局和局部優(yōu)化的配準模型。

特征點匹配是影像拼接的基礎[6],目前代表性匹配算法主要分為基于手動設計(handcrafted)的方法和基于深度學習的方法。在基于手動設計的匹配算法中,自尺度不變特征變換(scale-invariant feature transform,SIFT)算法[7]發(fā)布以來,相繼涌現出許多經典特征匹配算法。如通過集成加速分段檢測策略[8]與二進制獨立基元算法[9],文獻[10]提出了ORB(oriented fast and rotated brief)算法,該方法運行效率較高,但不具備尺度不變性。文獻[11]是在尺度不變SIFT算法的基礎上,研究了ASIFT(Affine-SIFT)算法對影像的仿射變形的適應性,但該方法在面向弱紋理區(qū)域時容易出現誤匹配。文獻[12]針對多源遙感影像的亮度畸變,提出集成角度和邊緣方向分布的直方圖描述符。另一類,基于深度學習的影像匹配方法[13],如L2-Net[14]通過訓練孿生全卷積網絡模型來拉近匹配描述符間的距離,從而獲得描述符模型。在此基礎上,HardNet[15]將非匹配描述符納入模型訓練,即通過增加非匹配描述符間的距離,來提升描述符的區(qū)分度。文獻[16]在HardNet基礎上,提出AffNet仿射不變特征檢測模型,可在視角變化的立體像對間匹配出較多的同名特征,但其難以適用于紋理匱乏的視角變化區(qū)域。文獻[17]在AffNet的基礎上,通過自監(jiān)督學習來獲取特征的仿射形狀和方向,并擴展了多層次匹配項查找網絡,提升了對不同紋理畸變的適應性。為此,ContextDesc[18]在常規(guī)卷積神經網絡(convolutional neural network,CNN)基礎上,提出引入幾何和視覺上下文編碼結構。文獻[19]提出一種可自動標注訓練數據的自監(jiān)督特征檢測網絡模型,提升了模型的泛化能力。SuperGlue[20]引入注意力機制和圖神經網絡,顯著提升了模型的匹配性能。受SuperGlue啟發(fā),文獻[21]集成Transformer和CNN結構,構建了局部特征變換LoFTR[22]模型,該模型能夠顯著增強對弱紋理區(qū)域的特征識別及匹配。上述的手動設計方法和深度學習算法均難以兼顧影像的弱紋理和大視角變化情況,但為解決寬基線弱紋理立體影像匹配問題提供了參考。

影像配準作為影像拼接的核心技術,其配準精度將直接決定影像的拼接質量[23]。文獻[24]提出的AutoStitch算法,為后續(xù)研究影像自動化拼接奠定算法基礎。在此基礎上,文獻[25]提出雙單應性變換(dual-homography warping,DHW)算法,利用影像前景與背景間各自的映射關系實現影像配準。文獻[26]在DHW算法基礎上,利用直接線性變換(direct linear transform,DLT)算法計算各網格點的局部單應矩陣,以此實現影像的精確配準。文獻[27]為保留待拼接影像的邊緣信息,提出在變換過程中施加場景形狀約束。文獻[28]在對重疊區(qū)域進行單應變換的同時,考慮到非重疊區(qū)的特征影響,提出了自適應自然圖像拼接算法(adaptive as-natural-as-possible,AANAP),但該方法不適用于大視差變化影像。文獻[29]利用薄板樣條(thin plate spline,TPS)[30-31]函數模擬影像間的視差變化,可適用于帶有一定程度視差突變的高分影像的配準。文獻[32]基于三角平面理論提出了三角面轉換(triangular facet transformation,TFT)算法,該方法引入球面和平面的三角剖分策略實現自適應的局部配準。文獻[33]利用共面子區(qū)域融合點線特征來進行局部和全局配準,盡可能地保留了影像的原有細節(jié)。文獻[34]提出一種閾值自適應的融合拼接策略,改善了拼接縫和亮度不均等問題。文獻[35]提出一種基于紋理和梯度結構自適應的配準方法,為高質量影像拼接提供了較好的參考。

綜上,本文首先通過集成視角變化糾正和局部特征變換策略,實現寬基線弱紋理立體像對的準密集匹配提取;其次,在此基礎上,顧及寬基線影像大視差變化情況,基于改進的深度神經網絡實現影像全局配準視差的泛化學習,并通過TPS函數模擬局部視差變化,以此來改善由于視差突變導致的不同地形區(qū)域的扭曲配準或重影問題;然后,利用深度學習對拼接結果邊界進行自適應矩形化處理;最后,選取4組代表性寬基線弱紋理影像數據,驗證方法的有效性。

1 方 法

本文算法流程如圖1所示,主要包括3個步驟:①寬基線弱紋理影像同名特征提取,該步融合大視角糾正策略和局部特征變換紋理增強技術,能夠由粗到精地實現大視角弱紋理的準密集對應;②抗視差的影像配準,該步基于準密集匹配和深度神經網絡,泛化學習立體影像的全局視差,并利用TPS函數模擬配準區(qū)域的局部視差突變,以改善扭曲配準或重影問題;③拼接影像的矩形化處理,該步利用全卷積網絡模型預測拼接影像矩形化的形變函數,在剔除空白區(qū)域的同時,最大限度地保留了原有拼接內容。最終,本文算法在無須相機位姿等先驗信息的情況下,面向視差變化較大的寬基線弱紋理影像,實現自動化和高質量拼接。

1.1 寬基線弱紋理同名特征提取

寬基線影像的弱紋理區(qū)域往往難以被提取出同名特征,主要原因是:一方面弱紋理區(qū)域的灰度變化不明顯,導致僅依靠灰度梯度計算的傳統(tǒng)特征檢測算法失效;另一方面顯著的視角變化則會大大降低同名特征的檢測重復度和匹配相似性,繼而增加誤匹配率。因此,本節(jié)首先通過大視角糾正策略來提升影像特征的幾何不變性,并引入局部特征變換的紋理增強策略,來耦合紋理匱乏區(qū)域的細節(jié)特征,然后完成寬基線弱紋理同名特征提取,具體方法如下。

(1) 大視角糾正。利用ASIFT算法[11]獲取待拼接的影像IA和IB之間的連接點,并通過隨機采樣一致性算法[31]剔除離群點。IA和IB間的透視投影矩陣H根據式(1)計算

(1)

式中,h11,h12,…,h33為矩陣H中的待求參數;(x,y)和(x′,y′)分別表示為IA和IB上的匹配點坐標。將右影像IB上的各像素按式(2)進行幾何變換,生成畸變改正影像IC

(2)

式中,(x″,y″)表示IC上的像素點坐標。通過大視角糾正策略對寬基線影像進行透視變換改正,可使影像之間具備較好的幾何一致性,有利于提升同名特征的檢測重復度。

PE(pos,i)=sin(pos/10000i/dmodel)

(3)

PC(a,b)=Softmax(S(a,·))b·

Softmax(S(·,b))a

(4)

(5)

因此,粗等級的匹配預測結果MC用式(6)表示

(6)

(7)

(8)

1.2 抗視差影像配準

本節(jié)采用“兩步法”來漸進式擬合寬基線影像配準視差。首先,利用改進的深度神經網絡來學習影像間的透視投影變換,以獲取全局配準視差;然后,采用TPS函數[29-31]來擬合剩余的局部配準視差,進一步改善大傾角場景影像配準可能出現的扭曲或重影現象。

(9)

式中,hi和vi分別代表水平和豎直方向視差的誤差,其中hi和vi對應的函數形式分別用h(x,y)和v(x,y)表示。對水平方向的視差變換函數h(x,y)定義損失函數ε,如式(10)所示

ε=εD+λεS

(10)

式中,λ為權值系數用來控制整幅影像的變換程度;εD為擬合項表示經過視差換后兩點間的距離差異;εS為扭曲項表示整幅影像的視差變換。εD和εS分別由式(11)和式(12)計算

(11)

(12)

根據文獻[29]方法推導可得式(11)的最優(yōu)解h(x,y),相應表達式為

(13)

式中,ωi為各任意點的對應權重;φi(x)為徑向基函數,可根據式(14)計算

(14)

(15)

經測試,將得到的視差變換偏移p(x,y)直接應用于左影像IA的像素變換時,會使部分非重疊區(qū)域內的特征出現輕微扭曲或失真等現象。為此,需要以各像素點與重疊區(qū)域的空間距離為條件,對p(x,y)施加相等的距離約束,同時引入頻域加權亮度融合機制,從而確保影像的幾何與輻射變換的最優(yōu)性。

為驗證抗視差配準的有效性和優(yōu)越性,選取經典的全局單應性配準方法AutoStitch[24]及文獻[29]的REW(robust elastic warping)算法,對模型應用階段選出的構成矩形的4組匹配角點分別進行均方根誤差(root mean square error,RMSE)統(tǒng)計[40]及精度對比,測試結果見表1。表1的試驗1數據取自前文圖1中的IA和IB,試驗2數據為本文試驗部分的數據A。對比結果可見,本節(jié)方法能夠取得較高的配準精度,這得益于本文提出的“兩步法”漸進式抗視差配準策略,其中改進的深度神經網絡,能夠泛化學習到寬基線影像的全局視差變換,而剩余的局部配準視差可由TPS函數來精確擬合。

表1 3種方法配準精度對比結果

1.3 拼接影像的矩形化

由上文方法生成的拼接影像IAC邊界往往呈現不規(guī)則的形狀,為此本節(jié)引入文獻[41]的深度學習策略,具體如下。

2 試驗與討論

2.1 試驗環(huán)境及數據

本文在RTX2080tiGPU,I9-9900K處理器及64 GB內存的計算機上,基于Python3.7的Pycharm試驗平臺,進行算法程序的編寫與測試。在模型訓練階段,通過隨機梯度下降(stochastic gradient descent,SGD)算法[42]進行透視變換模型的學習迭代,以10-5為初始學習率;MegaDepth[43]被作為特征檢測訓練數據集,訓練過程中Transformer循環(huán)次數N設置為4,LoFTR模塊特征變換次數Nf取1,特征窗口邊長w取5;在拼接影像的矩形化學習中,初始學習率被設置為10-4,網格分辨率U和V分別設置為8和6,利用SGD實現算法的迭代訓練與快速收斂。為驗證算法的有效性,4組(A—D)不同場景不同地表類型的寬基線立體像對被選為測試數據,用于算法的特征匹配、影像配準和邊界矩形化的試驗。4組像對均存在較大的視角變化、景深突變及弱紋理區(qū)域,詳細的數據描述請見表2。

表2 測試數據描述

2.2 特征匹配

為檢驗本文算法的特征匹配性能及優(yōu)勢,分別選用經典的ASIFT[11]、AffNet[16]和ContextDesc[18]與本文算法進行對比測試:ASIFT在SIFT的基礎上增加了尺度特征的仿射不變性,對視角變化的影像能夠獲得較好的匹配效果;AffNet通過CNN預測Hessian特征的仿射變換,從而增強在影像視角變化區(qū)域的匹配能力;ContextDesc則是在CNN的基礎上利用幾何和視覺的上下文信息來獲取特征間的匹配關系,能夠適用于較為復雜場景下的匹配工作。為客觀和詳實地測評各算法性能,正確匹配數目[44]和RMSE[40]分別被用來評價各算法的匹配可靠性和匹配精度,其中正確匹配數目的確定方法為首先通過隨機采樣一致性策略估計基本矩陣F,繼而基于F剔除匹配結果中誤差超過2.0像素的離群點,以此統(tǒng)計各算法的正確匹配數目,而RMSE(單位:像素)由式(16)計算

(16)

表3 各算法的匹配精度RMSE對比

圖2 基于A組數據的各方法匹配結果對比Fig.2 The comparison of matching results with each algorithm based on group A data

圖6 各匹配算法的正確匹配數目對比Fig.6 The contrast of number of correct matches based on each matching algorithm

影像間的連接點提取是影像拼接過程中的至關重要的環(huán)節(jié),匹配點數量、匹配空間分布及精度決定著全局和局部單應映射的準確性與可靠性[45]。面向紋理匱乏的寬基線影像數據,各像對均存在較大的視角變化、景深突變及弱紋理區(qū)域,圖6和表3的定量試驗結果揭示本文算法能夠取得較多的正確匹配數目和較高的匹配精度;觀察圖2—圖5的匹配結果,可見本文算法可獲得準密集且空間分布均勻的同名特征,上述試驗結果綜合驗證了本文算法匹配結果,具有較高的可靠性和準確性。原因在于,本文算法在影像視角變換改正基礎上,引入局部紋理增強LoFTR模塊,既提高了影像同名區(qū)域的仿射不變性,又增強了影像全局與局部紋理的區(qū)分度,因而本文算法在寬基線的弱紋理影像中具有較好的適應性。仿射不變ASIFT算法對視角變換的寬基線影像具有良好的適應性,但對紋理單一或匱乏的寬基線影像僅能獲得少量的正確匹配。分析原因,一方面該算法在模擬影像的視角變化過程中,弱化了紋理特征的區(qū)分度;另一方面ASIFT本質上屬于局部尺度不變特征,缺少對各局部特征上下文信息的關聯,因此在弱紋理影像中容易出現大量的誤匹配。ContextDesc算法雖具備對局部特征上下文信息的學習能力,但對較大的視角變化及視差突變影像適應性一般。AffNet算法通過大量匹配樣本的學習,提高了對弱紋理影像的適應性,但仍難以取得均勻分布的準密集對應。總之,本文算法能夠較為準確地從寬基線弱紋理的影像中獲取充足的連接點,為下一步的高質量影像配準奠定基礎。

2.3 影像拼接

為驗證本文算法在影像配準階段的優(yōu)越性,統(tǒng)一沿用2.2節(jié)本文算法得到的寬基線弱紋理特征,并選取APAP(as-projective-as-possible)算法[26]和AANAP(adaptiveas-natural-as-possible)算法[28]與本文的配準算法在拼接融合結果上進行對比:APAP算法通過(direct linear transform,DLT)策略分別計算影像各部分的局部透視投影矩陣來完成影像的配準工作;AANAP算法則通過自適應DLT算法求取局部單應模型,并線性化影像的非重疊區(qū)域,最終通過全局相似性變換來完成影像的拼接工作。圖7—圖10展示了基于A—D組數據的各算法配準結果,其中的局部細節(jié)對比由矩形框選中后放大。

圖7 A組影像寬基線弱紋理特征的影像拼接結果Fig.7 The stitching results of wide baseline weak texture features based on group A images

圖8 B組影像寬基線弱紋理特征的影像拼接結果Fig.8 The stitching results of wide baseline weak texture features based on group B images

圖9 C組影像寬基線弱紋理特征的影像拼接結果Fig.9 The stitching results of wide baseline weak texture features based on group C images

圖10 D組影像寬基線弱紋理特征的影像拼接結果Fig.10 The stitching results of wide baseline weak texture features based on group D images

綜合圖7—圖10的總體配準結果及局部放大細節(jié)來看,APAP和AANAP在4組影像的拼接結果由于受到視差突變的影響,均存在不同程度的重影和模糊等問題,影像重疊區(qū)域之間的部分標志特征難以實現契合配準,明顯干擾了逐像素的特征融合。究其原因,是因為測試影像中大都存在視差不連續(xù)情況,僅靠初始單應變換難以有效模擬復雜視差的變化情況;而本文則采用“兩步”漸進式求解策略,逐級逼近配準視差,即通過改進的深度神經網絡精準獲取全局配準視差,再由TPS函數擬合殘余的局部視差。APAP算法在計算局部透視投影矩陣的過程中未考慮視差突變的影響,因而難以適用于地面近景或低空地形起伏的高分辨率影像。而AANAP算法同樣忽略了視差因素的影響,且全局的相似單應變換難以重構立體影像的多平面場景,導致局部配準結果中容易出現重影模糊甚至是信息丟失問題。總之,本文算法具有較好的抗視差性能,拼接結果明顯優(yōu)于APAP和AANAP方法,且目視拼接效果更接近于實際的影像場景。

2.4 拼接影像矩形化

圖11—圖14給出本文算法的各組數據配準結果的矩形化效果。觀察試驗結果,本文算法在進行邊界矩形化過程中通過CNN推算影像中網格點向規(guī)則矩形的變換軌跡,若拼接影像邊界存在的缺失較大,則訓練迭代過程中會產生過多的權重參數,導致無法擬合,因此會不可避免地丟失掉部分信息;而當兩幅影像之間存在足夠的重疊區(qū)域時,則可以在最大限度保留影像拼接內容的同時剔除空白區(qū)域,將影像拼接區(qū)域有效訓練為規(guī)則化矩形。

圖11 A組拼接結果的矩形化效果Fig.11 The rectangularization of group A images stitching results

圖12 B組拼接結果的矩形化效果Fig.12 The rectangularization of group B images stitching results

圖13 C組拼接結果的矩形化效果Fig.13 The rectangularization of group C images stitching results

圖14 D組拼接結果的矩形化效果Fig.14 The rectangularization of group D images stitching results

除了從視覺上分析評比配準及矩形化的結果外,還引入了自然影像質量評估指標(natural image quality evaluator,NIQE)[46]來客觀評價各組影像的拼接結果,該指標是受生物視覺啟發(fā),通過影像特征擬合的多元高斯模型來統(tǒng)計待測影像中的特征分布差異,其值越小則表示影像質量越高。表4給出了對各組拼接影像結果的質量評價NIQE。

表4 各組拼接影像結果質量評價

綜合圖11—圖14和表4分析,AANAP在各組影像中的拼接結果總體上優(yōu)于APAP,因此其對應的NIQE值相對較低;而本文算法的影像拼接結果優(yōu)于APAP和AANAP,因此其NIQE值較APAP和AANAP最低,表明拼接結果的目視效果與定量評價結果一致。由表4可知,本文算法的拼接結果矩形化前后,影像NIQE值變化很小,表明本文的矩形化處理在提高影像的目視效果外,并未影響原有拼接質量。

3 結 論

本文從寬基線弱紋理區(qū)域特征匹配和視差估計兩方面入手,構建了從特征匹配到影像配準再到邊界矩形化的全自動拼接流程。首先,在影像特征匹配階段引入基于局部特征變換的LoFTR模塊來訓練提升對弱紋理特征的區(qū)分度,并融合了影像視角的幾何糾正來增強特征的仿射不變性,能夠在寬基線弱紋理的立體影像中提取可靠準密集匹配;其次,在影像配準階段,通過改進的深度神經網絡模型獲取待拼接影像的可靠全局視差,再由TPS函數對局部剩余視差進行擬合;然后,通過CNN來推算拼接影像內各網格點的矩形化變換軌跡,在最大限度地保護影像內容的同時,剔除拼接影像周圍的空白區(qū)域;最后,選取4組代表性寬基線弱紋理影像數據進行測試,基于大量的定量和定性的試驗結果,表明本文算法能夠適用于地面近景及低空航拍影像的高質量配準任務。

本文的主要貢獻有:①融合了視角糾正和弱紋理特征增強策略,構建適用于寬基線弱紋理的特征匹配模型,能夠從大傾角變化的寬基線弱紋理影像中獲取準密集同名特征;②建立“兩步法”漸進式配準途徑,即通過改進的深度神經網絡和TPS函數獲得影像的全局與局部高精度配準模型,較好地克服了大傾角影像視差突變導致的扭曲配準或重影問題。然而,考慮到手動設計ASIFT算法對大傾角變化的弱紋理影像適應的局限性,下一步將構建透視投影不變的輕量級CNN模型,取代ASIFT來實現對影像視角畸變的糾正,從而提升本文算法整體的可靠性與普適性。