張傳輝，姚國標(biāo)，張 力，艾海濱，滿孝成，黃鵬飛

1. 山東建筑大學(xué)測(cè)繪地理信息學(xué)院，山東 濟(jì)南 250100； 2. 中國測(cè)繪科學(xué)研究院，北京 100830

隨著智能測(cè)繪的落地生根，同步涌現(xiàn)出眾多的非常規(guī)數(shù)據(jù)采集模式，如無人機(jī)傾斜航測(cè)及地面移動(dòng)寬基線攝影等。非常規(guī)傾斜數(shù)據(jù)采集模式能夠從不同角度獲取目標(biāo)場(chǎng)景影像，不僅為精細(xì)三維重建提供豐富的真實(shí)紋理信息，還具有良好的空間幾何構(gòu)形及重構(gòu)精度優(yōu)勢(shì)。目前，三維重建技術(shù)已較為成熟，而如何從傾斜立體影像中自動(dòng)和可靠地獲取同名特征匹配，依然是當(dāng)今數(shù)字?jǐn)z影測(cè)量與計(jì)算機(jī)視覺領(lǐng)域共同研究的熱難點(diǎn)問題。

針對(duì)存在較大變形的傾斜立體影像匹配問題，文獻(xiàn)[1]提出多種有效的不變特征匹配算法。常用的仿射不變特征提取算法如Harris-Affine或Hessian-Affine等，主要運(yùn)用二階微分矩陣提取仿射不變區(qū)域特征，但由于特征檢測(cè)與匹配的相對(duì)獨(dú)立性，使得匹配的同名點(diǎn)難以實(shí)現(xiàn)位置上的精確對(duì)應(yīng)。文獻(xiàn)[2]提出由粗到精的多層次匹配策略，其中采用的最小二乘匹配(least square matching,LSM)算法使匹配點(diǎn)的定位精度提高到亞像素級(jí)，然而由于該方法在多級(jí)匹配過程中排除許多爭議同名特征，導(dǎo)致大量影像冗余點(diǎn)未被充分利用。文獻(xiàn)[3]對(duì)主流的仿射不變區(qū)域檢測(cè)算法進(jìn)行綜合對(duì)比試驗(yàn)，表明了最大穩(wěn)定極值區(qū)域(maximally stable extremal region,MSER)特征[4]對(duì)視角變化的立體影像適應(yīng)性較好。此外，針對(duì)傾斜影像的ASIFT算法[5]，通過模擬離散的姿態(tài)角影像并使用SIFT算法[6]計(jì)算同名特征，通常能夠獲得大量的匹配點(diǎn)，然而該算法容易受相似紋理、陰影及視差不連續(xù)等因素影響，進(jìn)而導(dǎo)致許多錯(cuò)誤匹配。

深度學(xué)習(xí)作為一種深層次的特征表征方法，為解決傾斜影像匹配難題提供了一種全新的思路[7]?？v觀現(xiàn)行的深度學(xué)習(xí)影像匹配算法，依據(jù)所得匹配點(diǎn)的稠密性可將其分為密集匹配和稀疏匹配兩種類型。其中，深度學(xué)習(xí)密集匹配通過構(gòu)建匹配代價(jià)網(wǎng)絡(luò)模型，可端到端地計(jì)算視差圖，繼而實(shí)現(xiàn)影像重疊區(qū)域的逐像素密集匹配[8-9]，但限于目前的數(shù)據(jù)集規(guī)模，并且此類方法需要已知嚴(yán)格的核線關(guān)系，限制了其應(yīng)用于傾斜影像匹配[10]。深度學(xué)習(xí)稀疏匹配意在利用深度學(xué)習(xí)策略實(shí)現(xiàn)高質(zhì)量的特征提取和描述。其中，文獻(xiàn)[11]將影像匹配各個(gè)階段聯(lián)合訓(xùn)練，取得了較優(yōu)的結(jié)果，但該算法仍無法直接應(yīng)用于復(fù)雜傾斜影像匹配，因其采用文獻(xiàn)[12]的亮度不變特征，該特征難以適應(yīng)影像間的仿射變形。此外，在特征描述學(xué)習(xí)階段，該算法僅選擇損失值較高的部分樣本進(jìn)行訓(xùn)練，雖節(jié)省了計(jì)算資源，卻忽略其他樣本的作用。而經(jīng)典的L2-Net特征描述模型[13]，僅追求同名特征描述符間距離最小，當(dāng)同名特征描述符間存在非同名特征描述符時(shí)，存在優(yōu)化歧義，導(dǎo)致描述符的區(qū)分度較低?；诖?，HardNet特征描述模型[14]運(yùn)用顧及最近鄰負(fù)樣本的三元組網(wǎng)絡(luò)結(jié)構(gòu)，一定程度上增加了描述符的區(qū)分度，但仍缺少與其他近鄰非同名特征描述符的距離約束，當(dāng)大量相似樣本參與優(yōu)化時(shí)，仍難以訓(xùn)練出高質(zhì)量描述符模型。

綜上，面向具有復(fù)雜幾何和輻射畸變的傾斜立體影像，無論經(jīng)典不變特征匹配算法還是新型深度學(xué)習(xí)匹配網(wǎng)絡(luò)，均難以得到較為可靠的匹配結(jié)果。其中，深度學(xué)習(xí)特征描述與匹配有望成為解決此類影像匹配的突破口，且目前鮮有仿射不變特征深度學(xué)習(xí)算法的報(bào)道。鑒于此，本文提出一種多分支卷積神經(jīng)網(wǎng)絡(luò)聯(lián)合的傾斜立體影像仿射不變特征匹配算法。方法首先運(yùn)用三分支網(wǎng)絡(luò)(triplet network,TN)獲得眾多高質(zhì)量仿射不變特征鄰域；接著通過多重負(fù)樣本采樣策略構(gòu)建多邊約束損失函數(shù)，并訓(xùn)練多分支描述符網(wǎng)絡(luò)(multi-branch descriptor network,MDN)，繼而得到區(qū)分度較高的描述符；然后基于最/次近鄰距離比率(nearest/next distance ratio,NNDR)測(cè)度獲得同名特征，并進(jìn)一步采用隨機(jī)采樣一致性(random sample consensus,RANSAC)算法剔除可能的誤匹配點(diǎn)；最后多組傾斜影像匹配試驗(yàn)驗(yàn)證了本文算法的有效性。

1 本文方法

1.1 仿射不變特征提取

本文運(yùn)用三分支卷積神經(jīng)網(wǎng)絡(luò)TN[15]學(xué)習(xí)影像鄰域的仿射變換參數(shù)，進(jìn)而結(jié)合Hessian初始特征鄰域，變換形成仿射不變特征鄰域(圖1)。網(wǎng)絡(luò)分支結(jié)構(gòu)參數(shù)見表1。

表1 TN分支結(jié)構(gòu)參數(shù)

圖1 本文算法流程Fig.1 The process of the proposed algorithm

TN由7層卷積層構(gòu)成，每層卷積層包括3×3卷積、批量標(biāo)準(zhǔn)化(batch normalization,BN)[16]、線性修正單元(rectified linear unit,Relu)[17]等操作，其中最后一層采用8×8卷積、雙正切函數(shù)(Tanh)、平均池化(average pooling,Avpool)等操作，輸出仿射變換參數(shù)。另外，為進(jìn)一步減少模型參數(shù)并使性能不變，使用步長為2的卷積層代替最大池化層[18]。TN的訓(xùn)練流程可簡述如下。

(1) 在訓(xùn)練集中提取64×64像素大小的影像集，并進(jìn)行一定范圍內(nèi)的隨機(jī)仿射變換，得到影像集I，再以I中的同名點(diǎn)為中心剪裁得到32×32像素大小的影像塊集。

(2) 將影像塊集輸入TN，得到仿射變換參數(shù)，繼而構(gòu)建仿射變換矩陣A，再利用公式I′=I·A-1對(duì)I中的影像塊進(jìn)行逆仿射變換，得到新影像塊集I′。

(3) 運(yùn)用描述符模型Hard-Net獲得與I′對(duì)應(yīng)的描述符，最后依據(jù)已知的描述符匹配關(guān)系和損失函數(shù)，經(jīng)多次前向和反向傳播，實(shí)現(xiàn)TN的訓(xùn)練。

不同于以往的訓(xùn)練方式[19]，本文將TN與特征描述網(wǎng)絡(luò)串聯(lián)，通過共用一套訓(xùn)練數(shù)據(jù)來完成TN的訓(xùn)練，因此顯著地減少了制作訓(xùn)練集的工作量，是一種簡單有效的多網(wǎng)絡(luò)訓(xùn)練方式。此外，與ASIFT算法糾正整幅影像的仿射變形不同，本文方法提取若干特征影像塊，并應(yīng)用TN為每個(gè)特征影像塊進(jìn)行單獨(dú)的糾正，有效地避免了若整幅影像不符合單一仿射變換模型而引起的匹配失效問題[20]。

1.2 特征描述

本文設(shè)計(jì)多分支描述符網(wǎng)絡(luò)MDN對(duì)仿射不變特征鄰域進(jìn)行描述。其訓(xùn)練流程如圖2所示。其中A、P表示同名影像塊，其中心為同名像點(diǎn)；N1,N2,…,Nk表示A、P的非同名影像塊。訓(xùn)練過程中，首先利用分支網(wǎng)絡(luò)對(duì)影像塊進(jìn)行描述，得到描述符a、p、n1，n2，…，nk，其中a、p表示同名特征描述符；n1,n2，…，nk表示a、p的非同名特征描述符。然后運(yùn)用采樣策略選擇多個(gè)ni并通過最小化損失函數(shù)來減小a、p間的距離，同時(shí)增大兩者與多個(gè)ni的距離。最后基于迭代優(yōu)化策略得到最優(yōu)的模型參數(shù)。本文方法改進(jìn)于文獻(xiàn)[14]的三分支網(wǎng)絡(luò)描述符模型，其損失函數(shù)如式(1)所示。

圖2 MDN訓(xùn)練流程Fig.2 The process of MDN training

min(d(ai,naimin),d(npimin,pi)))

(1)

式中，m為批量大?。籨()表示兩描述符間的歐氏距離；naimin、npimin分別表示與ai、pi距離最近的非同名特征描述符。max()、min()分別表示取最大和最小值。

由式(1)可知，該損失函數(shù)僅將單一的非同名特征描述符納入訓(xùn)練中，其訓(xùn)練的描述符模型難以區(qū)分影像中眾多相似的特征區(qū)域。為解決此難題，本文提出多重負(fù)樣本采樣策略，選取多個(gè)近鄰非同名特征描述符，并構(gòu)建多邊約束損失函數(shù)，進(jìn)而訓(xùn)練多分支卷積神經(jīng)網(wǎng)絡(luò)模型MDN，以得到較高區(qū)分度的描述符。具體采樣策略為：

(1) 運(yùn)用文獻(xiàn)[14]的分支網(wǎng)絡(luò)對(duì)m對(duì)影像塊進(jìn)行描述，得到m對(duì)描述符，并計(jì)算彼此間歐氏距離，得到距離矩陣D，如式(2)所示

(2)

(2) 依據(jù)距離矩陣D，首先為a1選擇與其最近的k個(gè)非同名特征描述符na1,1,na1,2,…,na1,k，并為p1進(jìn)行同樣選擇，得到一組樣本Sa1、Sp1如式(3)所示

(3)

(3) 利用步驟(2)得到全部樣本。然后考慮單個(gè)近鄰非同名特征描述符，建立單邊損失函數(shù)，如式(4)所示

min(d(ai,nai,k),d(pi,npi,k)))

(4)

式中，Lk表示考慮第k近鄰的非同名特征描述符所構(gòu)成的損失函數(shù)；L1表示考慮最近的非同名特征描述符構(gòu)成的損失函數(shù)，L2次之，以此類推。

(4) 考慮多個(gè)近鄰距離，并為每個(gè)單邊損失函數(shù)分配權(quán)重wk，且滿足條件w1+w2+…+wk=1，得到多邊約束損失函數(shù)，如式(5)所示

L=w1L1+w2L2+…+wkLk

(5)

(5) 通過多組w與k組合試驗(yàn)，選擇k=3、w1=0.5、w2=0.3、w3=0.2結(jié)果最優(yōu)，如式(6)所示

L=0.5L1+0.3L2+0.2L3

(6)

特征描述的關(guān)鍵在于增強(qiáng)同名特征的相似度和非同名特征的區(qū)分度，文獻(xiàn)[14]在增強(qiáng)同名特征相似度的同時(shí)考慮了單一的非同名特征，一定程度上增加了與非同名特征的區(qū)分度，但面對(duì)相似特征較多的影像，該方法仍有改進(jìn)的空間。本文通過建立多邊約束損失函數(shù)，訓(xùn)練多分支描述符網(wǎng)絡(luò)MDN，充分考慮了多個(gè)非同名描述符的作用，增強(qiáng)了模型對(duì)相似特征的區(qū)分能力。2.3節(jié)證明了以上論述。

1.3 特征匹配

完成仿射不變特征提取與描述模型的訓(xùn)練后，特征匹配過程可總結(jié)如下。

(1) 對(duì)立體像對(duì)使用Hessian算子提取初始特征鄰域，并利用TN得到仿射變換參數(shù)，繼而得到仿射不變特征鄰域。運(yùn)用MDN對(duì)仿射不變特征鄰域進(jìn)行描述，得到較高區(qū)分度的描述符。

(2) 對(duì)描述符采用NNDR測(cè)度(閾值為0.8)獲得初始同名點(diǎn)集，并利用RANSAC算法在初始同名點(diǎn)集中隨機(jī)選取最優(yōu)n對(duì)(本文n取值為8)匹配點(diǎn)計(jì)算單應(yīng)矩陣H，然后計(jì)算初始同名點(diǎn)投影誤差，若誤差小于3像素則輸出內(nèi)點(diǎn)集。經(jīng)過多次迭代剔除可能的誤匹配，獲得最終匹配點(diǎn)集。

2 試驗(yàn)與分析

2.1 試驗(yàn)平臺(tái)及數(shù)據(jù)

試驗(yàn)硬件平臺(tái)配置為RTX2080ti GPU，i9-9900K處理器，64 GB內(nèi)存；軟件平臺(tái)為Pycharm，使用Pytorch構(gòu)建并訓(xùn)練神經(jīng)網(wǎng)絡(luò)。文中的兩個(gè)模型均采用公開數(shù)據(jù)集Brown[21]訓(xùn)練，部分?jǐn)?shù)據(jù)如圖3所示。該數(shù)據(jù)集含有6個(gè)影像集，其中圖3(a)、(d)是在同一類型數(shù)據(jù)中分別以DOG(difference of gaussian)特征點(diǎn)和Harris特征點(diǎn)為中心提取的，其他影像集來源相同。每個(gè)影像集包含超過40萬對(duì)局部影像塊樣本，分辨率為64×64像素；標(biāo)簽數(shù)據(jù)為影像塊索引及其匹配關(guān)系。采用數(shù)據(jù)增強(qiáng)方法，TN訓(xùn)練總數(shù)據(jù)量為一千萬對(duì)影像塊，批量大小為1024。采用隨機(jī)梯度下降優(yōu)化，動(dòng)量為0.9，學(xué)習(xí)率為0.005，并在學(xué)習(xí)過程中逐漸下降。MDN訓(xùn)練總數(shù)據(jù)量為三千萬對(duì)影像塊，學(xué)習(xí)率為10，其余參數(shù)與TN相同。TN的訓(xùn)練時(shí)長為13 h左右；MDN為12 h左右。

如圖3所示，用于模型訓(xùn)練的數(shù)據(jù)集屬于多視多角度地面近景影像，包含大量的人造雕像和自然景觀，為充分驗(yàn)證本文模型的匹配性能，選取4組不同區(qū)域類型的無人機(jī)傾斜影像為測(cè)試數(shù)據(jù)，如圖4所示。對(duì)比圖3和圖4可見，訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)明顯為不同數(shù)據(jù)源，測(cè)試數(shù)據(jù)不包含或極少包含訓(xùn)練數(shù)據(jù)中的地物類型，并且測(cè)試影像屬于典型的匹配困難數(shù)據(jù)。測(cè)試影像詳細(xì)描述見表2。

表2 測(cè)試影像描述

圖3 部分Brown數(shù)據(jù)集Fig.3 Part of the Brown dataset

圖4 測(cè)試影像Fig.4 Test images

2.2 試驗(yàn)評(píng)價(jià)指標(biāo)

本文影像匹配試驗(yàn)采用的典型評(píng)價(jià)指標(biāo)包括：①正確匹配點(diǎn)數(shù)nε0[22]，基于專業(yè)軟件和人機(jī)交互的方式，選取15對(duì)均勻分布的像控點(diǎn)，計(jì)算得到單應(yīng)矩陣，并將基準(zhǔn)影像特征點(diǎn)投影至待匹配影像，與對(duì)應(yīng)特征點(diǎn)計(jì)算誤差ε0，若ε0<3像素，則視為正確匹配點(diǎn)。②匹配正確率p[23]，即正確匹配數(shù)與初始匹配數(shù)的百分比。③匹配誤差εRMSE[24]，根據(jù)正確匹配點(diǎn)計(jì)算單應(yīng)矩陣，然后手工選取15對(duì)檢查點(diǎn)，計(jì)算均方根誤差。④平均匹配時(shí)間t，對(duì)應(yīng)算法在測(cè)試數(shù)據(jù)中匹配的平均耗時(shí)。

為進(jìn)一步驗(yàn)證提出的描述符性能，采用文獻(xiàn)[14]中的相關(guān)指標(biāo)進(jìn)行客觀評(píng)價(jià)，具體為：

(1) 正樣本間平均距離(average positive distance,APD)，即同名特征描述符相似性度量。APD值越小表示描述符匹配程度越好，如式(7)所示

(7)

(2) 正樣本與負(fù)樣本間最小平均距離(average positive and negative nearest distance,APNND)，即同名特征描述符與非同名特征描述符差異性度量。APNND越大表明描述符區(qū)分度越高，如式(8)所示

(8)

2.3 試驗(yàn)結(jié)果及分析

試驗(yàn)選取兩種經(jīng)典仿射不變特征匹配算法和一種深度學(xué)習(xí)匹配算法與本文算法進(jìn)行對(duì)比：①M(fèi)SER算法[4]，其能夠提取目前公認(rèn)最好的仿射不變區(qū)域；②ASIFT算法[5]，具有完全的仿射不變性；③SOS-Net算法[25]，使用三分支網(wǎng)絡(luò)并在訓(xùn)練中引入正則項(xiàng)來提高描述符的穩(wěn)健性。試驗(yàn)中，對(duì)傳統(tǒng)算法提取到的仿射不變特征采用SIFT描述符進(jìn)行描述，并利用NNDR測(cè)度和RANSAC算法得到最終匹配點(diǎn)集。SOS-Net算法則采用作者提供的預(yù)訓(xùn)練模型和相應(yīng)的代碼配置。各方法的匹配結(jié)果對(duì)比如圖5—圖9、表3所示。受篇幅限制，圖5—圖9僅展示上述算法中最優(yōu)的ASIFT算法與本文算法的對(duì)比結(jié)果。

圖5 UAV1-2立體影像匹配結(jié)果對(duì)比Fig.5 Comparison of matching results of UAV1-2 stereo images

表3 不同算法匹配結(jié)果對(duì)比

圖7 UAV5-6立體影像匹配結(jié)果對(duì)比Fig.7 Comparison of matching results of UAV5-6 stereo images

圖8 UAV7-8立體影像匹配結(jié)果對(duì)比Fig.8 Comparison of matching results of UAV7-8 stereo images

圖9 不同算法匹配結(jié)果對(duì)比Fig.9 Comparison of matching results of various algorithms

綜合試驗(yàn)結(jié)果，分析如下：

(1) 本文算法在正確匹配數(shù)、匹配正確率、匹配誤差方面具有顯著優(yōu)勢(shì)，但匹配效率有待提升。本文算法在4組試驗(yàn)中分別得到368、1930、423、700對(duì)正確匹配點(diǎn)。MSER算法的正確匹配點(diǎn)數(shù)稀少且匹配誤差較大，表明該算法在本文測(cè)試影像中幾乎失效；ASIFT相較MSER算法匹配效果較好，但在測(cè)試影像中取得的正確匹配數(shù)目及精度仍不如本文方法。SOS-Net算法與本文算法存在一定差距，且在弱紋理和相似紋理影像中匹配數(shù)較少。在匹配正確率方面，本文算法在復(fù)雜傾斜影像中的效果均優(yōu)于對(duì)比算法。本文算法的匹配誤差為像素級(jí)，4組影像中匹配誤差分別為1.685、1.208、1.582、1.475像素，對(duì)比其他方法具有顯著優(yōu)勢(shì)。由于本文算法聯(lián)合兩個(gè)深度卷積網(wǎng)絡(luò)進(jìn)行不變特征的提取與描述，因此算法運(yùn)行時(shí)間較長。

(2) 本文算法具有較好的適應(yīng)性與可靠性。面向本文的測(cè)試影像，由于對(duì)應(yīng)區(qū)域具有復(fù)雜幾何和輻射畸變，并且紋理匱乏，經(jīng)典算法難以提取有效的特征區(qū)域。而本文算法基于Hessian顯著特征點(diǎn)，通過深度學(xué)習(xí)策略獲得鄰域間的仿射變換參數(shù)，可以得到數(shù)量充足的仿射不變特征鄰域。在相似紋理區(qū)域，非同名特征間距離極小，使用傳統(tǒng)SIFT描述符容易產(chǎn)生誤匹配；而SOS-Net算法的描述符區(qū)分度較低；本文算法將多個(gè)距離最近的非同名特征描述符引入訓(xùn)練中，提高了模型對(duì)相似紋理特征的區(qū)分度，減少了誤匹配。即使立體像對(duì)間存在較大傾角變化，本文算法也能夠?yàn)槊總€(gè)局部特征鄰域估算準(zhǔn)確的仿射變換矩陣，較好顧及不同影像區(qū)域的仿射畸變差異，提取的仿射不變特征具有較高的重復(fù)率和穩(wěn)定性。

為驗(yàn)證多邊約束損失函數(shù)的有效性，設(shè)計(jì)描述符優(yōu)化對(duì)比試驗(yàn)。隨機(jī)產(chǎn)生7對(duì)距離相近的特征描述符，如圖10(a)所示，同色圓表示同名特征描述符，不同色圓表示非同名特征描述符。試驗(yàn)采用Adam[26]優(yōu)化器，分別使用文獻(xiàn)[14]損失函數(shù)和本文損失函數(shù)對(duì)描述符進(jìn)行150次迭代優(yōu)化，如圖10(b)和(c)所示。

圖10 不同損失函數(shù)下描述符優(yōu)化結(jié)果對(duì)比Fig.10 Comparison of descriptor optimization results under different loss functions

結(jié)合2.2節(jié)評(píng)價(jià)指標(biāo)分析圖10可知，運(yùn)用兩損失函數(shù)對(duì)描述符進(jìn)行優(yōu)化后，APD值均為0，表明兩者都能較好地減小同名特征描述符間的距離。但對(duì)比描述符的區(qū)分度，本文損失函數(shù)的APNND值為1.02，而文獻(xiàn)[14]損失函數(shù)為0.70。表明前者能較好地將非同名特征描述符區(qū)分開，而后者的區(qū)分能力較弱。為充分驗(yàn)證本文損失函數(shù)性能，進(jìn)行10組不同初始化的試驗(yàn)，并統(tǒng)計(jì)APNND值，如圖11所示，表明本文的損失函數(shù)具有較好的區(qū)分度。

圖11 不同損失函數(shù)下多組APNND值對(duì)比Fig.11 Comparison of APNND values of different losses in multiple experiments

為進(jìn)一步驗(yàn)證算法在傾斜影像匹配中的效果，首先利用本文的仿射不變特征提取算法，基于測(cè)試影像，提取仿射不變特征鄰域，然后分別使用文獻(xiàn)[14]的損失函數(shù)和本文損失函數(shù)訓(xùn)練描述符模型，接著分別應(yīng)用兩種模型對(duì)仿射不變特征鄰域進(jìn)行描述，最后對(duì)描述符進(jìn)行匹配。匹配結(jié)果對(duì)比如圖12—圖15和表4所示。

分析圖12—圖15和表4可知，相較文獻(xiàn)[14]算法，本文算法的正確匹配數(shù)量、正確率和匹配精度均有一定提升。且相似紋理較多影像的匹配結(jié)果提升較大。原因在于多邊約束損失函數(shù)訓(xùn)練的MDN提高了描述符的區(qū)分度，影像中的相似特征經(jīng)過描述后，非同名特征描述符具有較大的歐氏距離，而同名特征描述符具有最小的歐氏距離，從而獲得數(shù)量較多且正確率較高的同名特征。

圖12 UAV1-2立體影像兩描述符匹配結(jié)果對(duì)比Fig.12 Comparison of matching results of two descriptors of UAV1-2 stereo images

圖13 UAV3-4立體影像兩描述符匹配結(jié)果對(duì)比Fig.13 Comparison of matching results of two descriptors of UAV3-4 stereo images

圖14 UAV5-6立體影像兩描述符匹配結(jié)果對(duì)比Fig.14 Comparison of matching results of two descriptors of UAV5-6 stereo images

圖15 UAV7-8立體影像兩描述符匹配結(jié)果對(duì)比Fig.15 Comparison of matching results of two descriptors of UAV7-8 stereo images

表4 不同描述符匹配結(jié)果

3 結(jié) 論

本文提出的多分支卷積網(wǎng)絡(luò)聯(lián)合的仿射不變特征匹配算法，為傾斜影像匹配提供一種可行方法。算法運(yùn)用三分支網(wǎng)絡(luò)TN學(xué)習(xí)影像塊仿射變換參數(shù)，以此提取仿射不變特征鄰域，然后再利用提出的多邊約束損失函數(shù)來訓(xùn)練多分支描述符網(wǎng)絡(luò)MDN，該方法增強(qiáng)了描述符的區(qū)分度及其匹配效果，描述符優(yōu)化試驗(yàn)及影像匹配試驗(yàn)均驗(yàn)證提出方法的有效性，并且本文算法在匹配數(shù)量、匹配正確率、匹配精度等方面具有顯著優(yōu)勢(shì)。然而，由于特征檢測(cè)與匹配的相對(duì)獨(dú)立性，本文算法的匹配精度難以達(dá)到亞像素級(jí)，且由于神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，算法的匹配效率受到一定限制。因此后續(xù)將研究設(shè)計(jì)一種輕量級(jí)、高效率網(wǎng)絡(luò)，并運(yùn)用最小二乘迭代匹配策略，實(shí)現(xiàn)仿射不變特征的快速提取與高質(zhì)量匹配。