陰俊愷，張正強，吳 震，曾 兵，李 斌

（成都三零凱天通信實業(yè)有限公司 研發(fā)中心，四川 成都 610041）

0 引言

近年來，隨著航天、傳感器等技術(shù)的發(fā)展，衛(wèi)星遙感技術(shù)取得了長足進步，高分辨率、多模式、廣覆蓋的新式衛(wèi)星層出不窮。常見的遙感衛(wèi)星傳感器主要有基于微波波段的合成孔徑雷達（Synthetic Aperture Radar，SAR)、近紅外（Near Infrared，NIR）傳感器、可見光傳感器等。這些傳感器成像機理大不相同，所生成圖像各有優(yōu)勢與缺陷：SAR圖像具有全天時、全天候的對地觀測能力；可見光圖像擁有豐富的顏色及紋理信息，但受光照、天氣等因素影響較大；近紅外圖像在光線暗淡的情況下也可以根據(jù)環(huán)境溫差提取較高質(zhì)量的紋理信息。為了有效利用這些信息、體現(xiàn)優(yōu)勢互補、準(zhǔn)確掌握測繪對象的全貌及細節(jié)，必須先進行異源遙感圖像匹配。異源遙感圖像匹配是指在同一遙感場景下不同傳感器所獲取的兩幅及兩幅以上遙感圖像轉(zhuǎn)換到同一坐標(biāo)系的過程，其面臨的最大問題是由于傳感器成像原理的不同而造成的像素級顯著差異。

異源遙感圖像匹配算法主要蛻變于同源遙感圖像匹配算法。傳統(tǒng)手工設(shè)計的同源遙感圖像塊算法（如SIFT等）憑借良好的性能曾經(jīng)一度占據(jù)統(tǒng)治地位，但極端視角、光照改變的環(huán)境下此類模型會束手無策。隨著深度學(xué)習(xí)理論技術(shù)和硬件水平的發(fā)展，大量學(xué)者轉(zhuǎn)而研究深度卷積網(wǎng)絡(luò)在同源遙感匹配領(lǐng)域的應(yīng)用，同時遙感數(shù)據(jù)的不斷積累更是給其發(fā)展提供了條件?；谏疃葘W(xué)習(xí)的遙感匹配方法主要分為兩類：一類是通過全連接層（Fully Connected Layers，F(xiàn)C）構(gòu)成的度量網(wǎng)絡(luò)直接計算圖像塊相似性，這種方法被稱作度量學(xué)習(xí)。另一類方法是使用神經(jīng)網(wǎng)絡(luò)描述圖像塊的特征，進而計算圖像塊之間的特征距離，以此表示其相似性，這種方法被稱作描述子學(xué)習(xí)。

相比于度量學(xué)習(xí)方法，近期描述子學(xué)習(xí)匹配方法涌現(xiàn)出了一大批算法及相關(guān)改進。Balntas等人[1]基于Triplet損失提出了SoftPN損失，并在淺層卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）中取得了優(yōu)異的成績。DeepDesc[2]首次采用了困難樣本挖掘策略，但由于損失函數(shù)的缺陷，此設(shè)計依然難以有效地學(xué)習(xí)到困難樣本。后來L2-Net沿用了此思想設(shè)計出了Siamense結(jié)構(gòu)[3]，從而提出了Log-likelihood損失函數(shù)，配合CPR正則項在Brown數(shù)據(jù)集，Oxford數(shù)據(jù)集和Hpatches數(shù)據(jù)集均取得目前最先進（State-Of-The-Art，SOTA）模型的結(jié)果。L2-Net[3]還通過實驗說明最近鄰搜索（Nearest Neighbor Search，NNS）對概率無影響，因此描述子學(xué)習(xí)方法的魯棒性要優(yōu)于度量學(xué)習(xí)。

與此同時，由于同源檢測與異源檢測存在一定相似性，部分學(xué)者將同源遙感匹配模型成功遷移到了異源遙感匹配模型上。方帥[4]改進了L2-Net模型，并通過實驗發(fā)現(xiàn)使用統(tǒng)一的二值標(biāo)簽懲罰不同重疊程度的訓(xùn)練圖像會使得模型對這類困難樣本不敏感，并提出了SoftRegNet模型。本文基于先進理論及算法，結(jié)合光學(xué)-SAR異源圖像的特點，構(gòu)建了一種魯棒性較好的光學(xué)-SAR異源遙感圖像匹配模型（以下簡稱異源遙感匹配），重點改進了描述子模塊，此外還對模型的性能進行了對比測試。

1 異源遙感匹配模型構(gòu)成

異源遙感匹配模型主要由6個子模塊組成：圖像預(yù)處理、關(guān)鍵點檢測、提取局部鄰域圖像塊（以下簡稱圖像塊）、圖像塊描述、圖像塊匹配和圖像變換參數(shù)估計，如圖1所示。

圖1 異源遙感匹配方法總體流程

1.1 圖像預(yù)處理

原始異源遙感圖像質(zhì)量較差，經(jīng)常出現(xiàn)過曝圖像或過暗圖像，圖像直方圖均衡化方法可以將圖像進行像素非線性重映射，使其均衡分布、實現(xiàn)對比度的增強，從而提高關(guān)鍵點檢測效果和圖像塊描述能力。直方圖均衡化存在多種方法，本文采用的是全局直方圖均衡化方法[5]。針對SAR圖像，在直方圖均衡化后使用傅立葉（Fast Fourier Transform，F(xiàn)FT）低通濾波器過濾掉高頻圖像噪點，避免關(guān)鍵點檢測時出現(xiàn)誤識別。

圖2 圖像預(yù)處理效果

1.2 關(guān)鍵點檢測與局部鄰域圖像塊提取

對于光學(xué)圖像和SAR圖像來說，物體邊緣一般會導(dǎo)致圖像灰度值發(fā)生突變。Harris算法[6]可以很好地檢測這類關(guān)鍵點，但Harris算法要求畫面各個方向的灰度值均存在明顯變化，會導(dǎo)致特征點檢測數(shù)量過少，甚至導(dǎo)致在光學(xué)-SAR圖像對上檢測不到同名特征點，因此本文同時使用尺度不變特征變換算法[7]（Scale-Invariant Feature Transform，SIFT）作為補充。

選取到圖像關(guān)鍵點后，根據(jù)給定的區(qū)塊半徑b（本文取b=32），以關(guān)鍵點為中心分別在光學(xué)和SAR圖像上提取局部鄰域圖像塊（以下簡稱圖像塊），圖像塊尺寸為64×64。

1.3 圖像塊描述

本文采用深度神經(jīng)網(wǎng)絡(luò)提取圖像塊的特征（128維描述特征向量）。圖像塊描述需要滿足兩個基本原則：一是異源同名圖像塊所生成的描述特征向量距離應(yīng)盡可能接近，反之盡可能遠；二是異源同名圖像塊在經(jīng)過某些變換（光照、角度等）后應(yīng)當(dāng)保持不變。深度學(xué)習(xí)描述模型的性能將直接影響異源圖像匹配結(jié)果，是異源遙感圖像匹配中最關(guān)鍵的部分，詳細實現(xiàn)將在第三節(jié)說明。

1.4 異源圖像塊匹配

根據(jù)深度學(xué)習(xí)描述模型的設(shè)計要點可知，圖像塊匹配本質(zhì)上是NNS問題，在本文中使用L2距離衡量特征向量相似性。由于原始圖像干擾過大，常使用lowe’s算法[6]對特征向量進行初次篩選，如式（1）所示。

1.5 圖形變換參數(shù)估計

RANSAC全稱“Random Sample Consensus（隨機抽樣一致）”[8]。它可以從一組包含局外點的數(shù)據(jù)集中通過迭代方式估計數(shù)學(xué)模型的計算參數(shù)。這個算法存在一定的隨機性，提高迭代次數(shù)可以得到一個更可信的結(jié)果。傳統(tǒng)的RANSAC算法使用全局錯誤率來衡量模型優(yōu)劣，不適用于本文外點數(shù)目大于50%的情況，因此本文改用內(nèi)點數(shù)量p來衡量模型優(yōu)劣，即取內(nèi)點數(shù)量最多的模型為最優(yōu)模型。

在平移變換模型中，存在齊次坐標(biāo)：

使用最小二乘法求解此線性方程組即可得到平移變換計算參數(shù)tx和ty。

2 圖像塊描述子學(xué)習(xí)模型

在整個光學(xué)-SAR異源遙感匹配模型中，圖像塊描述模塊的性能直接影響到匹配的精度，設(shè)計一個準(zhǔn)確、高效的圖像塊匹配算法是工作的核心。

2.1 改進的L2-Net模型

本文以L2-Net為基礎(chǔ)，結(jié)合異源圖像匹配面臨的特異性問題進行算法改進。L2-Net[3]最初發(fā)表于CVPR 2017，是當(dāng)前性能最好的同源圖像塊匹配算法之一，此設(shè)計可以直接依據(jù)模型輸出的特征向量計算出歐氏距離，從而判斷圖像的相似性。但經(jīng)實驗測試，在異源遙感匹配環(huán)境中過小的圖像輸入尺寸（32×32）與網(wǎng)絡(luò)深度無法很好地學(xué)習(xí)訓(xùn)練圖像的全部信息，從而影響檢測精度，本文針對這兩方面提出部分改進，具體結(jié)構(gòu)如圖3所示，經(jīng)測試匹配效果有較大改善。

圖3 改進的L2-Net模型

2.2 訓(xùn)練采樣策略

指定區(qū)塊半徑b（本文取b=32），使用Harris算法和SIFT算法提取1.1節(jié)預(yù)處理SAR圖像中的關(guān)鍵點，并以此中心分別采集預(yù)處理SAR圖像塊和預(yù)處理光學(xué)同名特征點所對應(yīng)的圖像塊。將此圖像對作為訓(xùn)練數(shù)據(jù)，如圖4所示，SAR遙感圖像中點為Harris算法提取的特征點，光學(xué)遙感圖像中點為SAR特征點的同名特征點，兩圖中的框則為同名局部鄰域圖像塊對。

圖4 采樣演示

2.3 精細標(biāo)簽損失函數(shù)

方帥在其設(shè)計的SoftRegNet實驗中表明[4]，匹配過程中的困難樣本除了光照、幾何變化引起的干擾，還存在著重疊內(nèi)容的干擾，并提出了解決方法。本文沿用了此思想，在采樣時除了獲取圖像塊，還記錄了特征點坐標(biāo)，訓(xùn)練時針對此類問題適當(dāng)提高損失。

圖5 部分損失計算流程

xij越小，代表重疊區(qū)域越多，它們越相似。當(dāng)xij大于區(qū)塊半徑b時，則代表無重疊區(qū)域。同理，當(dāng)訓(xùn)練樣本不屬于同一對異源圖像對時，它們不存在重疊區(qū)域，據(jù)此得到空間距離矩陣L=[lij]n×n，如式（4）所示。

式中，θ為放大倍數(shù)，本文設(shè)置θ=1，θ越大則關(guān)鍵點距離變化越敏感。根據(jù)圖像同名信息還可以得到標(biāo)簽矩陣Y=[yij]n×n：

則結(jié)合了特征距離和空間距離的精細標(biāo)簽損失函數(shù)為：

式中前半部分用于計算正樣本間的損失，后半部分用于計算負樣本間的損失，通過標(biāo)簽矩陣yij加以控制。1+lij作為權(quán)重適當(dāng)放大相同圖像對且關(guān)鍵點距離較近的負樣本損失。

2.4 困難樣本挖掘

對于圖像塊匹配算法來說，除了同名圖像塊對，任意兩個異源圖像塊對都可以組成負樣本，如圖6所示。

對于一個批次成百上千的同名圖像對來說，遍歷整個樣本空間所有負樣本將會使得計算量大大增加，而且有很多損失較小的正負樣本實際上并不會產(chǎn)生有效的梯度更新。為此，DeepDesc提出了均衡困難樣本挖掘策略[2]，本文在進行反向傳播時按照遞進采樣策略的方式，一個批次挖掘2n/3個最困難數(shù)據(jù)樣本，其中n表示訓(xùn)練時一個批次中的同名圖像塊對數(shù)量（Batch Size），且正負樣本比例為1:1。這樣訓(xùn)練出的模型可以保證從含有大量負樣本的光學(xué)遙感圖像中準(zhǔn)確匹配到與SAR參考圖像塊最匹配的目標(biāo)圖像塊，且不會因為負樣本過多導(dǎo)致模型無法收斂。

圖6 正負樣本訓(xùn)練數(shù)據(jù)構(gòu)成

3 實驗結(jié)果

本文通過構(gòu)建光學(xué)-SAR圖像數(shù)據(jù)集（光學(xué)圖像尺寸800×800，SAR圖像尺寸512×512，光學(xué)-SAR圖像一一對應(yīng)，共計850對），選取770對數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，其余80對作為測試數(shù)據(jù)，按照前文中提到的改進方法在同等條件下分別測試無預(yù)處理模型、原始L2-Net模型和改進的L2-Net模型。由于異源數(shù)據(jù)集數(shù)據(jù)量較小，因此本文采用遷移學(xué)習(xí)策略微調(diào)模型，模型預(yù)訓(xùn)練工作均在Brown數(shù)據(jù)集[9]中進行，如圖7、表1所示。

圖7 各模型在自建數(shù)據(jù)集上的均方根誤差

表1 各模型在自建數(shù)據(jù)集上的縱向?qū)Ρ?/p>

為了直觀展示模型匹配結(jié)果，本文從SEN1-2數(shù)據(jù)集[10]中隨機選取4對圖像，圖像編號分別為ROIs1158_spring_s1_35、ROIs2017_winter_s1_37、ROIs1970_fall_s1_56、ROIs1868_summer_s1_113。將被選取的圖像重建后按照前文的格式裁剪圖像生成測試數(shù)據(jù)集。圖8為測試數(shù)據(jù)集在改進L2-Net模型下的匹配結(jié)果，表2為這4張圖片分別在無預(yù)處理、原始L2-Net和改進L2-Net模型下的橫向?qū)Ρ冉Y(jié)果。

圖8 改進的L2-Net在異源圖像上的匹配結(jié)果

表2 使用SEN1-2構(gòu)建的測試數(shù)據(jù)集在無預(yù)處理、原始L2-Net和改進L2-Net模型下的橫向?qū)Ρ?/p>

4 結(jié)語

本文在同源遙感匹配的研究基礎(chǔ)上使用遷移學(xué)習(xí)的方法使其適應(yīng)異源遙感匹配問題，并針對傳統(tǒng)異源遙感圖像匹配存在的問題提出改進。

（1）遙感圖像在獲取過程中常常會出現(xiàn)過暗、過亮、噪點等環(huán)境干擾問題，本文基于傳統(tǒng)的圖像處理方法增強原始圖像的全局對比度，消除了SAR圖像中的部分干擾，證明圖像預(yù)處理操作對模型識別精度、識別率存在較大改善。

（2）針對L2-Net網(wǎng)絡(luò)過淺、輸入尺寸過小的問題，本文改進其網(wǎng)絡(luò)結(jié)構(gòu)，使其能學(xué)習(xí)到更多特征，并通過實驗證明了這點。

（3）由于訓(xùn)練過程中存在部分圖像塊重疊的問題，本文基于SoftRegNet提出了精細標(biāo)簽損失函數(shù)，該方法通過計算圖像的空間距離損失來精細化負樣本的特征距離損失。除此之外，引入了困難樣本挖掘策略、平衡正負樣本數(shù)量，通過這種方法避免損失較小的樣本造成無效的梯度更新。

本文算法在使用SEN1-2數(shù)據(jù)集測試過程中發(fā)現(xiàn)，測試效果與自建數(shù)據(jù)集相比還有一定差距，考慮到二者圖像總體存在些許差別及自建數(shù)據(jù)集數(shù)據(jù)量較小的緣故，下一步工作中心將放在增大訓(xùn)練數(shù)據(jù)量、提高模型泛化能力上。