南 軻，齊 華,葉沅鑫

西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756

隨著遙感技術(shù)的發(fā)展，從遙感影像上獲取所需信息已經(jīng)成為一種非常重要的信息獲取手段。不同的衛(wèi)星傳感器對地觀測可以為同一地區(qū)提供多光譜、多時相、多分辨率的多模態(tài)遙感影像(光學(xué)、紅外、SAR等)。這些多模態(tài)遙感影像反映了地物的不同特征，能夠為地表監(jiān)測提供互補(bǔ)的信息，彌補(bǔ)單一影像源的不足，提高影像的信息量[1]。利用多模態(tài)遙感影像進(jìn)行數(shù)據(jù)分析和處理前，必須進(jìn)行嚴(yán)格的匹配或配準(zhǔn)。雖然目前的遙感影像利用軌道參數(shù)和嚴(yán)格幾何定位模型進(jìn)行粗糾正，可消除影像間的旋轉(zhuǎn)和尺度等幾何形變[2]，但是由于多模態(tài)影像間非線性輻射差異較大，即同一地物呈現(xiàn)出完全不同的灰度信息，導(dǎo)致同名點的匹配十分困難，所以多模態(tài)遙感影像的自動匹配仍然非常具有挑戰(zhàn)性。

目前，影像匹配方法大致可分為兩種，基于特征的方法和基于區(qū)域的方法[3-4]?；谔卣鞯姆椒ㄊ紫仁菍τ跋裉卣鬟M(jìn)行提取，再利用特征間的相似性進(jìn)行匹配。常見的特征包括點特征(Moravec算子[5]、Harris算子[6]等)、線特征[7](道路、建筑物的邊緣或輪廓)、面特征[8-9](湖泊、草地等)和局部不變性特征(SIFT特征[10-11]、Shape Context[12]等)。這些特征受影像間的非線性輻射差異影響較大，難以反映多模態(tài)影像間的共有屬性，特征檢測的重復(fù)率往往較低，從而導(dǎo)致匹配效率低下，不能較好應(yīng)用于多模態(tài)遙感影像的自動匹配[13]。

基于區(qū)域的方法也稱為模板匹配方法。首先在參考影像上選擇適當(dāng)尺寸的模板窗口，然后在待匹配影像的搜索域中利用某種相似性測度進(jìn)行匹配，選擇匹配窗口的中心作為同名點。常用的相似性度量有歸一化互相關(guān)(normalized cross correlation，NCC)[14]、互信息(mutual information，MI)[15]等。這些相似性測度直接利用影像灰度信息計算，對灰度信息變化敏感，受輻射差異影響較大，在多模態(tài)遙感影像匹配中表現(xiàn)不佳[16]。最近，有學(xué)者利用影像間的幾何結(jié)構(gòu)特征構(gòu)建相似性測度，該算法可以較好克服多模態(tài)影像間的輻射差異，獲得較高的匹配正確率，但是其提取的特征冗余，表達(dá)力不夠，而且當(dāng)影像的幾何結(jié)構(gòu)特征不夠豐富時，其匹配性能可能會有所下降[2]。

隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)方法已深入應(yīng)用于計算機(jī)視覺、圖像處理和大數(shù)據(jù)等方面。在影像匹配領(lǐng)域，目前已有學(xué)者利用深度學(xué)習(xí)方法開展相關(guān)研究。文獻(xiàn)[17]分析了不同神經(jīng)網(wǎng)絡(luò)模型用于影像匹配的性能，文獻(xiàn)[18]將空間尺度卷積層加入卷積神經(jīng)網(wǎng)絡(luò)，以加強(qiáng)整體網(wǎng)絡(luò)的抗尺度特性。文獻(xiàn)[19]利用卷積神經(jīng)網(wǎng)絡(luò)開展復(fù)雜背景條件下的影像匹配研究。目前大多數(shù)應(yīng)用深度學(xué)習(xí)的匹配研究采用的是基于特征的方法，即先利用特征提取算子在影像間檢測特征點，再利用深度學(xué)習(xí)技術(shù)構(gòu)建特征點的描述子，最后根據(jù)描述子之間的相似性識別同名點。由于首先要進(jìn)行特征點檢測，特征檢測的性能將大大地影響匹配效率?？紤]到多模態(tài)影像間顯著的輻射差異和噪聲干擾，特征檢測的重復(fù)率往往較低，即無法有效地檢測到共有特征，因此這些方法不能有效地應(yīng)用于多模態(tài)影像的匹配。

Siamese網(wǎng)絡(luò)(孿生網(wǎng)絡(luò))[20-21]是一種檢測圖像相似性的深度學(xué)習(xí)網(wǎng)絡(luò)模型。Siamese網(wǎng)絡(luò)具有深層次特征提取能力，被認(rèn)為是一種高效的深層網(wǎng)絡(luò)，并且它可以通過深層網(wǎng)絡(luò)學(xué)習(xí)來提取影像間的共有特征，提高影像在不同模態(tài)情況下的相似性檢測性能，能有效地抵抗影像間的非線性輻射差異。鑒于此，本文將Siamese網(wǎng)絡(luò)應(yīng)用于多模態(tài)遙感影像匹配，通過對其進(jìn)行優(yōu)化，使該網(wǎng)絡(luò)能有效地提取影像間的共有特征，然后采用模板匹配策略，避免特征檢測重復(fù)率的影響，來實現(xiàn)多模態(tài)遙感影像高精度匹配。

1 基于Siamese網(wǎng)絡(luò)的影像相似性檢測

Siamese網(wǎng)絡(luò)是一種提取訓(xùn)練樣本對的深層次特征用于影像相似性檢測的深度學(xué)習(xí)網(wǎng)絡(luò)模型。它包含兩個分支網(wǎng)絡(luò)和一個決策網(wǎng)，如圖1[17]所示。

圖1 Siamese網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Siamese network structure schematics

在Siamese網(wǎng)絡(luò)中，分支網(wǎng)絡(luò)包含卷積層、池化層、全連接層等，決策網(wǎng)絡(luò)可以是全連接層，也可以是某種相似性度量算法[17]。卷積層用于提取訓(xùn)練影像對的特征。池化層一方面可以非常有效地縮小矩陣尺寸，降低輸入影像或特征空間的空間分辨率，減少特征和參數(shù)，簡化網(wǎng)絡(luò)計算復(fù)雜度，提高計算速度；另一方面，池化層可以進(jìn)行特征壓縮，減少特征信息，提取主要特征，理想狀態(tài)下保留顯著特征，保持特征空間的某種不變性(平移、旋轉(zhuǎn)等)[22-23]。全連接層相當(dāng)于一個特征空間變換，可以把特征信息進(jìn)行整合，降低特征維數(shù)，再加上激活函數(shù)的非線性映射，多層(兩層及以上)全連接層理論上可以模擬任何非線性變換[23]。Siamese網(wǎng)絡(luò)是對影像對同時訓(xùn)練的網(wǎng)絡(luò)模型，兩個分支網(wǎng)絡(luò)的權(quán)值共享。它同時提取訓(xùn)練樣本對的深層次特征，然后根據(jù)特征相似性判斷影像是否相似。因此，Siamese網(wǎng)絡(luò)提取的深層次特征可反映影像間的共有屬性，深層次特征可看作樣本對的共有特征。傳統(tǒng)的Siamese網(wǎng)絡(luò)中包含池化層，這些網(wǎng)絡(luò)可以較好地應(yīng)用于基于特征的匹配方法。在模板匹配過程中，池化層減少特征信息，提取主要特征，保持的特征不變性會使Siamese網(wǎng)絡(luò)對小范圍偏移的影像相似性檢測不敏感，無法滿足模板匹配的逐像素滑動匹配的精度要求，造成匹配正確率降低。

本文在傳統(tǒng)Siamese網(wǎng)絡(luò)模型的基礎(chǔ)上構(gòu)建了一種影像相似性檢測模型。該網(wǎng)絡(luò)模型去除了特征提取過程中的池化層，將每一個卷積層生成的特征空間完整的表達(dá)并向下層傳遞，使模型提取的特征的空間信息更加完整，定位精度更高。該網(wǎng)絡(luò)模型可以有效地抵抗多模態(tài)遙感影像間非線性輻射差異和噪聲干擾，提取影像間共有特征的同時保證其定位精度，實現(xiàn)多模態(tài)遙感影像相似性的準(zhǔn)確檢測，并且滿足模板匹配的定位精度需求，模型如圖2所示。

圖2 本文網(wǎng)絡(luò)模型Fig.2 The proposed network model

該網(wǎng)絡(luò)模型的兩個分支網(wǎng)絡(luò)完全相同且權(quán)值共享，每個分支網(wǎng)絡(luò)包含兩部分，特征提取和特征降維，特征提取由6個卷積層組成，特征降維由3個全連接層組成，單個分支網(wǎng)絡(luò)如圖2所示。分支網(wǎng)絡(luò)的詳細(xì)參數(shù)如下

C(8,3,1)-Relu-BN(8)-C(16,7,1)-Relu-BN(16)-C(32,7,1)-Relu-BN(32)-C(128,7,1)-Relu-BN(128)-C(256,7,1)-Relu-BN(256)-C(64,7,1)-Relu-BN(64)-F(512)-Relu-F(512)-Relu-F(300)

式中，C(n,m,k)表示卷積層有n個卷積核，卷積核大小為m×m，步長為k；Relu表示激活函數(shù)為Relu激活函數(shù)；BN(n)表示n維樣本批量標(biāo)準(zhǔn)化；F(n)表示全連接層輸出為n維。

用于網(wǎng)絡(luò)模型訓(xùn)練的訓(xùn)練影像對可分為正樣本對和負(fù)樣本對，正負(fù)樣本對均有標(biāo)簽進(jìn)行區(qū)別。其中，正樣本對對應(yīng)標(biāo)簽為0，負(fù)樣本對對應(yīng)標(biāo)簽為1。訓(xùn)練損失函數(shù)如下[24]

(1)

(2)

在訓(xùn)練過程中，最小化來自正樣本對的損失函數(shù)值，最大化來自負(fù)樣本對的損失函數(shù)值，從而提取的共有特征對正負(fù)樣本對有很好的區(qū)分效果，進(jìn)而提高影像對相似性檢測的準(zhǔn)確性。當(dāng)樣本對導(dǎo)入該網(wǎng)絡(luò)模型后，分支網(wǎng)絡(luò)中卷積層提取樣本共有特征，全連接層將共有特征降維并以n維特征向量的形式表達(dá)。決策網(wǎng)絡(luò)以歐氏距離作為相似性度量，對訓(xùn)練樣本對提取的共有特征計算歐氏距離并輸出結(jié)果。根據(jù)歐氏距離的大小反映樣本之間的相似性。

在試驗過程中發(fā)現(xiàn)，特征降維會對匹配性能精度產(chǎn)生影響。筆者分析認(rèn)為，模板匹配過程中，全連接層破壞特征空間結(jié)構(gòu)，使特征信息丟失表達(dá)不全面，造成模板匹配正確率降低。因此，這里直接將網(wǎng)絡(luò)模型中特征提取的最后一層卷積層輸出的特征代入決策網(wǎng)絡(luò)中，以歐氏距離作為相似性度量，進(jìn)行模板匹配，取得了較高的匹配精度。下面通過對比試驗對此進(jìn)行分析。

圖3是本文方法與傳統(tǒng)Siamese網(wǎng)絡(luò)(包含一個池化層)的模板匹配正確率的進(jìn)行對比。由曲線可以看出，池化和特征降維均無法較好地應(yīng)用于模板匹配，池化和特征降維會使特征定位精度降低，特征信息表達(dá)不完整，曲線趨于平緩后匹配正確率分別為80%、9%。根據(jù)本文方法提取未降維特征的匹配正確率曲線在網(wǎng)絡(luò)模型訓(xùn)練12輪之后趨于平緩，匹配正確率穩(wěn)定在98%，更加適用于多模態(tài)遙感影像的匹配。

圖3 方法對比Fig.3 Comparison of the proposed method and traditional method

圖4是用于試驗的一對SAR和光學(xué)影像，模板尺寸為72×72像素，通過對比水平方向偏移的相似性曲線來說明降低特征矩陣分辨率(池化層)對匹配性能的影響。試驗過程中，傳統(tǒng)Siamese網(wǎng)絡(luò)采用一層最大池化層，池化窗口大小為2×2。從圖5中可以看出，池化層進(jìn)行特征壓縮，減少特征信息，提取主要特征，降低特征空間分辨率，保持特征空間不變性使網(wǎng)絡(luò)模型對逐像素滑動匹配敏感度降低，造成相似性曲線的峰值區(qū)域區(qū)分度不明顯，峰值無法出現(xiàn)在正確位置上。

圖4 試驗影像Fig.4 Experiment image

圖5 水平方向相似性曲線Fig.5 Horizontal similarity curves

2 多模態(tài)遙感影像模板匹配流程

利用上述優(yōu)化的Siamese網(wǎng)絡(luò)模型提取多模態(tài)遙感影像間的共有特征用于影像匹配。根據(jù)模板匹配的思想，在參考影像合適位置構(gòu)建匹配模板，在待匹配影像確定搜索域，隨后提取共有特征并計算二者的歐氏距離，搜索域中歐氏距離最小的位置便是匹配最佳的位置。本文提出的影像匹配方法分為兩個階段，模型訓(xùn)練階段和模板匹配階段。在模型訓(xùn)練階段，利用訓(xùn)練數(shù)據(jù)進(jìn)行模型訓(xùn)練。訓(xùn)練數(shù)據(jù)中正樣本對來自已經(jīng)配準(zhǔn)好的影像，負(fù)樣本對來自未配準(zhǔn)的影像。每對正負(fù)樣本對均包含獨立標(biāo)簽，用于網(wǎng)絡(luò)模型訓(xùn)練。在模板匹配階段，首先在參考影像中提取Harris特征點，確定模板區(qū)域，在輸入影像上確定搜索區(qū)域，利用訓(xùn)練好的網(wǎng)絡(luò)模型提取模板區(qū)域和搜索區(qū)域的共有特征并計算歐氏距離，將歐氏距離最小的位置作為最匹配點，直到所有特征點找到對應(yīng)的匹配點。匹配流程如圖6所示。

圖6 匹配流程Fig.6 Matching process

3 試 驗

本文進(jìn)行了多組試驗用于驗證本文方法性能，分別從匹配正確率、均方根誤差(root mean square error，RMSE)和相似性圖等方面進(jìn)行詳細(xì)評價和分析并與NCC、MI、表示幾何結(jié)構(gòu)相似性的HOPC(histogram of orientated phase congruency)[2]方法以及基于傳統(tǒng)Siamese網(wǎng)絡(luò)的深度學(xué)習(xí)方法進(jìn)行對比。試驗硬件平臺CPU為Inter(R) Xeon(R)E5-2640 v4 2.40 GHz，GPU為NVIDIA Tesla P40 24 GB,內(nèi)存為128 GB配置,采用PyTorch深度學(xué)習(xí)框架實現(xiàn)具體卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練和匹配試驗。

3.1 試驗準(zhǔn)備

本節(jié)共設(shè)置4組多模態(tài)遙感影像試驗，兩組試驗為光學(xué)和紅外遙感影像試驗，兩組試驗為光學(xué)和雷達(dá)遙感影像試驗(圖7)。每組數(shù)據(jù)都利用嚴(yán)格幾何定位模型和軌道參數(shù)進(jìn)行粗糾正，消除了影像間的旋轉(zhuǎn)和尺度等幾何形變，影像間僅存在一定量的平移差異。盡管如此，影像間仍然存在顯著的非線性輻射差異，匹配難度較大。具體試驗數(shù)據(jù)如表1所示。

表1 試驗數(shù)據(jù)介紹

圖7 試驗數(shù)據(jù)Fig.7 Experiment data

3.2 訓(xùn)練數(shù)據(jù)集準(zhǔn)備

準(zhǔn)備4組已配準(zhǔn)的多模態(tài)遙感影像數(shù)據(jù)，分別采集用于網(wǎng)絡(luò)模型訓(xùn)練和驗證的正負(fù)樣本對。樣本尺寸為65×65像素。每組正樣本對即相同位置的影像圖塊。每組負(fù)樣本對是隨機(jī)平移若干個像素模擬未配準(zhǔn)情況。每組樣本對賦予一對相同數(shù)字的標(biāo)簽用以區(qū)分。在試驗1中，用于訓(xùn)練的正負(fù)樣本對分別為59 535對和59 051對，用于驗證的正負(fù)樣本對分別為4990對和4980對。在試驗2中，用于訓(xùn)練的正負(fù)樣本對分別為62 500對和58 186對，用于驗證的正負(fù)樣本對分別為5300對和5152對。在試驗3中，用于訓(xùn)練的正負(fù)樣本對分別為60 577對和50 278對，用于驗證的正負(fù)樣本對分別為5530對和5400對。在試驗4中，用于訓(xùn)練的正負(fù)樣本對分別為56 147對和56 147對，用于驗證的正負(fù)樣本對分別為5210對和5330對。

3.3 模型訓(xùn)練

每組試驗網(wǎng)絡(luò)模型訓(xùn)練的過程相同。以試驗1數(shù)據(jù)為例，模型訓(xùn)練以64個樣本對為一組做批次訓(xùn)練，一輪訓(xùn)練需1852批次(根據(jù)樣本對數(shù)量而定)，模型訓(xùn)練的迭代輪數(shù)最大為50輪，當(dāng)每輪訓(xùn)練損失函數(shù)值之差小于0.001時停止訓(xùn)練。梯度優(yōu)化算法使用隨機(jī)梯度下降(stochastic gradient descent，SGD)，學(xué)習(xí)率為0.001。

3.4 性能對比

為了驗證本文方法的匹配性能，這里與其他模板匹配方法(NCC、MI、HOPC)在匹配正確率(容差為1.5個像素)、RMSE和相似性圖進(jìn)行結(jié)果對比和詳細(xì)分析。由于本文方法的訓(xùn)練樣本和匹配模板均使用65×65像素，為了保證不同方法性能對比的一致性和客觀性，其他模板匹配方法也使用相同尺寸的模板窗口。在匹配過程中，首先采用Harris特征點在參考影像上提取均勻分布[26]的200個特征點，然后在待匹配影像上確定21×21像素的搜索區(qū)域，并進(jìn)行模板匹配。

為了更直觀地定性比較幾種方法的匹配效果，本文將滑動匹配過程中計算得到的搜索域的歐氏距離可視化表達(dá)成相似性圖，將NCC、MI、HOPC和傳統(tǒng)Siamese網(wǎng)絡(luò)方法類似地進(jìn)行可視化表達(dá)。為了統(tǒng)一標(biāo)準(zhǔn)和便于比較，本文首先對不同數(shù)據(jù)歸一化處理然后再進(jìn)行可視化表達(dá)。相似性如圖8所示，自上至下分別為4組試驗，第1列為模板影像，第7列為待匹配影像，第2至6列分別為NCC、MI、HOPC、傳統(tǒng)Siamese網(wǎng)絡(luò)方法和本文方法的相似性圖。紅色表示相似性越高，藍(lán)色表示相似性越低。參考影像和待匹配影像是完全配準(zhǔn)的，因此當(dāng)模板滑動位于待匹配影像中心位置時，模板處于正確的匹配位置。從圖8中易看出，NCC、MI方法抵抗多模態(tài)影像非線性輻射差異效果不佳，未能找到正確匹配位置；HOPC方法和傳統(tǒng)Siamese網(wǎng)絡(luò)方法的匹配位置與中心位置有偏差，相似性圖存在雙峰或多峰或峰值不明顯，峰值范圍大；本文方法相似性圖清晰簡單，峰值位置處于搜索域中心位置，峰值范圍小，定位準(zhǔn)確，性能最優(yōu)。

圖8 相似性圖Fig.8 Similarity maps

表2中顯示了4組試驗不同方法的匹配正確率和RMSE?？傮w來看，NCC方法在4組試驗中匹配正確率最低。這是因為NCC方法對于影像間的灰度只具有線性不變性，當(dāng)輻射差異較大，尤其是非線性的輻射差異時，NCC方法通常不能得到滿意的匹配效果。MI方法匹配正確率雖優(yōu)于NCC方法，但整體匹配正確率較低，4組試驗中匹配正確率最高為40.5%，最低僅22%，無法滿足模板匹配的準(zhǔn)確率要求。這是因為MI方法是根據(jù)像元灰度值的概率分布計算信息熵實現(xiàn)匹配的，需要大量計算影像灰度直方圖，容易出現(xiàn)局部極值產(chǎn)生誤匹配現(xiàn)象[27]。HOPC方法利用影像間的幾何結(jié)構(gòu)信息，獲得較高的匹配正確率。但是，由于4組試驗影像的幾何結(jié)構(gòu)信息豐富程度不盡相同，4組試驗匹配正確率起伏較大，該方法同樣存在局限性?；趥鹘y(tǒng)Siamese網(wǎng)絡(luò)的深度學(xué)習(xí)方法由于網(wǎng)絡(luò)中存在池化層使得特征信息減少，特征定位精度降低，從而造成該方法匹配正確率較低。

表2 試驗結(jié)果對比

本文方法在匹配正確率上表現(xiàn)最佳，均保持95%以上的匹配正確率。這說明了本文方法通過對Siamese網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，可有效地提取多模態(tài)影像間的共有特征，增強(qiáng)了影像匹配的穩(wěn)健性。另外本文方法的RMSE最小，這說明本文方法的匹配精度最高。如圖9所示，本文方法的匹配點都非常正確地定位在多模態(tài)影像的同名區(qū)域。這些試驗表明了本文方法在匹配穩(wěn)定性和精確度方面都優(yōu)于其他4種方法，可有效地實現(xiàn)多模態(tài)遙感影像的自動匹配。

圖9 試驗結(jié)果Fig.9 Experiment results

4 結(jié) 論

針對多模態(tài)遙感影像匹配中非線性輻射差異引起的困難問題，本文將深度學(xué)習(xí)方法引入模板匹配中，構(gòu)建了一種提取影像間的共有特征的Siamese網(wǎng)絡(luò)模型，對此進(jìn)行優(yōu)化，使其適用于多模態(tài)遙感影像匹配。為了驗證本文方法的性能和表現(xiàn)，將其與NCC、MI、HOPC、基于傳統(tǒng)Siamese網(wǎng)絡(luò)的深度學(xué)習(xí)等方法進(jìn)行詳細(xì)的對比與分析，結(jié)果表明：本文方法在多組多模態(tài)遙感影像匹配試驗中匹配正確率最高，匹配精度較傳統(tǒng)的NCC、MI和傳統(tǒng)Siamese網(wǎng)絡(luò)方法有明顯提升，并且優(yōu)于目前精度較高的HOPC方法。這說明本文方法可以有效抵抗多模態(tài)遙感影像間輻射差異，獲得高精度的同名匹配點，從而獲得可靠的匹配精度。

由于本文方法需要事先人工配準(zhǔn)影像進(jìn)行訓(xùn)練數(shù)據(jù)的采集，因此，本文方法在模型訓(xùn)練階段較為耗時，存在局限性。此外，模型結(jié)構(gòu)仍有優(yōu)化空間，訓(xùn)練樣本的數(shù)量和質(zhì)量與匹配準(zhǔn)確度之間的關(guān)系還需要進(jìn)一步的探究。本文的試驗前提是利用衛(wèi)星影像的軌道參數(shù)和嚴(yán)格定位模型對其進(jìn)行粗糾正,消除影像間的旋轉(zhuǎn)和尺度差異。因此，對于具有顯著旋轉(zhuǎn)和尺度變化的多模態(tài)數(shù)據(jù)的匹配，有待進(jìn)一步研究。