安譜陽，何海清，周俊超

(東華理工大學(xué)測繪工程學(xué)院，330013，南昌)

0 引言

衛(wèi)星遙感影像匹配在自然災(zāi)害評估、軍事災(zāi)害評估、地面目標(biāo)識別等軍事和民用領(lǐng)域有著重要意義，處理衛(wèi)星影像的關(guān)鍵和難點(diǎn)之一是進(jìn)行多時相遙感影像間的匹配[1－2]，衛(wèi)星遙感影像通常受到復(fù)雜背景變化的影響?，F(xiàn)有的匹配方法主要為基于灰度和基于特征的方法[3]。較常用的方法有尺度不變特征轉(zhuǎn)換(Scale－invariant feature transform，SIFT)[4]、基于多尺度邊緣特征的旋轉(zhuǎn)和尺度不變形狀上下文[5]和基于深度學(xué)習(xí)的影像匹配方法等[6－8]。然而，這些方法在對于具有復(fù)雜背景變化的遙感影像匹配難以獲取理想的同名點(diǎn)[6，9]。

為實現(xiàn)復(fù)雜背景下多時相遙感影像穩(wěn)健匹配，本文提出一種基于Siamese深度網(wǎng)絡(luò)框架，通過深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式抽取影像塊之間非線性、深層次、抽象的高級特征，以適應(yīng)復(fù)雜背景變化下的多時相遙感影像匹配。

1 深度網(wǎng)絡(luò)驅(qū)動的影像匹配

Siamese卷積神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)直接影響相似性學(xué)習(xí)的性能。在該研究中，深度網(wǎng)絡(luò)的架構(gòu)根據(jù)影響匹配性能的因素設(shè)計。復(fù)雜的背景變化可以簡化為小的旋轉(zhuǎn)和平移、非線性幾何變形、陰影、圖像質(zhì)量下降和土地覆蓋變化等類型的因素。

本文所提出的匹配框架主要包括3個步驟:Siamese網(wǎng)絡(luò)訓(xùn)練、亞像素Harris角點(diǎn)檢測、影像塊匹配。在訓(xùn)練階段，從參考影像中提取輸入影像塊。每個通道為提取特征設(shè)置了6個卷積層。在卷積層1和2的之間設(shè)置一個池化層，2個通道共享相同的權(quán)重。一個點(diǎn)積層和一個全連接層構(gòu)成相似性度量。由Sigmoid函數(shù)給出0～1之間的匹配概率定義相似度，其中1和0分別對應(yīng)于匹配和不匹配目標(biāo)輸出值。通過匹配和不匹配的標(biāo)記示例訓(xùn)練Siamese網(wǎng)絡(luò)，見圖1。

圖1 Siamese卷積神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)

在訓(xùn)練網(wǎng)絡(luò)的匹配階段中，將參考和待匹配影像劃分為具有固定大小的網(wǎng)格，并且從每個網(wǎng)格提取多個亞像素Harris角。隨后，建立高斯金字塔，通過Siamese網(wǎng)絡(luò)提取深度特征，同步執(zhí)行多尺度相似性度量。最后，利用幾何約束來去除基于全局二次二項式函數(shù)的異常值，見圖2。

圖2 提出的匹配框架的示意圖

本文利用基于高斯金字塔的方法從粗到精來剔除誤匹配。

粗匹配:基于匹配概率η(m)和不匹配概率η(nm)的差異來定義影像塊相似度，，表示待匹配影像中的第a個影像塊與參考影像中的第b個影像塊的最大差異。該定義滿足等式(1)中的約束。

其中，R是比率閾值，設(shè)定為0.6。

多尺度共軛點(diǎn)精匹配:使用基于Harris算法的快速點(diǎn)定位方法，僅選擇粗共軛角以找到精確的點(diǎn)位置。通過組合多項式和Random Sample Consensus(RANSAC)算法以消除粗差值。然而，不同地形或土地覆蓋的局部幾何變形并不一致，需要從高斯金字塔頂層到底層實現(xiàn)從整體到局部的粗差剔除。主要步驟如下。

步驟1:使用幾何變換和RANSAC為高斯金字塔頂層找到正確的匹配集CMS。

步驟2:在下一個高斯金字塔層中，使用局部多項式驗證所有初始匹配。如圖3所示，選擇初始匹配(A1，A2)的6個正確匹配以求解局部多項式系數(shù)，并且用A1預(yù)估點(diǎn)。如果的誤差小于三次標(biāo)準(zhǔn)差，那么認(rèn)定(A1，A2)為一對正確匹配并保存在集合CMS中。

步驟3:重復(fù)步驟2，直到完成所有高斯金字塔圖層的驗證任務(wù)。

在驗證中，如果在點(diǎn)周圍找到多于6個匹配，則選擇等式(2)的二次多項式以適合局部幾何變換;否則，就選擇等式(3)的仿射變換以描述局部幾何變換。

其中:(x1，y1)和(x2，y2)分別是參考和待匹配影像中匹配的坐標(biāo)，而a1，a2，...，a6和b1，b2，...，b6是多項式系數(shù)。

其中:(x1，y1)和(x2，y2)分別是參考和待匹配影像中匹配的坐標(biāo)，而c1，c2，c3和d1，d2，d3是仿射變換的系數(shù)。

圖3 局部粗差剔除，(A1，A2)表示參考影像和待匹配影像的初始匹配

2 實驗與分析

訓(xùn)練數(shù)據(jù)集是從worldview2和quickbird衛(wèi)星影像中提取總共80 000對96×96像素大小的影像塊。為避免影像旋轉(zhuǎn)、高斯模糊和仿射變換帶來的過度擬合，又?jǐn)U充了240 000對影像塊。實驗數(shù)據(jù)為每組各選取一張2013年和2018年同一位置的衛(wèi)星影像，影像分辨率均為1 604×876，空間分辨率根據(jù)背景復(fù)雜程度分別在0.59～2.38之間，數(shù)據(jù)包括河流、海岸線、農(nóng)田、山脈和農(nóng)村地區(qū)的建筑物，每組數(shù)據(jù)均包含不同周期、比例、照明、陰影和土地覆蓋變化等要素。圖4為本文的4對實驗影像。

圖4 匹配實驗影像

通過隨機(jī)高斯分布對權(quán)重進(jìn)行初始化[10]。動量和重量衰減分別設(shè)定為0.9和0.000 5并降低學(xué)習(xí)率以加速訓(xùn)練并獲得良好的表現(xiàn)。在該研究中，采用分段函數(shù)來調(diào)整學(xué)習(xí)率。初始學(xué)習(xí)率設(shè)置為0.01，然后逐漸降低，具體公式如(4)所示:

iter表示迭代次數(shù)，Piter表示iterth迭代的學(xué)習(xí)速率，根據(jù)以前的學(xué)習(xí)速率Piter－1迭代;%是計算余數(shù)的運(yùn)算符;通過對實驗的觀察，在每100次迭代的基礎(chǔ)上降低學(xué)習(xí)率，可以實現(xiàn)最優(yōu)收斂;α是常量，設(shè)置為0.75。

圖5為線性整流函數(shù)(Rectified Linear Uni，ReLU)激活后Siamese神經(jīng)網(wǎng)絡(luò)的部分卷積層(卷積層1－卷積層3)的可視化特征。可見，在卷積層1中提取了低級紋理信息，并且在深度卷積層中提取了許多高級語義特征。對于所有影像對，每個卷積層中的2個特征映射是相似的，表明該網(wǎng)絡(luò)框架適用于復(fù)雜背景變化的影像特征提取。

圖5 Siamese深度網(wǎng)絡(luò)特征可視化示例

為進(jìn)一步對本文方法進(jìn)行評價，采用主流的SIFT和相位一致性(phase congruency，PC)匹配方法進(jìn)行比較，這3種方法的正確匹配數(shù)CM，匹配精度MA統(tǒng)計值見表1，CM與MA計算公式如(5)所示:

式中總匹配數(shù)為TMN。

表1 具有復(fù)雜背景變化的遙感影像的每種方法的NCM和MP值

實驗結(jié)果表明，當(dāng)使用具有復(fù)雜背景變化的多時相遙感影像時，提出的框架在匹配性能方面有著更顯著的改進(jìn)。原因主要是通過網(wǎng)絡(luò)訓(xùn)練獲得的深度和抽象特征比手動設(shè)計的特征更加突出;其次，網(wǎng)格化亞像素Harris算子可以找到均勻分部的角點(diǎn)，定位精度高。最后，基于高斯金字塔耦合四叉樹結(jié)合粗差點(diǎn)剔除與由粗到精的的搜索策略可以提高同名點(diǎn)的可靠性。

3 結(jié)論

本文提出的基于Siamese深度網(wǎng)絡(luò)匹配框架，在匹配具有復(fù)雜背景變化的多時相衛(wèi)星遙感影像中，該方法的正確匹配數(shù)是其他2種方法的2～8倍，匹配精度高于其他方法12%～60%。該框架對具有復(fù)雜背景變化的長間隔多時相遙感影像具有較高的匹配能力，匹配同名點(diǎn)數(shù)量多、分布均勻，可滿足匹配模型解算需要。對遙感影像數(shù)據(jù)獲取、圖像融合、圖像識別、邊緣檢測和遙感數(shù)據(jù)整合集成等領(lǐng)域有著重要意義。