許東麗 胡忠正

基于深度學(xué)習(xí)特征提取的遙感影像配準(zhǔn)

許東麗1胡忠正2

（1 中國地質(zhì)大學(xué)（北京），北京 100083）（2 中國資源衛(wèi)星應(yīng)用中心，北京 100094）

傳統(tǒng)的影像配準(zhǔn)算法，如尺度不變特征變換（SIFT）、加速穩(wěn)健特征（SURF）等，對遙感衛(wèi)星影像配準(zhǔn)存在提取特征點少、錯誤匹配多等缺點。文章使用數(shù)據(jù)驅(qū)動的隨機特征選擇卷積神經(jīng)網(wǎng)絡(luò)（RanSelCNN）方法，對Landsat-8衛(wèi)星不同時相或同一時相具有重疊度的遙感影像進行配準(zhǔn)，卷積層使用隨機特征選擇，增加特征提取的魯棒性；訓(xùn)練時使用聯(lián)合損失函數(shù)，同時對特征探測器和特征描述符進行優(yōu)化，減少特征的錯誤匹配。結(jié)果表明：基于隨機選擇的深度神經(jīng)網(wǎng)絡(luò)的遙感影像配準(zhǔn)能提取更多的特征點，有效降低錯誤匹配率。與傳統(tǒng)的人工設(shè)計特征相比，該算法能明顯提高衛(wèi)星影像配準(zhǔn)的精度。

數(shù)據(jù)驅(qū)動 深度神經(jīng)網(wǎng)絡(luò) 隨機選擇 特征提取 影像配準(zhǔn) 衛(wèi)星遙感

0 引言

圖像配準(zhǔn)技術(shù)近年來發(fā)展迅速，在軍事、遙感、醫(yī)學(xué)、計算機視覺等領(lǐng)域得到了廣泛應(yīng)用。配準(zhǔn)主要包括預(yù)處理、特征提取、特征匹配、變換參數(shù)求解4個步驟，其中最重要的兩步為特征提取和特征匹配。

遙感影像配準(zhǔn)是遙感圖像處理的重要研究內(nèi)容，也是圖像融合、目標(biāo)變化檢測和識別、拼接等過程必不可少的步驟，準(zhǔn)確的配準(zhǔn)能為后續(xù)的影像處理提供良好的基礎(chǔ)?，F(xiàn)有的配準(zhǔn)方法主要是傳統(tǒng)的基于人工設(shè)計特征的方法，如尺度不變特征變換（Scale-invariant Feature Transform，SIFT）[1]、加速穩(wěn)健特征（Speeded Up Robust Features，SURF）[2]等，在處理簡單的小區(qū)域普通圖像時，配準(zhǔn)結(jié)果較好。然而，遙感影像獲取范圍較大，地物復(fù)雜多變且圖像內(nèi)容難理解、目標(biāo)特征不明顯，傳統(tǒng)的配準(zhǔn)方法在遙感圖像中適用范圍較窄，無法預(yù)知不可控的遙感圖像變化，不能提取到具有判別性的特征。

近年來，深度學(xué)習(xí)技術(shù)不斷進步，數(shù)據(jù)處理能力不斷提升，其代表算法之一卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）具有較強的特征提取能力，能準(zhǔn)確、高效地提取高層語義特征，被廣泛應(yīng)用于計算機視覺、醫(yī)學(xué)影像處理和遙感影像處理領(lǐng)域。因此本文將利用深度學(xué)習(xí)的方法對遙感影像進行配準(zhǔn)，將卷積神經(jīng)網(wǎng)絡(luò)用于影像配準(zhǔn)過程中的特征提取和匹配，使用隨機選擇增加網(wǎng)絡(luò)特征提取的魯棒性；同時訓(xùn)練探測器和特征描述符，增加配準(zhǔn)精度。

1 基于人工特征的匹配算法

傳統(tǒng)的基于人工特征的圖像配準(zhǔn)方法是目前各領(lǐng)域最為常用的方法，它不使用整張圖像的信息，而是提取特征，大大降低了計算量；另外，該方法具有旋轉(zhuǎn)、平移和尺度不變的特征，具有較好的魯棒性?；谔卣鞯呐錅?zhǔn)方法主要有SIFT，SURF，其中最常用的方法是SIFT算法。SIFT算法使用高斯差分空間（Difference-of-Gaussian，DOG）探測關(guān)鍵點，形成128維的特征描述符，通過計算這些特征描述符的歐式距離得到匹配的特征，最后利用隨機抽樣一致性（Random Sample Consensus，RANSAC）剔除錯誤匹配點。

SIFT算法的主要步驟為：

1）檢測尺度空間極值點，初步確定關(guān)鍵點的位置和所在尺度，尺度空間由一個變化尺度的高斯函數(shù)與原圖像卷積得到，

2）精確確定關(guān)鍵點的位置。將步驟1）初步確定的離散空間極值點進行插值，獲得關(guān)鍵點的精確位置；同時剔除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點。

3）分配關(guān)鍵點方向。

4）生成關(guān)鍵點描述子，即128維特征描述向量。

5）采用關(guān)鍵點特征向量的歐式距離作為兩幅圖像中關(guān)鍵點的相似性判定準(zhǔn)則，找到SIFT匹配點。

基于特征的配準(zhǔn)算法在計算量和魯棒性方面表現(xiàn)較好，但同樣存在一些問題：1）依賴人工設(shè)計的特征，費時費力，且需要強大的專業(yè)知識；2）SIFT特征是一些細小的、低水平的特征，不具有豐富的語義信息；3）特征提取和特征匹配之間沒有信息的反饋，使得特征提取算子不能根據(jù)待配準(zhǔn)的圖像進行自適應(yīng)的調(diào)節(jié)。

針對以上三個問題，本文提出了基于深度學(xué)習(xí)的影像配準(zhǔn)方法，與傳統(tǒng)的SIFT方法類似，同樣分為特征提取和特征匹配兩步，不同的是本文的特征提取和特征匹配均利用深度神經(jīng)網(wǎng)絡(luò)完成。

2 基于深度學(xué)習(xí)的影像配準(zhǔn)

2.1 卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)網(wǎng)絡(luò)中，卷積神經(jīng)網(wǎng)絡(luò)CNN在特征提取方面表現(xiàn)優(yōu)異，與全連接網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了權(quán)值共享，加上不斷增大的感受野使其更適于圖像處理。卷積神經(jīng)網(wǎng)絡(luò)特征提取過程主要包括卷積、非線性激活、池化、全連接。具體結(jié)構(gòu)如圖1所示。

圖1 卷積網(wǎng)絡(luò)結(jié)構(gòu)示意

卷積層利用多個固定大小的權(quán)重窗口（即卷積核），對影像像素進行內(nèi)積運算，其輸出是提取的特征之一，卷積運算表示為

(l)=*(l)+(l)（2）

圖2 三種典型的激活函數(shù)

非線性激活層利用激活函數(shù)將卷積運算得到的數(shù)據(jù)進行非線性激活，激活函數(shù)主要有sigmoid，tanh，ReLU等（見圖2）。本文使用ReLU，其作用是使網(wǎng)絡(luò)在層數(shù)加深的同時，增加其特征提取能力。激活過程可表示為

池化層通過下采樣方式，對非線性激活后的特征圖進行壓縮，一方面使特征圖變小，簡化網(wǎng)絡(luò)計算復(fù)雜度；一方面進行特征壓縮，提取主要特征。下采樣過程利用特征層與下采樣窗口做Kronecker乘積實現(xiàn)，即

全連接層主要對網(wǎng)絡(luò)提取的特征進行整合，并輸入分類器進行分類，實現(xiàn)過程為

2.2 基于隨機選擇的卷積神經(jīng)網(wǎng)絡(luò)特征提取

2.2.1 卷積神經(jīng)網(wǎng)絡(luò)特征提取

卷積神經(jīng)網(wǎng)絡(luò)具有特征提取能力，該過程主要靠對圖像進行卷積運算（見式（2））和非線性激活（見式（3））實現(xiàn)，經(jīng)過淺層的卷積運算和函數(shù)激活，可突出影像的特征（見圖3），如角點、邊界、紋理、顏色等，這些特征和人工提取的特征類似，是一些基本的具有可視化的低維特征；隨著網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)的感受野不斷增大，許多低維的局部特征組合成高維的全局特征。與低維特征相比，高維特征代表了影像更細節(jié)、更具有差異性的特征。

圖3 卷積計算與激活示意

通過卷積、激活、池化過程的不斷疊加，使得卷積神經(jīng)網(wǎng)絡(luò)能提取出衛(wèi)星影像的特征，作為特征匹配的候選點。本文使用ZHUOQIAN YANG[3]等人提出的簡化VGG16網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 簡化的特征提取網(wǎng)絡(luò)結(jié)構(gòu)

在淺層（如1，2層）時，網(wǎng)絡(luò)提取的是相對均勻的低維特征，隨著網(wǎng)絡(luò)層數(shù)增加特征更加抽象，這些抽象特征就是由許多低維特征組成的高維特征。

在影像配準(zhǔn)中，僅提取低維特征可使特征點數(shù)量增多，而且在影像相似的情況下，會增加特征匹配的難度，因為，這樣可能將許多特征相似的不同點匹配為同一點，導(dǎo)致錯誤匹配。這時需要增加網(wǎng)絡(luò)層數(shù)，提取更具代表性的高維特征，但是僅僅增加網(wǎng)絡(luò)層數(shù)會導(dǎo)致最終提取的特征點數(shù)量驟減，降低配準(zhǔn)精度。因此，本文提出使用隨機選擇隱藏特征的神經(jīng)網(wǎng)絡(luò)RanSelCNN，實現(xiàn)網(wǎng)絡(luò)在提取低維和高維特征上的平衡，有效解決特征點量和質(zhì)之間的平衡。

2.2.2 基于隨機選擇的特征提取

隨機選擇卷積神經(jīng)網(wǎng)絡(luò)最早用于弱監(jiān)督語義分割[4]，本文第一次將它運用于衛(wèi)星影像配準(zhǔn)。其基本操作是：在卷積特征層隨機選擇隱藏單元傳入下一層網(wǎng)絡(luò)，結(jié)合式（3），該過程可表示為

式中 表示隨機選擇隱藏單元；為經(jīng)過隨機選擇的特征非線性激活值。

隨機特征選擇與深度學(xué)習(xí)中的空洞卷積[5]和Dropout[6]方法相似，但不相同?？斩淳矸e通過不同的擴張率形成不同感受野的卷積核，對影像進行卷積操作，但每次擴張率是固定的，并且不同的擴張率需要單獨訓(xùn)練，而本文提出的隨機選擇不需要單獨訓(xùn)練。Dropout方法在特征層傳入下一層之前，以一定的概率將特征層的元素置零，被置零的元素將無法參與后續(xù)的卷積以及后向傳播計算，而本文的隨機選擇不會將元素置零，只在特定層選擇將要傳入下一層的元素，沒被選擇的特征元素在下一層仍有被選擇的機會。

運用特征隨機選擇，可以將影像具有識別性和非識別性的特征進行整合，得到低維和高維特征的結(jié)合，在影像配準(zhǔn)中表現(xiàn)為：保證特征點數(shù)量的同時，提高特征點的準(zhǔn)確度，降低后續(xù)的匹配難度。

2.3 基于卷積神經(jīng)網(wǎng)絡(luò)的特征匹配

2.3.1 匹配網(wǎng)絡(luò)結(jié)構(gòu)

較早的基于深度學(xué)習(xí)的影像配準(zhǔn)網(wǎng)絡(luò)如MatchNet[7]等，在特征提取后建立單獨的度量網(wǎng)絡(luò)來衡量特征的相似度，使得網(wǎng)絡(luò)能夠?qū)W習(xí)到具有高穩(wěn)定性的特征表達，但這降低了網(wǎng)絡(luò)的多樣性，同時增加了網(wǎng)絡(luò)復(fù)雜度。因此，本文使用與L2-Net[8]相似的網(wǎng)絡(luò)結(jié)構(gòu)（如圖6所示）學(xué)習(xí)特征表達，與MatchNet網(wǎng)絡(luò)相比，減少了度量網(wǎng)絡(luò)結(jié)構(gòu)，使網(wǎng)絡(luò)可以在不使用單獨度量網(wǎng)絡(luò)的情況下，學(xué)習(xí)高性能特征。

圖6 特征匹配網(wǎng)絡(luò)結(jié)構(gòu)

本文特征匹配網(wǎng)絡(luò)通過輸入32像素×32像素大小的特征影像，最終得到128維的特征向量，與MatchNet相比，沒有在特征提取網(wǎng)絡(luò)與特征匹配網(wǎng)絡(luò)中間使用相似性度量網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)的復(fù)雜度。

2.3.2 損失函數(shù)

在影像配準(zhǔn)中，特征提取的結(jié)果直接影響特征匹配的精度，這種影響是正向不可逆的。并且許多深度學(xué)習(xí)影像配準(zhǔn)網(wǎng)絡(luò)將特征提取和特征匹配分為兩部分進行訓(xùn)練，使用不同的損失函數(shù)分開優(yōu)化，使得兩者之間沒有信息的反饋，影響匹配結(jié)果。本文使用聯(lián)合損失函數(shù)將特征提取和特征匹配網(wǎng)絡(luò)結(jié)合起來，使特征匹配的結(jié)果反饋到特征提取網(wǎng)絡(luò)，參與優(yōu)化，增加特征提取的魯棒性，這部分損失稱為特征提取損失。對于匹配網(wǎng)絡(luò)，為了提高匹配速度，運用RF-Net[9]提出的基于鄰域掩模的匹配損失。

（1）特征提取損失函數(shù)

（2）特征匹配損失函數(shù)

（10）

式中表示圖片對中心點的歐式距離；為歐氏距離閾值。式（11）-（13）表示：當(dāng)尋找非正確匹配圖片對時，將特征向量差異性度量值和特征點之間的歐式距離均不大于閾值的圖片對進行掩模。

2.4 基于RanSelCNN的影像配準(zhǔn)

圖7 本文基于深度學(xué)習(xí)的影像配準(zhǔn)網(wǎng)絡(luò)整體結(jié)構(gòu)

3 試驗驗證

本文試驗分為兩部分：配準(zhǔn)網(wǎng)絡(luò)訓(xùn)練、配準(zhǔn)結(jié)果預(yù)測。網(wǎng)絡(luò)訓(xùn)練主要分兩步進行：1）使用UBC數(shù)據(jù)集進行提取網(wǎng)絡(luò)預(yù)訓(xùn)練；2）使用Landsat-8衛(wèi)星數(shù)據(jù)集進行網(wǎng)絡(luò)微調(diào)，最終得到訓(xùn)練好的配準(zhǔn)網(wǎng)絡(luò)。結(jié)果預(yù)測使用訓(xùn)練好的配準(zhǔn)網(wǎng)絡(luò)對影像進行特征提取和特征匹配，統(tǒng)計提取特征點數(shù)量以及匹配準(zhǔn)確度，同時將結(jié)果分別與傳統(tǒng)的特征匹配算法BRISK、SURF、FAST以及基于深度學(xué)習(xí)的非隨機選擇CNN做對比，得出試驗結(jié)論。

圖8 UBC數(shù)據(jù)集示意

3.1 試驗數(shù)據(jù)集

預(yù)訓(xùn)練數(shù)據(jù)集：本文使用UBC數(shù)據(jù)集對特征提取網(wǎng)絡(luò)進行預(yù)訓(xùn)練。UBC數(shù)據(jù)集是MatchNet[7]網(wǎng)絡(luò)的訓(xùn)練集，由Winder等人制作，用于訓(xùn)練特征提取器。如圖8所示，該數(shù)據(jù)具有150萬個帶有標(biāo)簽的補?。╬atch）數(shù)據(jù)[10]，使用DOG算子和Harris算子提取得到。UBC數(shù)據(jù)集有三個子數(shù)據(jù)集：Liberty、Notredame、Yosemite，分別有450×103，468×103，634×103組帶有標(biāo)簽的patch數(shù)據(jù)。

網(wǎng)絡(luò)微調(diào)：本文的研究目的是對衛(wèi)星影像進行配準(zhǔn)，而UBC數(shù)據(jù)集是普通近景影像，因此通過制作衛(wèi)星影像數(shù)據(jù)集對網(wǎng)絡(luò)進行微調(diào)訓(xùn)練。衛(wèi)星影像使用地面分辨率為30m的Landsat-8多光譜影像。衛(wèi)星影像數(shù)據(jù)集通過傳統(tǒng)SIFT算法提取特征點，并以特征點為中心，截取32像素× 32像素的小圖片作為訓(xùn)練集。與UBC數(shù)據(jù)集相同，分別制作正確匹配對和錯誤匹配對，作為網(wǎng)絡(luò)微調(diào)數(shù)據(jù)集。匹配對中包含了遙感影像配準(zhǔn)任務(wù)需要解決的光線明暗變化、角度變化等問題。樣本圖像如圖9所示。

圖9 Landsat-8樣本

3.2 試驗結(jié)果

（1）基于RanSelCNN的特征提取結(jié)果

本文使用基于隨機選擇的RanSelCNN網(wǎng)絡(luò)對影像特征進行提取，將提取結(jié)果與傳統(tǒng)特征提取算法BRISK[11]、SURF[12]、FAST[13]以及非隨機選擇的提取網(wǎng)絡(luò)進行對比，試驗結(jié)果如圖10及表1所示。

圖10 五種方法特征提取結(jié)果

表1 五種方法提取特征點數(shù)量對比表

Tab.1 Comparison of the number of feature points extracted by five methods

結(jié)果表明，在特征點數(shù)量方面，基于卷積神經(jīng)網(wǎng)絡(luò)的兩種方法優(yōu)于傳統(tǒng)BRISK，SURF，F(xiàn)AST特征探測方法；隨機選擇的特征提取方法整合了低維和高維特征，特征點總體數(shù)量比非隨機選擇的方法少。

（2）特征匹配結(jié)果

使用本文提出的匹配方法與上述提取特征點較多的BRISK方法以及非隨機選擇的方法做對比，分別設(shè)計兩組試驗：①對同一時期具有重疊度的影像進行配準(zhǔn)；②對同一地區(qū)不同時期（2018年5月23日和2019年1月18日）的Landsat-8影像進行配準(zhǔn)。試驗結(jié)果如圖11~12及表2~3所示。

圖12 三種方法對同一地區(qū)不同時期的衛(wèi)星影像配準(zhǔn)

表2 三種方法配準(zhǔn)精度統(tǒng)計（對同一時期具有重疊度的影像）

Tab.2 The registration accuracy of the three methods（images with overlapping areas at the same time）

表3 三種方法配準(zhǔn)精度統(tǒng)計（對同一地區(qū)不同時期的影像）

Tab.3 The registration accuracy of the three methods（images of the same region at the different time）

由圖11和表2可得，傳統(tǒng)的BRISK方法匹配的特征點對最少，非隨機選擇的方法匹配的特征點對最多，但存在較多的錯誤匹配，降低了配準(zhǔn)精度。而本文提出的基于隨機選擇的RanSelCNN方法表現(xiàn)較好，匹配的特征點對較多，且錯誤匹配少。

對圖2及表3分析可得，由于不同時期的影像在像元灰度值方面差異較大，導(dǎo)致傳統(tǒng)的BRISK方法無法對影像進行配準(zhǔn)，基于深度學(xué)習(xí)的方法有效克服了時相不同造成的差異。但非隨機選擇的方法存在大量的錯誤匹配，效果不如本文的RanSelCNN方法。

從試驗結(jié)果可以看出，RanSelCNN方法對衛(wèi)星影像進行配準(zhǔn)時，能克服衛(wèi)星影像存在的各類常見的差異和變化，提取較多的特征點，同時保證了特征點的位置準(zhǔn)確度，提高了影像配準(zhǔn)精度。

4 結(jié)束語

本文提出了基于數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)方法對衛(wèi)星影像進行配準(zhǔn)，與現(xiàn)存的匹配算法相比，本文的算法在特征選擇、網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)三個方面進行改進，主要表現(xiàn)為：1）使用隨機隱藏單元選擇的RanSelCNN對衛(wèi)星影像進行特征提取，增加了特征提取的魯棒性；2）在網(wǎng)絡(luò)結(jié)構(gòu)方面，去掉了深度學(xué)習(xí)配準(zhǔn)方法常用的相似性度量網(wǎng)絡(luò)，降低網(wǎng)絡(luò)復(fù)雜度；3）在網(wǎng)絡(luò)訓(xùn)練方面，使用聯(lián)合損失函數(shù)使特征匹配對特征提取進行信息反饋。

使用本文的方法對Landsat-8影像進行配準(zhǔn)時，得到了較高的配準(zhǔn)精度，表明基于深度學(xué)習(xí)的方法用于衛(wèi)星影像處理是可行的。未來的影像配準(zhǔn)研究，會由同源向多源發(fā)展，不同傳感器數(shù)據(jù)[14]以及不同分辨率數(shù)據(jù)的配準(zhǔn)將是研究的難點和重點，屆時，基于深度學(xué)習(xí)的研究方法如生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）[15]等將發(fā)揮更大的作用。同時，在匹配時間方面，基于深度學(xué)習(xí)的方法可使用GPU并行計算，大大提高了配準(zhǔn)效率。

[1] LOWE D G. Object Recognition from Local Scale-Invariant Features[C]//Proceedings of 7th IEEE International Conferences on Computer Vision. [S.l.]: IEEE, 1999: 1150-1157.

[2] 年華, 孫立, 于艷波. Harris-Laplace結(jié)合SURF的遙感圖像匹配拼接方法[J]. 航天返回與遙感, 2016, 37(6): 95-101. NIAN Hua, SUN Li, YU Yanbo. Remote Sensing Image Matching and Mosaic Based on Harris-Laplace Combined with Scale-Invariant Algorithm[J]. Spacecraft Recovery & Remote Sensing, 2016, 37(6): 95-101. (in Chinese)

[3] YANG Zhuoqian, DAN Tingting, YANG Yang. Multi-temporal Remote Sensing Image Registration Using Deep Convolutional Features[J]. IEEE Access, 2018, 2853100: 1-1.

[4] LEE J, KIM E, LEE S, et al. FickleNet: Weakly and Semi-supervised Semantic Image Segmentation Using Stochastic Inference[C]//2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-20, 2019, Long Beach, CA.

[5] WEI Yunchan, XIAO Huaxin, SHI Hinghui, et al. Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-22, 2018, Salt Lake City.

[6] NITISH S, GEOFFREY H, ALEX K, et al. Dropout: A Simple Way to Prevent Neural Networks from Overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[7] HAN X F, LEUNG T, JIA Y Q, et al. MatchNet: Unifying Feature and Metric Learning for Patch-based Matching[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA: IEEE, 2015.

[8] TIAN Yurun, FAN Bin, WU Fuchao. L2-Net: Deep Learning of Discriminative Patch Descriptor in Euclidean Space[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Hawaii.

[9] SHEN X L, WANG C, LI X, et al. RF-Net: An End-to-End Image Matching Network based on Receptive Field[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-20, 2019, Long Beach, CA.

[10] BALNTAS V, LENC K, VEDALDI A, et al. Hpatches: A benchmark and Evaluation of Handcrafted and Learned Local Descriptors[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Hawaii.

[11] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]// Proceedings of IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011.

[12] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up Robust Features (SURF)[J]. Computer Vision & Image Understanding, 2008, 110(3): 346-359.

[13] LIU W Y, LI H, ZHU G X. A Fast Algorithm for Corner Detection Using the Morphologic Skeleton[J]. Pattern Recognition Letters, 2001, 22(8): 891-900.

[14] 王忠武, 劉順喜, 戴建旺, 等. “高分二號”衛(wèi)星多光譜與全色影像配準(zhǔn)策略[J]. 航天返回與遙感, 2015, 36(4): 48-53. WANG Zhongwu, LIU Shunxi, DAI Jianwang , et al. Registration Strategy for GF-2 Satellite Multispectral and Panchromatic Images[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(4): 48-53. (in Chinese)

[15] GOODFELLOW I. NIPS 2016 Tutorial: Generative Adversarial Networks[EB/OL]. [2019-09-07]. https://arxiv.org/pdf/1701. 00160v4. pdf.

[16] WANG S, QUAN D, LIANG X F, et al. A Deep Learning Framework for Remote Sensing Image Registration[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2018, 145: 148-164.

[17] MA W P, WEN Z, WU Y, et al. Remote Sensing Image Registration with Modified SIFT and Enhanced Feature Matching[J]. IEEE Geoscience and Remote Sensing Letters, 2016(99): 1-5.

[18] MERKLE N, AUER S, MULLER R, et al. Exploring the Potential of Conditional Adversarial Networks for Optical and SAR Image Matching[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(6): 1-10.

[19] 馮筠, 延瑜瑜, 趙妍, 等. 基于學(xué)習(xí)不變特征變換的兵馬俑圖像分區(qū)匹配[J]. 光學(xué)精密工程, 2018, 26(7): 1774-1783. FENG Jun, YAN Yuyu, ZHAO Yan, et al. A Terracotta Image Partition Matching Method Based on Learned Invariant Feature Transform[J]. Optics and Precision Engineering, 2018, 26(7): 1774-1783. (in Chinese)

[20] 田上成, 張喬, 劉保成, 等. 基于傳感器幾何特性和圖像特征的影像配準(zhǔn)方法[J]. 航天返回與遙感, 2013, 34(5): 85-89. TIAN Shangcheng, ZHANG Qiao, LIU Baocheng, et al. A Improved Matching Method for Image Based on Sensor Geometric Features and Image Features[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(5): 85-89. (in Chinese)

Remote Sensing Image Registration Based on Deep Learning Feature Extraction

XU Dongli1HU Zhongzheng2

（1 China University of Geosciences, Beijing 100083, China）（2 China Centre for Resources Satellite Data and Application, Beijing 100094, China）

Traditional image registration algorithms such as SIFT and SURF are prone to shortcomings such as extracting fewer feature points and more mismatches when registering remote sensing satellite images. In this study, the data-driven random feature selection deep convolutional neural network (RanSelCNN) method is used to register images of Landsat-8 satellites that have overlapping regions in same or different phases. For the convolutional layer, random feature selection is adopted to increase the robustness of feature extraction. Using the joint objective function during training, the feature detector and feature descriptor are optimized at the same time to reduce the mis-matchings of features. The result shows that the registration based on deep neural network can extract more feature points and reduce false matching points. Compared with the traditional artificial design features, feature extraction in this study can significantly improve the accuracy of image registration.

data-driven; deep neural network; random selection; feature extraction; image registration; satellite remote sensing

TP751

A

1009-8518(2019)06-0107-12

10.3969/j.issn.1009-8518.2019.06.013

許東麗，女，1994年生，2017年獲中國地質(zhì)大學(xué)（北京）測繪工程專業(yè)學(xué)士學(xué)位，現(xiàn)在中國地質(zhì)大學(xué)（北京）攻讀測繪科學(xué)與技術(shù)專業(yè)碩士學(xué)位，研究方向為遙感信息處理與應(yīng)用。E-mail：xudongli1217@163.com。

2019-09-07

許東麗, 胡忠正. 基于深度學(xué)習(xí)特征提取的遙感影像配準(zhǔn)[J]. 航天返回與遙感, 2019, 40(6): 107-118.

XU Dongli HU Zhongzheng. Remote Sensing Image Registration Based on Deep Learning Feature Extraction[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(6): 107-118. (in Chinese)

（編輯：夏淑密）