朱慶濤 殷君君 曾 亮* 楊 健*

①(清華大學(xué)電子工程系 北京 100084)

②(北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院 北京 100083)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)全天時(shí)、全天候、高分辨率成像的特點(diǎn)使得它在環(huán)境監(jiān)測(cè)、資源探測(cè)、戰(zhàn)場(chǎng)感知等方面具有重要的戰(zhàn)略意義。近年來(lái)，多時(shí)相、多波段、多成像模式下的SAR圖像資源日益豐富。它們的融合處理對(duì)于遙感目標(biāo)的檢測(cè)、識(shí)別等任務(wù)具有重要意義。而SAR圖像之間的配準(zhǔn)則是上述融合處理的基礎(chǔ)，需要具有良好的精度與速度。當(dāng)前的配準(zhǔn)算法主要是基于極化SAR圖像的散射強(qiáng)度、極化特征等信息，結(jié)合相似性度量與參數(shù)迭代估計(jì)來(lái)實(shí)現(xiàn)。隨著深度學(xué)習(xí)的發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的極化SAR圖像配準(zhǔn)算法也逐漸增加，但是主要還是結(jié)合圖像塊的特征匹配與圖像變換參數(shù)的迭代估計(jì)來(lái)實(shí)現(xiàn)[1,2]。目前尚未提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的端到端極化SAR圖像一步配準(zhǔn)算法。

受到光學(xué)圖像處理領(lǐng)域中基于深度學(xué)習(xí)的端到端特征匹配算法的啟發(fā)，本文提出了一種無(wú)需對(duì)圖像進(jìn)行切塊處理或參數(shù)迭代估計(jì)的端到端極化SAR圖像配準(zhǔn)算法框架。首先，對(duì)輸入圖像對(duì)進(jìn)行特征提取，并進(jìn)行k近鄰特征匹配。之后，通過(guò)4D稀疏卷積網(wǎng)絡(luò)，基于鄰域一致性原則實(shí)現(xiàn)特征匹配的過(guò)濾。最后，根據(jù)輸出的匹配點(diǎn)對(duì)置信度，利用帶權(quán)最小二乘法進(jìn)行仿射參數(shù)的一步回歸，實(shí)現(xiàn)圖像對(duì)的配準(zhǔn)。

本文的結(jié)構(gòu)組織如下：第2節(jié)對(duì)極化SAR圖像配準(zhǔn)算法進(jìn)行綜述。第3節(jié)討論本文提出的配準(zhǔn)算法。第4節(jié)給出實(shí)驗(yàn)結(jié)果與分析討論。第5節(jié)為結(jié)論。

2 極化SAR圖像配準(zhǔn)方法

2.1 基于傳統(tǒng)方法的極化SAR圖像配準(zhǔn)

傳統(tǒng)的圖像配準(zhǔn)方法主要分為兩類，一類是基于區(qū)域的方法，另一類是基于特征的方法。基于區(qū)域的方法主要是通過(guò)尋找與模板窗口具有較高相似性的圖像塊來(lái)求解最佳匹配參數(shù)。常見(jiàn)的有歸一化互相關(guān)法[3]，Kullback-Leibler散度法[4]，互信息法[5]，傅里葉變換域法[6]等；基于特征的方法則主要是通過(guò)檢測(cè)兩幅圖像中的顯著特征點(diǎn)，根據(jù)周圍像素點(diǎn)生成特征描述符后，基于歐氏距離等度量來(lái)進(jìn)行匹配。之后通過(guò)隨機(jī)抽樣一致性(Random Sample Consensus,RANSAC)等迭代估計(jì)的方法獲取可靠匹配點(diǎn)對(duì)以確定變換參數(shù)。常見(jiàn)的有基于Harris[7],SIFT (Scale-Invariant Feature Transform)[8]等的配準(zhǔn)算法。以基于SIFT的配準(zhǔn)算法為例，首先構(gòu)建高斯金字塔與差分高斯金字塔，在多尺度空間內(nèi)進(jìn)行極值點(diǎn)檢測(cè)；之后對(duì)關(guān)鍵點(diǎn)進(jìn)行精細(xì)定位并分配方向，同時(shí)篩除不穩(wěn)定的關(guān)鍵點(diǎn)；結(jié)合上述關(guān)鍵點(diǎn)位置、尺度與方向信息，得到關(guān)鍵點(diǎn)的128維特征描述向量后，設(shè)定最近鄰與次近鄰距離比閾值，篩除不顯著的匹配點(diǎn)對(duì)。最后使用RANSAC算法對(duì)匹配點(diǎn)對(duì)進(jìn)行精細(xì)篩選，從匹配結(jié)果中選取幾對(duì)進(jìn)行全局變換參數(shù)求解，實(shí)現(xiàn)圖像配準(zhǔn)。相比于基于區(qū)域的配準(zhǔn)，基于特征的配準(zhǔn)方法具有更好的魯棒性，但是具有較高的計(jì)算復(fù)雜度。

上述圖像配準(zhǔn)算法被廣泛應(yīng)用于極化SAR圖像配準(zhǔn)。在基于區(qū)域的配準(zhǔn)方面，研究者結(jié)合極化SAR圖像的散射特性對(duì)相似性度量進(jìn)行重新設(shè)計(jì)[9]；在基于特征的配準(zhǔn)方面，提出了基于極化SAR圖像特性的改進(jìn)SIFT配準(zhǔn)算法SAR-SIFT[10],PSO-SIFT[11]等。SAR-SIFT算法中考慮到極化SAR相干斑噪聲的特點(diǎn)，結(jié)合SIFT與Harris關(guān)鍵點(diǎn)檢測(cè)算法的優(yōu)勢(shì)，采用SAR-Harris空間代替高斯差分金字塔，使得Harris檢測(cè)算子具備尺度不變性。該算法能夠有效地對(duì)SAR圖像的角點(diǎn)特征進(jìn)行提取，實(shí)現(xiàn)了針對(duì)SAR圖像的精細(xì)配準(zhǔn)。

2.2 基于深度學(xué)習(xí)的極化SAR圖像配準(zhǔn)

(1) 深度卷積神經(jīng)網(wǎng)絡(luò)

近年來(lái)，隨著計(jì)算機(jī)存儲(chǔ)與計(jì)算能力的提升，深度學(xué)習(xí)在計(jì)算機(jī)圖像處理領(lǐng)域取得了較大的進(jìn)展。深度卷積神經(jīng)網(wǎng)絡(luò)通過(guò)權(quán)重共享的卷積層對(duì)圖像特征進(jìn)行自動(dòng)提取，具有良好的特征表達(dá)能力與泛化性能，被廣泛應(yīng)用于圖像檢測(cè)、識(shí)別、分割等領(lǐng)域。2012年，AlexNet[12]獲得ImageNet競(jìng)賽冠軍后，各種優(yōu)秀的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)被不斷提出。隨后深度卷積神經(jīng)網(wǎng)絡(luò)逐漸被運(yùn)用于極化SAR圖像處理中。相比于傳統(tǒng)方法，深度學(xué)習(xí)在極化SAR圖像的各個(gè)應(yīng)用領(lǐng)域中表現(xiàn)出較強(qiáng)的優(yōu)越性，例如徐豐等人[13]利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行極化SAR目標(biāo)識(shí)別與地物分類，Jin等人[14]提出了一種基于深度學(xué)習(xí)的極化SAR艦船目標(biāo)檢測(cè)算法。

(2) 基于深度學(xué)習(xí)的圖像配準(zhǔn)

隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)逐漸被運(yùn)用到圖像配準(zhǔn)領(lǐng)域，算法主要分為3類。一類是利用深度卷積神經(jīng)網(wǎng)絡(luò)替代人工特征提取，之后仍然通過(guò)RANSAC等迭代估計(jì)的方式完成變換參數(shù)求解與圖像配準(zhǔn)。另一類是利用深度卷積神經(jīng)網(wǎng)絡(luò)通過(guò)有監(jiān)督學(xué)習(xí)的方式直接對(duì)變換參數(shù)進(jìn)行回歸。例如DeTone等人[15]通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)生成的仿真圖像對(duì)進(jìn)行有監(jiān)督學(xué)習(xí)，實(shí)現(xiàn)單應(yīng)性矩陣的直接回歸，從而實(shí)現(xiàn)圖像配準(zhǔn)；Rocco等人[16]利用深度神經(jīng)網(wǎng)絡(luò)來(lái)模擬傳統(tǒng)配準(zhǔn)過(guò)程中的特征提取、匹配與參數(shù)回歸。首先，利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。之后，通過(guò)內(nèi)積操作來(lái)得到特征圖的相關(guān)度信息。最后，通過(guò)全連接層進(jìn)行參數(shù)的有監(jiān)督回歸。但是由于特征圖分辨率較低，導(dǎo)致算法的配準(zhǔn)精度不高。還有一類是利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)變換后的圖像與目標(biāo)圖像的相似性進(jìn)行優(yōu)化，通過(guò)無(wú)監(jiān)督學(xué)習(xí)的方式實(shí)現(xiàn)圖像的配準(zhǔn)。例如Balakrishnan 等人[17]通過(guò)無(wú)監(jiān)督學(xué)習(xí)的方式優(yōu)化變換圖像與目標(biāo)圖像的局部相關(guān)性與平滑性來(lái)實(shí)現(xiàn)醫(yī)學(xué)圖像的配準(zhǔn)；在文獻(xiàn)[16]的基礎(chǔ)上，Rocco等人[18]利用無(wú)監(jiān)督學(xué)習(xí)的方式來(lái)增加特征圖匹配點(diǎn)對(duì)的一致性，提出了基于局部鄰域一致性的密集4D卷積結(jié)構(gòu)來(lái)篩選穩(wěn)定的特征匹配點(diǎn)對(duì)。然而由于內(nèi)存的限制，匹配的精度依舊較低。后續(xù)工作中，他們通過(guò)稀疏卷積神經(jīng)網(wǎng)絡(luò)很大程度上節(jié)省了內(nèi)存，使得高分辨率、高精度的圖像對(duì)的關(guān)鍵點(diǎn)匹配得以實(shí)現(xiàn)，不過(guò)未實(shí)現(xiàn)后續(xù)的圖像配準(zhǔn)[19]。

(3) 基于深度學(xué)習(xí)的極化SAR圖像配準(zhǔn)

基于深度學(xué)習(xí)的極化SAR圖像配準(zhǔn)算法主要利用深度神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)圖像塊是否匹配或?qū)⑸疃染矸e神經(jīng)網(wǎng)絡(luò)作為特征自動(dòng)提取器，之后仍然需要利用RANSAC等迭代算法進(jìn)行變換參數(shù)求解。文獻(xiàn)[1]基于SIFT算法對(duì)圖像的關(guān)鍵點(diǎn)進(jìn)行定位，提取關(guān)鍵點(diǎn)周圍的圖像塊，并通過(guò)自監(jiān)督學(xué)習(xí)的方式訓(xùn)練了一個(gè)能夠預(yù)測(cè)圖像塊是否匹配的深度神經(jīng)網(wǎng)絡(luò)。最后基于粗匹配結(jié)果利用RANSAC對(duì)變換參數(shù)進(jìn)行迭代估計(jì)；文獻(xiàn)[2]基于VGG16卷積神經(jīng)網(wǎng)絡(luò)對(duì)遙感圖像進(jìn)行特征提取，并基于歐氏距離對(duì)特征描述符進(jìn)行預(yù)匹配。最后基于動(dòng)態(tài)內(nèi)點(diǎn)篩選算法對(duì)變換參數(shù)進(jìn)行迭代估計(jì)?？傊?，現(xiàn)有的方法均考慮對(duì)大場(chǎng)景的SAR圖像進(jìn)行切塊處理后，基于圖像塊進(jìn)行獨(dú)立的粗匹配，未考慮塊間匹配的關(guān)聯(lián)性。因此往往需要進(jìn)行參數(shù)迭代估計(jì)的后處理步驟來(lái)篩除錯(cuò)誤的匹配，從而得到精確的變換參數(shù)。上述方法中預(yù)處理與后處理的引入使得配準(zhǔn)流程較為煩瑣費(fèi)時(shí)。目前尚未提出根據(jù)極化SAR待配準(zhǔn)圖像對(duì)，基于深度卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果直接實(shí)現(xiàn)一步配準(zhǔn)的端到端算法框架。

本文借鑒了文獻(xiàn)[19]的思路，將鄰域一致性與稀疏卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于極化SAR圖像配準(zhǔn)中，實(shí)現(xiàn)了一種采用弱監(jiān)督學(xué)習(xí)的端到端極化SAR圖像一步配準(zhǔn)的算法框架。該算法無(wú)需對(duì)輸入圖像對(duì)進(jìn)行切塊預(yù)處理或是參數(shù)迭代估計(jì)，配準(zhǔn)精度較高且速度較快。

3 基于鄰域一致性的SAR圖像配準(zhǔn)

3.1 整體框架

該配準(zhǔn)算法主要由特征提取、特征稀疏匹配、特征匹配過(guò)濾與參數(shù)估計(jì)4個(gè)部分組成。如圖1所示，特征提取模塊用于提取輸入圖像對(duì){IA,IB}的特征信息{fA,fB}，采用的網(wǎng)絡(luò)結(jié)構(gòu)借鑒了DenseNet網(wǎng)絡(luò)結(jié)構(gòu)[20]。特征圖fA的坐標(biāo)系為i-j，特征圖fB的坐標(biāo)系為p-q。特征匹配模塊根據(jù)特征圖{fA,fB}，采用歸一化內(nèi)積的方式(即余弦距離)對(duì)特征點(diǎn)對(duì)的相關(guān)度進(jìn)行求解。為了保留更為顯著的特征對(duì)以及節(jié)省內(nèi)存，特征匹配模塊對(duì)每個(gè)特征點(diǎn)僅保留k個(gè)相關(guān)度最高的匹配點(diǎn)，由此可以得到4D的特征粗匹配稀疏相關(guān)圖(Sparse Raw Correlation Map)SRAB。特征匹配過(guò)濾模塊中通過(guò)4D稀疏卷積網(wǎng)絡(luò)對(duì)SRAB中非零元素的鄰域進(jìn)行卷積濾波操作，輸出過(guò)濾后的4D稀疏相關(guān)圖(Sparse Filtered Correlation Map)SFAB中的每個(gè)非零像素SFAB(in,jn,pn,qn)的值代表了特征匹配點(diǎn)對(duì){(in,jn)}與{(pn,qn)}的匹配置信度，其中n為某一匹配點(diǎn)對(duì)的標(biāo)號(hào)。變換參數(shù)回歸模塊根據(jù)置信度較高的N對(duì)匹配點(diǎn)對(duì)坐標(biāo){(in,jn)}{(pn,qn)}(n=1,2,···,N)以及它們的匹配置信度{sn}通過(guò)帶權(quán)最小二乘法回歸出仿射變換參數(shù)進(jìn)行圖像配準(zhǔn)。

3.2 特征提取模塊

文獻(xiàn)[19]中采用了ResNet網(wǎng)絡(luò)結(jié)構(gòu)作為骨干網(wǎng)絡(luò)來(lái)提取輸入圖像對(duì)的特征。本文則采用Dense-Net結(jié)構(gòu)對(duì)輸入圖像對(duì){IA,IB}進(jìn)行特征提取。為了便于特征圖的下采樣，DenseNet采用了多個(gè)DenseBlock連接的方式。每個(gè)DenseBlock內(nèi)部通過(guò)特征級(jí)聯(lián)的方式建立了卷積層之間更加密集的連接。如圖2所示，DenseBlock模塊內(nèi)的主要卷積單元為BN-ReLU-Conv的串聯(lián)，其中BN (Batch Normalization)為批歸一化層，ReLU (Rectified Linear Unit)為線性整流激活層，Conv為卷積層。由于特征級(jí)聯(lián)操作會(huì)改變特征圖尺寸，因此在每個(gè)卷積單元后面添加了1×1卷積層進(jìn)行特征降維操作，將輸入卷積單元的特征圖通道數(shù)進(jìn)行統(tǒng)一。在DenseBlock中，每個(gè)卷積單元的輸入特征圖為之前所有卷積單元的輸出特征圖的級(jí)聯(lián)，最后一個(gè)卷積單元的輸出特征圖作為Transition層(包含1×1卷積層以及2×2池化層)的輸入。

相應(yīng)的數(shù)學(xué)表達(dá)如式(1)所示

式中，xt表示DenseBlock內(nèi)第t個(gè)卷積單元的輸出特征圖，Ht表示1×1特征降維與第t個(gè)卷積單元對(duì)應(yīng)的操作，它的輸入為前t個(gè)(0,1,···,t–1)卷積單元輸入特征圖x0,x1,···,xt?1的級(jí)聯(lián)。特征的充分復(fù)用使得網(wǎng)絡(luò)的特征表達(dá)能力十分出色，對(duì)于局部信息的描述更加細(xì)致。

對(duì)于常見(jiàn)的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)GoogleNet,ResNet,DenseNet等，深層特征圖的分辨率較小，代表著圖像較為抽象的語(yǔ)義特征，圖像邊緣、紋理等特征信息則較為模糊；而淺層特征圖的特征信息提取不夠充分。仿射配準(zhǔn)任務(wù)并非目標(biāo)識(shí)別或場(chǎng)景理解等高級(jí)別的任務(wù)，在利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取時(shí)，需要盡可能保留較多的圖像邊緣、紋理信息，同時(shí)也需要較為充分的特征提取，因此特征提取網(wǎng)絡(luò)的結(jié)構(gòu)深度應(yīng)避免過(guò)深或過(guò)淺。本文將第3個(gè)DenseBlock的輸出特征圖作為特征提取模塊的輸出結(jié)果。以1200×1200×3的輸入尺寸為例，特征提取網(wǎng)絡(luò)與每層輸出的尺寸如表1所示。表中conv卷積單元包含了BN-ReLU-Conv。

圖1 基于鄰域一致性的SAR圖像配準(zhǔn)算法框圖Fig.1 Flowchart of image registration based on neighborhood consensus

圖2 DenseBlock的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of DenseBlock

3.3 k近鄰特征稀疏匹配模塊

記經(jīng)過(guò)特征提取模塊得到的特征圖分別為fA和fB(fA,fB∈Rm×Rm)。對(duì)于特征圖fA的某一個(gè)坐標(biāo)點(diǎn)(i,j)，計(jì)算該點(diǎn)與fB所有坐標(biāo)點(diǎn)的特征值內(nèi)積并進(jìn)行歸一化來(lái)作為特征的相關(guān)系數(shù)(相當(dāng)于采用余弦距離來(lái)替代歐氏距離)，僅保留k個(gè)與fA(i,j)的特征相關(guān)值最大的坐標(biāo)點(diǎn)fB{(p1,q1),(p2,q2),···,(pk,qk)}。最終得到k×m×m個(gè)相關(guān)值，可理解為稀疏的單通道4D圖像SRA→B(該4D圖像的4個(gè)坐標(biāo)值是fA的(i,j)和fB的(p,q)，像素值為歸一化的相關(guān)值)。記上述操作為特征圖A對(duì)特征圖B的單向k近鄰操作。由于上述操作并非全圖互相關(guān)操作，因此特征圖A對(duì)特征圖B進(jìn)行單向k近鄰得到的圖像SRA→B與特征圖B對(duì)特征圖A進(jìn)行單向k近鄰得到的圖像SRB→A并不一定相同。以k取2為例，設(shè)特征圖B中與特征圖A上點(diǎn)(i1,j1)的相關(guān)度最高的2個(gè)點(diǎn)分別為(pu,qu)和(pv,qv)，相關(guān)值分別為r1u和r1v。而特征圖A中與圖B上點(diǎn)(pu,qu)相關(guān)度最高的2個(gè)點(diǎn)中卻未必包含點(diǎn)(i1,j1)。為了進(jìn)一步增強(qiáng)雙向均近鄰的匹配點(diǎn)對(duì)的相關(guān)性，抑制僅單向近鄰的匹配點(diǎn)對(duì)的相關(guān)性，將兩個(gè)4D的稀疏單向k近鄰相關(guān)圖進(jìn)行疊加，得到稀疏的4D粗匹配相關(guān)圖SRAB作為特征匹配模塊的輸出結(jié)果。

3.4 特征匹配過(guò)濾模塊

本文涉及的鄰域一致性原則是指由于極化SAR圖像對(duì)應(yīng)的自然場(chǎng)景具有較高的局部空間連續(xù)性，故穩(wěn)定的顯著特征點(diǎn)對(duì)附近應(yīng)該還存在一些匹配程度較高的點(diǎn)對(duì)，否則該點(diǎn)對(duì)的匹配置信度應(yīng)大幅削減。通常的卷積神經(jīng)網(wǎng)絡(luò)為密集卷積操作，給定卷積核，通過(guò)參數(shù)共享，對(duì)整幅圖像(或中間特征圖)進(jìn)行滑動(dòng)卷積操作，會(huì)遍歷圖中每一個(gè)像素。當(dāng)圖像(或特征圖)為稀疏圖，即大部分像素值為零時(shí)，僅需要遍歷非零元素進(jìn)行卷積操作即可。稀疏張量自動(dòng)微分庫(kù)Minkowski Engine[21]實(shí)現(xiàn)了通用的稀疏卷積操作，在輸入稀疏圖非零元素的索引與像素值后，可以對(duì)非零元素進(jìn)行遍歷并進(jìn)行局部卷積操作。由于配準(zhǔn)圖像訓(xùn)練集較小，因此稀疏卷積網(wǎng)絡(luò)部分的層數(shù)設(shè)計(jì)得較小，僅為2層，第1層的輸出通道數(shù)為16，第2層的輸出通道數(shù)為1，卷積核大小均為3×3，即僅考察目標(biāo)匹配點(diǎn)對(duì)周圍3×3的鄰域信息。

基于上述網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)損失函數(shù)以驅(qū)動(dòng)網(wǎng)絡(luò)學(xué)習(xí)對(duì)輸入的4D粗匹配相關(guān)圖SRAB進(jìn)行鄰域?yàn)V波的能力。損失函數(shù)如式(2)所示

式中，函數(shù)F()代表深度卷積神經(jīng)網(wǎng)絡(luò)，xpos代表了一對(duì)正樣本圖像(場(chǎng)景相關(guān)聯(lián)，可以進(jìn)行配準(zhǔn)的圖像對(duì))，xneg代表了一對(duì)負(fù)樣本圖像(場(chǎng)景無(wú)關(guān)聯(lián)，無(wú)法進(jìn)行配準(zhǔn)的圖像對(duì))。卷積神經(jīng)網(wǎng)絡(luò)F()接收了一對(duì)圖像對(duì)之后，輸出結(jié)果為4D稀疏相關(guān)圖，圖上非零元素代表了特征圖匹配點(diǎn)對(duì)的置信度大小。代表了對(duì)4D稀疏相關(guān)圖的非零元素進(jìn)行求和的操作。損失函數(shù)的值L設(shè)計(jì)為負(fù)樣本對(duì)的輸出置信度之和與正樣本對(duì)的輸出置信度之和的差。根據(jù)Loss的第2項(xiàng)，對(duì)于負(fù)樣本對(duì)輸入，理論上大多數(shù)匹配點(diǎn)對(duì)為不穩(wěn)定點(diǎn)對(duì)，在Loss下降的過(guò)程中，網(wǎng)絡(luò)參數(shù)的優(yōu)化方向是抑制所有輸出點(diǎn)對(duì)的置信度，因此網(wǎng)絡(luò)在這個(gè)過(guò)程中學(xué)習(xí)到了抑制不穩(wěn)定匹配點(diǎn)對(duì)的能力；根據(jù)Loss的第1項(xiàng)?，對(duì)于正樣本對(duì)輸入，理論上存在許多匹配點(diǎn)對(duì)為穩(wěn)定點(diǎn)對(duì)，在Loss下降的過(guò)程中，網(wǎng)絡(luò)能夠使得正樣本對(duì)的輸出置信度之和盡可能大，即學(xué)習(xí)到了增強(qiáng)穩(wěn)定匹配點(diǎn)對(duì)的能力。二者相結(jié)合，構(gòu)成的聯(lián)合Loss即為最終的損失函數(shù)。綜上所述，特征匹配過(guò)濾模塊能夠增強(qiáng)穩(wěn)定匹配點(diǎn)對(duì)的置信度，抑制不穩(wěn)定匹配點(diǎn)對(duì)的置信度。記濾波后的4D稀疏匹配相關(guān)圖為SFAB。

表1 特征提取模塊的結(jié)構(gòu)Tab.1 Structure of the feature extraction module

3.5 基于帶權(quán)最小二乘法的參數(shù)回歸

由4D稀疏匹配相關(guān)圖SFAB可以得到圖像fA和fB的穩(wěn)定匹配點(diǎn)對(duì)，之后按照網(wǎng)絡(luò)輸出的置信度{sn}的大小，選取前N個(gè)坐標(biāo)點(diǎn)對(duì)進(jìn)行仿射變換參數(shù)求解。由于當(dāng)前的匹配點(diǎn)對(duì)本身具有較好的穩(wěn)定性與一致性，因此無(wú)需進(jìn)行類似RANSAC等算法的迭代參數(shù)估計(jì)，僅通過(guò)最小二乘法即可對(duì)變換參數(shù)實(shí)現(xiàn)準(zhǔn)確估計(jì)。由于不同的點(diǎn)對(duì)具有不同的置信度，因此采用帶權(quán)最小二乘法進(jìn)行仿射變換參數(shù)回歸。通用的帶權(quán)最小二乘回歸原理如式(3)所示

其中，θ為待定參數(shù)；(X,Y)為一對(duì)觀測(cè)量；W為每個(gè)觀測(cè)樣本的權(quán)重構(gòu)成的對(duì)角矩陣。

在對(duì)本文的仿射變換參數(shù)進(jìn)行回歸時(shí)，θ即為待求的仿射變換參數(shù)；(X,Y)為待配準(zhǔn)圖像fA和參考圖像fB上置信度s最高的N對(duì)坐標(biāo)點(diǎn)對(duì)；W可根據(jù){sn}(n=1,2,···,N)進(jìn)行設(shè)定。實(shí)際進(jìn)行計(jì)算時(shí)，由于X和Y的每個(gè)元素均為二維坐標(biāo)向量，難以直接按照式(3)進(jìn)行計(jì)算，因此需要進(jìn)行如下的變形處理。

如圖1所示，仿射矩陣共有6個(gè)參數(shù)待求，記θe=[A11;A12;A21;A22;A13;A23]。記X的第t個(gè)元素為Xt=(Xti,Xtj),Y的第t個(gè)元素為Yt=(Ytp,Ytq)。在不考慮權(quán)重矩陣W的情況下，仿射變換的關(guān)系式如式(4)所示。

將式(4)中等式左邊的第1個(gè)矩陣記為Xe，等式右邊的矩陣記為Ye。之后，定義權(quán)重矩陣We=diag(s1,s2,···,sN)，其中diag()代表對(duì)角陣。最終按照式(5)帶權(quán)最小二乘回歸，得到仿射變換中6個(gè)待求參數(shù)的值。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

由于可用于配準(zhǔn)的公開(kāi)SAR圖像數(shù)據(jù)集較為匱乏，且高分辨率的SAR圖像與光學(xué)圖像具有一定的相似性，故采用的訓(xùn)練數(shù)據(jù)集是Indoor Venues Dataset。訓(xùn)練方式為弱監(jiān)督的方式，損失函數(shù)詳見(jiàn)第3節(jié)。使用的顯卡為單塊GeForce GTX 1080Ti，處理器為Intel(R) Core(TM) i9-7920X。

為了進(jìn)行對(duì)比試驗(yàn)，特征提取模塊分別采用ResNet和DenseNet的架構(gòu)進(jìn)行對(duì)比，此外為了提高模型的收斂效果，均采用了ImageNet預(yù)訓(xùn)練模型進(jìn)行微調(diào)。初步實(shí)驗(yàn)中，將k近鄰稀疏匹配模塊的參數(shù)k設(shè)置為10。后續(xù)討論中考察了參數(shù)k的取值對(duì)配準(zhǔn)性能的影響。特征匹配過(guò)濾模塊采用兩層4D稀疏卷積層。取最大的N=200個(gè)匹配置信度對(duì)應(yīng)的點(diǎn)對(duì)作為穩(wěn)定特征匹配點(diǎn)對(duì)。最后經(jīng)過(guò)帶權(quán)最小二乘法對(duì)仿射參數(shù)進(jìn)行回歸。將上述稀疏匹配與基于鄰域一致性的過(guò)濾模塊合起來(lái)記為Sparse Neighborhood Consensus Network (SNCNet)。實(shí)驗(yàn)中一共對(duì)比了5種不同的算法，分別是采用SIFT+RANSAC,SAR-SIFT+RANSAC,ResNet+SNCNet,DenseNet+SNCNet以及DenseNet+RANSAC。

圖3 Wallerfing農(nóng)田數(shù)據(jù)Fig.3 Wallerfing farmland data

圖4 舟山港口數(shù)據(jù)Fig.4 Zhou Shan port data

用于測(cè)試的極化SAR待配準(zhǔn)圖像對(duì)如圖3和圖4所示。圖3(a)和圖3(b)分別為RADARSAT-2衛(wèi)星于2014年5月28日和2014年6月10日獲取的德國(guó)Wallerfing地區(qū)的農(nóng)田圖像，原始尺寸均為3000×3000，極化方式為HH,VV,HV和VH，采用精細(xì)全極化成像模式，中心頻率為5.4 GHz(C波段)，像元大小為4.7 m×5.1 m，距離向分辨率為5.2 m，方位向分辨率為7.7 m，入射角為40.2°。圖3(a)為升軌數(shù)據(jù)，圖3(b)為降軌數(shù)據(jù)。將它們記為Wallerfing數(shù)據(jù)。圖4(a)和圖4(b)分別為PAZ衛(wèi)星于2019年12月3日和2019年11月12日獲取的中國(guó)舟山地區(qū)的港口圖像，原始尺寸均為4000×4000，極化方式為HH,VV極化，分別采用聚束和條帶成像模式，中心頻率為9.7 GHz(X波段)，像元大小分別為1.5 m×1.5 m和2.75 m×2.75 m，距離向分辨率分別為3.1 m和6.0 m，方位向分辨率分別為3.5 m和6.1 m，入射角為51.1°。圖4(a)為降軌數(shù)據(jù)，圖4(b)為升軌數(shù)據(jù)。將它們記為舟山數(shù)據(jù)。在實(shí)驗(yàn)中，將用于測(cè)試的極化SAR圖像對(duì)通過(guò)雙線性插值縮放為1200×1200的大小。

4.2 評(píng)價(jià)指標(biāo)

對(duì)待配準(zhǔn)圖像的仿射變換圖像與參考圖像按照不同的色彩通道進(jìn)行疊加，可以得到配準(zhǔn)疊加圖，便于對(duì)配準(zhǔn)算法進(jìn)行直觀評(píng)價(jià)。量化的評(píng)價(jià)指標(biāo)則主要采用PCK (Average Probability of Correct Keypoints)[22]和APE (Average Pixel Error)，如式(6)和式(7)所示。設(shè)待配準(zhǔn)圖像A和參考圖像B上已標(biāo)注的N個(gè)點(diǎn)對(duì)為{PA,PB}i,i=1,2,···,N,wrap為仿射變換操作(所使用的仿射變換參數(shù)為第3.5節(jié)中得到的θe),d()代表兩個(gè)二維坐標(biāo)點(diǎn)之間的歐氏距離。閾值Lth=α·max(h,w)，其中α為人為設(shè)定的比例系數(shù)，h和w為待配準(zhǔn)圖像對(duì)的高與寬。

4.3 配準(zhǔn)疊加圖

首先從直觀的角度對(duì)配準(zhǔn)結(jié)果進(jìn)行評(píng)價(jià)。采用本文的DenseNet+SNCNet算法，Wallerfing和舟山數(shù)據(jù)的仿射變換圖像與目標(biāo)圖像的疊加圖分別如圖5(a)和圖5(b)所示，兩幅圖中綠色的前景通道為待配準(zhǔn)圖像仿射變換的結(jié)果，紫紅色的背景通道為目標(biāo)圖像。采用SAR-SIFT的實(shí)驗(yàn)結(jié)果如圖6(a)和圖6(b)所示。由圖5和圖6可以看到采用本文算法和SAR-SIFT算法，前景和背景的河流與海岸線等區(qū)域均能較好地重合，整體配準(zhǔn)精度均較高。

4.4 量化指標(biāo)結(jié)果分析

Wallerfing和舟山數(shù)據(jù)的APE如表2所示，采用不同配準(zhǔn)算法的PCK曲線如圖7(a)和圖7(b)所示。

(1) 極化信息對(duì)配準(zhǔn)效果的提升

由表2中Wallerfing數(shù)據(jù)的Pauli圖像與Span圖像的APE指標(biāo)對(duì)比可知，極化特征的引入有助于提升配準(zhǔn)精度。Wallerfing數(shù)據(jù)的Pauli圖像如圖3所示，對(duì)應(yīng)的Span功率圖如圖8所示。Wallerfing數(shù)據(jù)中包含了種類豐富的農(nóng)作物區(qū)域以及山地區(qū)域，同時(shí)還包含河流與湖泊區(qū)域。湖泊與河流等水域的后向散射強(qiáng)度較弱，在Pauli圖像與Span圖像中均呈現(xiàn)為穩(wěn)定的黑色區(qū)域，而不同種類的農(nóng)作物則具有各自獨(dú)特的極化特性，后向散射強(qiáng)度分布比較復(fù)雜。

圖5 DenseNet+SNCNet算法下，Wallerfing和舟山數(shù)據(jù)配準(zhǔn)疊加圖Fig.5 Overlay map of Wallerfing and Zhou Shan data by DenseNet+SNCNet

圖6 SAR-SIFT+RANSAC算法下，Wallerfing和舟山數(shù)據(jù)配準(zhǔn)疊加圖Fig.6 Overlay map of Wallerfing and Zhou Shan data by SAR-SIFT+RANSAC

表2 各種配準(zhǔn)算法的APE值Tab.2 APE of different registration algorithms

圖7 不同算法下，Wallerfing和舟山數(shù)據(jù)配準(zhǔn)的PCK曲線Fig.7 PCK of Wallerfing and Zhou Shan image registration with different algorithms

圖8 Wallerfing農(nóng)田數(shù)據(jù)Span圖Fig.8 Span image of Wallerfing farmland data

在Pauli圖中，不同農(nóng)田區(qū)域具有明顯的紋理特征，邊緣信息較為明顯，而在Span圖像中，部分紋理與邊緣信息缺失，對(duì)比度較弱。從APE指標(biāo)可知，本文算法能夠結(jié)合Pauli圖像3個(gè)極化分解通道的極化信息，更好地利用極化SAR圖像中的紋理、邊緣等結(jié)構(gòu)信息來(lái)實(shí)現(xiàn)圖像的穩(wěn)定匹配，相比于Span圖像具有更加精確、穩(wěn)定的配準(zhǔn)效果。

(2) DenseNet特征提取的優(yōu)勢(shì)

由圖7中Wallerfing與舟山數(shù)據(jù)配準(zhǔn)結(jié)果的PCK值隨α的變化曲線可知，本文所提算法相比ResNet-SNCNet具有一定的效果提升，配準(zhǔn)精度與傳統(tǒng)的SIFT+RANSAC與SAR-SIFT+RANSAC算法可以相媲美。

由表2中DenseNet-SNCNet與其他方法的APE指標(biāo)對(duì)比可知，采用DenseNet特征提取結(jié)構(gòu)的稀疏匹配效果優(yōu)于ResNet，與傳統(tǒng)的SIFT和SARSIFT算法精度相近，驗(yàn)證了DenseNet出色的特征表達(dá)能力。在1200×1200的分辨率條件下，Wallerfing數(shù)據(jù)和舟山數(shù)據(jù)的平均像素誤差距離僅為6.175和2.553，平均像素誤差距離與邊長(zhǎng)之比僅為6.175/1200=0.515%和2.553/1200=0.213%。

從網(wǎng)絡(luò)結(jié)構(gòu)的角度分析，DenseNet的DenseBlock中的特征密集連接與特征復(fù)用是它相比于ResNet的優(yōu)勢(shì)。ResNet的shortcut操作能夠?qū)W習(xí)到網(wǎng)絡(luò)的殘差，在網(wǎng)絡(luò)的層數(shù)較深時(shí)能夠保證網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)更加流暢，有利于深層信息的傳遞與特征表達(dá)的學(xué)習(xí)。然而當(dāng)前由于配準(zhǔn)任務(wù)是較低層次的幾何任務(wù)，因此特征提取的深度較淺，在該情況下，筆者認(rèn)為ResNet的密集連接并未能夠完全凸顯其優(yōu)勢(shì)，而DenseNet的密集連接則能夠更加充分地對(duì)圖像低層次的特征進(jìn)行表達(dá)，有助于后續(xù)匹配任務(wù)的進(jìn)行。

為了進(jìn)一步佐證DenseNet的顯著特征提取能力，將輸入圖像對(duì)的分辨率修改為600×600，考察配準(zhǔn)結(jié)果。如圖9(a)和圖9(b)所示，將輸入的Wallerfing圖像縮放為600×600時(shí)，DenseNet-SNCNet依然具有良好的配準(zhǔn)結(jié)果，而ResNet-SNCNet出現(xiàn)明顯的配準(zhǔn)偏差，體現(xiàn)了DenseNet特征提取能力的優(yōu)越性。

(3) 參數(shù)k對(duì)配準(zhǔn)性能的影響

對(duì)于Wallerfing和舟山數(shù)據(jù)，采用DenseNet+SNCNet算法，在k值不同時(shí)，配準(zhǔn)結(jié)果的APE和基于GPU的運(yùn)算時(shí)間分別如表3和表4所示。

Wallerfing圖像中存在具有一定重復(fù)性的農(nóng)田紋理，且地形較為復(fù)雜，配準(zhǔn)難度較高；而舟山港口圖像中海域紋理比較單調(diào)，海岸線較為明顯，故配準(zhǔn)難度相對(duì)較低。由表3可知，對(duì)于復(fù)雜的配準(zhǔn)圖像，當(dāng)k較大(例如16)時(shí)，4D稀疏匹配相關(guān)圖的冗余信息較多，由于當(dāng)前訓(xùn)練樣本較少以及稀疏匹配網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)較為簡(jiǎn)單，網(wǎng)絡(luò)的配準(zhǔn)性能相比于k較小時(shí)有明顯下降；對(duì)于配準(zhǔn)難度較低的圖像對(duì)，k的選取對(duì)最終的配準(zhǔn)性能沒(méi)有太大的影響。

圖9 600×600分辨率下，DenseNet-SNCNet和ResNet-SNCNet的配準(zhǔn)結(jié)果Fig.9 Registration result of DenseNet-SNCNet and ResNet-SNCNet at 600×600 resolution

表3 k取不同值時(shí)，DenseNet+SNCNet配準(zhǔn)結(jié)果的APE值Tab.3 APE of registration result by DenseNet+SNCNet with different k

表4 k取不同值時(shí)，基于GPU的DenseNet+SNCNet運(yùn)算時(shí)間Tab.4 Time consuming of registration based on GPU by DenseNet+SNCNet with different k

由第3.3節(jié)對(duì)k近鄰特征稀疏匹配模塊的分析可知，單向近鄰相關(guān)圖存在k×m×m個(gè)非零相關(guān)值。理論上，由單向近鄰相關(guān)圖疊加后得到的4D粗匹配相關(guān)圖SRAB中的非零元素個(gè)數(shù)一般會(huì)隨著k的增加而增加。因此，稀疏匹配模塊的參數(shù)量會(huì)隨著k值的增大而增加，從而導(dǎo)致運(yùn)算時(shí)間增加。由表4可知，k取16時(shí)的網(wǎng)絡(luò)前向推斷時(shí)間增加為k取2時(shí)的兩倍左右。為了減少算法前向推斷的時(shí)間，應(yīng)盡量避免選擇過(guò)大的k。

綜上所述，為了提高算法的泛化性能，同時(shí)提高算法的運(yùn)行速度，應(yīng)盡量避免k取值過(guò)大，k的取值在2～10附近均較為合適。

(4) 特征匹配與過(guò)濾模塊的有效性

DenseNet+RANSAC是用于驗(yàn)證特征匹配與過(guò)濾模塊有效性的對(duì)照實(shí)驗(yàn)。從表2的APE值可以看到，利用DenseNet提取密集特征圖并按傳統(tǒng)方法基于歐氏距離度量進(jìn)行次近鄰粗篩后，利用RANSAC迭代算法進(jìn)行仿射參數(shù)求解的效果劣于前述方法?？赡艿脑蛟谟贒enseNet進(jìn)行特征提取后得到的是特征圖的分辨率較低，利用傳統(tǒng)的后處理方法，僅根據(jù)最近鄰與次近鄰的距離比進(jìn)行粗篩，難以取得較好的粗匹配效果，因此即使進(jìn)行RANSAC迭代估計(jì)，最終的匹配效果也較差。

圖10 稀疏特征匹配過(guò)濾模塊的有效性Fig.10 Effectiveness of the sparse filter module

為了進(jìn)一步直觀地體現(xiàn)特征匹配過(guò)濾模塊的有效性，對(duì)輸入特征匹配過(guò)濾模塊前后的特征點(diǎn)對(duì)匹配以及顯著特征點(diǎn)進(jìn)行可視化。如圖10所示，經(jīng)過(guò)特征粗匹配得到的連線較為雜亂(僅選取了一部分匹配點(diǎn)對(duì)進(jìn)行可視化)，而經(jīng)過(guò)稀疏卷積過(guò)濾后的置信度較高的特征點(diǎn)對(duì)匹配具有較好的全局一致性。如圖11所示，將特征匹配過(guò)濾模塊輸出的具有較高置信度的點(diǎn)對(duì)在圖中標(biāo)出。亮度越高的地方代表匹配置信度越高。該結(jié)果驗(yàn)證了本文算法能夠有效地提取出河流、河岸與海岸線等在極化SAR圖像配準(zhǔn)任務(wù)中比較穩(wěn)定的特征。

圖11 顯著特征點(diǎn)對(duì)的分布Fig.11 Distribution of salient feature pairs

(5) 算法時(shí)間分析

未進(jìn)行算法并行化加速的SIFT類算法具有明顯的時(shí)間劣勢(shì)。傳統(tǒng)的SIFT與SAR-SIFT算法的流程是構(gòu)建高斯差分金字塔與SAR-Harris金字塔，進(jìn)行關(guān)鍵點(diǎn)精細(xì)搜索，構(gòu)建關(guān)鍵點(diǎn)特征描述向量，對(duì)特征進(jìn)行次近鄰篩選以及基于隨機(jī)抽樣一致性進(jìn)行參數(shù)迭代估計(jì)。以SAR-SIFT為例，對(duì)于1200×1200的Wallerfing圖像，構(gòu)建SAR-Harris空間耗費(fèi)的時(shí)間為3.27 s，關(guān)鍵點(diǎn)搜索的時(shí)間為1.45 s，若限制輸入后續(xù)環(huán)節(jié)的關(guān)鍵點(diǎn)數(shù)目為500以下，則特征向量的生成時(shí)間為9.61 s，次近鄰篩選時(shí)間與RANSAC時(shí)間為5.46 s，最終得到的穩(wěn)定匹配點(diǎn)對(duì)為28對(duì)，共耗時(shí)19.8 s。然而當(dāng)關(guān)鍵點(diǎn)數(shù)目達(dá)到5000時(shí)，特征向量的生成以及匹配篩選的時(shí)間分別長(zhǎng)達(dá)100.41 s與26.76 s，穩(wěn)定匹配點(diǎn)對(duì)為90對(duì)，算法總體耗時(shí)為131.9 s。文中進(jìn)行對(duì)比的SAR-SIFT算法所采用的關(guān)鍵點(diǎn)數(shù)目為500。

許多學(xué)者針對(duì)SIFT類算法在CPU上運(yùn)算時(shí)間的劣勢(shì)，提出了基于GPU或多核DSP的加速算法，能夠獲得幾十的加速比，使得SIFT類算法的實(shí)時(shí)性得到了很大提升[23]。由此推算，即使在關(guān)鍵點(diǎn)數(shù)目較多的情況下，SAR-SIFT并行加速算法的速度也可降低至幾秒甚至一秒以內(nèi)。

本文的算法采用了深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，計(jì)算過(guò)程具有較高的可并行性，因此在實(shí)際部署時(shí)若采用GPU則會(huì)大幅提高其運(yùn)算速度。對(duì)于1200×1200大小的Wallerfing圖像，基于CPU的前向推斷的運(yùn)算時(shí)間為27.09 s，而基于GPU的運(yùn)算時(shí)間僅為0.9943 s。因此本文的算法即使在大場(chǎng)景條件下也具備較快的執(zhí)行速度。此外，由于網(wǎng)絡(luò)的輸出結(jié)果為經(jīng)過(guò)濾波后的所有匹配點(diǎn)對(duì)的置信度，篩選前N個(gè)穩(wěn)定匹配點(diǎn)對(duì)的時(shí)間復(fù)雜度僅為O(N)，故本文算法增加穩(wěn)定匹配點(diǎn)對(duì)的額外時(shí)間開(kāi)銷較小。本文并未針對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行模型壓縮，當(dāng)前關(guān)于深度卷積神經(jīng)網(wǎng)絡(luò)在移動(dòng)端部署的研究也較為豐富，后續(xù)可以考慮利用模型蒸餾或參數(shù)壓縮等方法對(duì)網(wǎng)絡(luò)進(jìn)行壓縮，從而實(shí)現(xiàn)網(wǎng)絡(luò)前向推斷速度的加快以及輕量級(jí)平臺(tái)上的部署。

總之，在用于匹配的特征點(diǎn)數(shù)適中的情況下，經(jīng)過(guò)并行加速后的SIFT類算法相比于本文算法在理論上具有一定的時(shí)間優(yōu)勢(shì)，但是本文算法也同樣具備較高的實(shí)時(shí)性以及潛在的算法加速的可能性，且增加匹配點(diǎn)對(duì)的額外時(shí)間開(kāi)銷較小。

(6) 本文算法的適用條件

本文的算法適用于高分辨率且尺寸適中的圖像。極化SAR圖像成像分辨率較低時(shí)，訓(xùn)練集與測(cè)試集的數(shù)據(jù)分布會(huì)具有較大差異性，配準(zhǔn)性能可能下降；極化SAR圖像尺寸過(guò)小(例如500×500以下)時(shí)，16倍降采樣特征圖所包含的特征點(diǎn)過(guò)少，配準(zhǔn)會(huì)失效。后續(xù)研究中，可以針對(duì)小場(chǎng)景圖像，重新設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，提高輸出特征圖的分辨率，實(shí)現(xiàn)高分辨率下的特征匹配過(guò)濾，完成小圖像的配準(zhǔn)。

本文的算法僅適用于全局仿射配準(zhǔn)，不適用于更加精細(xì)、配準(zhǔn)模型自由度更高的全局極化SAR圖像配準(zhǔn)。本文的端到端極化SAR圖像仿射配準(zhǔn)算法利用了稀疏卷積來(lái)降低網(wǎng)絡(luò)參數(shù)量，使得輸入圖像的尺寸可達(dá)1000×1000以上，在仿射配準(zhǔn)的精度與速度上均與當(dāng)前被廣泛采用的SAR-SIFT算法相近。然而仿射配準(zhǔn)模型的全局自由度僅為6，對(duì)于極化SAR圖像配準(zhǔn)任務(wù)而言，建模仍較為粗糙。本文算法基于16倍降采樣的特征圖進(jìn)行特征稀疏匹配與過(guò)濾，映射至高分辨原圖的單點(diǎn)位置精度較低，而SAR-SIFT算法則對(duì)關(guān)鍵點(diǎn)進(jìn)行精細(xì)插值定位。可以預(yù)見(jiàn)，當(dāng)配準(zhǔn)模型較為復(fù)雜時(shí)，本文方法的精度相比于傳統(tǒng)的SAR-SIFT等算法具有一定劣勢(shì)。隨著顯卡的更新?lián)Q代，未來(lái)可以嘗試通過(guò)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，實(shí)現(xiàn)高分辨率圖像下的點(diǎn)對(duì)匹配，以完善上述缺陷。

5 結(jié)論

針對(duì)目前基于深度學(xué)習(xí)的極化SAR圖像配準(zhǔn)算法需要對(duì)圖像進(jìn)行手動(dòng)切塊處理與參數(shù)迭代估計(jì)，致使流程較為煩瑣的問(wèn)題，本文提出一種端到端的基于深度卷積神經(jīng)網(wǎng)絡(luò)的極化SAR圖像仿射配準(zhǔn)算法。該算法將特征提取與特征匹配過(guò)濾模塊整合在同一神經(jīng)網(wǎng)絡(luò)框架中，基于弱監(jiān)督學(xué)習(xí)實(shí)現(xiàn)了基于鄰域一致性的特征精細(xì)匹配。結(jié)合網(wǎng)絡(luò)輸出結(jié)果與帶權(quán)最小二乘法即可實(shí)現(xiàn)仿射變換參數(shù)的一步求解，無(wú)需參數(shù)的迭代估計(jì)，流程簡(jiǎn)潔。實(shí)驗(yàn)結(jié)果表明，該算法能夠有效地利用多通道的極化信息提取穩(wěn)定的特征匹配點(diǎn)對(duì)；算法采用DenseNet作為特征提取結(jié)構(gòu)，整體配準(zhǔn)精度與傳統(tǒng)算法相近，在1200×1200的分辨率下，配準(zhǔn)后的平均像素誤差距離低至2.5～6.2，全局平均像素誤差距離與邊長(zhǎng)之比低至0.2%～0.5%；速度上，本文的算法能夠滿足海量數(shù)據(jù)的實(shí)際應(yīng)用需求。此外，實(shí)驗(yàn)利用了升軌和降軌、不同成像模式、不同極化方式、不同分辨率的SAR數(shù)據(jù)進(jìn)行驗(yàn)證，結(jié)果表明本文提出的方法在不同數(shù)據(jù)上具有良好的泛化性能。