Research on multimodal image registration method combining multi-scale features and local sampling description

Jia Zhiyou，Wang Guogang （School of Information Enginering，Shenyang Chemical University，Shenyang11O142，China）

Abstract：Aimingatthematching dificultiescausedbytheexistenceofserious geometricdiferencesandnonlinearntensity diference（NID）indiferentmodal images，this paperproposedamultimodal imagealignmentmethodcombining multi-scale featureswithalocalsamplingdescription.Firstly，themethodintroducedanonlineardifusionequationtoconstructanonlinearscalespace，andthen itcombineda phaseconsistencyandorientedFASTandrotatedBRIEF（ORB）algorithm to obtain multi-scalestable feature points.Then，the method proposedarotation-invariant doubleGaussiansamplingdescriptor，which could robustly span the rotation difference of [0^°，360^°） in the presence of NID. Finally，the method introduced an image recoverystrategy.The methodobtainedtheoptimal geometrictransformationmodel through primarymatching，corected the geometricdiferences existingbetween images，andthenperformed secondarymatching toimprovethematchingaccuracy. Experiments on multimodal data sets inremote sensing，medicine，andcomputer visionshowthattheroot-mean-squareerorof the proposed method can reach within 1.5 pixels and the correct matching rate can exceed 98% when there are geometric diferencessuchasscaleandrotation.Theresultsdemonstrate that this methodcanovercometheinfluenceof nonlinearradiation difference between images and achieve high precision registration.

Keywords：multimodalimages registration；nonlinear scale space；phase coherence；double Gausian sampling descriptor; nonlinear radial disparity

0 引言

圖像匹配是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)基礎(chǔ)和關(guān)鍵問題，其目的是在兩幅或多幅圖像中提取可靠的特征對應(yīng)，使之成為圖像融合、圖像檢測、目標(biāo)跟蹤等多個(gè)領(lǐng)域的先決條件。而不同傳感器類型、不同成像時(shí)間或視點(diǎn)的多模態(tài)圖像存在尺度、旋轉(zhuǎn)、仿射和非線性輻射（nonlinearintensitydifference，NID）等差異，從而導(dǎo)致匹配性能大幅下降，難以滿足不斷變化的實(shí)際應(yīng)用要求[1]。針對這一難題，專家學(xué)者們提出了大量的方法。這些方法大致可劃分為基于模板的匹配方法、基于深度學(xué)習(xí)的匹配方法和基于特征的匹配方法三類。

基于模板的匹配方法的關(guān)鍵是選擇合適的相似性度量，之后利用相似性度量和優(yōu)化方法來準(zhǔn)確估計(jì)幾何變換參數(shù)，從而驅(qū)動配準(zhǔn)過程的優(yōu)化。頻域中的相位相關(guān)（PC）2是最廣泛使用的相似性度量。Ye等人[34]提出了定向相位一致性直方圖（HOPC）算法和基于定向梯度通道特征（CFOG）的算法。Fan等人[5提出了基于角度加權(quán)定向梯度的像素級特征。此類算法高度依賴先驗(yàn)信息來粗略地消除幾何扭曲，包括尺度變化和圖像旋轉(zhuǎn)。盡管這些方法對NID表現(xiàn)出良好的魯棒性，但它們很容易受到幾何扭曲的影響。因此，在圖像存在大幅度旋轉(zhuǎn)以及尺度等幾何差異時(shí)，往往會配準(zhǔn)失敗。

深度學(xué)習(xí)的快速發(fā)展為解決多模態(tài)圖像問題提供了一種新的方法。為了解決多模態(tài)圖像之間顯著的非線性輻射差異，Baruch等人[提出了一種新的卷積神經(jīng)網(wǎng)絡(luò)（CNN）架構(gòu)。該架構(gòu)利用連體CNN和雙非權(quán)重共享CNN，將生成的特征檢測器與特征描述符緊密耦合，并在VIS-NIR跨模態(tài)場景中獲得了良好的結(jié)果。ReDFeat[7]將特征檢測和描述的獨(dú)立約束與互加權(quán)策略重新耦合，提出了具有大接受場和可學(xué)習(xí)的非極大抑制層的超級檢測器，實(shí)現(xiàn)了四模態(tài)場景匹配。然而，此類方法大多需要參數(shù)估計(jì)算法來優(yōu)化匹配結(jié)果，并需要大量樣本數(shù)據(jù)來獲得模態(tài)不變的特征表示，且在非訓(xùn)練域內(nèi)的泛化效果仍不理想，尚無法在實(shí)際中得到廣泛應(yīng)用。

基于特征的匹配方法通常檢測圖像之間的顯著特征（如點(diǎn)特征、線特征和區(qū)域特征），然后通過描述檢測到的特征來識別對應(yīng)關(guān)系。Moravec[8]、Harris[9]、 LoG^[10] 、FAST[1]SIFT^[12] 是最具代表性的檢測算子。但由于上述算法是利用圖像的梯度信息或強(qiáng)度信息形成的，對于同時(shí)存在明顯幾何畸變和NID的多模態(tài)圖像，難以獲得優(yōu)異的匹配性能。

近年來，人們在多模態(tài)圖像領(lǐng)域進(jìn)行了大量的研究，并提出了一系列基于特征的方法來克服多模態(tài)圖像的尺度、旋轉(zhuǎn)、輻射和噪聲等變化，包括輻射不變特征變換（RIFT）[13]、絕對相位一致性梯度直方圖（HAPCG）[14]、一種先進(jìn)的類 SIFT算法（POS-SIFT）[15]和定向相位一致性局部直方圖（LHOPC）[16]。與基于梯度信息的描述符相比，它們對輻射差異的魯棒性更強(qiáng)。RIFT利用Log-Gabor卷積序列構(gòu)建了最大索引圖（MIM），實(shí)現(xiàn)了MIM的旋轉(zhuǎn)不變性，提高了多模態(tài)圖像特征檢測的穩(wěn)定性，其缺點(diǎn)是并未考慮圖像尺度問題以及描述子可能會丟失部分空間信息且會增加特征匹配階段的復(fù)雜度。HAPCG通過各向異性加權(quán)力矩圖和絕對相位一致性方向梯度構(gòu)造對數(shù)極坐標(biāo)描述子，克服了圖像在尺度差異上的影響，但其構(gòu)建的對數(shù)極坐標(biāo)描述子對旋轉(zhuǎn)較為敏感。在涉及旋轉(zhuǎn)和尺度變化等嚴(yán)重幾何扭曲的圖像匹配任務(wù)中性能不佳。

針對多模態(tài)圖像配準(zhǔn)過程中存在旋轉(zhuǎn)和尺度變化等嚴(yán)重幾何扭曲導(dǎo)致配準(zhǔn)精度不高的問題，本文提出了一種結(jié)合多尺度特征與局部采樣描述的多模態(tài)圖像配準(zhǔn)方法（combiningmulti-scale featureswithalocal samplingdescription，MS-LS）。該方法提出了一種尺度構(gòu)建方法和一種魯棒的抗NID特征描述符，以解決配準(zhǔn)過程中圖像尺度、旋轉(zhuǎn)等幾何問題，然后通過初次匹配獲得最優(yōu)的幾何變換模型，修正圖像在尺度以及旋轉(zhuǎn)上的差異，再進(jìn)行二次匹配提升匹配精度。實(shí)驗(yàn)結(jié)果表明，所提算法在各類多模態(tài)數(shù)據(jù)集上的匹配效果顯著，優(yōu)于現(xiàn)有多模態(tài)圖像特征匹配算法。

1 MS-LS方法

本文流程如圖1所示，主要包括五個(gè)部分：a）引入非線性擴(kuò)散方程，構(gòu)建非線性尺度空間；b）在多尺度圖像層中構(gòu)建相位一致性最大矩圖和最小矩圖，歸一化后采用ORB（orientedFAST and rotated BRIEF）[17]算法檢測得到大量顯著特征點(diǎn);c）基于特征點(diǎn)引入高斯核函數(shù)劃定采樣范圍，構(gòu)建多層環(huán)形采樣結(jié)構(gòu)并為采樣點(diǎn)分配權(quán)值，再次引入高斯加權(quán)與多方向Log-Gabor濾波結(jié)果卷積得到采樣點(diǎn)特征，然后與采樣點(diǎn)權(quán)值卷積得到雙重高斯采樣描述符（DGM）；d）采用歐氏距離作為匹配測度，通過DGM描述符進(jìn)行初次匹配，利用快速樣本共識算法（FSC）完成誤匹配剔除，得到仿射變換矩陣 M;e） 根據(jù) M 修正圖像幾何差異，使圖像對處在同一尺度、方向下，將參考圖像上的特征點(diǎn)映射到感測圖像中，并采用k-d樹策略得到最近鄰特征點(diǎn)，進(jìn)一步對匹配進(jìn)行精細(xì)化提煉，完成最終匹配。

1.1構(gòu)建非線性尺度空間

多模態(tài)圖像（尤其紅外圖像/電子圖像/SAR圖像）之間存在噪聲、尺度、對比度差異等問題，進(jìn)一步提升了特征點(diǎn)的識別難度。非線性擴(kuò)散濾波1是一種針對噪聲的保邊濾波器，在抑制噪聲的同時(shí)保持了圖像的重要邊緣信息，可大大提升圖像特征點(diǎn)豐富度。因此采用非線性擴(kuò)散方程構(gòu)建非線性尺度空間。

具體而言，先對圖像下采樣得到圖像金字塔，然后在各圖層中引入非線性擴(kuò)散方程進(jìn)行濾波。如圖2所示，圖像金字塔由 a_i 和 b_i 兩組逐層疊加組成， i∈{0，1，…，n-1} 。 a₀ 對應(yīng)原始圖像，對 a₀ 進(jìn)行1.5倍下采樣得到 b₀ 。然后分別對 a₀ 和 b₀ 進(jìn)行2倍下采樣，當(dāng)圖片像素值低于 64×64 時(shí)，終止采樣。最后將 ω_a，b 兩組圖像逐層疊加得到尺度層 n∈{0，1，…，s}， s表示最大圖層數(shù)目。然后在圖層上引入非線性擴(kuò)散方程進(jìn)行濾波。

其中：div表示散度操作符； t 表示時(shí)間度量的尺度值； L 為輸入圖像； ablaL 為圖像的梯度值； c（x，y，t） 為擴(kuò)散函數(shù)； k 為對比度因子， k 越小，保留的邊緣信息越多； L^s+1 為擴(kuò)散后的結(jié)果； τ 為擴(kuò)散的時(shí)間步長； I 為單位矩陣； A_l 為沿第 ξ_l 個(gè)方向的擴(kuò)散系數(shù)矩陣。其中在擴(kuò)散計(jì)算時(shí)，需要將尺度值轉(zhuǎn)換為時(shí)間值，即 t_s= 1/2σ_s²，σ_s 表示尺度， s 表示層數(shù)。

1.2 特征檢測

對于金字塔中的每一層圖像，計(jì)算相位一致性（PC）圖所生成的加權(quán)距圖。二維PC模型可表示為

其中： 為加權(quán)函數(shù)； A_so（x，y） 為Log-Gabor濾波器對圖像進(jìn)行的濾波后的特征，其尺度為 方向?yàn)?o：Δ?_so（x，y） 為二維相位偏差函數(shù)； T 為補(bǔ)償噪聲； ε 是一個(gè)小值;1.I防止值為負(fù)數(shù)，大于0時(shí)為自身；否則，該值為0。

為了得到PC圖與方向變化之間的關(guān)系，本文對每個(gè)方向o 計(jì)算一個(gè)獨(dú)立的 PC（θ_o） ，并分析 PC（θ_o） 隨方向變化的結(jié)果。根據(jù)矩分析算法[19]，主軸對應(yīng)最小矩 m_? ，表示特征方向；最大矩 M_? 垂直于主軸，反映特征的顯著性。 m_? 和 M_? 的大小可以計(jì)算如下：

其中：

其中 和 c 為相位力矩計(jì)算的中間量。

最小矩 m_? 為圖像的角點(diǎn)映射，最大矩 M_? 為圖像的邊緣映射。為了均衡PC圖中角點(diǎn)與邊緣特征。本文對其歸一化處理，計(jì)算如下：

此外，在 W 上應(yīng)用了ORB算法，獲得了大量的顯著特征。圖3給出了一對光學(xué)與深度圖像的特征提取結(jié)果?？梢钥闯?，在基于加權(quán)歸一化后的PC圖上可以檢測到大量分布均勻且可靠的角點(diǎn)和邊緣特征點(diǎn)，證明了PC測度對NID的良好不變性。

1.3雙重高斯采樣描述符（DGM）

在本節(jié)中，本文提出了一種新的多模態(tài)圖像的魯棒特征描述符。盡管多模態(tài)圖像于存在嚴(yán)重NID的情況下，仍然能處理任何旋轉(zhuǎn)角度下的圖像。實(shí)現(xiàn)流程如圖4所示。具體而言，描述符的構(gòu)建包括四個(gè)步驟：a）引入高斯加權(quán)函數(shù)，設(shè)計(jì)特征描述符結(jié)構(gòu)并為采樣點(diǎn)分配權(quán)重；b）基于相位一致性距圖構(gòu)建Log-Gabor特征;c）構(gòu)造每個(gè)采樣點(diǎn)的高斯權(quán)特征;d）計(jì)算局部方向特征，估計(jì)主方向，并重新排序索引特征，將其按特定順序進(jìn)行積分，生成特征點(diǎn)的旋轉(zhuǎn)不變特征描述符。圖4（a）為引入高斯加權(quán)，劃定采樣范圍;圖4（b）為基于采樣點(diǎn)在多方位Log-Gabor濾波結(jié)果引入高斯加權(quán);圖4（c）為特征將局部鄰域的多方向?yàn)V波響應(yīng)與高斯權(quán)值相結(jié)合得出采樣點(diǎn)向量；圖4（d）為主導(dǎo)方向估計(jì)；圖4（e）為形成特征點(diǎn)特征描述符。

1.3.1構(gòu)建描述符結(jié)構(gòu)

為了魯棒地描述特征點(diǎn)的特征信息，本文采用以特征點(diǎn)為主、結(jié)構(gòu)信息為輔的描述形式。即針對特征點(diǎn)的趨近鄰域引入二維高斯模型，通過積分加權(quán)的形式突出特征點(diǎn)的中心作用。具體而言，首先以特征點(diǎn)為中心，引入標(biāo)準(zhǔn)差為 σ 的二維高斯模型，分別以 σ_D 為半徑繪制同心圓， σ_D∈{1/2σ，σ，2σ} 。然后在 1/2σ，σ 處設(shè)置均勻采樣點(diǎn)。最后將采樣點(diǎn)與所處位置的高斯權(quán)值的乘積作為特征點(diǎn)的特征描述符。特征描述符結(jié)構(gòu)如圖5所示。

其中： σ 表示為 G_DGM（x，y，σ） 方差；圓環(huán)半徑 σ_D 由 σ 決定，分別在 1/2σ_?σ 處取得。

其中： DGM 為雙重高斯采樣描述符； SPF 為采樣點(diǎn)特征； n，m

分別為采樣點(diǎn)所在的圈數(shù)以及點(diǎn)數(shù)。

通過大量實(shí)驗(yàn)，當(dāng) m=12 時(shí)可得最優(yōu)結(jié)果，最終形成（2m+1）×σ 維描述符，即本文的特征描述子為150維。圖5為構(gòu)建特征點(diǎn)特征描述符。

1.3.2 構(gòu)建Log-Gabor特征

由于特征點(diǎn)在PC圖上進(jìn)行描述并不魯棒，所以本文將特征檢測過程中獲得了多尺度和多方向的濾波結(jié)果按方向進(jìn)行疊加，得到多方向的濾波結(jié)果。

其中 {?A_o（x，y） 為 σ_o 方向下疊加的濾波結(jié)果。由于 A_o（x，y） 具有對稱性，所以本文僅在 [0^°，180^° ］內(nèi)構(gòu)建多方向Log-Gabor濾波器。參考已有研究，將 σ_o 設(shè)置為 6

1.3.3 構(gòu)建采樣點(diǎn)特征（SPF）

為了得到特征點(diǎn)鄰域中不同尺度的區(qū)域特征，本文將不同大小的高斯核分配給不同位置的采樣點(diǎn)。通過將疊加多尺度的Log-Gabor濾波結(jié)果與采樣點(diǎn)高斯核積分形成特征向量來描述采樣點(diǎn)特征。具體而言，首先確定每個(gè)采樣點(diǎn)的采樣區(qū)域，以采樣點(diǎn)到特征點(diǎn)的距離 R_s 為采樣半徑建立高斯核。

R_S=σ_D

其中： σ_s 表示 G_SPF（x，y，σ_s） 的方差。

其次，對采樣鄰域分配權(quán)值后，積分每層圖像并順序排列形成單個(gè)采樣點(diǎn)的采樣特征。最后將所有采樣子區(qū)域統(tǒng)計(jì)結(jié)果連接起來并進(jìn)行歸一化處理，減少光照的影響。

其中： V_{i，j，o} 表示采樣點(diǎn)在單方向圖像上的值; （x_p，y_p） 為采樣點(diǎn)的坐標(biāo)，根據(jù)已有研究[20] Ω_a 的經(jīng)驗(yàn)值為 0.15，b 的經(jīng)驗(yàn)值為 0.35 （20

SPF_n，m=[V_{i，j，1};V_{i，j，2};…;V_i，j，o]

其中： SPF_n，m 表示第 n 層第 ?_m 個(gè)采樣點(diǎn)特征。

1.3.4主導(dǎo)方向估計(jì)

經(jīng)典的SIFT算法采用統(tǒng)計(jì)特征點(diǎn)局部像素的梯度方向及大小，然后構(gòu)造梯度直方圖，以最大值的方向作為主要方向的方法來實(shí)現(xiàn)旋轉(zhuǎn)不變性。然而，此方法應(yīng)用到相位一致性距圖上并不能得到良好的效果。由于Log-Gabor濾波器的取向角是固定的，當(dāng)圖像以不同的角度旋轉(zhuǎn)時(shí)，濾波器的初始取向角發(fā)生了改變，導(dǎo)致以最大值的方向作為主要方向匹配失敗。

針對這一問題，本文沿用了 RIFT2^[21] 中解決圖像旋轉(zhuǎn)的方法。通過計(jì)算多方向的濾波結(jié)果 V ，并將濾波結(jié)果中最大范數(shù)的索引值V。設(shè)為第一層，其余方向?yàn)V波結(jié)果順序編碼。當(dāng)圖像發(fā)生旋轉(zhuǎn)時(shí)，根據(jù)圖層索引值與濾波結(jié)果中的最大范數(shù)值得到圖像與濾波器之間的旋轉(zhuǎn)取向角。根據(jù)取向角重新編碼濾波器的結(jié)果，使其恢復(fù)原始對應(yīng)結(jié)果，最終以最大值的方向作為主要方向便可實(shí)現(xiàn)旋轉(zhuǎn)不變性。表1給出了 o=6 時(shí)元素索引的修改示例。

計(jì)算模板圖像和參考圖像中的每個(gè)采樣點(diǎn)的 V_; ，找到最大值 V_o 和主導(dǎo)指數(shù) s， 0

[V_o，s]=argmax（SPF）

通過 s 重新編碼濾波結(jié)果。

其中：SPF為重新編碼后的濾波結(jié)果，具有旋轉(zhuǎn)不變性。為提高匹配的穩(wěn)定性，本文為超過主導(dǎo)峰值 80% 的峰值 V_o 也創(chuàng)建了新的SPF以增強(qiáng)魯棒性。

1.4 二次匹配

在像素為 500×500 的圖像上，利用ORB算法可提取約5000個(gè)特征點(diǎn)。然而，通過大量實(shí)驗(yàn)發(fā)現(xiàn)，初次匹配只能匹配300～800 個(gè)正確匹配對。無法達(dá)到高精度匹配的要求，且浪費(fèi)了大量特征信息。在本節(jié)中，本文通過修正圖像之間幾何變化對未匹配的高質(zhì)量特征點(diǎn)進(jìn)行重新匹配，以提高匹配性能。

通過快速樣本共識算法（FSC）[22]得到仿射變換矩陣 M ，估計(jì)初次匹配尺度和旋轉(zhuǎn)差。

其中： θ 表示圖像之間的旋轉(zhuǎn)差異 S_xS_yS_image 為 x 方向與 y 方向以及整體圖像之間的尺度差異。

修正圖像幾何差異，使圖像對處在同一大小、方向下，再將參考圖像上的特征點(diǎn)映射到感測圖像中，采用k-d樹策略得到最近鄰特征點(diǎn)，完成最終匹配。

2 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文方法的有效性，將其與PSO-SIFT[15]SURF[23]、LNIFT[24]、3MRS[25]、HAPCG[14]、 RIFT2^[21] 當(dāng)前六種比較先進(jìn)的方法進(jìn)行比較實(shí)驗(yàn)。為確保公平，其中參數(shù)設(shè)置均根據(jù)原文獻(xiàn)設(shè)置。同時(shí)使用同名點(diǎn)匹配數(shù)量（numberofcorrectmatches，NCM）均方根誤差（root meansquare error，RMSE）成功率（successrate，SR）以及運(yùn)行時(shí)間（runningtime）四種指標(biāo)來衡量。本文采用仿射變換作為約束條件，將匹配誤差在5像素內(nèi)的結(jié)果認(rèn)定為正確匹配，其中匹配同名點(diǎn)數(shù)目不能少于4對[13]。

2.1 數(shù)據(jù)集

本文選擇了多種不同模態(tài)圖像數(shù)據(jù)集作為實(shí)驗(yàn)集，其中包括不同時(shí)段的光學(xué)圖像、SAR圖像、地圖、紅外圖像、深度圖像、熱成像、CT和晝夜圖像等。數(shù)據(jù)涵蓋了遙感、醫(yī)學(xué)、計(jì)算機(jī)視覺等多個(gè)領(lǐng)域。場景包含鄉(xiāng)村、田野、森林、室內(nèi)、山脈、建筑、街道、城市等。為全面評估算法性能，部分圖片進(jìn)行了人工旋轉(zhuǎn)、尺度等幾何變化。每種類型的數(shù)據(jù)集均包含多個(gè)圖像對，總共87個(gè)多模態(tài)圖像對。樣本數(shù)據(jù)如圖6所示。

2.2 參數(shù)選擇

影響本文算法復(fù)雜度與配準(zhǔn)性能的參數(shù)包括三個(gè)，即第一重高斯加權(quán)函數(shù)的標(biāo)準(zhǔn)差 σ ，高斯環(huán)上采樣點(diǎn)的數(shù)量 ?_m 以及k-d樹得到的最近鄰特征點(diǎn)數(shù)量 K 為確保公平，實(shí)驗(yàn)過程中對被測參數(shù)進(jìn)行修改，其他參數(shù)保持不變。本文的最大特征數(shù)固定為5000個(gè)。表2給出了詳細(xì)的參數(shù)設(shè)置和實(shí)驗(yàn)結(jié)果。

在特征描述符中， σ 的大小標(biāo)志著特征點(diǎn)采樣鄰域的范圍。由于位于第一層的采樣點(diǎn)在 1/2σ 所在的采樣環(huán)上，為了使采樣點(diǎn)每次調(diào)整時(shí)變化大于一個(gè)像素點(diǎn)，在調(diào)整 σ 時(shí)每次以2個(gè)像素為一組。當(dāng) σ 過小時(shí)，則會丟失特征點(diǎn)局部信息。因此，本文將 σ 從16變化到26，當(dāng) σ=20 時(shí)匹配性能達(dá)到最佳。隨著 ?_m 增大，匹配數(shù)量逐漸增加，RMSE減小，性能有所提高。但在 m=12 之后，RMSE變化不大。較大的 m 會增加特征向量的維度，降低算法效率。 K 表示在二次配準(zhǔn)過程中特征點(diǎn)所對應(yīng)的正確匹配范圍。隨著 K 的增大，正確匹配數(shù)量逐步提升，但較大的搜索范圍則會導(dǎo)致誤差加大，精度降低。實(shí)驗(yàn)表明，當(dāng) K 值設(shè)置為20時(shí)，可以獲得最大的高精度 NCM 。

根據(jù)上述分析，綜合考慮算法的時(shí)間復(fù)雜度和匹配性能，本文設(shè)置參數(shù)為 σ=20，m=12，K=20 ，并在接下來的實(shí)驗(yàn)中使用此參數(shù)。

2.3定性比較實(shí)驗(yàn)

為全方位評估實(shí)驗(yàn)方法，本文對整體數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并選出各個(gè)模態(tài)中最具代表性的圖像對進(jìn)行展示，以全方位評估各算法的魯棒性。光學(xué)圖像-熱度圖像對和核磁圖像-熱度圖像對中包含不同強(qiáng)度和類型的非線性強(qiáng)度NID和仿射變換，可用于測試不同模態(tài)下圖像整體發(fā)生仿射變換時(shí)各算法的配準(zhǔn)能力。SAR-紅外圖像對中存在大幅度旋轉(zhuǎn)，光學(xué)圖像-CT掃描圖像對、光學(xué)圖像-地圖、光學(xué)圖像-SAR對、光學(xué)圖像-深度圖像中均同時(shí)包含NID、圖像平移、尺度變化，可用于評估NID和復(fù)雜幾何畸變下的配準(zhǔn)性能。針對不同角度的光學(xué)圖像，可評估算法在同源圖像下的配準(zhǔn)性能。最終將MS-LS與目前比較先進(jìn)的六種算法POS-SIFT、LNIFT、RIFT2、3MRS、HOPCG、SRIF進(jìn)行視覺比較。

由圖7可知，SRIF和LNIFT對圖像間非線性輻射差異的穩(wěn)健性較差，僅在不同角度的光學(xué)圖像對上成功提取了少量匹配對。POS-SIFT方法引人了新的梯度方法，在抗模態(tài)變化上有一定效果，但當(dāng)模態(tài)變化過大時(shí)仍然匹配失敗，僅成功匹配4對圖像。3MRS對圖像進(jìn)行了二次配準(zhǔn)，在圖像匹配精度方面有明顯提升，但是由于在初次匹配時(shí)并未消除圖像在尺度及旋轉(zhuǎn)方面的影響，對于具有尺度、旋轉(zhuǎn)等幾何變換的4對圖像上匹配失敗。HAPCG在尺度上引入了擴(kuò)散方程，在圖像尺度變化時(shí)具有魯棒性，但在圖像旋轉(zhuǎn)敏感，僅成功匹配了4對圖像。與前面五種方法相比，RIFT2方法具有相對較好的性能，除了無法匹配具有尺度差異的可見光-熱度圖像對，在其他模態(tài)圖像對上均能提取較多的匹配點(diǎn)對。MS-LS在初次匹配階段解決圖像的幾何差異，二次匹配階段基于此進(jìn)一步提高匹配數(shù)量和配準(zhǔn)精度。相比之下，MS-LS的表現(xiàn)明顯優(yōu)于其他所有方法，并且是唯一正確匹配所有圖像對的方法。

2.4定量比較實(shí)驗(yàn)

表3總結(jié)了各類算法在整體數(shù)據(jù)集上的詳細(xì)定量結(jié)果。綜合各個(gè)場景的分析顯示，MS-LS方法在多模態(tài)圖像配準(zhǔn)任務(wù)中表現(xiàn)出卓越的性能。在光學(xué)圖像與熱成像中，MS-LS的

RMSE為1.75，顯著低于POS-SIFT的2.92和RIFT2的2.06，降幅分別為 40.4% 和 15.1% ，且SR達(dá) 100% 。在NMR圖像與熱成像中，MS-LS以1.85的RMSE優(yōu)于LNIFT的2.82和RIFT2的 2.56 SAR-IR圖像中，MS-LS的RMSE為O.81，較

POS-SIFT和RIFT2分別降低 68.8% 和 70.5% 。在光學(xué)圖像與CT掃描中，MS-LS的RMSE為2.01，低于LNIFT的3.52和RIFT2的2.94。光學(xué)圖像與地圖中，MS-LS的RMSE僅為0.50，較POS-SIFT和LNIFT顯著降低 84.5% 和 85.2% 。在不同角度的光學(xué)圖像中，MS-LS的RMSE為0.51，較POS-SIFT降低 76.9% 。最后，在光學(xué)圖像與SAR的對比中，MS-LS的RMSE為0.81，降幅為 71.7% 。

總體而言，MS-LS在三個(gè)指標(biāo)上都強(qiáng)于其他各類算法。MS-LS得到的NCM是其他幾類算法的幾倍甚至幾十倍。對于RMSE，在經(jīng)過二次匹配的情況下，精度明顯提升，平均達(dá)到1.5個(gè)像素以內(nèi)，幾乎比RIFT2高一倍。在SR方面，MS-LS全部匹配成功，證明了MS-LS算法對各種圖像模態(tài)以及圖像具有巨大幾何差異時(shí)的出色魯棒性。

2.5 運(yùn)行時(shí)間

表4顯示了本文與其他幾種方法在測試87對多模態(tài)圖像的平均運(yùn)行時(shí)間。所有實(shí)驗(yàn)均在相同配置下進(jìn)行：Windows1064專業(yè)版，13th Gen CoreTM i5-13490F，2.50 GHz，32 GBRAM，MATLAB 2022a 開發(fā)環(huán)境。

由表4可以看出，SRIF、HOPCG在運(yùn)算速度上優(yōu)于MS-LS。消耗時(shí)間最長的是3MRS，此方法存在二次匹配的過程，且匹配點(diǎn)數(shù)巨大，導(dǎo)致時(shí)間過長。RIFT2在RIFT的基礎(chǔ)上將原有端到端的環(huán)形特征匹配方法改為基于最大值索引值進(jìn)行特征匹配，大大降低了算法運(yùn)算時(shí)間。SRIF、HOPCG之所以快，是因?yàn)镾RIF、HOPCG檢測的特征點(diǎn)相對較少，在匹配時(shí)無須大量計(jì)算。MS-LS方法在保證識別出豐富的同名點(diǎn)對的同時(shí)，依然能保持較高的運(yùn)算效率，可以實(shí)現(xiàn)多模態(tài)圖像的快速魯棒匹配。

3結(jié)束語

針對解決多模態(tài)圖像中存在非線性輻射差異以及可能存在圖像比例、旋轉(zhuǎn)等幾何差異所導(dǎo)致匹配困難且配準(zhǔn)精度不高的問題，本文提出了一種結(jié)合多尺度特征與局部采樣描述的多模態(tài)圖像配準(zhǔn)方法，通過大量具有光照、模態(tài)、尺度、旋轉(zhuǎn)、位移和綜合差異的各類多模態(tài)圖像對進(jìn)行了實(shí)驗(yàn)驗(yàn)證，該方法具有良好的抗圖像幾何形變性能，并能達(dá)到高精度匹配。此外，對各種多模態(tài)圖像進(jìn)行了廣泛的定性和定量比較，結(jié)果表明MS-

LS優(yōu)于目前最先進(jìn)的方法SIFT、POS-SIFT、LNIFT、RIFT2、3MRS、HOPCG、SRIF。但是，由于此算法追求高精度，導(dǎo)致在描述符的構(gòu)建以及特征匹配環(huán)節(jié)耗費(fèi)了大量時(shí)間。在特征描述符的構(gòu)建過程中，針對不同采樣點(diǎn)計(jì)算時(shí)，重復(fù)計(jì)算了特征點(diǎn)的近值鄰域部分，導(dǎo)致遍歷時(shí)間過長。同時(shí)，算法在特征檢測時(shí)檢測了大量特征點(diǎn)，導(dǎo)致配準(zhǔn)時(shí)間過長。未來將考慮在不損失精度的情況下，通過降低特征維度或提取精度更高且重復(fù)性更好的特征點(diǎn)以提高所提方法的效率、準(zhǔn)確性和魯棒性。

參考文獻(xiàn)：

[1]Zhu Bai，ZhouLiang，Pu Simiao，etal.Advances and challenges in multimodal remote sensing image registration [J].IEEE Journal on MiniaturizationforAirandSpace Systems，2023，4（2）：165-174.

[2]Kovesi P. Phase congruency：a low-level image invariant[J].Psychological Research，2000，64（2）：136-148.

[3]Ye Yuanxin，Shan Jie，BruzzoneL，et al.Robust registration of multimodal remote sensing imagesbased on structural similarity[J]. IEEETrans on Geoscience and Remote Sensing，2017，55 （5）：2941-2958.

[4]Ye Yuanxin，BruzzoneL，Shan Jie，et al.Fast and robust matching for multimodal remote sensing image registration[J]. IEEE Trans on Geoscience and Remote Sensing，2019，57（11）：9059-9070.

[5]Fan Zhongli， Zhang Li，Liu Yuxuan，et al.Exploiting high geopositioningaccuracyof SARdata toobtainaccurate geometric orientationof optical satellite images[J].Remote Sensing，2021，13（17）：3535.

[6]Baruch E B，Keller Y. Joint detection and matching of feature points inmultimodalimages[J].IEEETransonPatternAnalysisand MachineIntelligence，2022，44（10）：6585-6593.

[7]Deng Yuxin，Ma Jiayi. ReDFeat：recoupling detection and descriptionformultimodal featurelearning[J]. IEEETranson lmageProcessing，2022，32：591-602.

[8]Moravec BHP.Obstacle avoidance and navigation inthe real world byaseeingrobot rover[M].Stanford，CA，USA：Stanford University，1980.

[9]Harris C，Stephens M.A combined corner and edge detector[C]// Procofthe4thAlveyVisionConference.1988：147-151.

[10]Lindeberg T. Scale-space theory：a basic tool for analyzing structures atdifferentscales[J].JournalofAppliedStatistics，1994，21（1- 2）：225-270.

[11]RostenE，PorterR，Drummond T.Fasterand better：amachine learningapproachto cornerdetection[J].IEEETrans onPattern Analysisand Machine Intelligence，2010，32（1）：105-119.

[12]Lowe DG.Distinctive image features from scale-invariant keypoints[J]. International JournalofComputerVision，2004，60（2）：91-110.

[13]Li Jiayuan，Hu Qingwu，Ai Mingyao．RIFT：multi-modal image matching based on radiation-variation insensitive featuretransform [J].IEEETranson ImageProcessing，2020，29：3296-3310.

[14］姚永祥，張永軍，萬一，等．顧及各向異性加權(quán)力矩與絕對相位 方向的異源影像匹配[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2021，46 （11）：1727-1736.（Yao Yongxiang，ZhangYongjun，Wan Yi，et al.Heterologous images matching considering anisotropic weighted moment and absolute phase orientation[J].Geomatics and Information Science of Wuhan University，2021，46（11）：1727-1736.）

[15]MaWenping，Wen Zelian，Wu Yue，etal.Remotesensingimage registration with modified SIFT and enhanced feature matching[J]. IEEEGeoscience and Remote Sensing Letters，20l7，14（1）：3-7.

[16]YeYuanxin，ShanJie，HaoSiyuan，etal.Alocal phasebased invariant feature for remote sensing image matching[J]. ISPRS Journal ofPhotogrammetryand Remote Sensing，2018，142：205-221.

[17]RubleeE，RabaudV，KonoligeK，etal.ORB：aneffcientalternativetoSIFTorSURF[C]//ProcofInternationalConferenceonComputerVision.Piscataway，NJ：IEEEPress，2011：2564-2571.

[18]PeronaP，Malik J.Scale-space and edge detection using anisotropic diffusion[J]. IEEETransonPattern AnalysisandMachine Intelligence，1990，12（7）：629-639.

[19]HornB.Robot vision[M].[S.I.]：MITPress，1986.

[20]Hou Zhuolu，Liu Yuxuan，Zhang Li． POS-GIFT：a geometric and intensity-invariant feature transformation for multimodal images[J]. InformationFusion，2024，102：102027.

[21]Li Jiayuan，Shi Pengcheng，Hu Qingwu，et al.RIFT2：speeding-up RIFTwith a newrotation-invariance technique[EB/OL]. （2023-03- 01）.https：//arxiv.org/abs/2303.00319.

[22]XiongXin，Jin Guowang，XuQing，etal.Robust registration algorithmforoptical and SAR imagesbased onadjacent self-similarity feature[J].IEEE Trans on Geoscience and Remote Sensing， 2022，60：5233117.

[23]Li Jiayuan，Hu Qingwu，Zhang Yongjun.Multimodal image matching：a scale-invariant algorithm and an open dataset[J]. ISPRS Journal of Photogrammetryand RemoteSensing，2023，204： 77-88.

[24]Li Jiayuan，Xu Wangyi，Shi Pengcheng，et al.LNIFT：locally normalized imageforrotationinvariantmultimodalfeaturematching[J]. IEEETrans on Geoscience and Remote Sensing，2022，60： 5621314.

[25]FanZhongli，LiuYuxian，Liu Yuxuan，etal.3MRS：aneffective coarse-to-fine matching method for multimodal remote sensing imagery [J].Remote Sensing，2022，14（3）：478.

下期要目

? 多模態(tài)行人重識別研究綜述

? 語義通信在邊緣算力網(wǎng)絡(luò)中應(yīng)用研究綜述

? 基于同態(tài)加密和零知識證明的區(qū)塊鏈可擴(kuò)展隱私保護(hù)方案

? HyperledgerFabric并發(fā)沖突消除機(jī)制

? PMoE：在P-tuning中引入混合專家的參數(shù)高效微調(diào)框架

? 基于大語言模型的多任務(wù)生成式重構(gòu)對話情緒識別

? 基于完整超圖神經(jīng)網(wǎng)絡(luò)的捆綁推薦模型

? 基于高階鄰域信息交互的自監(jiān)督異質(zhì)圖嵌入算法

? 基于超圖和分層頻譜濾波器的序列推薦模型

? 針對圖像指代分割的訓(xùn)練后量化策略

? 基于強(qiáng)化學(xué)習(xí)協(xié)同進(jìn)化算法求解柔性作業(yè)車間節(jié)能調(diào)度問題

? 基于信息互補(bǔ)與交叉注意力的跨模態(tài)檢索方法

? 基于污點(diǎn)分析的移動端深度學(xué)習(xí)模型泄露自動分析方法

? 基于GPU的Winograd卷積算法并行化

? 獎(jiǎng)勵(lì)回溯DQN驅(qū)動的多QoS工業(yè)網(wǎng)絡(luò)時(shí)隙調(diào)度方法

? 基于QUIC的擁塞控制算法動態(tài)切換機(jī)制

? 面向物流數(shù)據(jù)共享的可撤銷屬性加密方案

? 一種具有多級安全目標(biāo)的動態(tài)對稱可搜索加密方案

? 殘差混合注意力與自適應(yīng)特征融合的腦腫瘤分割

? 融合時(shí)空信息與運(yùn)動信息的骨架行為識別

? 基于雙重?cái)U(kuò)散模型的圖像恢復(fù)模型

? 基于預(yù)訓(xùn)練擴(kuò)散模型的兩階段高分辨率圖像復(fù)原方法

? 基于自學(xué)習(xí)區(qū)域選擇與邊緣聚焦的單目3D檢測