伍 朗，易 詩，陳夢(mèng)婷，李 立

〈圖像處理與仿真〉

基于融合式PC-ORB的異源圖像配準(zhǔn)算法

伍 朗，易 詩，陳夢(mèng)婷，李 立

（成都理工大學(xué) 機(jī)電工程學(xué)院，四川 成都 610059）

異源圖像配準(zhǔn)中，由于圖像的成像機(jī)理差異，圖像像素強(qiáng)度關(guān)聯(lián)和旋轉(zhuǎn)畸變是不可避免的兩大問題，針對(duì)圖像像素強(qiáng)度關(guān)聯(lián)問題，提出了基于輻射不變特征變換（radiation-variation insensitive feature transform，RIFT）的圖像配準(zhǔn)算法，對(duì)圖像間像素關(guān)聯(lián)差異小的圖像對(duì)配準(zhǔn)有良好的精度，但對(duì)旋轉(zhuǎn)畸變圖像會(huì)產(chǎn)生較多錯(cuò)誤匹配。對(duì)于旋轉(zhuǎn)畸變問題，傳統(tǒng)的ORB（oriented fast and rotated brief）算法，對(duì)旋轉(zhuǎn)圖像的配準(zhǔn)有一定的穩(wěn)定性，但對(duì)于強(qiáng)度變化不明顯的圖像對(duì)，特征點(diǎn)檢測(cè)質(zhì)量較低，配準(zhǔn)精度不理想。因此本文將相位一致性（phase consistency，PC）融合進(jìn)ORB算法，利用相位信息代替?zhèn)鹘y(tǒng)的圖像強(qiáng)度信息，再構(gòu)造旋轉(zhuǎn)不變性BRIEF特征描述子，對(duì)圖像像素強(qiáng)度變化和旋轉(zhuǎn)畸變均具有魯棒性。用圖像像素強(qiáng)度關(guān)聯(lián)不明顯的紅外圖像和可見光圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)，本文算法針對(duì)不同旋轉(zhuǎn)幅度的圖像的配準(zhǔn)精度較高，RMSE穩(wěn)定在1.7～2.1，優(yōu)于RIFT算法，在特征點(diǎn)檢測(cè)數(shù)量、配準(zhǔn)精度和效率等性能上均有良好性能。

圖像配準(zhǔn)；特征匹配；相位一致性；旋轉(zhuǎn)不變性；ORB算法

0 引言

21世紀(jì)以來，科學(xué)技術(shù)發(fā)展非常迅速，同時(shí)圖像傳感技術(shù)也在持續(xù)發(fā)展，應(yīng)用領(lǐng)域越來越廣泛，但同源圖像只能反映場(chǎng)景信息的一部分，信息獲取非常受限制，它已難以滿足不斷增多的應(yīng)用需求。異源圖像的融合結(jié)果可以提供有效的互補(bǔ)信息，圖像配準(zhǔn)是圖像融合的關(guān)鍵技術(shù)，對(duì)融合結(jié)果的質(zhì)量有直接影響。由于圖像之間有相位和比例縮放的關(guān)系[1]，為了有效地利用這些異源圖像信息，有必要對(duì)從不同位置或不同傳感器形態(tài)觀測(cè)到的同一場(chǎng)景的圖像進(jìn)行配準(zhǔn)[2]。

異源圖像配準(zhǔn)屬于常見的多傳感器圖像配準(zhǔn)類型，被廣泛應(yīng)用于遙感信息融合[3]、軍事偵察和醫(yī)療圖像等[4]。本文異源圖像研究對(duì)象是紅外圖像和可見光圖像，圖像配準(zhǔn)主要的任務(wù)是計(jì)算最優(yōu)幾何變換參數(shù)[5]，使得配準(zhǔn)圖像和目標(biāo)圖像之間形成最大化的相似性。圖像的特征匹配是圖像配準(zhǔn)過程中關(guān)鍵一步，其匹配準(zhǔn)確度對(duì)最終配準(zhǔn)圖像的性能有直接影響。常用的圖像匹配算法有基于區(qū)域[6]的匹配和基于特征的匹配方法[5]?；趨^(qū)域的算法計(jì)算復(fù)雜度高，常用的計(jì)算變換參數(shù)的算法有互相關(guān)和互信息[7]（mutual information，MI），基于特征的匹配方法主要是提取圖像的角點(diǎn)、邊緣等特征，利用特征描述算子使得特征點(diǎn)匹配。2004年Lowe[8]提出了尺度不變的用于特征匹配的算法SIFT，對(duì)視角變化和噪聲干擾的圖片的特征點(diǎn)匹配有較強(qiáng)魯棒性。2012年，Wang[9]等發(fā)表了用雙邊濾波實(shí)現(xiàn)改進(jìn)的SIFT（scale-invariant feature transform）算法，此算法能保留更多的特征信息，提高了去噪能力。Roblee等于2011年提出了新型二進(jìn)制特征配準(zhǔn)算法ORB[10]（oriented fast and rotate brief），運(yùn)算速度快，對(duì)有旋轉(zhuǎn)度的圖像特征點(diǎn)匹配有較強(qiáng)穩(wěn)定性。2018年Feng[11]等解決了ORB特征點(diǎn)匹配不具有尺度不變性的問題。

對(duì)于成像原理，可見光和紅外光圖像的各自成像特點(diǎn)有較大差異，紅外傳感器主要是利用其熱輻射而成像，對(duì)應(yīng)場(chǎng)景的溫度決定了像素亮度，可見光傳感器是由環(huán)境反射信息而成像，其像素亮度是由環(huán)境光決定，因此，其各自圖像中的像素強(qiáng)度通常沒有直接關(guān)聯(lián)性，紅外圖像具有模糊的邊緣細(xì)節(jié)，與可見光在非線性輻射上有較大差異，加上其各自圖像獲取角度，成像分辨率等不同，提高了紅外和可見光圖像配準(zhǔn)的難度。針對(duì)這些問題，Li等提出了一種解決像素強(qiáng)度差異和非線性輻射畸變（nonlinear radiation distortion，NRD）問題的方法[12]，即基于輻射不變特征變換（radiation-variation insensitive feature transform，RIFT）的圖像配準(zhǔn)，對(duì)于異源圖像的特征點(diǎn)匹配有良好的性能，該方法不再根據(jù)傳統(tǒng)的針對(duì)像素強(qiáng)度和梯度進(jìn)行特征檢測(cè)，而是使用相位一致性（PC）來構(gòu)造旋轉(zhuǎn)度不同的多重最大索引映射（maximum index mapping，MIM）用于特征描述，對(duì)非線性輻射畸變有較強(qiáng)魯棒性，同時(shí)也使得RIFT算法有一定旋轉(zhuǎn)不變性，但由于在優(yōu)化MIM時(shí)失去了大量細(xì)節(jié)信息，其對(duì)于旋轉(zhuǎn)畸變失真的健壯性還不夠，導(dǎo)致特征點(diǎn)匹配精度降低。

本文提出一種融合式PC-ORB的算法，將相位一致性融入ORB，用相位信息代替圖像強(qiáng)度信息進(jìn)行后續(xù)特征點(diǎn)檢測(cè)，對(duì)圖像像素強(qiáng)度變換有一定穩(wěn)定性，且利用ORB算法中rBRIEF（rotation-aware BRIEF）特征描述子，對(duì)有旋轉(zhuǎn)畸變的圖像有更穩(wěn)定的配準(zhǔn)精度，但ORB算法的圖像匹配準(zhǔn)精度和抗干擾能力不足，引入了隨機(jī)抽樣一致性（RANSAC）算法對(duì)ORB特征匹配對(duì)進(jìn)行幾何校驗(yàn)后，有效過濾錯(cuò)誤匹配對(duì)，經(jīng)過變換模型再進(jìn)行圖像配準(zhǔn)，文獻(xiàn)[13]提出改進(jìn)的ORB算法，采用RootSIFT構(gòu)造特征描述符，提高了特征描述符的穩(wěn)定性，但對(duì)于旋轉(zhuǎn)圖像，配準(zhǔn)穩(wěn)定性不足，本文算法先構(gòu)造PC圖，再用rBRIEF進(jìn)行特征描述符構(gòu)造，對(duì)于旋轉(zhuǎn)圖像的配準(zhǔn)精度更優(yōu)。經(jīng)過實(shí)驗(yàn)結(jié)果的分析，相比于傳統(tǒng)的特征匹配算法（SIFT、ORB）以及原RIFT算法，本文算法對(duì)于異源圖像配準(zhǔn)有更良好的性能。

1 本文算法流程

紅外圖像和可見光圖像成像原理差異較大，采用相位一致性構(gòu)造邊緣圖像能有效減少圖像間光線強(qiáng)度大小和對(duì)比度變化的影響，且能保留圖像紋理、邊緣和角點(diǎn)等關(guān)鍵信息。ORB算法采用FAST特征檢測(cè)和rBRIEF的特征描述的算法對(duì)圖像旋轉(zhuǎn)畸變有魯棒性，一定程度上可以克服RIFT算法產(chǎn)生的旋轉(zhuǎn)失真的問題，本文將驗(yàn)證這一點(diǎn)，最后用RANSAC對(duì)匹配點(diǎn)進(jìn)行精匹配，提高變換參數(shù)的準(zhǔn)確度。本文的融合式PC-ORB算法具體流程如圖1所示。

2 基于PC-ORB特征檢測(cè)和特征描述

2.1 構(gòu)造PC

利用小波變換構(gòu)造PC圖，即含有豐富信息的邊緣圖，有效避免圖像局部光線明暗等因素對(duì)特征點(diǎn)檢測(cè)的影響，且能保留圖像邊緣對(duì)比度較低的時(shí)候的邊緣信息。通常通過LGF濾波器的高斯擴(kuò)展得到2D-Log-Gabor濾波器，其沒有直流分量，頻域的覆蓋面廣[14]，定義為式(1)：

式中：,和為2D-Log-Gabor尺度和方向參數(shù)；(,)表示對(duì)數(shù)極坐標(biāo)；(,)表示2D-Log-Gabor的中心頻率值；和的頻率帶寬由,表示。構(gòu)造PC首先需要把給定的二維圖像(,)和式(1)經(jīng)過傅里葉逆變換得到的偶對(duì)稱小波和奇對(duì)稱小波進(jìn)行卷積，得到在尺度和方向上的響應(yīng)值，根據(jù)響應(yīng)值算出在,的振幅分量和相位分量，PC定義為式(2)：

式中：A(,)為振幅分量；(,)為相位分量，(,)表示像素位置；(,)是作用在頻域的權(quán)重因子。

為了減少方向變化對(duì)PC圖像的影響，使用式(2)對(duì)多個(gè)方向上的相位一致性進(jìn)行計(jì)算得到PC()，、分別表示多個(gè)方向和多個(gè)方向的角度值，然后據(jù)此算出相位一致性矩，由力矩分析算法可知，主軸對(duì)應(yīng)的是最小力矩，包含了特征量的方向信息，于其對(duì)應(yīng)的垂直于主軸的是最大力矩，其計(jì)算式如下式：

式中：、、是根據(jù)各個(gè)方向的相位一致性，在圖像的各個(gè)點(diǎn)中計(jì)算出的中間量。為主軸的角度；為最小力矩，主要用來檢測(cè)角點(diǎn)特征，為最大力矩，具有圖像的邊緣特征，由于邊緣結(jié)構(gòu)特征對(duì)圖像輻射畸變有抑制作用，常結(jié)合角點(diǎn)特征和邊緣結(jié)構(gòu)特征進(jìn)行特征匹配。

源圖像和計(jì)算得到的PC圖如圖2所示，圖2(a)為輸入的可見光-紅外光圖像對(duì)，圖2(b)為PC構(gòu)造后的可見光-紅外光圖像對(duì)。

圖2 可見光圖像和紅外圖像的PC圖

2.2 FAST特征檢測(cè)

用FAST算法找到圖中的特征點(diǎn)是ORB算法的第一步，與SIFT和SURF特征點(diǎn)檢測(cè)算法相比，F(xiàn)AST算法的運(yùn)算速度快[15]，運(yùn)算量小，其檢測(cè)特征點(diǎn)原理圖如圖3所示。

圖3 FAST特征檢測(cè)原理

FAST算法的原理是選取一個(gè)定義的像素點(diǎn)為中心，通過比較鄰近點(diǎn)的像素點(diǎn)的灰度值來判斷該點(diǎn)是否為特征點(diǎn)。對(duì)于鄰近點(diǎn)的像素點(diǎn)，以點(diǎn)為圓心，通常選取3個(gè)像素點(diǎn)為半徑，形成一個(gè)穿過16個(gè)像素點(diǎn)的圓形，將每個(gè)圓周經(jīng)過的像素點(diǎn)標(biāo)記序號(hào)為1～16，設(shè)定一個(gè)閾值，計(jì)算16個(gè)像素點(diǎn)與點(diǎn)的灰度值的差值絕對(duì)值，若有個(gè)連續(xù)大于或等于閾值的絕對(duì)值（通常取為9或者12），則該點(diǎn)就被標(biāo)記為特征點(diǎn)。由于此過程的判別過程耗時(shí)較大，為了提高其判別效率，先計(jì)算點(diǎn)像素灰度值與序號(hào)為1、5、9、13的4個(gè)等間隔像素點(diǎn)的灰度值差值的絕對(duì)值，如果有3個(gè)及以上的絕對(duì)值大于閾值，則選取該點(diǎn)為特征點(diǎn)，如果不滿足，則排出該點(diǎn)，有效地提高了搜索特征點(diǎn)的運(yùn)算效率，其判別公式如下式：

式中：I為點(diǎn)周圍待判別像素的灰度值；I為候選點(diǎn)的灰度值；為判別閾值。

FAST算法能快速檢測(cè)出特征點(diǎn)，但是對(duì)方向變化較為敏感，ORB算法采用改進(jìn)的FAST算法，即oFAST算法，在原算法特征中添加方向信息，該方向信息由特征點(diǎn)周圍像素強(qiáng)度決定。首先在特征點(diǎn)領(lǐng)域范圍內(nèi)通過領(lǐng)域矩方法計(jì)算而找到灰度質(zhì)心，然后以特征點(diǎn)到質(zhì)心的方向?yàn)樘卣鞣较?，領(lǐng)域矩定義為：

式中：m表示為＋階矩；(,)表示(,)處的灰度值，計(jì)算領(lǐng)域質(zhì)心和特征方向的公式為：

式中：結(jié)合式(7)，10、01和00是式(7)中和取0或者1的領(lǐng)域矩結(jié)果，表示特征方向角度值。

對(duì)圖2(b)構(gòu)造后的PC圖進(jìn)行FAST特征檢測(cè)，如圖4所示，可明顯看出，源紅外光-可見光圖像的FAST特征檢測(cè)點(diǎn)個(gè)數(shù)較少，構(gòu)造PC后的可見光-紅外圖像邊緣角點(diǎn)特征個(gè)數(shù)增多，為后續(xù)的特征點(diǎn)匹配奠定了穩(wěn)定基礎(chǔ)。

2.3 rBRIEF特征描述

ORB算法第二步是用BRIEF算法描述通過FAST檢測(cè)到的特征點(diǎn)，BRIEF是二進(jìn)制編碼的描述符，也稱二進(jìn)制字符串，是只包含1和0的特征描述符，不同于傳統(tǒng)的灰度直方圖描述特征點(diǎn)的方法，有效降低了特征匹配時(shí)間，其描述向量定義為：

式中：()和()分別是圖像中特征點(diǎn)對(duì)應(yīng)的像素灰度值大小，通過比較隨機(jī)特征對(duì)的灰度值大小，向BRIEF描述符對(duì)應(yīng)位賦值，若第一個(gè)特征點(diǎn)灰度值小于第二個(gè)特征點(diǎn)灰度值，則賦位值1，反之賦位值0，通過一系列比較后得出一個(gè)維的二進(jìn)制描述符，可表示為：

在選取點(diǎn)對(duì)時(shí)，BRIEF算法對(duì)旋轉(zhuǎn)畸變和噪聲較為敏感，該算法是以當(dāng)前關(guān)鍵點(diǎn)為中心建立坐標(biāo)系，其中水平方向定義為軸，垂直方向定義為軸，如果圖像旋轉(zhuǎn)，則在保持不變的坐標(biāo)系下選擇相同的點(diǎn)，由此生成的特征描述子也會(huì)有所不同。ORB算法對(duì)此進(jìn)行了改進(jìn)，在計(jì)算BRIEF的時(shí)候以關(guān)鍵點(diǎn)為圓心，并以連接該關(guān)鍵點(diǎn)與所選取點(diǎn)區(qū)域質(zhì)心的線段為軸，如圖5所示。

對(duì)于任意特征點(diǎn)對(duì)(x,y)，在領(lǐng)域的對(duì)特征點(diǎn)對(duì)能用一個(gè)2×的矩陣表示：

由特征點(diǎn)主方向可計(jì)算出經(jīng)過旋轉(zhuǎn)矩陣后的新點(diǎn)對(duì)，如下式：

圖5 改進(jìn)前后的BRIEF的對(duì)比

＝S (14)

最終的改進(jìn)后的BRIEF描述子可表示為：

改進(jìn)后的BRIEF算法雖具有旋轉(zhuǎn)不變性，但在改進(jìn)過程削弱了描述符的相關(guān)性，即可區(qū)分性，對(duì)于后續(xù)的特征點(diǎn)匹配影響較大，造成錯(cuò)誤匹配。ORB后續(xù)采用統(tǒng)計(jì)學(xué)習(xí)的算法，該算法是對(duì)一個(gè)均值約0.5的不相關(guān)檢驗(yàn)的貪婪搜索，重新計(jì)算二進(jìn)制點(diǎn)對(duì)，即rBRIEF（rotation-aware BRIEF），對(duì)比圖5所示的第一次改進(jìn)后的BRIEF算法，在算法的方差和相關(guān)性都有所提升且都對(duì)圖像旋轉(zhuǎn)畸變有抑制作用。

2.4 RANSAC算法

RANSAC算法即隨機(jī)抽樣一致性（random sample consensus）算法[16]，廣泛運(yùn)用于計(jì)算機(jī)視覺和圖像處理相關(guān)領(lǐng)域。該算法根據(jù)包含錯(cuò)誤數(shù)據(jù)和正確數(shù)據(jù)的樣本集合，通過迭代的方式從集合中不斷提取數(shù)據(jù)來計(jì)算最優(yōu)模型的參數(shù)，RANSAC算法中將滿足變換模型的點(diǎn)稱為內(nèi)點(diǎn)，不滿足則稱為外點(diǎn)，基本流程如下：

1）從輸入的樣本特征點(diǎn)對(duì)集合中提取子數(shù)據(jù)集，該子數(shù)據(jù)集包含樣本集合的最少數(shù)據(jù)量，即確定模型參數(shù)的最少數(shù)量，將其作為假設(shè)的內(nèi)點(diǎn)集合，計(jì)算子數(shù)據(jù)集的元素構(gòu)建變換模型。

2）將樣本特征點(diǎn)對(duì)集合中除子數(shù)據(jù)集外的剩余特征點(diǎn)對(duì)集合全部代入1）中生成的模型計(jì)算并驗(yàn)證是否滿足該變換模型的閾值條件，如果滿足則增加內(nèi)點(diǎn)統(tǒng)計(jì)數(shù)目。

3）迭代以上兩步，若統(tǒng)計(jì)到足夠多的內(nèi)點(diǎn)數(shù)目，則說明1）中構(gòu)建的變換模型較好且保留該模型，若統(tǒng)計(jì)的內(nèi)點(diǎn)數(shù)目太少則該模型無效。

4）對(duì)迭代出來統(tǒng)計(jì)的內(nèi)點(diǎn)數(shù)目再次計(jì)算估計(jì)變換模型，若迭代后保留的有效模型中內(nèi)點(diǎn)多于前一個(gè)模型，則此為最優(yōu)變換模型。

圖6為RANSAC算法原理圖。

為線性表達(dá)式，為1）中構(gòu)建的變換模型的閾值條件，用來判斷2）中的特征點(diǎn)對(duì)集合是否滿足變換模型，如圖所示紅點(diǎn)為滿足閾值條件的內(nèi)點(diǎn)數(shù)，該圖內(nèi)點(diǎn)數(shù)為6。

圖6 RANSAC算法原理示意圖

3 本文算法驗(yàn)證結(jié)果及分析

為驗(yàn)證本文算法有效性，采用熱紅外數(shù)據(jù)集FLIR的圖像進(jìn)行實(shí)驗(yàn)，通過定量和定性實(shí)驗(yàn)分析并驗(yàn)證在旋轉(zhuǎn)變化的情況下本文算法的穩(wěn)定性，并把本文算法與SIFT、ORB、RIFT算法進(jìn)行對(duì)比實(shí)驗(yàn)，分析本文特征匹配的性能。本算法的實(shí)驗(yàn)硬件環(huán)境為64位Windows 10，Intel(R) Core(TM) i5-12400F，2.50GHz，內(nèi)存為16GB，軟件環(huán)境為Matlab 2021a。

3.1 旋轉(zhuǎn)不變性匹配結(jié)果對(duì)比

為驗(yàn)證本文算法的旋轉(zhuǎn)不變性，選取了10對(duì)場(chǎng)景不同的紅外光和可見光樣本集，使得這10對(duì)樣本中每幅可見光圖像每隔20°進(jìn)行旋轉(zhuǎn)，紅外圖像角度不變，保持其余匹配設(shè)置參數(shù)相同下，使得每對(duì)圖像進(jìn)行共18次實(shí)驗(yàn)，用正確匹配率（correct matching rate，CMR）和均方根誤差（root mean square error，RMSE）作為客觀評(píng)價(jià)指標(biāo)。

CMR和RMSE計(jì)算公式如下：

CMR＝N/(16)

與RIFT算法中的特征描述方法相比，本文提出的算法采用rBRIEF算法進(jìn)行特征描述，在抑制圖像旋轉(zhuǎn)畸變方面更有效。在旋轉(zhuǎn)幅度較小的情況下，兩種算法的CMR差別較小，特征匹配的結(jié)果沒有明顯影響。隨著旋轉(zhuǎn)幅度的增大，達(dá)到100°～250°時(shí)，兩種算法的CMR均有明顯下滑，本文算法的CMR大于RIFT算法，匹配性能更優(yōu)。

另一方面，對(duì)于兩種方法的RMSE，在圖像有旋轉(zhuǎn)幅度時(shí)，兩種算法的RMSE均有增大，且穩(wěn)定在1.7～2.1之間，但本文算法RMSE數(shù)值平均低于RIFT算法。由圖7可知在旋轉(zhuǎn)幅度較大時(shí)，本文算法的特征點(diǎn)檢測(cè)的正確率高于RIFT算法，即在估計(jì)變換模型精度上效果更優(yōu)，總的來看本文算法在匹配質(zhì)量優(yōu)于RIFT算法。

圖9展示了對(duì)可見光圖像分別旋轉(zhuǎn)40°和200°后與紅外圖像進(jìn)行特征匹配的結(jié)果。旋轉(zhuǎn)幅度為40°時(shí)，本文算法和RIFT算法的正確匹配率差別不大，旋轉(zhuǎn)幅度達(dá)到200°時(shí)，與本文算法相比較，RIFT算法的錯(cuò)誤匹配對(duì)明顯增多，最終配準(zhǔn)性能受旋轉(zhuǎn)畸變影響較大。

圖7 旋轉(zhuǎn)圖像的正確匹配率

圖8 旋轉(zhuǎn)圖像的RMSE

圖9 旋轉(zhuǎn)圖像的特征點(diǎn)匹配結(jié)果

3.2 特征匹配結(jié)果對(duì)比

為了進(jìn)一步驗(yàn)證本文算法的有效性，分析本文算法的特征匹配效果，使用SIFT算法、ORB算法和RIFT算法進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)檢測(cè)的特征點(diǎn)個(gè)數(shù)，正確特征點(diǎn)個(gè)數(shù)，RMSE以及配準(zhǔn)耗時(shí)進(jìn)行測(cè)試和分析。表1為對(duì)比實(shí)驗(yàn)性能指標(biāo)結(jié)果，為了取得穩(wěn)定的結(jié)果，均以5次測(cè)量的平均值作為表1中結(jié)果。圖10為經(jīng)過去除錯(cuò)誤匹配點(diǎn)后的配準(zhǔn)效果圖。

通過分析不同算法檢測(cè)到的特征點(diǎn)個(gè)數(shù)和正確匹配率可知，與RIFT和本文算法相比較，ORB算法和SIFT算法檢測(cè)到的特征點(diǎn)個(gè)數(shù)較少，分析其原因是ORB和SIFT算法在特征檢測(cè)的過程中是根據(jù)原圖像像素強(qiáng)度來進(jìn)行特征點(diǎn)檢測(cè)，而RIFT和本文算法均是先構(gòu)造PC圖，再進(jìn)行特征檢測(cè)，有效增加了特征點(diǎn)檢測(cè)個(gè)數(shù)，本文算法和RIFT算法的正確匹配率分別為94.49%和93.39%，均表現(xiàn)出了良好的匹配準(zhǔn)確性，結(jié)合圖10可知，SIFT算法的正確匹配數(shù)太少，視作匹配失敗。

對(duì)于RMSE，ORB算法的RMSE最低，誤差較大，主要原因是由于成像機(jī)理不同，紅外圖像和可見光圖像的像素強(qiáng)度之間關(guān)聯(lián)性不大，導(dǎo)致ORB算法在特征檢測(cè)階段誤差大，本文算法的RMSE最高，用相位信息替代傳統(tǒng)圖像匹配中的圖像像素信息，進(jìn)行特征檢測(cè)和描述，配準(zhǔn)精度優(yōu)于其他3種算法。

在圖像配準(zhǔn)的過程中，配準(zhǔn)耗時(shí)主要是在以下4個(gè)階段：圖像預(yù)處理，特征點(diǎn)檢測(cè)，特征點(diǎn)描述，圖像匹配。ORB算法可以快速地提取圖像局部特征，并使用二進(jìn)制特征描述子，采用漢明距離作為描述子的相似度判斷依據(jù)，在速度和存儲(chǔ)空間上都具有較大優(yōu)勢(shì)。本文算法相比于ORB算法增加的耗時(shí)主要在圖像預(yù)處理，用相位信息構(gòu)造PC圖作為預(yù)處理策略，有效提高了后續(xù)特征點(diǎn)檢測(cè)和描述的效率。RIFT算法與本文算法配準(zhǔn)耗時(shí)主要是在于特征描述階段，前者是構(gòu)造最大索引圖，后者是構(gòu)造rBRIEF描述符。

表1 不同算法特征匹配性能指標(biāo)對(duì)比

本文算法對(duì)于紅外光和可見光圖像的圖像配準(zhǔn)，在特征點(diǎn)檢測(cè)個(gè)數(shù)、匹配正確率和RMSE上有良好性能，保持了一定的配準(zhǔn)精度和配準(zhǔn)速度，且對(duì)于旋轉(zhuǎn)圖像的配準(zhǔn)有較強(qiáng)魯棒性。

圖10 不同算法的配準(zhǔn)效果

4 結(jié)論

本文提出了一種基于融合式PC-ORB異源圖像配準(zhǔn)算法，主要異源對(duì)象是紅外圖像和可見光圖像。重點(diǎn)研究了紅外圖像和可見光圖像的圖像強(qiáng)度關(guān)聯(lián)性以及旋轉(zhuǎn)畸變的問題。首先在圖像預(yù)處理階段利用圖像的相位信息構(gòu)造PC圖代替圖像強(qiáng)度信息，采用FAST算法和rBRIEF描述子進(jìn)行特征檢測(cè)和特征描述，最后通過RANSAC算法去除錯(cuò)誤特征匹配點(diǎn)。通過定量和定性實(shí)驗(yàn)分析驗(yàn)證了本文算法的有效性，在旋轉(zhuǎn)畸變方面相較于RIFT算法有明顯改善，在配準(zhǔn)精度和效率等綜合性能上對(duì)比傳統(tǒng)的圖像配準(zhǔn)算法均有更優(yōu)性能。

[1] 韓靜, 柏連發(fā), 張毅, 等. 基于改進(jìn)配準(zhǔn)測(cè)度的紅外與可見光圖像配準(zhǔn)[J]. 紅外技術(shù), 2011, 33(5): 271-274.

HAN Jing, BAI Lianfa, ZHANG Yi, et al. Registration of infrared and visible light images based on improved registration measure[J]., 2011, 33(5): 271-274.

[2] CHEN Y, ZHANG X, ZHANG Y, et al. Visible and infrared image registration based on region features and edginess[J]., 2018, 29(1): 113-123.

[3] MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]., 2015, 48(3): 772-784.

[4] LI Y, YU F, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]., 2019, 22: 9435-9443.

[5] ZHUANG Y, GAO K, MIU X, et al. Infrared and visual image registration based on mutual information with a combined particle swarm optimization-powell search algorithm[J]., 2016, 127(1): 188-191.

[6] Brown L G. Survey of image registration techniques[J]., 1992, 24(4): 325-376.

[7] Pluim J P W, Antoine Maintz J B, Viergever M A. Image registration by maximization of combined mutual information and gradient information[C]//3, MICCAI, 2000: 809- 814.

[8] Lowe D G. Distinctive image features from scale-invariant keypoints[J]., 2004, 60(2): 91-110.

[9] WANG S, YOU H, FU K. BFSIFT: a novel method to find feature matches for sar image registration[C]//, 2012, 9(4): 649-653.

[10] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]//2011, 2011: DOI: 10.1109/ICCV.2011.6126544.

[11] FENG Y, LI S. Research on an image mosaic algorithm based on improved ORB feature combined with SURF[C/OL]//(CCDC), 2018: https://cpfd.cnki.com.cn/Article/CPFD TOTAL-KZJC201806004118.htm.

[12] LI J, HU Q, AI M. RIFT: Multi-modal image matching based on radiation-variation insensitive feature transform[J]., 2020, 29: 3296-3310.

[13] 王珂, 鄧安健, 臧文乾. 基于改進(jìn)ORB和匹配策略融合的圖像配準(zhǔn)方法[J]. 測(cè)繪與空間地理信息, 2023, 46(2): 43-47.

WANG Ke, DENG Anjian, ZANG Wenqian. Image registration method based on improved ORB and fusion matching strategy[J]., 2023, 46(2): 43-47.

[14] Arrospide J, Salgado L. Log-gabor filters for image-based vehicle verification[J]., 2013, 22(6): 2286-2295.

[15] WU G, ZHOU Z. An improved ORB feature extraction and matching algorithm[C]//33,, 2021: DOI: 10.1109/CAC51589.2020.9327165.

[16] 孫世宇, 張巖, 胡永江, 等. 改進(jìn)模型估計(jì)的無人機(jī)偵察視頻快速拼接方法[J]. 紅外與激光工程, 2018, 47(9): 382-390.

SUN Shiyu, ZHANG Yan, HU Yongjiang, et al. Rapid stitching method for unmanned aerial vehicle reconnaissance videos based on improved model estimation[J]., 2018, 47(9): 382-390.

Heterogeneous Image Registration Algorithm Based on Fusion PC-ORB

WU Lang，YI Shi，CHEN Mengting，LI Li

(,,610059,)

In heterogeneous image registration, because of the differences in the imaging mechanisms, image pixel intensity correlation and rotation distortion are two inevitable problems. Aiming at the problem of image pixel intensity correlation, an image registration algorithm based on a radiation-invariant feature transform (RIFT) is proposed; it has good accuracy for image registration with small differences in the pixel correlation between images, but produces more error matching for rotation distortion images. For the problem of rotational distortion, the traditional Oriented Fast and Rotated Brief (ORB) algorithm has a certain degree of stability in the registration of rotating images; however, for image pairs with insignificant intensity changes, the quality of the feature point detection is low and the registration accuracy is not ideal. Therefore, this study integrates Phase Consistency into the ORB algorithm, replaces traditional image strength information with phase information, and constructs a rotation-invariant BRIEF feature descriptor that is robust to changes in the pixel strength and rotation distortion in the image. The registration experiment is conducted using infrared and visible-light images with unclear pixel intensity correlations. The algorithm proposed in this paper has high registration accuracy for images with different rotation amplitudes, and the RMSE is stable at 1.7-2.1, which is superior to the RIFT algorithm. It performs well in detecting a large number of feature points, achieving high registration accuracy, and maintaining efficiency.

image registration，feature matching，phase consistency，rotational invariance，ORB algorithm

TN911.73

A

1001-8891(2024)04-0419-08

2023-06-07；

2023-07-11.

伍朗（2000-），男，碩士研究生，研究方向：圖像處理。E-mail:1213836094@qq.com。

易詩（1983-），男，碩士生導(dǎo)師，研究方向：圖像處理。E-mail:549745481@qq.com。

四川省科技廳重點(diǎn)研發(fā)項(xiàng)目（2021YFGO075，2021YFGO076），四川省車輛測(cè)控與安全重點(diǎn)實(shí)驗(yàn)室開放基金（OCCK2021-008），四川省重點(diǎn)科技項(xiàng)目（2020ZDZX0019），成都理工大學(xué)2021—2023年高等教育人才培養(yǎng)質(zhì)量和教學(xué)改革項(xiàng)目（JG2130109，JG2130216）。