奚紹禮，李 巍，謝俊峰，莫 凡

（1.遼寧科技大學(xué) 土木工程學(xué)院，遼寧 鞍山 114000；2.自然資源部國(guó)土衛(wèi)星遙感應(yīng)用中心，北京 100048）

0 引言

隨著紅外技術(shù)日趨成熟，聯(lián)合紅外圖像的多源遙感應(yīng)用已逐漸成為未來(lái)發(fā)展的趨勢(shì)。紅外圖像與可見(jiàn)光圖像記錄信息的譜段不同，兩者的匹配融合既可以獲得較高的空間分辨率、清晰的地物特征，又可以保留紅外圖像所攜帶的區(qū)域場(chǎng)景的熱輻射信息，應(yīng)用廣泛。紅外圖像與可見(jiàn)光圖像融合過(guò)程中，同名點(diǎn)匹配是最為核心的技術(shù)之一。紅外成像技術(shù)屬于熱輻射信息探測(cè)技術(shù)，因目標(biāo)表面存在熱輻射差異，則可將高于絕對(duì)零度的物體表面自然發(fā)射的熱紅外輻射轉(zhuǎn)化為灰度圖像。而可見(jiàn)光成像的探測(cè)波段由人眼可見(jiàn)的光譜組成，圖像灰度信息取決于物體可見(jiàn)光波段的反射強(qiáng)度而非熱輻射強(qiáng)度。可見(jiàn)，紅外圖像與可見(jiàn)光圖像的匹配是兩者融合的亟待解決的難點(diǎn)之一[1]。

由于傳感器、工作波段范圍及成像環(huán)境的差異，通?？梢?jiàn)光圖像的空間分辨率相較于紅外圖像更高，光譜信息更豐富，而紅外圖像不依賴(lài)于外部光線，表現(xiàn)為灰度圖像，不具有色彩及陰影信息，這使得紅外與可見(jiàn)光圖像之間通常呈現(xiàn)較為復(fù)雜的灰度差異，給匹配帶來(lái)了較大的困難，導(dǎo)致紅外與可見(jiàn)光圖像的匹配相較于同源圖像匹配難度更高。目前，有許多的學(xué)者致力于紅外與可見(jiàn)光圖像匹配的研究，提出不同的匹配算法。通常多源圖像匹配算法可分為基于灰度的匹配方法和基于特征的匹配方法[2]。孫雅琳出了基于互信息的匹配方法[3]，但由于紅外圖像與可見(jiàn)光圖像灰度差異較大，此類(lèi)方法面對(duì)異源遙感圖像的匹配具有一定局限性，在匹配時(shí)對(duì)粒子初始值設(shè)定的要求較高，且迭代時(shí)容易陷入局部極值點(diǎn)。而相比較基于灰度的圖像匹配，基于圖像局部不變特征的匹配方法在多源圖像中應(yīng)用較多，是目前國(guó)內(nèi)外圖像匹配研究領(lǐng)域的熱點(diǎn)及難點(diǎn)之一。其通過(guò)計(jì)算得到具有不變性的特征描述子之間的關(guān)系，進(jìn)而實(shí)現(xiàn)圖像的匹配。鄢睿丞提出了一種利用模糊形狀上下文關(guān)系的紅外與可見(jiàn)光圖像匹配方法[4]，該方法能一定程度上提高匹配正確率，但是面對(duì)圖像質(zhì)量好的時(shí)候會(huì)由于采樣損失信息而不如其他方法。由于紅外圖像的反相圖像灰度信息更加接近于可見(jiàn)光圖像的灰度信息，紀(jì)利娥提出一種可見(jiàn)光和紅外反相圖像的SURF（speeded up robust features）特征點(diǎn)雙向匹配的方法[5]，提高了匹配精度，但對(duì)于匹配數(shù)量沒(méi)有顯著改善。朱英宏提出了一種基于CSS（curvature scale space）角點(diǎn)提取的紅外與可見(jiàn)光匹配算法[6]，該方法在視角變換旋轉(zhuǎn)等方面具有較好的適應(yīng)性，缺點(diǎn)是沒(méi)有提高匹配對(duì)數(shù)。趙明基于改進(jìn)SIFT特征的方法，在圖像質(zhì)量較高時(shí)對(duì)SIFT算法的匹配正確性有明顯改善，但是采用了相似四邊形的精匹配方式，約束了匹配點(diǎn)數(shù)量[7]。江澤濤提出了一種基于顯著性和ORB（oriented FAST and rotated BRIEF）的紅外和可見(jiàn)光圖像配準(zhǔn)方法[8]，提高了準(zhǔn)確匹配率，但是正確匹配點(diǎn)有所減少。由于紅外圖像與可見(jiàn)光圖像是兩種灰度弱相關(guān)的異源遙感圖像，基于特征的匹配算法在該領(lǐng)域使用較為普遍。然而，如何進(jìn)一步改善基于特征的匹配算法對(duì)紅外圖像與可見(jiàn)光圖像的匹配效果仍然是需要攻克的關(guān)鍵問(wèn)題之一。

本文在分析紅外圖像與可見(jiàn)光圖像共有特征信息的基礎(chǔ)上，充分顧及圖像特征信息和同名點(diǎn)分布情況，提出了一種基于SIFT與ORB特征點(diǎn)提取的紅外圖像與可見(jiàn)光圖像匹配方法。該方法先利用SIFT與ORB算法進(jìn)行特征點(diǎn)提取，通過(guò)RANSAC（random sample consensus）算法對(duì)SIFT的特征點(diǎn)進(jìn)行精匹配，然后將得到的高精度的SIFT點(diǎn)對(duì)對(duì)ORB特征點(diǎn)對(duì)進(jìn)行全局性幾何約束完成誤匹配剔除，最終實(shí)現(xiàn)基于多特征點(diǎn)檢測(cè)的紅外圖像與可見(jiàn)光圖像的特征點(diǎn)匹配。

1 基于SIFT/ORB幾何約束的特征點(diǎn)匹配

1.1 SIFT特征點(diǎn)匹配

SIFT算子是由David G.Lowe提出的，基于高斯尺度空間的特征點(diǎn)檢測(cè)算法[9]。在空間尺度中獲取極值點(diǎn)，并提取出其位置、尺度、旋轉(zhuǎn)不變量。在SIFT算法實(shí)現(xiàn)過(guò)程中，首先要通過(guò)高斯模糊來(lái)獲取尺度空間，尺度空間在實(shí)現(xiàn)時(shí)使用高斯金字塔表示，如圖1所示進(jìn)行高斯差分（difference of Gaussian，DOG）得到DOG金字塔，尋找極值點(diǎn)。在生成特征點(diǎn)時(shí)，每個(gè)關(guān)鍵點(diǎn)會(huì)有8個(gè)方向的梯度強(qiáng)度信息，且存在4×4個(gè)子區(qū)域，最終得到128維的特征矢量。

在提取到SIFT特征點(diǎn)后，采用RANSAC算法對(duì)其進(jìn)行精匹配。RANSAC為隨機(jī)抽樣一致算法，是一種魯棒性較高，易于實(shí)現(xiàn)的模型參數(shù)估計(jì)技術(shù)[10]。其剔除的關(guān)鍵在于找到兩幅圖像具有的幾何變換關(guān)系，這種關(guān)系可以表現(xiàn)為一個(gè)單應(yīng)性矩陣H，即存在x′＝Hx，矩陣H如式(1)所示：

令m8＝1使矩陣歸一化，則矩陣存在8個(gè)未知量，至少需要4對(duì)匹配點(diǎn)可解算矩陣參數(shù)。當(dāng)面RANSAC算法面對(duì)一組含有“錯(cuò)誤點(diǎn)”的數(shù)據(jù)集時(shí)，它可以通過(guò)反復(fù)選擇數(shù)據(jù)中的一組隨子集進(jìn)行迭代來(lái)訓(xùn)練參數(shù)模型，從大量觀測(cè)數(shù)據(jù)中估計(jì)出高精度的參數(shù)模型，以此完成誤匹配點(diǎn)的剔除。

圖1 高斯差分金字塔的生成與DOG空間極值檢測(cè)Fig.1 Generation of Gaussian difference pyramid and DOG spatial extremum detection

1.2 ORB特征點(diǎn)匹配

為了提升匹配同名點(diǎn)對(duì)的數(shù)量及單一特征點(diǎn)分布不均的問(wèn)題，引入一種ORB的特征點(diǎn)檢測(cè)算法[11]。ORB算法包含帶有方向的FAST（featuresfrom accelerated segment test）角點(diǎn)檢測(cè)方法與BRIEF（binary robust independent elementaryfeatures）[12]特征描述子兩部分。第一部分采用灰度質(zhì)心法來(lái)實(shí)現(xiàn)，計(jì)算過(guò)程如下，先計(jì)算特征點(diǎn)的灰度矩：

式中：I(x,y)為灰度值；B為特征點(diǎn)鄰域?；叶染匦臑椋?/p>

式中：m00、m10及m01分別由公式(2)計(jì)算得到。定義特征點(diǎn)的方向?yàn)椋?/p>

將特征點(diǎn)的主方向與BRIEF描述子相結(jié)合，使其具有旋轉(zhuǎn)不變性，該描述子為二進(jìn)制串的形式：

式中：p(x)、q(y)為點(diǎn)對(duì)的灰度值。最終通過(guò)選擇n個(gè)點(diǎn)對(duì)得到n維向量。

該算法由于直接將歸一化的圖像中心作為ORB特征點(diǎn)的位置，可以忽略FAST特征點(diǎn)檢測(cè)的過(guò)程，而且描述子采用二進(jìn)制串的形式，因此具有較高的計(jì)算速度[13]。因此在保持算法性能的前提下，可以將ORB特征點(diǎn)檢測(cè)作為一種多重檢測(cè)方法進(jìn)行多類(lèi)型特征點(diǎn)的檢測(cè)，以此充分利用圖像信息，改善特征點(diǎn)分布結(jié)果，提升檢測(cè)結(jié)果的數(shù)量。

在提取出ORB特征點(diǎn)后，篩選匹配點(diǎn)方面使用Lowe’s算法獲取正確匹配點(diǎn)。由于ORB描述符采用二進(jìn)制串的形式，算法中使用漢明距離進(jìn)行計(jì)算。最近鄰比次近鄰的方法對(duì)特征點(diǎn)進(jìn)行匹配點(diǎn)篩選，是獲取其中一幅圖像的特征點(diǎn)，同時(shí)找到該點(diǎn)與另一個(gè)圖像里漢明距離最近的前兩個(gè)特征點(diǎn)，通過(guò)最近鄰距離除以次近鄰距離的比值與閾值t相比較，來(lái)判斷匹配點(diǎn)的可靠性。

1.3 基于幾何約束的誤匹配特征點(diǎn)剔除

在使用最近鄰比次近鄰法篩選匹配點(diǎn)時(shí)，通過(guò)對(duì)閾值t不同的設(shè)定，會(huì)呈現(xiàn)出不同的匹配結(jié)果。匹配特征點(diǎn)對(duì)的數(shù)量會(huì)隨閾值t的擴(kuò)大而增多，但質(zhì)量會(huì)隨之下降，存在一定數(shù)量的誤匹配，因此該方法存在一定局限性。我們需要在保證足夠的正確匹配數(shù)量前提下，對(duì)誤匹配點(diǎn)進(jìn)行剔除。

通過(guò)SIFT的精匹配結(jié)果對(duì)ORB的特征點(diǎn)集進(jìn)行約束完成剔除誤匹配。首先進(jìn)行距離上的約束，該方法從SIFT算子的匹配結(jié)果中獲取若干對(duì)匹配點(diǎn)，其中點(diǎn)(Xai,Yai)為紅外圖像上的某一特征點(diǎn)，(Xbi,Ybi)為與該點(diǎn)對(duì)應(yīng)匹配的可見(jiàn)光圖像上的特征點(diǎn)。此時(shí)我們可以得到：

式中：s為兩幅圖像的尺度比，理論上為一個(gè)固定值，考慮到存在一定誤差，我們需要進(jìn)行多次迭代運(yùn)算，得到平均值。此時(shí)，同樣在ORB特征點(diǎn)檢測(cè)結(jié)果中，點(diǎn)(Xcn,Ycn)為紅外圖像中的某一特征點(diǎn)，點(diǎn)(Xdn,Ydn)為與該點(diǎn)對(duì)應(yīng)匹配的可見(jiàn)光圖像上的特征點(diǎn)。將其與SIFT算子獲取到的精匹配特征點(diǎn)對(duì)進(jìn)行聯(lián)合計(jì)算，為進(jìn)一步保證精度，該SIFT點(diǎn)(Xa,Ya)對(duì)與(Xb－Yb)為模擬點(diǎn)，將所有精匹配結(jié)果求平均得到。接下來(lái)分別計(jì)算兩張圖像上的兩對(duì)特征點(diǎn)的距離Da及Db：

同時(shí)可得到w：

式中：w是預(yù)期估計(jì)的待檢測(cè)ORB特征點(diǎn)與用于檢測(cè)的SIFT點(diǎn)的理論距離。如圖2設(shè)δ為閾值半徑，若則接受該對(duì)特征點(diǎn)，否則將該對(duì)特征點(diǎn)進(jìn)行剔除。但由于沒(méi)有進(jìn)行角度上的約束，依舊可能存在誤匹配點(diǎn)。

在進(jìn)行角度約束前，我們可以得到g1和g2：

g1和g2為待檢測(cè)ORB匹配點(diǎn)對(duì)在各自圖像上分別與SIFT點(diǎn)對(duì)聯(lián)合計(jì)算的角度約束參量。

如圖2設(shè)g為角度閾值，若g1-g2＜g則接受該對(duì)特征點(diǎn)，否則將該對(duì)特征點(diǎn)進(jìn)行剔除。至此，完成SIFT特征點(diǎn)對(duì)ORB特征點(diǎn)的約束。按照此算法，依次將ORB特征點(diǎn)進(jìn)行遍歷檢測(cè)，從而實(shí)現(xiàn)得到無(wú)誤匹配的較多數(shù)量的SIFT與ORB匹配特征點(diǎn)。

2 實(shí)驗(yàn)結(jié)果與分析

本文提出基于SIFT與ORB的特征點(diǎn)匹配算法流程圖如圖3所示，為了證明本文算法的有效性，對(duì)4組紅外圖像和可見(jiàn)光圖像進(jìn)行特征點(diǎn)匹配的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)條件：系統(tǒng)為Windows10，內(nèi)存為4G的PC環(huán)境下，在VS2010平臺(tái)采用C＋＋語(yǔ)言編程實(shí)現(xiàn)。

實(shí)驗(yàn)所使用的圖像為河北張家口懷來(lái)縣的紅外及可見(jiàn)光的航拍圖像。針對(duì)紅外圖像與可見(jiàn)光圖像灰度弱相關(guān)匹配困難的問(wèn)題，進(jìn)行相同分辨率及不同分辨率尺度差異下的對(duì)比實(shí)驗(yàn)，來(lái)檢驗(yàn)算法在不同尺度下的圖像匹配中的可靠性及穩(wěn)定性。實(shí)驗(yàn)的原始數(shù)據(jù)，同一區(qū)域下，紅外圖像尺寸為2064×1055，可見(jiàn)光圖像尺寸為30186×14235，分辨率相差近15倍。在對(duì)比實(shí)驗(yàn)中，保持紅外圖像的參數(shù)不變，選擇可見(jiàn)光圖像使用ENVI進(jìn)行降采樣處理，并且為了方便實(shí)驗(yàn)，截取原始圖像中的各個(gè)區(qū)域分為不同圖像組，其中①、②兩組進(jìn)行15倍降采樣處理，③、④兩組分別進(jìn)行10倍與15倍降采樣處理。紅外圖像及降采樣后的可見(jiàn)光圖像每組數(shù)據(jù)如表1所示。將每組圖像進(jìn)行匹配，通過(guò)觀察匹配成功的特征點(diǎn)的數(shù)量及分布，檢驗(yàn)算法對(duì)于紅外圖像與可見(jiàn)光圖像匹配的可用性。

表1 圖像組信息Table 1 Imagegroupinformation

2.1 最近鄰比次近鄰閾值實(shí)驗(yàn)

所提算法中，在使用最近鄰比次近鄰法對(duì)ORB獲取正確匹配點(diǎn)時(shí)，閾值的設(shè)定決定獲取匹配點(diǎn)的數(shù)量和可靠度，需要通過(guò)實(shí)驗(yàn)得到較為合適的數(shù)值。本實(shí)驗(yàn)采用③組與④組圖像對(duì)進(jìn)行閾值設(shè)置的對(duì)比，結(jié)果如圖4所示。實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)閾值t≤0.4時(shí)，不存在或很少有匹配點(diǎn)，閾值范圍在0.4～0.7時(shí)匹配對(duì)數(shù)在逐漸上升，且正確匹配率較為穩(wěn)定。其中，閾值t在0.5～0.6時(shí)匹配點(diǎn)數(shù)量開(kāi)始明顯增加，當(dāng)閾值t在0.65～0.7時(shí)匹配數(shù)量均達(dá)到110～130對(duì)。閾值t＞7時(shí)總匹配對(duì)數(shù)雖然持續(xù)上升，但是正確匹配率大幅下降，并且整體特征點(diǎn)數(shù)量雖然提高但是點(diǎn)位分布趨于局部密集，整體密度沒(méi)有顯著提高。反復(fù)實(shí)驗(yàn)發(fā)現(xiàn)閾值t＝7時(shí)匹配效果最佳，圖5為閾值t＝7的兩組圖像匹配結(jié)果，可以看出，特征點(diǎn)密度適中，基本覆蓋圖像，因此選擇0.7作為最近鄰與次近鄰的比值。

圖2 誤匹配剔除示意圖Fig.2 Mismatched culling diagram

圖3 本文文算法流程圖 Fig.3 FFlow chart of ouur algorithm

圖4 閾值值設(shè)置實(shí)驗(yàn)Fig.4 Thr eshold setting ee xperiment

圖5 閾值值t＝0.7的兩組組圖像特征點(diǎn)分分布Fig.5 Distribution of two sets of ii mage feature pp oints with thressh old t＝0.7

2..2 本文算法法驗(yàn)證結(jié)果及及分析

使用本文文提出的方法法，進(jìn)行特征點(diǎn)點(diǎn)匹配的對(duì)比比實(shí)驗(yàn)驗(yàn)。圖6為對(duì)對(duì)①組圖像在不同方法下的匹配結(jié)果，，特征征點(diǎn)使用“＋＋”進(jìn)行表示示。其中圖6((a)為SIFT算算法結(jié)結(jié)合RANSAAC的匹配結(jié)果，可以看出出效果較好，，但是匹匹配點(diǎn)數(shù)量較較少。圖6(bb)為ORB算算法結(jié)合最近近鄰比次次近鄰法匹配配結(jié)果，此時(shí)時(shí)閾值t＝7，雖然匹配點(diǎn)較多但但存在大量誤誤匹配（淺色色表示正確匹匹配，深色表示誤匹匹配）。圖66(c)為使用本本文的方法，結(jié)合SIFT與ORRB并利用幾幾何約束剔除除誤匹配后的結(jié)果，結(jié)果表明，通過(guò)進(jìn)行距離及角度上的約束后，ORB的誤匹配被完全剔除，該方法繼承了前兩種方法的優(yōu)勢(shì)，得到大量正確匹配點(diǎn)，同時(shí)點(diǎn)位分布均勻，匹配效果明顯改善。

此處對(duì)匹配點(diǎn)的接受或剔除進(jìn)行舉例說(shuō)明。在上述剔除ORB誤匹配點(diǎn)時(shí)，考慮到點(diǎn)對(duì)在兩幅圖像保留1個(gè)像素的誤差，則在幾何約束策略中令閾值t＝2可基本得到正確匹配點(diǎn)，且同時(shí)令g＝0.1即可完全得到正確匹配點(diǎn)。對(duì)于該組圖像，依據(jù)本文方法通過(guò)SIFT匹配點(diǎn)得到尺度比s＝0.74，同時(shí)可得到SIFT匹配點(diǎn)集下的模擬點(diǎn)對(duì)A(445.51,191.41)、a(531.89,246.27)。如圖(b)判斷其中的點(diǎn)對(duì)B(371.0,48.0)、b(427.1,57.6)及C(58.0,218.0)、c(714.0,388.8)是否可接受。計(jì)算得到DAB＝161.61、Dab＝215.77，g1＝20.52，g2＝0.55。此時(shí)且，則接受點(diǎn)對(duì)B(371.0,48.0)、b(427.1,57.6)為正確匹配點(diǎn)。同理對(duì)點(diǎn)對(duì)C(58.0,218.0)、c(714.0,388.8)進(jìn)行判斷，計(jì)算得到DAC＝388.43、Dac＝231.25，g1＝－14.57，g2＝1.27，此時(shí)DAB-Dab×s≈216.60 ＜δ=2且g1-g2≈ 15.85 ＜g=0.2，則判斷C(58.0,218.0)、c(714.0,388.8)為誤匹配點(diǎn)對(duì)。如此，對(duì)ORB點(diǎn)對(duì)進(jìn)行遍歷，完成了該組圖像誤匹配的剔除。

分別對(duì)②、③、④組圖像進(jìn)行不同分辨率尺度下的實(shí)驗(yàn)，結(jié)果如圖7所示。經(jīng)過(guò)誤匹配剔除后，分別獲得了145、155、152對(duì)匹配特征點(diǎn)，特征點(diǎn)分布較為均勻。在分辨率差異較大的情況下，依舊獲得了較好的匹配效果，證明了本文方法在不同尺度圖像下的魯棒性。

SIFT算法與本文方法的比較結(jié)果如表2所示，4組圖像的正確匹配點(diǎn)對(duì)分別提升了約3.7倍、3.2倍、3.6倍、3倍，匹配數(shù)量相較于SIFT算法在不同分辨率尺度的情況下均有大幅度的提高，通過(guò)最終匹配結(jié)果證明了本文的匹配方法適用于圖像灰度信息差異較大的紅外與可見(jiàn)光圖像的特征點(diǎn)匹配。

圖6 ①組影像不同方法下的匹配結(jié)果Fig.6 Themat ching resultsof the group ①bydifferent methods

圖7 本文方法下的其余3組圖像匹配結(jié)果 Fig.7 Three sets of image matching results by using the algorithm in this paper

表2 SIFT算法與本文算法匹配結(jié)果對(duì)比 Table 2 Comparison of SIFT algorithm and algorithm matching results

3 結(jié)論

本文針對(duì)紅外圖像與可見(jiàn)光圖像灰度信息差異較大，特征點(diǎn)匹配困難的問(wèn)題，提出了一種基于SIFT與ORB算子的多種特征點(diǎn)檢測(cè)方法。對(duì)兩種圖像進(jìn)行SIFT與ORB的特征點(diǎn)提取，充分利用了圖像信息，得到了大量數(shù)目的特征點(diǎn)，再通過(guò)SIFT精匹配結(jié)果對(duì)ORB特征點(diǎn)對(duì)進(jìn)行幾何約束，完全剔除了ORB算子中的錯(cuò)誤匹配點(diǎn)。且通過(guò)兩種不同的檢測(cè)方法，匹配特征點(diǎn)基本覆蓋圖像，分布較為均勻。針對(duì)不同比例尺度下的圖像匹配，該方法也呈現(xiàn)了較高的魯棒性。從實(shí)驗(yàn)結(jié)果可以看出，該方法在匹配效果方面，對(duì)傳統(tǒng)的SIFT匹配方法有明顯改善。