王賀松，張 燦，蔡 朝，黃 珺，樊 凡

〈圖像處理與仿真〉

基于幾何約束下區(qū)域搜索的紅外可見光雙目配準(zhǔn)算法

王賀松，張 燦，蔡 朝，黃 珺，樊 凡

（武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072）

針對(duì)相對(duì)位置固定的紅外和可見光雙目相機(jī)配準(zhǔn)任務(wù)，現(xiàn)有算法沒有考慮到兩者相對(duì)位置固定的先驗(yàn)知識(shí)，存在配準(zhǔn)精度低、幾何定位差異大等問題，適用性差。提出一種基于幾何約束下區(qū)域搜索的紅外可見光雙目圖像配準(zhǔn)方法。首先借助紅外和可見光雙目相機(jī)的標(biāo)定信息對(duì)紅外和可見光圖像進(jìn)行立體校正使二者處于同一高度之上。接著借助于相位一致性計(jì)算紅外與可見光的邊緣特征圖，然后在紅外邊緣圖上提取特征點(diǎn)，最后提出兩階段的同名特征點(diǎn)搜索方法，以紅外特征點(diǎn)為基準(zhǔn)在可見光邊緣圖局部區(qū)域內(nèi)搜索同名特征點(diǎn)。在第一階段以歸一化互相關(guān)（Normalized cross-correlation，NCC）為相似性度量計(jì)算兩邊緣圖的整體水平偏移，預(yù)測同名特征點(diǎn)初始位置，在第二階段提出多尺度加權(quán)NCC作為相似性度量，在初始同名特征點(diǎn)位置周圍精確搜索同名特征點(diǎn)。在構(gòu)造的真實(shí)環(huán)境數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明相對(duì)于其他對(duì)比算法，在特征點(diǎn)匹配數(shù)量和準(zhǔn)確率以及主觀視覺上的配準(zhǔn)效果都優(yōu)于其他對(duì)比算法。

圖像配準(zhǔn)；紅外圖像；可見光圖像；相位一致性；雙目相機(jī)

0 引言

在電力巡檢、視頻監(jiān)視、無人駕駛、機(jī)器人視覺等領(lǐng)域中[1-4]，常利用紅外和可見光雙目成像，將紅外和可見光圖像進(jìn)行信息互補(bǔ)，這樣可以提高后續(xù)應(yīng)用的性能，如提高檢測、識(shí)別等任務(wù)的精度[5]。而通過準(zhǔn)確高效地配準(zhǔn)將兩幅圖像進(jìn)行對(duì)齊是有效利用紅外和可見光互補(bǔ)信息的一個(gè)重要的前提條件，因此，研究紅外和可見光雙目成像中紅外和可見光圖像配準(zhǔn)具有重要意義。

紅外圖像與可見光圖像由于模態(tài)不同，圖像存在顯著差異，配準(zhǔn)難度大。紅外圖像根據(jù)目標(biāo)的熱輻射成像，能夠排除光線和天氣條件的影響，但通常分辨率較低，缺少紋理細(xì)節(jié)?？梢姽鈭D像利用光反射成像，成像分辨率比較高，紋理細(xì)節(jié)豐富，明暗對(duì)比度高，但同時(shí)也更容易受到環(huán)境因素的影響。目前，已有的紅外與可見光圖像配準(zhǔn)算法中，主要可以被分為基于區(qū)域、基于特征和基于學(xué)習(xí)3類[6-7]。

基于區(qū)域的配準(zhǔn)方法通常給定預(yù)變換模型。利用相似性度量和優(yōu)化方法來估計(jì)模型的變換參數(shù)，通過優(yōu)化總體損失函數(shù)來對(duì)齊兩幅圖像的公共區(qū)域。例如，Yu等人[8]通過灰度加權(quán)窗口策略從紅外和可見光圖像中檢測邊緣結(jié)構(gòu)，通過歸一化互信息提高配準(zhǔn)性能。Yedukondala等人[9]同樣將紅外和可見光圖像轉(zhuǎn)化為邊緣圖，使用仿射和自由形態(tài)變換（Free-Form Deformation, FFD）來解釋粗配準(zhǔn)和精配準(zhǔn)的幾何關(guān)系，通過最大化互信息（Mutual Information, MI）度量將紅外和可見光圖像進(jìn)行配準(zhǔn)。上述基于區(qū)域算法的算法很大程度受圖像噪聲和幾何畸變的影響，紅外和可見光之間嚴(yán)重的非線性強(qiáng)度差異，導(dǎo)致基于區(qū)域的方法配準(zhǔn)精度不高，目前在實(shí)際中應(yīng)用較少。

基于特征的方法是在提取圖像特征點(diǎn)的基礎(chǔ)上，通過特征描述算子描述特征，利用相似度度量準(zhǔn)則獲得特征點(diǎn)集合間的匹配關(guān)系達(dá)到配準(zhǔn)的目的。目前應(yīng)用最為廣泛，也最為精確。例如，Wang等人[10]提出了SURF-PIIFD-RPM的魯棒點(diǎn)匹配框架，該方法結(jié)合SURF[11]（Speeded Up Robust Features, SURF）特征提取與部分強(qiáng)度不變特征描述符（Partial Intensity Invariant Feature Descriptor, PIIFD）[12]，利用單高斯魯棒點(diǎn)匹配模型獲得了更好的匹配性能。Jiang等人[13]提出的CAO-C2F算法利用曲率尺度空間（Curvature Scale Space, CSS）角點(diǎn)檢測器輪廓中的特征點(diǎn)，借助SIFT描述符進(jìn)行特征點(diǎn)的匹配，實(shí)現(xiàn)了紅外與可見光電力圖像的配準(zhǔn)。Li等人[14]提出了一種基于輻射變化不敏感特征的多模配準(zhǔn)方法（Radiation-Variation Insensitive Transform, RIFT）。在基于相位一致性得到的角點(diǎn)和邊緣特征點(diǎn)上，建構(gòu)造多個(gè)方向的最大索引圖實(shí)現(xiàn)特征旋轉(zhuǎn)不變性。這些算法在匹配紅外和清晰的可見光圖像時(shí)表現(xiàn)出了良好的性能。但當(dāng)圖像質(zhì)量下降如暗光環(huán)境時(shí)，圖像細(xì)節(jié)不清晰，特征點(diǎn)之間相似性減弱，配準(zhǔn)性能則會(huì)產(chǎn)生明顯下降。

近年來，深度學(xué)習(xí)網(wǎng)絡(luò)也被應(yīng)用到紅外和可見光圖像配準(zhǔn)任務(wù)之中。例如，Wang等人[15]提出了一種兩階段的對(duì)抗網(wǎng)絡(luò)，包括模態(tài)轉(zhuǎn)換和幾何變換階段，將可見光圖像轉(zhuǎn)換為紅外圖像并獲得精確的配準(zhǔn)圖像；Arar等人[16]提出了一種基于GAN（Generative Adversarial Network）網(wǎng)絡(luò)的無監(jiān)督的配準(zhǔn)框架，在紅外和可見光上同時(shí)訓(xùn)練圖像模態(tài)轉(zhuǎn)換網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)，借助圖像模態(tài)轉(zhuǎn)換進(jìn)而通過使用成熟的單模態(tài)度量來訓(xùn)練網(wǎng)絡(luò)。Deng等人[17]利用深度學(xué)習(xí)進(jìn)行特征點(diǎn)檢測和描述，提出了ReDFeat網(wǎng)絡(luò)，將多模態(tài)特征的檢測和描述與互加權(quán)策略結(jié)合起來提高了多模態(tài)特征訓(xùn)練的穩(wěn)定性和性能。由于紅外和可見光數(shù)據(jù)集的缺少，基于深度學(xué)習(xí)的配準(zhǔn)算法存在著泛化能力不足的問題。

在紅外和可見光雙目相機(jī)中，由于兩個(gè)相機(jī)相對(duì)位置固定，即紅外和可見光相機(jī)成像的相對(duì)角度、相對(duì)位置等固定。而現(xiàn)有的紅外和可見光配準(zhǔn)算法沒有考慮到兩者相對(duì)位置固定的先驗(yàn)知識(shí)，在應(yīng)用于紅外可見光雙目相機(jī)時(shí)，存在配準(zhǔn)精度低、幾何定位差異大等多模態(tài)配準(zhǔn)的問題。

針對(duì)上述問題，本文提出一種基于幾何約束下區(qū)域搜索的紅外可見光雙目圖像配準(zhǔn)框架。首先對(duì)紅外相機(jī)和可見光雙目相機(jī)進(jìn)行雙目標(biāo)定，通過立體校正將兩幅圖像約束到同一水平高度，接著利用相位一致性特征提取紅外和可見光的邊緣圖像，在邊緣圖上提取穩(wěn)定的紅外特征點(diǎn)，然后提出了兩階段的同名特征點(diǎn)搜索方法進(jìn)行特征點(diǎn)搜索，第一階段以歸一化互相關(guān)作為相似度度量估計(jì)兩幅圖像的整體水平偏移，從而預(yù)測同名特征點(diǎn)位置，第二階段提出多尺度加權(quán)NCC作為相似性度量方式，以紅外圖像特征點(diǎn)為基準(zhǔn)在可見光邊緣圖中進(jìn)行區(qū)域同名特征點(diǎn)搜索得到匹配點(diǎn)，最后通過迭代式細(xì)化的方式剔除匹配誤差較大的點(diǎn)，得到更加精確的配準(zhǔn)模型。

1 配準(zhǔn)算法

考慮到紅外和可見光相對(duì)位置固定，兩個(gè)相機(jī)的內(nèi)參和外參可以通過雙目相機(jī)標(biāo)定獲取，從而約束紅外和可見光同名特征點(diǎn)的相對(duì)位置，即可以預(yù)測待匹配圖像同名特征點(diǎn)的相對(duì)位置，進(jìn)而可以在預(yù)測的同名特征點(diǎn)周圍局部區(qū)域精確搜索得到最終的匹配特征點(diǎn)，提高匹配精度與效率。因此，本文提出幾何約束下基于區(qū)域搜索的紅外和可見光圖像配準(zhǔn)方法，算法流程如圖1所示。

1）紅外和可見光圖像立體校正。利用相機(jī)標(biāo)定得到的紅外和可見光雙目相機(jī)的內(nèi)參和外參，通過立體校正可將圖像約束到同一高度之上。

圖1 基于幾何約束下區(qū)域搜索的紅外可見光圖像配準(zhǔn)方法框架

2）基于相位一致性獲取圖像的邊緣特征圖。在1）校正后圖像的基礎(chǔ)上，計(jì)算紅外和可見光圖像的相位一致性響應(yīng)圖，并計(jì)算其最大矩獲得魯棒的邊緣特征圖像。

3）紅外邊緣圖特征點(diǎn)提取。在紅外邊緣圖像進(jìn)行FAST特征點(diǎn)的提取，并剔除掉原紅外圖像中背景中的無用特征點(diǎn)。同時(shí)使用非極大值抑制策略，使得到的特征點(diǎn)分布更加均勻。

4）兩階段特征點(diǎn)搜索匹配。第一階段以NCC為衡量相似性指標(biāo)計(jì)算兩邊緣圖整體水平偏移參數(shù)，從而預(yù)測同名特征點(diǎn)初始位置，進(jìn)一步減少后續(xù)同名特征點(diǎn)的搜索范圍，降低時(shí)間復(fù)雜度。接著以3）得到的紅外特征點(diǎn)為基準(zhǔn)，在可見光邊緣圖的搜索區(qū)域內(nèi)，提出多尺度加權(quán)NCC作為相似性衡量指標(biāo)，搜索最佳匹配點(diǎn)。。

5）誤匹配的剔除。首先通過最小二乘法建立所有匹配特征點(diǎn)的變換模型，然后計(jì)算所有匹配點(diǎn)的誤差和均方根誤差（Root mean square error，RMSE），剔除誤差較大的匹配點(diǎn)，迭代上述過程提高配準(zhǔn)精度。

1.1 紅外相機(jī)與可見光雙目相機(jī)標(biāo)定

在紅外與可見光雙目成像中，兩個(gè)相機(jī)相對(duì)位置固定，雙模圖像間的旋轉(zhuǎn)平移等幾何變換關(guān)系相對(duì)固定，可以通過雙目相機(jī)標(biāo)定預(yù)先估計(jì)。換言之，我們可以通過雙目相機(jī)標(biāo)定方法獲取兩個(gè)相機(jī)之間的內(nèi)部光學(xué)參數(shù)（內(nèi)參），以及相機(jī)之間的旋轉(zhuǎn)和平移參數(shù)（外參）。為了計(jì)算紅外可見光雙目相機(jī)的內(nèi)參和外參，我們可以參考典型的相機(jī)標(biāo)定方法——張正友標(biāo)定法[18]，該方法借助不同角度的多張黑白棋盤格圖片，利用最小二乘法計(jì)算雙目相機(jī)的內(nèi)參和外參。雙目相機(jī)的內(nèi)參和外參只和相機(jī)本身的光學(xué)特性以及相對(duì)位置有關(guān)，所以針對(duì)一套紅外和可見光雙目相機(jī)只需要標(biāo)定一次，因此相機(jī)內(nèi)參和外參的計(jì)算并不會(huì)增加紅外與可見光雙目配準(zhǔn)的處理時(shí)間。

雖然張正友標(biāo)定法操作簡單、精度高，但主要用于可見光相機(jī)或者深度相機(jī)中。而在紅外和可見光雙目成像中，兩者的模態(tài)不同，直接在紙上打印的黑白棋盤格無法同時(shí)在兩個(gè)相機(jī)中都順利成像。因此我們采用特制的氧化鋁黑白棋盤格標(biāo)定板，前面板是氧化鋁做成的黑色棋盤格，后面板是玻璃基板。當(dāng)對(duì)標(biāo)定板背面均勻加熱時(shí)，兩種材料導(dǎo)熱性與反射率不同，使得標(biāo)定板在紅外圖像和可見光圖像上都會(huì)形成黑白分明的棋盤格圖像，如圖2所示。然后就可通過張正友標(biāo)定法獲取紅外與可見光雙目相機(jī)的內(nèi)參與外參。

圖2 棋盤格標(biāo)定板紅外和可見光成像

在得到了紅外和可見光相機(jī)的內(nèi)參和外參后，我們可以進(jìn)一步對(duì)圖像進(jìn)行立體校正，將兩者的圖像校正到相近的水平高度。具體來說，紅外和可見光圖像的立體校正的計(jì)算根據(jù)文獻(xiàn)[19]可以式(1)和式(2)表示：

ir￠＝rectify(ir,ir,,) (1)

vis￠＝rectify(vis,vis,,) (2)

式中：ir和vis表示未進(jìn)行立體校正的紅外和可見光圖像；ir￠和vis￠分別表示立體校正后的紅外和可見光圖像；ir和vis分別表示紅外相機(jī)和可見光相機(jī)的內(nèi)參；[,]表示雙目相機(jī)外參；表示兩個(gè)相機(jī)的相對(duì)旋轉(zhuǎn)參數(shù)；表示相對(duì)平移參數(shù)。rectify表示校正函數(shù)，具體細(xì)節(jié)可參考文獻(xiàn)[18]中同名函數(shù)，立體校正前和校正后的圖像如圖3和圖4所示。通過圖中的水平線可以看出，立體校正后紅外和可見光圖像基本處于同一水平高度。

圖3 立體校正前的可見光和紅外圖像

圖4 立體校正后的可見光和紅外圖像

1.2 基于相位一致性的邊緣特征圖

紅外圖像和可見光圖像相似性小，灰度差異大，直接在灰度圖上進(jìn)行特征點(diǎn)匹配工作難以尋找一致性的特征?？紤]到邊緣是紅外圖像和可見光圖像都較為穩(wěn)定的特征，不會(huì)因?yàn)閳D像之間的旋轉(zhuǎn)、平移和縮放而引起形狀的實(shí)質(zhì)性變化，所以本文先提取紅外和可見光圖像的邊緣圖。

考慮到可見光圖像對(duì)比度、光照會(huì)受到環(huán)境變化的影響而劇烈變化，而紅外與可見光圖像模態(tài)差異大，要求邊緣具備對(duì)圖像的灰度、對(duì)比度、光照等的不變性。為此本文采用Kovesi[20]提出的基于相位一致性（Phase congruency，PC）邊緣檢測算法分別提取紅外和可見光的邊緣圖。該方法選取個(gè)方向和尺度的Log-Gabor小波變換，計(jì)算每個(gè)方向上的相位一致性圖即PC圖。本文選?。?，＝4，計(jì)算方式簡要表示如式(3)和式(4)，具體細(xì)節(jié)可參考文獻(xiàn)[20]中的式(1)～(3)：

PCir()＝calPC(ir,,1, …,4) (3)

PCvis()＝calPC(vis,,1, …,4) (4)

式中：表示選取的Log_Gabor濾波器方向，1～6分別為(0°, 30°, 60°, 90°, 120°, 150°)，1～4表示4個(gè)頻率尺度。

利用6個(gè)方向的相位一致性信息，通過矩分析方法得到PC圖的最大矩，計(jì)算過程如式(5)所示：

式中：

PC圖的最大矩代表了圖像的邊緣特征，具有亮度和對(duì)比度不變性，若像素點(diǎn)(,)處的最大矩(,)＞，則該位置為邊緣點(diǎn)，表示邊緣點(diǎn)檢測閾值。對(duì)于紅外和可見光異源圖像，可采用相同的閾值得到細(xì)節(jié)程度相當(dāng)?shù)募t外邊緣圖像iredge和可見光邊緣圖像visedge。獲取圖像邊緣圖的過程如圖5所示。

圖5 紅外與可見光圖像邊緣圖計(jì)算過程

1.3 紅外特征點(diǎn)提取

本文針對(duì)紅外圖像和可見光圖像之間的配準(zhǔn)，僅在紅外邊緣圖上進(jìn)行特征點(diǎn)檢測。原因有兩個(gè)方面，一方面本文采用局部區(qū)域搜索的方式尋找匹配特征點(diǎn)，所以僅需要在一幅圖像上檢測特征點(diǎn)，在另一幅圖像上的局部區(qū)域進(jìn)行搜索即可。另一方面，具有熱源的目標(biāo)是紅外可見光配準(zhǔn)任務(wù)中的主要目標(biāo)，所包含的信息最為豐富也最有價(jià)值，這類目標(biāo)在紅外圖像中更加突出。

由于在眾多特征點(diǎn)檢測算法中，F(xiàn)AST特征檢測算法[21]相對(duì)于SIFT，SURF等特征檢測檢測算法相比，能夠僅依靠周圍像素快速地檢測特征點(diǎn)，且不進(jìn)行特征點(diǎn)方向等冗余信息的計(jì)算。因此，在紅外邊緣圖中的特征點(diǎn)檢測中，本文在紅外邊緣圖iredge的基礎(chǔ)上，進(jìn)行基于FAST的特征點(diǎn)檢測，基于此得到的候選特征點(diǎn)集irCandidate結(jié)合了角點(diǎn)和邊緣信息，更加穩(wěn)定。

通過FAST檢測出特征點(diǎn)之后，由于紅外圖像背景所含信息量極少，處于背景中的特征點(diǎn)特征信息同樣很少，而且若將所有特征點(diǎn)用于配準(zhǔn)會(huì)影響主體目標(biāo)配準(zhǔn)的準(zhǔn)確性，因此，本文在處理紅外特征點(diǎn)時(shí)，主要保留目標(biāo)主體上的特征點(diǎn)，而舍棄背景中無用的特征點(diǎn)。紅外圖像中熱源目標(biāo)表現(xiàn)的很“亮”，背景則很“暗”，因此保留的候選特征點(diǎn)集￠irCandidate滿足其灰度大于ir￠的灰度均值。處理后的特征點(diǎn)顯示到原紅外圖像中如圖6(b)所示。

圖6 特征點(diǎn)提取結(jié)果

針對(duì)候選特征點(diǎn)集￠irCandidate，為了防止特征點(diǎn)過于聚集，導(dǎo)致配準(zhǔn)結(jié)果偏向于局部區(qū)域，本文以特征點(diǎn)￠irCandidate為中心，在5×5的鄰域內(nèi)采用非極大值抑制（Non-Maximum Suppression，NMS）[22]策略，只保留鄰域內(nèi)FAST特征響應(yīng)最大的特征點(diǎn)，基于此得到分布較為均勻的特征點(diǎn)集ir。由圖6(c)可以看出經(jīng)過非極大值抑制，減少了一些冗余的特征點(diǎn)，特征點(diǎn)的分布更加均勻。

1.4 兩階段特征點(diǎn)搜索匹配

上文利用相機(jī)標(biāo)定信息進(jìn)行立體校正，可以將紅外圖像和可見光圖像約束到同一高度之上。因此可在同一水平線上搜索同名特征點(diǎn)?？紤]到在同一水平線上直接搜索同名特征點(diǎn)，需要在整個(gè)圖像寬度范圍內(nèi)進(jìn)行搜索，計(jì)算量偏大，本文提出兩階段的同名特征點(diǎn)搜索方式以紅外特征點(diǎn)為基準(zhǔn)在可見光邊緣圖中搜索同名特征點(diǎn)。

1）第一階段

通過以NCC作為相似度的度量方式，粗略估計(jì)紅外圖像邊緣圖ir-edge和可見光圖像邊緣圖vis-edge的水平偏移量d，使兩幅圖像在水平方向上大致對(duì)齊，進(jìn)而預(yù)測同名特征點(diǎn)的位置，減小同名特征點(diǎn)的搜索范圍，提高配準(zhǔn)效率，d的計(jì)算方式如下式：

式中：visedge表示水平偏移量為時(shí)的可見光邊緣圖像。NCC表示互相關(guān)一致性算子，表示兩幅圖像的相似程。計(jì)算圖像和之間的NCC的計(jì)算方式如式(7)所示：

2）第二階段

針對(duì)紅外圖像特征點(diǎn)集ir中的每個(gè)特征點(diǎn)(,)，其位于可見光邊緣圖中的初始同名點(diǎn)位置為￠(＋d,)。由于紅外圖像根據(jù)熱輻射成像，相對(duì)于可見光圖像，邊緣不清晰是其固有缺陷，在相機(jī)標(biāo)定以及立體校正過程中，無法嚴(yán)格將紅外圖像和可見光圖像束到同一高度之上，存在一定誤差，因此對(duì)應(yīng)的同名點(diǎn)搜索區(qū)域?yàn)橐浴闉橹行摹粒ǎ荆┐笮〉拈L方形區(qū)域，即圖7右側(cè)長方形區(qū)域，而不是僅在水平線上進(jìn)行搜索，提高了準(zhǔn)確性。過大會(huì)影響效率，過小會(huì)影響準(zhǔn)確性，經(jīng)過實(shí)驗(yàn)本文搜索范圍設(shè)為11×7。

圖7 局部區(qū)域同名特征點(diǎn)搜索

NCC作為衡量相似性的指標(biāo)，一般來說模板越大準(zhǔn)確性也就越高，同時(shí)時(shí)間復(fù)雜度也會(huì)上升，而邊緣圖像相對(duì)于灰度圖像所含信息較少，使用較大尺寸模板對(duì)匹配精度來說更有益處，因此為了提高匹配準(zhǔn)確性同時(shí)保證匹配效率，本文提出多尺度加權(quán)NCC（wncc）作為搜索同名特征點(diǎn)過程中的相似性衡量指標(biāo)。即以兩個(gè)尺寸的模板計(jì)算NCC，將其加權(quán)結(jié)合。具體來說首先構(gòu)建大尺寸模板，然后將其進(jìn)行下采樣，這樣保留了大模板內(nèi)的主體結(jié)構(gòu)信息，同時(shí)也不至于增加計(jì)算復(fù)雜度。然后構(gòu)建小模版作為信息補(bǔ)充，彌補(bǔ)了大模板下采樣時(shí)丟失的特征點(diǎn)周圍的信息。最后將用兩個(gè)模板計(jì)算得到的NCC進(jìn)行加權(quán)結(jié)合，大模板包含更多的結(jié)構(gòu)信息，用其計(jì)算的NCC衡量相似性更高，故其權(quán)值也更大。將雙尺寸模板加權(quán)結(jié)合，提高了準(zhǔn)確性，更加適用于邊緣圖像。具體計(jì)算方式如式(8)所示：

對(duì)于最終搜索得到的同名特征點(diǎn)correspond有：

1.5 誤匹配剔除

針對(duì)匹配后的特征點(diǎn)，為了更進(jìn)一步提高配準(zhǔn)的精度，需要將錯(cuò)誤匹配的一些點(diǎn)進(jìn)行剔除。本文采用迭代細(xì)化的方式剔除錯(cuò)誤的匹配點(diǎn)。具體流程如下：

1）根據(jù)已經(jīng)匹配的點(diǎn)集ir和vis，利用最小二乘法計(jì)算出初始仿射變換模型。

2）根據(jù)變換模型計(jì)算出紅外圖像中的特征點(diǎn)經(jīng)過變換后在可見光圖像中對(duì)應(yīng)的點(diǎn)ir￠：

ir￠＝ir×(10)

3）計(jì)算所有匹配點(diǎn)的誤差和總的RMSE，RMSE代表了變換模型對(duì)整個(gè)點(diǎn)集的擬合程度，RMSE越小說明模型擬合的越好，具體計(jì)算方式如式(14)所示。

式中：表示匹配特征點(diǎn)對(duì)的數(shù)量。

4）剔除點(diǎn)集中誤差較大的點(diǎn)，重復(fù)1）～3）步驟，直到RMSE小于閾值RMSE。當(dāng)RMSE小于3時(shí)可認(rèn)為配準(zhǔn)模型較好地?cái)M合了特征點(diǎn)集之間的變換關(guān)系，故本文選取RMSE＝3。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)采用自行組裝的紅外和可見光雙目相機(jī)。紅外相機(jī)采用高德plug 417測溫型紅外相機(jī)，分辨率為384×288?？梢姽庀鄼C(jī)使用FLIR公司生產(chǎn)的型號(hào)為BFS-U3-17S7M-C的工業(yè)灰點(diǎn)相機(jī)。雙目相機(jī)實(shí)物如圖8所示，左側(cè)為可見光相機(jī)，右側(cè)為紅外相機(jī)。實(shí)驗(yàn)環(huán)境為：Intel Core i5 10200H CPU，16GB RAM；軟件平臺(tái)為：Matlab R2016b。

圖8 紅外可見光雙目相機(jī)

為了評(píng)價(jià)本文方法配準(zhǔn)的準(zhǔn)確性，采用主觀評(píng)價(jià)和客觀評(píng)價(jià)結(jié)合的方式。主觀評(píng)價(jià)通過觀察配準(zhǔn)后的紅外可見光融合圖像中目標(biāo)的對(duì)齊程度直觀地感受算法的配準(zhǔn)效果。客觀評(píng)價(jià)采用總匹配點(diǎn)對(duì)數(shù)NUM、匹配準(zhǔn)確率（Correct Matching Rate，CMR）[23]。CMR＝MC/×100%，其中MC表示正確匹配點(diǎn)對(duì)數(shù)。當(dāng)匹配點(diǎn)對(duì)數(shù)NUM＜4時(shí)視為配準(zhǔn)失敗。

2.2 實(shí)驗(yàn)分析

為了驗(yàn)證本文算法針對(duì)紅外和可見光雙目圖像配準(zhǔn)任務(wù)有效性，選取了近年較為先進(jìn)的3個(gè)異源圖像配準(zhǔn)算法SURF-PIIFD-RPM[10]、CAO-C2F[13]、RIFT[14]以及一個(gè)基于深度學(xué)習(xí)的配準(zhǔn)算法ReDFeat[17]與本文算法進(jìn)行對(duì)比實(shí)驗(yàn)。

使用上述紅外與可見光雙目相機(jī)采集不同場景的3組圖像共30對(duì)進(jìn)行綜合對(duì)比實(shí)驗(yàn)，數(shù)據(jù)分為3組，每組包含十對(duì)圖像。第一組圖像包含不同距離的以“人”為主體的圖像。圖像環(huán)境，光線條件較好，圖像質(zhì)量比較高，紋理相對(duì)豐富。第二組圖像主要包含不同距離的以物為主體的圖像，透明水壺裝有熱水，紅外與可見光圖像差異性更大，紅外圖像中水壺后面的圖像信息完全看不見，而可見光圖像中則可以看到透明水壺后面的場景內(nèi)容，且圖像紋理較差。第三組圖像包含在弱光環(huán)境下的圖像。在弱光環(huán)境下，紅外圖像由于是捕獲熱輻射成像，成像質(zhì)量基本不受影響，但依靠光反射成像的可見光圖像的質(zhì)量大大下降，主體變得不再清晰，噪點(diǎn)也相應(yīng)增多，配準(zhǔn)難度增大。每組數(shù)據(jù)各算法客觀評(píng)價(jià)指標(biāo)平均值如表1所示。

表1 實(shí)驗(yàn)結(jié)果對(duì)比

第一組圖像的各個(gè)算法的特征點(diǎn)匹配結(jié)果和對(duì)應(yīng)的配準(zhǔn)融合結(jié)果如圖9和圖10所示，第二組圖像的特征點(diǎn)匹配結(jié)果以及配準(zhǔn)融合結(jié)果如圖11和圖12所示。由表1可以看出SURF-PIIFD-RPM和CAO-C2F匹配的特征點(diǎn)較少，準(zhǔn)確率偏低，前者在第一組圖像中平均特征點(diǎn)匹配數(shù)量僅5.7對(duì)，且準(zhǔn)確率較低，這說明配準(zhǔn)失敗概率很大，如圖10(a)左圖，配準(zhǔn)已經(jīng)失敗。在第二組紋理較弱的圖像特征點(diǎn)匹配數(shù)量僅2.8對(duì)，說明其在圖像紋理較弱的情況下無法完成配準(zhǔn)任務(wù)。CAO-C2F算法在第一組圖像中能匹配少量的特征點(diǎn)完成配準(zhǔn)任務(wù)，但由于其在輪廓圖中構(gòu)建SIFT描述符，在第二組紋理較弱的圖像中匹配準(zhǔn)確率則明顯下降，如圖12(b)的右圖，配準(zhǔn)結(jié)果都已經(jīng)出現(xiàn)較大的偏移。

RIFT算法由表1可以看出得到較為豐富的匹配特征點(diǎn)，且匹配準(zhǔn)確率較高，由圖10和圖12的(c)圖中可以看出能較好的配準(zhǔn)圖像，配準(zhǔn)后的紅外與可見光圖像都能大體對(duì)齊。這說明RIFT算法面對(duì)常規(guī)情況下紅外圖像和可見光圖像能夠比較好地提取其共同特征并成功匹配特征點(diǎn)。但RIFT存在的一個(gè)問題是特征點(diǎn)分布過于集中如圖9(c)的左圖集中于人物右上側(cè)區(qū)域，圖11(c)的右圖集中于左側(cè)水壺，這會(huì)導(dǎo)致配準(zhǔn)有一定的偏移風(fēng)險(xiǎn)。如圖10(c)中的頭部區(qū)域和圖12(c)兩張圖的右側(cè)區(qū)域，都明顯出現(xiàn)了偏移，這是因?yàn)镽IFT通過獨(dú)立提取紅外和可見光的特征點(diǎn)，在點(diǎn)集中尋找匹配點(diǎn)，要求雙方都提取了對(duì)應(yīng)特征點(diǎn)才可能匹配成功，這會(huì)篩選掉大量特征點(diǎn)，造成特征點(diǎn)集中于紋理最豐富的區(qū)域。

ReDFeat通過深度學(xué)習(xí)進(jìn)行特征點(diǎn)的檢測和描述，在特征點(diǎn)匹配數(shù)量上明顯高于其他對(duì)比算法和本文算法，但特征點(diǎn)存在大量重復(fù)和冗余，并且比RIFT更加聚集于小部分區(qū)紋理豐富的區(qū)域，如圖11(d)左圖，絕大多數(shù)特征點(diǎn)都聚集在了杯蓋附近。同時(shí)由表1可以看出特征點(diǎn)匹配的準(zhǔn)確率不高，第一組僅有80%，第二組下降到76.8%。這在第一組紋理豐富的圖像中依靠特征點(diǎn)數(shù)量優(yōu)勢尚能得到較好的配準(zhǔn)結(jié)果如圖10(d)。但在第二組紋理較弱的圖像中的配準(zhǔn)結(jié)則果出現(xiàn)了扭曲錯(cuò)位，如圖12(d)。

本文算法由于是在紅外邊緣圖上進(jìn)行特征檢測，使得特征點(diǎn)圍繞主體邊緣分布，并且結(jié)合非極大值抑制策略，使得特征點(diǎn)分布更加均勻，如圖9和圖11的(e)圖所示。在特征點(diǎn)匹配準(zhǔn)確率上本文算法明顯高于其他對(duì)比算法，這說明本文兩階段特征點(diǎn)搜索匹配方法的優(yōu)越性。體現(xiàn)到配準(zhǔn)結(jié)果中，由圖10和圖12的(e)圖所示，在第一組和第二組圖像中，都得到準(zhǔn)確的配準(zhǔn)結(jié)果。

圖9 第一組圖像各算法特征點(diǎn)匹配結(jié)果

圖10 第一組圖像配準(zhǔn)結(jié)果

圖11 第二組圖像各算法特征點(diǎn)匹配結(jié)果

圖12 第二組圖像配準(zhǔn)結(jié)果

第三組圖像主要針對(duì)的弱光環(huán)境下的圖像。從表1和圖13以及圖14可以看出本文算法特征點(diǎn)匹配數(shù)量和準(zhǔn)確率上相較于對(duì)比算法表現(xiàn)出顯著的優(yōu)越性。從表1可以看出，SURF-PIIFD-RPM算法特征點(diǎn)匹配數(shù)量僅有1.8對(duì)，無法完成配準(zhǔn)任務(wù)。CAO-C2F算法特征點(diǎn)匹配數(shù)量和準(zhǔn)確率都處于較低水平，說明其無法適用于弱光環(huán)境，多數(shù)圖像的匹配準(zhǔn)結(jié)果都如圖14(b)右圖一樣，出現(xiàn)無法辨識(shí)的扭曲。RIFT由于需要通過可見光圖像構(gòu)建對(duì)應(yīng)的描述子，在可見光質(zhì)量大大下降的情況下，從表1可以看出得到匹配特征點(diǎn)數(shù)量明顯下降，配準(zhǔn)效果也隨之下降，如圖14(c)中的兩張圖像，配準(zhǔn)結(jié)果都產(chǎn)生了明顯錯(cuò)位。而ReDFeat在弱光環(huán)境下，特征點(diǎn)數(shù)量多的優(yōu)勢也無法再繼續(xù)保持，由表1可以看出在第三組圖像中特征點(diǎn)匹配數(shù)量和準(zhǔn)確率相較于第一組和第二組圖像都出現(xiàn)了明顯的下降。配準(zhǔn)結(jié)果如圖14(d)所示，也出現(xiàn)了明顯錯(cuò)位扭曲。本文算法則體現(xiàn)出了較大優(yōu)勢，在弱光環(huán)境可見光圖像質(zhì)量下降的情況下，本文算法通過兩階段特征點(diǎn)搜索匹配能夠僅依靠局部有限的信息獲取同名特征點(diǎn)，保證了匹配的準(zhǔn)確性。同時(shí)由于在紅外邊緣圖上進(jìn)行特征點(diǎn)檢測，由表1可以看到，依然能夠得到豐富的匹配特征點(diǎn)。由圖14(e)的配準(zhǔn)結(jié)果可以看出，在弱光環(huán)境下，本文算法依然能夠準(zhǔn)確得進(jìn)行配準(zhǔn)。

圖13 第三組圖像各算法特征點(diǎn)匹配結(jié)果

圖14 第三組圖像配準(zhǔn)結(jié)果

3 結(jié)語

本文針對(duì)相對(duì)位置固定的紅外可見光雙目成像應(yīng)用場景，提出了一種幾何約束下基于區(qū)域搜索圖像配準(zhǔn)方法。算法利用相機(jī)標(biāo)定信息對(duì)紅外和可見光圖像進(jìn)行立體校正，使二者處于同一高度之上，接著利用相位一致性計(jì)算魯棒的邊緣圖，在邊緣圖的基礎(chǔ)上，進(jìn)行紅外特征點(diǎn)檢測，最后提出兩階段同名特征點(diǎn)搜索方法完成紅外可見光圖像配準(zhǔn)。通過與其他算法在不同場景上的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明相較于其他異源圖像配準(zhǔn)算法，本文算法能夠適用于紅外可見光雙目成像的配準(zhǔn)，在不同場景的圖像都保證了特征點(diǎn)匹配數(shù)量和配準(zhǔn)效果，并且能很好適應(yīng)弱光環(huán)境下的圖像配準(zhǔn)工作，相對(duì)于其他算法取得了明顯的優(yōu)勢。

[1] LI Y, YU F Y, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]., 2019, 22(4): 9435-9443.

[2] 付添, 鄧長征, 韓欣月, 等. 基于深度學(xué)習(xí)的電力設(shè)備紅外與可見光圖像配準(zhǔn)[J]. 紅外技術(shù), 2022, 44(9): 936-943. FU T, DENG C, HAN X, et al. Infrared and visible image registration for power equipments based on deep learning[J]., 2022, 44(9): 936-943.

[3] 黃穎杰, 梅領(lǐng)亮, 王勇, 等. 基于紅外與可見光圖像融合的無人機(jī)探測研究[J]. 電腦知識(shí)與技術(shù), 2022, 18(7): 1-8. HUANG Y, MEI L, WANG Y, et al. Research on unmanned aerial vehicle detection based on fusion of infrared and visible light images[J]., 2022, 18(7):1-8.

[4] 王戈, 鐘如意, 黃浩, 等. 基于輕量級(jí)人臉識(shí)別的智慧地鐵云支付系統(tǒng)搭建[J]. 湖北大學(xué)學(xué)報(bào): 自然科學(xué)版, 2021, 43(4): 437-442. WANG G，ZHONG R，HUANG H, et al. Construction of intelligent metro cloud payment system based on lightweight face recognition[J].: Natural Science, 2021, 43(4): 437-442.

[5] Banuls A , Mandow A , Vazquez-Martin R , et al. Object detection from thermal infrared and visible light cameras in search and rescue scenes[C]//(), 2020: 380-386.

[6] JIANG X, MA J, XIAO G, et al. A review of multimodal image matching: Methods and applications[J]., 2021, 73: 22-71.

[7] 李云紅, 劉宇棟, 蘇雪平, 等. 紅外與可見光圖像配準(zhǔn)技術(shù)研究綜述[J].紅外技術(shù), 2022, 44(7): 641-651. LIU Y, LIU Y, SU X, et al. Review of Infrared and visible image registration [J]., 2022, 44(7): 641-651.

[8] YU K, MA J, HU F , et al. A grayscale weight with window algorithm for infrared and visible image registration[J]., 2019, 99: 178-186.

[9] Yedukondala D C, Pejhman G, Pfefer T, et al. Free-Form deformation approach for registration of visible and infrared facial images in fever screening[J]., 2018, 18(2): 125.

[10] WANG G, WANG Z, CHEN Y, et al. Robust point matching method for multimodal retinal image registration[J]., 2015, 19: 68-76.

[11] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]., 2008, 110(3): 346-359.

[12] CHEN J, TIAN J, Lee N, et al. A partial intensity invariant feature descriptor for multimodal retinal image registration[J]., 2010, 57(7): 1707-1718.

[13] JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]., 2020, 36(4): 2559-2569.

[14] LI J, HU Q, AI M. RIFT: Multi-modal image matching based on radiation-variation insensitive feature transform[J]., 2019, 29: 3296-3310.

[15] WANG L, GAO C, ZHAO Y, et al. Infrared and visible image registration using transformer adversarial network[C]// 25th(ICIP)., 2018: 1248-1252.

[16] Arar M, Ginger Y, Danon D, et al. Unsupervised multi-modal image registration via geometry preserving image-to-image translation[C]//, 2020: 13410-13419.

[17] DENG Y, MA J. ReDFeat: Recoupling detection and description for multimodal feature learning[J/OL]., 2022: 591-602. https://arxiv.org/abs/2205.07439.

[18] ZHANG Z. A flexible new technique for camera calibration[J]., 2000, 22(11): 1330-1334.

[19] Fusiello A, Trucco E, Verri A. A compact algorithm for rectification of stereo pairs[J]., 2000, 12(1):16-22.

[20] Peter Kovesi. Phase congruency detects corners and edges[C]//2003: 309-318.

[21] Edward R, Tom D. Machine learning for high-speed corner detection[C]//, 2006: 430-443.

[22] Neubeck A, Van Gool L. Efficient non-maximum suppression[C]//,, 2006: 850-855.

[23] YE Y, SHAN J, Bruzzone L, et al. Robust registration of multimodal remote sensing images based on structural similarity[J]., 2017, 55(6): 2941-2958.

Infrared and Visible Binocular Registration Algorithm Based on Region Search Under Geometric Constraints

WANG Hesong，ZHANG Can，CAI Zhao，HUANG Jun，F(xiàn)AN Fan

(Electronic Information School,Wuhan University, Wuhan 430072, China)

For the registration task of infrared and visible binocular cameras with fixed relative positions, existing algorithms do not consider the prior fixed relative positions of the two cameras, resulting in problems, such as low registration accuracy, large differences in geometric positioning, and poor applicability. An infrared and visible binocular image registration method based on region search under geometric constraints. First, stereo correction was performed on the infrared and visible images using the calibration information of the infrared and visible binocular cameras, such that they were at the same height. Second, infrared and visible edge maps were obtained using phase congruency and feature points were extracted from the infrared edge map. Finally, a two-stage feature point search method is proposedto search for feature points with the same name in the local area of the visible edge map based on the infrared feature points. In the first stage, normalized cross-correlation (NCC) was used as a similarity metric to calculate the overall horizontal offset of the two edge maps, and the initial positions of feature points with the same name were predicted. In the second stage, a multiscale-weighted NCC was proposed as a similarity metric to accurately search for feature points with the same name around the initial location of feature points of the same name. Then, experiments were performed on the constructed real-environment dataset. The experimental results show that compared with other comparison methods, the number and accuracy of matching points and registration results in subjective vision are better.

image registration, infrared image, visible image, phase congruency, binocular camera

TP391

A

1001-8891(2024)03-0269-11

2022-12-06；

2023-03-17.

王賀松（1997-），男，安徽亳州人，碩士研究生，研究方向?yàn)榧t外與可見光配準(zhǔn)。E-mail：wanghesong@whu.edu.cn。

樊凡（1989-），男，江西南昌人，博士，副教授，研究方向?yàn)榧t外圖像處理。E-mail：fanfan@whu.edu.cn。

國家自然科學(xué)基金項(xiàng)目（62003247, 62075169, 62061160370）；湖北省重點(diǎn)研發(fā)計(jì)劃（2021BBA235）；珠海市基礎(chǔ)與應(yīng)用基礎(chǔ)研究基金（ZH22017003200010PWC）。