張 皓，李 娜，王 陸

〈圖像處理與仿真〉

基于多尺度結(jié)構(gòu)特征的快速異源圖像匹配

張 皓1，李 娜1，王 陸2

（1. 河南工學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南 新鄉(xiāng) 453000；2. 北京郵電大學(xué) 電子工程學(xué)院，北京 100876）

針對(duì)異源圖像提出一種基于多尺度密集結(jié)構(gòu)特征的快速匹配算法。算法首先利用Gabor濾波器逐像素提取圖像中的結(jié)構(gòu)響應(yīng)，再根據(jù)主方向響應(yīng)對(duì)多尺度結(jié)構(gòu)特征融合，然后使用快速傅里葉變換在頻域計(jì)算各特征分量圖像之間的卷積，最后將卷積生成的系數(shù)矩陣求和計(jì)算出圖像之間的相似性并選擇相似性最大位置作為匹配結(jié)果輸出。本文算法能有效適應(yīng)異源圖像間的非線性灰度變化和噪聲干擾問題。測(cè)試使用可見光、紅外、雷達(dá)圖像組成的異源圖像數(shù)據(jù)集對(duì)本文算法和現(xiàn)有算法進(jìn)行測(cè)試比較，結(jié)果表明：本文算法的平均誤匹配率最低，并且計(jì)算速度有明顯優(yōu)勢(shì)。

異源圖像匹配；卷積定理；快速傅里葉變換；密集特征；Gabor濾波器

0 引言

異源圖像匹配是指匹配的兩張圖像由不同類型圖像傳感器獲取。異源圖像匹配在導(dǎo)航制導(dǎo)[1]、目標(biāo)定位[2]、圖像融合[3]等視覺任務(wù)中被廣泛應(yīng)用。由于不同傳感器的成像特性不同導(dǎo)致圖像間存在明顯的輻射畸變，這使得異源圖像匹配成為一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)。一方面，輻射畸變可能導(dǎo)致一幅圖像中出現(xiàn)的視覺特征不會(huì)出現(xiàn)在另一張圖像中，從而增加特征匹配的難度。另一方面，輻射畸變引起的非線性灰度失真，使得異源圖像之間的灰度映射非常復(fù)雜，這將嚴(yán)重降低直接基于灰度的圖像匹配算法的性能。

遙感異源圖像匹配還可能遇到噪聲干擾帶來的挑戰(zhàn)。噪聲通常在遙感影像中不可避免的，特別是紅外影像和合成孔徑雷達(dá)（Synthetic Aperture Radar, SAR）影像常常包含嚴(yán)重的噪聲。由于噪聲削弱了異源圖像間相同對(duì)象的灰度之間的關(guān)聯(lián)性，直接基于灰度的相似性測(cè)量準(zhǔn)則將會(huì)受到影響。此外，結(jié)構(gòu)特征提取方法往往對(duì)噪聲非常敏感，這會(huì)降低基于圖像結(jié)構(gòu)信息的圖像匹配的性能。

現(xiàn)有的圖像匹配算法往往無法有效適應(yīng)異源圖像間的非線性灰度畸變或圖像噪聲的干擾。對(duì)此，本文提出一種基于多尺度密集結(jié)構(gòu)特征的快速異源圖像匹配算法。本文算法是屬于模板匹配算法，如圖1所示。這類模板匹配算法在導(dǎo)航和目標(biāo)定位中常常使用。匹配前，拍攝圖像（作為模板圖）可以根據(jù)導(dǎo)航信息進(jìn)行矯正，消除旋轉(zhuǎn)和縮放后，模板圖與基準(zhǔn)圖之間主要存在平移差別。

圖2給出了本文算法的流程圖。算法首先利用Gabor核提取圖像結(jié)構(gòu)特征，以適應(yīng)異源圖像間的非線性灰度畸變；然后對(duì)結(jié)構(gòu)特征進(jìn)行多尺度融合以提升抗噪聲能力，最后利用快速傅里葉變換（fast Fourier transform, FFT）實(shí)現(xiàn)快速匹配。

圖1 基于模板的異源圖像匹配

圖2 本文匹配算法流程

現(xiàn)有異源圖像匹配算法大致可以分為兩類，一類通過改進(jìn)差別/相似性測(cè)量準(zhǔn)則來提高算法對(duì)非線性灰度畸變的適應(yīng)能力。另一類通過提取圖像結(jié)構(gòu)信息來避免灰度畸變對(duì)匹配的不利影響。

改進(jìn)測(cè)量準(zhǔn)則的算法通常是假設(shè)成像條件造成的灰度畸變滿足某種變換模型，若使測(cè)量準(zhǔn)則忽略符合變換模型的灰度畸變，可以獲得不受成像條件影響的相似性或差別測(cè)量方法，代表算法包括基于歸一化互相關(guān)（normalized cross correlation, NCC）[4]、互信息（mutual information, MI）[5-6]和非線性調(diào)色原理（matching by tone mapping, MTM）的圖像匹配算法[7]。其中，NCC是一種能夠適應(yīng)線性灰度畸變的測(cè)量準(zhǔn)則。對(duì)屬于單調(diào)非線性函數(shù)的灰度畸變，NCC也具有一定的適應(yīng)性（因?yàn)榉蔷€性的灰度畸變往往可以看作局部線性的），并且可以采用Log-NCC提升適應(yīng)能力[8]。MTM是一種能適應(yīng)非單調(diào)非線性灰度畸變的圖像匹配算法，但是仍然要求灰度畸變滿足函數(shù)映射關(guān)系（不同灰度級(jí)不能映射到相同灰度級(jí)）。MI算法則基于信息熵的原理，它可以適應(yīng)不滿足函數(shù)映射關(guān)系的非線性灰度畸變，但是一些研究指出MI算法計(jì)算速度太慢，并且不適用于樣本量較小的情況（即圖像較?。?。

僅僅改進(jìn)匹配的測(cè)量準(zhǔn)則并直接對(duì)灰度圖像進(jìn)行匹配，效果往往不太理想，因?yàn)檫@忽略了圖像的紋理結(jié)構(gòu)信息。鑒于此，一些匹配算法先使用密集特征描述（dense feature descriptor, DFD）提取圖像中的紋理結(jié)構(gòu)信息得到本征圖像（intrinsic image），然后再對(duì)本征圖像進(jìn)行匹配。由于圖像中的結(jié)構(gòu)特征通常能夠相對(duì)成像條件變化保持穩(wěn)定并且密集特征描述一般不需要對(duì)灰度畸變的模型進(jìn)行假設(shè)，基于本征圖像提取的異源圖像匹配算法往往在適應(yīng)灰度畸變的能力上具有優(yōu)勢(shì)。現(xiàn)有的本征圖像提取算法可以分為基于梯度[9-10]的和基于相位[11-12]的兩類算法。基于梯度的提取算法能夠適應(yīng)圖像對(duì)比度和照度的變化，并能有效提取適應(yīng)圖像的結(jié)構(gòu)方向信息，但是灰度反映射（常常發(fā)生在異源圖像間）會(huì)導(dǎo)致方向反轉(zhuǎn)，影響相似評(píng)價(jià)[12]?；谙辔坏奶崛∷惴ǎ苓m應(yīng)各種灰度畸變，但是無法準(zhǔn)確提取圖像的結(jié)構(gòu)方向信息，并且可能導(dǎo)致混淆效應(yīng)[13]。除此之外，兩類提取算法都對(duì)噪聲比較敏感，對(duì)于極具挑戰(zhàn)性的異源圖像匹配（如SAR圖像和可見光圖像之間的匹配），這兩類算法往往都無法取得較高的匹配正確率。

1 多尺度結(jié)構(gòu)特征提取

圖像中對(duì)象的結(jié)構(gòu)信息通常不因傳感器類型和參數(shù)變化而改變，因此，結(jié)構(gòu)可以作為異源圖像間的共性特征。但是基于梯度和相位的結(jié)構(gòu)特征提取算法對(duì)圖像噪聲的適應(yīng)性不佳，很難穩(wěn)定地提取結(jié)構(gòu)特征。

算法首先利用Gabor濾波器逐像素提取圖像中的結(jié)構(gòu)響應(yīng)，再根據(jù)主方向響應(yīng)對(duì)多尺度結(jié)構(gòu)特征融合，可以有效適應(yīng)異源圖像的非線性灰度畸變和圖像噪聲問題。

1.1 密集結(jié)構(gòu)特征

Gabor濾波器可以分為奇濾波器和偶濾波器，其中奇數(shù)濾波器近似一種平滑的求導(dǎo)濾波器。比較常用的sobel求導(dǎo)算子[13-14]，使用Gabor奇濾波器對(duì)圖像求導(dǎo)具有更好的噪聲適應(yīng)能力。本算法使用8個(gè)方向的Gabor奇濾波器對(duì)圖像求導(dǎo)，公式(1)給出了圖像求導(dǎo)計(jì)算過程：

式中：是原圖像；*代表卷積；是方向?yàn)?i>的Gabor奇濾波器；是方向的導(dǎo)數(shù)。其中?{0,p/8,p/4,p/2,5p/8, 3p/4,7p/8}。

求導(dǎo)后，圖像每個(gè)像素對(duì)應(yīng)一個(gè)8值的特征向量為F￠，將該特征向量取絕對(duì)值再按公式(2)進(jìn)行歸一化，可以消除灰度畸變對(duì)特征提取結(jié)果的影響：

1.2 多尺度結(jié)構(gòu)特征融合

噪聲會(huì)對(duì)基于求導(dǎo)的結(jié)構(gòu)特征提取造成不利影響。多尺度特征融合，可以有效增強(qiáng)結(jié)構(gòu)特征對(duì)噪聲的適應(yīng)能力。多尺度特征融合分為兩個(gè)主要步驟。

首先對(duì)歸一化結(jié)構(gòu)特征按公式(3)進(jìn)行均值處理，均值窗口可以選擇以為中心，大小為×的窗口，即是特征尺度：

然后按公式(4)根據(jù)主方向響應(yīng)強(qiáng)度，融合多個(gè)尺度的特征：

式中：w是主方向響應(yīng)強(qiáng)度，可以按公式(5)計(jì)算：

當(dāng)一個(gè)方向的Gabor奇濾波器的響應(yīng)明顯大于其他方向時(shí)，主方向響應(yīng)強(qiáng)度越大。

2 結(jié)構(gòu)特征匹配

得到模板圖像和基準(zhǔn)圖像的多尺度結(jié)構(gòu)特征后，將模板圖像與基準(zhǔn)圖像的每個(gè)窗口進(jìn)行比較，選擇相似性最大的窗口作為匹配結(jié)果。其中相似性計(jì)算是根據(jù)每個(gè)像素對(duì)應(yīng)的特征向量計(jì)算，而不是圖像灰度。設(shè)模板每個(gè)像素對(duì)應(yīng)的特征向量為TN2，窗口每個(gè)像素對(duì)應(yīng)的特征向量為WN2，則相似性按如下公式計(jì)算：

式中：模板圖與窗口大小為×；×代表向量之間的點(diǎn)乘。

公式(6)可以按照兩種過程計(jì)算，一是先計(jì)算特征向量之間的點(diǎn)乘再逐像素累加，二是先計(jì)算模板與窗口特征分量圖之間的相關(guān)，再累加相關(guān)結(jié)果。兩種計(jì)算方法的計(jì)算量都非常大。設(shè)基準(zhǔn)圖大小為×，則這兩種計(jì)算方法的復(fù)雜性為：

為了減少計(jì)算量，可以使用卷積定理對(duì)匹配過程進(jìn)行計(jì)算優(yōu)化。根據(jù)卷積定理，基準(zhǔn)圖像和模板圖像之間的卷積可以通過它們?cè)陬l域的乘積的反傅里葉變換得到，過程如下：

式中：*號(hào)代表卷積運(yùn)算，F(xiàn)FT和IFFT分別代表正反快速傅里葉變換。計(jì)算基準(zhǔn)圖每個(gè)窗口與模板圖像之間的相關(guān)，即是計(jì)算基準(zhǔn)圖與模板圖像之間的卷積。假設(shè)基準(zhǔn)圖的特征分量圖為2，模板圖的特征分量圖為TN2，則可以按下列公式計(jì)算8個(gè)特征分量的卷積和，即是計(jì)算模板圖與基準(zhǔn)圖所有窗口的相似性：

基于FFT的卷積計(jì)算的復(fù)雜性為：

表1將空域匹配計(jì)算（按照公式(6)）與頻域匹配計(jì)算（按照公式(9)～(11)）進(jìn)行了比較?？梢娎肍FT優(yōu)化的頻域匹配能大幅提升計(jì)算速度。

3 測(cè)試比較及計(jì)算性能分析

3.1 測(cè)試比較

本文匹配算法與以下4種異源圖像匹配算法進(jìn)行了比較，包括：

1） PQ-HOG（histogram of orientated gradient, HOG）[10]：該方法是一種基于圖像結(jié)構(gòu)特征的匹配算法。該算法先逐像素提取梯度直方圖，然后將HOG通過投影矩陣二值化，再利用海明（Hamming）距離計(jì)算相似性。

2） HOPC（histogram of orientated phase congruency, HOPC）[12]：該方法也是一種基于圖像結(jié)構(gòu)特征的匹配算法。該算法先逐像素提取相位一致性方向直方圖，然后使用歸一化互相關(guān)（NCC）計(jì)算相似性。

表1 比較空域匹配計(jì)算和頻域匹配計(jì)算

3） MTM[4]和MI[6]：這兩種方法都是直接基于圖像灰度的匹配算法。MTM算法能夠適應(yīng)滿足函數(shù)映射關(guān)系的非線性灰度畸變，MI算法能夠適應(yīng)滿足非函數(shù)映射關(guān)系的非線性灰度畸變。

本文使用了地圖、紅外、可見光和SAR圖像作為測(cè)試數(shù)據(jù)，圖3給出了3組測(cè)試圖像示例。

比較測(cè)試結(jié)果如圖4(a)所示，可見隨著模板圖尺寸增加，算法的匹配錯(cuò)誤率都在降低?；谔卣鞯?種匹配算法普遍優(yōu)于直接基于灰度的兩種匹配算法。兩種灰度算法中，MI的匹配錯(cuò)誤率更低，平均低3.67%。3種基于特征的匹配算法中，本文算法（proposed algorithm, PA）和HOPC算法要優(yōu)于PQ-HOG。HOPC在模板尺寸為32×32和64×64時(shí)，匹配錯(cuò)誤率比本文算法低，而在模板尺寸為96×96，128×128時(shí)，匹配錯(cuò)誤率比本文算法高。本文算法的平均誤匹配率為30.45%，為5種測(cè)試算法中最低。圖4(b)給出了比較算法在添加高斯噪聲干擾圖像上的測(cè)試結(jié)果，圖5給出了對(duì)測(cè)試圖像增加不同級(jí)別高斯噪聲的例子。噪聲圖像匹配測(cè)試結(jié)果顯示，隨著噪聲增強(qiáng)，算法匹配的錯(cuò)誤率，都在增加，整體上，本文算法的匹配結(jié)果優(yōu)于其它算法，說明本文算法對(duì)噪聲有較好的適應(yīng)能力。

本文算法可以有效實(shí)現(xiàn)紅外、可見光、以及SAR圖像之間的匹配，圖6給出了本文算法的匹配結(jié)果示例。

3.2 計(jì)算性能分析

本節(jié)對(duì)PQ-HOG、HOPC、MI、MTM和本文算法的計(jì)算時(shí)間進(jìn)行了測(cè)試，實(shí)驗(yàn)機(jī)CPU為Intel core i5-4300U 2.50GHz。表2給出了5種算法對(duì)不同尺寸模板和基準(zhǔn)圖像匹配的計(jì)算時(shí)間。其中MTM和本文算法都是通過頻域卷積實(shí)現(xiàn)匹配。這兩種算法的計(jì)算速度明顯快于其他3種算法。本文算法計(jì)算速度略快于MTM，是5種算法中計(jì)算速度最快的算法。MI則是5種算法中計(jì)算速度最慢的算法。

圖7給出了本文算法使用空域匹配和使用頻域匹配計(jì)算時(shí)間的比較。對(duì)給定大小的搜索空間，空域匹配的計(jì)算時(shí)間隨模板尺寸成指數(shù)級(jí)增長(zhǎng)。而頻域匹配的計(jì)算時(shí)間主要由基準(zhǔn)圖大小決定，因此基本不隨模板尺寸變化而變化。

圖3 異源圖像對(duì)示例

圖4 異源圖像匹配算法測(cè)試結(jié)果

圖5 原圖像和增加了噪聲的圖像