江澤濤,王 琦

(1.桂林電子科技大學(xué) 廣西圖像圖形智能處理研究室,廣西 桂林 541004；2.桂林電子科技大學(xué) 廣西高校圖像圖形智能處理研究室,廣西 桂林 541004)

1 引 言

計(jì)算機(jī)視覺領(lǐng)域,異源圖像配準(zhǔn)一直是人們研究的重點(diǎn)和難點(diǎn),紅外與可見光圖像配準(zhǔn)是最常見的異源圖像配準(zhǔn)。可見光圖像反映物體的反射信息,紅外圖像反映物體的溫度輻射信息[1-2],兩者信息互為補(bǔ)充,實(shí)現(xiàn)異源圖像融合[3],在國(guó)土資源調(diào)查、軍事偵查、模式識(shí)別等領(lǐng)域有著廣泛應(yīng)用。而兩者的成像機(jī)理和拍攝條件不同,圖像輪廓邊緣存在較大的差異,噪聲干擾大,因此研究精度高、正確匹配率高、實(shí)時(shí)性強(qiáng)和魯棒性強(qiáng)的算法有著重要的實(shí)際意義[4-5]。

由于紅外圖像灰度對(duì)比度低、信噪比低,通過角點(diǎn)檢測(cè)器提取特征點(diǎn),搜索到的局部極值點(diǎn)數(shù)量極少,不能滿足圖像配準(zhǔn)需求,降低閾值則會(huì)引入噪聲點(diǎn)。因此,近年來,眾多學(xué)者通過邊緣圖像來屏蔽兩種圖像的差異對(duì)圖像配準(zhǔn)進(jìn)行約束。例如劉暢[6]等人提出在Canny邊緣提取高曲率特征點(diǎn)的方式,利用相似三角形實(shí)現(xiàn)匹配,算法不適用于高噪聲圖像;陳亮[7]等人提取Canny邊緣,剔除灰度變化小的點(diǎn)得到邊緣區(qū)域掩膜圖,用互相關(guān)系數(shù)實(shí)現(xiàn)匹配,該算法僅適用于帶有明顯幾何結(jié)構(gòu)的圖像;Ma Jiayi[8]等人提出了基于正則化高斯場(chǎng)的紅外與可見光人臉圖像的配準(zhǔn),利用人臉邊緣信息通過高斯場(chǎng)準(zhǔn)則進(jìn)行配準(zhǔn),該算法是針對(duì)人臉圖像,在大范圍場(chǎng)景中時(shí)間復(fù)雜度過高;彭逸月[9]、王阿妮[10]等人在Canny邊緣圖像上提取Harris角點(diǎn)進(jìn)行圖像配準(zhǔn),算法對(duì)于圖像重疊區(qū)域比例要求較高。通過研究現(xiàn)有算法,Canny邊緣檢測(cè)易受光照變化影響,同時(shí)對(duì)于模糊邊界的魯棒性不夠,會(huì)導(dǎo)致圖像匹配的誤差偏高。

根據(jù)紅外圖像的特點(diǎn)和以上算法存在的不足,本文提出了基于擴(kuò)散方程和相位一致性模型的紅外與可見光圖像配準(zhǔn)算法。使用改進(jìn)的擴(kuò)散方程對(duì)紅外圖像進(jìn)行平滑處理,使得在保留目標(biāo)天然邊界的同時(shí)有效降低噪聲的影響；利用相位一致模型提取兩幅圖像的視覺相似性結(jié)構(gòu),克服紅外圖像邊緣結(jié)構(gòu)視覺效果模糊的缺陷;最后在邊緣結(jié)構(gòu)圖上提取特征點(diǎn)AKAZE,進(jìn)行二值化描述,通過漢明距離實(shí)現(xiàn)特征點(diǎn)的匹配。實(shí)現(xiàn)圖像的配準(zhǔn)。

2 基于擴(kuò)散方程和邊緣增強(qiáng)的圖像配準(zhǔn)算法

2.1 優(yōu)化的擴(kuò)散方程模型

由于傳統(tǒng)降噪處理會(huì)對(duì)邊緣產(chǎn)生弱化,從而選擇將物理學(xué)中的擴(kuò)散現(xiàn)象應(yīng)用到圖像處理當(dāng)中[11-12],建立各向異性擴(kuò)散傳導(dǎo)模型[13-14]:

(1)

其中,擴(kuò)散函數(shù)為:

(2)

即PM方程,g1(|L|)是基于圖像梯度的傳統(tǒng)擴(kuò)散傳導(dǎo)函數(shù),k為對(duì)比度參數(shù),一般選擇原始圖像梯度直方圖70%的值。實(shí)現(xiàn)了平滑圖像的同時(shí)保留了邊緣信息。針對(duì)紅外圖像的信噪比低、對(duì)比度低的特點(diǎn),本文提出了一種新的擴(kuò)散傳導(dǎo)函數(shù):

(3)

改進(jìn)的傳導(dǎo)函數(shù)與傳統(tǒng)的傳導(dǎo)函數(shù)相比,收斂速度更快,可以保留更多的邊緣信息,在低對(duì)比度的圖像中,可以更好地提取邊界。在使用擴(kuò)散方程的同時(shí)加入噪聲點(diǎn)抑制機(jī)制,當(dāng)像素點(diǎn)的擴(kuò)散傳導(dǎo)函數(shù)值低于閾值時(shí),對(duì)該像素點(diǎn)周圍的像素進(jìn)行差值運(yùn)算,對(duì)非邊緣像素點(diǎn)進(jìn)行抑制。

利用改進(jìn)的擴(kuò)散傳導(dǎo)函數(shù)平滑與經(jīng)典的高斯平滑對(duì)比,計(jì)算結(jié)果如圖1和圖2所示。

圖1 本文算法的圖像平滑效果

圖2 高斯平滑效果

從圖1的(a)到(d)變換過程可以看出,擴(kuò)散方程在對(duì)圖像進(jìn)行平滑處理的過程中,能很好地保持圖像的灰度對(duì)比度,物體內(nèi)部的弱細(xì)節(jié)被平滑,邊緣部分被很好的保留;圖2的(a)到(b)中,高斯平滑圖像隨著平滑的進(jìn)行,圖像灰度對(duì)比度被降低,邊緣部分逐漸模糊。這是因?yàn)閭鹘y(tǒng)的高斯空間對(duì)于圖像目標(biāo)中的所有像素點(diǎn)有著相同的平滑效果,在消除噪聲的同時(shí)目標(biāo)邊界也被模糊化的現(xiàn)象,非線性擴(kuò)散由于各向異性的存在使得對(duì)于目標(biāo)邊界的影響大幅度的降低,最大限度保留目標(biāo)輪廓。

2.2 基于相位一致性的邊緣提取

相位一致性由Morrone等提出的一種局部能量模型[15-16],在研究和實(shí)驗(yàn)中發(fā)現(xiàn),相位一致性與人類視覺對(duì)圖像結(jié)構(gòu)有著相似的認(rèn)知特性,是一種視覺不變特征。相位一致模型能夠?yàn)V除異源圖像的視覺差異,提取出圖像中視覺相似的邊緣結(jié)構(gòu)。針對(duì)傳統(tǒng)相位一致邊緣定義計(jì)算開銷大的缺陷,提出了新的邊緣函數(shù)的定義。

本文使用Log-Gabor濾波器在不同方向和尺度上計(jì)算像素點(diǎn)的幅值和相位響應(yīng)值,計(jì)算公式如下:

(4)

(5)

(6)

其中,Ws,θ(x,y)是權(quán)值；T是噪聲閾值；?·」是非正抑制函數(shù)；Δφs,θ(x,y)是相位偏移度量函數(shù):

(7)

相位一致性測(cè)度屬于[0,1]的量綱一,其值反應(yīng)的是圖像特征的顯著大小,經(jīng)典算法將相位一致性的邊緣特征定義如下:

(8)

其中:

(9)

cos(θ))

(10)

(11)

改進(jìn)算法,將特征邊緣定義為:

(12)

從定義中可以看出,新的邊緣特征與原算法相比,計(jì)算開銷將會(huì)有大幅度的降低,通過將三個(gè)協(xié)方差變量取均值,可以去除雜波的影響,通過后續(xù)實(shí)驗(yàn)可以發(fā)現(xiàn),在算法復(fù)雜性減小的同時(shí)算法精度沒有較大變化,仍然可以保留完成的邊緣主體結(jié)構(gòu)。

提取邊緣之后使用最大化抑制的方法濾去噪聲干擾,并對(duì)邊緣強(qiáng)度圖像進(jìn)行二值化處理,通過以上舉措來強(qiáng)化邊緣信息。

由于紅外的輻射特性,得到初步邊緣圖像之后,物體邊緣會(huì)存在少許擴(kuò)散現(xiàn)象,從邊緣兩側(cè)根據(jù)梯度下降最快方向的反方向收斂操作,如圖3所示。

圖3 邊緣收斂過程圖

相位一致算法與Canny邊緣檢測(cè)的對(duì)比效果如圖4所示。

圖4 邊緣提取對(duì)比圖

由于紅外圖像的灰度對(duì)比度低,Canny邊緣檢測(cè)對(duì)于邊界細(xì)節(jié)的損失嚴(yán)重,而相位一致模型對(duì)于光照和對(duì)比度具有不變性,能較好地提取出原圖邊緣細(xì)節(jié),更好地用于特征提取。

2.3 特征提取及描述

AKAZE特征[17]檢測(cè)與SIFT檢測(cè)類似,通過尋找不同尺度歸一化后的Hessian矩陣的局部極大值來實(shí)現(xiàn)。具有尺度不變性和旋轉(zhuǎn)不變性。

得到特征點(diǎn)之后,為了使特征點(diǎn)具有旋轉(zhuǎn)不變性,在特征點(diǎn)周邊的局部區(qū)域來計(jì)算特征點(diǎn)的主方向。在特征點(diǎn)為圓心的圓形區(qū)域,通過一個(gè)π/3的扇形活動(dòng)窗口對(duì)臨近點(diǎn)進(jìn)行向量疊加,遍歷完整個(gè)圓形區(qū)域后,獲得最長(zhǎng)向量長(zhǎng)度的方向則為特征點(diǎn)的主方向。

為了計(jì)算速度更快和匹配效率更高,采用魯棒性強(qiáng)的二值化的局部差分描述子(M-LDB)。M-LDB在一般二進(jìn)制描述子采用強(qiáng)度信息的基礎(chǔ)上,引用了圖像像素的梯度信息,依據(jù)特征點(diǎn)主方向?qū)⒕W(wǎng)格旋轉(zhuǎn),得到的像素點(diǎn)響應(yīng)函數(shù)為:

(13)

其中,fintensity是網(wǎng)格內(nèi)像素點(diǎn)強(qiáng)度的平均值,對(duì)每個(gè)網(wǎng)格點(diǎn)進(jìn)行二進(jìn)制檢測(cè),檢測(cè)函數(shù)如下:

(14)

得到的結(jié)果組成N位的二進(jìn)制編碼作為特征點(diǎn)的描述子。

2.4 特征點(diǎn)匹配

得到特征點(diǎn)集的二值化描述子之后,利用計(jì)算效率更高的漢明距離作為距離測(cè)量準(zhǔn)則對(duì)特征點(diǎn)進(jìn)行匹配。首先是進(jìn)行K臨近算法的粗匹配,計(jì)算出特征集中的點(diǎn)與訓(xùn)練集中點(diǎn)的漢明距離,以距離最小的點(diǎn)對(duì)作為粗匹配的結(jié)果;然后利用尋找特征點(diǎn)對(duì)之間的單應(yīng)性變換進(jìn)行過濾消除誤匹配,細(xì)化匹配結(jié)果。

2.5 算法流程

算法的流程圖如圖5所示。算法的執(zhí)行過程描述如下:

(1)改進(jìn)擴(kuò)散系數(shù)g2,利用各向異性擴(kuò)散方程對(duì)紅外圖像進(jìn)行預(yù)處理;

(2)使用相位一致性模型對(duì)擴(kuò)散處理的紅外圖像和可見光圖像提取圖像的視覺相似性結(jié)構(gòu)特征,構(gòu)成邊緣結(jié)構(gòu)圖;

(3)在紅外與可見光圖像的邊緣結(jié)構(gòu)圖上進(jìn)行AKAZE特征點(diǎn)的提取;

(4)對(duì)特征點(diǎn)進(jìn)行二值化描述,得到二值化描述子M-LDB;

(5)采用K臨近算法,計(jì)算紅外與可見光圖像中特征點(diǎn)漢明距離,選出擬匹配對(duì);

(6)對(duì)擬匹配對(duì)進(jìn)行單應(yīng)性檢測(cè),刪除誤匹配點(diǎn);

(7)根據(jù)匹配點(diǎn)得出坐標(biāo)的變換系數(shù),實(shí)現(xiàn)圖像的配準(zhǔn)。

圖5 算法流程圖

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)圖像及特征點(diǎn)匹配

為驗(yàn)證本文算法在尺度變換、遮擋、噪聲的圖像條件下的魯棒性,本實(shí)驗(yàn)采用三個(gè)場(chǎng)景的紅外與可見光的測(cè)試圖像,對(duì)算法的性能進(jìn)行測(cè)試。場(chǎng)景一是帶有光照變換的室外場(chǎng)景圖(圖6),場(chǎng)景二是室外有煙霧遮擋的平房圖(圖7),場(chǎng)景三是室外帶有視角變換的電器設(shè)備圖(圖8)。

圖6 場(chǎng)景一測(cè)試圖像

利用擴(kuò)散方程平滑處理和相位一致模型提取邊緣結(jié)構(gòu),效果圖如圖6(c)和圖6(d)、圖7(c)和圖7(d)、圖8(c)和圖8(d)所示,得到的邊緣結(jié)構(gòu)圖已有效地濾除紅外與可見光圖像因成像機(jī)制不同引起的灰度和對(duì)比度差異,得到的邊緣圖像有很好的相似性和可比性,為后續(xù)提取特征點(diǎn)打好基礎(chǔ)。

圖7 場(chǎng)景二測(cè)試圖像

圖8 場(chǎng)景三測(cè)試圖像

利用提取到的邊緣圖,進(jìn)行特征的提取和特征的匹配,最終得到的匹配效果如圖9、圖10、圖11所示,在邊緣結(jié)構(gòu)提取AKAZE特征點(diǎn),使得有效用于匹配的特征點(diǎn)均位于邊緣結(jié)構(gòu)上;在匹配過程中使用單應(yīng)性檢測(cè),刪除誤匹配,最終保留的正確匹配對(duì)的數(shù)量保持在10～20對(duì);最后根據(jù)匹配特征點(diǎn)的坐標(biāo)計(jì)算得到變換模型的參數(shù),實(shí)現(xiàn)圖像的配準(zhǔn)。

圖9 場(chǎng)景一匹配效果圖

圖10 場(chǎng)景二匹配效果圖

圖11 場(chǎng)景三匹配效果圖

3.2 配準(zhǔn)精確度對(duì)比和效率分析

為檢驗(yàn)算法的配準(zhǔn)性能,將本文算法與同樣采用邊緣圖像的文獻(xiàn)[9]文獻(xiàn)[16]的算法進(jìn)行比較,文獻(xiàn)[9]通過Canny邊緣和邊界閾值操作得到邊緣區(qū)域掩膜圖進(jìn)行匹配的;文獻(xiàn)[16]采用邊緣強(qiáng)度圖映射的方式,使用并行遺傳算法進(jìn)行全局尋優(yōu)和Powell進(jìn)行局部?jī)?yōu)化的方式實(shí)現(xiàn)配準(zhǔn)。為保證比較結(jié)果的公平性,本次對(duì)比只針對(duì)標(biāo)記點(diǎn)誤差和計(jì)算復(fù)雜性進(jìn)行對(duì)比。

在標(biāo)記點(diǎn)誤差方面,采用標(biāo)記點(diǎn)的均方根誤差(RMSE)作為配準(zhǔn)算法精確度的依據(jù)。已知匹配標(biāo)記點(diǎn)是通過手工方式選取。對(duì)實(shí)驗(yàn)圖像分別選擇五對(duì)標(biāo)記點(diǎn)用于測(cè)量。RMSE的計(jì)算公式為:

(16)

圖12 誤差曲線

圖12的誤差曲線中,橫坐標(biāo)為五個(gè)匹配標(biāo)記點(diǎn),縱坐標(biāo)為坐標(biāo)誤差,可以看出在場(chǎng)景一中,由于紅外圖像與可見光圖像的結(jié)構(gòu)清晰,三種算法誤差均控制在一個(gè)像素點(diǎn)左右;在場(chǎng)景二中存在煙霧遮擋的問題,三種算法的匹配誤差都有增加,本文算法的精度較高受煙霧干擾較小;在場(chǎng)景三中,電器設(shè)備的熱紅外圖與可見光圖存在尺度變化,目標(biāo)邊緣存在噪聲干擾,文獻(xiàn)[9]和文獻(xiàn)[16]的方法受尺度影響較大,存在誤匹配現(xiàn)象,相比之下,本文算法配準(zhǔn)誤差最小。通過上述實(shí)驗(yàn)結(jié)果可以看出,本文算法在圖像配準(zhǔn)上有著較高的精度,可以較好的克服煙霧遮擋和尺度變化的影響。

在計(jì)算復(fù)雜度方面,計(jì)算開銷主要是特征提取和特征匹配。如圖13所示,在特征點(diǎn)提取方面,本文算法首先進(jìn)行擴(kuò)散函數(shù)圖像平滑,再進(jìn)行邊緣結(jié)構(gòu)檢測(cè)和特征點(diǎn)提取,時(shí)間開銷相對(duì)較高,平均耗時(shí)約1600 ms;文獻(xiàn)[9]采用的Canny邊緣檢測(cè)和掩膜處理,平均耗時(shí)約為620 ms;文獻(xiàn)[16]采用相位一致模型邊緣檢測(cè),平均耗時(shí)約為310 ms。在特征匹配方面,本文算法采用K臨近算法和單應(yīng)性檢測(cè)耗時(shí)相對(duì)較低,文獻(xiàn)[9]和文獻(xiàn)[16]采用優(yōu)化算法進(jìn)行參數(shù)尋優(yōu)耗費(fèi)了大量的時(shí)間。

圖13 配準(zhǔn)時(shí)間

4 結(jié) 論

本文提出了一種基于擴(kuò)散方程和相位一致性的紅外與可見光圖像配準(zhǔn)算法,這是將圖像降噪處理和邊緣檢測(cè)相結(jié)合的圖像配準(zhǔn)算法。首先對(duì)紅外圖像進(jìn)行擴(kuò)散處理;接著對(duì)紅外圖像和可見光圖像利用相位一致模型提取邊緣結(jié)構(gòu);然后在圖像的邊緣結(jié)構(gòu)上提取AKAZE特征點(diǎn);最后采用漢明距離作為度量準(zhǔn)則進(jìn)行特征匹配從而實(shí)現(xiàn)圖像的配準(zhǔn)。實(shí)驗(yàn)中,本文算法在簡(jiǎn)單場(chǎng)景、噪聲高的場(chǎng)景和尺度變換的場(chǎng)景中均能實(shí)現(xiàn)較快和較準(zhǔn)確的圖像配準(zhǔn)結(jié)果。

參考文獻(xiàn):

[1] YUAN Jinsha,ZHAO Zhenbing,GAO Qiang,et al.Review and prospect on infrared/visible image registration[J].Lsaer & Infrared,2009,39(7):693-699.(in Chinese)

苑津莎,趙振兵,高強(qiáng).紅外與可見光圖像配準(zhǔn)研究現(xiàn)狀與展望[J].激光與紅外,2009,39(7):693-699.

[2] Dong Xiaojie,Liu Erqi,Yang Jie,Wu Qiang.Visible and infrared automatic image registration based on SLER[J].Journal of Infrared and Millimeter Waves,2014,33(1):90-97.

[3] ZHOU Yuren,GENG Aihui,ZHANG Qiang,et al.Fusion of infrared and visible image based on compressive sensing[J].Optics and Precision Engineering,2015,23(3):855-863.(in Chinese)

周渝人,耿愛輝,張強(qiáng).基于壓縮感知的紅外與可見光圖像融合[J].光學(xué) 精密工程,2015,23(3):855-863.

[4] Xiaolei Feng,Wei Wu,Zhi Li,et al.Weighted-Hausdorff distance using gradient orientation information for visible and infrared image registration[J].Optik-international Journal for Light and Electron Optics,2015,126(23):3823-3829.

[5] Feihong Wu,Bingjian Wang,Xiang Yi,et al.Visible and infrared image registration based on visual salient features[J].Journal od Electronic Image,2015,24(5):053017.

[6] LIU Chang,CUI Tong,HE Chenglong,et al.Infrared-Visual image registration based on High-Curvature Feature Matching[J].Command Information System and Technology,2016,7(1):13-17.(in Chinese)

劉暢,崔桐,賀成龍,等.基于高曲率特征點(diǎn)匹配的紅外與可見光圖像匹配[J].指揮信息系統(tǒng)與技術(shù),2016,7(1):13-17.

[7] CHEN Liang,ZHOU Mengzhe,CHEN He.A method for image registration combined by edge region and cross correlation[J].Transactions of Beijing Institute of Technology,2016,36(3):320-325.(in Chinese)

陳亮,周孟哲,陳禾.一種結(jié)合邊緣區(qū)域和互相關(guān)的圖像配準(zhǔn)方法[J].北京理工大學(xué)學(xué)報(bào),2016,36(3):320-325.

[8] Jiayi Ma,Ji Zhao,Yong Ma,et al.Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J].Pattern Recognition,2015,(48):772-784.

[9] PENG Yiyue,HE Weiji,GU Guohua,et al.Visible and infrared image registration algorithm based on features points[J].Laser & Infrared,2012,42(6):713-717.(in Chinese)

彭逸月,何偉基,顧國(guó)華.基于特征點(diǎn)的紅外與可見光圖像配準(zhǔn)研究[J].激光與紅外,2012,42(6):713-717.

[10] WANG Ani,MA Caiwen,LIU Shuang.Infrared and visible images automatic registration algorithm based on corner[J].Acta Photonica Sinica,2009,38(12)3328-3332.(in Chinese)

王阿妮,馬彩文,劉爽.基于角點(diǎn)的紅外與可見光圖像自動(dòng)配準(zhǔn)算法[J].光子學(xué)報(bào),2009,38(12):3328-3332.

[11] WANG Weiwei,FENG Xiangchu.Fast numerical solution of diffusion equations in image processing[J].Journal of Electronics and Information Technology,2009,31(7):1736-1740.(in Chinese)

王衛(wèi)衛(wèi),馮象初.圖像處理中擴(kuò)散方程的快速數(shù)值解法[J].電子與信息學(xué)報(bào),2009,31(7):1736-1740.

[12] DING Chang,YIN Qingbo,LU Mingyu.Summary of Partial Differential Equation(PDE) Method on Digital Image Processing[J].Computer Science,2013,40(11):341-346.(in Chinese)

丁暢,尹清波,魯明羽.數(shù)字圖像處理中的偏微分方程方法綜述[J].計(jì)算機(jī)科學(xué),2013,40(11):341-346.

[13] TONG Cheng,WANG Shitong,MAN Lihong.Improved image denosing method based on PDE[J].Computer Engineering and Applications,2010,46(15):176-178.(in Chinese)

佟成,王士同,滿麗紅.一種改進(jìn)的PDE圖像去噪方法[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(15):176-178.

[14] ZHOU Huixin,ZHAO Ying,QIN Shimin,et al.Infrared dim and small target detection algorithm based on multi-sclae anisotropic diffusion equation[J].Acta photonica sinica,2015,(9):152-156.(in Chinese)

周慧鑫,趙營(yíng),秦翰林,等.多尺度各向異性擴(kuò)散方程的紅外弱小目標(biāo)檢測(cè)算法[J].光子學(xué)報(bào),2015,(9):152-156.

[15] Perter Kovesi.Phase congruency detects corners and edges[J].Digital Image Computing:Techniques and Applications,2003：309-318.

[16] LIAN Lin,LI Guohui,ZHANG Jun.An automatic registration algorithm of infrared and visible images based on optimal mapping of edges[J].Acat Automatic Sinica,2012,38(4):570-581.(in Chinese)

廉藺,李國(guó)祥,張軍.基于邊緣最優(yōu)映射的紅外與可見光圖像自動(dòng)配準(zhǔn)算法[J].自動(dòng)化學(xué)報(bào),2012,38(4):570-581.

[17] Alcantarilla P F.Fast explicit diffusion for accelerated features in nonlinear scale spaces[C].British Machine Vision Conference,2013:13.1-13.11.