劉 棟,周冬明,聶仁燦,侯瑞超

(云南大學(xué) 信息學(xué)院,昆明 650500)(*通信作者電子郵箱zhoudm@ynu.edu.cn)

0 引言

多聚焦圖像融合是圖像處理領(lǐng)域的一個重要分支。就目前而言,該技術(shù)已被廣泛應(yīng)用于計算機視覺、目標識別和人工智能等多個領(lǐng)域。在使用光學(xué)鏡頭拍攝照片時,受到光學(xué)鏡頭聚焦能力的限制,大多數(shù)關(guān)于同一場景的圖片會出現(xiàn)不同的焦點,這就導(dǎo)致圖片的某些清晰的、細節(jié)的信息只能出現(xiàn)在聚焦的區(qū)域中,而非聚焦區(qū)域的圖像信息是不易被人眼直接觀測到的[1]。因此,多聚焦圖像融合技術(shù)的關(guān)鍵在于準確提取多聚焦源圖像中的有用信息,來獲得一張精度更高、更加清晰、更利于人眼觀察的圖片。

多聚焦圖像融合技術(shù)有效地消除了現(xiàn)代光學(xué)鏡頭景深有限的缺陷,提高了圖像的精度,并能夠消除圖像像素間的冗余信息。目前,在該領(lǐng)域使用較多的方法是基于多尺度變換的圖像融合方法,如基于金字塔變換[2]、離散小波變換[3]、基于非下采樣輪廓波變換(Non-Subsampled Contourlet Transform, NSCT)[4]和非下采樣剪切波變換(Non-Subsampled Shearlet Transform, NSST)[5]的圖像多尺度分解算法。其中,金字塔變換缺乏方向性,離散小波變換也不能有效地反映圖像的曲線與邊緣信息[6],NSCT和NSST又忽略了圖像的空間一致性[7]。為了獲得更好的視覺感知并充分利用圖像空間信息,一些結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network, PCNN)的方法得到廣泛的應(yīng)用,如NSCT-PCNN[8]、NSST-PCNN[9]等,然而這些方法在對圖像不同區(qū)域的像素進行處理時,容易受到噪聲的影響并且不能很好地保留源圖像的一些邊緣與細節(jié)結(jié)構(gòu)信息。

針對上述的一些算法缺陷,本文提出了一種在NSCT域內(nèi)通過計算空間頻率(Spatial Frequency, SF)和相位一致性(Phase Congruency, PC)來驅(qū)動PCNN神經(jīng)元進行多聚焦圖像融合的算法。相位一致性作為圖像的一種特征,其值不會因為圖像的亮度、對比度和光照強度的變化而受到影響,這一特點符合人類視覺特性。有研究表明,人類眼睛感覺到的圖像特征往往位于PC值高的點處[10],同時,相位一致性對噪聲有較強的魯棒性,可以減少噪聲和平滑圖像,而且在同一階段的圖像特征中包含許多頻率成分,如邊緣狀和角狀特征。空間頻率作為圖像的梯度特征,它反映了一幅圖像的總體活躍程度,圖像空間頻率特征的值越大,表明圖像越活躍、越清晰[11]。因此,本文提出的根據(jù)圖像高低頻特性來分別計算其SF和PC值的融合規(guī)則能夠很好地對源圖像的聚焦區(qū)域進行高精度的提取,有效地避免了融合圖像中目標邊緣及細節(jié)信息缺失的現(xiàn)象,達到了一個較好的融合效果。

1 簡化PCNN模型

為了簡化計算過程,一種簡化的脈沖耦合神經(jīng)網(wǎng)絡(luò)模型(Simplified PCNN, S-PCNN)[12]被用于本文方法中。與傳統(tǒng)PCNN模型相同,S-PCNN模型由接收域(receptive field)、調(diào)制域(modulation field)和脈沖發(fā)生器(pulse generator)三部分組成,如圖1所示,在S-PCNN模型中,每一個神經(jīng)元都唯一對應(yīng)著一個圖像像素點。S-PCNN的數(shù)學(xué)模型可由式(1)～(5)來表示:

Fij(n)=Sij

(1)

(2)

Uij(n)=Fij(n)(1+βLij(n))

(3)

θij(n)=exp(-αθ)θij(n-1)+VθYij(n-1)

(4)

(5)

其中:i和j表示神經(jīng)元(或圖像像素點)的位置。神經(jīng)元(i,j)在接收域中接收到來自其鄰域神經(jīng)元(k,l)的輸入脈沖,并通過反饋通道Lij進行傳輸,該通道的衰減幅度為VL,相鄰的神經(jīng)元之間以突觸鏈接權(quán)Wijkl相鏈接,輸入通道Fij僅與外部激勵Sij有關(guān);在調(diào)制域中,通過雙通道的內(nèi)部調(diào)制得到神經(jīng)元的內(nèi)部狀態(tài)Uij,其鏈接強度為β;在脈沖發(fā)生器中,當Uij的值大于閾值θij時,觸發(fā)神經(jīng)元點火產(chǎn)生脈沖,然后閾值會以指數(shù)方式進行衰減,αθ為其衰減指數(shù),Yij為輸出脈沖?；赑CNN的圖像融合算法步驟[13]如下:

1)當Uij>θij時,觸發(fā)PCNN神經(jīng)元點火,此時,Yij=1;

2)一旦位于(i,j)處的神經(jīng)元點火成功,閾值θij的值會立即增大,然后隨著時間的流逝呈現(xiàn)指數(shù)級的衰減;

3)當Uij≤θij時,神經(jīng)元停止點火,同時,在神經(jīng)元點火過程中會產(chǎn)生一個脈沖序列信號;

4)由于PCNN中每個神經(jīng)元都與其周圍相鄰的神經(jīng)元相互聯(lián)系,因此一個已被點火的神經(jīng)元會驅(qū)動其相鄰的神經(jīng)元進行點火。

這樣一來,當PCNN中的神經(jīng)元被其相鄰的神經(jīng)元觸發(fā)點火,整個神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元將會處于激活狀態(tài),來進行圖像融合的處理。

圖1 S-PCNN 模型Fig. 1 S-PCNN model

2 圖像多尺度分解

近年來,利用NSCT對圖像進行多尺度分解,在圖像融合領(lǐng)域的優(yōu)越性已被國內(nèi)外許多學(xué)者的研究證明。NSCT作為一個由輪廓波變換(Contourlet Transform, CT)改進而來的二維圖像處理工具,其中包含了非下采樣金字塔濾波器(Non-Subsampled Pyramid, NSP)和非下采樣方向濾波器(Non-Subsampled Directional Filter Bank, NSDFB),如圖2所示。與傳統(tǒng)的輪廓波變換相比,經(jīng)NSCT得到的融合圖像能夠避免不必要的失真,并且能獲得更好的頻率選擇性、規(guī)律性和位移不變性。其中:NSP是一個雙通道濾波器組,NSDFB是一個扇形濾波器組,源圖像經(jīng)過這兩個濾波器組,將被分解為與源圖像同大小的低頻子帶圖(低頻系數(shù))和帶通子帶圖(高頻系數(shù))[14],源圖像中有效信息的近似分量和大量的細節(jié)與結(jié)構(gòu)特征分量信息分別包含在低頻和高頻子帶中。

圖2 基于NSCT的圖像多尺度分解框架Fig. 2 Decomposition framework of NSCT

因此,不同的融合規(guī)則將分別應(yīng)用于低頻系數(shù)和高頻系數(shù)的融合,最后通過逆NSCT對融合后的低頻系數(shù)和高頻系數(shù)進行處理,以得到一幅包含兩幅源圖像有效信息并且所有對象都清晰的融合圖像。

3 融合規(guī)則

3.1 高頻系數(shù)融合規(guī)則

圖像空間頻率是與圖像梯度值相關(guān)的一種圖像特征,它反映了圖像的活躍程度[15],其值越大,圖像越清晰;反之圖像越模糊。本文將計算高頻子帶的空間頻率值,作為PCNN的外部激勵輸入,以獲得PCNN神經(jīng)元點火脈沖序列,對高頻子帶進行融合,其值可由圖像行頻率(Row Frequency, RF)與列頻率(Column Frequency, CF)計算而來:

(6)

(7)

(8)

圖3 本文算法框架Fig. 3 Framework of the proposed image fusion algorithm

3.2 低頻系數(shù)融合規(guī)則

圖像相位一致性是圖像低水平的不變形屬性,同時,相位一致性特征還為相位校準模式的協(xié)議提供了一種量化方法[16]。Oppenheim等[17]通過大量實驗已經(jīng)證明圖像的許多重要特征在相位圖中可以明確地被識別出來,然而這些特征卻不能在頻譜圖中被很好地識別,由此還發(fā)現(xiàn)圖像傅里葉相位包含了關(guān)于圖像結(jié)構(gòu)和特征的重要信息。Kovesi等[18]指出,圖像的特征往往出現(xiàn)在圖像相位一致性值最大的點處,同時,考慮到圖像相位一致性特征對圖像像素強度映射和光照對比度變化具有不變性,本文將圖像PC值作為PCNN的外部激勵輸入以進行圖像低頻系數(shù)的融合,Kovesi[19-20]提出了一種改進的相位一致性計算方法來避免可能出現(xiàn)的缺點:

(9)

其中：

(10)

(11)

Wo(x)是濾波響應(yīng)權(quán)重函數(shù);N是涉及到的總的尺度數(shù)；Amax(x)是濾波器組在點x處響應(yīng)的最大幅度值；Ano(x)為尺度n處的振幅，當符號“?」”中的值為正時,其結(jié)果等于自己本身,否則結(jié)果為0;ε是一個極小的常數(shù),用于避免分母為零的情況;To是對噪聲響應(yīng)的估計。相位偏差值表示為:

(12)

在這個改進的相位一致性模型中,Kovesi[20]利用了log Gabor函數(shù)來計算一幅圖像的相位一致性值[21],與傳統(tǒng)的Gabor函數(shù)不同,log Gabor函數(shù)在對數(shù)頻率尺度上是一個高斯函數(shù),因此log Gabor函數(shù)在對數(shù)頻率尺度上是對稱的,并且它在構(gòu)造出任意大帶寬濾波器的同時,能夠始終保持在偶對稱濾波器中有一個零直流分量,這是Gabor函數(shù)不具備的功能,此外,log Gabor函數(shù)符合人類視覺系統(tǒng)在對數(shù)頻率尺度下細胞反應(yīng)對稱的特性[22]。由文獻[23]可知,log Gabor函數(shù)的一維數(shù)學(xué)表達式為:

(13)

其中：ω0為中心頻率；β/ω0根據(jù)不同的ω0值取不同的常數(shù)以獲得不同頻程帶寬。

4 本文算法

SF-PCNN與PC-PCNN分別作為高頻系數(shù)與低頻系數(shù)的融合規(guī)則來驅(qū)動PCNN神經(jīng)元,利用PCNN神經(jīng)元點火后閾值自動設(shè)置的特性來激活整個神經(jīng)網(wǎng)絡(luò)以進行多聚焦圖像融合。本文算法中,分別計算兩幅源圖像分解后同一位置處像素點的高頻分量的SF值與低頻分量的PC值,選取值較大的點作為PCNN外部激勵以獲得融合后的低頻和高頻圖像,即:

(14)

(15)

其中:上標1和2分別表示源圖像1和2的高低頻分量。本文算法結(jié)構(gòu)如圖3所示。

5 實驗結(jié)果與分析

表1 對比實驗結(jié)果客觀評價指標Table.1 Performance comparison of different fusion algorithms

圖4 多聚焦圖像融合實驗源圖像Fig. 4 Three couples of multi-focus fusion source images

圖5 Clock融合對比實驗結(jié)果Fig. 5 Experimental result of Clock fusion

圖6 Pepsi融合對比實驗結(jié)果Fig. 6 Experimental result of Pepsi fusion

實驗環(huán)境為:Windows 10,Intel Corel CPU 3.00 GHz,RAM 4 GB, Matlab R2016a。

在表1所示的客觀評價指標數(shù)值中,本文算法的各項指標幾乎全部大于4種基于多尺度變換的經(jīng)典算法,與近年來的新算法相比,3組多聚焦實驗數(shù)據(jù)共15個測試結(jié)果中,近一半的數(shù)據(jù)結(jié)果是優(yōu)于這3種算法的,其余結(jié)果與最大值相接近(如Lab數(shù)據(jù)集的QAB/F指標:最大值為0.75,本文算法的值為0.73,差值僅為0.02)。同時,如圖8～13的差值圖的方框所示,可以清楚發(fā)現(xiàn)對比算法的差值圖中所包含的源圖像的清晰區(qū)域的痕跡較多;特別地,實驗數(shù)據(jù)Lab的左右聚焦區(qū)域細節(jié)信息相差較大,當對Lab的左聚焦區(qū)域(時鐘)進行提取融合后,各算法的融合效果相差無幾,如圖12所示;當對右聚焦區(qū)域(人物)進行提取融合后,可以清楚發(fā)現(xiàn)所提算法對人物細節(jié)信息的提取要明顯優(yōu)于其余7種對比算法,如圖13所示。

圖7 Lab融合對比實驗結(jié)果Fig. 7 Experimental result of Lab fusion

圖8 Clock融合結(jié)果與Clock1的差值圖Fig. 8 Difference maps between Fig.5 and Clock1

圖9 Clock融合結(jié)果與Clock2的差值圖Fig. 9 Difference maps between Fig.5 and Clock2

圖10 Pepsi融合結(jié)果與Pepsi1的值圖Fig. 10 Difference maps between Fig.6 and Pepsi1

圖11 Pepsi融合結(jié)果與Pepsi2的值圖Fig. 11 Difference maps between Fig.6 and Pepsi2

圖12 Lab融合結(jié)果與Lab1的值圖Fig. 12 Difference maps between Fig.7 and Lab1

圖13 Lab融合結(jié)果與Lab2的值圖Fig. 13 Difference maps between Fig.7 and Lab2

6 結(jié)語

綜合相位一致性對圖像亮度、對比度具有不變性,以及空間頻率對圖像梯度信息的表達,利用脈沖耦合神經(jīng)網(wǎng)絡(luò)的生物學(xué)特點以及人眼的視覺特性,提出了一種NSCT域內(nèi)結(jié)合相位一致性與空間頻率激勵PCNN的多聚焦圖像融合算法。首先對多聚焦圖像進行多尺度分解,根據(jù)圖像高低頻系數(shù)的特點,分別選取SF和PC結(jié)合PCNN作為圖像高低頻系數(shù)的融合準則,最后通過逆NSCT算法,重構(gòu)得到一幅所有物體都清晰的融合圖像。實驗測得的客觀評價指標和實驗差值圖充分表明所提算法能夠?qū)⒃磮D像的聚焦區(qū)域更加完整的、更有效地提取到融合圖像中,其融合效果明顯優(yōu)于其余對比算法,這意味著本文算法在多聚焦圖像融合方面具有一定的優(yōu)越性。