侯慶岑,潘 晨,楊 勇

(1.中國計量學(xué)院信息工程學(xué)院,杭州310018;2.江西財經(jīng)大學(xué)信息管理學(xué)院,南昌330032)

·圖形圖像處理·

基于視覺顯著度的多聚焦圖像融合方法

侯慶岑1,潘 晨1,楊 勇2

(1.中國計量學(xué)院信息工程學(xué)院,杭州310018;2.江西財經(jīng)大學(xué)信息管理學(xué)院,南昌330032)

多聚焦圖像存在聚焦區(qū)和離焦區(qū),聚焦區(qū)通常吸引人的注意力,具有突出的視覺顯著性。傳統(tǒng)融合算法缺乏對聚焦區(qū)域的定位能力,對多聚焦圖像融合的適應(yīng)性普遍較差。為此,提出一種模擬人類視覺注意機(jī)制的多聚焦圖像融合方法。利用譜殘差算法計算源圖像的顯著度圖,通過判斷不同源圖像相同位置上的像素顯著性,選擇顯著度大的圖像像素組成該源圖像的聚焦區(qū),顯著度相等的像素構(gòu)成邊界帶,使用腐蝕膨脹操作消除聚焦區(qū)內(nèi)的孤立像素點,以每幅源圖像的聚焦區(qū)域和梯度值較大的邊界帶像素作為融合圖像的像素。實驗結(jié)果表明,該方法能自主選擇清晰像素,獲得37 dB以上的高峰值信噪比,且基本無參數(shù)設(shè)置,在不同類型圖像融合中均表現(xiàn)出較強(qiáng)的魯棒性。

視覺注意;多聚焦圖像;圖像融合;顯著度;聚焦區(qū);顯著圖

1 概述

高性能的圖像融合技術(shù)在醫(yī)學(xué)診斷、航空航天等諸多實際應(yīng)用領(lǐng)域有廣闊的需求,一直是圖像處理/機(jī)器視覺領(lǐng)域的研究熱點。圖像融合技術(shù)可大致分為3個層次:數(shù)據(jù)級融合,特征級融合,決策級融合[1]。3個層次的區(qū)別在于對信息的抽象程度不同。多聚焦圖像融合是將場景相同,但鏡頭所聚焦目標(biāo)不同的多幅圖像融合成多個目標(biāo)都清晰的一幅圖像,其中,關(guān)鍵問題是源圖像中聚焦區(qū)域的定位。傳統(tǒng)圖像融合大體上可分為頻域和空域方法2類。基于空間域的圖像融合方法在待融合圖像的像素空間上進(jìn)行直觀、簡單的灰度值取大小、加權(quán)平均等操作?；陬l域的圖像融合方法先對待融合圖像進(jìn)行頻域變換得到相關(guān)的系數(shù),再結(jié)合相關(guān)規(guī)則得到圖像的融合系數(shù),最后進(jìn)行逆變換得到最終融合圖像。由于缺乏對聚焦區(qū)域的定位能力,傳統(tǒng)融合方法對多聚焦圖像融合的適應(yīng)性普遍很差。近年來,基于多尺度分解、區(qū)域選擇和基于學(xué)習(xí)等新的圖像融合策略被不斷提出[2-4],改善和提高了算法性能,然而仍存在局限性。一般而言,如何自適應(yīng)地確定不同類型圖像的融合層次、減少參數(shù)設(shè)置等問題一直是困擾算法設(shè)計者的問題。具體方法中,基于多尺度分解方法的主要問題是會使融合圖像產(chǎn)生振鈴現(xiàn)象和失真[2];基于區(qū)域選擇方法的最大問題是產(chǎn)生塊效應(yīng)[3];基于學(xué)習(xí)方法的融合效果會依賴于訓(xùn)練數(shù)據(jù)[4]等。與機(jī)器視覺系統(tǒng)在現(xiàn)實中表現(xiàn)出的脆弱性相反,人類“腦-眼”視覺系統(tǒng)具有普適性和高效率,能有效應(yīng)對復(fù)雜場景,揭示了模擬人類視覺機(jī)制或許是改進(jìn)機(jī)器視覺方法的有效途徑。

人類視覺最重要的機(jī)制是視覺注意,是指人面對復(fù)雜場景時,會迅速將注意力集中在少數(shù)重要區(qū)域(注視),并利用有限的處理能力對其優(yōu)先處理。為了賦予給機(jī)器這種能力,以視覺顯著度檢測為主的視覺注意模型研究目前正成為機(jī)器視覺領(lǐng)域的熱點?？纱笾路譃榛诳沼颉⑿畔⒗碚摵皖l域等3類。其中,基于空域的經(jīng)典方法是 1998年以來文獻(xiàn)[5-7]提出基于空間鄰域?qū)Ρ榷鹊哪Ｐ?。通過在空間域中計算每個像素或像素塊相對于四周鄰域或者整幅圖像在不同特征下的相對對比度,經(jīng)特征之間的競爭或融合,最終確定圖像中每個位置的顯著度而形成顯著度圖。該模型描述了在無先驗信息指導(dǎo)情況下圖像自身特質(zhì)對人眼的刺激程度,對噪聲、對比度和亮度變化具有很好的魯棒性。但該模型存在問題是整體計算量大,違背了自底向上視覺注意過程快速的特點。顯著圖只能描述顯著對象的大致位置,而無法準(zhǔn)確描述顯著對象的輪廓?；谛畔⒗碚摰慕?jīng)典視覺注意模型如文獻(xiàn)[8],通過在空間域中逐點計算每個像素位置周圍的熵等指標(biāo),來衡量該位置的顯著度。顯然,逐點計算使得算法的時間復(fù)雜度大,很難用于實時場合?；陬l域分析模型是文獻(xiàn)[9]提出的一種方法,通過求得圖像傅里葉變換后的幅度譜的殘差,經(jīng)傅里葉逆變換來直接檢測圖像顯著區(qū)域。與其他的顯著性檢測方法[10]比較,譜殘差法的計算速度很快。

在對多聚焦圖像的視覺顯著性檢測實驗中,發(fā)現(xiàn)圖像中的聚焦清晰區(qū)域相比于失焦模糊區(qū)域總是具有更高的顯著度值,更能引起視覺注意。為此,本文提出一種基于視覺顯著度的多聚焦圖像融合方法。利用顯著性檢測算法定位待融合圖像的聚焦區(qū)域,挑選其中最顯著(最清晰)像素作為聚焦區(qū)域進(jìn)行圖像融合。

2 顯著度檢測原理

為了保證算法速度,本文借鑒了文獻(xiàn)[9]提出的顯著性檢測方法。對于給定的待融合圖像I(x),首先對其進(jìn)行2維離散傅里葉變換F[I(x)],將圖像由空間域轉(zhuǎn)換到頻域,得到幅值A(chǔ)(f)和相位P(f)信息:

接著對幅值取對數(shù),得到譜L(f):

其中,F表示2維離散傅里葉變換;|·|表示幅值運算;φ(·)表示相位運算。由于log曲線滿足局部線性條件,因此用局部平均濾波器hn(f)對其進(jìn)行平滑,獲得log譜的大致形狀:

其中,?代表卷積運算符;hn(f)是一個n×n的矩陣(本文實驗中n=3。),定義如下:

譜殘差R(f)則是對圖像中的突變區(qū)域的描述:

通過傅里葉逆變換,可以在空間域得到顯著度圖像:

顯著度圖上每點的值表示該位置的顯著度。考慮到人眼視覺的局部成組效應(yīng),為了消除少數(shù)孤立的顯著點,得到更好的視覺效果,在得到S(x)后再用平均濾波器進(jìn)行一次平滑,得到最終的顯著度圖Z(x):

其中,?代表卷積運算符;譜殘差算法對像素的操作是一種批處理,算法簡單、快速、易實現(xiàn),且對于噪聲具有一定的魯棒性。

圖1(a)是一幅實際圖像,圖1(b)為利用顯著性檢測(譜殘差)算法處理得到的顯著度圖(像素越白對應(yīng)顯著度越高)。其中,聚焦清晰區(qū)域(蝴蝶)顯著度值明顯比失焦模糊區(qū)域高。圖1(a)中的叉號標(biāo)出了最顯著的前200個點,98%都在蝴蝶上(大部分在目標(biāo)輪廓上),蝴蝶周邊因離焦而模糊區(qū)域的顯著度差。圖1表明了顯著度高區(qū)域與聚焦區(qū)域存在相互對應(yīng)關(guān)系,越清晰的聚焦區(qū)域顯著度越大。

圖1 實際圖像的顯著度圖

3 圖像融合算法

基于視覺顯著度比較的圖像融合框架如圖2所示。圖像融合方法首先通過譜殘差法檢測2幅待融合圖像的顯著度圖,再比較2幅圖相同位置的顯著度,來判斷每幅圖中的聚焦和離焦區(qū)域;最終選擇2幅圖像的聚焦區(qū)域中像素(即最清晰像素)組成一幅融合圖像。

圖2 基于視覺顯著度比較的圖像融合框架

以圖3為例,將原清晰圖通過二值模板進(jìn)行左、右部分模糊化,生成2個仿真待融合圖像I1和I2。再通過本文方法得到融合結(jié)果。

圖3 由1個清晰圖生成的2個待融合圖像

具體過程說明如下:

(1)圖像顯著度

首先根據(jù)第2節(jié)式(1)～式(8)計算待融合圖像I1和I2的顯著度圖。

(2)比較顯著度,確定聚焦區(qū)

參照式(9),逐點比較2幅顯著圖Z1、Z2中對應(yīng)位置(i,j)的顯著度值,選擇顯著度值大的點對應(yīng)的源像素構(gòu)成聚焦區(qū)像素。

上述比較過程得到2幅實際圖像的聚焦/離焦區(qū)域分布如圖4初始聚焦區(qū)域子圖所示。其中,白色區(qū)域表示第1幅源圖像I1的聚焦;黑色區(qū)域表示第2幅源圖像I2的聚焦區(qū);顯著度相等點則組成聚焦和離焦區(qū)的邊界帶,如圖4(d)的灰色條帶。

圖4 聚焦區(qū)的選擇和邊界帶

(3)消除聚焦區(qū)域內(nèi)部的孤立離焦點

在人眼觀察場景時,同一聚焦區(qū)分布具有連續(xù)性,聚焦區(qū)內(nèi)部通常沒有離焦點。而上述過程檢測到的聚焦區(qū)域中可能存在離焦點,與事實不符。為了克服這個現(xiàn)象,本文利用形態(tài)學(xué)開閉運算,填補(bǔ)聚焦區(qū)域內(nèi)部的離焦空洞(孤立離焦點),形成最終聚焦區(qū)域。

(4)邊界帶融合規(guī)則

經(jīng)上述步驟,可以選定每幅待融合圖像的聚焦區(qū)像素組成融合圖像。然而2個聚焦區(qū)的邊界帶(Z1、Z2顯著度相等點)還未處理。盡管這些邊界帶區(qū)域通常很小,但是它們可能帶來融合間隙,會影響融合效果。

為了妥善處理邊界帶像素,本文采用最大梯度原則選擇像素。具體做法為:先制作出I1和I2的梯度圖,比較兩梯度圖邊界帶像素,選擇梯度值最大的源圖像素點作為融合圖像素。最終融合規(guī)則如下:

聚焦區(qū)的選擇和融合結(jié)果示例如圖5所示。

圖5 聚焦區(qū)的選擇和融合結(jié)果示例

4 實驗結(jié)果及評價

本文在Matlab7環(huán)境下進(jìn)行實現(xiàn),實驗中所用圖像來自互聯(lián)網(wǎng)下載的標(biāo)準(zhǔn)圖庫?？陀^評價指標(biāo)由空間頻率(Space-Frequency)、信息熵(avg-Entropy)、平均梯度(avg_gradient)、均方根誤差(Root-Mean-Square Error,RMSE)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)等參數(shù)組成[11]。其中,空間頻率近似反映圖像微小細(xì)節(jié)和空間總體活躍程度;信息熵表示圖像信息量、展現(xiàn)圖像細(xì)節(jié)表現(xiàn)力;平均梯度近似于圖像清晰度,反映圖像邊緣細(xì)節(jié)的分明程度;均方根誤差和峰值信噪比則說明融合結(jié)果與原清晰圖的相似程度。

本文方法(Saliency-based)與加權(quán)平均融合算法(Average-based)、小波分解融合算法 (DWT-based)[12]做性能對比。其中,本文方法和加權(quán)平均法基本無參數(shù)調(diào)整?；谛〔ㄗ儞Q的融合算法需要用戶選擇小波基、確定分解層數(shù)等,且參數(shù)不同融合效果差別很大。本文實驗選用了 Image fusion tool[12]中效果最好的DWT-DBSS(2,2)4層小波融合方法。

4.1 仿真實驗

先對清晰的標(biāo)準(zhǔn)圖像進(jìn)行模糊濾波處理,用聚焦/失焦模板模擬生成具有不同聚焦區(qū)域的2幅待融合源圖像,然后進(jìn)行圖像融合。為了仿真復(fù)雜聚焦情況,制作了矩形和米字形2種不同聚焦/失焦模板,并分別采用彩色和灰度2幅圖像說明實驗結(jié)果。清晰圖像和聚焦/失焦模板如圖6所示,融合示例如圖7和圖8所示,實驗結(jié)果可得,清晰圖像Butterfly的空間頻率、信息熵、平均梯度分別為59.901 2, 13.712 2,11.318 0,清晰圖像 Barbara的結(jié)果為: 26.474 1,7.525 2,9.604 0。

圖6 清晰圖像和聚焦/失焦模板

圖7 彩色圖融合示例

圖8 灰度圖融合示例

從主觀視覺效果看,加權(quán)平均法融合的圖像比較模糊,小波變換融合的圖像中存在振鈴現(xiàn)象(特別對蝴蝶圖)。而本文方法融合結(jié)果用肉眼目視看不出與原圖差別。

仿真實驗由于有清晰標(biāo)準(zhǔn)圖像作參照,融合圖像的空間頻率、信息熵和平均梯度3項性能指標(biāo)應(yīng)該越接近原圖的對應(yīng)指標(biāo)越好。表1為圖7～圖8客觀評價指標(biāo)比較。實驗數(shù)據(jù)顯示,基于顯著度的融合算法除了在“Barbara圖矩形聚焦”實驗中“空間頻率”一項指標(biāo)絕對差稍大于小波變換融合算法外,幾乎所有指標(biāo)都與原圖的差別最小?；谛〔ㄗ儞Q方法的指標(biāo)差別居中,而加權(quán)平均法差別最大。此結(jié)果說明本文方法的融合結(jié)果最接近原清晰圖,比較適合大多數(shù)圖像和較任意聚焦方式,而小波變換融合算法性能在Barbara類型圖像和簡單聚焦情形下表現(xiàn)稍好,但是其他情形下表現(xiàn)一般。

表1 客觀評價指標(biāo)比較1

針對實驗數(shù)據(jù),需要指出的是,在圖7、圖8實驗結(jié)果中,小波變換方法的融合結(jié)果在空間頻率、信息熵和平均梯度3項指標(biāo)上有相對最大值,但是與原清晰圖對應(yīng)指標(biāo)的絕對差值并非最小,說明該融合方法的最后結(jié)果與原圖并不十分吻合。究其原因,可能是融合結(jié)果中較多的振鈴現(xiàn)象導(dǎo)致了偽邊界,增加了虛假圖像細(xì)節(jié),從而提高了上述客觀指標(biāo)值。從實驗觀察角度,造成的偽邊界并沒有為主觀感受帶來實際好處。

圖9和圖10為3種方法均方根誤差和峰值信噪比對比,其中,圖像聚焦方式分別對應(yīng)表1第1列的方式。這些折線表明,本文方法對不同圖像和較任意的聚焦/失焦模板,無需參數(shù)調(diào)整,始終可以取得最小均方根誤差(＜5)和最大的峰值信噪比(大于37 dB)。這樣高的信噪比在目前已發(fā)表的融合方法中非常少見(傳統(tǒng)融合算法對此類圖像的最高峰值信噪比大都小于37 dB)。

圖9 3種方法均方根誤差比較

圖10 3種方法峰值信噪比比較

4.2 自然圖像融合實驗

圖11～圖15是對3幅自然圖像的融合結(jié)果。表2為相應(yīng)的測試指標(biāo)。

圖11 原始圖像A

圖12 原始圖像B

圖13 加權(quán)平均融合算法

圖14 小波分解融合算法

圖15 本文方法

表2 客觀評價指標(biāo)比較2

由于自然多聚焦圖像沒有標(biāo)準(zhǔn)的清晰圖做比照,無法用均方根誤差、峰值信噪比和客觀指標(biāo)的差別來衡量性能,只能用空間頻率、信息熵和平均梯度指標(biāo)的絕對值來評價算法。從表2客觀指標(biāo)比較來看,本文算法的“空間頻率”指標(biāo)最高,說明對圖像細(xì)節(jié)刻畫相對好;其他參數(shù)與基于小波變換的算法基本持平,大大優(yōu)于加權(quán)平均法。

從目視觀察角度,基于加權(quán)平均和小波變換的算法都容易在場景中顯著區(qū)域,如文字等的邊緣部分產(chǎn)生模糊或振鈴現(xiàn)象,增加了偽邊界細(xì)節(jié)。尤其是基于小波變換的算法,雖然在3個客觀性能指標(biāo)上有提高,但是主觀質(zhì)量感受沒有提高,甚至有所降低。如圖16的局部放大圖所示。

圖16 Pesi圖融合結(jié)果的局部放大

而本文方法依據(jù)視覺顯著性原理,能夠避免在圖像的顯著區(qū)域內(nèi)出現(xiàn)上述問題;并且只有可能在聚焦區(qū)和離焦區(qū)的邊界帶出現(xiàn)模糊現(xiàn)象,實驗的“clock圖”中鐘表上部邊界部分。由圖4可以看出,本文邊界帶是非常窄小的縫隙區(qū)域,對圖像整體感知的影響相對較小。這樣的特點說明算法結(jié)果符合人類視覺感知,是一種值得深入研究的新方法。

由于本文方法只涉及離散傅里葉變換和像素顯著度比較,運算速度快(512×512像素彩色圖像融合時間小于2 s)。傅里葉變換部分用硬件實現(xiàn)可做到實時化。

4.3 算法魯棒性分析

為了測試算法魯棒性,矩形失焦模板生成的2幅Butterfly源圖分別加上一定程度的高斯噪聲(均值0,方差0.001)。分別對加噪圖像進(jìn)行融合。結(jié)果對比如圖17和表3所示。

圖17 加噪圖像的融合結(jié)果

表3 客觀評價指標(biāo)比較3

表3數(shù)據(jù)顯示本文方法融合結(jié)果在空間頻率和平均梯度指標(biāo)上遠(yuǎn)高于加權(quán)平均法;整體性能與小波融合算法大體相當(dāng)。對圖17的目視觀察表明,基于顯著度和基于小波變換的融合結(jié)果主觀差別不大,說明本文方法抗干擾能力類似基于小波變換的方法,對噪聲具有一定的魯棒性。

5 結(jié)束語

本文提出一種基于視覺顯著度的多聚焦圖像融合方法。利用圖像聚焦區(qū)域顯著度高的特性,通過比較待融合圖像的顯著度定位圖像的聚焦區(qū)域,組合不同圖像中的聚焦區(qū)域像素,得到具有高清晰度的融合圖像。實驗結(jié)果表明,該方法無需先驗知識,基本無參數(shù)調(diào)整,且速度快、效果好。研究初步揭示了模擬人類視覺注意機(jī)制的算法,能夠獲得類似人類視覺的強(qiáng)魯棒性,有望推廣應(yīng)用于更多自然場景圖像融合場合。由于譜殘差算法只適合檢測灰度圖像的顯著度,本文求彩色圖像顯著度需要先將彩色圖像變成灰度圖像,因此丟失了彩色信息。針對彩色圖像改進(jìn)顯著度檢測算法將是下一步研究的內(nèi)容。另外,人類視覺具有多分辨率特性,如何將視覺顯著度與多分辨率有機(jī)結(jié)合,進(jìn)一步提高算法性能也是今后的研究方向。

[1] Varshney P K.Multisensor Data Fusion[J].Electronics and Communication Engineering Journal,1997,9(6):245-253.

[2] De I,Chanda B.A Simple and Efficient Algorithm for Multi-focus Image Fusion Using Morphological Wavelets[J].Signal Processing,2006,86(5):924-936.

[3] 徐冠雷,王孝通,徐曉剛,等.基于視覺特性的多聚焦圖像融合新算法[J].中國圖象圖形學(xué)報,2007,12(2): 330-335.

[4] Kwok J T Y,Tsang I W H,et al.Fusing Images with Different Focuses Using Support Vector Machines[J]. IEEE Transactions on Neural Networks,2004,15(6): 1555-1561.

[5] Borji A,Itti L.State-of-the-Art in Visual Attention Modeling[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(1):185-207.

[6] Hou Xiaodi,Zhang Liqing.Saliency Detection:A Spectral Residual Approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis, USA:IEEE Press,2007:1-8.

[7] 郭文濤,王文劍,白雪飛.基于視覺注意的SVM彩色圖像分割方法[J].計算機(jī)工程與應(yīng)用,2011,47(36): 174-176.

[8] Itti L,Koch C,Niebur E A.Model of Saliency-based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysisand MachineIntelligence,1998, 20(11):1254-1259.

[9] Sun Y R,Fisher R.Object-based Visual Attention for Computer Vision[J].Artificial Intelligence,2003,146(1): 77-123.

[10] Radek B,Dvorak P,Faundez-Zanuy M,et al.Multifocus Thermal Image Fusion[J].Pattern Recognition Letters,2013,34(5):536-544.

[11] 高紹姝,金偉其,王嶺雪,等.圖像融合質(zhì)量客觀評價方法[J].應(yīng)用光學(xué),2011,32(4):671-677.

[12] Oliver R.Toolbox[EB/OL].(2011-11-21).http:// www.metapix.de/fusion.htm.

編輯 劉 冰

Multi-focus Image Fusion Method Based on Visual Saliency Degree

HOU Qingcen1,PAN Chen1,YANG Yong2
(1.College of Information Engineering,China Jiliang University,Hangzhou 310018,China; 2.School of Information Technology,Jiangxi University of Finance and Economics,Nanchang 330032,China)

Multi-focus image is divided into focus area and defocus area.Focus area usually attracts attention with outstanding visual salience.Traditional fusion algorithms can not locate the focus areas automatically,resulting in low adaptability to multu-focus image fusion.This paper presents a fusion method for multi-focus image by simulating visual attention mechanism of human.The saliency maps of the source images can be calculated by using the spectrum residual algorithm.By which the saliency degree of the same pixel position in different images are determined,and selecting pixels with lager saliency degree as the focus area of the original image,the pixels with equal saliency degree as the edge area,

eliminating the isolated pixel in the focus area by eroding and dilating method.The fusion image consists of focus areas of original images and pixels with lager gradient degree in the edge area.Experimental results show that the proposed method can choose the clearest pixels from the focus area,obtains over 37 dB Peak Signal to Noise Ratio(PSNR)and needs no parameter settings.It also exhibits strong robustness in different type of images.

visual attention;multi-focus image;image fusion;saliency degree;focus area;saliency map

1000-3428(2015)01-0211-07

A

TP391

10.3969/j.issn.1000-3428.2015.01.039

侯慶岑(1989-),男,碩士研究生,主研方向:數(shù)字圖像處理,機(jī)器視覺;潘 晨,博士;楊 勇,教授、博士。

2014-01-03

2014-03-09 E-mail:840180214@qq.com

中文引用格式:侯慶岑,潘 晨,楊 勇.基于視覺顯著度的多聚焦圖像融合方法[J].計算機(jī)工程,2015,41(1):211-217.

英文引用格式:Hou Qingcen,Pan Chen,Yang Yong.Multi-focus Image Fusion Method Based on Visual Saliency Degree[J].Computer Engineering,2015,41(1):211-217.