王晨曦， 王淑青， 劉逸凡， 慶毅輝， 夏耀威

(湖北工業(yè)大學(xué)電氣與電子工程學(xué)院， 湖北 武漢 430068)

多聚焦圖像融合是當(dāng)前圖像融合領(lǐng)域一個(gè)重要分支，在圖像信息采集設(shè)備中，受限于光學(xué)鏡頭景深范圍影響，場(chǎng)景內(nèi)不同目標(biāo)難以同時(shí)在光學(xué)鏡頭景深范圍內(nèi)呈現(xiàn)聚焦特性，因此為獲得同一場(chǎng)景下全局目標(biāo)聚焦圖像，采用可變焦距鏡頭對(duì)場(chǎng)景中不同目標(biāo)物體分別聚焦，采集獲得多幅不同聚焦區(qū)域的部分聚焦圖像，采用特定融合算法提取這些部分聚焦圖像的清晰區(qū)域中的像素點(diǎn)，將其融合成為一幅該場(chǎng)景中所有物體都清晰的融合圖像，生成的融合圖像包含了源圖像重要聚焦區(qū)域信息，并減少了冗余信息，在軍事、醫(yī)學(xué)圖像處理、地質(zhì)勘查、計(jì)算機(jī)視覺(jué)等領(lǐng)域有著廣泛應(yīng)用[1]。

實(shí)現(xiàn)多聚焦圖像融合算法的關(guān)鍵是對(duì)聚焦區(qū)域特性做出準(zhǔn)確評(píng)判，進(jìn)行準(zhǔn)確檢測(cè)定位并提取出聚焦區(qū)域內(nèi)的清晰像素[2]。空間域多聚焦圖像融合方法主要利用聚焦評(píng)價(jià)函數(shù)對(duì)聚焦區(qū)域進(jìn)行檢測(cè)，通過(guò)尋找像素值與聚焦區(qū)域之間的對(duì)應(yīng)關(guān)系，選取源圖像中聚焦區(qū)域特性好的圖像塊或區(qū)域來(lái)得到融合圖像，但性能較差的聚焦評(píng)價(jià)函數(shù)在聚焦區(qū)域檢測(cè)過(guò)程中對(duì)于聚焦區(qū)域的檢測(cè)不敏感，且容易引入噪聲誤差，為解決上述問(wèn)題，進(jìn)一步提升多聚焦圖像融合中聚焦區(qū)域檢測(cè)算法性能，本文在傳統(tǒng)的SML聚焦評(píng)價(jià)函數(shù)基礎(chǔ)上改進(jìn)了一種聚焦區(qū)域檢測(cè)方法，該方法有效擴(kuò)大了對(duì)聚焦區(qū)域檢測(cè)的精確度，降低噪聲誤差的引入，最后得到的融合圖像冗余信息較少，內(nèi)容信息豐富。

1 聚焦評(píng)價(jià)函數(shù)

在多聚焦圖像融合算法中，對(duì)不同聚焦源圖像利用聚焦評(píng)價(jià)函數(shù)提取聚焦區(qū)域，對(duì)得到的聚焦區(qū)域，根據(jù)融合規(guī)則直接復(fù)制該位置的像素值到最終的融合圖像，期間不改變像素值大小(圖1)。

圖 1 多聚焦圖像融合聚焦區(qū)域檢測(cè)方法

在空間域上目前常用的聚焦評(píng)價(jià)函數(shù)主要包括空間頻率法(Spatial Frequency，SF)、梯度能量法(Energy of Gradient，EOG)、和修正拉普拉斯法(Sum of Modified Laplacian，SML)、雙邊梯度強(qiáng)度法(Tenegrad)和相位相干法(Phase Coherence，PC)等[3-5]。Huang等學(xué)者用了大量實(shí)驗(yàn)論證SML在多聚焦圖像融合的應(yīng)用中優(yōu)于其他的常用清晰度聚焦評(píng)價(jià)函數(shù)[6]；其中相位相干法和雙邊梯度強(qiáng)度精度較低；SF計(jì)算簡(jiǎn)單方便，耗時(shí)最少但精確度不夠；EOG和SF相比較精度方面有所提高，但精度低于SML，SML函數(shù)在同等條件下對(duì)圖像的清晰度變化最敏感，但耗時(shí)較長(zhǎng)，基于上述研究，本文在SML聚焦評(píng)價(jià)函數(shù)的基礎(chǔ)上進(jìn)行分析，改進(jìn)一種新的聚焦區(qū)域檢測(cè)方法。

1.1 拉普拉斯梯度和SML

在圖像中，梯度直接反映像素值的變化情況，可以表示圖像的邊緣和紋理信息，反映圖像清晰度的變化情況，可用作圖像聚焦檢測(cè)，文獻(xiàn)[5]表明拉普拉斯算子是圖像的二階導(dǎo)數(shù)逼近，并突出像素強(qiáng)度快速變化區(qū)域，這使得它適合于檢測(cè)焦點(diǎn)的變化，在正常成像條件下具有較好的整體檢測(cè)性能，在給定的灰度圖像中，像素點(diǎn)(x，y)的改進(jìn)的拉普拉斯梯度(ML，Modified Laplacian)定義如下：

ML(x,y)=|2f(x,y)-f(x-step,y)-
f(x+step,y)|+|2f(x,y)-
f(x,y-step)-f(x,y+step)|

其中f(x，y)為像素點(diǎn)(x，y)處的灰度值，在一些均勻區(qū)域，由于相應(yīng)區(qū)域拉普拉斯梯度變化較小，不能很好地反映該區(qū)域中聚焦目標(biāo)，為了解決這一問(wèn)題，文獻(xiàn)[7]改進(jìn)了一種拉普拉斯梯度和方法SML，通過(guò)引入累加和放大該區(qū)域的梯度值，增強(qiáng)該區(qū)域與周圍區(qū)域的對(duì)比度便于檢測(cè)選取聚焦區(qū)域，定義如下：

其中step為步長(zhǎng)通常取1，T為挑選合適的ML閾值降低噪聲的影響，N為控制窗口大小，窗口大小為(2N+1)×(2N+1)。

1.2 改進(jìn)的拉普拉斯梯度和NSML

SML在一定程度上能恰當(dāng)表示圖像的聚焦特性和清晰度，在采用拉普拉斯算子放大某一處的梯度信息增強(qiáng)信息對(duì)比度時(shí)，以3×3窗口為例，傳統(tǒng)SML只在水平和垂直方向上計(jì)算每個(gè)像素窗口大小的ML值，對(duì)于主對(duì)角線和此對(duì)角線上的鄰域則沒(méi)有考慮，如圖2a所示，SML采用的算子模板只考慮了4鄰域的像素，對(duì)于對(duì)角線的未作考慮。

圖 2 算子模板

Sun等學(xué)者通過(guò)改進(jìn)提出了一種新的聚焦評(píng)價(jià)函數(shù)：拉普拉斯梯度算子(Sum of New Modified Laplacian，NSML)和檢測(cè)聚焦區(qū)域，該方法將原有檢測(cè)的4個(gè)方向擴(kuò)展到8個(gè)方向，算子模板如圖2b，這個(gè)方法可以在保留圖像中的各像素灰度值情況下，增強(qiáng)對(duì)比度，不改變圖像背景，突出圖像中小的紋理細(xì)節(jié)信息[8]，定義如下：

NML(x,y)=|2f(x,y)-f(x-step,y)-
f(x+step,y)|+|2f(x,y)-f(x,y-step)-
f(x,y+step)|+|2f(x,y)-f(x-step,y-step)-
f(x+step,y+step)|+|2f(x,y)-
f(x+step,y-step)-f(x-step,y+step)|

改進(jìn)的新拉普拉斯梯度和NMSL定義如下：

其中step為步長(zhǎng)變化參數(shù)通常取1，參數(shù)的設(shè)置主要根據(jù)噪聲大小來(lái)選取，step較小時(shí)主要應(yīng)用于噪聲干擾較小的圖像，step較大時(shí)主要應(yīng)用于噪聲和亮度變化較大的圖像中。

1.3 加權(quán)的改進(jìn)拉普拉斯梯度和SWML

拉普拉斯算子本身對(duì)噪聲極為敏感，采用累加和的方式使得梯度信息在得到加強(qiáng)的同時(shí)，也會(huì)增強(qiáng)圖像中的噪聲，為了解決這一問(wèn)題,Bai改進(jìn)提出了一種加權(quán)改進(jìn)的拉普拉斯算子梯度和方法(Sum of Weighted Modified Laplacian，SWML)[9]，該方法對(duì)圖像中每個(gè)像素位置的梯度信息在一個(gè)局部窗口進(jìn)行加權(quán)，這種方式將會(huì)使每個(gè)像素位置的梯度強(qiáng)度被其附近的梯度信息加強(qiáng)，同時(shí)加權(quán)的方式能減小噪聲的引入(圖3)，其定義如下式：

局部窗口中每個(gè)像素位置的梯度的相關(guān)權(quán)重與梯度位置(i，j)與局部窗口中心像素(x，y)的空間距離成反比，每個(gè)像素位置的WML梯度強(qiáng)度主要由附近的ML梯度貢獻(xiàn)，非聚焦區(qū)域的梯度強(qiáng)度不會(huì)被附近的聚焦區(qū)域影響，無(wú)論是在聚焦區(qū)域還是離焦區(qū)域，聚焦區(qū)域的WML梯度會(huì)遠(yuǎn)遠(yuǎn)大于相應(yīng)的離焦區(qū)域WML梯度，能有效增強(qiáng)梯度信息，降低噪聲的引入，同時(shí)選擇合適的N值可以有效地?cái)U(kuò)大檢測(cè)范圍。

2 改進(jìn)的聚焦評(píng)價(jià)函數(shù)F-SWNL

通過(guò)上述分析研究，改進(jìn)拉普拉斯梯度和SML作為經(jīng)典聚焦評(píng)價(jià)函數(shù)，廣泛運(yùn)用于圖像融合聚焦區(qū)域檢測(cè)中，缺點(diǎn)是方向單一，缺乏主次對(duì)角線上的檢測(cè)，同時(shí)存在部分噪聲信息；改進(jìn)的新拉普拉斯梯度和NSML在原有的SML基礎(chǔ)上有效的增加了檢測(cè)方向，將原有的4方向擴(kuò)展到了空間上的8方向，擴(kuò)大了檢測(cè)范圍，但相比較SML引入了更多的噪聲；加權(quán)改進(jìn)的拉普拉斯梯度和SWML引入空間幾何距離，利用權(quán)重增強(qiáng)梯度信息，部分抑制了噪聲梯度，缺點(diǎn)是采用的ML算子缺乏對(duì)主次對(duì)角線上的計(jì)算，得到的WML值不夠精確。結(jié)合幾種傳統(tǒng)聚焦評(píng)價(jià)函數(shù)的優(yōu)點(diǎn)，在此基礎(chǔ)上筆者改進(jìn)了一種聚焦評(píng)價(jià)函數(shù)(Sum of New Weighted Laplacian，SWNL )，該方法結(jié)合NSML在8方向上的拉普拉斯算子檢測(cè)優(yōu)點(diǎn)與SWML利用空間距離加權(quán)降低噪聲引入的優(yōu)點(diǎn)，能有效擴(kuò)大檢測(cè)范圍同時(shí)降低噪聲梯度帶來(lái)的影響(圖4)，定義如下：

圖 4 SWNL梯度模板

利用空間幾何距離賦值權(quán)重，離中心像素點(diǎn)越近的像素區(qū)域被認(rèn)為影響越大，加權(quán)的方式一定程度上也抑制了部分噪聲梯度的產(chǎn)生，同時(shí)可以合理調(diào)整窗口N值的大小，擴(kuò)大檢測(cè)范圍，選擇合適的閾值T能有效提取聚焦目標(biāo)區(qū)域。

3 實(shí)驗(yàn)結(jié)果及分析

多聚焦圖像融合的實(shí)質(zhì)是：對(duì)于多焦點(diǎn)圖像，采用特定的聚焦區(qū)域檢測(cè)算法得到初始融合決策圖，根據(jù)融合規(guī)則合理挑選聚焦區(qū)域得到二級(jí)融合決策圖，最后實(shí)現(xiàn)整個(gè)圖像融合過(guò)程。

3.1 融合規(guī)則

采用拉普拉斯算子作為聚焦評(píng)價(jià)函數(shù)提取聚焦區(qū)域，由于拉普拉斯算子本身對(duì)噪聲的敏感會(huì)導(dǎo)致聚焦目標(biāo)區(qū)域存在部分孤立點(diǎn)或空洞區(qū)域(圖5b)，使得最后得到的融合圖像質(zhì)量降低，本文對(duì)經(jīng)過(guò)SWNL聚焦評(píng)價(jià)函數(shù)檢測(cè)得到的初始融合決策圖進(jìn)行濾波處理[10]，采用中值濾波的方式剔除初始決策圖中的部分孤立點(diǎn)，減小噪聲帶來(lái)的影響，通過(guò)均值濾波對(duì)檢測(cè)到的聚焦區(qū)域邊緣進(jìn)行平滑處理，相關(guān)定義如下式：

其中Average(·)表示均值濾波函數(shù)，Med(·)表示中值濾波函數(shù)，M1和M2表示均值濾波和中值濾波的窗口大小，均值濾波起平滑融合圖像的視覺(jué)效果，中值濾波器明顯抑制孤立點(diǎn)，在提出的算法中選取M1=3，M2=5。

圖 5 誤差噪聲處理

對(duì)于同一成像條件下，不同聚焦目標(biāo)的多聚焦圖像AB來(lái)說(shuō)，合理的融合規(guī)則將大大提高圖像的融合質(zhì)量，一般來(lái)說(shuō)通常都是選擇不同圖片同個(gè)像素位置的SWNL值較大一方作為最終融合區(qū)域決策圖，即：

(1)

Fb是融合圖像初級(jí)決策圖，SWNLA(x，y)為圖像A在像素點(diǎn)(x，y)處的SWNL梯度值。由于聚焦評(píng)價(jià)函數(shù)檢測(cè)得到的聚焦區(qū)域存在噪聲空洞的情況，空洞即該處的像素灰度值為零的情況，采用濾波器進(jìn)行中值濾波和均值濾波，剔除孤立點(diǎn)噪聲平滑聚焦區(qū)域后得到圖5b,圖5d，本文利用下式對(duì)空洞進(jìn)行填充：

(2)

均值圖像差DiffF(x，y)表示初級(jí)決策圖與均值圖像AvgF(x，y)差值，最終結(jié)合式(1)、(2)與原圖像A、B進(jìn)行圖像融合最終的融合規(guī)則如下式：

其中F(x，y)是最終融合圖像，A(x，y)，B(x，y)是像素點(diǎn)處的像素灰度值，對(duì)于已選定的區(qū)域可直接通過(guò)復(fù)制該處像素點(diǎn)灰度值提取到融合決策圖，對(duì)于部分區(qū)域存在像素點(diǎn)灰度值為0的情況，采取上述融合規(guī)則進(jìn)行填充，得到最終聚焦區(qū)域圖5e。

3.2 聚焦函數(shù)性能對(duì)比

根據(jù)上文對(duì)幾種常用的聚焦評(píng)價(jià)函數(shù)進(jìn)行的分析，本文改進(jìn)了一種F-SWNL聚焦評(píng)價(jià)函數(shù)提取聚焦區(qū)域，為進(jìn)一步驗(yàn)證提出的改進(jìn)聚焦評(píng)價(jià)函數(shù)性能，與前文介紹的其他幾類聚焦評(píng)價(jià)函數(shù)進(jìn)行了如下對(duì)比：對(duì)選定的圖片進(jìn)行人工高斯模糊，其中高斯模糊的半徑r分別為0，1，2，3，4得到不同清晰度下的圖片(圖6)，得到相應(yīng)的聚焦測(cè)量值如表1所示。

圖 6 高斯模糊處理

表1 不同聚焦評(píng)價(jià)函數(shù)下的聚焦區(qū)域測(cè)量值

圖 7 數(shù)據(jù)歸一化處理

通過(guò)對(duì)求得的聚焦區(qū)域測(cè)量值數(shù)據(jù)進(jìn)行歸一化處理后，繪出不同聚焦評(píng)價(jià)函數(shù)在同一圖片不同清晰度下聚焦測(cè)量值變化對(duì)比圖(圖7)，SF算法和EOG算法對(duì)于圖片的模糊敏感變化不大，本文提出的F-SWNL聚焦評(píng)價(jià)函數(shù)在圖像清晰度變化敏感程度上優(yōu)于SML、NSML以及SWML聚焦評(píng)價(jià)函數(shù)，所以本文提出的改進(jìn)聚焦評(píng)價(jià)函數(shù)可用作聚焦區(qū)域檢測(cè)，檢測(cè)提取出聚焦區(qū)域效果見(jiàn)圖8。

圖 8 不同聚焦評(píng)價(jià)函數(shù)聚焦區(qū)域檢測(cè)效果

由圖8可知：利用傳統(tǒng)SML聚焦評(píng)價(jià)函數(shù)檢測(cè)得到的聚焦區(qū)域較為模糊，出現(xiàn)部分偽影；SNML和SWML相較于SML清晰程度有所增加，聚焦區(qū)域基本能檢測(cè)完全，缺點(diǎn)是在一些細(xì)節(jié)方面的信息比如樹(shù)枝周邊位置不夠清楚，而改進(jìn)的聚焦評(píng)價(jià)函數(shù)在聚焦區(qū)域檢測(cè)方面對(duì)于目標(biāo)個(gè)體和背景區(qū)分較為仔細(xì)，整體輪廓清晰信息豐富，檢測(cè)得到的聚焦區(qū)域噪聲較少。

3.3 實(shí)驗(yàn)結(jié)果

為進(jìn)一步驗(yàn)證改進(jìn)的聚焦區(qū)域檢測(cè)方法在多聚焦圖像融合中的有效性，分別選取tree、baby、man進(jìn)行多聚焦圖像融合，本次實(shí)驗(yàn)采用MATLAB進(jìn)行編程實(shí)現(xiàn)，運(yùn)行環(huán)境為Windows系統(tǒng)，MATLAB2017a，處理器為 Intel i5-8300H(2.30 GHz，64 bit)，內(nèi)存為4 G，參數(shù)的選擇T為5，step=1，N值為8，運(yùn)行的結(jié)果見(jiàn)圖9。

圖 9 融合效果

對(duì)于多聚焦融合圖像融合效果的評(píng)價(jià)主要分為主觀和客觀評(píng)價(jià)，主觀方式通過(guò)肉眼觀察融合圖像效果直接觀察，具有強(qiáng)烈的主觀色彩，本文通過(guò)建立客觀評(píng)價(jià)指標(biāo)進(jìn)行觀察判別融合效果，建立客觀評(píng)價(jià)體系(表2),文獻(xiàn)[11-13]選取了4類評(píng)價(jià)指標(biāo)，其中邊緣保持度融合質(zhì)量指標(biāo)QAB/F反映了融合圖像中包含源圖像中的邊緣信息量大小，值越大證明融合效果越優(yōu)；互信息QMI表示兩幅圖像的相關(guān)程度，代表從源圖像中保留繼承信息量的多少，值越大代表融合圖像從源圖像中獲取的信息越多；信息熵QEN, 反映了圖像整體的信息量，圖像信息量越豐富，對(duì)應(yīng)的細(xì)節(jié)信息越清晰，則對(duì)應(yīng)的信息熵會(huì)越來(lái)越大；標(biāo)準(zhǔn)差STD反映了圖像信息的活躍度，其值越大，代表可利用的信息越多，圖像的視覺(jué)信息越佳，詳情見(jiàn)表2。

表2 客觀評(píng)價(jià)結(jié)果

通過(guò)建立客觀評(píng)價(jià)指標(biāo)，表2中Tree、man、baby圖像融合客觀指標(biāo)計(jì)算結(jié)果表明，本文利用改進(jìn)的聚焦評(píng)價(jià)函數(shù)實(shí)現(xiàn)多聚焦圖像融合得到的融合圖像在邊緣保持度QAB/F、互信息QMI、信息熵QEN，及標(biāo)準(zhǔn)差STD方面值優(yōu)于本文介紹的其他幾類方法，融合得到的效果明顯優(yōu)于其他幾種聚焦評(píng)價(jià)函數(shù)，對(duì)比客觀評(píng)價(jià)指標(biāo)參數(shù)較其他幾種方法都處于較高水平，反映本文提出的改進(jìn)聚焦區(qū)域檢測(cè)方法融合質(zhì)量?jī)?yōu)于其他方法，由于計(jì)算復(fù)雜度較其他幾種算法略有增加，在耗時(shí)方面可能并非最優(yōu)，未來(lái)可以進(jìn)一步優(yōu)化算法，綜上，改進(jìn)聚焦區(qū)域檢測(cè)方法在聚焦區(qū)域檢測(cè)方面較其他幾種方法具有一定的優(yōu)越性，融合圖像信息豐富，誤差噪聲較小，圖像融合質(zhì)量突出。

4 結(jié)論

本文針對(duì)在空間域上利用聚焦評(píng)價(jià)函數(shù)檢測(cè)聚焦區(qū)域?qū)崿F(xiàn)多聚焦圖像融合過(guò)程中傳統(tǒng)聚焦評(píng)價(jià)函數(shù)性能較差,容易引入誤差噪聲的問(wèn)題， 在傳統(tǒng)的SML聚焦評(píng)價(jià)函數(shù)基礎(chǔ)上結(jié)合了NSML和SWML方法的優(yōu)點(diǎn)，改進(jìn)了一種聚焦區(qū)域檢測(cè)方法，實(shí)現(xiàn)對(duì)多聚焦圖像融合過(guò)程中聚焦區(qū)域的判定和選取，后續(xù)通過(guò)濾波器濾波處理剔除孤立點(diǎn)噪聲，設(shè)計(jì)了合理的融合規(guī)則對(duì)空洞區(qū)域填充，最后的實(shí)驗(yàn)結(jié)果表明：改進(jìn)的方法對(duì)圖像清晰度變化較傳統(tǒng)的幾種聚焦評(píng)價(jià)函數(shù)更加敏感，同時(shí)，結(jié)合建立的客觀評(píng)價(jià)指標(biāo)，改進(jìn)的聚焦區(qū)域檢測(cè)的多聚焦圖像融合方法在融合效果方面優(yōu)于本文介紹的其他方法，融合圖像質(zhì)量信息豐富，噪聲較小。