魏輝琪，劉增力

（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500）

0 引 言

在平時的聚焦鏡頭中，由于聚焦受到了限制，因此拍攝的圖像呈現(xiàn)一部分聚焦一部分非聚焦，不利于肉眼觀察和機器計算識別。將兩幅聚焦圖像信息融合起來，可以解決此類問題。對兩張或者多張聚焦圖像進(jìn)行融合后的圖像稱為多聚焦融合圖像。融合后的圖像無論是在主觀觀察還是客觀指標(biāo)方面都有很大的改進(jìn)。多聚焦圖像融合在民用、軍用以及醫(yī)學(xué)領(lǐng)域有廣泛的應(yīng)用。

圖像融合主要分為基于像素層面、特征層面及決策層面的融合3類。圖像融合算法主要有基于空間域和基于變換域兩類融合算法?？臻g域算法包括加權(quán)平均法和主成分分析法。變換域的算法也多種多樣，近幾年多尺度變換被越來越多地運用了起來，主 要 有 Curvelet[1]、Contourlet[2-3]、NSCT、Shearlet及NSST等算法。其中，NSST避免了下采樣，在處理圖像時可以更多地保留圖像信息。丁齋生等人運用脈沖發(fā)放皮層模型，在醫(yī)學(xué)圖像的融合中得到了質(zhì)量較高的圖像。然而，傳統(tǒng)的脈沖發(fā)放皮層模型在計算時存在邊緣信息保留不完整的缺點。本文提出的自適應(yīng)方法可以很好地和脈沖發(fā)放皮層模型相結(jié)合，提高運算速率，保障融合質(zhì)量。

1 相關(guān)概念

1.1 圖像預(yù)處理

在處理圖像之前，需要對圖片信息進(jìn)行預(yù)處理，讀取相關(guān)數(shù)據(jù)。先采用cvtColor函數(shù)對圖像進(jìn)行一系列灰度處理[4]，再進(jìn)行形態(tài)學(xué)去噪。進(jìn)行形態(tài)學(xué)處理的目的是對圖像進(jìn)行噪聲濾除，對圖像進(jìn)行數(shù)據(jù)簡化，在不改變輸入圖像基本信息的情況下，去除與目標(biāo)圖形沒有關(guān)系的地方，達(dá)到去噪的效果。具體處理操作包括腐蝕、膨脹、開運算及閉運算等。圖像預(yù)處理是圖像融合的第一步也是至關(guān)重要的一步。去噪后的圖像能為后續(xù)融合步驟提供更為清晰的圖像數(shù)據(jù)，提高最終融合的圖像質(zhì)量。預(yù)處理后的源圖像分別定義為源圖像A和源圖像B。

1.2 共享相似性和自適應(yīng)區(qū)域

首先圖像被分割成多個重疊的方形板塊，搜索相似的板塊。給定一個以像素r為中心的參考板塊Pr∈Rm×m和區(qū)域W(r)∈Rm×m，任何與Pr相似的候選板塊Pq∈Rm×m定義為：

式中：ηq表示降序排列區(qū)域的所有板塊，這個板塊的集合表示為LW(r)=(Pq1,Pq2,…,Pqk)。LWA(r)和LWB(r)共享的相似模塊為：

式中：是融合中自適應(yīng)區(qū)域之一；WA(r)和WB(r)分別表示源圖像A和源圖像B的相同區(qū)域。

1.3 改進(jìn)脈沖發(fā)放皮層模型

白鑫[6]等人利用IHS變換和自適應(yīng)區(qū)域特征來對圖像進(jìn)行融合。SCM的一個神經(jīng)元由接收區(qū)、調(diào)制區(qū)、脈沖發(fā)放器3部分組成，它的表達(dá)式為：

式（3）～式（7）中：n表示迭代次數(shù)；(i,j)下標(biāo)表示神經(jīng)元的標(biāo)號；Fij是(i,j)神經(jīng)元在第n次迭代時的反饋輸入信號；Sij表示外部輸入刺激信號；Lij(n)是連接輸入；VL是震級標(biāo)度項；Uij(n)表示神經(jīng)元內(nèi)部活動；Wijkl表示神經(jīng)元連接權(quán)重矩陣；Ykl表示神經(jīng)元的輸出信號；Eij(n)表示動態(tài)閾值；h表示閾值放大系數(shù)；Yij(n)表示神經(jīng)元在第n次迭代時的輸出信號；f和g是內(nèi)部活動和動態(tài)閾值的信號衰減系數(shù)。

最終融合圖像的效果和迭代次數(shù)n有著緊密聯(lián)系。利用與源圖像大小相同的時間矩陣模型記錄神經(jīng)元的點火信息。時間矩陣表達(dá)式如式（8）所示。

式中，T是時間矩陣。在通過第1次迭代后，SCM中的神經(jīng)元未被激活時，神經(jīng)元能量是0，即Uij和Yij都是0，不發(fā)放脈沖。進(jìn)行第1次迭代后，內(nèi)部活動項的值為Sij。往后，每增加1次迭代次數(shù)，就會增大內(nèi)部活動項能量。當(dāng)內(nèi)部活動能量大于動態(tài)閾值時，即Uij(n)＞Eij(n)，發(fā)放脈沖，輸出點火狀態(tài)。

1.4 自適應(yīng)區(qū)域和改進(jìn)脈沖發(fā)放皮層模型圖像融合

A和B表示的是兩張已匹配好的圖像，融合后的圖像則用F表示。

把源圖像A和B做非下采樣剪切波變換分解，分為3個步驟：

（1）采用非下采樣金字塔分解將圖像分解為低通圖像和帶通圖像；

（2）對帶通圖像進(jìn)行方向局部化，獲得不同方向的子帶；

（3）對每一個子帶進(jìn)行傅里葉逆變換，獲得非下采樣剪切波系數(shù)。

一般情況下，非下采樣剪切波分解后會得到表示尺度和方向的系數(shù)Ckl(r)。經(jīng)過以上分解，得到兩個系數(shù)，分別為CAkl(r)和CBkl(r)。在這個系數(shù)中，l和k分別表示分解的尺度和方向。當(dāng)l為0時表示低頻系數(shù)，當(dāng)l大于0時表示高頻系數(shù)。

之后，計算像素r處的邊緣能量：

式中：Ckl(r)表示NSST分解后的系數(shù)；l和k分別表示分解的尺度和方向；r表示像素，r=(i,j)；

1.4.1 低頻系數(shù)融合

低頻圖像由非下采樣剪切波對兩幅源圖像A和B分解得到，分別用表示。本文用邊緣能量衡量每個自適應(yīng)區(qū)域。在一個自適應(yīng)區(qū)域內(nèi)，如果的邊緣能量比大，那么在的自適應(yīng)區(qū)域內(nèi)，γ∈中的所有像素都將獲得一票，即：

式中：νA(γ)為計數(shù)器，用作位置在(γ)處的表示。最后使用加權(quán)法構(gòu)成像素：

1.4.2 高頻系數(shù)融合

和表示源圖像A和B經(jīng)過非下采樣剪切波分解后的高頻系數(shù)。所用的融合方法為邊緣能量與脈沖發(fā)放皮層模型相結(jié)合的方法。融合圖像的高頻系數(shù)用來表示。選擇邊緣能量作為脈沖發(fā)放皮層模型的外部刺激：

式中：ω(r)是加權(quán)因子；D是以像素r為中心的領(lǐng)域窗口。

利用脈沖同步選擇融合圖像的高頻系數(shù)。計算各個高頻系數(shù)的總點火時間在N次迭代后，便可確定高頻系數(shù)，見式（13）。

最后，根據(jù)所得的低頻系數(shù)和高頻系數(shù)，通過非下采樣剪切波逆變換便可獲得重建融合圖像F。整個過程的流程圖如圖1所示。

圖1 圖像融合流程圖

2 實驗結(jié)果分析

從主觀和客觀兩個方面，將本文算法與其它3種方法進(jìn)行比較。3種方法分別為基于非下采樣輪廓波與脈沖耦合神經(jīng)網(wǎng)絡(luò)結(jié)合的融合算法（NSCTPCNN）[9]、基于脈沖發(fā)放皮層模型與清晰度相結(jié)合的融合算法（SCM-SF）[10]以及基于非下采樣輪廓波與改進(jìn)的脈沖耦合神經(jīng)網(wǎng)絡(luò)結(jié)合的融合算法（NSCT-IPCNN）[11]。實驗結(jié)果評價中的客觀指標(biāo)選用邊緣信息保留量QAB/F和互信息（MI）[12]。

邊緣信息保留量是評價融合后圖像邊緣信息量的重要指標(biāo)，該值越大，融合效果越好。具體定義為：

式中：M和N是圖像尺寸；QAF(n,m)，QBF(n,m)分別是融合圖像相對于原始圖像A和B的邊緣保持值；ωA(n,m)，ωB(n,m)是邊緣強度的函數(shù)；QAB/F∈[0,1]表示融合圖像相對于原始圖像A，B的總體數(shù)據(jù)保留。

互信息是衡量融合后圖像保留源圖像信息量的重要指標(biāo)，該值越大，融合效果越好。具體定義為：

式中，IAF、IBF表示源圖像A、B與融合后圖像F之間保留下的信息值大小。

圖2是本文用來做圖像融合的測試圖像對。采用本文算法所得到的融合圖像和差分圖像如圖3所示，其中，圖3（a）、圖3（d）、圖3（g）、圖3（j）為本文算法得到的融合圖像。

采用不同融合算法對圖2的圖像對做圖像融合，客觀評價結(jié)果如表1所示。從表1可以看出，本文提出的基于非下采樣剪切波域的自適應(yīng)區(qū)域和脈沖發(fā)放皮層模型相結(jié)合的圖像融合算法無論是在信息量還是運行時間方面，相較于其他3種算法，都有較大的改善。

圖2 測試圖像對

圖3 本文算法的融合圖像和差分圖

表1 不同融合算法的客觀評價結(jié)果

3 結(jié) 語

本文算法把邊緣能量和自適應(yīng)區(qū)域相結(jié)合，融合非下采樣剪切波分解后的低頻系數(shù)，用于頻域中的低頻系數(shù)；高頻系數(shù)融合采用了邊緣能量點火的脈沖發(fā)放皮層模型。可以看出，無論是主觀視覺上還是客觀指標(biāo)上，融合后的圖像質(zhì)量都得到了提高。

作為多源圖像融合的重要領(lǐng)域，多聚焦圖像融合具有重要研究意義以及無可替代的價值。目前多聚焦圖像融合及相關(guān)技術(shù)已經(jīng)取得了一定的發(fā)現(xiàn)。此外，在動態(tài)環(huán)境和強噪聲環(huán)境中的融合算法研究也亟待加強。