?！×?，馮高峰

（1.周口師范學(xué)院，河南　周口　466001；2.濟(jì)源職業(yè)技術(shù)學(xué)院，河南　濟(jì)源　454650）

?

基于shearlet與PCNN的多聚焦圖像融合方法*

牛玲1，馮高峰2

（1.周口師范學(xué)院，河南周口466001；2.濟(jì)源職業(yè)技術(shù)學(xué)院，河南濟(jì)源454650）

摘要：針對傳統(tǒng)脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）模型在多聚焦圖像融合領(lǐng)域應(yīng)用中面臨的參數(shù)繁雜等問題，提出一種基于剪切波（shearlet）變換與改進(jìn)型PCNN的多聚焦圖像融合方法。相比以往的變換域方法，shearlet具有理想的圖像信息捕捉性能以及較低的計(jì)算復(fù)雜度，因此，可利用shearlet將待融合圖像進(jìn)行多尺度多方向分解。其次，對經(jīng)典PCNN模型加以改進(jìn)，綜合運(yùn)用清晰度水平以及協(xié)調(diào)矩陣完成低頻子帶圖像以及一系列高頻子帶圖像的融合過程。最后，運(yùn)行shearlet反變換得到最終融合圖像。仿真實(shí)驗(yàn)選取了若干組待融合圖像進(jìn)行仿真，驗(yàn)證了該方法在主、客觀評價(jià)兩方面的優(yōu)越性。

關(guān)鍵詞：剪切波變換，脈沖耦合神經(jīng)網(wǎng)絡(luò)，協(xié)調(diào)矩陣，清晰度

0　引言

成像設(shè)備中焦距的不同通常會使圖像中的目標(biāo)信息出現(xiàn)分化，即部分目標(biāo)較為清晰處于聚焦?fàn)顟B(tài)，而另外一部分目標(biāo)處于離焦?fàn)顟B(tài)較為模糊。

目前，國內(nèi)外相關(guān)領(lǐng)域的學(xué)者針對多聚焦圖像融合問題，提出了一系列融合方法。見文獻(xiàn)［1-11］。本文擬將ST與PCNN模型相結(jié)合，提出一種基于shearlet與改進(jìn)型PCNN模型的多聚焦圖像融合方法。該方法針對傳統(tǒng)PCNN模型待定參數(shù)多、運(yùn)行機(jī)制復(fù)雜的問題加以改進(jìn)，綜合運(yùn)用清晰度水平以及協(xié)調(diào)矩陣完成低頻子帶圖像以及一系列高頻子帶圖像的融合過程。仿真實(shí)驗(yàn)結(jié)果表明，該方法在主、客觀評價(jià)過程中均有良好表現(xiàn)。

1　剪切波變換

Guo等人在文獻(xiàn)［8-12］中指出，當(dāng)維數(shù)n=2時(shí)，可以得出以下仿射系統(tǒng)模型：

其中，ψ∈L2（R2），Aa與Bb均為2*2的可逆矩陣，且滿足表達(dá)式|detB|=1。若MAB（ψ）滿足帕斯維爾理論緊框架，即滿足：

則該仿射系統(tǒng)中的元素可稱作合成小波。

合成小波同經(jīng)典離散小波變換理論類似，滿足多尺度分析特性，因此，可以給出剪切波變換的定義：令ψ∈L2（R2）滿足下列條件：

其中ψ贊為ψ的傅里葉變換；

③若ψ贊2∈C∞（R）且suppψ贊1奐［-1，1］，且在區(qū)間（-1，1）上滿足ψ2>0且||ψ2||=1，則由ψ，Aa，Bb可以生成下列系統(tǒng)：

其中，Aa=［a 0，0 a1/2］，Bb=［1 s，0 1］，式（3）即為shearlet系統(tǒng)，Aa和Bb分別為各向異性膨脹矩陣和剪切矩陣。

通常，可取a=4，s=1，即：

2　改進(jìn)型PCNN模型

PCNN模型有著廣泛的生物學(xué)背景，其數(shù)學(xué)表達(dá)式如下：

顯然，經(jīng)典PCNN模型中大量存在的待定參數(shù)以及過于繁雜的工作機(jī)制導(dǎo)致其優(yōu)勢無法大幅度地發(fā)揮，為此，本文提出一種改進(jìn)型PCNN模型，其數(shù)學(xué)表達(dá)式如下：

其中式（10）忽略了前一次的饋送效果值以及輸出結(jié)果矩陣對本次饋送輸入的影響，僅僅考慮外部輸入的效果；式（11）僅對上一次的輸出效果矩陣進(jìn)行了記錄；式（14）有助于解決以往模型中閾值衰減速率及幅度不穩(wěn)定的缺陷；此外，迭代效果的好壞在很大程度上取決于迭代次數(shù)的設(shè)置。如果迭代次數(shù)K的數(shù)值過大，將會白白浪費(fèi)大量的計(jì)算資源；反之，如果迭代次數(shù)K的數(shù)值設(shè)定過小，又會導(dǎo)致算法運(yùn)行的不充分，難以獲得令人滿意的運(yùn)行結(jié)果。式（15）則是借鑒文獻(xiàn)［13］中賦時(shí)矩陣的概念，依靠神經(jīng)元自身的同步脈沖發(fā)放機(jī)制自適應(yīng)地決定迭代次數(shù)n的數(shù)值。賦時(shí)矩陣T將對每一個(gè)像素點(diǎn)的發(fā)放脈沖時(shí)對應(yīng)的迭代次數(shù)加以記錄，并且保證每一個(gè)像素點(diǎn)在發(fā)生點(diǎn)火后，點(diǎn)火閾值急劇增大從而不再被激發(fā)，即每個(gè)像素點(diǎn)僅點(diǎn)火1次。當(dāng)所有的像素點(diǎn)均完成脈沖發(fā)放即脈沖輸出矩陣Y=1時(shí)，迭代過程自行停止。

不難發(fā)現(xiàn)，本文提出的改進(jìn)型模型僅涉及Wijkl，β，γ和Vθ4個(gè)待定參數(shù)。由于賦時(shí)矩陣機(jī)制的引入，為了保證每個(gè)像素點(diǎn)對應(yīng)的神經(jīng)元僅進(jìn)行一次點(diǎn)火，只需將式（14）中的Vθ賦予一個(gè)較大的數(shù)值即可，因此，待定參數(shù)Vθ的數(shù)值也容易設(shè)定。

（1）Wijkl：該矩陣用于設(shè)定神經(jīng)元間的關(guān)聯(lián)程度，重點(diǎn)描述周圍神經(jīng)元的輸出情況對中心神經(jīng)元的影響程度，通常認(rèn)為：中心神經(jīng)元的水平及垂直方向上直接相鄰的神經(jīng)元對中心神經(jīng)元有較大的影響，而45°、135°、225°以及315°方向上相鄰的神經(jīng)元影響較弱，因此，以3*3區(qū)間為例，可以設(shè)定水平及垂直方向上的神經(jīng)元間隔距離為1，則Wijkl可以設(shè)定為：

（2）γ：主要功能是用來控制閾值的衰減幅度。該參數(shù)的設(shè)定主要取決于源圖像中灰度分布的情況。如果一幅圖像的灰度分布較為均勻且紋理較為單一，則可以適當(dāng)減小γ的數(shù)值，提高實(shí)驗(yàn)速率；反之，如果一幅圖像的灰度變化較為劇烈，則應(yīng)當(dāng)賦予γ一個(gè)較大數(shù)值，從而盡可能地把握灰度劇變過程中的邊界信息。

（3）β：用來反映饋送域輸入與鏈接域輸入的耦合程度，β的數(shù)值越大，鏈接域輸入的作用就越大，內(nèi)部連接U的數(shù)值也越大。由于多聚焦圖像融合的主要目的是將多幅待融合源圖像中的聚焦區(qū)域即清晰區(qū)域加以提取并注入到最終融合圖像中，為此，本文采取自適應(yīng)取值方法，以清晰度水平作為標(biāo)準(zhǔn)對每個(gè)像素點(diǎn)對應(yīng)的神經(jīng)元鏈接強(qiáng)度β進(jìn)行賦值。

由于圖像空間頻率（Spatial Frequency，SF）的大小可以較大程度地反映圖像中各像素點(diǎn)的活躍程度，因此，SF數(shù)值較大的像素點(diǎn)往往可以表示該像素點(diǎn)與周圍像素點(diǎn)具有明顯不同的活躍水平，即“異常突出的或清晰的”，因此，本文采用SF作為清晰度指數(shù)對鏈接強(qiáng)度β進(jìn)行賦值。文獻(xiàn)［14］給出了SF的數(shù)學(xué)表達(dá)式：

其中，RF表示水平方向的梯度值，CF表示垂直方向的梯度值，MDF表示主對角線方向的梯度值，SDF表示副對角線方向的梯度值。4種方向上的梯度示意圖如圖1所示。

圖1 SF的4個(gè)方向梯度分量

其中白色方框代表待考察中心像素點(diǎn)，黑色方框代表其相鄰的像素點(diǎn)。4種方向的梯度表達(dá)式如下所示。

針對圖像I（i，j），分別有RF，CF，MDF以及SDF的表達(dá)式如下：

其中，ωd表示距離權(quán)值，可以取1/21/2。

顯然，SF可以針對對應(yīng)像素點(diǎn)的周邊像素信息進(jìn)行較為詳盡的描述。

3　協(xié)調(diào)矩陣構(gòu)造

大多數(shù)基于像素點(diǎn)的圖像融合方法僅負(fù)責(zé)從各幅源圖像中提取出相關(guān)像素點(diǎn)并加以融合，并不考慮融合結(jié)果圖像中像素點(diǎn)間的協(xié)調(diào)程度，因此，常常會導(dǎo)致“人為虛假邊緣”的產(chǎn)生，例如重影、塊狀反應(yīng)等。為此，本文提出一種協(xié)調(diào)矩陣C用于對結(jié)果圖像進(jìn)行局部調(diào)整，從而實(shí)現(xiàn)融合后圖像直覺效果的改善。

協(xié)調(diào)矩陣C將某一中心像素點(diǎn)周圍的像素點(diǎn)成員劃分為近域成員N和遠(yuǎn)域成員D，其中近域成員N對中心像素點(diǎn)具有較大的影響能力，而遠(yuǎn)域成員D對中心像素點(diǎn)影響較弱。以5*5鄰域區(qū)間為例，具體影響因子（Impact Factor，IF）賦值如下所示。

在式（22）中，將中心像素點(diǎn)相鄰的8個(gè)像素點(diǎn)視為近域成員N，這8個(gè)成員距離中心像素點(diǎn)僅有1個(gè)步長的距離；而將除了這8個(gè)近域成員之外的16個(gè)像素點(diǎn)視為遠(yuǎn)域成員D，這些成員距離中心像素點(diǎn)均有兩個(gè)步長的距離。協(xié)調(diào)矩陣算法如下所示。

輸入：初始鄰域空間半徑r，由兩幅源圖像A，B得出的初步融合結(jié)果圖像；

輸出：協(xié)調(diào)矩陣機(jī)制處理后的融合圖像；

步驟1：比較中心像素點(diǎn)a的近域成員，若NA＞NB，則中心像素點(diǎn)a應(yīng)來源于源圖像A，并轉(zhuǎn)向步驟6；否則，轉(zhuǎn)向步驟2；

其中，NA，NB分別表示近域成員中來自于源圖像A和B的數(shù)目；

步驟2：若NA＜NB，則中心像素點(diǎn)a應(yīng)來源于源圖像B，并轉(zhuǎn)向步驟6；否則，轉(zhuǎn)向步驟3；

步驟3：若NA=NB，則比較中心像素點(diǎn)a的遠(yuǎn)域成員。若DA＞DB，則中心像素點(diǎn)a應(yīng)來源于源圖像A，并轉(zhuǎn)向步驟6；否則，轉(zhuǎn)向步驟4；其中，DA，DB分別表示遠(yuǎn)域成員中來自于源圖像A和B的數(shù)目；

步驟4：若DA＜DB，則中心像素點(diǎn)a應(yīng)來源于源圖像B，并轉(zhuǎn)向步驟6；否則，轉(zhuǎn)向步驟5；

步驟5：若DA=DB，則擴(kuò)充鄰域空間半徑r，使得r=r+2，并轉(zhuǎn)向步驟3；

步驟6：算法結(jié)束，并輸出最終融合圖像。

4　基于ST域改進(jìn)型PCNN的圖像融合算法

本節(jié)以兩幅已配準(zhǔn)待融合多聚焦源圖像A和B的仿真過程為例，給出基于shearlet域改進(jìn)型PCNN的多聚焦圖像融合算法。具體的實(shí)現(xiàn)流程圖如圖2所示。

圖2基于shearlet域改進(jìn)型PCNN的多聚焦圖像融合過程圖

融合算法的具體步驟如下：

輸入：兩幅已配準(zhǔn)源圖像A，B；

輸出：最終融合圖像F；

步驟1：利用ST將源圖像A，B各自分別分解為低頻子帶圖像Alow（K），Blow（K）以及一系列高頻子帶圖像Ahigh（k，lk），Bhigh（k，lk）；

其中，K為尺度分解級數(shù)，lk表示k尺度下l方向分解，1≤k≤K；

步驟2：將各子帶圖像對應(yīng)像素點(diǎn)的灰度值的絕對值作為外部輸入I，經(jīng)由改進(jìn)型PCNN模型加以處理，得到融合后的低頻子帶融合圖像和一系列高頻子帶融合圖像；

步驟3：進(jìn)行ST反變換得到初始融合圖像；

步驟4：利用第3節(jié)的協(xié)調(diào)矩陣算法對初始融合圖像加以處理，獲取最終融合圖像F。

5　仿真實(shí)驗(yàn)與分析

5.1實(shí)驗(yàn)描述

為了驗(yàn)證本文方法的有效性和可行性，本節(jié)選取了兩組待融合多聚焦源圖像進(jìn)行仿真實(shí)驗(yàn)。所有仿真平臺為一臺配置為2.3 G CPU和2 G內(nèi)存的個(gè)人PC。選取了3種多聚焦圖像融合方法與本文方法進(jìn)行比較，分別為：方法1（ST與改進(jìn)PCNN的融合方法）［12］；方法2（自適應(yīng)PCNN的形態(tài)小波多聚焦圖像融合方法）［14］；方法3（基于小波變換的多聚焦圖像融合新算法）［15］。本文方法的參數(shù)設(shè)置情況如下：Wijkl=［0.707 1.000 0.707；1.000 0.000 1.000；0.707 1.000 0.707］，Vθ=300，γ=0.85。

針對實(shí)驗(yàn)仿真結(jié)果，除了進(jìn)行直觀視覺評價(jià)方法外，還將選取信息熵（IE）、邊緣強(qiáng)度（EIN）、空間頻率（SF）三項(xiàng)指標(biāo)進(jìn)行客觀評價(jià)。其中，IE描述了圖像中信息量的包含程度，IE數(shù)值越大，圖像的信息越豐富。EIN表示圖像中邊緣特征信息的保持程度，EIN的指標(biāo)值與圖像邊緣細(xì)節(jié)信息的保持狀況成正比。SF反映了整幅圖像的活躍程度，SF數(shù)值越大，整幅融合圖像越清晰。

5.2實(shí)驗(yàn)結(jié)果與分析

本文選取了兩組待融合多聚焦源圖像用于仿真實(shí)驗(yàn)，分別是Clock圖像以及Pepsi圖像。這兩組源圖像均含有256級灰度，尺寸大小為512*512。兩組待融合多聚焦源圖像如圖3所示。4種融合方法的仿真結(jié)果如下頁圖4、圖5所示。

圖3兩組待融合多聚焦源圖像

圖4 Clock待融合多聚焦源圖像仿真結(jié)果

圖5 Pepsi待融合多聚焦源圖像仿真結(jié)果

從整體上，4種多聚焦圖像融合方法對圖3中的兩組待融合源圖像均進(jìn)行了較好融合，源圖像中的主體信息得到了有效地提取和描述。圖3中的主干信息在仿真結(jié)果中均得到了不同程度的體現(xiàn)。

但通過仔細(xì)觀察后不難發(fā)現(xiàn)，基于本文提出方法的融合結(jié)果圖無論在圖像清晰程度還是源圖像信息保持上均具有很明顯的優(yōu)勢。為了進(jìn)一步比較仿真結(jié)果，以圖5中的仿真結(jié)果為例，給出了局部放大圖像，如圖6所示。

通過比較紅色區(qū)域中的細(xì)節(jié)信息，可以發(fā)現(xiàn)，相比其他3種圖像融合方法，基于本文方法的融合圖像具有更好的清晰度水平。此外，相關(guān)的客觀評價(jià)結(jié)果如表1、表2所示，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性。

圖6仿真結(jié)果局部放大圖

表1 Clock融合實(shí)驗(yàn)客觀指標(biāo)結(jié)果

表2 Pepsi融合實(shí)驗(yàn)客觀指標(biāo)結(jié)果

6　結(jié)論

相對之前的變換域方法，ST具有更好的圖像信息捕捉能力和較低的計(jì)算復(fù)雜度，因此，能夠很好地適用于實(shí)時(shí)性要求較高的應(yīng)用場合。另一方面，PCNN模型作為一種具有豐富生物學(xué)背景的人工神經(jīng)網(wǎng)絡(luò)模型，已被廣泛應(yīng)用于圖像融合領(lǐng)域。本文提出一種基于shearlet與改進(jìn)型PCNN的多聚焦圖像融合方法，旨在將ST與PCNN二者的優(yōu)勢相結(jié)合，探索一種融合性能更為優(yōu)越的多聚焦圖像融合方法。兩組融合實(shí)驗(yàn)驗(yàn)證了本文提出方法的有效性和優(yōu)越性。

參考文獻(xiàn)：

［1］CHAI Y，LI H F，LI Z F. Multifocus image fusion scheme using focused region detection and multiresolution［J］. Optics Communications，2011，284（19）：4376-4389.

［2］TAO W，ZHU C C，QIN Z C. Multifocus image fusion based on robust principal component analysis［J］. Pattern Recognition Letters，2013，34（9）：1001-1008.

［3］ZHAO H J，SHANG Z W，TANG Y Y，et al. Multi-focus image fusion based on the neighbor distance［J］. Pattern Recognition，2013，46（3）：1002-1011.

［4］ISHITA D，BHABATOSH C. Multi-focus image fusion using a morphology-based focus measure in a quad-tree structure ［J］. Information Fusion，2013，14（1）：136-146.

［5］ZHANG Y X，CHEN L，ZHAO Z H，et al. Multi-focus image fusion based on robust principal component analysis and pulse-coupled neural network［J］. Optik，2014，125（17）：5002-5006.

［6］ECKHORN R. Neural mechanisms of scene segmentation：recordings from the visual cortex suggest basic circuits or linking field models［J］. IEEE Transactions on Neural Network，1999，10（3）：464-479.

［7］MIAO Q G，SHI C，XU P F，et al. A novel algorithm of image fusion using shearlets［J］. Optics Communications，2011，284 （6）：1540-1547.

［8］GUO K H，LABATE D. Optimally sparse multidimensional representation using shearlets［J］. SIAM Journal on Mathematical Analysis，2007，39（1）：298-318.

［9］GUO K H，LABATE D，WANG L. Edge analysis and identification using the continuous shearlet transform［J］. Applied and Computational Harmonic Analysis，2009，27（1）：24-46.

［10］LIU X，ZHOU Y，WANG J J. Image fusion based on shearlet transform and regional features［J］. International Journal of Electronics and Communications，2014，68（6）：471-477.

［11］SHI C，MIAO Q G，XU P F. A novel algorithm of remote sensing image fusion based on Shearlets and PCNN［J］. Neurocomputing，2013，117（6）：47-53.

［12］廖勇，黃文龍，尚琳，等. Shearlet與改進(jìn)PCNN相結(jié)合的圖像融合［J］.計(jì)算機(jī)工程與應(yīng)用，2014，50（2）：142-146.

［13］劉勍，馬義德.一種基于PCNN賦時(shí)矩陣的圖像去噪新算法［J］.電子與信息學(xué)報(bào)，2008，30（8）：1869-1873.

［14］何劉杰，胡濤，任仙怡.自適應(yīng)PCNN的形態(tài)小波多聚焦圖像融合方法［J］.計(jì)算機(jī)工程與應(yīng)用，2013，49（12）：132-135，159.

［15］韓瀟，彭力.基于小波變換的多聚焦圖像融合新算法［J］.計(jì)算機(jī)與數(shù)字工程，2014，42（9）：1628-1631.

Fusion Method for Multi- focus Images Based on Shearlet and Pulse Coupled Neural Networks

NIU Ling1，F(xiàn)ENG Gao-feng2
（1.Zhoukou Normal University，Zhoukou 466001，China；2. Jiyuan Vocational And Technical College，Jiyuan 454650，China）

Abstract：In order to settle the problem that there are so many parameters in the Pulse Coupled Neural Networks（PCNN）model when used in the area of multi-focus image fusion，a fusion method for multi-focus images based on shearlet transform and improved PCNN is proposed. Compared with the past transform domain methods，shearlet possesses much better ability to capture the image information and much lower computational complexities，so it can be used to conduct the multi-scale and multi-directional decompositions towards the source images. Besides，with the definition level and coordinate matrix，the classic PCNN model can be improved to fuse the low-frequency sub-images and a series of high -frequency ones. Finally，the final fused image can be obtained with the inverse shearlet. Several different groups of source images have been chosen in the simulation experiments，the proposed method proves to be superior in both subjective and objective aspects.

Key words：shearlet transform，pulse coupled neural networks，coordinate matrix，definition level

作者簡介：牛玲（1980-），女，河南周口人，碩士，主任。研究方向：圖像處理、網(wǎng)絡(luò)安全。。

*基金項(xiàng)目：國家自然科學(xué)基金（61103143）；河南省高等學(xué)校重點(diǎn)科研基金資助項(xiàng)目

收稿日期：2015-01-05

文章編號：1002-0640（2016）02-0041-06

中圖分類號：TP182

文獻(xiàn)標(biāo)識碼：A

修回日期：2015-03-09