陳垚佳，張永平，田建艷

(1.太原理工大學(xué) 信息工程學(xué)院，山西 太原030024;2.寧波工程學(xué)院 電子與信息工程學(xué)院，浙江 寧波315211)

由于光學(xué)成像機(jī)理的限制，單幅圖像所能捕捉到的信息量有限，不能保證同一場景里的背景與目標(biāo)都均勻清晰。通過對同一場景進(jìn)行多聚焦拍攝，可以得到多幅不同聚焦點(diǎn)的圖像。多聚焦圖像融合技術(shù)就是利用這組多聚焦圖像的互補(bǔ)和冗余信息，得到一幅可信度高、更為人眼視覺所接受的新圖像。在醫(yī)學(xué)、遙感、計(jì)算機(jī)視覺、天氣預(yù)報及軍事目標(biāo)識別等方面圖像融合技術(shù)都得到廣泛的應(yīng)用。

融合技術(shù)可分為像素級、特征級、決策級三個層次的融合。目前的研究主要以像素級融合為主，其融合方法主要分為兩類:空間域方法比如像素的加權(quán)平均、偽彩色映射、非線性方法、貝葉斯優(yōu)化方法、人工神經(jīng)網(wǎng)絡(luò)法［1］等和變換域方法如金字塔分解、小波［2-5］、曲波［6］、輪廓波［7］等多分辨力變換以及經(jīng)驗(yàn)?zāi)Ｊ椒纸猓?］、ICA變換［9］、非負(fù)矩陣分解［10］等。

基于變換域的圖像融合作為一種有效的融合技術(shù)得到快速發(fā)展。這種融合方法首先圖像分解到另一個變換域，對變換域系數(shù)按照一定規(guī)則進(jìn)行融合，最后利用逆變換重構(gòu)融合圖像。圖像變換主要是基于小波、曲波、輪廓波等多分辨力變換。這類變換是在完備基上對圖像進(jìn)行表示的，不能對圖像很好的稀疏表達(dá)。近年來稀疏表示被應(yīng)用于圖像處理與分析領(lǐng)域，如圖像去噪［11］、超分辨力［12］、修復(fù)［13］以及人臉識別等，它是在過完備基上對信號進(jìn)行表示的，具有更好的稀疏表達(dá)能力。

文獻(xiàn)［14］中提出一種基于過完備稀疏表示的多聚焦融合算法，其本質(zhì)是基于每個像素領(lǐng)域過完備稀疏表示然后進(jìn)行融合、重構(gòu)的方法，計(jì)算量較大。本文充分考慮到多聚焦圖像融合的特性，提出一種基于分塊過完備稀疏表示的多聚焦圖像融合算法。首先將源圖像分塊，利用稀疏模型分解塊圖像，然后采用加權(quán)平均的融合規(guī)則對稀疏表示系數(shù)進(jìn)行融合，最后由融合系數(shù)與字典重構(gòu)圖像。實(shí)驗(yàn)表明，該算法得到的融合圖像在主觀視覺和客觀質(zhì)量上都取得較好的效果。

1 稀疏域模型

稀疏表示問題可描述為式(1)，由于式(1)是NP問題，所以往往轉(zhuǎn)化為式(2)中的近似問題來求解

式中:‖x‖0為x的l0范數(shù)，即向量x中非零元素的個數(shù)，為信號x在過完備字典A上的稀疏表示。

一般情況下自然圖像的數(shù)據(jù)信息也具有冗余性，因此可以在冗余字典上進(jìn)行稀疏表示。如果將圖像信號看做一維向量b，其稀疏表示是指信號b在冗余字典A下的低維投影，投影系數(shù)即為稀疏表示系數(shù)x。

1.1 過完備字典的構(gòu)建

過完備稀疏表示問題中，選取的過完備字典是否合適關(guān)系到表示信號被表示的稀疏性。針對不同結(jié)構(gòu)與特征的圖像，應(yīng)采取不同形式的字典或者基函數(shù)。過完備字典的構(gòu)建方法可以劃分為兩類。

1)根據(jù)數(shù)學(xué)模型來構(gòu)建字典。由于其模型較簡單，正交和雙正交變換的字典構(gòu)建方法一度占據(jù)主導(dǎo)地位。然而研究表明這種構(gòu)建方法得到的字典不能保證信號表示的稀疏性，進(jìn)而影響信號的重構(gòu)準(zhǔn)確度。文獻(xiàn)［15］提出利用適合刻畫圖像幾何邊緣的bandlet基、適合刻畫紋理的Gabor基、適合刻畫輪廓的Curvelet基等不同形狀的基函數(shù)組合構(gòu)建字典。采用該類方法構(gòu)建的字典優(yōu)勢在于適用范圍比較廣。

2)根據(jù)樣本來設(shè)計(jì)字典。可以通過訓(xùn)練樣本來學(xué)習(xí)適合某一類信號特征的字典，以確保信號表示的稀疏性。目前字典學(xué)習(xí)的算法有最大似然法、最優(yōu)方向(MOD)法、最大后驗(yàn)概率法、組合正交基學(xué)習(xí)算法、廣義PCA算法。能與現(xiàn)今的稀疏分解算法兼容的常用方法是ELAD于2006年提出的K-SVD學(xué)習(xí)算法［16］。該方法交替執(zhí)行信號在當(dāng)前字典的稀疏表示與原子的更新過程，來達(dá)到學(xué)習(xí)字典的目的:

(3)D(J-1)中每列原子更新，對于第k(k=1，2，…，K)列原子dk更新步驟如下:

①定義步驟(2)中使用第k列原子的標(biāo)志集合:ωk={i 1≤i≤N(i)≠0}。

③根據(jù)ωk中標(biāo)志元素選出Ek的部分列得到。

(4)返回步驟(2)，J=J+1。

為了探討字典維數(shù)對本文算法融合結(jié)果的影響，在給定學(xué)習(xí)對象數(shù)量的條件下，學(xué)習(xí)不同維數(shù)的字典。在后面的研究中，將利用所構(gòu)建的字典探討其對融合結(jié)果的影響。

采用50幅自然圖像進(jìn)行8×8的分塊，分塊處理后的塊圖像作為輸入圖像，通過K-SVD字典學(xué)習(xí)算法得到維數(shù)為64×64，64×128，64×256的過完備字典，設(shè)定迭代次數(shù)為J=50，字典圖像如圖1所示。

圖1 不同維數(shù)過完備字典圖像

1.2 稀疏表示方法

其次是設(shè)計(jì)快速有效的稀疏分解算法。目前有三類典型方法:匹配追蹤算法、基于l1范數(shù)算法、迭代收斂算法。匹配追蹤算法以貪婪算法為核心的最簡單直接的算法。本文的融合算法中，以誤差作為循環(huán)停止條件，采用正交匹配追蹤(OMP)算法來對源圖塊進(jìn)行稀疏表示［17］，算法如下:

1)初始化。誤差ε，字典D，X0=0，r0=b=?。

2)從冗余字典中選出與被表示信號b內(nèi)積最大的原子di，即di=

5)計(jì)算誤差rk=b-。

6)如果rk≥ε，返回步驟2)。反之，結(jié)束循環(huán)，輸出的即為所求的稀疏系數(shù)。

圖像稀疏表示即是將待融合圖像采用正交匹配追蹤算法在經(jīng)過K-SVD算法學(xué)習(xí)的過完備字典上進(jìn)行稀疏表示。在稀疏分解過程中，需要設(shè)置分解過程的循環(huán)停止參數(shù)ε。ε過小會影響融合圖像的分解精度，當(dāng)ε過大時，迭代次數(shù)隨之提高，計(jì)算量也會隨之增大。因此該參數(shù)要慎重選擇。文獻(xiàn)［14］探討了ε在過完備稀疏表示圖像融合算法中的對圖像質(zhì)量的影響，證實(shí)了以上的結(jié)論。

2 基于稀疏域的多聚焦融合算法

2.1 基于稀疏表示的圖像融合框架

稀疏表示具有在過完備字典上對自然圖像的稀疏表達(dá)能力。將稀疏表示引入圖像融合，提出一種圖像融合算法，算法流程圖如圖2所示。

1)源圖像預(yù)處理。假定待融合圖像為嚴(yán)格匹配圖像，首先將圖像歸一化，如圖3，然后將源圖像進(jìn)行8×8分塊處理，并且將每個圖像塊像素整合成一維列向量。

2)稀疏分解。將圖像塊對應(yīng)的一維向量在冗余字典上進(jìn)行稀疏分解，每個圖像塊對應(yīng)得到兩組稀疏表示系數(shù)。

3)稀疏系數(shù)融合。每個塊對應(yīng)的兩組稀疏系數(shù)按照一定的融合規(guī)則進(jìn)行融合，獲得待重構(gòu)系數(shù)。

圖2 基于過完備稀疏表示的融合算法框圖

4)稀疏重構(gòu)圖像。重構(gòu)是分解的逆過程。結(jié)合融合系數(shù)與冗余字典按照圖3進(jìn)行重構(gòu)，得到最后的融合圖像。

圖3 源圖像分塊與重構(gòu)示意圖

2.2 融合規(guī)則

融合規(guī)則是圖像融合算法中決定最終融合質(zhì)量的關(guān)鍵步驟［18］。常用的融合規(guī)則有絕對值最大以及平均等方法。如果按照絕對值取大規(guī)則來融合，融合結(jié)果會出現(xiàn)很多塊效應(yīng)，影響視覺效果。因此本文選用平均方法的融合規(guī)則，對系數(shù)簡單的取平均，會降低融合圖像對比度，丟失部分細(xì)節(jié)信息。

綜合以上因素，本文采用加權(quán)平均的規(guī)則進(jìn)行融合。圖像塊稀疏系數(shù)的l1范數(shù)越大，攜帶的信息量就越多?；谝陨侠碚?，融合系數(shù)由式(3)計(jì)算

式中:ca，cb為源圖像分別對應(yīng)圖像塊稀疏系數(shù)向量。

3 實(shí)驗(yàn)與性能評價

3.1 不同算法的對比試驗(yàn)

采用嚴(yán)格配準(zhǔn)的兩組大小為256×256的多聚焦圖像進(jìn)行實(shí)驗(yàn)，驗(yàn)證本算法的有效性。同時與基于小波分解的傳統(tǒng)融合算法、基于稀疏表示的融合規(guī)則取系數(shù)平均算法對比。其中小波融合方法中小波分解層數(shù)為3層，小波基選取bior2.4，融合規(guī)則為低頻系數(shù)取平均、高頻系數(shù)取大?；谙∈璞硎镜姆椒ㄖ?，用圖像稀疏表示分解圖像，融合規(guī)則為系數(shù)取平均方法。圖像融合結(jié)果分別如圖4。由圖可見，本文算法的融合圖像整體效果更好。

由于不存在標(biāo)準(zhǔn)圖像，采用信息熵(Entropy)、互信息量(MI)、邊緣評價因子(Q)、空間頻率(SF)這四個指標(biāo)來評價實(shí)驗(yàn)結(jié)果。

1)信息熵是衡量圖像包含的信息量豐富程度的一個重要指標(biāo)，被定義為

式中，pi為圖像的直方圖，即灰度值等于i的像素個數(shù)與圖像總像素個數(shù)之比。融合圖像熵值越大，表示其包含的信息量越多，融合質(zhì)量越好。

2)互信息量MI被定義為)

式中，E()為圖像的互信息量，可由圖像的歸一化聯(lián)合灰度直方圖得到?；バ畔⒘縈I越大，意味著融合圖像F從源圖像中繼承的信息越多，融合效果越理想。

3)空間頻率是直接反應(yīng)圖像的清晰度的指標(biāo)，是被作為衡量圖像整體視覺效果的標(biāo)準(zhǔn)，融合圖像的此指標(biāo)值越高，意味著融合結(jié)果圖像效果越好。對于大小為M×N的圖像，其空間頻率定義為

其中RI和CI分別為行頻率和列頻率，被定義為

4)采用結(jié)構(gòu)相似度Q來評價實(shí)驗(yàn)結(jié)果

式中:s(A|ω)代表源圖像A中具有方差、邊緣等顯著特征的信息量。同樣指標(biāo)Q值越大，表示融合圖像保留源圖像的邊緣信息越多，融合質(zhì)量越高。

表1為不同算法融合結(jié)果的指標(biāo)。從表1可以看出，基于稀疏表示融合圖像的互信息量指標(biāo)優(yōu)于傳統(tǒng)小波融合算法。使用過完備稀疏表示，融合規(guī)則采用系數(shù)平均的算法融合結(jié)果結(jié)構(gòu)相似度指標(biāo)不如傳統(tǒng)小波算法，但是采用本文提出的加權(quán)平均融合規(guī)則，其結(jié)構(gòu)相似度的性能指標(biāo)得到極大的改善，且優(yōu)于傳統(tǒng)小波算法。

表1 不同算法融合圖像客觀指標(biāo)

3.2 字典維數(shù)對圖像融合質(zhì)量的影響

文獻(xiàn)［14］已經(jīng)對圖像分塊窗口大小、正交匹配追蹤(OMP)算法中的殘差等因素對融合質(zhì)量的影響進(jìn)行了研究。本節(jié)通過實(shí)驗(yàn)探討過完備字典維數(shù)對圖像融合結(jié)果的影響。將上文中已經(jīng)學(xué)習(xí)到的不同維數(shù)(64×64，64×128，64×256)的字典均應(yīng)用到本章提出的融合算法中，融合結(jié)果同樣由信息熵(Entropy)、互信息量(MI)和邊緣評價因子(Q)以及空間頻率(SF)4個指標(biāo)來評價，如表2所示。

表2 不同維數(shù)字典的融合圖像客觀評價結(jié)果

從表2中的指標(biāo)可以看出，在平均融合規(guī)則下，過完備字典維數(shù)越高，融合性能越好。在本章算法的加權(quán)融合規(guī)則下，在不同維數(shù)的過完備字典上表示的融合性能也有所區(qū)別。但不同的是，選取較低的字典維數(shù)反而在多數(shù)指

標(biāo)下得到較好融合性能。這表明，各種融合算法的性能與字典維數(shù)的相關(guān)性還有待進(jìn)一步研究。

4 結(jié)論

筆者提出一種基于分塊稀疏表示的多聚焦融合算法。首先將源圖像無重疊像素分塊，并采用稀疏域模型將分塊圖像進(jìn)行表示，得到兩組稀疏系數(shù)。使用加權(quán)平均的融合規(guī)則得到融合系數(shù)。通過稀疏逆變換重構(gòu)圖像。實(shí)驗(yàn)表明無論是從主觀視覺還是客觀指標(biāo)來評價，該算法取得了較好的融合效果，且由于傳統(tǒng)的小波融合算法。同時探討了過完備字典在該方法中對圖像融合質(zhì)量的影響。實(shí)驗(yàn)表明過完備字典的優(yōu)劣是影響融合結(jié)果的一個重要因素。構(gòu)建一組更適合于多聚焦圖像的過完備字典，使其具備較強(qiáng)提取圖像邊緣的能力，在其上的表示系數(shù)能夠更好的區(qū)分出清晰與模糊區(qū)域，對于多聚焦圖像融合算法亦是非常重要。

［1］LI S T，KWOK J，WANG Y N.Multifocus image fusion using artificial neural networks［J］.Pattern Recognition，2002，23(8):985-997.

［2］XU L，ROUX M，HE M Y，et al.A new method of image fusion based on redundant wavelet transform［C］//Proc.VIE 2008.［S.l.］:IEEE Press，2008:12-17.

［3］LEWIS J J，CALLAGHAN R J O，NIKOLOV S G，et al.Pixel-and regionbased image fusion using complex wavelets［J］.Information Fusion，2007，8(2):119-130.

［4］郭敏，任娜.基于小波變換與塊分割的多聚焦圖像融合［J］.云南大學(xué)學(xué)報:自然科學(xué)版，2008，30(3):251-255.

［5］LI H，MANJUNATH B S，MITRA A A.Multisensor image fusion using the wavelet transform［J］.Graphical Models Image Process，1995，57(3):235-245.

［6］楊俊，趙忠明.基于Curvelet變換的多聚焦圖像融合方法［J］.光電工程，2007，34(6):67-71.

［7］ZHANG Q，GUO B L.Mutifocus image fusion using the nonsubsampled contourlet transform［J］.Signal Processing，2009，89(7):1334-1346.

［8］CHEN S H，SU H B，ZHANG R H.Improving empirical mode decomposition using support vector machines for multifocus image fusion［J］.Sensors，2008，8(4):2500-2508.

［9］MITIANOUDIS N，STATHAKI T.Pixel-based and region-based image fusion schemes using ICA bases［J］.Information Fusion，2007，8(2):131-142.

［10］ZHANG S，CHEN J，MIAO D D.An image fusion method based on WNMF and region segmentation［C］//Proc.PACIIA’08:vol 2.［S.l.］:IEEE Press，2008:282-285.

［11］ELAD M，AHARON M.Image denoising via sparse and redundant representations over learned dictionaries［J］.IEEE Trans.Image Process，2006，15(12):3736-3745.

［12］YANG J C，WRIGHT J，HUANG T.Image super-resolution via sparse representation［J］.IEEE Trans.Image Process，2010，19(11):2861-2873.

［13］MARIAL J，ELAD M，SAPIRO G.Sparse representation for color image restoration［J］.IEEE Trans.Image Process，2008，17(1):53-69.

［14］YANG B，LI S T.Multifocus image fusion and restoration with sparse representation［J］.IEEE Trans.Instrumentation and Measurement，2010，59(4):884-892.

［15］PEYRE G.Best Basis compressed sensing［J］.Lecture Notes in Computer Science，2007，4485:80-91.

［16］AHARON M，ELAD M，BRUCKSTEIN A M.The K-SVD:an algorithm for designing of overcomplete dictionaries for sparse representations［J］.IEEE Trans.Image Process，2006，54(11):4311-4322.

［17］ROSENBLUM K，ZELNIK-MANOR L，ELDAR Y C.Dictionary optimization for block-sparse representations［EB/OL］.［2011-06-01］.http://arxiv.org/pdf/1005.0202.pdf.

［18］李亞春，武金崗，王凈.小波變換圖像融合規(guī)則性能的分析研究［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46(8):180-182.