摘 要： 為了提高圖像融合清晰度，提出了一種基于多尺度快速清晰度估計(jì)的多聚焦圖像超分辨率融合技術(shù)，利用小波分解算法結(jié)合圖像清晰度估計(jì)算法，實(shí)現(xiàn)對多聚焦圖像清晰區(qū)域的分解、識別和提取，最終得到一幅各個區(qū)域都清晰的融合圖像。實(shí)驗(yàn)結(jié)果表明，提出的技術(shù)保留了源圖像中的幾乎全部最清晰區(qū)域，融合后的圖像清晰度比傳統(tǒng)方法有了大幅度的提高，融合結(jié)果比較理想。

關(guān)鍵詞： 多尺度； 清晰度估計(jì)； 多聚焦圖像融合； 超分辨率融合

中圖分類號： TN911.73?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）15?0047?03

Abstract： In order to improve the image fusion definition， a multi?focus image super?resolution fusion technology based on multiscale fast definition estimation is proposed. The wavelet decomposition algorithm combining with image definition estimation algorithm is used to decompose， recognize and extract the clear region of multi?focus image to obtain a fusion image with clear regions. The test results show that the proposed technology can reserve all clearest region in source image， and greatly improve the fused image definition in comparison with the traditional method. The fusion result is perfect.

Keywords： multiscale； definition estimation； multi?focus image fusion； super?resolution fusion

0 引 言

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，圖像融合技術(shù)作為信息融合技術(shù)的一個重要分支，發(fā)展的速度越來越快，所起到的作用也越來越突出。在采集圖像時，聚焦和離焦物體所成像的清晰度有很大的差別，前者清晰，后者模糊。圖像融合，顧名思義就是將2張或以上的圖像融合到1張圖像上。多聚焦圖像則是攝取場景中的目標(biāo)和相機(jī)傳感器距離不一樣，從而導(dǎo)致聚焦點(diǎn)也不一樣，進(jìn)而拍攝出圖像清晰度有所不同的多幅圖像，如果將這些多清晰度略有區(qū)別的圖像相互融合，便可以得到一張十分清晰的圖像，這樣可以清楚地獲取到真實(shí)場景中更多的信息，也更加方便人的觀察或者計(jì)算機(jī)的處理。近幾年，圖像融合技術(shù)得到迅猛發(fā)展，在遙感探測、安全導(dǎo)航、醫(yī)學(xué)圖像分析、反恐檢查、環(huán)境保護(hù)、交通監(jiān)測、清晰圖像重建、災(zāi)情檢測與預(yù)報(bào)等領(lǐng)域都有著重大的應(yīng)用價值。

1 多尺度快速清晰度估計(jì)

1.1 基本思想和概念

多尺度的基本思想是將被融合的圖像從多個尺度進(jìn)行變換，依據(jù)特定的算法，把這些圖像融合起來構(gòu)成一個新的圖像的多尺度組合。本文介紹的清晰度估計(jì)就是建立在多尺度變換的基礎(chǔ)上，對其進(jìn)行估計(jì)然后進(jìn)行應(yīng)用。

在實(shí)際應(yīng)用的過程中，圖像的融合依據(jù)信息的不同可以分為不同的三個階段：像素處理階段、特征處理階段和符號決策處理階段，見圖1。像素處理是最底層，圖像在該層級上的融合主要是物理參數(shù)的融合，這其中每一個像素都是由其他多個被融合圖像相對應(yīng)區(qū)域的信息決定的；在特征處理階段，不同圖像被輸入系統(tǒng)后，由系統(tǒng)對圖像進(jìn)行處理，抽取其形狀、紋理、對比度等特征進(jìn)行融合，這樣就可以把有價值的圖像特征更好的表現(xiàn)出來；在符號決策處理階段，接收到的信息已經(jīng)是用過前兩個階段抽取的原始圖像的特征值和分類值，這里是對圖像信息的進(jìn)一步抽象與融合。

1.2 多尺度分解算法

對于圖像進(jìn)行多尺度的分解，其方法有很多，目前常用的有兩種算法：一種是按圖像的空間域?qū)D像進(jìn)行分解；另一種是按圖像的頻率域?qū)D像進(jìn)行分解。

按空間域進(jìn)行分解的算法叫金字塔算法，該算法是由Burt P.J早在1986年提出的，隨后Goutsias J和Heijmans 提出了金字塔算法的框架結(jié)構(gòu)。該算法的特點(diǎn)是，不同的分解方法和重構(gòu)方法可以得到不同的分界，其中非線性的金字塔應(yīng)用最廣泛，它的分解和重構(gòu)都利用了形態(tài)學(xué)算子。金字塔算法在圖像融合研究的初期得到了很大的重視和發(fā)展，但是隨著基于頻率域分解的小波算法的提出，金字塔算法的優(yōu)勢越來越不明顯，最終被小波算法替代。

小波算法是基于圖像的頻率域進(jìn)行的圖像分解算法，它是在1988年前后被提出的，基于圖像編碼和模式匹配提出的一種算法，由于其獨(dú)特的優(yōu)越性，之后在信息處理方面得到了廣泛的應(yīng)用。小波算法應(yīng)用在圖像融合中，其計(jì)算的框架如圖2所示。

先將圖像進(jìn)行變換，得到圖像的小波系數(shù)，然后對其按照融合規(guī)則進(jìn)行融合，然后再反變換成融合的圖像。

按圖像頻率域進(jìn)行多尺度分解與按圖像空間域分解的優(yōu)點(diǎn)主要有以下幾個方面：

（1） 小波算法在進(jìn)行小波變換時，可以在分解過程中引入空間的方向信息，但是金字塔算法做不到這一點(diǎn)；

（2） 金字塔算法分界的存在導(dǎo)致如果輸入圖像的清晰差別很大時，融合后的圖像的邊界會十分明顯，這大大影響了圖像融合的效果，但利用小波算法就不會出現(xiàn)這種情況；

（3） 在圖像融合的信噪比方面，小波變換比金字塔算法更好。

1.3 清晰度估計(jì)算法

當(dāng)一幅圖像有清晰區(qū)域和模糊區(qū)域時，如何判斷出清晰區(qū)域與模糊區(qū)域是進(jìn)行下一步圖像融合的關(guān)鍵。在多尺度分解圖像的基礎(chǔ)上對其分解后的清晰度進(jìn)行估計(jì)，是區(qū)分清晰區(qū)域和模糊區(qū)域的主要做法。

2 多聚焦圖像超分辨融合

2.1 清晰區(qū)域判斷

數(shù)據(jù)放在同一層，用戶使用頻率高的數(shù)據(jù)放在主要層，不同的數(shù)據(jù)放在不同的層。對輸入的多聚焦圖像進(jìn)行超分辨的融合，首先要對清晰區(qū)域進(jìn)行識別和提取。如上文所述，本文利用頻率域?qū)⒍鄠€輸入的多聚焦圖像的清晰區(qū)域識別劃分，然后提取融合。以兩幅多聚焦圖像的融合為例說明融合的過程。

第三步，將經(jīng)過以上步驟得到的圖像清晰區(qū)域通過降采樣，然后升采樣，這樣使兩幅圖像中區(qū)域的頻率域值相同，為后面的圖像融合做好準(zhǔn)備。

2.2 圖像融合框架

基于多尺度快速清晰度估計(jì)的多聚焦圖像超分辨融合的框架，如圖3所示。在這一框架下，有提取特征、匹配、決策和組合等模塊。

多尺度分析模塊：如上文所述，將輸入的源圖像進(jìn)行頻域或者空間域分解，然后進(jìn)行多尺度清晰度估計(jì)。

顯著特征度量模塊：對于已經(jīng)分解的圖像，在分析域中抽取其中比較顯著的部分，這些部分對圖像是明顯的反映或是圖像的特征。

匹配模塊：尋找相似的部分，匹配值反映了2個輸入源的相似性。

決策模塊：這個模塊是融合算法的核心模塊，它的輸出直接決定了最終的組合塊的效果。

組合模塊：該模塊將得到的系數(shù)按構(gòu)成一幅圖像的方法進(jìn)行組合。

多尺度反變換模塊：通過反變換將組合結(jié)果映射回去，得到最終融合的圖像。

3 實(shí)驗(yàn)結(jié)果

本文以兩幅榕樹葉的多聚焦圖像的融合為例，對本文提出的方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)選取的兩幅多聚焦圖像來自網(wǎng)絡(luò)，首先對這兩幅圖像進(jìn)行標(biāo)記，分別記為[I1]和[I2，]將標(biāo)記后的圖像進(jìn)行分解，將兩幅圖像都依次分解為9×9大小的圖像塊，利用上文所述清晰度估計(jì)公式對分解后的區(qū)域進(jìn)行清晰度估計(jì)，計(jì)算其頻率域值，其次按0.1的降采樣尺度遞減，計(jì)算出分解后的每個圖像塊的真實(shí)降采樣數(shù)據(jù)和相對數(shù)據(jù)，然后再從這些圖像塊中選取20個圖像塊，將其與源圖像具有相同內(nèi)容的樹葉圖像進(jìn)行比較，對提取的次清晰區(qū)域采用對應(yīng)尺度進(jìn)行超分辨率重建，這樣一來，就可以得到每個區(qū)域的重建圖像，即可得到最終的超分辨率重建的融合結(jié)果，融合結(jié)果如圖4所示。由圖4所示的實(shí)驗(yàn)結(jié)果可以看出，本文提出的基于多尺度快速清晰去估計(jì)的多聚焦圖像超分辨融合技術(shù)是可行的，并且最終的圖像融合效果也是十分令人滿意的。

4 結(jié) 語

本文提出了一種基于多尺度快速清晰度估計(jì)的多聚焦圖像超分辨率融合的技術(shù)，通過分析研究對比傳統(tǒng)的對圖像的多尺度分解算法，指出基于圖像頻率域的小波分解算法比基于圖像空間域的金字塔算法具有優(yōu)勢，利用小波分解算法結(jié)合圖像清晰度估計(jì)算法，實(shí)現(xiàn)對多聚焦圖像清晰區(qū)域的分解、識別和提取，通過對兩幅多聚焦圖像的研究，搭建圖像融合系統(tǒng)框架，提取兩幅圖像的不同清晰區(qū)域和模糊區(qū)域，分別計(jì)算并得到兩幅圖像清晰區(qū)到模糊區(qū)的降采樣尺度，然后對這些次清晰區(qū)域進(jìn)行超分辨率重建，最終得到一幅各個區(qū)域都清晰的融合圖像。實(shí)驗(yàn)結(jié)果表明，本文提出的基于多尺度快速清晰度估計(jì)的多聚焦圖像超分辨率融合技術(shù)保留了源圖像中的幾乎全部最清晰區(qū)域，相比于傳統(tǒng)的圖像融合方法有了極大提高和改善，融合后的圖像清晰度也比傳統(tǒng)方法得到的圖像的清晰度有了大幅度的提高，融合結(jié)果比較理想，值得借鑒。

參考文獻(xiàn)

[1] 徐海，安吉堯.一種新的結(jié)合SVM和FNN的多聚焦圖像融合算法[J].計(jì)算技術(shù)與自動化，2015（1）：81?87.

[2] 王振飛，范剛龍.基于神經(jīng)網(wǎng)絡(luò)與對比度的多聚焦圖像融合技術(shù)[J].計(jì)算機(jī)應(yīng)用，2006，26（7）：1590?1592.

[3] 張誠成，胡金春.基于支持向量聚類的多聚焦圖像融合算法[J].軟件學(xué)報(bào)，2007，18（10）：2445?2457.

[4] 劉松.基于SVM信息融合的圖像識別與并行實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用，2009，45（33）：168?170.

[5] 劉振宇，陳超，江濤.改進(jìn)的多聚焦圖像融合方法研究[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（7）：187?189.

[6] 陸朝霞，潘泉.一種新的基于HIS和小波變換的圖像融合方法[J].計(jì)算機(jī)應(yīng)用研究，2008，25（2）：450?452.

[7] 於時才，呂艷瓊.一種基于小波變換的圖像融合新算法[J].計(jì)算機(jī)應(yīng)用研究，2009，26（1）：390?391.

[8] 朱煉，孫楓，夏芳莉，等.圖像融合研究綜述[J].傳感器與微系統(tǒng)，2014（2）：14?18.

[9] 彭真明，景亮，何艷敏，等.基于多尺度稀疏字典的多聚焦圖像超分辨融合[J].光學(xué)精密工程，2014（1）：170?176.

[10] 路錦正，張啟衡.超完備稀疏表示的圖像超分辨率重構(gòu)方法[J].系統(tǒng)工程與電子技術(shù)，2012，34（2）：403?408.