圣文順, 孫艷文, 張會影

(1. 南京工業(yè)大學(xué) 浦江學(xué)院, 江蘇 南京 211200; 2. 南京審計(jì)大學(xué) 信息工程學(xué)院, 江蘇 南京 211815)

多聚焦圖像融合算法對多幅不同聚焦度的圖像進(jìn)行處理，利用已有圖像的互補(bǔ)信息獲取細(xì)節(jié)更加清晰的聚焦融合圖像，能夠獲取更全面、更準(zhǔn)確的場景描述，可廣泛應(yīng)用于遠(yuǎn)程遙感、軍事監(jiān)控、計(jì)算機(jī)視覺以及醫(yī)學(xué)圖像分析等領(lǐng)域.

在可見光成像系統(tǒng)中，其聚焦區(qū)域外的目標(biāo)成像往往模糊；多聚焦圖像融合算法通過將2個或多個傳感器所獲取的同一場景不同方位的圖像進(jìn)行綜合，以獲取場景內(nèi)所有物體的清晰圖片.近年來，基于稀疏理論(sparse representation, SR)、快速有限剪切波變換(fast finite shearlet transform, FFST)和引導(dǎo)濾波模型(guided image filtering, GIF)[1]的算法受到越來越多的關(guān)注，研究者提出了許多高效的多聚焦圖像融合算法，如神經(jīng)網(wǎng)絡(luò)、多尺度分析、模糊邏輯以及香農(nóng)熵加權(quán)[2]等.在上述算法中，多尺度分析算法由于能夠提取出圖像的細(xì)節(jié)性顯著信息而受到青睞，但同時處理算法也越趨復(fù)雜.隨著對圖像清晰度的要求不斷提高，多尺度分析中的小波變換已不能最優(yōu)地表示具有面奇異性的高維函數(shù)或二維圖像[3].快速有限剪切波變換具有小波變換的所有優(yōu)點(diǎn)，可以有效地減少誤差帶來的影響，因此更適合圖像融合.文獻(xiàn)[4]中提出基于快速有限剪切波變換與引導(dǎo)濾波的多聚焦圖像融合算法，可較好地提取圖像特征和圖像內(nèi)容，但是仍然無法高效地描述圖像及其內(nèi)部特征，且融合后的算法對比度下降.

文中綜合稀疏理論、快速有限剪切波變換以及引導(dǎo)濾波好的梯度保持能力，提出一種基于稀疏理論、快速有限剪切波變換聯(lián)合引導(dǎo)濾波(FFST-GIF)的多聚焦圖像融合算法.將源圖像利用FFST分解后，根據(jù)不同的系數(shù)特性，設(shè)計(jì)相應(yīng)的融合策略并進(jìn)行相應(yīng)試驗(yàn)，通過對比多組圖像融合試驗(yàn)結(jié)果驗(yàn)證算法的優(yōu)越性.

1 相關(guān)理論

1.1 稀疏理論

稀疏理論近年來蓬勃發(fā)展，廣泛應(yīng)用于圖像處理領(lǐng)域.稀疏表示的數(shù)學(xué)模型為

(1)

式中： 字典D=[d1,d2,…,dn](dn∈Rn×m,m≥n)為一個超完備字典集；y∈Rn是自然信號；x∈Rm為稀疏表示的系數(shù)；‖x‖0是x的l0范式；ε為逼近誤差的容限.

通過K-SVD方法訓(xùn)練低頻子帶系數(shù)得到字典D，約束式為

(2)

式中：y=[y1,y2,…,yn]為樣本訓(xùn)練矩陣；x∈Rn×n表示稀疏矩陣；Xi為x的第i列矩陣；R為稀疏度.

通過正交匹配追蹤(orthogonal matching pursuit, OMP)算法估計(jì)稀疏表示的系數(shù)X.

1.2 快速有限剪切波算法

剪切波變換[5]以合成小波理論為基礎(chǔ)，作為多尺度幾何的分析工具，克服了小波變換原有的缺點(diǎn)，通過縮放、剪切、平移等仿射變換生成不同特征的剪切波函數(shù).剪切波處理圖像或視頻時，其分解步驟如下：

3) 重新定義笛卡爾采樣坐標(biāo)值后，再應(yīng)用逆向二維快速傅里葉變換(fast fourier transformation, FFT)或?qū)ι弦徊綖V波處理的數(shù)據(jù)進(jìn)行逆?zhèn)蜗騀FT，得到剪切波系數(shù).

4) 令j=j+1，重復(fù)步驟1)至3)，直到j(luò)=c，如圖1所示.

圖1 剪切波處理圖像的過程

對于二維剪切波的分解如下：

(3)

其中d=0、1分別對應(yīng)上下和左右.對于每個尺度都會有支撐域，對應(yīng)不同的方向保證其平穩(wěn)性，如圖2所示.

圖2 二維剪切波分解圖像

1.3 引導(dǎo)濾波

引導(dǎo)濾波器[6]是一種自適應(yīng)權(quán)重濾波器.與傳統(tǒng)的濾波器(雙邊濾波器、高斯濾波器等)相比，引導(dǎo)濾波器能夠平滑圖像，同時還能增強(qiáng)圖像的整體特性，保持邊界的細(xì)節(jié)信息，廣泛應(yīng)用于圖像融合.

假設(shè)I是引導(dǎo)濾波器的引導(dǎo)圖像，輸入的待濾波圖像是p，濾波后的輸出圖像是q，引導(dǎo)圖像I確定的權(quán)重值是wij，則引導(dǎo)圖像濾波的簡單定義形式如下：

(4)

wij的表達(dá)式為

(5)

qi=amIi+bm,?i∈wm，

(6)

(7)

式中：δ為正則化系數(shù).對代價(jià)函數(shù)進(jìn)行線性回歸并對窗口內(nèi)的qi求均值，得出最終的引導(dǎo)圖像濾波為

qi=aiIi+bi.

(8)

2 融合規(guī)則

針對大部分圖像的信息均存在于多尺度變換域的低頻系數(shù)中，而以往小波變換對其進(jìn)行處理往往導(dǎo)致信息丟失、綜合性不佳等問題，文中提出了一種結(jié)合SR與FFST-GIF的多聚焦融合算法SR-FFST-GIF.該算法在FFST的基礎(chǔ)上，結(jié)合稀疏理論與引導(dǎo)濾波，以期獲得細(xì)節(jié)特征豐富的融合圖像.

2.1 結(jié)合稀疏理論的低頻系數(shù)融合規(guī)則

針對低頻子帶系數(shù)中存在大量圖片輪廓信息，使用傳統(tǒng)方法對其處理往往導(dǎo)致稀疏性不佳等問題，引入稀疏理論予以解決.稀疏理論不僅使圖片輪廓的信息完美呈現(xiàn)，還能使圖像的稀疏度得以提高，融合效果較為理想，具體實(shí)現(xiàn)步驟如下：

1) 利用快速有限剪切波變換分解尺寸大小為M×N的源圖像A、B，分別得到高頻和低頻子帶系數(shù).

2) 使用大小為m×m的滑動窗口分別對兩圖的低頻子帶系數(shù)進(jìn)行處理，得到數(shù)量為(N+m-1)×(M+m-1)的子塊，然后將圖像子塊轉(zhuǎn)化為列向量，得到樣本訓(xùn)練矩陣VA和VB.

3) 分別求VA和VB元素的平均值，得到樣本矩陣VAS和VBS.

4) 利用K-SVD算法分別對VAS和VBS進(jìn)行訓(xùn)練，得到低頻子帶系數(shù)的過完備字典D.

5) 采用OMP算法對VAS和VBS的稀疏系數(shù)進(jìn)行估計(jì)，得到相應(yīng)的稀疏系數(shù)矩陣αA和αB.對第i列稀疏系數(shù)矩陣用下式(9)進(jìn)行融合：

(9)

6) 將融合后的αF乘以D，得到圖像低頻子帶重構(gòu)系數(shù)矩陣，其計(jì)算式為

V=DαF.

(10)

7) 將所得矩陣V的列轉(zhuǎn)換為數(shù)據(jù)子塊，從而得到融合低頻系數(shù).

具體的稀疏理論低頻子帶系數(shù)融合過程見圖3.

圖3 低頻子帶系數(shù)融合流程圖

2.2 高頻融合規(guī)則

高頻子帶系數(shù)包含圖像的細(xì)節(jié)特征，為了更好、更準(zhǔn)確地提取圖像的細(xì)節(jié)信息，保持圖像的邊緣清晰，文中采取相對標(biāo)準(zhǔn)差算法[7]進(jìn)行處理.根據(jù)圖像融合規(guī)則，相對標(biāo)準(zhǔn)差的值越小，表明融合圖像越清晰，融合效果越好.對于高頻子帶系數(shù)的噪聲問題，采用引導(dǎo)濾波對高頻子帶系數(shù)加權(quán)矩陣進(jìn)行處理，以滿足空間的一致性，具體步驟如下：

1) 假設(shè)區(qū)域窗口的大小為3×3，計(jì)算源圖像的相對標(biāo)準(zhǔn)差，計(jì)算式為

(11)

其中，

2) 利用引導(dǎo)濾波優(yōu)化矩陣求解引導(dǎo)濾波系數(shù)，即

(12)

3) 重構(gòu)高頻子帶系數(shù)，計(jì)算式為

(13)

式中：Fl,k為k尺度l方向的高頻融合系數(shù)；N為融合圖像系數(shù).

3 融合過程

2) 采用稀疏理論對低頻子帶系數(shù)進(jìn)行融合.

3) 采用引導(dǎo)濾波和相對標(biāo)準(zhǔn)差算法對高頻子帶系數(shù)進(jìn)行融合.

4) 將步驟2)、3)得到的系數(shù)通過逆FFST重構(gòu)，最終得到融合后的圖像.

4 試驗(yàn)結(jié)果與分析

為了驗(yàn)證算法的有效性，文中選取了基于非下采樣輪廓波變換與脈沖耦合神經(jīng)網(wǎng)絡(luò)的多聚焦圖像融合(NPF)算法[8]、復(fù)剪切波域基于引導(dǎo)濾波的多聚焦圖像(CSGF)算法[9]以及基于快速有限剪切波變換與引導(dǎo)濾波的多聚焦圖像融合(FGF)算法[10]進(jìn)行對比.考慮到多尺度變換方法的多樣性，文中算法分別與小波變換(wavelet transformation, WT)、離散曲波變換(discrete curvelet transformation, DCT)進(jìn)行試驗(yàn)對比.采用平均梯度AG、空間頻率SF、互信息MI以及邊緣保留信息傳遞因子QAB/F(高權(quán)重評價(jià)標(biāo)準(zhǔn))4個指標(biāo)[11-12]進(jìn)行客觀評價(jià).

為了突出文中算法的優(yōu)越性，特選取嚴(yán)格配準(zhǔn)(像素大小為256×256)的多聚焦圖像為樣本，試驗(yàn)均在MATLAB上進(jìn)行.對不同的融合算法和變換域進(jìn)行試驗(yàn)對比，采用上述指標(biāo)進(jìn)行客觀評價(jià)，分析試驗(yàn)結(jié)果.

4.1 不同變換域融合試驗(yàn)

采用哈佛數(shù)據(jù)庫的腦核磁共振圖像進(jìn)行不同變換域的對比仿真試驗(yàn).試驗(yàn)中所有的融合規(guī)則均采用文中所提出的融合規(guī)則，并對源圖像加入10%的高斯噪聲，處理后的圖像融合效果如圖4所示.

圖4 融合處理圖像

對比4a、4d、4e這3幅圖像可以看出，小波變換融合后的圖像去噪能力較差，圖像邊緣不清晰，噪聲污點(diǎn)也較多.由圖4d可見，離散曲波變換融合后圖像的去噪能力明顯優(yōu)于小波變換，但是邊緣的亮度以及細(xì)節(jié)特征還有待提高.圖4e為文中算法所處理的圖像，其無論是內(nèi)部細(xì)節(jié)還是邊緣亮度，都遠(yuǎn)遠(yuǎn)高于其他算法處理所得圖像，最大程度地保留了源圖像的信息，接近理想圖像，更加符合人眼視覺特性，這驗(yàn)證了文中算法的優(yōu)越性.

試驗(yàn)所得不同變換域圖像融合評價(jià)指標(biāo)數(shù)據(jù)如表1所示.

表1 不同變換域圖像融合評價(jià)指標(biāo)

由表1可見，基于FFST融合算法的評價(jià)指標(biāo)均高于其他算法，表明該算法不僅有效地改善圖像質(zhì)量，而且信息保存更加完整，更適用于圖像融合.

4.2 不同融合算法試驗(yàn)

根據(jù)融合算法的不同，文中選取了4組多聚焦圖像作為測試數(shù)據(jù)，將這4種算法進(jìn)行對比，結(jié)果如圖5所示.NPF算法將源圖像通過NSCT分解，計(jì)算分解后的系數(shù)區(qū)域空間頻率，將頻率作為PCNN的輸入神經(jīng)元，從而產(chǎn)生神經(jīng)元脈沖，再將點(diǎn)火次數(shù)時間最長的系數(shù)作為融合系數(shù)，最后通過逆NSCT將其融合.CSGF算法應(yīng)用復(fù)剪切波對圖像進(jìn)行多尺度分解，對分解后的低頻子帶系數(shù)應(yīng)用引導(dǎo)濾波的加權(quán)方法進(jìn)行融合，而高頻子帶系數(shù)則結(jié)合引導(dǎo)濾波的SML方法進(jìn)行融合.FGF算法采取快速有限剪切波變換將源圖像分解，對分解后的低頻子帶系數(shù)運(yùn)用區(qū)域NSML進(jìn)行融合，高頻子帶系數(shù)運(yùn)用引導(dǎo)濾波的區(qū)域能量加權(quán)高頻融合規(guī)則進(jìn)行融合，最后通過逆FFST重構(gòu)得到融合圖像.

從pepper和losec的圖像效果來看：圖5a中的圖像輪廓比較分明，信息比較豐富，但是一些細(xì)節(jié)信息還是不夠突出；圖5b圖像比較模糊，但是圖5b的整體清晰度有所提高，只是其邊緣部分的光圈效果還是比較明顯；圖5c的效果明顯優(yōu)于前兩種算法，但是各部分的對比度表現(xiàn)不是特別突出；圖5d的圖像十分清楚，各部分的對比度明顯高于其他算法，圖像的細(xì)節(jié)信息以及邊緣部分也十分明顯，因此視覺效果最好.從pencil和camera圖像效果來看：圖5a中的圖像清晰度較高，圖像信息比較豐富，但是細(xì)節(jié)信息不夠明顯；圖5b相對來說清晰度依舊不夠明顯；圖5c的清晰度明顯提高，細(xì)節(jié)信息也較明顯，但是對比度不是太高；圖5d的圖像符合人眼視覺效果，各方面對比度也比較高，更貼近事實(shí).表2給出了基于4種融合算法的多聚焦圖像客觀評價(jià)指標(biāo)試驗(yàn)數(shù)據(jù).

圖5 圖像融合算法對比

表2 多聚焦圖像在不同融合算法下的評價(jià)指標(biāo)

結(jié)合圖5及表2可見，經(jīng)文中算法處理后的圖像在視覺效果上信息豐富且邊緣清晰連續(xù)，在各項(xiàng)數(shù)據(jù)指標(biāo)上均優(yōu)于其他算法，這驗(yàn)證了文中算法在融合圖像處理方面的優(yōu)越性.

5 結(jié) 論

依據(jù)稀疏表示的特征自動選擇性、快速有限剪切波變換優(yōu)良的細(xì)節(jié)表現(xiàn)特征以及引導(dǎo)濾波良好的梯度保持能力，提出了一種新的多聚焦圖像融合算法，并選取多組嚴(yán)格配準(zhǔn)的多聚焦圖像進(jìn)行不同融合算法的對比試驗(yàn).算法在客觀綜合評價(jià)指標(biāo)與視覺效果方面均取得了突出優(yōu)勢，平均梯度(AG)最高可達(dá)0.081 3，邊緣保留信息傳遞因子(QAB/F)最高可達(dá)0.793 5.文中提出的融合算法所獲取的融合圖像具有良好的整體清晰度和局部細(xì)節(jié)保持，該算法有較好的應(yīng)用前景.