楊 雪,鄭婷婷,戴 陽(yáng)

(長(zhǎng)安大學(xué) 信息工程學(xué)院,西安 710064)

1 引言

圖像融合是將在同一場(chǎng)景下的不同聚焦的兩幅或者多幅圖像的信息進(jìn)行冗余互補(bǔ),從而形成一張具有完整信息的圖像.圖像融合在許多領(lǐng)域都具有廣泛的應(yīng)用,例如在醫(yī)學(xué)醫(yī)療方面和遙感圖像的融合等方面.現(xiàn)如今,存在的圖像融合方法有很多種,其中比較常用的方法是基于分辨率分解的圖像融合,基于分辨率分解的方法又有多種,例如基于圖像金字塔分解[1,2]的方法、基于小波變換[3]的方法、基于相位一致性和方向?qū)Ρ榷鹊姆亲硬蓸虞喞€變換的融合方法[4]、基于稀疏表示的同時(shí)進(jìn)行正交匹配跟蹤的融合[5]方法等等,但是上述的方法中的一些方法對(duì)采集的圖像有很大的要求,這就意味著對(duì)采集圖像的傳感器有著很大的負(fù)擔(dān),而且有些方法在計(jì)算上很復(fù)雜.基于以上不足,本文提出來了一種基于孿生卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法.

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[6–8]是人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)這兩者的完美結(jié)合,其通過反向傳播算法[9]來訓(xùn)練其中的權(quán)值,進(jìn)而實(shí)現(xiàn)我們所想要的結(jié)果.卷積神經(jīng)網(wǎng)絡(luò)有很多優(yōu)點(diǎn),例如,有比較好的容錯(cuò)性能、自適應(yīng)性能、比較好的自學(xué)能力等等.由于卷積神經(jīng)網(wǎng)絡(luò)以上的優(yōu)點(diǎn),將原來傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)為孿生卷積神經(jīng)網(wǎng)絡(luò),孿生卷積神經(jīng)網(wǎng)絡(luò)在實(shí)質(zhì)上就是一個(gè)雙通道的卷積神經(jīng)網(wǎng)絡(luò),并且為了計(jì)算簡(jiǎn)單,本文算法將其中的一個(gè)卷積層換成了殘差網(wǎng)絡(luò)層.

2 Siamese 網(wǎng)絡(luò)

“Siamese”網(wǎng)絡(luò)是Bromley J、Guyon I 等在1993年在第一次提出來的[10].又在2005年由Chopra S、Hadse R 等[11]進(jìn)行了補(bǔ)充,在其文章中用孿生網(wǎng)絡(luò)進(jìn)行了人臉相似性判別,將Siamese 網(wǎng)絡(luò)分成兩部分,前半部分用于特征提取,將兩張圖片輸入進(jìn)網(wǎng)絡(luò)中輸出兩個(gè)特征向量,后半部分用構(gòu)造的特征向量進(jìn)行距離度量,計(jì)算輸入圖像的相似度以判別人臉的相似性.后又由Zagoruyko S 和Komodakis N 在文獻(xiàn)[12]中以Siamese 網(wǎng)絡(luò)為原始基礎(chǔ)進(jìn)行了改進(jìn),首次將空間金字塔池化(Spatial Pyramid Pooling,SPP)和Siamese 網(wǎng)絡(luò)進(jìn)行了結(jié)合[13].

Siamese 網(wǎng)絡(luò)可以理解成是一種衡量相似性的算法,當(dāng)要分類的類別很多但是每一個(gè)類別所對(duì)應(yīng)的樣本數(shù)目很少的時(shí)候可以用于分類.Siamese 網(wǎng)絡(luò)在近年來多應(yīng)用于人臉識(shí)別以及相似度檢測(cè).本文所提的方法是基于Siamese 網(wǎng)絡(luò)進(jìn)行特征的提取從而生成一個(gè)特征向量.Siamese 網(wǎng)絡(luò)有兩個(gè)分支,并且兩個(gè)分支的權(quán)重和結(jié)構(gòu)是一樣的.Siamese 網(wǎng)絡(luò)具體的結(jié)構(gòu)如圖1所示,將原圖片X1、X2送入到系統(tǒng)當(dāng)中,判斷X1和X2是否是同一圖片,W是系統(tǒng)共享的學(xué)習(xí)參數(shù),GW{X1}和GW{X2}是生成低維空間中的X1和X2的兩點(diǎn)映射,這樣就可以通過計(jì)算GW{X1}和GW{X2}兩者之間的距離來判斷X1和X2是否是同一張圖片了.

圖1 Siamese 原始網(wǎng)絡(luò)結(jié)構(gòu)圖

3 本文所用網(wǎng)絡(luò)

3.1 本文所用的孿生卷積神經(jīng)網(wǎng)絡(luò)

本文所采用的Siamese 網(wǎng)絡(luò)是文獻(xiàn)[12]中提及網(wǎng)絡(luò)模型的改進(jìn)版,本文網(wǎng)絡(luò)用了兩個(gè)完全相同的卷積神經(jīng)網(wǎng)絡(luò),其中這兩個(gè)網(wǎng)絡(luò)是權(quán)值共享.

圖2給出的是圖像融合算法的前一部分特征提取的網(wǎng)絡(luò)圖,這是一個(gè)Siamese CNN[14]網(wǎng)絡(luò)圖,其中左右兩邊的兩個(gè)部分在結(jié)構(gòu)上是完全一樣的,并且共享相同的參數(shù),即權(quán)重和偏置.

圖2 本文所使用的Siamese 網(wǎng)絡(luò)結(jié)構(gòu)圖

本文網(wǎng)絡(luò)是由兩個(gè)卷積層,兩個(gè)池化層,一個(gè)殘差塊以及一個(gè)全連接層組成的.在本文中我們將原本孿生網(wǎng)絡(luò)中的一個(gè)卷積層換成了殘差網(wǎng)絡(luò)[15,16],所用的殘差網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示.輸入的patch 為16×16,即卷積層和池化層的通道數(shù)都是16(即卷積模板為16 種),其卷積核的大小為3×3,池化窗口尺寸為2×2,卷積方式為零填充(zero padding),卷積層的激活函數(shù)為Relu,并且子CNN 輸出的是256 維特征向量,每個(gè)池化層包括跨信道歸一單元.首先將輸入的patch 的空間大小調(diào)整為16×16,然后對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以最大損失函數(shù)為優(yōu)化目標(biāo)(損失函數(shù)如式(1),采用隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)[17]的方法使其最大損失函數(shù)最小化;第二步將拼接完成的512 個(gè)特征圖直接連接在二維向量上面;最后,將連接生成的這個(gè)二維向量作為輸入,輸出給一個(gè)雙向的Softmax 層,其中Softmax 可以用于分類,輸出的是類別的概率分布,網(wǎng)絡(luò)在Softmax 層生成了兩類的概率分布,這兩個(gè)類別分別對(duì)應(yīng)的是歸一化之后的權(quán)重分配的結(jié)果.由于本文的網(wǎng)絡(luò)是具有全連接的,所以輸入和輸出的數(shù)據(jù)都是固定尺寸的,其模型配置如表1所示.

其中,i≠j,Xi和Xj為兩個(gè)子CNN 的最后一層獲得的兩個(gè)256 維特征向量,M是一個(gè)正的半有限矩陣(M∈R256×256).

圖3 殘差網(wǎng)絡(luò)結(jié)構(gòu)圖

表1 模型配置

我們首先將全連通層轉(zhuǎn)換為包含兩個(gè)大小為3×3×512 的核的等效卷積層,轉(zhuǎn)換后,網(wǎng)絡(luò)可以將任意大小的原圖像作為一個(gè)整體進(jìn)行處理,生成一個(gè)密集的預(yù)測(cè)圖,其中每個(gè)預(yù)測(cè)(一個(gè)二維向量)包含對(duì)應(yīng)位置的patch 對(duì)的相對(duì)清晰信息.由于每個(gè)預(yù)測(cè)中只有兩個(gè)維度,并且它們的和被標(biāo)準(zhǔn)化為1,因此輸出可以簡(jiǎn)化為第一個(gè)(或第二個(gè))patch 的權(quán)重.最后,為了得到與原圖像大小相同的權(quán)值圖,我們將該值賦值為patch 位置內(nèi)所有像素的權(quán)值,并對(duì)重疊的像素進(jìn)行平均,最后得到最終的權(quán)重圖.

3.2 融合過程

整個(gè)的圖像融合過程可以分為兩個(gè)部分,第一個(gè)部分用孿生卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖片信息的提取得到一個(gè)權(quán)重圖,這一部分的詳細(xì)描述在3.1 章節(jié);第二部分是利用金字塔分解后再融合,具體融合過程如圖4所示,先將第一部分得到的權(quán)重圖W經(jīng)過高斯金字塔變換得到G{W},再將兩張待融合圖片A和B進(jìn)行拉普拉斯變換分別得到L{A}和L{B},再將得到的G{W}和L{A}、L{B}分別進(jìn)行融合,得到L{C}和L{D},再將L{C}和L{D}進(jìn)行融合得到L{F},最中將L{F}進(jìn)行拉普拉斯反變換得到最終的融合圖像F.

圖4 融合過程圖

對(duì)于每一個(gè)分解層,需要計(jì)算其L{A}l和L{B}l的局部能量:

其中,L{A}l和L{B}l分別表示了第l層拉普拉斯金字塔圖像,ElA(x,y)、ElB(x,y)分別表示了第l層,中心位置為(x,y)的A圖和B圖的局部區(qū)域能量,下同.

融合模式測(cè)定中的相似度測(cè)量可以表示為式(3):

其范圍為[–1,1],若測(cè)量相似度為1,則說明兩者具有高度相似性.t表示了融合模式測(cè)定中的閾值,若Sl(x,y)≥t,則在加權(quán)平均融合時(shí)使用式(4):

如果Sl(x,y)

最后,對(duì)L{F}l進(jìn)行拉普拉斯反變換得到最終融合圖像F.

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文方法的有效性,使用3 組圖像對(duì)網(wǎng)絡(luò)模型的性能進(jìn)行測(cè)試.這3 組圖像分為3 類,第1 類是醫(yī)學(xué)圖像組合(如圖5所示),包括一張計(jì)算機(jī)斷層掃描(CT)圖像和一張核磁共振圖像(MRI);第2 類是風(fēng)景圖片(如圖6所示),包括兩張不同焦點(diǎn)的兩張豹子的圖片;第3 類是花草圖像(如圖7所示),包含了兩張不同焦點(diǎn)的花草圖像.本文所有的實(shí)驗(yàn)均在Lenovo CORE i5 Bth Gen 下的Matlab 2016A 的版本下完成.

在實(shí)驗(yàn)中,為更好測(cè)試本文方法的可實(shí)用性,選用兩種現(xiàn)存圖像融合方法和本文圖像融合方法進(jìn)行比較,且比較了原始Siamese CNN 網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果和改進(jìn)后Siamese CNN 網(wǎng)絡(luò)的結(jié)果.現(xiàn)存兩種圖像融合方法分別是基于導(dǎo)向?yàn)V波(Guided Filtering,GF)[18]的圖像融合方法、基于小波變換(Wavelet Transform,WT)[19]的圖像融合方法.僅從醫(yī)學(xué)圖像的融合結(jié)果分析,可明顯看出來本文方法具有更高的對(duì)比性,基于小波變換方法的圖像看起來存在很多噪聲,從視覺效果上來說不如本文方法.3 種類型圖片融合結(jié)果如圖8至圖10所示.

圖5 醫(yī)學(xué)圖像

圖6 風(fēng)景不同對(duì)焦圖像

圖7 花草不同對(duì)焦圖像

圖8 醫(yī)學(xué)圖像融合結(jié)果

由于本文實(shí)驗(yàn)圖像是沒有參考圖像的,為了能夠更加客觀的表示對(duì)比的方法和本論文的方法,選取了幾個(gè)客觀的無參考圖像情況下的圖像融合評(píng)價(jià)標(biāo)準(zhǔn).第一個(gè)是互信息(MI),互信息作為信息論中的一個(gè)很重要的概念,可以用來度量?jī)蓚€(gè)變量之間的相關(guān)性程度,在評(píng)價(jià)融合時(shí)可以表示融合之后的圖像包含原始圖像的信息總量,這個(gè)值越大,就表示融合之后的圖像包含的原始圖像的信息越多,融合效果越好,在本文的實(shí)驗(yàn)中互信息的結(jié)果是融合圖像分別和兩個(gè)待融合圖像的互信息之和;第二個(gè)是平均梯度(AG),AG 描述了融合之后圖像的清晰度;第三個(gè)是邊緣強(qiáng)度(ES),ES 描述了融合之后圖片的邊緣信息,ES 越大就說明邊緣信息越多.最后給出了所有的方法在CPU 上的運(yùn)行時(shí)間以作參考.對(duì)比結(jié)果如表2所示.

圖9 風(fēng)景圖像融合結(jié)果

圖10 花草圖像融合結(jié)果

表2 對(duì)比說明

從表2中可見,本文所用方法融合之后的圖像的互信息和平均梯度的數(shù)值都要大于用小波變換和導(dǎo)向?yàn)V波的數(shù)值,那就說明本文所提方法在融合之后的圖像包含原圖像的信息度上和清晰度上都要優(yōu)于小波變換和導(dǎo)向?yàn)V波的圖像融合.但是在邊緣信息的包含量上,在風(fēng)景和花草這兩類上面,本文所提的方法略遜于小波變換和導(dǎo)向?yàn)V波.但是單就視覺效果上來說,本文方法所得到的融合圖像在視覺效果上要比其他兩種辦法好.與原始的網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)比,在包含原圖片的信息、融合圖片的清晰度、和融合圖片的邊緣信息上與改進(jìn)之后的實(shí)驗(yàn)結(jié)果相差不大,但是在運(yùn)行時(shí)間上卻是大大的加快了,說明改進(jìn)之后的方法在時(shí)效性上更好.綜上所述,本文所提出的方法是具有一定的實(shí)用性的.

5 結(jié)論

本文提出了一種基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的像素級(jí)的圖像融合方法,將原本孿生神經(jīng)網(wǎng)絡(luò)中的一個(gè)卷積層換成了殘差塊,比原本的算法更為簡(jiǎn)略,并且實(shí)驗(yàn)所用的時(shí)間更短,實(shí)現(xiàn)了像素級(jí)的圖像融合.首先,用孿生卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了圖像的特征提取;然后,用圖像金字塔對(duì)多尺度特征進(jìn)行融合;最后,與現(xiàn)存的傳統(tǒng)的兩種圖像融合的方法進(jìn)行了比較;側(cè)面印證了本文方法的可實(shí)施性和可取之處.但是本文所提方法融合之后的圖像的邊緣信息包含量不如基于小波變換的圖像融合,在這一點(diǎn)上有待改進(jìn).