臧永盛，周冬明，王長城，夏偉代

(云南大學(xué) 信息學(xué)院，云南 昆明 650504)

0 引 言

由于大多數(shù)數(shù)碼成像系統(tǒng)的景深有限，往往只有在景深范圍內(nèi)的目標是聚焦清晰的，而范圍以外的目標則容易失焦變得模糊，因此很難使所有目標都聚焦在一幅圖像中。多聚焦圖像融合技術(shù)其本質(zhì)就是將同一場景具有不同聚焦區(qū)域的多幅源圖像整合成一個所有區(qū)域都聚焦的融合圖像。近年來，多聚焦融合技術(shù)已經(jīng)被廣泛應(yīng)用在很多領(lǐng)域當中，例如醫(yī)學(xué)成像、數(shù)碼成像和視頻監(jiān)控等應(yīng)用領(lǐng)域[1]。目前，針對多聚焦融合問題，大量的融合算法相繼被提出，這些融合方法主要可以歸納成3類：基于變換域、基于空間域和基于深度學(xué)習(xí)。

基于變換域的方法主要由變換、融合和逆變換這3個步驟組成。首先通過多尺度變換或稀疏特征矩陣分解等方法將源圖像分解成不同頻帶的系數(shù)，然后根據(jù)相應(yīng)的融合策略將分解系數(shù)進行融合,最終將這些融合后的系數(shù)進行逆變換得到融合圖像?；诓煌姆纸馑惴?，變換域的代表方法主要有：交叉雙邊濾波(CBF)[2]、離散小波變換(DWT)[3]和非下采樣輪廓變換(NSCT)[4]等。與變換域方法不同的是，基于空間域的方法只包括兩個步驟：聚焦檢測和重構(gòu)。該類方法大致又可以分為：基于像素、基于塊和基于區(qū)域這3種融合算法?；谙袼氐姆椒ㄍㄟ^直接對單個像素值進行操作獲得融合結(jié)果，但得到結(jié)果往往容易出現(xiàn)聚焦和失焦邊界模糊以及像整體對比度下降等情況。目前，基于像素的代表方法主要有：引導(dǎo)濾波(GF)[5]、聯(lián)合雙邊濾波(MISF)[6]以及密集SIFT(DSIFT)[7]等融合方法。基于塊和區(qū)域的方法首先使用圖像分割技術(shù)或固定大小的滑動窗口把源圖像分割成塊和區(qū)域，然后再利用圖像梯度或空間頻率等聚焦測量方法檢測相應(yīng)塊或區(qū)域的清晰度，最終選擇清晰的塊或區(qū)域組合成融合結(jié)果。盡管基于空間域的融合方法易于實現(xiàn)，但這些方法很難得到完全準確的分割邊界，因此最終的融合結(jié)果在分割邊界周圍往往會出現(xiàn)明顯的偽影。

目前，卷積神經(jīng)網(wǎng)絡(luò)(CNN)因其擁有強大的特征提取能力，被廣泛用于醫(yī)學(xué)圖像融合[8]，紅外與可見光圖像融合和多曝光圖像融合等多個視覺融合任務(wù)中。在多聚焦融合領(lǐng)域，劉宇等提出了基于監(jiān)督訓(xùn)練的CNN融合算法[9]。他們將多聚焦圖像融合任務(wù)視為一個二分類任務(wù)，為了模擬多聚焦圖像，他們首先制作了大量的圖片對，然后利用卷積神經(jīng)網(wǎng)絡(luò)來進行決策圖的預(yù)測，最終根據(jù)得到的決策圖獲得融合圖像。另一種基于監(jiān)督學(xué)習(xí)的融合算法是P-CNN[10]，它通過在公共數(shù)據(jù)集Cifar-10[11]添加12種不同形狀的高斯濾波并制作聚焦、失焦和未知這3個不同等級的標簽。但和CNN不同的是，P-CNN模型輸出3種標簽的概率，這些概率被應(yīng)用在融合權(quán)重圖中。除以上兩種方法外，最近提出的通用融合算法IFCNN[12]，它通過在RGB-D數(shù)據(jù)集[13](NYU-D2)上生成大量真實融合圖像數(shù)據(jù)并以監(jiān)督的方式直接進行融合。以上3種基于監(jiān)督學(xué)習(xí)的融合算法雖然充分地利用了卷積神經(jīng)神經(jīng)網(wǎng)絡(luò)強大的提取特征能力，取得了比傳統(tǒng)方法更優(yōu)秀的效果。但是它們都需要制作帶有標簽的大型數(shù)據(jù)集，由于標簽制作的好壞直接影響生成的決策圖的準確性，進一步影響到融合圖像的質(zhì)量，使得算法很難獲得理想的融合圖像。

因此，針對上述問題，本文提出了一種無監(jiān)督學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法，它由編解碼網(wǎng)絡(luò)和活動水平檢測優(yōu)化模塊組成。首先，編解碼網(wǎng)絡(luò)被用來提取圖像特征，訓(xùn)練過程中采用像素損失和結(jié)構(gòu)相似性損失組成的函數(shù)作為損失函數(shù)，以無監(jiān)督的方式在現(xiàn)有的數(shù)據(jù)上訓(xùn)練編解碼網(wǎng)絡(luò)。此外，為了進一步提升網(wǎng)絡(luò)的性能，我們還在網(wǎng)絡(luò)中引入了雙重注意力機制。活動水平檢測優(yōu)化模塊則是通過利用改進的拉普拉斯能量和(SML)[14]對編碼部分輸出的深層特征進行活動水平檢測以生成準確的決策圖。最后，根據(jù)最終的決策圖實現(xiàn)圖像融合。與傳統(tǒng)方法相比，本文方法生成的融合結(jié)果能保有更多的源圖像細節(jié)特征，在失焦與聚焦邊界處也不會產(chǎn)生偽影。本文方法既充分的利用卷積神經(jīng)網(wǎng)絡(luò)強大的特征提取能力，又不需要制作新的數(shù)據(jù)集，與基于監(jiān)督學(xué)習(xí)的方法相比更容易實現(xiàn)，節(jié)約更多的成本，融合結(jié)果毫不遜色甚至更甚一籌。

1 提出的方法

圖1中顯示了本文提出的多聚焦融合算法的整體結(jié)構(gòu)。如圖1所示，在訓(xùn)練階段，本文使用編碼模塊和解碼模塊組成的網(wǎng)絡(luò)來對源圖像進行特征提取和重建，未進行融合操作。在測試階段，訓(xùn)練好網(wǎng)絡(luò)并固定參數(shù)后，本文丟棄解碼模塊，對編碼模塊獲得的深層特征使用SML計算活動水平來獲得粗略的決策圖，然后對決策圖進行一系列形態(tài)學(xué)操作得到更準確的決策圖，最終根據(jù)優(yōu)化后的策圖獲得融合的結(jié)果圖。

圖1 提出的網(wǎng)絡(luò)結(jié)構(gòu)

1.1 特征提取模塊

如圖1所示，特征提取模塊主要包含兩個殘差模塊，殘差模塊由一個卷積層和雙重注意力模塊組成。首先，本文采用一個卷積層從輸入圖像中提取淺層特征，卷積通道數(shù)由1變成64。令I(lǐng)in表示輸入的源圖像，淺層特征表示為

F0=Conv(Iin)=δ(Ww×Iin+B)

(1)

式中：Conv(.)表示卷積操作，B表示偏置項，δ表示激活函數(shù)ReLU，Ww表示卷積核權(quán)重。但是對于CNN來說，隨機初始化的卷積核權(quán)重容易導(dǎo)致網(wǎng)絡(luò)模型不穩(wěn)定，而利用預(yù)訓(xùn)練好的模型參數(shù)遷移到本文中可以很好地解決此問題。因此，在本文中，采用Pytorch預(yù)訓(xùn)練的VGG19模型[15]的第一個卷積層(CONV1)作為本文網(wǎng)絡(luò)中的第一個卷積，并在訓(xùn)練模型時固定了Conv1的參數(shù)。在VGG19模型中，Conv1包含64個大小為7×7的卷積核，其在最大的自然圖像數(shù)據(jù)集(ImageNet)上訓(xùn)練。因此，Conv1能有效地提取圖像特征。

此外，如圖1中所示，殘差模塊主要由通道注意力模塊、像素注意力模塊和跳過連接組成。注意力模塊通過對信道或空間特征自適應(yīng)地進行重新校準，能有效地增強空間特征編碼。跳過連接可以繞過低頻信息，提高了信息流動能力，增強了網(wǎng)絡(luò)的穩(wěn)定性。殘差模塊表示為

Fn=Hn(Fn-1)

(2)

式中：Hn表示第n個殘差模塊的作用，F(xiàn)n-1和Fn表示第n個模塊的輸入和輸出。通道注意力和像素注意力模塊可以差異性地對待不同通道特征和像素特征，自適應(yīng)地重新校準通道和像素特征，通過級聯(lián)這兩個注意力模塊，可以在處理不同類型的信息時提供額外的靈活性，擴展CNN的表示能力，提高網(wǎng)絡(luò)魯棒性。

通道注意力主要通過關(guān)注不同的通道的重要性，賦予不同的通道不同的加權(quán)信息來實現(xiàn)的。如圖2所示，首先，使用全局平均池化得到全局通道信息

(3)

其中，F(xiàn)n-1是輸入特征，H，W分別表示圖像的高和寬，Xc(i,j) 是第c個通道上在位置(i,j)的像素值。HP(·)為全局池化函數(shù)。通過全局池化，特征圖的形狀從C×H×W變?yōu)镃×1×1。為了獲得不同通道的權(quán)重，還需要經(jīng)過兩個卷積核大小為1×1的卷積層和ReLU激活函數(shù)，最后通過Sigmod函數(shù)獲得范圍在0-1的不同權(quán)重

CAc=α(Conv(δ(Conv(gc))))

(4)

其中，δ(·) 代表激活函數(shù)ReLU，α(·) 表示Sigmod函數(shù)。最后，輸入特征與與加權(quán)過的通道權(quán)重逐像素相乘

Fc=CA?F

(5)

其中，CA為加權(quán)過的通道權(quán)重，F(xiàn)c表示經(jīng)過通道注意力的特征。

圖2 雙重注意力模塊

此外，還考慮到多聚焦圖像在不同位置上像素分布不均勻，提出了一種像素注意力模塊，使網(wǎng)絡(luò)關(guān)注不同位置的像素特征，例如，失焦區(qū)域和邊界區(qū)域。和通道注意力不同的是，像素注意力沒有使用全局池化函數(shù)，而是直接通過兩個卷積核大小為1×1的卷階層和激活函數(shù)ReLU，經(jīng)過上述操作后，特征圖的大小從C×H×W變換到1×H×W，然后在通過Sigmod得到不同像素的權(quán)重。最后把加權(quán)過的像素權(quán)重和輸入特征進行逐像素相乘

PA=α(Conv(δ(Conv(F*))))

(6)

FPA=F?PA

(7)

1.2 損失函數(shù)

為了準確重建原始圖像，本文使用損失函數(shù)L來訓(xùn)練我們的網(wǎng)絡(luò)

L=λLSSIM+LP

(8)

L由像素損失和結(jié)構(gòu)性損失組合而成，λ是一個常數(shù)，用于平衡兩個損失的重要性，在本次實驗中設(shè)置為10。像素損失用于描述輸入圖像和輸出圖像之間的距離，表示如下

(9)

其中，I表示輸入的圖像，O表示輸出的圖像。結(jié)構(gòu)性損失用來描述輸入圖像和輸入圖像之間的結(jié)構(gòu)差異，表示如下

LSSIM=1-SSIM(O,I)

(10)

(11)

其中，σO和σI分別表示輸出圖像O和輸入圖像I的標準差，σO,I表示輸出圖像O和輸入圖像I之間的協(xié)方差。而μO和μI則分別表示輸出圖像O和輸入圖像I的均值。C1，C2，C3是3個常數(shù)以防止LSSIM在訓(xùn)練過程中分母出現(xiàn)為0的情況。

1.3 活動水平檢測優(yōu)化模塊

本文使用SML對特征梯度進行測量以獲得活動水平，而不是測量傳統(tǒng)的特征強度來獲得活動水平。特征提取模塊為源圖像中的每個像素提供了高維深度特征。但是，傳統(tǒng)的SML和是針對單通道的灰度圖像設(shè)計的。因此本文針對高維深度特征設(shè)計了SML計算方法。設(shè)Fe為特征提取模塊獲得的高維深度特征。Fe(x,y)是一個特征向量，(x,y)是這個向量在圖像中的坐標，通過以下公式計算SML

(12)

Fe(x,y)=|2Fe(x+a,y+b)-Fe(x+a-1,y+b)-Fe(x+a+1,y+b)|+ |2Fe(x+a,y+b)-Fe(x+a,y+b-1)-Fe(x+a,y+b-1)|

(13)

其中，r是核半徑，a和b分別表示核半徑范圍內(nèi)每個坐標的取值區(qū)間，與傳統(tǒng)的SML不同的是，傳統(tǒng)是基于塊計算的，本文中的是基于像素計算的，在處理特征圖邊界處時使用和傳統(tǒng)一樣的填充方法。接下來比較兩幅原圖像的高維深度特征的SML，獲得粗略的決策圖

(14)

得到的初始決策圖雖然可以比較好地識別出聚焦區(qū)域的位置，但是決策圖中不可避免地存在著決策誤差。這是由于波動或成像系統(tǒng)生成圖像過程中存在的噪聲所引發(fā)的。在成像過程中，可能會出現(xiàn)高斯噪聲或椒鹽噪聲，這將嚴重影響改進拉普拉斯能量和的計算。因此，需要一些形態(tài)學(xué)操作來消除決策圖中不正確的聚焦像素。因此，實驗中采用一致性驗證方法對初始決策圖進行校正。首先使用形態(tài)濾波運算處理，其表示為RS(.)。通過利用帶有圓盤結(jié)構(gòu)元素的形態(tài)學(xué)運算符進行開閉運算來去除偽影。開運算可以用平滑邊界，閉運算可以用來排除小型黑色區(qū)域

RD(x,y)=RS(D(x,y))

(15)

初步優(yōu)化后的決策圖RD(x,y)還需要使用小區(qū)域刪除策略對決策圖中的小塊區(qū)域進行進一步的優(yōu)化。SF(·) 表示小區(qū)域刪除操作，其原理是把小塊區(qū)域面積和設(shè)定的閾值S進行比較，如果小塊區(qū)域面積小于閾值S則判定該區(qū)域需要被刪除。其中閾值計算設(shè)置遵循S=0.1×H×W，H,W是原圖像的長和寬

SD(x,y)=SF(RD(x,y),S)

(16)

在獲得精確的決策圖之后，本文選擇加權(quán)融合規(guī)則得到最后的融合結(jié)果，融合結(jié)果表示如下

Fu(x,y)=SD(x,y)Img1(x,y)+(1-SD(x,y))Img2(x,y)

(17)

其中，Img1，Img2表示需要進行融合的2張源圖像，SD(x,y)表示經(jīng)過形態(tài)學(xué)操作處理過的最終決策圖。

2 實驗結(jié)果

2.1 實驗設(shè)置

為了充分的訓(xùn)練網(wǎng)絡(luò)提取特征的能力，實驗中所采用的數(shù)據(jù)集是MS-COCO2017[16]，該數(shù)據(jù)集包含82 783張訓(xùn)練圖像，40 504張驗證圖像。實驗中采用ADAM optimizer[17]作為優(yōu)化器，其中設(shè)置β1=0.9，β2=0.999和ε=10-8。初始學(xué)習(xí)率設(shè)置為lr=0.0001，然后2個周期減少0.8。批大小設(shè)置為8，并訓(xùn)練30個周期。在圖像預(yù)處理方面，首先對輸入的圖片進行灰度化，然后調(diào)整大小為256×256。根據(jù)實驗需求，我們采用深度學(xué)習(xí)框架Pytorch1.5實現(xiàn)網(wǎng)絡(luò)模型，使用Cuda10.0對網(wǎng)絡(luò)模型進行加速，該網(wǎng)絡(luò)的訓(xùn)練和測試是在使用一個NVIDIA 2070Super GPU，總共16 GB內(nèi)存的系統(tǒng)上進行的。

2.2 實驗結(jié)果分析

為了驗證本文提出方法的有效性，本實驗選擇Lytro[18]彩色多聚焦圖像數(shù)據(jù)集作為測試集，把本文算法和其它12種最近提出的先進算法，如SR[19]、DSIFT[6]、CNN[8]和DEEP_FUSE[20]等12種算法，從主觀和客觀兩方面進來了比較驗證。首先，從主觀視覺方面定性比較本文算法和其余算法之間的性能差異。多聚焦融合結(jié)果應(yīng)該盡可能包含所有源圖像的清晰細節(jié)特征。為此，本文同時可視化了各種算法的融合結(jié)果與對應(yīng)偽彩圖像，以便可以更好觀察到它們主觀視覺差異。

圖3展示了測試集中“潛水員”源圖像和各種算法的融合結(jié)果圖，此外，為了更方便觀察對比，將融合結(jié)果的局部進行放大并置于左下角。和圖3(a)源圖像比起來，圖3(c)中潛水器的輪廓沒有源圖像清晰。圖3(d)中鏡框下方在聚焦和失焦邊界存在小塊模糊，圖3(e)、圖3(i)和圖3(k)中潛水器和海水區(qū)域邊界存在著偽影。圖3(h)中整個圖像顏色和亮度都發(fā)生了改變。圖3(g)和圖3(n)整個圖像和源圖像比起來都呈現(xiàn)出模糊。在圖3(o)中既沒有出現(xiàn)模糊，也沒有在邊界處出現(xiàn)偽影，充分融合了源圖像中的各種細節(jié)特征。

此外，為了更好地觀察融合過程中的細節(jié)，實驗通過使用圖3的每個融合結(jié)果減去源圖像A產(chǎn)生的偽彩圖，在偽彩圖中，聚焦和失焦有清晰的邊界，且減去的部分沒有輪廓，在這里減去的部分就是人臉部分，說明融合效果越好，反之，若邊界周圍存在噪聲像素，則說明融合效果越差。在圖4中，可以觀察到，只有DSIFT、CNN、MWG和本文方法，人臉部分被減去，呈現(xiàn)出干凈的畫面，表明這4種方法在融合過程中充分利用了源圖像信息，沒有引入其它的噪聲，而其余的9種方法，在人臉部分就存在明顯的噪聲像素，則表示融合效果不佳。此外，對邊界位置進行局部放大，本文方法和DSIFT、CNN、MWG相比，本文方法在聚焦和失焦區(qū)域保存著完整且清晰的邊界輪廓，其余3種方法中，邊界周圍存在著很多噪聲像素，這些噪聲像素會很大程度影響融合圖像的質(zhì)量，說明本文方法在邊界部分細節(jié)融合得更好。

圖5是測試集中“女孩”的源圖像和各種算法的融合結(jié)果圖，圖5(c)、圖5(d)和圖5(e)在建筑和女孩衣服的邊界處，沒有清晰的界限，出現(xiàn)小塊模糊，甚者在圖5(e)中有部分建筑覆蓋在女孩的衣服。圖5(j)和圖4(i)背景部分整體不夠清晰，圖5(i)和圖5(k)在女孩周圍存在一層偽影，這些區(qū)域都出現(xiàn)了對源圖像細節(jié)信息的嚴重丟失。圖5(h)整體圖像出現(xiàn)失真，光度偏亮的效果，對源圖像細節(jié)的丟失更加嚴重。圖5(o)不但沒有出現(xiàn)偽影，顏色亮度都保持和源圖像一致，成功融合了源圖像的所有細節(jié)。同樣地，根據(jù)圖5產(chǎn)生了對應(yīng)算法的偽彩圖。如圖6所示，從圖中可以看出，在所有的融合算法中，只有CNN、DSIFT和本文的算法，小女孩部分被干凈地減去，在聚焦和失焦區(qū)域有明顯的分割邊界，其余算法的分割邊界都是模糊不清或者存在大量噪聲像素，而CNN和DSIFT算法的分割邊界周圍也有部分噪聲像素，只有本文的算法有干凈的分割邊界。

圖3 “潛水員”圖像融合結(jié)果

圖4 “潛水員”圖像各融合結(jié)果的偽彩

圖5 “女孩”圖像融合結(jié)果

圖6 “女孩”圖像融合結(jié)果的偽彩圖

圖7可視化了測試集中“猴子”圖像的各種算法融合結(jié)果。在圖7中，通過對猴子的帽子邊緣部分進行局部4倍放大，可以看出源圖像A中帽子部分是清晰的，而后面建筑物是模糊的，源圖像B中帽子是模糊的，后面的建筑物是清晰的。圖7(c)雖然帽子部分是清晰的，但是建筑物部分是模糊的，沒有較好融合源圖像B中的信息。圖7(d)、圖7(l)、圖7(n)和圖7(k)中帽子和建筑物都呈現(xiàn)出模糊的狀態(tài)，更糟糕的是圖7(k)中在帽子部分還有噪聲像素，這些融合算法都沒有很好融合兩幅源圖像中的信息。圖7(g)和圖7(m)帽子是模糊的，建筑物是清晰的，這兩種算法沒有更多融合源圖像A中的信息。只有圖7(i)和圖7(o)帽子和建筑物都是清晰的，但是圖7 (i)中帽子下邊緣存在偽影，因此只有圖7(o)充分的融合了源圖像A和源圖像B中的清晰部分的信息。相應(yīng)地，圖8可視化了圖7對應(yīng)的偽彩圖。從偽彩圖中可以看出，圖8(b)、圖8(g)和圖8(n)在清晰和模糊部分形成了明顯的邊界，對帽子和建筑物接觸位置進行局部4倍放大，根據(jù)局部放大圖可以看出，只有圖8(n)中的帽子還保持完成輪廓，其余兩種算法要么在帽子輪廓周圍存在噪聲像素要么已經(jīng)丟失了帽子的基本輪廓。

圖7 “猴子”圖像融合結(jié)果

圖8 “猴子”圖像融合結(jié)果的偽彩圖

為了更全面評價不同算法的融合結(jié)果，除了以上的客觀評價，還需要對融合結(jié)果進行客觀指標的分析。近年來，針對融合圖像質(zhì)量的評價指標，主要包括4個方面評價指標：①基于信息論的指標；②基于圖像特征的指標；③基于圖像結(jié)構(gòu)相似性的指標；④基于感知的指標。本文采用了覆蓋以上4個方面的非線性相關(guān)信息熵(Qnice)、平均梯度(AVG)、標準差(STD)和Tsallis熵(Qte)等7個客觀指標對最近提出的14種算法生成的融合圖像客觀評價。這7個指標可以客觀地反映各種融合結(jié)果在視覺方面，結(jié)構(gòu)方面以及細節(jié)方面的能力。對于這7個客觀指標，值越高，代表融合的圖像質(zhì)量越好。

不同算法在Lytro測試集上20組圖像的客觀指標平均值見表1，每一項指標中加粗值表示最好的指標，加下劃線值表示第二好的指標。從表1中可以看出，7項指標中，本文算法有6項指標是最高的，在只有平均梯度指標排在第二。特別地，本文算法的VIFF值比SF算法提高了0.2593，AVG值也提高了3.1434，可以看出基于深層特征的聚焦檢測比直接在灰度圖片上進行聚焦檢測擁有更大的優(yōu)勢。綜合所有算法在主觀和客觀上的表現(xiàn)，本文算法融合效果更加顯著，指標明顯領(lǐng)先于其余14種算法。

表1 Lytro數(shù)據(jù)集各方法評估指標

3 結(jié)束語

本文通過將編解碼模型和改進的拉普拉斯能量和相結(jié)合，實現(xiàn)了一種有效且新穎的多聚焦圖像融合算法，并取得不錯的融合效果。算法首先將注意力機制引入到編解碼模型之中增加網(wǎng)絡(luò)的魯棒性和特征提取能力，網(wǎng)絡(luò)通過無監(jiān)督學(xué)習(xí)的方式進行訓(xùn)練。然后再利用傳統(tǒng)方法中的改進的拉普拉斯能量和進行活動水平檢測獲得決策圖，并根據(jù)決策圖進行圖像融合。實驗結(jié)果表明，與目前的融合方法相比，提出的方法具有優(yōu)越的融合性能。之后，會在本文方法基礎(chǔ)上探索更有效更靈活的活動水平檢測方法，以獲得更好的融合框架實現(xiàn)更好的融合性能。