陳清江，汪澤百，柴昱洲

（1. 西安建筑科技大學 理學院，陜西 西安 710055；2. 中國空間技術(shù)研究院西安分院，陜西 西安 710100）

引言

圖像融合是圖像處理中的重要部分，能夠協(xié)同利用同一場景的多種傳感器圖像信息，輸出一幅更適合于人類視覺感知或計算機進一步處理與分析的融合圖像。它可明顯改善單一傳感器的不足，提高結(jié)果圖像的清晰度及信息包含量，有利于更為準確、可靠、全面地獲取目標或場景信息。

在可見光圖像中成像設(shè)備捕獲目標圖像，對于捕獲目標部分的有效聚焦圖像是清晰可見的，而非目標區(qū)域的其他物體則為模糊。因此，對于光學透鏡捕捉的成像圖很難做到所有物體處處聚焦，提出多種多焦點圖像融合算法[1]?？偟膩碚f，這些方法可以分為兩類：變換域方法和空間域方法[2]，多尺度變換（MST）是最常用的變換域方法之一。傳統(tǒng)的融合方法包括基于金字塔的圖像融合[3]、基于剪切變換圖像融合和基于非子采樣輪廓變換（NSCT）[4]的圖像融合算法等。最近提出的融合方法包括基于像素的融合方法，主要有引導濾波（DSIFT）[2]、基于多尺度加權(quán)梯度的圖像融合算法（MWGF）[5]、基于低秩矩陣（LRR）[6]的多聚焦噪聲圖像融合算法、基于離散小波變換的多聚焦圖像融合算法[7]，隨著深度學習的發(fā)展，結(jié)合深度學習解決多聚焦圖像融合[8]的方法得到廣泛推廣，如基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的多聚焦圖像融合[9-10]、基于全卷積網(wǎng)絡(luò)的多聚焦圖像融合[11-12]。對于一個簡單的二分類問題，本文優(yōu)先選擇精度相對較高的VGGNet網(wǎng)絡(luò)[13]進行修改。輸入子塊的多特征，保證了圖像的分類精度。全圖處理容易損失較多高頻信息，于是本文只對左右圖像的混合聚焦散焦部分進行處理，在信息熵、互信息等方面得到較好的融合效果。

1 網(wǎng)絡(luò)結(jié)構(gòu)模型

1.1 VGG16 模型介紹

VGGNet[13]是由牛津大學的K.Simonyan 和A.Zisserman 提出的卷積神經(jīng)網(wǎng)絡(luò)模型，該模型詮釋了隱層深度對于預測精度的影響，訓練時間和AlexNet 相比大大減少。該模型在ImageNet 中達到了92.7%的top5 測試精度，VGGNet 結(jié)構(gòu)根據(jù)層數(shù)的不同分為不同的版本，常用的結(jié)構(gòu)是VGG16和VGG19，在VGG16 中所有的卷積層都有相同的配置，卷積層中卷積核大小為 3×3，步長大小為1，最大池化層共5 個，其核大小都為 2×2，步長為2；全連接層共3 個，前兩層共有4 096 個通道，第3 層共1 000 個標簽類別；最后一層為Softmax 層；所有隱層后都帶有ReLU 非線性激活函數(shù)，總體結(jié)構(gòu)如圖1 所示。

圖 1 VGG16 網(wǎng)絡(luò)模型Fig. 1 VGG16 network model

1.2 Crop-VGG 網(wǎng)絡(luò)結(jié)構(gòu)

本文只需要處理聚焦圖和散焦圖的簡單二分類問題，并不需要過深的隱層，多個殘余的隱層影響了訓練速率，通過逐個隱層刪除，部分隱層添加，最終設(shè)計為本文的Crop-VGG 網(wǎng)絡(luò)，在保證精度的同時提高了訓練速率。

如圖2 所示，Crop-VGG 是基于VGG16 對二分類問題的更改，并不需要過深的網(wǎng)絡(luò)層，于是裁剪了一部分網(wǎng)絡(luò)，在保留原有分類效果的同時，提高分類速度。與原網(wǎng)絡(luò)相比，Crop-VGG 卷積層卷積核大小、池化層大小、步長都與原VGG 網(wǎng)絡(luò)保持一致，區(qū)別在于卷積層數(shù)由原來的13 變?yōu)?，由2-2-3-3-3 變?yōu)榱?-3-3 結(jié)構(gòu)，最大池化層由5 個變?yōu)? 個，卷積層中卷積核大小都為 3×3，步長為1，最大池化層核大小 2×2，步長為2；全連接層共3 層，前兩層通道數(shù)由原來的4 096 變?yōu)? 048，輸出類別變?yōu)?，每個隱層都跟有非線性激活函數(shù)ReLU，最后一層為Softmax 層?；赾affe 框架下，將預處理數(shù)據(jù)集網(wǎng)絡(luò)訓練，隨著迭代次數(shù)增加，loss 的收斂速度有明顯提升，隨著迭代次數(shù)增加，當loss 值達到收斂后，精確率保持在0.985 以上（如圖3）。

圖 2 Crop-VGG 網(wǎng)絡(luò)模型Fig. 2 Crop-VGG network model

圖 3 epoc 圖與loss 圖Fig. 3 Diagram of epoc and loss

2 使用網(wǎng)絡(luò)進行統(tǒng)計特征分類

2.1 數(shù)據(jù)預處理

步驟1） 選取紋理多樣的一組清晰圖，使用點擴散（point spread function）方法進行模糊處理。因為點源在經(jīng)過任何光學系統(tǒng)后都會由于衍射而形成一個擴大的像點，通過測量系統(tǒng)的點擴展函數(shù)，能夠更準確地提取圖像信息，這里使用點擴散函數(shù)更加符合光學散焦過程。對于分類訓練，需要擴大清晰和模糊的區(qū)分度，于是設(shè)置擴散半徑r=10，獲取一組聚焦和散焦圖像。

步驟2） 將兩組圖像分別分割為 32×32像素的小塊。首先使用二維離散小波[14]變換對圖像進行分解。設(shè)原始圖像為C0=(c0mn)，則

步驟3） 將所有對應位置的Sobel 算子處理后的圖像與步驟2 的HL、LH、HH 拼接成一幅圖像組作為輸入訓練數(shù)據(jù)輸入目標網(wǎng)絡(luò)中，完整步驟如圖4 所示。

圖 4 訓練集預處理模型Fig. 4 Training set preprocessing model

2.2 分類訓練

對于訓練好的二分類網(wǎng)絡(luò)模型逐塊進行模糊評測[15]，進行閾值為0.5 的分割，其中，聚焦區(qū)塊概率接近于1，散焦區(qū)塊概率接近于0。對于介于中間聚焦散焦混合區(qū)塊做如下判別：

式中y 、 x、 c為分別為四角區(qū)塊、四邊區(qū)域方塊、中間區(qū)域方塊，它們是否為1 取決于周圍方塊 a的聚焦塊數(shù)量，這種方法可以將圖像中空洞區(qū)域塊有效去除，如圖5 所示。

2.3 基于統(tǒng)計特征的像素分割

通過分類訓練后對目標圖A 和目標圖B 進行了分類處理，如圖6 所示，依據(jù)形態(tài)學分割[16]為3 個權(quán)重矩陣，分別為 α 、 β 、 γ 。其中 α、 β為已確定的聚焦區(qū)域的權(quán)值矩陣，只需要對γ 矩陣的細節(jié)處理。 T1、 T2 是由兩幅原聚焦圖像通過 γ權(quán)值矩陣分割出來的聚焦散焦混合部分，即：

圖 5 處理誤判的區(qū)塊的矯正矩陣Fig. 5 Correction matrix for handling misjudged blocks

分別對T1 和T2 進行點擴散函數(shù) ?的散焦處理， φ函數(shù)用來求目標像素點與 3×3區(qū)域鄰近像素點方差，通過統(tǒng)計像素點之間的模糊變化關(guān)系，經(jīng)過閾值分割后能夠提高在邊界部分像素點區(qū)分度，如（5）式所示：

由于只判斷中間混合區(qū)域，因此本文方法實現(xiàn)時受全局誤判點干擾較少，邊界部分信息明確，生成初步邊界區(qū)域明顯的分割權(quán)值圖像矩陣 τ1：

對 τ1中的空洞點再進行一次形態(tài)學空洞補全的修復處理，得到最終分割區(qū)域明顯的 τ2權(quán)值矩陣。最終的融合圖像 AB為

圖 6 像素級形態(tài)融合Fig. 6 Pixel level morphological fusion

3 實驗結(jié)果

在實驗中，我們使用了幾對輸入圖像作為測試圖像，驗證了該方法的可行性。將本文提出的多焦點圖像融合算法與最新的多聚焦圖像融合算法如MWGF[4]、DCTvarcv[17]、DSIFT[2]等進行了比較，下面介紹圖像融合的詳細討論分析結(jié)果。

圖7～圖10 展示了圖像融合視覺質(zhì)量的主觀評價，為了對比不同的多聚焦圖像算法的融合效果，選取4 組多聚焦圖像。Image A 與Image B 為需要融合的左右聚焦圖，其他圖像為每個算法對應的融合圖像。例如，在圖7 中圖片整體清晰度較高，在圖8 中，樹木邊緣參差的紋理特征比較其他算法接近于原始圖像，除去邊緣的其他細節(jié)部分完全保留原始圖像信息，而在圖9 中手背部分與圖10 瓶子邊界部分清晰程度較高。

表1～表5 為Vegetables、Tree、A globe、The bottle 4 類多聚焦融合圖像在幾種算法中的表現(xiàn)，通過數(shù)據(jù)結(jié)果可以看出本文算法在信息熵、平均梯度、圖像清晰度、邊緣信息保持度、互信息上的得分情況基本優(yōu)于其他算法。這說明本文算法能夠減少細節(jié)與邊緣信息的損失，對于圖像整體信息量保存較完整，邊緣層次比較多，清晰度也明顯高于其他算法。改進的VGG 網(wǎng)絡(luò)能夠更好地保存高頻信息，抽選兩組表的數(shù)據(jù)在各類算法的比較如圖11 所示。

圖 7 Vegetables 在不同算法的融合表現(xiàn)Fig. 7 Fusion performance of Vegetables in different algorithms

圖 8 Tree 在不同算法的融合表現(xiàn)Fig. 8 Fusion performance of Tree in different algorithms

圖 9 A globe 在不同算法的融合表現(xiàn)Fig. 9 Fusion performance of A globe in different algorithms

圖 10 The bottle 在不同算法的融合表現(xiàn)Fig. 10 Fusion performance of The bottle in different algorithms

表 1 各類算法在信息熵的對比Table 1 Comparison of various algorithms in information entropy

表 2 各類算法在平均梯度的對比Table 2 Comparison of various algorithms in average gradient

表 3 各類算法在圖像清晰度的對比Table 3 Comparison of various algorithms in image clarity

表 4 各類算法在邊緣信息保持度的對比Table 4 Comparison of various algorithms in edge information retention

表 5 各類算法在互信息的對比Table 5 Comparison of various algorithms in mutual information

圖 11 A globe 和The bottle 在各類算法的融合表現(xiàn)Fig. 11 Fusion performance of A globe and The bottle in different algorithms

4 結(jié)論

本文提出的結(jié)合深度學習與統(tǒng)計特征的方法解決復雜的實際問題是可行的，Crop-VGG 網(wǎng)絡(luò)中能以較少運算速率保留更多的原始圖像信息，同時結(jié)合統(tǒng)計特征的融合算法在各類指標上具有良好的表現(xiàn)，所以針對不同的問題復雜度設(shè)計相應的深度網(wǎng)絡(luò)能更加便捷地處理問題。