張俊超 楊飛帆② 時 偉* 陳濺來 趙黨軍 楊德貴

①(中南大學航空航天學院 長沙 410083)

②(北京航空航天大學前沿科學技術創(chuàng)新研究院 北京 100191)

1 引言

自然場景亮度的變化范圍可達8～10個數(shù)量級，而普通數(shù)碼相機能捕獲的動態(tài)范圍一般為2～3個數(shù)量級[1]，導致成像設備無法準確呈現(xiàn)真實場景的全部信息，由此，高動態(tài)成像技術應運而生。高動態(tài)成像技術使得圖像更加準確地記錄和展示真實場景，在視頻監(jiān)控[2]、醫(yī)療診斷[3]和軍事偵察[4]等領域有著廣闊的應用前景。

多曝光圖像融合是當前高動態(tài)場景成像的主流方法，通過控制相機的曝光時間，在不改變硬件的條件下對同一場景多次曝光，獲得不同曝光度的圖像[5]。然后，基于不同曝光度圖像間互補和冗余信息，利用圖像融合技術在單張圖像上準確表征高動態(tài)場景。Shen等人[6]提出了基于隨機游走理論的線性系統(tǒng)，將局部對比度和色彩一致性作為變量，求得系統(tǒng)的穩(wěn)定點作為權值，得到了較好的融合效果。Hou等人[7]提出了基于引導濾波的權值更新策略，該方法能在權值圖中保留更多的場景細節(jié)。Lee等人[8]提出了基于相對像素強度和全局梯度的多曝光圖像融合方法，通過設計反映整體亮度和全局梯度的權重函數(shù)，提升融合結果?；诮Y構塊分解的方法[9]為多曝光圖像融合提供了新的思路，圖像塊被分解為信號強度、信號結構和平均光強，通過分別融合再重構的方式獲得細節(jié)豐富的融合圖像。傳統(tǒng)的多曝光圖像融合結果受權值更新策略的影響極大，經(jīng)驗式地設計融合策略，導致算法的魯棒性較差[10]。

近些年來，深度學習已被成功應用于圖像融合任務中，包括紅外與可見光圖像融合[11-13]、多聚焦圖像融合[14,15]、偏振圖像融合[16,17]和多曝光圖像融合[18-23]等。Cai等人[18]提出了一種基于有監(jiān)督學習的多曝光圖像融合網(wǎng)絡，其中真實的融合圖像是從13種傳統(tǒng)算法融合結果中擇優(yōu)獲得的。Prabhakar等人[19]首次提出了一種無監(jiān)督的多曝光圖像融合網(wǎng)絡，該網(wǎng)絡通過約束融合圖像和多曝光圖像間的結構相似度，并以自動編碼器的結構進行非監(jiān)督學習。該損失函數(shù)未考慮曝光程度對結構相似度(Structural SIMilarity, SSIM)的影響，導致不同曝光區(qū)域出現(xiàn)不自然的邊緣[10]。因此，Jung等人[20]將圖像塊的結構張量信息集成到損失函數(shù)中，并將多曝光圖像的平均圖像作為假定圖像，指導融合網(wǎng)絡的訓練。Xu等人[21]提出了一種非監(jiān)督的圖像融合網(wǎng)絡框架，該框架可以解決多種圖像融合的問題，在損失函數(shù)設計中引入了感知損失和結構相似度度量。此外，基于生成對抗學習的多曝光圖像融合網(wǎng)絡[22](Multi-Exposure image Fusion based on Generative Adversarial Network, MEF-GAN)被提出，其中生成子網(wǎng)絡用于輸出融合圖像；判別子網(wǎng)絡用于判別融合圖像與真實圖像的相似度，并以對抗學習的方式指導生成子網(wǎng)絡的訓練，使得融合圖像接近真實圖像。雖然這些多曝光圖像融合網(wǎng)絡[18-22]在融合兩張圖像時獲得了較傳統(tǒng)算法更好的結果，可是多張曝光圖像的融合結果依賴兩兩融合的順序，導致這些網(wǎng)絡在處理多曝光圖像融合方面存在不足。為此，Ma等人[23]提出了基于深度引導學習的多曝光圖像融合網(wǎng)絡(Multi-Exposure image Fusion Network, MEF-Net)，并基于多曝光圖像融合的結構相似度(MEF-SSIM)損失函數(shù)進行學習。該MEF-Net網(wǎng)絡可以接受任意空間分辨率和任意數(shù)量的曝光圖像序列的融合，輸出加權融合的系數(shù)，并通過引導濾波進一步優(yōu)化融合結果。MEF-Net[23]網(wǎng)絡在處理多曝光圖像融合方面已經(jīng)獲得了較好的結果，可是在兩張極度曝光情況下，圖像融合效果較差，出現(xiàn)了明顯的光暈現(xiàn)象。近年來，面向運動場景的多曝光圖像融合和基于單幀圖像的高動態(tài)成像問題也引起了越來越多的關注。Yan等人[24]提出了一種基于注意機制引導的端到端多曝光圖像融合網(wǎng)絡，其中，注意機制用于抑制非對準區(qū)域，并增強對準區(qū)域的融合。之后，Liu等人[25]對該工作進行了改進，提出了一種基于注意機制引導的可變形深度融合網(wǎng)絡，融合效果得到了提升。Sharif等人[26]提出了一種兩步法的深度神經(jīng)網(wǎng)絡，基于單幀低動態(tài)范圍的圖像重構高動態(tài)場景。

本文的研究工作是面向靜態(tài)場景的多曝光圖像融合，針對上述問題，本文提出一種基于深度引導與自學習的多曝光圖像融合算法。該網(wǎng)絡以任意數(shù)量的不同曝光度圖像作為輸入，并采用引導濾波深度引導網(wǎng)絡輸出加權融合系數(shù)。為了實現(xiàn)非監(jiān)督學習，在損失函數(shù)設計方面，本文通過引入強度保真約束項和加權的多曝光圖像融合結構相似性度量項，提升融合質量。此外，本文采用一種自學習的策略，用于減弱兩幅極度曝光圖像融合產(chǎn)生的光暈現(xiàn)象。本自學習策略是在不改變網(wǎng)絡結構和損失函數(shù)的前提下，對預訓練的網(wǎng)絡權重(基于多曝光圖像訓練獲得)進行再學習和優(yōu)化。實驗結果表明，本文所提算法在定量指標和視覺融合效果方面均優(yōu)于現(xiàn)有主流算法。本文的主要貢獻總結如下：(1)在損失函數(shù)設計方面，本文提出強度保真約束項和加權的多曝光圖像融合結構相似性度量項，通過多曝光實驗驗證了其有效性。(2)本文提出一種自學習的策略，面向兩幅極度曝光圖像融合問題，基于本文所提非監(jiān)督的損失函數(shù)，以自學習的方式優(yōu)化預訓練網(wǎng)絡的權重，減弱光暈現(xiàn)象。

2 基于深度引導與自學習的多曝光圖像融合算法

2.1 網(wǎng)絡結構

圖1 本文網(wǎng)絡結構

圖2 CAN網(wǎng)絡結構

2.2 損失函數(shù)的設計

加權的MEF-SSIM項：在MEF-SSIM指標[28]的

2.3 自學習

為了提升兩幅極度曝光情況下的圖像融合質量，本文采用自學習的方式，對預訓練好的模型進行參數(shù)微調，以減弱或消除光暈現(xiàn)象。自學習過程如圖3所示：首先，基于本文所提網(wǎng)絡結構和損失函數(shù)，采用多曝光圖像(多于兩幅)對網(wǎng)絡進行訓練，獲得最佳的權重參數(shù)。然后，面向兩幅極度曝光圖像的融合，將學習到的最佳權重參數(shù)作為網(wǎng)絡權重的初始值，不改變網(wǎng)絡的結構和損失函數(shù)，基于當前兩幅極度曝光的測試圖像，對網(wǎng)絡進行再學習和優(yōu)化，非監(jiān)督地自學習得到適用于當前融合圖像的最佳參數(shù)。

圖3 自學習過程

3 實驗結果與分析

3.1 實驗設置

為了訓練和測試所提出的網(wǎng)絡，本文采用了公開發(fā)表的數(shù)據(jù)集1)https://github.com/hangxiaotian/Perceptual-Multi-exposure-Image-Fusion，其中，訓練集包含90組多曝光的圖像(曝光次數(shù)大于2)，測試集中包含15組多曝光的圖像和50組兩曝光(極度曝光)的圖像。本文的網(wǎng)絡是基于Pytorch框架編程實現(xiàn)的，優(yōu)化器為Adam，初始學習率為10-4，最大迭代次數(shù)為500，自學習階段的最大迭代次數(shù)為100。為了驗證本文所提方法的有效性，在多曝光圖像融合實驗中，與目前主流的算法Shen11[6], Hou16[7], Lee18[8],Li20[9]和MEF-Net[23]進行對比；在兩曝光圖像融合實驗中，還增加了基于深度學習的方法：Jung20[20]、Xu22[21]和MEF-GAN[22]。由于Jung20[20], Xu22[21]和MEF-GAN[22]方法在處理多曝光圖像融合時，融合結果依賴圖像融合的順序，為了公平對比，這3種方法只作為兩張圖像融合實驗的比較。另外，這些對比算法的代碼均由原作者提供，深度學習方法的實驗結果是基于原作者提供的網(wǎng)絡權重獲得的。在客觀對比方面，采用了當前多曝光圖像融合領域常用的評價指標：MEF-SSIM[28]，它是一種無需參考圖像的評價指標，用來評估融合的圖像和多曝光圖像間的相似度，相似度越高，MEF-SSIM的值越接近于1。此外，針對彩色圖像融合，本文同現(xiàn)有算法[20-23]的處理方式一致：首先，將RGB圖像轉換到YCbCr空間；其次，基于本文算法對Y通道進行融合，并采用文獻[20]中的方式對Cb和Cr通道進行融合，公式表達為

其中， CbY表示融合圖像的Cb通道，C bk表示第k張曝光圖像的Cb通道，τ=128，表示8位圖像的灰度中值。Cr通道可以以同樣的方式融合。最后再將融合圖像的YCbCr通道轉換到RGB空間，得到最終的融合圖像。

3.2 多曝光圖像融合實驗

多曝光圖像融合的實驗結果如圖4所示：第1行代表9張曝光圖像序列，第2行和第3行表示融合的圖像。從實驗結果可以看出，現(xiàn)有的主流算法均獲得了不錯的融合效果。然而，Lee18[8]算法融合結果出現(xiàn)了局部過曝的現(xiàn)象，如圖4(d)紅色矩形所框區(qū)域所示。Li20[9]算法融合結果丟失了部分信息，如圖4(e)藍色矩形所框的黑板區(qū)域。Shen11[6]和Hou16[7]作為傳統(tǒng)算法取得了和基于深度學習的算法MEFNet[23]等同的融合效果。通過和這些算法對比，如圖4黃色矩形所框區(qū)域，在地面紋理和花盆色彩保留等方面，本文所提方法均取得了更好的融合效果。通過與MEF-Net[23]的結果對比，表明本文所提損失函數(shù)能有效提升多曝光圖像融合的質量，其中強度保真約束項，將融合圖像引導嵌入到更加自然的色彩中，保護色彩和紋理信息。

圖4 多曝光圖像融合實驗結果

多曝光圖像融合實驗的定量對比結果如圖5所示，圖中展示了15組多曝光圖像融合的MEF-SSIM結果。從圖中可以看出，所有算法均取得了較高的MEF-SSIM值，在傳統(tǒng)方法中，Li20[9]方法獲得了更高的結構相似度。與基于深度學習的方法MEFNet[23]比較，在大多數(shù)場景中本文所提算法取得了更高的MEF-SSIM值，從客觀評價指標方面證明了本文方法的先進性。

圖5 不同算法多曝光圖像融合的MEF-SSIM結果

3.3 兩幅極度曝光圖像融合實驗

本節(jié)只展示了兩幅極度曝光下的圖像融合結果，實驗結果如圖6和圖7所示，其中圖6(a)為2張曝光圖像(Chapel)序列：欠曝光圖像和過曝光圖像；圖6(b)-圖6(k)為不同算法的融合結果。Shen11[6],Lee18[8]和Li20[9]算法均產(chǎn)生了局部過曝的融合結果，Hou16[7]作為傳統(tǒng)算法減弱了光暈現(xiàn)象，獲得了更好的融合效果。Jung20[20], Xu22[21], MEF-GAN[22]和MEF-Net[23]算法是基于深度學習的方法，Jung20[20]在處理極度曝光圖像融合時產(chǎn)生了明顯的不足，這是由損失函數(shù)中的均值引導圖導致的。Xu22[21]算法產(chǎn)生了整體霧化的現(xiàn)象，MEF-GAN[22]算法減弱了霧化現(xiàn)象，但產(chǎn)生了色彩不自然的融合結果。MEF-Net[23]算法在柵格區(qū)域產(chǎn)生了明顯的光暈現(xiàn)象。本文方法和結合自學習策略的結果分別顯示在圖6(j)和圖6(k)中，本文方法在處理極度曝光圖像融合時也產(chǎn)生了光暈現(xiàn)象，這是由于本文所提出的網(wǎng)絡是基于多曝光圖像集進行訓練，訓練集中未包含兩幅極度曝光情況下的圖像。本文提出一種更實用的策略：自學習，不是在訓練集中增加極度曝光的圖像對來減弱光暈現(xiàn)象，該策略不需要修改訓練數(shù)據(jù)集，以自學習的方式優(yōu)化網(wǎng)絡權重，提升新數(shù)據(jù)的融合效果。從實驗結果可以看出，自學習策略可以有效減弱光暈現(xiàn)象，提升融合質量，如圖6中柵格區(qū)域和白色矩形區(qū)域(色板的放大顯示)。圖7(a)為2張曝光圖像(Desk)序列：欠曝光圖像和過曝光圖像；圖7(b)-圖7(k)為不同算法的融合結果。Shen11[6], Hou16[7]和Lee18[8]算法在臺燈區(qū)域均產(chǎn)生了黑色陰影的融合結果。Jung20[20]和Xu22[21]算法在臺燈區(qū)域獲得了較好的融合效果，但在門的區(qū)域產(chǎn)生了不自然的融合色彩。MEF-GAN[22]網(wǎng)絡產(chǎn)生了局部過曝的融合結果，如圖7(h)所示。與MEF-Net[23]的融合結果對比，本文算法在臺燈區(qū)域也產(chǎn)生了黑色陰影，基于自學習再優(yōu)化后，融合的結果如圖7(k)所示，消除了黑色陰影，融合質量得到了提升。

圖6 兩曝光圖像(Chapel)融合實驗結果

圖7 兩曝光圖像(Desk)融合實驗結果

兩曝光圖像融合實驗的定量對比結果如圖8所示，其中展示了50組兩曝光圖像融合的MEF-SSIM結果。從中可以看出，在傳統(tǒng)方法中，Li20[9]方法獲得了更高的結構相似度。在基于深度學習的算法中，Jung20[20], Xu22[21]和MEF-GAN[22]算法的MEF-SSIM值較低，且MEF-GAN[22]網(wǎng)絡在有些場景獲得了極低的MEF-SSIM值，這與視覺效果一致。本文所提方法在大多數(shù)場景獲得了最高的MEFSSIM值，如圖8紅色實心線所示，證明了本文所提損失函數(shù)和自學習策略能有效提升融合質量。

圖8 不同算法兩曝光圖像融合的MEF-SSIM結果

3.4 參數(shù)τ c 對極度曝光情況的影響

針對兩曝光圖像融合問題，損失函數(shù)中強度保真約束項占據(jù)主導，引導圖的好壞直接影響融合圖像色彩的質量，而引導圖的質量在本算法中受制于參數(shù)τc的 選取。因此，在本節(jié)分析參數(shù)τc的變化對融合質量的影響。如圖9所示，隨著參數(shù)τc值的增大，融合圖像的亮度也相應地增大。當τc取76.8～128時，融合效果最佳；當τc取153.6時，融合圖像中燈泡的細節(jié)信息丟失；當τc取179.2～204.8時，融合效果又得到了提升。如圖10所示，對于該場景(Room)來說，當τc取128～153.6時，融合效果達到了最佳，保留了暖氣片的色彩信息和窗外的風景。根據(jù)式(4)可知，引導圖中的權重是由每一幅圖像的全局均值μk與τc之間的距離所決定的。源圖像的全局均值μk與τc之間的距離越近，該源圖像在引導圖的貢獻就越大。當τc的取值逐漸增加時，過曝光圖像的全局均值μk與τc之間的距離不斷減小，因此引導圖中包含過曝光的信息就越多；當τc的取值大于過曝光圖像的全局均值后，隨著τc的繼續(xù)增加，過曝光圖像的權重又不斷減小。因此，參數(shù)τc對融合結果的影響較大，不同曝光圖像的最佳參數(shù)τc也 是不同的，在本文所有的實驗中，τc都簡單地設為128，對不同的場景未達到最優(yōu)的結果，以后工作將設計一種自適應的策略，學習得到最優(yōu)的參數(shù)τc。

圖9 不同參數(shù)下的融合結果(Desk)

圖10 不同參數(shù)下的融合結果(Room)

4 結束語

本文提出基于深度引導與自學習的多曝光圖像融合算法，并設計了專門的損失函數(shù)。其中，強度保真項約束用于引導融合圖像嵌入源圖像的色彩信息；基于光強變化，引入了加權的MEF-SSIM，用于自適應調整不同約束項的權重。此外，本文采用一種自學習的學習策略，提升兩幅極度曝光圖像融合的質量。本文通過多曝光和兩幅極度曝光圖像融合的對比實驗，證實了本文算法在融合效果和定量指標方面均優(yōu)于現(xiàn)有主流算法。此外，本文所提自學習策略可以應用于其他網(wǎng)絡，用于非監(jiān)督學習網(wǎng)絡的再優(yōu)化。本文算法涉及的τc參數(shù)，會直接影響極度曝光情況的融合效果，最佳τc值的選擇將是未來的研究方向。