白本督，李俊鵬

（西安郵電大學通信與信息工程學院，西安 710121）

0 引言

自然場景有寬廣的動態(tài)范圍，如微弱星光亮度約為10-4cd/m2，恒星強光亮度范圍為105～109cd/m2［1］，通過數(shù)碼單反相機拍攝記錄時，往往因為數(shù)碼相機動態(tài)范圍受限，導致拍攝的照片出現(xiàn)過曝光和欠曝光［2］。高動態(tài)范圍（High Dynamic Range，HDR）成像技術(shù)旨在擴大圖像動態(tài)范圍，解決由數(shù)碼相機動態(tài)范圍受限無法捕獲高動態(tài)范圍圖像而產(chǎn)生的問題［3］。目前，生成高動態(tài)范圍圖像的方法大致可分為兩類：基于輻照域的多曝光HDR 圖像生成方法和基于圖像域的多曝光HDR 圖像融合（Multi Exposure Fusion，MEF）方法。基于輻照域的多曝光HDR 圖像生成方法連續(xù)捕獲一組不同曝光量的低動態(tài)范圍（Low Dynamic Range，LDR）圖像集合，實現(xiàn)目標場景動態(tài)范圍的涵蓋；然后通過求解相機響應函數(shù)（Camera Response Function，CRF）將該組不同曝光的LDR 圖像集合在輻照域合成一幅HDR 圖像；最后將HDR 圖像直接在HDR 顯示器上進行顯示或者將HDR 圖像經(jīng)過色調(diào)映射顯示在LDR 顯示器［4］?；趫D像域的多曝光HDR 圖像融合方法使用多張涵蓋目標場景動態(tài)范圍的低動態(tài)范圍圖像集合，利用圖像融合的方式將具有互補信息多張不同曝光圖像直接融合為包含最多信息的單張高動態(tài)范圍圖像［5］。

傳統(tǒng)多曝光圖像融合算法通過三個步驟獲取HDR 圖像：首先采用拉普拉斯金字塔分解、小波變換或者稀疏表示等圖像變換方法將輸入圖像轉(zhuǎn)換為特征圖；其次，根據(jù)定義的融合策略進行特征圖融合；最后，通過色調(diào)映射得到融合更多信息的HDR 圖像［6］。然而，該類算法使用人工設計生成的特征圖進行圖像融合，對不同的輸入圖像不具有魯棒性，因此隨著輸入圖像的改變其融合質(zhì)量也受到相應的限制。

近年來，眾多學者利用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）解決傳統(tǒng)多曝光圖像融合方法不能自適應學習圖像特征的不足?；诰矸e神經(jīng)網(wǎng)絡的MEF 通過構(gòu)建神經(jīng)網(wǎng)絡層將圖像特征分層表示，從而有效提取過曝和欠曝圖像局部和全局的特征信息?；诰矸e神經(jīng)網(wǎng)絡圖像融合主要理論研究可大致分為三類［7］：1）將傳統(tǒng)方法與卷積神經(jīng)網(wǎng)絡相結(jié)合。例如，2016年LIU Y 等［8］提出基于卷積稀疏表示的圖像融合算法，該算法的利用提出的卷積稀疏表示模塊對源圖像序列分解的基礎層和細節(jié)層分別進行處理，然后將處理后的基礎層和細節(jié)層相結(jié)合得到融合圖像。該類方法利用CNN 自動提取源圖像序列的特征信息，實現(xiàn)高低頻特征信號的剝離并且對所分離的特征信號進行增強，但最終的融合規(guī)則仍需要人為設計，因此，仍然存在傳統(tǒng)方法的局限性。2）將卷積神經(jīng)網(wǎng)絡視為一種生成權(quán)重圖的方式，權(quán)重圖表示了每個像素的有效性。例如，2018年LI H 等［9］提出基于預訓練的CNN 模型算法，通過引入預訓練的VGGNet 網(wǎng)絡解決圖像特征提取的問題，并根據(jù)提取的特征計算源圖像序列的融合權(quán)重值，以構(gòu)建融合圖像。2020年MA K等［10］提出MEF-Net 模型，MEF-Net 的核心思想是將任意空間分辨率和曝光次數(shù)的靜態(tài)圖像序列進行下采樣，通過卷積神經(jīng)網(wǎng)絡提取圖像，再將所提取的圖像特征通過引導濾波和聯(lián)合上采樣映射成原圖大小的融合權(quán)重圖，通過加權(quán)融合的方式得到融合圖像。該類方法本質(zhì)為像素加權(quán)融合，像素級MEF 對權(quán)重圖直接融合往往會引入噪聲，導致融合圖像失真［11-12］。3）基于CNN 的MEF 端到端學習的方法。2017年P(guān)RABHAKAR K R 等［13］使用MEF-SSIM 無參考質(zhì)量評價指標作為損失函數(shù)設計了第一個基于卷積神經(jīng)網(wǎng)絡的無監(jiān)督多曝光圖像融合模型DeepFuse，實現(xiàn)基于神經(jīng)網(wǎng)絡的MEF 端到端的學習。2020年XU H等［14］在FusionGAN［15］的基礎上提出了基于MEF-GAN 的端到端多曝光圖像融合，MEF-GAN 將生成對抗網(wǎng)絡應用于多曝光圖像融合，并首次引入注意力機制，通過判別器區(qū)分輸入的多曝光圖像和融合圖像之間的差異，迫使生成器生成的融合圖像具有更多過曝和欠曝圖像的細節(jié)。以上方法實現(xiàn)了MEF 問題的端到端學習，但最終融合結(jié)果仍不夠理想。此外，盡管基于學習的方法實現(xiàn)了MEF 自適應特征學習，但是其主要缺點在于，目前為止尚未發(fā)現(xiàn)一個完美的損失函數(shù)可用于融合圖像的無監(jiān)督學習［12］。因此，如何充分利用不同曝光圖像欠飽和與過飽和特征信息，設計一個有效的損失函數(shù)仍是一個挑戰(zhàn)。

針對以上問題，本文提出一種基于注意力機制的多曝光圖像融合算法（Attention Multi Exposure Fusion Network，AMEFNet）。該算法針對MEF 數(shù)據(jù)集無真值圖像而無法監(jiān)督學習的問題，提出一種新的端到端卷積神經(jīng)網(wǎng)絡MEF 無監(jiān)督學習算法；利用權(quán)重分離的雙通道特征提取模塊對目標場景欠曝光和過曝光圖像進行特征提取，獲得紋理信息表征能力強的特征圖；將注意力機制引入到多曝光圖像融合任務中，從局部到全局對欠曝光和過曝光圖像的局部細節(jié)和全局特征進行聚焦，突出對融合有利的圖像特征；為了更精確重建融合圖像，以L2范數(shù)和結(jié)構(gòu)相似性SSIM 作為神經(jīng)網(wǎng)絡的約束準則設計損失函數(shù)，獲得源圖像序列和融合圖像之間更小的相似性差異，實現(xiàn)神經(jīng)網(wǎng)絡模型更精準的收斂。AMEFNet 充分利用并融合了源圖像序列亮度信息與欠飽和與飽和區(qū)域圖像紋理細節(jié)，改善了融合圖像細節(jié)丟失、失真等問題。

1 多曝光圖像融合深度學習模型

本文設計的基于注意力機制的多曝光圖像融合算法網(wǎng)絡框架由特征提取模塊（Feature Extraction Module，F(xiàn)EM），注意力機制模塊（Attention Module，AM）以及特征重建模塊（Feature Reconstruction Module，F(xiàn)RM）三個核心計算模塊組成，AMEFNet 網(wǎng)絡結(jié)構(gòu)如圖1 所示。首先，將目標場景欠曝光和過曝光圖像作為兩個獨立參數(shù)分別輸入到結(jié)構(gòu)相同的特征提取模塊中，獲得欠曝光和過曝光的高維特征圖。隨后通過注意力機制模塊突出融合有利的圖像特征，抑制欠飽和、過飽和等低質(zhì)量區(qū)域的特征，得到重建融合圖像所需的純凈高維特征。FRM 將AM 輸出的不同曝光圖像的高維特征重建為高動態(tài)范圍圖像。最后利用所設計的損失函數(shù)約束神經(jīng)網(wǎng)絡，提高模型的泛化能力。

圖1 AMEFNet 網(wǎng)絡結(jié)構(gòu)示意圖Fig.1 Network structure of AMEFNet

1.1 AMEFNet 網(wǎng)絡框架

1.1.1 特征提取模塊

在進行多曝光圖像融合之前，需要對欠曝光和過曝光圖像進行特征提取。以圖2 所示的Unet 網(wǎng)絡作為AMEFNet 特征提取基礎網(wǎng)絡架構(gòu)。

圖2 AMEFNet 特征提取網(wǎng)絡結(jié)構(gòu)Fig.2 Feature extraction network structure of AMEFNet

特征提取模塊由獨立的卷積層和Unet 網(wǎng)絡構(gòu)成，其中Unet 網(wǎng)絡包含卷積，下采樣，池化，上采樣以及拼接操作。首先使用3×3 大小的卷積核在提取低層圖像特征的同時，將256×256 尺寸的輸入圖像轉(zhuǎn)化為64通道的高維特征，并利用Unet 網(wǎng)絡實現(xiàn)圖像特征的多尺度特征提取，將淺層圖像特征以及深層語義特征通過特征拼接方式堆疊，為保留圖像結(jié)構(gòu)和紋理特征提供了有效的解決方案。Unet 網(wǎng)絡完成特征的精細提取后，輸出64 通道的高維多尺度特征圖，該特征圖作為后續(xù)注意力機制模塊的輸入源。

由于欠曝光和過曝光圖像在曝光時間上存在差異，同一場景不同曝光圖像中的物體具有信息互補，以及亮度，色度，結(jié)構(gòu)對應關(guān)系復雜的特點對。若將不同曝光圖像直接融合，經(jīng)過同一網(wǎng)絡進行特征提取，生成的共享權(quán)值會破壞目標場景不同曝光圖像的固有特征。因此，本文在特征提取模塊上采用雙通道架構(gòu)，使用結(jié)構(gòu)相同但不共享任何學習參數(shù)的特征提取模塊，對欠曝光和過曝光圖像同時訓練。

1.1.2 注意力機制模塊

不同曝光圖像含有目標場景不同的局部細節(jié)特征，為保留多曝光圖像豐富的細節(jié)信息，凸顯融合有利的興趣特征，抑制非興趣特征，以校正融合圖像局部失真和信息丟失，采用圖3 所示的注意力機制模塊針對不同的曝光圖像生成相應的有益特征圖。

圖3 AMEFNet 注意力機制網(wǎng)絡結(jié)構(gòu)Fig.3 Attention network structure of AMEFNet

注意力機制模塊分別對Unet 網(wǎng)絡輸出的不同曝光圖像的特征圖進行Squeeze 操作，采用全局平均池化方式將通道空間特征編碼為全局特征，計算公式為

式中，i，j表示像素點坐標，F(xiàn)sq(·)為Squeeze 操作，xc為C維度特征輸入。之后對全局特征zc采用Excitation操作，為了降低模型復雜度以及提升泛化能力，采用兩個全連接操作，全連接之間使用ReLU 激活函數(shù)進行非線性處理，最后通過歸一化函數(shù)Sigmoid 輸出權(quán)值向量，Excitation 操作使得網(wǎng)絡學習各通道間的關(guān)系，也得到不同通道的權(quán)值，Excitation 操作計算方式為

1.1.3 特征重建模塊

完成不同曝光圖像的高維特征過濾后，通過拼接操作保留過曝和欠曝圖像的高維圖像特征得到特征圖F0，再以圖4 所示的特征重建模塊將拼接的特征重建為高動態(tài)范圍圖像。

圖4 Unet 特征重建網(wǎng)絡結(jié)構(gòu)Fig.4 Feature reconstruction network structure of Unet

特征重建模塊由3 個獨立的卷積層與1 個擴張殘差稠密單元（Dilation Residual Dense Block，DRDB）組成。首先第1 個卷積層將拼接的特征圖F0轉(zhuǎn)化成64 通道的特征圖F1，其次將特征圖F1提供給DRDB 單元輸出特征圖F2，其中DRDB 單元是基于擴張卷積改進殘差稠密單元（Residual Dense Block，RDB）得到的，所使用的DRDB 充分利用不同網(wǎng)絡層級的圖像特征，在保留LDR 圖像細節(jié)信息的同時利用更大的感受野去推測飽和區(qū)域丟失的細節(jié)［16］。此時F2已有足夠的信息去重建高動態(tài)范圍圖像，最后利用2 個卷積層依次卷積特征圖F2得到特征圖F3和高動態(tài)范圍圖像。

1.2 損失函數(shù)

損失函數(shù)決定了所提取的圖像特征類型以及不同類型的圖像特征之間的比例關(guān)系［12］。為了滿足融合圖像在包含不同曝光圖像細節(jié)和結(jié)構(gòu)信息的同時，又符合人眼的視覺感知特性的要求。本文設計了基于L2范數(shù)的內(nèi)容損失和基于SSIM 的結(jié)構(gòu)損失的多損失函數(shù)。

結(jié)構(gòu)相似性度量指標SSIM 從亮度，對比度和結(jié)構(gòu)三方面衡量源圖像與融合圖像相似性程度。設x為輸入圖像，y為輸出圖像，其數(shù)學表達式為

式中，μ和σ分別表示均值和標準差，σxy表示x，y的協(xié)方差，C1，C2和C3為常數(shù)系數(shù)。以結(jié)構(gòu)相似性SSIM 為基礎，針對多曝光圖像融合任務設計子結(jié)構(gòu)損失LSSIM，O，U和F分別表示過曝圖像，欠曝圖像以及融合圖像，則LSSIM的數(shù)學表達式為

SSIMO，F(xiàn)，SSIMU，F(xiàn)分別表示過曝圖像O和欠曝圖像U與融合圖像F的結(jié)構(gòu)相似性。在多曝光圖像融合任務中，過曝和欠曝圖像的具有相同的紋理細節(jié)，但其亮度強度過大或過小。所以對權(quán)重系數(shù)αO和αU設置相同的權(quán)重進行平衡，以獲得適當大小的亮度強度和紋理細節(jié)，可表示為

內(nèi)容損失Lcontent在保證多曝光圖像序列和融合圖像的紋理細節(jié)信息失真最小的同時避免了噪聲的干擾，內(nèi)容損失的計算表示為

式中，計算輸入圖像x與輸出圖像y像素點之間的歐式距離，其中為L2范數(shù)。內(nèi)容損失可以定義為

與結(jié)構(gòu)損失相似的，βO和βU具有相同的權(quán)重系數(shù)。為實現(xiàn)結(jié)構(gòu)損失函數(shù)與內(nèi)容損失函數(shù)之間權(quán)值平衡，通過賦予結(jié)構(gòu)損失相應的超參數(shù)λ提高模型的泛化能力。綜上，AMEFNet 整體損失函數(shù)可表示為

2 實驗及結(jié)果分析

2.1 實驗環(huán)境及相關(guān)參數(shù)

本文基于CAI J 等［17］提供的公共可用數(shù)據(jù)集SICE 進行無監(jiān)督學習的訓練。其中訓練數(shù)據(jù)集包含589組不同曝光的LDR 圖像集合。訓練硬件平臺為配置為Inter（R）Core（TM）i5-9600k 3.7GHz CPU 和NVIDIA Geforce RTX 2080ti GPU 的PC，配置環(huán)境為Unbuntu18.0.4，網(wǎng)絡模型的編寫語言為python3.7，配合Pytorch1.5 與Opencv3.2 作為輔助高級API，并且選用Adam 優(yōu)化器以參數(shù)β1=0.9，β2=0.999，初始學習率為10-4，學習率每迭代50 次便以0.5 倍進行衰減，進行模型優(yōu)化。

通過圖5 可以看出，AMEFNet 在訓練過程損失函數(shù)具有較好的收斂，未出現(xiàn)梯度消失或梯度爆炸情況，驗證了所設計的多曝光圖像融合模型的合理性與可行性。完成多曝光圖像融合模型訓練后，為驗證本文算法模型的有效性，本文選取ZHANG X［12］提供的基準數(shù)據(jù)集MEFB 部分圖像作為測試集，其中包含室內(nèi)、室外、白天和黑夜等靜態(tài)場景，涵蓋了廣泛的真實環(huán)境，更能展現(xiàn)出真實場景信息。為比較所提算法和其他算法的性能，選取三種傳統(tǒng)算法：GFF 算法［18］，DSIFT 算法［19］，SPD-MEF 算法［11］和兩種基于深度學習的算法：MEFNet 算法［10］，MEF-GAN 算法［14］從主觀和客觀兩種不同維度進行比較。上述算法的融合圖像均由公共可實現(xiàn)代碼生成，并且基于深度學習的訓練模型由原作者提供。

圖5 AMEFNet 損失函數(shù)曲線Fig.5 Loss function curve of AMEFNet

2.2 主觀評價

首先從視覺感知的角度對不同融合算法進行主觀對比分析，House 多曝光圖像序列，TableLamp 多曝光圖像序列的融合結(jié)果效果圖如圖6、圖7 所示。

圖7 TableLamp 圖像序列算法結(jié)果比較圖Fig.7 Comparison of TableLamp sequence algorithm results

圖6 為House 圖像序列融合結(jié)果，圖6（a）、圖6（b）為源圖像，圖6（c）、圖6（h）為不同算法融合結(jié)果。由圖6（c）、圖6（d）可知，與原圖像序列相比，GFF 和DSIFT 處理后的融合圖像，雖然能有效提高圖像質(zhì)量，但仍然存在部分區(qū)域圖像失真的現(xiàn)象，如圖6（c）、圖6（d）中紅色框區(qū)域，過曝圖像中亮度最強區(qū)域融合圖像具有明顯的暗區(qū)；SPD-MEF 算法整體過于明亮，如圖6（e）紅色框區(qū)域可以看出，在窗外部分可視信息模糊，視覺效果欠佳；通過圖6（f）紅色框區(qū)域可以發(fā)現(xiàn)，MEFNet 存在亮度不均勻的問題，導致融合圖像細節(jié)不清晰，亮度失真；而圖6（g）中，MEF-GAN 算法可以較好均衡亮度信息，但圖像局部出現(xiàn)了失真現(xiàn)象，如圖6（g）紅色框區(qū)域，遠景樹木和門框輪廓都出現(xiàn)偽影現(xiàn)象。而本文算法（h）在保持高清晰度和對比度的同時，有效避免了亮度不均勻和局部區(qū)域細節(jié)失真的問題。

圖6 House 圖像序列算法結(jié)果比較圖Fig.6 Comparison of House sequence algorithm results

圖7 為Table Lamp 圖像序列融合結(jié)果，圖7（a）、圖7（b）為源圖像，圖7（c）、圖7（h）為不同算法融合結(jié)果。通過圖7（c）、圖7（d）可以看出，GFF 和DSIFT 算法雖然能較好提升視覺效果，但局部區(qū)域仍存在亮度偏低的問題，如圖7（c）、圖7（d）紅色框區(qū)域中臺燈后的墻體具有明顯的暗區(qū)；SPD-MEF 算法雖然獲得更好的視覺增益，但部分區(qū)域原始結(jié)構(gòu)信息有所丟失，如圖7（e）藍色框標注區(qū)域中臺燈的輪廓出現(xiàn)偽影現(xiàn)象，導致融合圖像緣結(jié)構(gòu)信息丟失；MEFNet 算法處理后的融合圖像細節(jié)和色彩信息具有明顯的改善，但如圖7（f）紅色框區(qū)域所示，MEFNet 具有與GFF 和DSIFT 相同的問題，存在局部暗區(qū)，明暗過度不平滑；由圖7（g）所示MEF-GAN 算法的融合圖像存在較為嚴重的失真現(xiàn)象，如圖7（g）紅色框區(qū)域中花朵和臺燈區(qū)域出現(xiàn)偽影，導致融合圖像不夠生動自然，視覺效果欠佳；由于過曝圖像相比于欠曝圖像具有更大的亮度數(shù)值，因此過曝圖像在多曝光圖像融合中具有更高的權(quán)重比，導致上述算法局部區(qū)域亮度過度不夠自然，如綠色框所示，而本文算法7（h）在一定程度上解決了上述算法的缺點，使得融合圖像更加清晰，亮度過渡更加自然。

2.3 客觀評價

由于人眼的主觀感受判斷融合結(jié)果存在一定的誤差，融合圖像在保留欠曝光與過曝光圖像的梯度信息和空間頻率信息，同時融合圖像要盡可能自然，使人眼能夠快速、準確的從融合圖像獲取綜合信息，因此本文選用峰值信噪比（Peak Signal Noise Ratio，PSNR）、平均梯度（Average Gradient，AG）、空間頻率（Spatial Frequency，SF）、信息熵（Entropy，EN）以及視覺信息保真度（Visual Information Fidelity，VIF）進行客觀評價。

1）峰值信噪比（PSNR）。PSNR 表示融合圖像峰值功率與噪聲之間的比值，用于測量融合圖像的畸變情況，PSNR 定義為

式中，r表示融合圖像的峰值，MSE 表示均方誤差。較大的PSNR 意味著融合圖像與源圖像更加接近，擁有更小的失真，所以PSNR 越大，融合性能越好。

2）平均梯度（AG）。AG 用于量化融合圖像的梯度信息，衡量融合圖像的細節(jié)和紋理信息的保有量，AG定義為

3）空間頻率（SF）。SF 通過對融合圖像的行頻率和列頻率求均方得到，反映了融合圖像空間頻率信息，SF 定義為

4）信息熵（EN）。信息熵作為圖像量化標準，反映圖像包含的平均信息量多少，定義為

式中，L表示灰度級數(shù)，Pl表示融合圖像相應灰度的歸一化直方圖。信息熵大小表示融合圖像攜帶信息量的多少。但是，信息熵很容易受到噪聲的影響，因此通常用作輔助指標。

5）視覺信息保真度（VIF）。VIF 是基于人眼視覺信息保真度的質(zhì)量評價指標，主要通過建立視覺模型計算源圖像和融合圖像間的信息失真。計算融合圖像基于VIF 的總體度量，VIF 值越大，融合性能越好。

為了方便觀察，本文將測試集的5 個客觀質(zhì)量評價指標平均得分在表1 中列出（粗體值代表了每列的最佳值）。從表1 中數(shù)據(jù)可知，本文算法融合圖像雖然在PSNR 指標上獲得第二高的得分，但最高得分的SPDMEF 算法融合圖像具有肉眼可見的偽影現(xiàn)象。而在EN 指標上獲得第四高的得分，但得分最高的前三算法融合圖像均出現(xiàn)由于融合不完全導致的不同程度黑影，并且本文算法與最高得分的差距僅為2.6%。而本文算法在AG，SF 和VIF 性能指標結(jié)果均優(yōu)于其他對比算法，因此可以表明相比于其它算法本文算法的融合圖像蘊含了更多原圖像序列的場景細節(jié)與邊緣信息，符合人眼的視覺感知特性的要求。

表1 測試集融合圖像的5 個客觀評價指標的平均值Table 1 The values of five quality metrics averaged over the fused images on test set

2.4 算法復雜度與運行時間

復雜度是體現(xiàn)算法優(yōu)劣的一個重要指標。因此，在這一節(jié)中，將對MEF 算法的時間復雜度進行討論。設m表示圖片的行數(shù)，n表示圖片的列數(shù)，N表示源圖像序列中的圖像數(shù)量，因此傳統(tǒng)算法的復雜度均為O（Nmn）。對于深度學習算法將以具體的浮點運算數(shù)（Floating Point Operations，F(xiàn)LOPs）進行比較，F(xiàn)LOPs主要衡量模型的復雜度，F(xiàn)LOPs 值越大，模型需要更多的運行時間，因此模型的復雜度越大，其中1GFLOPs表示109次浮點運算。不同算法復雜度將在表2 列出。從表2 中可以看出，本文的FLOPs 值最大，這是由于特征重建層中使用了擴張殘差稠密單元，擴張殘差稠密單元的使用提高了AMEFNet 網(wǎng)絡圖像重建的性能，但代價是算法復雜度的增加。

表2 不同算法的復雜度Table 2 Time complexity of the different algorithm

為更直觀的評估算法復雜度，將不同分辨率多曝光圖像序列在不同算法運行時間在圖8 進行繪制，其運行時間測試平臺為i5-8265u CPU 環(huán)境。從圖8 可以看出，本文算法的運行速度快于SPD-MEF 與DSIFT兩種傳統(tǒng)算法，但慢于MEF-Net 與GFF 兩種算法，其中MEF-Net 運行最快，而在低分辨率圖像運行時間比較中，本文算法與MEF-GAN 算法運行時間接近，但是本文算法的融合結(jié)果相比于MEF-GAN 具有更好的魯棒性，比MEF-Net 與GFF 算法具有更高的飽和度，更好的視覺效果。綜上所述，本文算法的復雜度適中，能夠較好融合不同曝光圖像。

圖8 不同算法的運行時間比較Fig.8 Comparison of running time

2.5 消融實驗

為驗證所提AMEFNet 網(wǎng)絡框架在多曝光圖像融合任務中的有效性，從兩個方面進行消融性分析：1）證明注意力機制模塊的有效性；2）證明超參數(shù)λ的有效性。從上述兩個方面，設計具有相同設置的基本網(wǎng)絡用于探索不同模塊的有效性。設計網(wǎng)絡分別稱之為：RAMEFNet（移除AMEFNet 中的注意力模塊）和AMEFNet-λx（網(wǎng)絡結(jié)構(gòu)與AMEFNet 一致，不同之處在于超參數(shù)λ數(shù)值）。

2.5.1 注意力機制有效性實驗

AMEFNet 中引入注意力機制模塊，從局部到全局的方式聚焦于目標場景不同曝光圖像的細節(jié)特征，從而校正融合圖像局部失真和圖像畸變，得到更好的融合效果。為驗證注意力機制的有效性，將AMEFNet 的注意力機制模塊移除，即將圖1 中的AM 模塊移除，稱之為RAMEFNet，其余設置與AMEFNet 保持一致。

在主觀評價中，圖9 展示了Studio 圖像序列有無注意力模塊的可視化結(jié)果。其中圖9（a）、圖9（b）為欠曝和過曝圖像，圖9（c）是MEF-Net 融合結(jié)果，圖9（d）是AMEFNet 融合結(jié)果。從圖9可以明顯看出，RAMEFNet 雖然能融合過曝和欠曝圖像部分互補信息，但在部分區(qū)域存在細節(jié)模糊的問題，如圖9（c）中紅色框區(qū)域燈泡未顯示出應有的輪廓信息以及遠景樹木存在一定程度的模糊現(xiàn)象。RAMEFNet 與本文算法相比，本文算法融合結(jié)果不僅能夠融合不同曝光圖像的細節(jié)信息而且圖像整體更加自然，這是因為注意力模塊能夠有效聚焦源圖像序列的局部細節(jié)和圖像特征避免細節(jié)丟失等現(xiàn)象發(fā)生。

圖9 Studio 圖像序列各融合結(jié)果Fig.9 Exposure fusion results of Studio sequence

在客觀評價中，表3 展示了有無注意力模塊在PSNR，SF，AG，EN 和VIF 五種客觀質(zhì)量評價指標下的結(jié)果。從表3 可以看出相較于RAMEFNet，對于測試集，AMEFNet 均取得了最優(yōu)結(jié)果。表明AMEFNet 的融合圖像具有更多圖像細節(jié)和紋理信息，更符合人眼的主觀視覺特性，這也與可視化結(jié)果相匹配。

表3 有無注意力模塊的5 個客觀評價指標的平均值Table 3 Evaluations of attention module on five quality metrics average

在運行時間比較中，圖10 展示了有無注意力機制在不同分辨率多曝光圖像序列的運行時間。從圖10中可以看出去除注意力機制模塊后減少了相應網(wǎng)絡的參數(shù)，增快了RAMEFNet 運行時間，但是RMEFNet運行時間與本文算法相差不大，并且本文算法融合結(jié)果能夠保留更多的圖像細節(jié)，進一步說明了注意力機制在本文算法應用的有效性。

圖10 不同算法的運行時間比較Fig.10 Comparison of running time

2.5.2 超參數(shù)λ有效性驗證

在1.2 小節(jié)介紹了損失函數(shù)的設計，除了使用經(jīng)典的L2范數(shù)作為內(nèi)容函數(shù)之外還引入了基于SSIM 的結(jié)構(gòu)損失，為驗證不同超參數(shù)λ對網(wǎng)絡的影響，將AMEFNet 中超參數(shù)λ設置為不同的數(shù)值，稱之為AMEFNet-λx。

由于融合結(jié)果相近，圖像視覺感知效果幾乎一致，因此對超參數(shù)λ的有效性不做主觀分析。在表3 展示了不同超參數(shù)λ在PSNR，SF，AG，EN 和VIF 五個客觀評價指標上的結(jié)果。從表4 可以看出當超參數(shù)λ太高或太低時，融合圖像在一定程度丟失了部分細節(jié)信息，導致融合圖像指標偏低，而中間值λ=0.2 的融合圖像擁有更多梯度和細節(jié)信息在五個指標中占據(jù)了三個最優(yōu)結(jié)果，因此本文將λ=0.2 作為AMEFNet 網(wǎng)絡默認設置。

表4 不同超參數(shù)λ 的5 個客觀評價指標的平均值Table 4 Evaluations of different hyperparameter λ on five quality metrics average

3 結(jié)論

本文提出了一種基于注意力機制的卷積神經(jīng)網(wǎng)絡（AMEFNet）用于多曝光圖像融合。AMEFNet 引入了注意力機制模仿人類視覺機制，從過曝和欠曝圖像中突出對融合有利的圖像特征；此外，為了捕獲更多源圖像序列的結(jié)構(gòu)和內(nèi)容信息構(gòu)建基于L2范數(shù)和SSIM 的多損失函數(shù)。上述操作使得本文網(wǎng)絡可以捕捉更多細節(jié)信息，生成質(zhì)量更好的融合圖像。對比實驗和消融實驗均表明本文所提的AMEFNet 在多曝光圖像融合任務中具有顯著的優(yōu)越性。