衛(wèi)依雪，周冬明，王長城，李 淼

云南大學(xué) 信息學(xué)院，昆明 650504

隨著計算機視覺領(lǐng)域[1-2]的發(fā)展，攜帶著豐富信息的高質(zhì)量圖像無論是在日常生活還是科學(xué)研究中都有著巨大的研究潛力。但是，由于不同的光照條件、周圍的噪聲等原因，圖像質(zhì)量高低不一，嚴(yán)重影響了人們判別圖片中的信息，從而引起不必要的沖突和結(jié)果。尤其是在黑暗條件下，人們難以識別攝像頭捕捉到的圖像信息，而且智能系統(tǒng)很大程度上也依賴于高質(zhì)量的輸入圖像，為了解決這個問題，本文就低照度圖像問題進行了研究。

在此之前，大量的傳統(tǒng)算法已經(jīng)被提出。其中直方圖均衡化算法[3-4]就可以很好地提高圖像的對比度，但同時也會增加圖像的噪聲。還有暗通道先驗算法[5]早期一般被用于圖像去霧，后來有人將低照度圖像的各個像素進行反轉(zhuǎn)，即將低照度圖像轉(zhuǎn)換為帶霧圖像，再利用暗通道先驗算法進行去霧，再反轉(zhuǎn)，間接地實現(xiàn)了圖像增強。此外，基于Retinex理論[6]的算法引入了反射分量和光照分量的概念，這些算法[7-14]在提升亮度的同時，也保留了圖像細(xì)節(jié)，但遺憾的是色彩恢復(fù)得不夠完善，最終導(dǎo)致增強后的圖像不真實。隨著深度學(xué)習(xí)的發(fā)展，很多研究人員開始嘗試?yán)蒙疃葘W(xué)習(xí)算法去解決圖像增強問題，比較經(jīng)典的是利用卷積神經(jīng)網(wǎng)絡(luò)的方法[15-17]，其代替了人工設(shè)計特征提取的方法來實現(xiàn)圖像增強。但是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的性能非常依賴于網(wǎng)絡(luò)的深度，而網(wǎng)絡(luò)層數(shù)的增加會引起退化現(xiàn)象和梯度下降，從而導(dǎo)致深層網(wǎng)絡(luò)并不能實現(xiàn)理想的訓(xùn)練效果。此外，深度卷積網(wǎng)絡(luò)的池化層擴大了特征提取的感受野，雖然提高了網(wǎng)絡(luò)性能，但同時也更容易造成信息細(xì)節(jié)的丟失。因此，本文引入了基于多分支結(jié)構(gòu)的深度殘差網(wǎng)絡(luò)[18]和U-net[19]。多分支結(jié)構(gòu)使網(wǎng)絡(luò)更加快速有效。深度殘差網(wǎng)絡(luò)不僅能解決網(wǎng)絡(luò)結(jié)構(gòu)飽和問題，還能提高圖像特征提取能力。而U-net是一種編碼-解碼網(wǎng)絡(luò)，能在特征提取時逐步減小空間維度，可以更好地恢復(fù)出圖像細(xì)節(jié)。

本文提出的基于多分支結(jié)構(gòu)和U-net結(jié)合的低照度圖像增強算法有以下三點貢獻：

（1）本文提出了一種新穎的端到端的低照度圖像增強網(wǎng)絡(luò)，可以應(yīng)用于多種場景，計算速度和準(zhǔn)確率也都有所提升。此網(wǎng)絡(luò)還結(jié)合了多分支網(wǎng)絡(luò)和U-net進行特征提取，取得了不錯的結(jié)果。

（2）本文的方法在噪聲抑制、對比度增強等方面有著較好的效果，能夠有效地減少噪聲的影響。

（3）本文使用大量的實驗來證明所提出模型的有效性，且使用了很多優(yōu)秀的方法來進行對比，并且從定性和定量的角度分析對比結(jié)果，取得了滿意的效果?？傮w來說，本文提出的方法在各方面很大程度上優(yōu)于現(xiàn)有的算法。

1 相關(guān)工作

主要介紹與低照度圖像增強相關(guān)的算法。在深度學(xué)習(xí)被廣泛應(yīng)用之前，一般都使用傳統(tǒng)算法去解決低照度圖像的問題，例如低通濾波器可以去噪，高通濾波器可以增加清晰度。

傳統(tǒng)算法可以分為二大類，第一類是基于直方圖均衡化的方法，這類方法理論并不復(fù)雜且易于實現(xiàn)。利用直方圖還可以很直觀地看出圖像的一些統(tǒng)計信息，了解圖像的各個部分亮度值以及是否存在曝光不足或者曝光過度的情況，再對不同灰度級進行相應(yīng)擴展或縮減，從而得到清晰的圖像。其中Kong等提出了動態(tài)直方圖均衡化算法（DHE）[3]，該算法對太亮或太暗的圖像都非常有效。Ibrahim等提出了保持亮度的動態(tài)直方圖均衡化算法（BPDHE）[4]。但直方圖均衡化的方法只適用于對比度較低的圖像中，所以此方法在某些程度上存在一定的缺陷。

第二類是基于Retinex理論[6]的方法，其原理是將圖像分為照明分量和反射分量兩部分，恢復(fù)出圖像原本的細(xì)節(jié)信息，同時估計和增強照明圖，最后融合兩張圖像達到增強的效果。其中，單尺度Retinex算法（SSR）[7]是將高斯函數(shù)和圖像卷積近似表示反射分量。而多尺度Retinex算法（MSR）[8]是對SSR的改進，它使用了不同尺度的高斯濾波，再對濾波結(jié)果進行加權(quán)平均來近似估計照明圖像。而帶顏色的多尺度Retinex算法（MSRCR）[9]則是在MSR的基礎(chǔ)上又添加了顏色恢復(fù)因子，以解決圖像失真等問題，使其更接近真實場景。此外，很多結(jié)合了Retinex理論和其他理論的算法也陸續(xù)被提出，例如SRIE[10]采用了一種補償方法，以彌補對數(shù)域梯度過度放大的暗部區(qū)域。LIME[11]是通過估計亮度分量，利用反向算法直接得到反射分量。Dong等[12]提出的方法，首先要對圖像進行反演，然后再利用去霧算法進行圖像增強。MF[13]提出了多曝光融合算法，找到最佳曝光率，使對比度和亮度增強得更加精確。NPE[14]利用Retinex理論和log雙邊轉(zhuǎn)換使光照分量映射更加接近自然色?？偟膩碚f，基于Retinex理論的傳統(tǒng)算法雖然取得了很大的進步，但是仍然存在著色彩混亂、噪聲大等問題。

隨著深度學(xué)習(xí)算法的日漸成熟，低級視覺任務(wù)慢慢開始融合深度學(xué)習(xí)的優(yōu)點。其中，RetinexNet[15]結(jié)合了Retinex理論和深度學(xué)習(xí)，其增強后的圖像質(zhì)量明顯提高，色彩也更加豐富，但是仍然有很大的提升空間。LLNet[16]利用深度自編碼器同時進行圖像對比度的增強和去噪。而將CNN與傳統(tǒng)算法結(jié)合起來的LLCNN[17]，則是利用不同的內(nèi)核去過濾暗的圖像，然后將多尺度特征圖結(jié)合在一起生成最終的圖像，因此它能比較好地保留原始圖像的特征和紋理。MBLLEN[20]把不同層次的特征提取和融合應(yīng)用到了低照度圖像增強上，增強效果更加明顯。KIND[21]在基于RetinexNet算法的分解和重建結(jié)構(gòu)上進行了優(yōu)化，增加了調(diào)節(jié)網(wǎng)絡(luò)，有效地實現(xiàn)了連續(xù)調(diào)節(jié)光亮圖的機制。ALIE[22]是對MBLLEN的改進，在增強圖像亮度和對比度的同時，運用注意力機制進行了去噪，并且擴展了數(shù)據(jù)集。LIEDHN[23]提出了空間變體RNN，而且引入了對抗判別損失，對圖像細(xì)節(jié)和邊緣部分都進行了很好的增強。此外，基于深度學(xué)習(xí)的圖像增強算法都需要成對的低光照圖像數(shù)據(jù)集進行訓(xùn)練，但是公開且全面的低光照數(shù)據(jù)集少之又少。LSD[24]就提供了一個新的思路，其利用相機的短曝光和長曝光收集了raw格式的成對低光照圖像數(shù)據(jù)集。而Jiang等提出的EnlightenGAN[25]則另辟蹊徑，其利用全局-局部鑒別器和自正則注意力機制使網(wǎng)絡(luò)架構(gòu)不需要成對圖像數(shù)據(jù)集的訓(xùn)練，更能適應(yīng)真實世界的大多數(shù)情況，所能應(yīng)用到的領(lǐng)域也更是廣泛，但是GAN難訓(xùn)練，在訓(xùn)練過程中容易出現(xiàn)梯度消失和梯度爆炸等問題。

在現(xiàn)有的方法中，直方圖均衡化方法雖然能夠較好地提升圖像的亮度和對比度，但是在細(xì)節(jié)和色彩方面的恢復(fù)并不完善；基于Retinex理論的方法由于需要將圖像分解成光照分量和反射分量，因此許多網(wǎng)絡(luò)往往被設(shè)計成非端到端，并且現(xiàn)有的方法對光照分量的估計并不理想。此外，基于深度學(xué)習(xí)的方法大多在細(xì)節(jié)方面恢復(fù)的不夠充分，仍有比較大的提升空間。

綜合考慮到現(xiàn)有方法的優(yōu)點和缺點，本文探索出了一種基于多分支結(jié)構(gòu)和U-net結(jié)合的方法，首先利用了殘差網(wǎng)絡(luò)對輸入圖像進行特征提取，然后利用了不同深度和結(jié)構(gòu)的U-net網(wǎng)絡(luò)對提取到的任意兩個特征進行增強，最后進行融合得到最終增強后的圖像。

2 主要方法

2.1 模型結(jié)構(gòu)

本文提出的模型是基于多分支結(jié)構(gòu)設(shè)計的算法框架，其主要是由特征提取和圖像增強兩部分組成，模型的輸入為低光照圖像，輸出為同尺寸增強后的清晰圖像。具體內(nèi)容如圖1所示。

圖1 算法框架圖Fig.1 Algorithm frame diagram

特征提取部分使用了3個殘差元（RESBLOCK），每個殘差元堆疊了兩個卷積層，其中第一個卷積層的輸入是原始低光照圖像經(jīng)過Relu函數(shù)處理之后的圖像，Relu函數(shù)可以使輸入的原始圖像更加稀疏化，從而能夠更好地挖掘不同層次的特征。每個卷積層使用的都是3×3大小的卷積核、步長為1、標(biāo)準(zhǔn)差為0.02、Relu激活函數(shù)。接著，把每個殘差元提取出來的特征進行交叉合并。

圖像增強部分分為了3個支路，EM1支路采用比較淺的U-net對第一個殘差元和第二個殘差元交叉合并得到的特征進行增強。EM2支路利用的是比EM1支路要更深1倍U-net來對第一個殘差元和第三個殘差元交叉合并得到的特征進行增強。EM3支路上使用的U-net網(wǎng)絡(luò)深度雖然與EM2一樣，但在結(jié)構(gòu)上進行了一些改進，同樣地，EM3支路對第二個殘差元和第三個殘差元交叉合并得到的特征進行增強，其詳細(xì)說明如下。

本文所提出的圖像增強網(wǎng)絡(luò)EM1支路的U-net具體結(jié)構(gòu)如圖2所示，其采用卷積核尺寸為3×3和LRelu非線性激活函數(shù)的卷積層，核數(shù)分別為32、64、128、64、32。最大池化層的核尺寸為2×2，步長為2。上采樣階段經(jīng)歷了與下采樣階段同樣數(shù)量的反卷積操作，而且通過跳躍連接將上下采樣層的特征映射進行拼接，防止下采樣層提取到的特征丟失，這使得U-net更加準(zhǔn)確，得到增強后的圖像具有更多的細(xì)節(jié)信息。EM2支路的具體結(jié)構(gòu)如圖3所示，它與EM1支路的區(qū)別在于層數(shù)，其卷積層的核數(shù)分別為32、64、128、256、512、128、64、32。EM3支路相較于EM2來說，層數(shù)未改變，但對U-net的結(jié)構(gòu)進行了優(yōu)化，經(jīng)歷兩個卷積層后再進入最大池化層，同樣經(jīng)歷兩個卷積層后再進入上采樣，其核數(shù)分別為32、32、64、64、128、128、64、64、32、32，其具體結(jié)構(gòu)如圖4所示。

圖2 EM1網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 EM1 branch network structure

圖3 EM2網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 EM2 branch network structure

圖4 EM3網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 EM3 branch network structure

2.2 損失函數(shù)

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時候，想要輸出圖像和真實圖像越來越接近，于是通過損失函數(shù)來實現(xiàn)這一目標(biāo)。為了在定性和定量上提高圖像質(zhì)量，使用常用的誤差度量已經(jīng)不能體現(xiàn)圖像在各個方面的優(yōu)化程度。通過各方面的綜合，本文最后確定使用三個損失函數(shù)，分別是，結(jié)構(gòu)性相似損失（SSIM）、均方誤差（MSE）和梯度損失（grad）。其計算公式如下：

結(jié)構(gòu)性相似性損失函數(shù)LossSSIM指的是整體視覺效果，用來衡量真實圖像和使用本文算法增強后的圖像之間的差異性，旨在改善輸出圖像的視覺質(zhì)量。

式中，μx和μy分別是x和y的平均值，σ2x和σ2y分別是x和y的方差，σxy是x和y的協(xié)方差，C1=(k1L)2和C2=(k2L)2是常數(shù)，用來保證損失函數(shù)的穩(wěn)定，防止分母為0。其中k1=0.01,k2=0.03。

均方誤差是目標(biāo)變量和預(yù)測值的差值平方和的均值。均方誤差損失函數(shù)會放大最大誤差和最小誤差之間的差距，而且均方誤差損失函數(shù)對異常點非常敏感。

在訓(xùn)練網(wǎng)絡(luò)的時候，如果只使用均方誤差損失函數(shù)，很容易陷入到局部最優(yōu)解中，所以，本文還引入了梯度損失。

式中，?表示的是梯度算子，其包含二維圖像的兩個維度方向。通過對梯度信息的優(yōu)化，極大地保留了分解圖的邊緣信息和平滑一致性。?x和?y分別表示水平和垂直方向的一階導(dǎo)數(shù)運算符。

3 實驗評價

通過大量的實驗，對本文提出的算法進行了評價和驗證，并與現(xiàn)有的方法進行了比較。利用LOL-dataset數(shù)據(jù)集對一些比較有代表性且較新的方法進行了測試，并和本文方法進行了不同指標(biāo)間的比較。最后，對本文建議的算法結(jié)構(gòu)框架進行了消融實驗。

3.1 實現(xiàn)細(xì)節(jié)和數(shù)據(jù)集

本文實驗使用的是Tensorflow1.15的開源框架在Windows10，Intel i7 9700kF3.6 GHz，16 GB RAM，Nvidia 2070s GPU平臺上完成的。本文設(shè)置學(xué)習(xí)率參數(shù)為1E-4的Adam優(yōu)化算法對模型進行優(yōu)化。損失函數(shù)的權(quán)重參數(shù)設(shè)置為：α=1,β=1,γ=1，網(wǎng)絡(luò)訓(xùn)練次數(shù)為2 000次。其損失隨迭代的收斂曲線如圖5所示。

圖5 訓(xùn)練損失曲線Fig.5 Training loss curve

由于真實的低光照圖像的數(shù)據(jù)集很難成對捕捉，所以本文使用了RETINEX方法中構(gòu)建的LOL-dataset和MBLLEN方法中構(gòu)建的MBLLEN-dataset。LOL-dataset數(shù)據(jù)集是第一個通過改變曝光時間獲取低光照-正常光圖像成對數(shù)據(jù)集，該數(shù)據(jù)集包含485對低光照和正常光照訓(xùn)練圖像，和15張低照度測試圖像。MBLLEN-dataset數(shù)據(jù)集包含了16 925張訓(xùn)練的成對低光照-正常光圖片和144張成對的測試圖像，其實驗結(jié)果如3.4節(jié)所示。

3.2 LOL-dataset實驗結(jié)果

本文方法與經(jīng)典的算法和現(xiàn)階段主流的算法均做了比較，對比傳統(tǒng)算法有MSRCR[9]、SRIE[10]、LIME[11]、DONG[12]、MF[13]、NPE[14]以及基于深度學(xué)習(xí)的RETINEX[15]、MBLLEN[20]、KIND[21]等算法，LOL-dataset測試集的實驗對比結(jié)果如圖6所示。

由圖6可以看出，SRIE方法在亮度上就沒有達到一個很好的增強效果。MF方法比SRIE要有一定的提升，但是仍然沒有恢復(fù)到正常圖像的亮度。DONG方法的亮度主觀效果要比MF提升很多，但是在細(xì)節(jié)處理方面又有很大的欠缺。LIME方法在一定程度上解決了DONG方法的邊緣細(xì)節(jié)問題，但在色彩保留方面又有所缺失。MSRCR方法增強出來的圖像有點過曝，真實度也有待提高。RETINEX算法的色彩更加豐富，但是整體效果較混亂，噪音過多，主觀視覺效果不理想。KIND算法部分區(qū)域增強得非常好，但是對比度過高，部分區(qū)域有偽影。NPE算法、MBLLEN算法與本文提出的算法在主觀效果來看比較相似，都很大程度上改善了低照度圖像，但在細(xì)節(jié)方面本文算法增強的圖像更勝一籌。更詳細(xì)的對比結(jié)果圖如圖7所示。

圖6 LOL測試集實驗結(jié)果對比Fig.6 Comparison of experimental results of LOL test set

在圖7中，設(shè)有三組圖像，前兩行是“DOLL”圖片，中間是“BOWLING”圖像，最后兩行是“POOL”圖像。其中每組圖像的第一張是低光照圖像，第二個是真實圖像，后面依次是MSRCR方法[9]、SRIE方法[10]、LIME方法[11]、DONG方法[12]、MF方法[13]、NPE方法[14]、RETINEX方法[15]、MBLLEN方法[20]、KIND方法[21]和本文所提出的方法增強后的圖像。

圖7 LOL測試集實驗結(jié)果細(xì)節(jié)對比Fig.7 Comparison of LOL test set experimental results in details

通過比較，在“DOLL”圖片中，首先儲物柜中衣服顏色真實還原度和層次分明度，其次床上放的玩偶的顏色真實度和視覺感官程度，本文提出的算法相比來說都會更好一些，且墻上懸掛的牌匾的反光層次也更真實一些。在“BOWLING”圖片中，首先地板上的倒影，其次暗處保齡球的擺放，本文提出的算法都更為清晰。在“POOL”圖片中，首先墻上的時間表以及水中的映射，其次窗邊盆栽植物的顏色恢復(fù)以及葉片輪廓的邊緣結(jié)構(gòu)，還有窗戶外的景色，本文算法的分辨率都會更高一些，主觀效果都會更好一些。

3.3 LOL-dataset性能評估

本文使用大量的數(shù)據(jù)集去測試提出的方法，除了主觀視覺的效果外，還采用了幾種圖像質(zhì)量客觀性指標(biāo)去評估。

首先，本文將真實圖像作為參考圖像，基于像素統(tǒng)計基礎(chǔ)的質(zhì)量評價指標(biāo)有峰值信噪比（PSNR）[26]、信噪比（SNR），通過計算待測圖像和真實圖像對應(yīng)像素點灰度值之間的差異，從而分析增強后的圖像質(zhì)量。PSNR值或SNR值越大，表明待測圖像的失真越小，圖像質(zhì)量越好。基于信息論基礎(chǔ)的質(zhì)量評價指標(biāo)為視覺信息保真度（VIF）[27]、信息保真度準(zhǔn)則（IFC）[28]，由于互信息被廣泛用來評價圖像質(zhì)量，所以本文通過計算待測圖像與真實圖像之間的互信息來衡量圖像的質(zhì)量。VIF的值和IFC的值越大，表示細(xì)節(jié)信息沒有丟失，保留得更好?；诮Y(jié)構(gòu)信息基礎(chǔ)的質(zhì)量評價指標(biāo)為結(jié)構(gòu)相似性（SSIM）[29]，它改進了PSNR的缺點，可以很好地擬合人眼視覺的系統(tǒng)特性。SSIM的值越大，人眼感知特性效果越好，圖像質(zhì)量越可靠，實現(xiàn)起來也比較簡單。

其次，本文還選擇了兩個基于無監(jiān)督學(xué)習(xí)無參考的圖像質(zhì)量評價指標(biāo)，自然圖像質(zhì)量評價（NIQE）[30]和亮度順序誤差（LOE）[14]，直接計算增強后圖像的視覺質(zhì)量。LOE的值或NIQE的值越小，即表示被測圖像越接近真實圖像。

在LOL-datasets數(shù)據(jù)集上進行了測試，表1、2、3分別為圖7中三張圖片的客觀指標(biāo)，其中黑色加粗表示最優(yōu)結(jié)果。

表1是“DOLL”圖像的評價指標(biāo)對比，由表可以看出，本文算法增強后的DOLL圖像的PSNR和SSIM指標(biāo)遠(yuǎn)遠(yuǎn)大于其他算法，而SNR、NIQE、LOE的值與MBLLEN比較接近，但效果稍有提高，VIF和IFC的值各算法間相差都不太大，但本文的方法仍然是最優(yōu)的。

表1 DOLL圖像評價指標(biāo)對比Table 1 Comparison of DOLL image evaluation index

表2是“BOWLING”圖像的評價指標(biāo)對比，通過分析可以看出，本文增強后的“BOWLING”圖像在不同的度量標(biāo)準(zhǔn)下的效果都優(yōu)于其他所有的方法。而且如圖7所示，主觀效果也更加符合人眼感官特性，很明顯可以看出本文算法增強的圖像比其他幾種方法更真實。

表2 BOWLING圖像評價指標(biāo)對比Table 2 Comparison of BOWLING image evaluation index

表3是“POOL”圖像的評價指標(biāo)對比，由這些表可以看出，本文的方法產(chǎn)生的結(jié)果在所有的情況下都是最好的，通過其他數(shù)據(jù)集的測試也證明了這一點。

表3 POOL圖像評價指標(biāo)對比Table 3 Comparison of POOL image evaluation index

3.4 MBLLEN-dataset實驗結(jié)果及性能評估

由于空間限制，本文只挑選了MBLLEN[20]和KIND[21]與本文算法進行對比。而且利用了PSNR和SSIM兩個客觀指標(biāo)更加驗證了本文算法的有效性，其結(jié)果如表4所示。其測試集的實驗結(jié)果對比如圖8所示。

表4 MBLLEN-dataset測試圖像評價指標(biāo)對比Table 4 Comparison of MBLLEN-dataset test image evaluation index

由表4可知，本文算法在7張圖片中的客觀評價指標(biāo)都是最優(yōu)的，而且比MBLLEN和KIND算法增強的結(jié)果要優(yōu)秀很多。

而從圖8中可以看出，“COMPUTER”的低光照圖像偏綠，所以由MBLLEN和KIND算法得到的清晰圖像也偏綠，而本文算法增強出來的圖像發(fā)白，最真實且清晰?！癇EDROOM”圖像各個算法增強的結(jié)果很相似，但是在白沙發(fā)扶手的細(xì)節(jié)方面，本文算法更勝一籌?！癙ARLOR”圖像中的顏色比較豐富，由此可以對比出本文算法在顏色恢復(fù)方面比MBLLEN和KIND要好很多。在“TV”和“OUTDOOR”圖像中，躺在沙發(fā)上的人和在拍照的人所穿衣服的藍(lán)色，本文算法恢復(fù)得非常真實，效果最好。從“CANTEEN”圖像中的人臉細(xì)節(jié)表明，本文算法在增強圖像的整體亮度和對比度的同時，細(xì)節(jié)恢復(fù)得也特別好，而MBLLEN和KIND算法增強后的圖像中人臉模糊且噪聲太大。最后還選擇了一張黑白圖像進行測試，“RESTAURANT”圖像的測試結(jié)果更加清晰地表明本文算法在細(xì)節(jié)恢復(fù)方面的優(yōu)勢。

圖8 MBLLEN測試集實驗結(jié)果對比Fig.8 Comparison of experimental results of MBLLEN test set

3.5 消融研究

在本節(jié)中，對本文提出的網(wǎng)絡(luò)模型的各個部分進行了消融研究。

首先對特征提取部分進行了消融實驗，通過圖9可以看出去掉殘差塊之后，特征提取能力明顯下降，最后增強出來的圖像細(xì)節(jié)比較模糊，噪聲大，部分圖像中還有黑影的存在。

圖9 去掉殘差的消融實驗對比結(jié)果Fig.9 Contrast results of ablation experiments with residual removed

由表5可以看出，本文的方法在大多數(shù)圖像下的效果仍然是最好的，唯一不是最好的是SOFA圖像，那是因為SOFA的真實圖像偏暗，導(dǎo)致PSNR和SSIM的值偏小。而本文的消融實驗大多排在第二，僅次于本文提出的算法，說明本文提出的框架結(jié)構(gòu)還是較為完美。

表5 去掉殘差的消融實驗的圖像評價指標(biāo)對比Table 5 Contrast of image evaluation indexes of ablation experiments with residual removed

把SOFA圖像中效果較好的幾個方法經(jīng)過放大以對比細(xì)節(jié)如圖10所示，可以發(fā)現(xiàn)本文算法增強后的圖像中毛絨玩具的絨毛根根分明，紅色毛線的輪廓也更為清晰，顏色更為鮮艷。而KIND和MBLLEN算法的毛絨玩具和紅色毛線都非常模糊，細(xì)節(jié)信息缺失較多。本文的消融實驗比KIND和MBLLEN的細(xì)節(jié)處理要好很多，但是在亮度和對比度上不及本文的算法。

圖10 SOFA圖像細(xì)節(jié)對比Fig.10 Comparison of SOFA image in details

其次去掉了梯度損失函數(shù)，結(jié)果如圖11所示。如果單獨研究消融出來的圖像，可以發(fā)現(xiàn)其整體效果還是較理想的。亮度、對比度都有所提升，細(xì)節(jié)也恢復(fù)得不錯，但是和真實圖像差別較大。

圖11 去掉grad損失函數(shù)的消融實驗對比結(jié)果Fig.11 Comparison results of ablation experiments with grad loss function removed

通過表6更直觀地可以看出，去掉梯度損失函數(shù)的消融實驗的PSNR和SSIM雖然比大多數(shù)算法更優(yōu)秀，但仍然沒有本文的方法好。其中“WARDROBE”和“DESK”圖像的PSNR低于MBLLEN和KIND，是因為“WARDROBE”真實圖像中的衣服偏舊、顏色偏暗，而增強后的圖像中的衣服顏色更加鮮艷?！癉ESK”真實圖像中的墨水盒上的字體不清晰，右上角角落由于背光偏暗，而增強后的圖像中的墨水盒上的字體非常清晰，所有角落甚至桌板亮度都明顯增強。因此導(dǎo)致PSNR偏小，具體的細(xì)節(jié)對比如圖12所示。

圖12 WARDROBE和DESK圖像細(xì)節(jié)對比Fig.12 Comparison of WARDROBE and DESK image in details

表6 去掉grad損失函數(shù)的消融實驗評價指標(biāo)對比Table 6 Comparison of evaluation indexes of ablation experiment of grad loss function removed

綜上所述，采用本文提出的結(jié)構(gòu)框架和損失函數(shù)訓(xùn)練的網(wǎng)絡(luò)勝過其他網(wǎng)絡(luò)，且具有較好的增強效果。

4 結(jié)束語

本文提出了一種新的解決低照度圖像增強的方法，并且取得了較好的效果。在對現(xiàn)有的圖像增強算法的研究中發(fā)現(xiàn)很多網(wǎng)絡(luò)不僅結(jié)構(gòu)復(fù)雜，而且細(xì)節(jié)恢復(fù)得還不理想。于是，為了提升整個網(wǎng)絡(luò)的計算速率和準(zhǔn)確性，本文引入了多分支結(jié)構(gòu)。而深度殘差網(wǎng)絡(luò)和U-net可以更好地提取圖像的紋理特征，恢復(fù)出邊緣細(xì)節(jié)。在不同的數(shù)據(jù)集上進行了測試，大量的實驗結(jié)果表明，無論是在圖像的主觀效果還是客觀指標(biāo)方面，本文的算法都優(yōu)于現(xiàn)有的大多數(shù)圖像增強算法。此外，為了使本文所提出的方法應(yīng)用更加廣泛，考慮到擴大數(shù)據(jù)集和優(yōu)化損失函數(shù)，這將是后續(xù)工作。