徐超越，余 映，何鵬浩，李 淼，馬玉輝

（云南大學(xué) 信息學(xué)院，昆明 650091）

0 概述

低照度圖像增強(qiáng)是計(jì)算機(jī)視覺(jué)中具有挑戰(zhàn)性的任務(wù)之一，在各個(gè)領(lǐng)域得到廣泛應(yīng)用。在光線較暗的條件下，傳感器獲得的效果嚴(yán)重退化，產(chǎn)生的圖像不但辨識(shí)性差、對(duì)比度低，而且還存在顏色失真、包含大量噪聲等問(wèn)題，這使得隨后的計(jì)算機(jī)視覺(jué)任務(wù)變得困難，如視頻監(jiān)控、自動(dòng)駕駛、目標(biāo)檢測(cè)等。為了提高低照度圖像的實(shí)用性，需要采取低照度圖像增強(qiáng)方法進(jìn)行處理。

傳統(tǒng)的低照度圖像增強(qiáng)模型可以分為基于直方圖均衡化、基于頻域和基于Retinex 理論對(duì)光照區(qū)域增強(qiáng)的方法。根據(jù)計(jì)算中考慮的區(qū)域不同，基于直方圖均衡化的方法可以分為全局直方圖均衡化［1］、局部直方圖均衡化［2］、自適應(yīng)直方圖均衡化［3］、限制對(duì)比度自適應(yīng)直方圖均衡化［4］等方法，但這些方法由于灰度合并可能會(huì)丟失圖像細(xì)節(jié)信息。基于頻域的方法主要 利用小 波變換［5］和傅里 葉變換［6］。在傅里葉變換域中，研究者采用高通濾波器增強(qiáng)高頻反射分量，抑制低頻照明分量來(lái)增強(qiáng)低照度圖像。YANG 等［7］利用雙樹(shù)復(fù)小波變換來(lái)進(jìn)行圖像增強(qiáng)，但該方法需要大量計(jì)算，變換參數(shù)的選擇往往需要人工干預(yù)。文獻(xiàn)［8-10］提出基于Retinex 理論對(duì)光照區(qū)域增強(qiáng)的方法，利用顏色恒常知覺(jué)計(jì)算理論，通過(guò)獲得反映物體固有屬性的反射分量來(lái)實(shí)現(xiàn)圖像增強(qiáng)處理，但此類(lèi)方法在強(qiáng)烈的陰影過(guò)渡區(qū)域容易出現(xiàn)光暈、偽影。張聿等［11］利用Retinex 理論提出一種基于分區(qū)曝光融合的不均勻亮度視頻增強(qiáng)方法。此外，DONG 等［12］采用去霧方法實(shí)現(xiàn)低照度圖像增強(qiáng)；WANG 等［13］提出一種雙對(duì)數(shù)變換和亮通濾波器，可以在圖像細(xì)節(jié)和亮度之間取得平衡；YING 等［14］提出一種雙曝光融合模型對(duì)低照度圖像進(jìn)行增強(qiáng)。

近年來(lái)，基于深度學(xué)習(xí)的增強(qiáng)方法逐漸發(fā)展，通過(guò)深度學(xué)習(xí)，網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練生成一個(gè)處理器，不僅能產(chǎn)生更好的效果同時(shí)也能將訓(xùn)練好的網(wǎng)絡(luò)應(yīng)用到智能手機(jī)上。LORE 等［15］在訓(xùn)練低照度圖像增強(qiáng)LLNet 的框架中采用堆疊稀疏去噪自編碼器來(lái)實(shí)現(xiàn)圖像增強(qiáng)，但增強(qiáng)后的圖像細(xì)節(jié)模糊，存在噪聲。江澤濤等［16］基于變分自編碼器提出了一種多重構(gòu)變分自編碼器，從粗到細(xì)地生成高質(zhì)量低照度增強(qiáng)圖像。WEI 等［17］將Retinex 理論與深度學(xué)習(xí)相結(jié)合，但所得結(jié)果存在邊緣輪廓模糊的現(xiàn)象。Lü 等［18］提出一種新的網(wǎng)絡(luò)MBLLEN，通過(guò)特征融合產(chǎn)生輸出圖像，但其在亮度增強(qiáng)上效果不夠理想。LIU 等［19］提出一種基于最優(yōu)加權(quán)多曝光融合機(jī)制的圖像增強(qiáng)方法。馬紅強(qiáng)等［20］利用深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）對(duì)亮度分量進(jìn)行增強(qiáng)。ZHANG 等［21］提出一個(gè)簡(jiǎn)單有效的KinD 網(wǎng)絡(luò)處理低照度圖像。隨后，ZHANG 等［22］又在KinD 網(wǎng)絡(luò)的基礎(chǔ)上加入多尺度亮度注意力模塊來(lái)增強(qiáng)處理低照度圖像。LIU 等［23］基于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）提出一種感知細(xì)節(jié)GAN（PD-GAN）來(lái)調(diào)整光照。陳榆瑯等［24］提出一種基于生成對(duì)抗網(wǎng)絡(luò)的空間衛(wèi)星低照度圖像增強(qiáng)方法。ZHU 等［25］采用零樣本學(xué)習(xí)（zero-shot）方案增強(qiáng)圖像。此類(lèi)方法將低照度圖像增強(qiáng)制定為曲線估計(jì)任務(wù)，但圖像整體亮度仍偏暗。XU 等［26］提出一種用于低照度圖像增強(qiáng)的多尺度融合框架。基于深度學(xué)習(xí)的方法是當(dāng)前圖像處理研究發(fā)展的主要趨勢(shì)，但其對(duì)不同尺度圖像特征的表達(dá)能力不足，使得網(wǎng)絡(luò)很難從極暗的圖像中復(fù)原細(xì)節(jié)信息，且增強(qiáng)后的圖像容易出現(xiàn)色彩畸變、噪聲被放大、邊緣輪廓模糊的現(xiàn)象。

針對(duì)上述問(wèn)題，本文提出一種基于U-Net 的多尺度低照度圖像增強(qiáng)網(wǎng)絡(luò)（MSU-LIIEN），旨在增強(qiáng)圖像亮度，消除噪聲并使圖像細(xì)節(jié)內(nèi)容清晰可見(jiàn)。利用特征金字塔網(wǎng)絡(luò)對(duì)原始低照度圖像進(jìn)行處理，以便讓網(wǎng)絡(luò)模型在初期即可獲得融合深、淺層特征信息的特征圖，使得所有不同尺度的特征圖都含有豐富的高級(jí)語(yǔ)義信息。MSU-LIIEN 中每個(gè)網(wǎng)絡(luò)分支都采用U-Net 網(wǎng)絡(luò)，可以使模型在捕捉圖像特征信息的長(zhǎng)期依賴(lài)方面更有效。在此基礎(chǔ)上，將多尺度和U-Net 互相結(jié)合，設(shè)計(jì)MSU-Net 模塊，以獲得豐富的細(xì)節(jié)信息，有效增強(qiáng)低照度圖像的亮度。由于融合不同尺度的特征圖是提高網(wǎng)絡(luò)性能的一個(gè)重要手段，因此還設(shè)計(jì)一種擴(kuò)張的結(jié)構(gòu)細(xì)節(jié)殘差融合塊（Structural Detail Residual Fusion Block，SDRFB）嵌入到U-Net 骨干網(wǎng)中。該模塊通過(guò)擴(kuò)大感受野的方式，能夠獲得更為全面、語(yǔ)義層次更高的特征圖，提高網(wǎng)絡(luò)表達(dá)圖像特征信息的能力。

1 MSU-LIIEN 模型

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

為了解決低照度圖像亮度增強(qiáng)、圖像細(xì)節(jié)恢復(fù)和噪聲去除的問(wèn)題，本文提出一種基于U-Net 的多尺度低照度圖像增強(qiáng)網(wǎng)絡(luò)（MSU-LIIEN）。MSU-LIIEN 通過(guò)融合不同尺度的特征圖來(lái)對(duì)低照度圖像進(jìn)行增強(qiáng)，采用特征金字塔（FPN）和U-Net 結(jié)合的方法使網(wǎng)絡(luò)模型獲得豐富的低照度圖像特征信息，并將所得到的特征圖沿著網(wǎng)絡(luò)模型逐漸融合。由于圖像細(xì)節(jié)是高頻信息，因此低照度圖像增強(qiáng)后會(huì)不可避免地導(dǎo)致圖像細(xì)節(jié)模糊或產(chǎn)生噪聲，且現(xiàn)有的特征提取塊［27］很難完全從低照度圖像中獲得紋理細(xì)節(jié)特征，所以，MSU-LIIEN以特征金字塔為基本結(jié)構(gòu)，用于把低照度圖像轉(zhuǎn)換為特征映射，將特征金字塔網(wǎng)絡(luò)提取到的多級(jí)特征融合為基本特征。然后將其輸入到MSU-Net 模塊中，經(jīng)過(guò)多層卷積消除噪聲，并獲得豐富的圖像特征信息。最后將3 個(gè)分支輸出的特征圖逐層進(jìn)行融合，用于恢復(fù)出最終的結(jié)果圖。在MSU-Net模塊中的3 個(gè)分支中都采用U-Net 結(jié)構(gòu)作為骨干網(wǎng)，對(duì)提取到的圖像特征進(jìn)行編碼與解碼操作，并在所有分支上都進(jìn)行相同的卷積和結(jié)構(gòu)細(xì)節(jié)殘差融合操作，以加強(qiáng)主干網(wǎng)絡(luò)對(duì)特征信息的傳遞，獲得表達(dá)能力更強(qiáng)的特征圖。本文網(wǎng)絡(luò)整體結(jié)構(gòu)框架如圖1 所示，原始低照度圖像首先通過(guò)特征金字塔提取淺層特征信息，然后將特征圖輸入到3 個(gè)U-Net 分支中，其中U1、U2 和U3 分別是輸入特征圖的尺寸為H×W，H/2×W/2 和H/4×W/4 的3 個(gè)U-Net分支。

將通過(guò)MSU-Net 模塊得到的所有尺度特征圖進(jìn)行逐層融合，再通過(guò)兩層卷積和SDRFB 模塊得到最終增強(qiáng)后的正常光照?qǐng)D像，該過(guò)程表示為：

其中：i表示輸入的原始低照度圖像；o為最終增強(qiáng)的正常光照?qǐng)D像；Conv 表示大小為3×3、步長(zhǎng)為1 的卷積操作；SDRFB 表示結(jié)構(gòu)細(xì)節(jié)殘差融合塊；Cat 表示對(duì)圖像進(jìn)行連接操作；U1、U2、U3 表示3 個(gè)分支，這里是對(duì)3 個(gè)分支輸出的特征圖進(jìn)行Cat 操作。

1.2 MSU-Net 模塊

每經(jīng)過(guò)一層卷積噪聲的等級(jí)就會(huì)減小，但相應(yīng)的圖像細(xì)節(jié)內(nèi)容也會(huì)丟失，因此，本文設(shè)計(jì)了MSU-Net模塊。該模塊將多尺度結(jié)構(gòu)和U-Net 互相結(jié)合，在達(dá)到良好去噪效果的同時(shí)較好地保留了圖像細(xì)節(jié)紋理信息。采用多尺度結(jié)構(gòu)可以在不同尺度的特征圖上捕獲更全面的特征信息，增強(qiáng)網(wǎng)絡(luò)對(duì)不同尺度特征的感知能力。U-Net 網(wǎng)絡(luò)能夠?qū)⒕幋a器中的低級(jí)特征與解碼器中的深層語(yǔ)義特征相結(jié)合，充分利用上下紋理信息。與標(biāo)準(zhǔn)的U-Net 架構(gòu)相比，MSU-Net 的不同主要在于采用多分支多尺度的方式融合了多個(gè)不同感受野大小的卷積序列產(chǎn)生的特征圖，在模塊中通過(guò)對(duì)多個(gè)不同感受野的特征圖進(jìn)行信息提取，能夠讓網(wǎng)絡(luò)獲得更多的細(xì)節(jié)和語(yǔ)義信息，從而增強(qiáng)網(wǎng)絡(luò)對(duì)多尺度特征信息的提取和表達(dá)能力。MSU-Net 分支結(jié)構(gòu)如圖2所示。

圖2 MSU-Net 分支結(jié)構(gòu)Fig.2 MSU-NET branch structure

值得注意的是，每個(gè)分支采用的U-Net 網(wǎng)絡(luò)的結(jié)構(gòu)和深度都一致，其每個(gè)分支都采用3×3 大小、步長(zhǎng)為1 的卷積，下采樣執(zhí)行2×2 最大池化操作，上采樣執(zhí)行2×2 轉(zhuǎn)置卷積操作。編碼器由兩個(gè)卷積層、兩個(gè)結(jié)構(gòu)細(xì)節(jié)殘差融合塊組成，解碼器也是同樣結(jié)構(gòu)。當(dāng)來(lái)自編碼器網(wǎng)絡(luò)的高分辨率特征圖與解碼器網(wǎng)絡(luò)含有豐富語(yǔ)義的特征圖逐漸融合時(shí)，能夠讓網(wǎng)絡(luò)更有效地捕獲圖像的細(xì)節(jié)和語(yǔ)義信息。在MSU-Net模塊中，下采樣用來(lái)逐漸展現(xiàn)環(huán)境信息，上采樣用來(lái)進(jìn)行信息的傳遞。由于模塊具有對(duì)稱(chēng)性，因此可以在提高網(wǎng)絡(luò)模型精度的同時(shí)減小計(jì)算量。每個(gè)分支的計(jì)算過(guò)程可以表示為：

其中：Fin為輸入的特征圖；F1、F2、F3分別為經(jīng)過(guò)卷積、池化等操作產(chǎn)生的特征圖；Fout為MSU-Net 模塊每個(gè)分支輸出的特征圖；SDRFB 表示結(jié)構(gòu)細(xì)節(jié)殘差融合操作；Conv 表示卷積操作；Max_Pooling 表示下采樣最大池化操作；up_sampling 表示上采樣轉(zhuǎn)置卷積操作。

1.3 結(jié)構(gòu)細(xì)節(jié)殘差融合塊

為了更好地挖掘圖像的深層次特征信息，提高網(wǎng)絡(luò)表達(dá)特征信息的能力，本文將SDRFB 嵌入到UNet 中，它不僅可以結(jié)合不同尺度的圖像特征信息，同時(shí)也有助于梯度的反向傳播，加快網(wǎng)絡(luò)模型的訓(xùn)練速度，解決網(wǎng)絡(luò)層數(shù)較深情況下梯度消散的問(wèn)題。圖3 所示為本文設(shè)計(jì)的結(jié)構(gòu)細(xì)節(jié)殘差融合塊結(jié)構(gòu)，其對(duì)輸入的特征圖進(jìn)行最大池化下采樣操作，以保留顯著的圖像特征信息并減少網(wǎng)絡(luò)訓(xùn)練參數(shù)。

圖3 結(jié)構(gòu)細(xì)節(jié)殘差融合塊Fig.3 Structure details residual block

在SDRFB 模塊內(nèi)生成兩個(gè)不同尺度的特征圖，大小分別為H/2×W/2 和H/4×W/4，然后將特征圖進(jìn)行融合獲得含有豐富信息的特征圖。受殘差網(wǎng)絡(luò)的影響，考慮到非線性因素的初始化方法適用于研究更深更大的網(wǎng)絡(luò)結(jié)構(gòu)，因此該模塊借鑒了殘差網(wǎng)絡(luò)的結(jié)構(gòu)，引入跳躍連接進(jìn)行特征融合。與普通殘差塊的主要區(qū)別是，SDRFB 模塊可以在同一尺度內(nèi)充分利用多尺度信息。該模塊因?yàn)榫哂懈蟮母惺芤?，所以可以獲得更多的上下文信息，有助于網(wǎng)絡(luò)找回丟失的圖像細(xì)節(jié)信息。此外，它還是一個(gè)獨(dú)立的模塊，可以靈活地嵌入到各種網(wǎng)絡(luò)模型訓(xùn)練中。

SDRFB 模塊首先對(duì)輸入的特征圖進(jìn)行卷積操作，然后再對(duì)輸入的特征圖進(jìn)行池化操作以獲得不同尺度特征圖，該過(guò)程可以表示為：

其中：x表示輸入的特征圖；Conv 表示大小為3×3、步長(zhǎng)為1 的卷積操作；Max_Pooling 表示大小2×2、步長(zhǎng)為2的池化操作；y1、y2分別表示通過(guò)卷積和池化操作得到的輸出特征圖，大小分別為H/2×W/2、H/4×W/4。

最后，將所有尺度的特征圖融合在一起，通過(guò)帶有BN 和PReLU 操作的卷積層，再和輸入特征圖x相加。該過(guò)程可以表示為：

其中：Up1表示一次上采樣操作；Cat 表示對(duì)特征圖進(jìn)行拼接，融合不同尺度的特征信息；Z為通過(guò)結(jié)構(gòu)細(xì)節(jié)殘差融合塊（SDRFB）輸出的特征圖；H 表示包含Conv、Batch Norm 和PReLU 操作組成的運(yùn)算，可以加速網(wǎng)絡(luò)訓(xùn)練，加強(qiáng)特征的傳播、減少模型參數(shù)，解決了深層網(wǎng)絡(luò)的梯度消散和減少小樣本的過(guò)擬合的問(wèn)題。

1.4 損失函數(shù)

為定性和定量地提高圖像質(zhì)量，考慮圖像的結(jié)構(gòu)信息、感知信息和區(qū)域差異，本文將均方誤差（Mean Square Error，MSE）、結(jié)構(gòu)性相似度（Structural Similarity Index，SSIM）和梯度損失（Grad Loss，GL）結(jié)合起來(lái)作為圖像增強(qiáng)模型的聯(lián)合訓(xùn)練損失函數(shù)，其計(jì)算公式如下：

MSE 是網(wǎng)絡(luò)訓(xùn)練時(shí)常用的回歸損失函數(shù)，在訓(xùn)練過(guò)程中具有較好的收斂性，其計(jì)算公式為：

其中：I表示原始正常圖像，大小為M×N；K表示經(jīng)過(guò)網(wǎng)絡(luò)框架增強(qiáng)后的圖像。

為彌補(bǔ)普通的均方誤差無(wú)法衡量圖片結(jié)構(gòu)相似性的缺陷，本文加入了SSIM 損失函數(shù)，其計(jì)算公式為：

其中：μx和μy分別為圖像x和y的均值分別是圖像x和y的方差；σxy表示圖像x和y的協(xié)方 差；c1和c2為默認(rèn)調(diào)節(jié)參數(shù)。

為了避免網(wǎng)絡(luò)在訓(xùn)練過(guò)程中陷入局部最優(yōu)，在聯(lián)合訓(xùn)練損失函數(shù)中加入梯度損失函數(shù)，計(jì)算公式為：

其中：?是梯度算子，包含圖像x和y兩個(gè)維度方向；?x和?y分別表示水平和垂直方向的梯度。

2 實(shí)驗(yàn)與結(jié)果分析

將本文提出的基于U-Net 的多尺度低照度圖像增強(qiáng)網(wǎng)絡(luò)MSU-LIIEN 與現(xiàn)有經(jīng)典方法進(jìn)行對(duì)比評(píng)估，并對(duì)網(wǎng)絡(luò)模型進(jìn)行消融實(shí)驗(yàn)。

2.1 訓(xùn)練數(shù)據(jù)集

本文使用LOL-datasets 和Brighting Train 數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集。LOL-datasets包括500 個(gè)低/正常光圖像對(duì)，有485對(duì)低光/正常光訓(xùn)練圖像，15張低照度測(cè)試圖像。Brighting Train數(shù)據(jù)集包含1 000對(duì)低照度和正常光照?qǐng)D像。實(shí)驗(yàn)平臺(tái)配置Intel Xeon W-2102 2.90 GHz CPU、8 GB RAM 和Nvidia 2080 GPU，實(shí)驗(yàn)程序在Tensorflow 1.15 框架上運(yùn)行，聯(lián)合損失函數(shù)的權(quán)重參數(shù)設(shè)置為α=β=γ=1，利用學(xué)習(xí)率設(shè)置為1e－4 的Adam 優(yōu)化模型對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，整個(gè)網(wǎng)絡(luò)訓(xùn)練次數(shù)為2 000 次。

2.2 定量分析

基于LOL數(shù)據(jù)集，本文將MSU-LIIEN網(wǎng)絡(luò)模型與9種經(jīng)典低照度圖像增強(qiáng)模型進(jìn)行比較，傳統(tǒng)模型為MSRCR［8］、DONG［12］、NPE［13］、SRIE［9］、MF［10］、BIMEF［14］，深度學(xué)習(xí)模型為MBLLEN［18］、KinD［21］、RRDNet［25］。圖4～圖6 分別是從LOL 數(shù)據(jù)集中選取的3 張測(cè)試圖像的實(shí)驗(yàn)結(jié)果對(duì)比圖，其中細(xì)節(jié)部分用方框標(biāo)出?？梢钥闯觯篠RIE、BIMEF 和RRDNet模型計(jì)算得到的圖像在亮度和清晰度上均不理想；DONG、BIMEF、MF、NPE、MSRCR 和SRIE 方法都產(chǎn)生了大量噪聲，導(dǎo)致主觀效果欠佳；MSRCR 模型使增強(qiáng)后的圖像存在過(guò)曝的現(xiàn)象且伴有大量噪聲；BIMEF、MBLLEN 和KinD 模型在其增強(qiáng)后的圖像物體邊緣會(huì)出現(xiàn)模糊現(xiàn)象，細(xì)節(jié)丟失嚴(yán)重；相比之下，本文提出的MSU-LIIEN 模型不但能更好地提升增強(qiáng)圖像的整體亮度，而且增強(qiáng)后的圖像保持了豐富的物體細(xì)節(jié)信息和清晰的邊緣輪廓，同時(shí)還能有效抑制噪聲的產(chǎn)生。

圖4 Wardrobe 圖像實(shí)驗(yàn)結(jié)果對(duì)比Fig.4 Experimental results comparison of Wardrobe image

圖5 Natatorium 圖像實(shí)驗(yàn)結(jié)果對(duì)比Fig.5 Experimental results comparison of Nataorium image

圖6 Doll 圖像實(shí)驗(yàn)結(jié)果對(duì)比Fig.6 Experimental results comparison of Doll image

基于Brighting Train 數(shù)據(jù)集，本文模型與3 種基于深度學(xué)習(xí)的低照度圖像增強(qiáng)模型進(jìn)行對(duì)比，對(duì)比模型包括Retinex-Net［16］、KinD［21］、TBEFN［28］模型。圖7～圖9分別是從Brighting Train 數(shù)據(jù)集中選取的3 張測(cè)試圖像的實(shí)驗(yàn)結(jié)果對(duì)比圖，其細(xì)節(jié)部分用方框標(biāo)出。由圖7 可以看出：TBEFN 的模型無(wú)法增強(qiáng)出其圖像本身的色彩，增強(qiáng)后的圖像整體呈現(xiàn)灰色黯淡的情況；拱門(mén)上面的獎(jiǎng)杯出現(xiàn)灰度分布不均勻的現(xiàn)象，雕像側(cè)邊凹進(jìn)去的墻壁邊緣模糊；Retinex-Net 模型在圖像整體色彩恢復(fù)上較差，拱門(mén)上面的獎(jiǎng)杯存在色彩失真的現(xiàn)象，側(cè)邊凹進(jìn)去的墻壁邊緣輪廓模糊不清；KinD 模型可以把獎(jiǎng)杯的色彩均勻的恢復(fù)出來(lái)，但圖像的整體細(xì)節(jié)信息還是存在模糊的問(wèn)題；本文提出的MSU-LIIEN 模型可以較好地恢復(fù)出建筑物本身的色彩，且拱門(mén)上面的獎(jiǎng)杯和側(cè)邊凹進(jìn)去的墻面邊界都能清晰地增強(qiáng)出來(lái)。由圖8可以看出：TBEFN 模型仍舊沒(méi)有把建筑物本身的色彩增強(qiáng)出來(lái)；Retinex-Net模型存在顏色失真、圖像模糊的現(xiàn)象，屋頂建筑物的輪廓和屋檐與墻壁之間的分界處由于噪聲的存在，導(dǎo)致圖像模糊，且天空中的烏云分布不自然合理；KinD 模型有偽影的現(xiàn)象發(fā)生，屋檐與天空的分界不明顯，屋頂建筑物的輪廓也不清晰；本文的MSU-LIIEN 模型能夠使天空中的烏云的分布恢復(fù)得更自然一些，屋頂及屋頂建筑物的輪廓增強(qiáng)得較為清晰，且細(xì)節(jié)更加豐富，顏色豐富度較其他模型有明顯的提高。由圖9 可以看出：TBEFN 模型使草地的顏色明顯發(fā)生了明顯退化，有很多小草的顏色沒(méi)有恢復(fù)出來(lái)；Retinex-Net 模型出現(xiàn)了大量的噪聲，且兩只鳥(niǎo)的色彩恢復(fù)較為單一；KinD 模型存在細(xì)節(jié)模糊的現(xiàn)象，兩只鳥(niǎo)的邊緣輪廓模糊；相比之下，本文提出的MSU-LIIEN模型可以使兩只鳥(niǎo)的邊緣輪廓更加清晰，草地的顏色更加合理自然，且有效地抑制了噪聲的產(chǎn)生?？傮w而言，本文模型取得了較好的效果。

圖7 Building1 圖像實(shí)驗(yàn)結(jié)果對(duì)比Fig.7 Experimental results comparison of Building1 image

圖8 Building2 圖像實(shí)驗(yàn)結(jié)果對(duì)比Fig.8 Experimental results comparison of Building2 image

圖9 Bird 圖像實(shí)驗(yàn)結(jié)果對(duì)比Fig.9 Experimental results comparison of Bird image

2.3 客觀評(píng)價(jià)指標(biāo)

本節(jié)實(shí)驗(yàn)采用圖像質(zhì)量客觀評(píng)價(jià)指標(biāo)來(lái)評(píng)估本文提出的MSU-LIIEN 網(wǎng)絡(luò)模型。選用的評(píng)價(jià)指標(biāo)包括峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structual Similarity，SSIM）、噪聲質(zhì)量評(píng)價(jià)（Noise Quality Measure，NQM）、信噪比（Signal-to-Noise Ratio，SNR）、視覺(jué)信息保真度（Visual Information Fidelity，VIF）以及信息保真度準(zhǔn)則（Information Fidelity Criterion，IFC）來(lái)評(píng)價(jià)。PSNR 值越大，表明圖像的質(zhì)量越好，失真越少；SSIM 值越大，表明圖像的質(zhì)量越好，更符合人眼的評(píng)判標(biāo)準(zhǔn)；VIF、NQM 和IFC 越大，表明圖像細(xì)節(jié)保留得越好。

表1～表3 分別給出了對(duì)應(yīng)LOL 數(shù)據(jù)集中3 幅測(cè)試圖像的各種對(duì)比模型所得到的客觀評(píng)價(jià)指標(biāo)，其中，加粗?jǐn)?shù)據(jù)為最優(yōu)數(shù)據(jù)，下同。可以看出：在表1中除了SSIM 指標(biāo)略低于KinD 方法外，本文模型在其他評(píng)價(jià)指標(biāo)上明顯優(yōu)于其他對(duì)比模型。在表2 中除了SSIM、VIF 指標(biāo)外，其他評(píng)價(jià)指標(biāo)都是最優(yōu)的，而且在PSNR、NQM、IFC、SNR 指標(biāo)上和圖像處理速度上明顯優(yōu)于其他對(duì)比模型。在表3 中本文模型在所有評(píng)價(jià)指標(biāo)上均明顯優(yōu)于其他對(duì)比模型。此外，在表3 中還給出了LOL 數(shù)據(jù)集中全部15 幅測(cè)試圖像所對(duì)應(yīng)各種模型的平均峰值信噪比（Average Peak Signal-to-Noise Ratio，AVG_PSNR）指標(biāo)，可以看出，本文模型在該指標(biāo)上也明顯優(yōu)于其他所有對(duì)比模型。由此看見(jiàn)，本文模型對(duì)低照度圖像增強(qiáng)的效果在客觀評(píng)價(jià)指標(biāo)上明顯優(yōu)于其他9 種對(duì)比模型，且圖像的處理時(shí)間也為最短。

表1 Cabinet 圖像評(píng)價(jià)指標(biāo)Table 1 Evaluation index of Cabinet image

表2 Natatorium 圖像評(píng)價(jià)指標(biāo)Table 2 Evaluation index of Natatorium image

表3 Doll 圖像評(píng)價(jià)指標(biāo)Table 3 Evaluation index of Doll image

表4～表6 分別給出了對(duì)應(yīng)Brighting Train 數(shù)據(jù)集中3 幅測(cè)試圖像的各種對(duì)比模型所得到的客觀評(píng)價(jià)指標(biāo)?？梢钥闯觯诒?～表6 中除了圖像的運(yùn)行時(shí)間外，其他評(píng)價(jià)指標(biāo)均是本文模型最優(yōu)，且在PSNR、SSIM、NQM、IFC、VIF和SNR指標(biāo)上明顯優(yōu)于其他對(duì)比模型。此外，在表6 中還給出了Brighting Train 數(shù)據(jù)集中全部測(cè)試圖像所對(duì)應(yīng)各種模型的平均峰值信噪比（AVG_PSNR）指標(biāo)。可以看出，本文模型在該指標(biāo)上也明顯優(yōu)于其他所有對(duì)比模型。由此看見(jiàn)，無(wú)論是在像素層面、結(jié)構(gòu)層面還是在感知層面，本文網(wǎng)絡(luò)模型的圖像增強(qiáng)質(zhì)量均優(yōu)于其他所有對(duì)比模型。

表4 Building1 圖像評(píng)價(jià)指標(biāo)Table 4 Evaluation index of Building1 image

表5 Builling2 圖像評(píng)價(jià)指標(biāo)Table 5 Evaluation index of Building2 image

表6 Bird 圖像評(píng)價(jià)指標(biāo)Table 6 Evaluation index of Bird image

2.4 消融實(shí)驗(yàn)

對(duì)MSU-LIIEN 網(wǎng)絡(luò)模型中各個(gè)網(wǎng)絡(luò)模塊進(jìn)行消融實(shí)驗(yàn)，本實(shí)驗(yàn)采用LOL 數(shù)據(jù)集。為公平比較，實(shí)驗(yàn)均在相同設(shè)置下進(jìn)行訓(xùn)練。為了驗(yàn)證本文引入的結(jié)構(gòu)細(xì)節(jié)殘差融合塊（SDRFB）和特征金字塔網(wǎng)絡(luò)（FPN）的有效性，每次訓(xùn)練分別移除其中一個(gè)網(wǎng)絡(luò)模塊來(lái)進(jìn)行消融實(shí)驗(yàn)。

圖10 所示為從LOL_datasets 選出的3 張測(cè)試圖像?？梢钥闯觯サ鬝DRFB 模塊的網(wǎng)絡(luò)模型在顏色豐富度上沒(méi)有基礎(chǔ)模型好，去掉FPN 的網(wǎng)絡(luò)模型在細(xì)節(jié)恢復(fù)上不夠理想，物體的邊緣輪廓較為模糊。

表7給出了采用LOL數(shù)據(jù)集中“Doll”圖像和“Room”圖像來(lái)進(jìn)行消融實(shí)驗(yàn)所得到的客觀評(píng)價(jià)指標(biāo)。其中，AVG_PSNR 和 AVG_SSIM（Average Structural Similarity，AVG_SSIM）是采用LOL數(shù)據(jù)集中所有15幅測(cè)試圖像所得到的平均峰值信噪比和平均結(jié)構(gòu)相似度。從表7中可以看出，本文引入SDRFB模塊和FPN能夠有效提升低照度圖像的增強(qiáng)效果，AVG_PSNR 和AVG_SSIM指標(biāo)有明顯提升。加入FPN后，AVG_PSNR指標(biāo)提升了4.95%，AVG_SSIM 指標(biāo)提升了1.19%；而加入SDRFB 模塊后，AVG_PSNR 指標(biāo)提升了23.02%，AVG_SSIM 指標(biāo)提升了3.66%。

表7 消融實(shí)驗(yàn)指標(biāo)對(duì)比Table 7 Indexes comparison of ablation experiment

圖11（a）和圖11（b）分別為各消融實(shí)驗(yàn)每隔200次迭代所得到的平均PSNR 值和平均SSIM 值的變化情況。可以看出，在每200 次迭代中，均值PSNR 及均值SSIM 指標(biāo)均是本文模型最好，因此，本文的基礎(chǔ)模型能夠取得最好的結(jié)果。

圖11 消融實(shí)驗(yàn)PSNR、SSIM 指標(biāo)對(duì)比折線圖Fig.11 Line chart of comparison of PSNR and SSIM in ablation experiment

3 結(jié)束語(yǔ)

本文提出一種基于U-Net 的多尺度低照度圖像增強(qiáng)網(wǎng)絡(luò)（MSU-LIIEN），在網(wǎng)絡(luò)訓(xùn)練過(guò)程中采用融合的策略對(duì)網(wǎng)絡(luò)進(jìn)行端對(duì)端的有監(jiān)督學(xué)習(xí)，以促進(jìn)網(wǎng)絡(luò)模型融合更多的圖像特征信息。由于網(wǎng)絡(luò)中3 個(gè)分支都采用U-Net 作為骨干網(wǎng)，因此MSU-LIIEN能夠充分捕捉相隔較遠(yuǎn)圖像區(qū)域間的特征信息，提取更豐富的語(yǔ)義信息，從而有利于恢復(fù)圖像的整體結(jié)構(gòu)，增強(qiáng)圖像亮度。此外，MSU-LIIEN 模型中嵌入的SDRFB 模塊能夠更好地聚合上下紋理信息，捕獲更詳細(xì)的圖像特征信息，提高網(wǎng)絡(luò)模型精度。實(shí)驗(yàn)結(jié)果表明，與KinD、MSRCR、NPE、MBLLEN 等模型相比，本文模型在增強(qiáng)圖像亮度的同時(shí)能保持更多的圖像結(jié)構(gòu)和紋理信息，而且可以有效抑制噪聲的產(chǎn)生。MSU-LIIEN 模型只適用于靜態(tài)低照度圖像處理，下一步擬將其應(yīng)用范圍擴(kuò)展到低照度視頻增強(qiáng)領(lǐng)域。