趙明華，汶怡春，都雙麗，胡靜，石程，李鵬

西安理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，西安 710048

0 引言

在低光照條件下獲取的圖像往往具有亮度低、對(duì)比度低、細(xì)節(jié)模糊以及高噪聲等視覺降質(zhì)問題，常見的低照度圖像類型如圖1 所示（Li 等，2022a），這些問題不但會(huì)影響人眼的視覺觀感，還會(huì)降低現(xiàn)有視覺智能感知設(shè)備的識(shí)別、檢測(cè)、分析和理解能力。低光照?qǐng)D像增強(qiáng)旨在恢復(fù)拍攝場(chǎng)景的信息，以獲得具有完整結(jié)構(gòu)和細(xì)節(jié)，且清晰自然的圖像，是高級(jí)計(jì)算機(jī)視覺任務(wù)進(jìn)行預(yù)處理的基礎(chǔ)，在多個(gè)新興的計(jì)算機(jī)視覺領(lǐng)域引起了廣泛的關(guān)注。

圖1 常見的低照度圖像類型Fig.1 Common types of low-light images（（a）backlit；（b）uneven light；（c）indoor low-light；（d）extremely low-light；（e）colored light；（f）noise）

圍繞“低光照影像增強(qiáng)”，涌現(xiàn)出大量行之有效的方法，包括傳統(tǒng)模型驅(qū)動(dòng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)模型驅(qū)動(dòng)的增強(qiáng)算法可分為3 類：基于分布映射、基于Retinex 的模型優(yōu)化和基于融合的低照度圖像增強(qiáng)算法（馬龍 等，2022）。

基于分布映射的方法一般在空域或頻域利用線性或非線性函數(shù)來(lái)拉伸低照度圖像的亮度和對(duì)比度（郭永坤 等，2022），如對(duì)數(shù)函數(shù)校正（Peli，1990），S曲線（Yuan和Sun，2012）以及常用的直方圖均衡化（Abdullah-Al-Wadud 等，2007），從而使圖像中亮度不同的像素盡可能分布均勻以達(dá)到增強(qiáng)圖像的目的。但基于分布映射的方法未考慮像素的空間分布，增強(qiáng)后的圖像常存在過(guò)度曝光和顏色失真等問題。

基于Retinex 理論的低照度圖像增強(qiáng)方法利用人眼視覺特性以及色彩恒常性，認(rèn)為人眼或圖像采集設(shè)備所感知的物體亮度由物體本身的反射分量和環(huán)境光照這兩個(gè)因素決定，大部分工作聚焦在分析反射分量和光照分量的視覺結(jié)構(gòu)特征，并構(gòu)建正則化約束上，很多加權(quán)變分約束模型被提出。Fu 等人（2016）提出了基于對(duì)數(shù)域的加權(quán)變分模型，用于同時(shí)估算光照和反射量。Xu 等人（2020a）發(fā)現(xiàn)利用指數(shù)級(jí)局部平均變分作為加權(quán)權(quán)重，在 Retinex分解時(shí)可生成原圖的卡通—紋理圖。江澤濤等人（2021）引入Attention機(jī)制和密集卷積塊實(shí)現(xiàn)低照度圖像的亮度和對(duì)比度提升。但上述方法均未考慮增強(qiáng)時(shí)伴隨的噪聲放大問題。都雙麗等人（2023）結(jié)合局部相對(duì)變分和非局部自相似原理，提出了一種Retinex 分解和去噪模型，在增強(qiáng)圖像亮度的同時(shí)有效去除圖像噪聲。

基于融合的增強(qiáng)算法通過(guò)融合曝光水平不同的多幅圖像恢復(fù)場(chǎng)景信息。Ying等人（2017）提出了多尺度權(quán)重矩陣融合策略。Wang 等人（2020）利用YUV 顏色空間中的圖像細(xì)節(jié)信息輔助融合。趙明華等人（2022）通過(guò)深度摳圖技術(shù)融合逆光區(qū)和原圖像，實(shí)現(xiàn)圖像增強(qiáng)的同時(shí)避免過(guò)曝光。由于傳統(tǒng)模型驅(qū)動(dòng)增強(qiáng)方法僅從對(duì)比度或動(dòng)態(tài)范圍等單一角度分析，實(shí)現(xiàn)亮度提升，常出現(xiàn)局部欠增強(qiáng)、過(guò)增強(qiáng)及色彩失真等問題，且處理噪聲時(shí)具有高耗時(shí)問題。

深度學(xué)習(xí)技術(shù)在諸多領(lǐng)域表現(xiàn)出色，越來(lái)越多的基于深度學(xué)習(xí)的低照度圖像增強(qiáng)算法被提出，性能提升顯著。早期，大部分工作聚焦在圖像亮度提升方面，通過(guò)設(shè)計(jì)不同的網(wǎng)絡(luò)模型來(lái)提升增強(qiáng)效果，應(yīng)用較為廣泛的是類U-Net 結(jié)構(gòu)。Chen 等人（2018）使用長(zhǎng)短曝光在靜態(tài)場(chǎng)景下采集并構(gòu)建低光照?qǐng)D像增強(qiáng)數(shù)據(jù)集，提出了基于U-Net 的全卷積增強(qiáng)網(wǎng)絡(luò)模型；Ren 等人（2019）利用內(nèi)容流和邊緣流彌補(bǔ)了現(xiàn)有增強(qiáng)算法在結(jié)構(gòu)細(xì)節(jié)上的損失；Lyu 等人（2020）、Zhao 等人（2022）分別提出了輕量化、速度快并可部署到移動(dòng)設(shè)備端上的類U-Net 結(jié)構(gòu)和基于Retinex 分解的增強(qiáng)方法。Jiang 等人（2021）基于U-Net 提出了一種無(wú)監(jiān)督增強(qiáng)模型（EnlightenGan）。拉普拉斯金字塔也是常用的結(jié)構(gòu)（Lim 和Kim，2021）。此外，部分學(xué)者聚焦于設(shè)計(jì)多分支結(jié)構(gòu)，如Xu 等人（2020b）將低光照?qǐng)D像分為低頻和高頻兩個(gè)分支進(jìn)行恢復(fù)和增強(qiáng)。

上述方法專注于圖像亮度提升和色彩還原，忽略了增強(qiáng)時(shí)伴隨著噪聲放大的問題。尤其針對(duì)照度特別低的圖像，噪聲污染嚴(yán)重。為此，部分同時(shí)考慮噪聲抑制和亮度提升的工作相繼提出。Lore 等人（2017）通過(guò)堆疊稀疏自編碼器降低噪聲影響的同時(shí)提高圖像對(duì)比度。Wang等人（2019b）根據(jù)照度和噪聲的耦合關(guān)系利用兩個(gè)子網(wǎng)絡(luò)分別進(jìn)行照度和噪聲估計(jì)，使用循環(huán)漸進(jìn)機(jī)制感知兩者之間的內(nèi)在關(guān)系，實(shí)現(xiàn)低光圖像增強(qiáng)。Wang 等人（2019a）將深度學(xué)習(xí)技術(shù)與Retinex理論相結(jié)合實(shí)現(xiàn)增強(qiáng)和去噪。

由于真實(shí)采集的低照度圖像亮度差異大、失真度不同以及噪聲污染強(qiáng)度不同，且針對(duì)同一幅圖像不同區(qū)域的亮度和噪聲強(qiáng)度也存在顯著差異，導(dǎo)致預(yù)訓(xùn)練的模型用于真實(shí)數(shù)據(jù)時(shí)會(huì)出現(xiàn)圖像整體或局部欠增強(qiáng)和過(guò)增強(qiáng)問題。為此，部分學(xué)者引入注意力機(jī)制，借助預(yù)估計(jì)的圖像照度和噪聲強(qiáng)度來(lái)引導(dǎo)亮度提升和噪聲抑制。Lyu 等人（2021）設(shè)計(jì)兩個(gè)深度分支來(lái)估計(jì)照度與噪聲圖，用于引導(dǎo)曝光提升和去噪。Xu 等人（2022）利用信噪比圖先驗(yàn)來(lái)動(dòng)態(tài)決定引入非局部特征的比重，噪聲越強(qiáng)的區(qū)域，增強(qiáng)時(shí)引入的非局部特征比重越高。

但是，上述方法在構(gòu)建噪聲注意力機(jī)制時(shí)需要顯式地估計(jì)噪聲的強(qiáng)度，即需要去噪模塊。而噪聲分布復(fù)雜、強(qiáng)度多變，傳統(tǒng)模型驅(qū)動(dòng)的去噪算法常會(huì)出現(xiàn)過(guò)度去噪和去噪不全問題，直接導(dǎo)致生成的噪聲引導(dǎo)圖可靠性低。如果構(gòu)建有監(jiān)督的深度去噪模型，需要“低光照下含噪聲和低光照下不含噪聲”圖像對(duì)，該數(shù)據(jù)很難獲取，多采用合成的數(shù)據(jù)，而訓(xùn)練的模型用于真實(shí)數(shù)據(jù)時(shí)深度域適應(yīng)問題突出。

為此，本文提出了一種新的基于注意力機(jī)制的增強(qiáng)方法，不需要顯式地估計(jì)噪聲的強(qiáng)度。受Wang等人（2019c）提出的吸收—散射成像模型的啟發(fā)，本文通過(guò)低照度圖像的最小通道約束圖預(yù)估計(jì)正常曝光圖像的照度和紋理注意力圖，該圖含有豐富的場(chǎng)景紋理信息和圖像照度信息。由于低照度圖像的最小通道約束圖具有噪聲抑制和紋理凸顯作用，對(duì)圖像照度和噪聲強(qiáng)度變化具有一定的魯棒性，故本文提出了一種基于低照度圖像的最小通道約束圖的注意力機(jī)制構(gòu)建方法。利用生成的照度和紋理預(yù)估計(jì)信息來(lái)引導(dǎo)特征提取和融合，實(shí)現(xiàn)亮度提升和噪聲抑制。本文方法可以處理不同亮度的低照度圖像，且對(duì)于極低照度圖像也可以得到良好的增強(qiáng)效果。

1 本文低照度圖像增強(qiáng)方法

本文提出的基于照度和場(chǎng)景紋理粗估計(jì)的低照度圖像增強(qiáng)算法流程如圖2 所示，其整體流程包括低照度圖像的最小通道約束圖計(jì)算、照度和場(chǎng)景紋理注意力圖估計(jì)以及基于照度和場(chǎng)景紋理注意力圖的圖像增強(qiáng)3 個(gè)模塊，下面對(duì)各部分進(jìn)行詳細(xì)介紹。

圖2 算法流程圖Fig.2 The flow chart of our method

1.1 低照度圖像的最小通道約束圖生成

Wang 等人（2019c）指出低照度圖像的最小通道約束圖具有噪聲抑制和紋理突顯作用。因此本文基于低照度圖像的最小通道約束圖來(lái)估計(jì)照度和場(chǎng)景紋理注意力圖。正常光照條件下拍攝的影像，RGB三通道的光照強(qiáng)度趨近于相同，但是低光照條件下拍攝的影像RGB 三通道的光照強(qiáng)度常呈現(xiàn)明顯差異，形成色彩偏差。為此，本文利用暗通道先驗(yàn)原理估計(jì)RGB 每個(gè)通道的光照強(qiáng)度，然后進(jìn)行色彩均衡處理，使各通道的光照強(qiáng)度趨于相近，其處理的具體過(guò)程如下。

對(duì)于待增強(qiáng)的低照度圖像Ilow，首先，估計(jì)其暗通道圖Idark，在暗通道圖中根據(jù)本文所選數(shù)據(jù)集的暗通道像素分布選取亮度值排在前10%的像素點(diǎn)，根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，該比例的提高會(huì)使圖像整體亮度減弱，部分細(xì)節(jié)紋理會(huì)弱化，不利于為后續(xù)增強(qiáng)模塊提供引導(dǎo)信息。令這些像素點(diǎn)構(gòu)成集合Ω1，則每個(gè)顏色通道的光照強(qiáng)度Ac，c∈{r，g，b}的計(jì)算為

對(duì)于正常曝光圖像Inormal，無(wú)需色彩校正過(guò)程，其最小通道約束圖Snormal可表示為

圖3 顯示了相同場(chǎng)景下不同曝光度的圖像未經(jīng)色彩均衡化結(jié)果(1-Ilow)、色彩均衡化結(jié)果以及最終生成的最小通道約束圖。前3 幅是不同曝光度的低照度圖像，最后一幅是正常曝光圖像。如圖3（b）所示，未經(jīng)色彩均衡化的圖像整體泛白，有用的紋理信息非常少。經(jīng)過(guò)色彩均衡化后的圖像在對(duì)比度、亮度和細(xì)節(jié)紋理特征上的信息都更豐富，如圖3（c）所示。此外，如圖3（d）所示，經(jīng)過(guò)均衡化后的最小通道約束圖含有豐富的紋理信息，且有一定的噪聲抑制作用。但是當(dāng)圖像照度很低時(shí)，其最小通道約束圖仍有明顯的噪聲，如圖3（d）第3行所示。為了獲取可靠的場(chǎng)景紋理信息，本文利用低光照?qǐng)D像的最小通道約束圖來(lái)估計(jì)正常照度圖像的照度和紋理注意力圖。

圖3 相同場(chǎng)景不同曝光度的圖像均衡化結(jié)果及最小通道約束示意圖Fig.3 Color equalization results and the minimum channel constraints map for images with different exposure levels（（a）images with different exposure levels；（b）un-equalized maps（1-IIow）；（c）color equalization results（1-）；（d）the minimum channel constraints maps）

1.2 照度和場(chǎng)景紋理注意力圖估計(jì)

圖像噪聲是指圖像在拍攝和傳輸過(guò)程中所受到的隨機(jī)信號(hào)干擾問題，一般來(lái)說(shuō)，圖像亮度越高，圖像噪聲越小，反之噪聲越大。對(duì)于照度特別低的圖像，用2.1 節(jié)所述方法生成的最小通道約束圖含有較明顯的噪聲，為了消除噪聲對(duì)后續(xù)增強(qiáng)階段的錯(cuò)誤引導(dǎo)，本文構(gòu)建了基于U-Net 網(wǎng)絡(luò)的照度和場(chǎng)紋理注意力圖計(jì)算分支，學(xué)習(xí)低照度圖像的最小通道約束Slow圖和正常曝光圖像的最小通道約束圖Snormal間的映射機(jī)制，使得經(jīng)過(guò)照度和場(chǎng)景紋理粗估計(jì)模塊生成的注意力圖即含有豐富的場(chǎng)景紋理信息和與正常曝光圖像相近的照度信息，用于后續(xù)增強(qiáng)模塊的信息引導(dǎo)，使網(wǎng)絡(luò)關(guān)注于真實(shí)場(chǎng)景信息而非噪聲，并引導(dǎo)照度不均勻圖像對(duì)不同區(qū)域的亮度調(diào)節(jié)程度，有效避免局部區(qū)域欠增強(qiáng)和過(guò)增強(qiáng)問題。該模塊的具體網(wǎng)絡(luò)架構(gòu)圖如圖4所示，它由9個(gè)卷積塊和最后頂部的1×1 卷積層組成，每個(gè)卷積塊由2 個(gè)3×3的卷積層接著ReLU（rectified linear unit）激活函數(shù)和批歸一化處理函數(shù)組成，在下采樣階段，每個(gè)卷積塊與2×2 的最大池化層相連，在上采樣階段，本文利用2×2 的轉(zhuǎn)置卷積提取特征圖，并將其與下采樣步驟中得到的特征圖進(jìn)行拼接融合。

圖4 算法網(wǎng)絡(luò)架構(gòu)圖Fig.4 The architecture diagram of the algorithm

本文采用均方誤差（mean square error，MSE）作為照度和場(chǎng)景紋理注意力圖估計(jì)模塊的損失函數(shù)，這是本文經(jīng)過(guò)多次實(shí)驗(yàn)對(duì)比的經(jīng)驗(yàn)選擇。另外，相比于?1損失函數(shù)，它能夠更準(zhǔn)確地反映實(shí)際預(yù)測(cè)誤差的大小，在圖像增強(qiáng)方面，不會(huì)過(guò)度懲罰圖像的差距，可以更穩(wěn)定、更快地捕獲低照度圖像和正常曝光圖像最小通道約束圖之間的共同信息，其表達(dá)式為

另外，本文通過(guò)照度和場(chǎng)景紋理注意力圖估計(jì)模塊得到的照度和場(chǎng)景紋理注意力估計(jì)圖，具有亮度越高，其值反而越低的特點(diǎn)，如圖5 所示，因此，為了使照度和場(chǎng)景紋理估計(jì)圖更好地服務(wù)于增強(qiáng)網(wǎng)絡(luò)，本文需要將得到的照度和場(chǎng)景紋理注意力估計(jì)圖再次進(jìn)行反轉(zhuǎn)，為增強(qiáng)網(wǎng)絡(luò)提供引導(dǎo)信息。

圖5 照度估計(jì)示意圖Fig.5 The figure of illuminance estimation（（a）low-light image；（b）illuminance and scene texture attention estimation map；（c）inverted illuminance and scene texture attention estimation map）

1.3 圖像增強(qiáng)網(wǎng)絡(luò)

面向光照不均勻的低照度圖像，如逆光圖像、夜晚有額外光源的室外圖像等，現(xiàn)有增強(qiáng)算法容易產(chǎn)生過(guò)曝光和細(xì)節(jié)模糊現(xiàn)象。為了解決此問題，本文提出一種全局與局部增強(qiáng)相結(jié)合的增強(qiáng)網(wǎng)絡(luò)，在改善圖像全局亮度的同時(shí)，可自適應(yīng)地提高局部暗區(qū)的亮度，使視覺增強(qiáng)效果更自然。其先使用一個(gè)全局增強(qiáng)網(wǎng)絡(luò)對(duì)圖像整體亮度進(jìn)行調(diào)整，然后通過(guò)對(duì)全局增強(qiáng)圖像中劃分的隨機(jī)塊進(jìn)行局部亮度調(diào)整，在一定程度上避免了局部過(guò)增強(qiáng)和欠增強(qiáng)問題，下面對(duì)全局—局部相結(jié)合的增強(qiáng)網(wǎng)絡(luò)進(jìn)行介紹。

本文使用U-Net 基礎(chǔ)網(wǎng)絡(luò)架構(gòu)作為全局增強(qiáng)部分的主體，它是由10個(gè)包含兩個(gè)3×3卷積層的卷積塊組成，每個(gè)卷積塊后有LeakyReLU 激活函數(shù)層和一個(gè)批歸一化層，網(wǎng)絡(luò)卷積層后加入批歸一化層會(huì)很大程度提升網(wǎng)絡(luò)性能。在上采樣階段，本文利用雙線性上采樣層和一個(gè)卷積層代替了原來(lái)U-Net 網(wǎng)絡(luò)中的標(biāo)準(zhǔn)反卷積層以減少圖像棋盤格和偽影現(xiàn)象的發(fā)生。另外，本文將2.2 節(jié)得到的照度和場(chǎng)景紋理注意力估計(jì)圖通過(guò)跳躍連接（skip connection）加入網(wǎng)絡(luò)，幫助網(wǎng)絡(luò)對(duì)圖像亮度不同的區(qū)域施加不同的注意和處理。在這里，將原始低照度圖像與照度和紋理注意力估計(jì)圖進(jìn)行拼接融合作為全局增強(qiáng)網(wǎng)絡(luò)的輸入，使注意力圖進(jìn)一步提供信息引導(dǎo)。

在局部增強(qiáng)模塊，本文將全局增強(qiáng)后的圖像剪裁劃分成小圖像塊，然后經(jīng)過(guò)多個(gè)3×3的小卷積核來(lái)提取圖像特征，增加網(wǎng)絡(luò)深度的同時(shí)有效捕捉圖像的局部特征和邊緣信息，實(shí)現(xiàn)局部細(xì)節(jié)增強(qiáng)同時(shí)進(jìn)一步去除影響圖像質(zhì)量的噪聲等因素。另外，為了使訓(xùn)練模型更穩(wěn)定，在此之后還加入批歸一化層。

多尺度結(jié)構(gòu)相似性指數(shù)（multi-scale structural similarity，MS-SSIM）（Wang 等，2003）是一種基于有參考的多尺度圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，它關(guān)注了圖像的亮度、對(duì)比度和結(jié)構(gòu)等指標(biāo)，更符合人眼對(duì)細(xì)節(jié)的感知，多尺度結(jié)構(gòu)相似性的具體計(jì)算為

式中，l，c，s分別是亮度度量模塊、對(duì)比度度量模塊和結(jié)構(gòu)相似性度量模塊，j和M均為尺度參數(shù)，Ien和IGT分別代表增強(qiáng)后的預(yù)測(cè)圖像和作為真值的正常曝光圖像。基于此，本文在全局增強(qiáng)網(wǎng)絡(luò)中使用了MS-SSIM 損失函數(shù)，從圖像結(jié)構(gòu)失真和人眼感知兩個(gè)方面度量增強(qiáng)圖像質(zhì)量，從而使增強(qiáng)結(jié)果更符合人眼感知特性，具體計(jì)算為

MS-SSIM 雖然能保留圖像的高頻信息，在紋理結(jié)構(gòu)上起到很好的調(diào)整作用，但它對(duì)均值的偏差不敏感容易導(dǎo)致圖像亮度改變和色差問題。因此，為了較好地保持顏色和亮度，加強(qiáng)圖像低頻信息的準(zhǔn)確性，本文還引入?1損失函數(shù)，具體表達(dá)式為

為了更好地度量增強(qiáng)圖像Ien和真值IGT之間的差異，在全局增強(qiáng)模塊中，本文使用聯(lián)合損失函數(shù)，具體為

式中，參數(shù)λ1和λ2之和為1。本文基于以往在低照度圖像增強(qiáng)任務(wù)中研究者的經(jīng)驗(yàn)并經(jīng)過(guò)多次手動(dòng)調(diào)參測(cè)試對(duì)比，設(shè)置λ1=0.85，λ2=0.15。

另外，在局部增強(qiáng)網(wǎng)絡(luò)模塊中，為了保證圖像結(jié)構(gòu)和細(xì)節(jié)，本文使用了感知損失函數(shù)，可以在一定程度上保持圖像結(jié)構(gòu)和內(nèi)容的一致性，其具體表達(dá)式為

綜上所述，本文將LIL、LGE和LLE分別加權(quán)，其中LGE和LLE的加權(quán)和作為增強(qiáng)子網(wǎng)絡(luò)的聯(lián)合損失函數(shù)，以實(shí)現(xiàn)亮度提升和圖像細(xì)節(jié)恢復(fù)的目的，總損失函數(shù)可表示為

式中，ω1，ω2，ω3為超參數(shù)。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本文在LOL 數(shù)據(jù)集（low light image datasets）上訓(xùn)練圖像增強(qiáng)網(wǎng)絡(luò)模型。LOL-v1（Wei 等，2018）和LOL-v2（Yang 等，2021）這兩個(gè)數(shù)據(jù)集圖像中都有非常顯著的噪聲。LOL-v1中有485對(duì)低光和對(duì)應(yīng)的正常曝光的圖像對(duì)用于訓(xùn)練，15 對(duì)用于測(cè)試。LOL-v2分為L(zhǎng)OL-v2-real 和LOL-v2-synthetic 兩個(gè)數(shù)據(jù)集，其中，LOL-v2-real 包含689 對(duì)低光和正常光的對(duì)應(yīng)圖像對(duì)和100 對(duì)測(cè)試數(shù)據(jù)集。LOL-v2-synthetic 數(shù)據(jù)集是通過(guò)分析RAW（raw image format）格式下的光照分布改變相機(jī)曝光時(shí)間和感光度（ISO）等獲取的。為了提高本文網(wǎng)絡(luò)的泛化能力，本文在LOL-v2-real數(shù)據(jù)集上進(jìn)行訓(xùn)練，所有圖像都被調(diào)整為PNG（portable network graphics）格式，尺寸為600×400 像素。對(duì)于測(cè)試數(shù)據(jù)集，除了LOL數(shù)據(jù)集，本文還選了一些之前常用的低光增強(qiáng)數(shù)據(jù)集（約178 幅）進(jìn)行測(cè)試，包括DICM（digital images from commercial cameras）（Lee 等，2012），LIME（low-light image enhancement）（Guo，2016），MEF（multi-exposure image fusion）（Ma等，2015），NPE（naturalness preserved enhancement algorithm）（Wang 等，2013），VV（Vasileios Vonikakis）（Vonikakis，2017）等。

本文算法運(yùn)行平臺(tái)為Pycharm2020，模型使用PyTorch 框架實(shí)現(xiàn)，并在Windows10+NVIDIA GeForce RTX 2080Ti GPU 的計(jì)算機(jī)上對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。在訓(xùn)練低照度圖像增強(qiáng)網(wǎng)絡(luò)模型的實(shí)驗(yàn)時(shí)，將batch size 設(shè)置為8，一共迭代了200 個(gè)epoch。同時(shí)，在訓(xùn)練過(guò)程中使用學(xué)習(xí)率為1×10-4的Adam優(yōu)化器對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化。對(duì)于網(wǎng)絡(luò)中損失函數(shù)的超參數(shù)，根據(jù)大量實(shí)驗(yàn)分析，將其分別設(shè)置為ω1=5，ω2=ω3=1。另外，在本文網(wǎng)絡(luò)中，全局圖像增強(qiáng)模塊需要用到照度估計(jì)網(wǎng)絡(luò)的輸出，因此兩個(gè)子網(wǎng)絡(luò)相當(dāng)于兩個(gè)級(jí)聯(lián)網(wǎng)絡(luò)的訓(xùn)練，本文采用固定一個(gè)網(wǎng)絡(luò)訓(xùn)練一個(gè)網(wǎng)絡(luò)的訓(xùn)練方法。

2.2 不同增強(qiáng)方法評(píng)估

為了驗(yàn)證本文提出的低照度圖像增強(qiáng)方法的有效性，從主觀視覺評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)指標(biāo)兩方面將本文算法與現(xiàn)有的一些主流的低照度圖像增強(qiáng)算法進(jìn)行增強(qiáng)對(duì)比，包括兩個(gè)傳統(tǒng)方法，半解耦分解（semi-decoupled decomposition，SDD）（Hao 等，2020）和即插即用的Retinex 模型（plug-and-play Retinex model，PnPRetinex）（Lin 和Lu，2022），以及4 個(gè)基于深度學(xué)習(xí)的方法，EnlightenGAN（Jiang 等，2021）、零參考深度曲線估計(jì)（zero-reference deep curve estimation，Zero-DCE）（Li 等，2022b）、基于Retinex 的深度展開網(wǎng)絡(luò)（Retinex-based deep unfolding network，URetinex-Net）（Wu 等，2022）和SNR-aware（signal-tonoise-ratio aware low light image enhancement）（Xu等，2022）方法。上述基于深度學(xué)習(xí)的增強(qiáng)方法與本文網(wǎng)絡(luò)訓(xùn)練采用了相同的數(shù)據(jù)集，參數(shù)等均采用作者提供的默認(rèn)參數(shù)設(shè)置。

2.2.1 主觀評(píng)價(jià)

圖6 和圖7 分別是多幅低照度圖像在無(wú)對(duì)應(yīng)正常曝光圖和有對(duì)應(yīng)正常曝光圖上的對(duì)比結(jié)果。圖8是不同增強(qiáng)算法在極低照度圖像上的增強(qiáng)結(jié)果。SDD方法對(duì)于包含復(fù)雜紋理和圖案的低照度圖像在分解過(guò)程中無(wú)法準(zhǔn)確分離低頻和高頻成分，導(dǎo)致暗區(qū)的部分細(xì)節(jié)增強(qiáng)不足，如圖6（b）中圖像A和圖7（b）中圖像I所示。PnPR 通過(guò)估計(jì)Retinex 模型中的初始照明來(lái)實(shí)現(xiàn)增強(qiáng)，對(duì)于極低對(duì)比度和顏色飽和度的圖像，其增強(qiáng)結(jié)果如圖7（c）中圖像F所示，亮度提升不明顯，且色彩不自然。EnlightenGAN 的增強(qiáng)效果是基于光照條件進(jìn)行調(diào)整的，從圖6（d）中圖像C和圖6（d）中圖像D可看出，其增強(qiáng)結(jié)果容易受到噪聲影響且在背景處會(huì)產(chǎn)生偽影，導(dǎo)致增強(qiáng)后的圖像質(zhì)量降低。Zero-DCE 算法對(duì)圖像顏色的處理不夠精細(xì)，會(huì)在增強(qiáng)圖像的同時(shí)引入色彩失真并放大噪聲，另外增強(qiáng)結(jié)果存在細(xì)節(jié)丟失和模糊，整體增強(qiáng)效果有待提高。SNR-aware 面向一般低照度圖像表現(xiàn)出色，但對(duì)于具有特殊紋理的照度極低圖像會(huì)出現(xiàn)過(guò)度平滑問題。如圖7（f）中圖像H所示。另外，該方法會(huì)出現(xiàn)局部過(guò)增強(qiáng)問題，如圖7（f）中圖像F所示。URetinex-Net 整體取得了較理想的增強(qiáng)效果，但對(duì)于細(xì)節(jié)豐富、多光源的情況性能有待提高，如圖6（f）中圖像D以及圖7（g）中圖像G所示。與上述6 種方法相比，本文的增強(qiáng)結(jié)果在提升圖像亮度及對(duì)比度的同時(shí)，一定程度上抑制了噪聲，避免偽影的出現(xiàn)，增強(qiáng)效果更自然。另外，對(duì)于照度不均勻圖像，在提升暗區(qū)亮度時(shí)，可較好地恢復(fù)紋理細(xì)節(jié)信息，且有效抑制了噪聲的干擾，這表明本文提出的照度和紋理粗估計(jì)模塊對(duì)后續(xù)增強(qiáng)起到正向的引導(dǎo)作用。由于全局與局部區(qū)域的聯(lián)合優(yōu)化，本文方法有效避免了局部欠增強(qiáng)和過(guò)增強(qiáng)的問題，如圖7（h）中圖像F、圖像G、圖像H放大區(qū)域所示。

圖6 無(wú)真值低照度圖像利用不同增強(qiáng)算法的結(jié)果示意圖Fig.6 Results of different enhancement algorithms for low-light images without ground truth（（a）low-light images；（b）SDD；（c）PnPR；（d）EnlightenGAN；（e）Zero-DCE；（f）URetinex-Net；（g）ours）

圖7 有真值低照度圖像利用不同增強(qiáng)算法的結(jié)果示意圖Fig.7 Results of different enhancement algorithms for low-light images with ground truth（（a）low-light images；（b）SDD；（c）PnPR；（d）EnlightenGAN；（e）Zero-DCE；（f）SNR-aware；（g）URetinex-Net；（h）ours；（i）ground truth）

圖8 極低照度圖像不同增強(qiáng)算法結(jié)果示意圖Fig.8 Results of different enhancement algorithms for extremely low-light images（（a）low-light images；（b）SDD；（c）PnPR；（d）EnlightenGAN；（e）Zero-DCE；（f）SNR-aware；（g）URetinex-Net；（h）ours；（i）ground truth）

除此之外，在極低照度圖像上不同算法的表現(xiàn)如圖8 所示。兩種傳統(tǒng)方法對(duì)于亮度提升均不明顯，EnlightenGan 和Zero-DCE 均會(huì)放大噪聲，SNRaware 在圖8（f）中圖像J中有嚴(yán)重的噪聲偽影，URetinex-Net 在極低照度圖像上也表現(xiàn)良好，但其增強(qiáng)結(jié)果整體偏紅，不符合人眼視覺特性。而本文在極低照度圖像上表現(xiàn)出色，不僅能提高亮度和對(duì)比度，還有一定的抑噪效果。

2.2.2 客觀評(píng)價(jià)

因?yàn)楸疚乃x取的普通低照度圖像測(cè)試集無(wú)可參考的正常曝光圖像，本文采用3 個(gè)無(wú)參考質(zhì)量評(píng)價(jià)指標(biāo)對(duì)算法進(jìn)行分析，包括自然圖像質(zhì)量評(píng)價(jià)（natural image quality evaluator，NIQE）（Mittal 等，2013）、盲色調(diào)映射質(zhì)量指數(shù)（blind tone-mapped quality index，BTMQI）（Gu 等，2016）和對(duì)比度失真無(wú)參考圖像質(zhì)量度量（no-reference image quality metric for contrast distortion，NIQMC）（Gu 等，2017）。NIQE是將圖像與設(shè)計(jì)的自然圖像模型進(jìn)行比較，數(shù)值越低說(shuō)明圖像質(zhì)量越高；BTMQI 通過(guò)分析圖像自然度和結(jié)構(gòu)來(lái)評(píng)估經(jīng)過(guò)色調(diào)映射處理后的圖像的感知質(zhì)量，其值越低說(shuō)明圖像越自然，質(zhì)量越高；NIQMC 利用圖像中塊的局部性質(zhì)和塊之間的相關(guān)性質(zhì)，通過(guò)計(jì)算其間的對(duì)比度來(lái)評(píng)估圖像質(zhì)量，其評(píng)分越高圖像質(zhì)量越好。

VV 數(shù)據(jù)集因?yàn)樵鰪?qiáng)難度較大在圖像增強(qiáng)領(lǐng)域?yàn)槿藗兯熘捎诜直媛蚀笮≡?，? 顯示了不同方法在部分VV 數(shù)據(jù)集上的定量增強(qiáng)結(jié)果，可以看到本文方法在BTMQI，和NIQMC 上均獲得了最優(yōu)值，但在NIQE 指標(biāo)上表現(xiàn)不佳。表2 顯示了實(shí)驗(yàn)對(duì)178 幅普通低照度圖像數(shù)據(jù)集整體增強(qiáng)效果的評(píng)估結(jié)果，從表中可以看到本文方法在BTMQI和NIQMC上均獲得了次優(yōu)值，而NIQE指標(biāo)有待提高。因?yàn)楸疚脑谶M(jìn)行增強(qiáng)前對(duì)照度和場(chǎng)景紋理注意力圖進(jìn)行粗估計(jì)并初步抑噪，會(huì)平滑圖像中的細(xì)節(jié)，使其色彩豐富度降低并在一定程度上降低圖像的清晰度，導(dǎo)致NIQE 測(cè)試值偏高。表1—表2 中，↑表示數(shù)值越大圖像質(zhì)量越好，↓表示數(shù)值越小圖像質(zhì)量越好。

表1 不同算法在VV數(shù)據(jù)集上增強(qiáng)結(jié)果定量評(píng)價(jià)Table 1 Quantitative evaluation of different algorithms enhancement results on VV datasets

表2 不同算法的增強(qiáng)結(jié)果定量評(píng)價(jià)Table 2 Quantitative evaluation of different algorithms enhancement results

3 結(jié)論

針對(duì)低照度圖像增強(qiáng)中的亮度、對(duì)比度增強(qiáng)以及噪聲抑制問題，本文利用最小通道約束圖具有噪聲抑制和紋理突出的優(yōu)勢(shì)，結(jié)合注意力機(jī)制，提出了基于照度與場(chǎng)景紋理注意力圖的低照度圖像增強(qiáng)方法。首先，通過(guò)色彩均衡處理，降低低照度圖像色彩偏差對(duì)照度和紋理估計(jì)的干擾。然后，求取照度和場(chǎng)景紋理注意力估計(jì)圖為后續(xù)增強(qiáng)模塊提供信息引導(dǎo)。最后，通過(guò)全局和局部增強(qiáng)模型得到最終增強(qiáng)結(jié)果圖。實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)低照度圖像和極低照度圖像在亮度和對(duì)比度提升，以及噪聲抑制方面都有較好的效果，能有效避免顏色失真和局部欠曝和過(guò)曝問題，增強(qiáng)效果更自然。但是，本文方法在照度和場(chǎng)景紋理注意力圖估計(jì)階段降低部分噪聲的同時(shí)也平滑了圖像細(xì)節(jié)。在未來(lái)研究中，將考慮低照度圖像邊緣提取和真實(shí)噪聲處理的問題，進(jìn)一步提升性能。