摘 要:低光照圖像增強(qiáng)的目的是優(yōu)化在光線不足的環(huán)境中捕獲的圖像,提升其亮度和對比度。目前,深度學(xué)習(xí)在低光照圖像增強(qiáng)領(lǐng)域已成為主要方法,因此,有必要對基于深度學(xué)習(xí)的方法進(jìn)行綜述。首先,將傳統(tǒng)低光照圖像增強(qiáng)方法進(jìn)行分類,并分析與總結(jié)其優(yōu)缺點(diǎn)。接著,重點(diǎn)介紹基于深度學(xué)習(xí)的方法,將其分為有監(jiān)督和無監(jiān)督兩大類,分別總結(jié)其優(yōu)缺點(diǎn),隨后總結(jié)應(yīng)用在深度學(xué)習(xí)下的損失函數(shù)。其次,對常用的數(shù)據(jù)集和評價(jià)指標(biāo)進(jìn)行簡要總結(jié),使用信息熵對傳統(tǒng)方法進(jìn)行量化比較,采用峰值信噪比和結(jié)構(gòu)相似性對基于深度學(xué)習(xí)的方法進(jìn)行客觀評價(jià)。最后,總結(jié)目前方法存在的不足,并對未來的研究方向進(jìn)行展望。
關(guān)鍵詞:低光照圖像增強(qiáng);深度學(xué)習(xí);有監(jiān)督;特征提取;無監(jiān)督
中圖分類號(hào):TP391"" 文獻(xiàn)標(biāo)志碼:A"" 文章編號(hào):1001-3695(2025)01-003-0019-09
doi: 10.19734/j.issn.1001-3695.2024.06.0176
Review of low light image enhancement based on deep learning
Abstract: The aim of low-light image enhancement is to optimize images captured in low-light environments by improving their brightness and contrast. Currently, deep learning has become the main method in the field of low-light image enhancement, necessitating a review of deep learning-based methods. First, this paper classified traditional methods of low-light image enhancement and analyzed and summarized their advantages and disadvantages. Then, this paper focused on deep learning-based methods, classified them into supervised and unsupervised categories, and summarized their respective advantages and disadvantages. This paper also summarized the loss functions applied in deep learning approaches. Next, this paper briefly summarized the commonly used datasets and evaluation metrics, using information entropy to quantitatively compare traditional me-thods, and employing peak signal-to-noise ratio and structural similarity to objectively evaluate deep learning-based methods. Finally, this paper summarized the shortcomings of current methods and prospect future research directions.
Key words:low-light image enhancement; deep learning; supervised; feature extraction; unsupervised
0 引言
圖像是信息傳遞的關(guān)鍵媒介。然而,在夜間或光照不足的環(huán)境中拍攝的圖像通常存在亮度差、噪聲多和對比度低等問題。這些問題尤其會(huì)對視覺任務(wù)產(chǎn)生負(fù)面影響,如目標(biāo)檢測、人臉識(shí)別、自動(dòng)駕駛以及智能安防等[1]。因此,提升低光照下圖像的質(zhì)量具有重要意義。低光照圖像增強(qiáng)的目的是提高圖像亮度、保留更多細(xì)節(jié)、減少噪聲以及消除干擾信息等[2]。提升低光照環(huán)境下圖像的質(zhì)量通常有硬件和軟件兩種解決策略[3]。硬件方面,通過提升相機(jī)傳感器的靈敏度和優(yōu)化傳感器與處理器之間的協(xié)同工作來改善圖像質(zhì)量。但這種方法成本較高,因此軟件解決方案逐漸成為低光照圖像增強(qiáng)領(lǐng)域的主流。軟件方法主要分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)方法通過像素值的映射來增強(qiáng)低光照圖像的對比度,但存在增強(qiáng)效果不足的問題。在深度學(xué)習(xí)方法中,分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩大類。有監(jiān)督方法通過網(wǎng)絡(luò)學(xué)習(xí)低光照圖像與正常光照圖像之間的映射關(guān)系,從而提升低光照圖像的質(zhì)量。而無監(jiān)督學(xué)習(xí)方法則通過挖掘正常光照圖像與低光照圖像之間的內(nèi)在聯(lián)系來增強(qiáng)圖像。
總體而言,低光照圖像增強(qiáng)已成為當(dāng)前研究的熱點(diǎn),涉及方法也日益多樣化。盡管該領(lǐng)域取得了一定進(jìn)展,但仍有諸多挑戰(zhàn)亟待克服。因此,對目前采用的低光照圖像增強(qiáng)方法進(jìn)行歸納總結(jié)和分析顯得尤為必要。低光照圖像增強(qiáng)方法總結(jié)如圖1所示。
1 傳統(tǒng)的增強(qiáng)方法
傳統(tǒng)的低光照圖像增強(qiáng)方法通??蓺w為基于分布映射的和基于模型優(yōu)化的方法兩大類。
在低光照圖像增強(qiáng)傳統(tǒng)方法中,基于分布映射的方法涵蓋了一系列技術(shù),包括直方圖均衡化[4~7]、伽馬校正[8~10]以及色調(diào)映射[11~13]。他們的核心在于調(diào)整圖像的像素值分布,以達(dá)到增強(qiáng)圖像視覺效果的目的。直方圖均衡化通過重新分配像素強(qiáng)度來增強(qiáng)圖像的全局或局部對比度。伽馬校正通過非線性變換圖像的灰度值來提升亮度和對比度。色調(diào)映射通過改善動(dòng)態(tài)范圍來優(yōu)化圖像的亮度和對比度,包括全局和局部兩種方法。全局色調(diào)映射不考慮原始圖像中像素的位置,通過計(jì)算全局平均亮度和最大亮度值來調(diào)整像素的亮度值。局部映射算法在原始圖像中不同的區(qū)域采用不同的轉(zhuǎn)換函數(shù)。
基于模型優(yōu)化的圖像增強(qiáng)方法側(cè)重于建立和優(yōu)化數(shù)學(xué)模型來描述圖像的特性和退化過程,其主要包括Retinex算法[14~19]和暗通道先驗(yàn)[20~22]。Retinex算法是一種基于光照和反射率分離的模型,它通過估計(jì)圖像的光照分量來增強(qiáng)低光照條件下的圖像。暗通道先驗(yàn)則是根據(jù)一個(gè)圖像至少存在一些區(qū)域沒有被光照或者光照很弱,而這些區(qū)域在圖像中表現(xiàn)為暗通道,利用暗通道來估計(jì)全局大氣光并恢復(fù)圖像的細(xì)節(jié)。通過估計(jì)圖像中的散射光和透射光的比例,進(jìn)而分離出原始圖像的顏色和結(jié)構(gòu)。
上述傳統(tǒng)增強(qiáng)方法的應(yīng)用及對比分析如表1所示。傳統(tǒng)的低光照圖像增強(qiáng)方法雖然在提升圖像質(zhì)量方面取得了一定的成效,但仍存在一些局限:
a)在增強(qiáng)圖像過程中會(huì)在暗區(qū)域增加噪聲;
b)在提高亮度和對比度的過程中,會(huì)犧牲圖像的細(xì)節(jié)信息和紋理信息;
c)無法充分?jǐn)U展圖像的動(dòng)態(tài)范圍,導(dǎo)致高光區(qū)域細(xì)節(jié)丟失。
2 基于深度學(xué)習(xí)的增強(qiáng)方法
隨著計(jì)算機(jī)硬件的發(fā)展,深度學(xué)習(xí)開始在計(jì)算機(jī)視覺領(lǐng)域得到廣泛應(yīng)用[23]。借此技術(shù)浪潮,研究者們開始探索將深度學(xué)習(xí)應(yīng)用于低光照圖像增強(qiáng)問題。深度學(xué)習(xí)技術(shù)在低光照圖像增強(qiáng)任務(wù)中主要采用有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩種策略。
2.1 有監(jiān)督的方法
基于有監(jiān)督的低光照圖像增強(qiáng)方法,網(wǎng)絡(luò)通過學(xué)習(xí)正常光照與低光照之間的映射關(guān)系來增強(qiáng)圖像。
Lore等人[24]第一個(gè)提出基于深度學(xué)習(xí)的低光照圖像增強(qiáng)神經(jīng)網(wǎng)絡(luò)LLNet,開創(chuàng)了使用端到端網(wǎng)絡(luò)進(jìn)行低光照圖像增強(qiáng)的新方法。該方法通過一個(gè)堆疊稀疏去噪自編碼器來增強(qiáng)亮度和去噪,雖然提升了圖像亮度,但恢復(fù)后的圖像出現(xiàn)大量偽影?;赗etinex理論,Park等人[25]結(jié)合堆疊自編碼器和卷積自編碼器來實(shí)現(xiàn)增強(qiáng)。使用堆疊自編碼器壓縮圖像特征平滑照明分量,使用卷積自編碼器處理2D圖像信息來減少亮度增強(qiáng)過程中的噪聲。文獻(xiàn)[24,25]都考慮到了噪聲問題,但他們增強(qiáng)亮度的能力較弱。針對此問題,Chen等人[26]提出了Retinex-Net網(wǎng)絡(luò),該網(wǎng)絡(luò)由兩個(gè)子網(wǎng)絡(luò)組成。其中分解子網(wǎng)絡(luò)負(fù)責(zé)將成對圖像分解為光照分量和反射分量;另一個(gè)增強(qiáng)子網(wǎng)絡(luò)則用于調(diào)整照明效果,對分離出低光照圖像的光照分量和反射分量合并進(jìn)行增強(qiáng)得到處理后的光照分量。此外,采用了平均絕對損失(mean absolute loss,L1 loss)作為結(jié)構(gòu)感知平滑損失函數(shù)來對深度圖像分解進(jìn)行約束,同時(shí)結(jié)合多尺度照明調(diào)整策略,來確保全局照明的一致性和局部光照的細(xì)節(jié)處理,其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。盡管Retinex-Net能夠提升低光照圖像的亮度,但是會(huì)出現(xiàn)偽影和細(xì)節(jié)丟失問題。為了解決這種問題,Zhang等人[27]提出了KinD網(wǎng)絡(luò)模型。其使用均方誤差損失(mean squared error loss,MSE Loss)作為圖像內(nèi)容保真度損失來減少恢復(fù)后的圖像與正常光照圖像的光照一致;使用結(jié)構(gòu)相似指數(shù)損失(structu-ral similarity index measure loss,SSIM Loss)作為結(jié)構(gòu)相似性損失來保證輸出圖像與正常光照圖像的結(jié)構(gòu)相似;定義平滑一致性損失來減少與目標(biāo)圖像之間的差距,從而提高低光照圖像的質(zhì)量。但KinD在增強(qiáng)圖像的過程中會(huì)出現(xiàn)過曝的問題,因此文獻(xiàn)[28]在原先KinD的基礎(chǔ)上提出了KinD++神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)在KinD的基礎(chǔ)上引入了多尺度照明注意力機(jī)制和數(shù)據(jù)對齊策略,使處理后的低光照圖像具有更高的視覺質(zhì)量。Wang等人[29]使用具有跳躍鏈接的編碼器-解碼器來生成照明的全局先驗(yàn)知識(shí)來提取圖像中的細(xì)節(jié)信息。文獻(xiàn)[30]通過模擬低光照與正常曝光圖像之間的一對多網(wǎng)絡(luò)LLFlow,通過條件歸一化流來模擬正常曝光圖像的條件分布,從而約束增強(qiáng)圖像的流形,由Retinex理論啟發(fā)的照明不變顏色圖作為低光照圖像增強(qiáng)任務(wù)的先驗(yàn),豐富顏色飽和度的同時(shí)減少了色彩失真。
上述方法在網(wǎng)絡(luò)設(shè)計(jì)上考慮到了噪聲對圖像質(zhì)量的影響,但是沒有很好解決圖像的細(xì)節(jié)丟失。為了解決細(xì)節(jié)丟失問題,Cai等人[31]提出了SICE網(wǎng)絡(luò)模型,利用Retinex理論將低光照圖像分解為光照圖和反射圖,同時(shí)對兩者進(jìn)行增強(qiáng)。其網(wǎng)絡(luò)架構(gòu)由兩部分組成,第一部分特征提取網(wǎng)絡(luò)分為U-Net分支[32]和殘差網(wǎng)絡(luò)分支,具有較大感受野的U-Net網(wǎng)絡(luò)提取圖像的特征來提高對比度,殘差網(wǎng)絡(luò)分支學(xué)習(xí)并保留更多的細(xì)節(jié)特征,第二部分對增強(qiáng)后的結(jié)果進(jìn)行合并。損失函數(shù)采用L1 loss約束訓(xùn)練過程中產(chǎn)生的偽影,采用MSE loss來減少增強(qiáng)后的光照圖存在的噪聲和增強(qiáng)模型的魯棒性,采用定義的DSSIM損失來使增強(qiáng)后的圖像與正常光照圖像保持一致的結(jié)構(gòu),其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。Yang等人[33]提出將兩個(gè)CNN網(wǎng)絡(luò)用于圖像增強(qiáng)。網(wǎng)絡(luò)分別由高動(dòng)態(tài)范圍網(wǎng)絡(luò)和低動(dòng)態(tài)范圍網(wǎng)絡(luò)組成,采用色調(diào)映射的方式保留細(xì)節(jié)信息,基于MSE loss設(shè)計(jì)的損失函數(shù)來衡量目標(biāo)圖像與正常光照圖像差異的平衡。當(dāng)用戶希望圖像具有不一樣的色調(diào)風(fēng)格時(shí),單一網(wǎng)絡(luò)模型難以滿足要求?;谶@種問題,Ko等人[34]提出了IceNet,通過用戶給出全局亮度控制參數(shù)來估計(jì)出像素級(jí)的伽馬校正圖,進(jìn)而滿足用戶的需求。
盡管現(xiàn)有方法在提升圖像質(zhì)量方面取得了進(jìn)展,但卻普遍存在泛化能力不足的問題。針對這種問題,Wu等人[35]提出了URetinex-Net網(wǎng)絡(luò)模型,該模型在Retinex理論的基礎(chǔ)上使用迭代增強(qiáng)來優(yōu)化結(jié)果,以此來實(shí)現(xiàn)噪聲的抑制和細(xì)節(jié)的保留。進(jìn)一步地,文獻(xiàn)[36]提出了一種結(jié)合語義信息來實(shí)現(xiàn)低光照的圖像增強(qiáng)。使用轉(zhuǎn)置注意力機(jī)制來獲得注意力圖改造圖像特征,結(jié)合語義引導(dǎo)的顏色直方圖損失和對抗損失來保持色彩一致性和更自然的紋理。Hai等人[37]認(rèn)為,僅在空間域提取信息而忽略頻域中的豐富信息,可能會(huì)對圖像質(zhì)量產(chǎn)生不利影響。因此,在光照恢復(fù)子網(wǎng)絡(luò)中,通過應(yīng)用傅里葉變換和復(fù)數(shù)域卷積來提取圖像在頻域中的信息。通過結(jié)合頻域信息與空間域信息,顯著提高了低光照圖像的質(zhì)量。Liu等人[38]提出了名為RAUNA的神經(jīng)網(wǎng)絡(luò)。其網(wǎng)絡(luò)通過引入一個(gè)自監(jiān)督微調(diào)策略來使網(wǎng)絡(luò)自動(dòng)地調(diào)整最佳的超參數(shù),同時(shí)網(wǎng)絡(luò)學(xué)習(xí)全局-局部的亮度信息來提升圖像亮度。雖然圖像的亮度得到了增強(qiáng),但是卻產(chǎn)生了偽影。因此,Li等人[39]設(shè)計(jì)了一個(gè)輕量級(jí)亮度感知金字塔網(wǎng)絡(luò),通過并行的粗特征提取和亮度感知細(xì)化,以及輔助子網(wǎng)絡(luò)來學(xué)習(xí)亮度映射。利用通道分割策略和對比注意力機(jī)制,使網(wǎng)絡(luò)能夠提取并融合多尺度特征,并通過漸進(jìn)式亮度調(diào)整,可以有效地恢復(fù)圖像的自然色彩和細(xì)節(jié)。
Xu等人[40]提出了一種基于頻率分解和增強(qiáng)的網(wǎng)絡(luò),使用注意力上下文編碼來自適應(yīng)地對低頻信息中的噪聲進(jìn)行去除,接著再對高頻信息進(jìn)行保留來增強(qiáng)細(xì)節(jié),使用多尺度的頻率特征處理進(jìn)行噪聲抑制和細(xì)節(jié)保留來避免噪聲對圖像的影響。Wang等人[41]提出了一種漸進(jìn)式Retinex網(wǎng)絡(luò),通過相互加強(qiáng)的策略來感知低光照圖像中的光照和噪聲。使用兩個(gè)全點(diǎn)卷積網(wǎng)絡(luò),分別對環(huán)境光和圖像噪聲的統(tǒng)計(jì)規(guī)律進(jìn)行建模,并使用基于相機(jī)成像模型機(jī)制來合成圖像,以生成受光照依賴噪聲影響的彩色圖像。但是,該方法僅僅考慮了像素的統(tǒng)計(jì)分布,而忽略了圖像的結(jié)構(gòu)屬性,造成增強(qiáng)后的圖像質(zhì)量提升不明顯。
文獻(xiàn)[42]創(chuàng)新性地將Retinex理論與Transformer模型相結(jié)合,增強(qiáng)后的圖像質(zhì)量明顯得到提升。為了解決低光照圖像增強(qiáng)在應(yīng)用場景存在參數(shù)量大的問題,Cui等人[43]提出了參數(shù)量為90 k的光照自適應(yīng)Transformer輕量級(jí)網(wǎng)絡(luò)。該網(wǎng)絡(luò)基于一個(gè)雙分支的Transformer模型,包括使用像素級(jí)局部分支和全局信號(hào)處理分支,并在局部分支中使用深度卷積代替自注意力機(jī)制來實(shí)現(xiàn)輕量化。Brateanu等人[44]提出了一種名為LYT-Net輕量級(jí)網(wǎng)絡(luò),其參數(shù)量僅為45 k,采用雙路徑的方法,分別處理色度和亮度。通過在亮度層和色度層應(yīng)用多頭自注意力來實(shí)現(xiàn)網(wǎng)絡(luò)對圖像特征的提取。恢復(fù)后的圖像與目標(biāo)圖像在內(nèi)容上保持一致對圖像質(zhì)量有著重要的作用,文獻(xiàn)[45]設(shè)計(jì)了一種可學(xué)習(xí)的光照過濾器來縮減不同光照條件之間的光照風(fēng)格差異,以特征圖計(jì)算的Gram矩陣作為輸入,來從圖像的整體風(fēng)格中提取光照風(fēng)格相關(guān)的信息,從而減少圖像內(nèi)容信息上的損失。
有監(jiān)督的學(xué)習(xí)要求成對的正常光照和低光照圖像數(shù)據(jù)集來訓(xùn)練。網(wǎng)絡(luò)通過學(xué)習(xí)正常光照圖像的特征來映射到低光照圖像上,以此實(shí)現(xiàn)低光照圖像的增強(qiáng)?,F(xiàn)有基于有監(jiān)督學(xué)習(xí)方法的優(yōu)缺點(diǎn)匯總在表2中。盡管這些方法在恢復(fù)效果上表現(xiàn)出色,但它們也存在一些局限性,具體缺點(diǎn)概述如下:
a)依賴成對的數(shù)據(jù)集進(jìn)行訓(xùn)練,但成對的數(shù)據(jù)集難以在短時(shí)間內(nèi)獲??;
b)有監(jiān)督的學(xué)習(xí)嚴(yán)重依賴于數(shù)據(jù)集中包含的圖像,導(dǎo)致泛化能力不足。
2.2 無監(jiān)督的方法
為了解決有監(jiān)督學(xué)習(xí)依賴成對數(shù)據(jù)集進(jìn)行訓(xùn)練的局限,研究者們提出了無須成對數(shù)據(jù)集訓(xùn)練的無監(jiān)督學(xué)習(xí)方法。這些方法能夠在缺乏配對訓(xùn)練樣本的情況下有效地進(jìn)行圖像增強(qiáng)任務(wù)。
文獻(xiàn)[46]提出了一種通過零參考深度曲線估計(jì)的網(wǎng)絡(luò),采用迭代優(yōu)化局部亮度調(diào)節(jié)來改善低光照圖像,網(wǎng)絡(luò)包含7個(gè)具有對稱跳躍連接的卷積層,將圖像分割為多個(gè)子區(qū)域并使用迭代優(yōu)化逐步地獲得高階曲線,接著采用無參考的損失函數(shù)來估計(jì)增強(qiáng)圖像的質(zhì)量,其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。接著,Li等人[47]在文獻(xiàn)[46]的基礎(chǔ)上進(jìn)行了改進(jìn),提出了Zero-DCE++網(wǎng)絡(luò)模型。這一模型以僅有10 k的網(wǎng)絡(luò)參數(shù)量,極大地提高了在終端設(shè)備上應(yīng)用低光照圖像增強(qiáng)的可行性。Zero-DCE++不僅保持了原模型的性能,還實(shí)現(xiàn)了更快的處理速度。Zhu等人[48]提出了RRDNet網(wǎng)絡(luò)模型,旨在擴(kuò)大圖像對比度的同時(shí)抑制噪聲。其由三個(gè)子網(wǎng)絡(luò)組成,這些子網(wǎng)絡(luò)分別將輸入圖像分解為反射率圖、光照圖和噪聲圖。通過迭代最小化損失函數(shù)來更新網(wǎng)絡(luò)權(quán)重,另外該模型無須依賴先驗(yàn)知識(shí)來進(jìn)行訓(xùn)練。大多數(shù)現(xiàn)有方法都是在RGB顏色空間進(jìn)行增強(qiáng)圖像,Jiang等人[49]提出了一種基于Retinex理論的深度自規(guī)范低光照圖像增強(qiáng)的無監(jiān)督方法,其通過將輸入圖像顏色空間轉(zhuǎn)換到HSV色彩空間中,并將其分解為色調(diào)、飽和度和亮度三分量。設(shè)計(jì)了一種新穎的隨機(jī)亮度擾動(dòng)方法,結(jié)合原始亮度和擾動(dòng)后的亮度通過卷積神經(jīng)網(wǎng)絡(luò)來估計(jì)相同的反射率。通過特定設(shè)計(jì)的反射一致性、曝光控制損失、光照平滑損失和空間結(jié)構(gòu)損失來組成損失函數(shù)估計(jì)出光照分量的反射率,將色調(diào)、飽和度和反射率進(jìn)行拼接來合成最后的增強(qiáng)圖像。大多數(shù)現(xiàn)有方法沒有考慮到圖像中的全局結(jié)構(gòu)和局部細(xì)節(jié)紋理對圖像的質(zhì)量有著重要的作用。因此,Xu等人[50]提出一種新的方法STANet,其通過尺度輪廓圖引導(dǎo)濾波器將圖像分解為結(jié)構(gòu)分量和紋理分量,在結(jié)構(gòu)子網(wǎng)絡(luò)中,借鑒了U-Net[32]網(wǎng)絡(luò),并在下采樣階段融入了殘差鏈接,以此增強(qiáng)網(wǎng)絡(luò)對全局特征的捕捉能力。對于紋理子網(wǎng)絡(luò),通過一個(gè)無下采樣操作的網(wǎng)絡(luò),以保留圖像細(xì)節(jié)。采用通道注意力機(jī)制和空間注意力機(jī)制來構(gòu)造混合子網(wǎng)絡(luò),應(yīng)用殘差學(xué)習(xí)來生成最終的增強(qiáng)圖像。
為了利用生成對抗網(wǎng)絡(luò)在生成圖像方面的能力,研究者們開始將其應(yīng)用于低光照圖像增強(qiáng)領(lǐng)域?;谏墒綄咕W(wǎng)絡(luò),Jiang等人[51]提出了EnlightenGAN網(wǎng)絡(luò)模型,其生成器是由注意力機(jī)制引導(dǎo)U-Net網(wǎng)絡(luò)[32],共包含8個(gè)卷積塊,每個(gè)卷積塊由2個(gè)卷積核為3×3的卷積層所組成,結(jié)合全局-局部鑒別器來區(qū)分真實(shí)與偽造圖像,以解決增強(qiáng)后的圖像出現(xiàn)局部過曝或欠曝問題,創(chuàng)新性地加入局部判別器來指導(dǎo)生成器生成更真實(shí)的偽圖像,采用VGG-16[52]的改進(jìn)損失來作為自特征保留損失,使圖像內(nèi)容特征在增強(qiáng)前后保持不變,其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。雖然圖像質(zhì)量得到提升,但卻存在著色偏問題。Fu等人[53]提出了一種基于生成式對抗網(wǎng)絡(luò)的低光照圖像增強(qiáng)網(wǎng)絡(luò)LE-GAN,網(wǎng)絡(luò)使用空間照明注意力機(jī)制和全局照明注意力機(jī)制來提取圖像特征,使用L1 loss作為特性不變損失來解決增強(qiáng)圖像的過曝問題。Wang等人[54]提出了MAGAN網(wǎng)絡(luò)模型,通過混合注意力模塊來模擬低光照圖像像素與特征之間的關(guān)系,從而在增強(qiáng)低光照圖像的同時(shí)去除噪聲。Zheng等人[55]通過將網(wǎng)絡(luò)學(xué)習(xí)低光照圖像中的語義退化感知引導(dǎo)來提升低光照圖像的質(zhì)量。Liang等人[56]基于Retinex理論和神經(jīng)網(wǎng)絡(luò)的生成能力提出了一種新的方法,使用自監(jiān)督去噪層根據(jù)照明強(qiáng)度自適應(yīng)地調(diào)整空間變化特性,通過一個(gè)可微的直方圖平衡損失,最大化地增強(qiáng)圖像的質(zhì)量。Yu等人[57]提出了一種新的生成式對抗網(wǎng)絡(luò),該網(wǎng)絡(luò)的生成器包含殘差層、混合注意力層和并行擴(kuò)張卷積層,用于提取圖像特征,并使用一種改進(jìn)的像素?fù)p失函數(shù)來約束網(wǎng)絡(luò)學(xué)習(xí)低光照圖像的信息。Zhen等人[58]提出了一種循環(huán)生成注意力對抗網(wǎng)絡(luò),通過引入一種新的注意力層來區(qū)別相應(yīng)特征的重要性,使用特定的風(fēng)格區(qū)域損失函數(shù)來消除噪聲對圖像的影響,使用新的歸一化函數(shù)來指導(dǎo)網(wǎng)絡(luò)恢復(fù)細(xì)節(jié)信息。Ma等人[59]提出了SCI網(wǎng)絡(luò)模型,該網(wǎng)絡(luò)基于Retinex理論,提出了一個(gè)自校準(zhǔn)模塊,通過權(quán)重共享來加速不同階段結(jié)果的收斂,結(jié)合保真度損失和平滑損失組成無監(jiān)督損失函數(shù)來提升模型的泛化性。
無監(jiān)督學(xué)習(xí)方法擺脫了對成對低光照和正常光照圖像數(shù)據(jù)集的依賴,通過挖掘低光照圖像和正常光照圖像之間的內(nèi)在關(guān)系來進(jìn)行增強(qiáng),而不是依賴于圖像的直接映射。通過結(jié)合前沿的網(wǎng)絡(luò)架構(gòu)、損失函數(shù)和優(yōu)化策略,無監(jiān)督學(xué)習(xí)能夠在無須成對數(shù)據(jù)集的情況下提高低光照圖像的質(zhì)量。但無監(jiān)督學(xué)習(xí)方法也存在著一些缺點(diǎn),比如增強(qiáng)后的圖像存在偽影和細(xì)節(jié)缺失等問題[60]。無監(jiān)督學(xué)習(xí)方法總結(jié)如表3所示。
基于上述方法,對從有監(jiān)督到無監(jiān)督的低光照圖像增強(qiáng)方法進(jìn)行分析和總結(jié)。有監(jiān)督的方法網(wǎng)絡(luò)學(xué)習(xí)正常光照圖像的特征,并將其特征映射到低光照圖像上,其核心在于特征提取。而無監(jiān)督的方法則著眼于探索低光照圖像與正常光照圖像之間的內(nèi)在聯(lián)系,以此來增強(qiáng)低光照圖像,其中關(guān)鍵在于巧妙設(shè)計(jì)的損失函數(shù),用以最小化增強(qiáng)圖像與原始低光照圖像之間的差異。
2.3 損失函數(shù)
損失函數(shù)在基于深度學(xué)習(xí)的低光照圖像增強(qiáng)模型中起著至關(guān)重要的作用。損失函數(shù)通過衡量模型輸出與真實(shí)圖像之間存在的差異,指導(dǎo)模型在訓(xùn)練過程中的不斷優(yōu)化。在低光照圖像增強(qiáng)任務(wù)中,損失函數(shù)的選擇和設(shè)計(jì)直接影響到模型對圖像細(xì)節(jié)的恢復(fù)能力和整體質(zhì)量的提升。基于深度學(xué)習(xí)的低光照圖像增強(qiáng)領(lǐng)域中常用到的損失函數(shù)包括平均絕對損失(mean absolute loss,L1 loss)、結(jié)構(gòu)相似指數(shù)損失(structural similarity index measure loss,SSIM loss)、平滑度損失(smoothness loss)、顏色損失(color constancy loss)、感知損失(perceptual loss)、曝光損失(exposure loss)、均方誤差損失(mean squared error loss,MSE loss)、對抗損失(adversarial loss)[61]和總變差損失(total variation loss)[62]。
a)L1 loss用于衡量模型輸出與真實(shí)圖像之間的平均絕對誤差。在低光照圖像增強(qiáng)中,平均絕對損失有助于減少增強(qiáng)圖像與真實(shí)圖像之間的誤差并且使模型具有較強(qiáng)的魯棒性。其計(jì)算公式如下:
其中:N是樣本數(shù)量或圖像中的像素總數(shù);Oi和Ii分別表述的是模型預(yù)測的第i個(gè)值和實(shí)際的第i個(gè)值。
b)SSIM loss是一種衡量恢復(fù)后的圖像與正常光照圖像在亮度、對比度和結(jié)構(gòu)信息上的差異,能夠較好地反映人眼對圖像質(zhì)量的感知。其計(jì)算公式如下:
其中:μI和μJ分別是圖像I和J的亮度均值;σI和σJ分別是圖像I和J的對比度標(biāo)準(zhǔn)差;σIJ是圖像I和J的亮度協(xié)方差;c1和c2為很小的常數(shù)。
c)平滑度損失是一種正則化損失,鼓勵(lì)生成的圖像具有平滑的區(qū)域,保持與正常圖像的局部光滑特性相一致。其計(jì)算公式如下:
其中:N是迭代次數(shù);Δx和Δy分別代表圖像在水平和垂直方向上的梯度值;img代表的是一張圖像。
d)顏色損失用于糾正輸出圖像中的潛在色偏,用于保證和正常光照圖像之間的色彩一致,盡可能避免色調(diào)失真的問題。其計(jì)算公式如下:
其中:Jp表述的是增強(qiáng)圖像中p通道的平均值;(p,q)表述的是一對顏色通道。
e)感知損失是一種基于神經(jīng)網(wǎng)絡(luò)特征的損失函數(shù),用來增強(qiáng)結(jié)果圖像與正常光照圖像在高層特征圖上的差異,以此度量圖像的相似性,特征表示通常是從ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的VGG[52]網(wǎng)絡(luò)中提取。其計(jì)算公式如下:
其中:CjHjWj表述的是第j層特征圖的大小;G和I分別表述的是正常光照圖像和增強(qiáng)后的圖像;φ表述的是VGG網(wǎng)絡(luò)。
f)曝光損失基于圖像的亮度統(tǒng)計(jì),用來調(diào)整圖像的亮度或曝光水平,抑制曝光較差的區(qū)域。其計(jì)算公式如下:
其中:M表述的是分塊區(qū)域的個(gè)數(shù);out_imgk表述的是在第k塊區(qū)域上的平均強(qiáng)度值;E=0.6。
g)MSE loss測量模型預(yù)測值與實(shí)際值之間差異的平方平均值,可用于圖像的亮度調(diào)整。其計(jì)算公式如下:
其中:N是樣本數(shù)量或圖像中的像素總數(shù);Oi表述的是模型預(yù)測的第i個(gè)值;Ii表述的是實(shí)際的第i個(gè)值。
h)對抗損失[61]訓(xùn)練一個(gè)判別器網(wǎng)絡(luò)來判斷生成圖像的真假,同時(shí)訓(xùn)練一個(gè)生成器來欺騙判別器,有助于生成器學(xué)習(xí)如何生成在視覺上與真實(shí)圖像不可區(qū)分的增強(qiáng)圖像,從而提高增強(qiáng)圖像的質(zhì)量。其計(jì)算公式為
i)總變差損失[62]是一種正則化損失,用來鼓勵(lì)生成的圖像具有較小的像素級(jí)梯度,從而減少噪聲并保持圖像的平滑性。其計(jì)算公式如下:
其中:I表述的是輸入圖像;(x,y)表述的是圖像中像素的位置;I(x+1,y)與I(x,y+1)分別表述的是圖像在水平和垂直方向上相鄰像素的位置。
3 數(shù)據(jù)集及評價(jià)標(biāo)準(zhǔn)
3.1 數(shù)據(jù)集
網(wǎng)絡(luò)的學(xué)習(xí)能力與訓(xùn)練數(shù)據(jù)集之間有著至關(guān)重要的關(guān)系。低光照圖像增強(qiáng)常用的配對數(shù)據(jù)集有LOL[26]、SID[63]、LSRW[37]、SICE[31]、DRV[64]和MIT-Adobe FiveK[65]。常用的無配對數(shù)據(jù)集有HDR[66]、Exclusive Dark[67]。常用的數(shù)據(jù)集總結(jié)如表4所示。
a)LOL[26]由500對弱光和正常光圖像組成,分為485對訓(xùn)練圖像和15對驗(yàn)證圖像。圖像的分辨率為400×600。
b)SID[63]包含了5 094張短曝光原始圖像,及其對應(yīng)的長曝光參考圖像。數(shù)據(jù)集包含了室內(nèi)和室外的圖像,其中室外場景照度在0.2~5 lux,室內(nèi)場景照度在0.03~0.3 lux,短曝光時(shí)間設(shè)定為1/30~1/10 s。
c)LSRW[37]將低光照下的ISO固定為50,正常光照條件下固定為100。LSRW一共有5 650對圖像,5 600對用于訓(xùn)練,50對用于評估。
d)SICE[31]包含589個(gè)高分辨率圖像,總共包含4 413張圖像。其中的參考圖像使用13種多曝光圖像融合技術(shù)和基于堆疊的高動(dòng)態(tài)范圍成像算法得來。
e)DRV[64]被用于在低光照下的視頻處理研究。使用Sony RX100 VI相機(jī)進(jìn)行拍攝,其包含202個(gè)靜態(tài)原始視頻,其中每個(gè)視頻都有相應(yīng)的長時(shí)間曝光的真實(shí)圖像,包含室內(nèi)和室外場景。視頻圖像的分辨率為3 672×5 496。
f)MIT-Adobe FiveK[65]有5 000張RAW格式的原始圖像及分別由五個(gè)專業(yè)人員經(jīng)過修飾后的圖像。
g)HDR[66]使用Canon EOS-5D Mark III相機(jī)以RAW格式捕獲圖像,分辨率為5 760×3 840,為了減少靜態(tài)圖像集中的潛在錯(cuò)位,其所有圖像被下采樣到1 500×1 000。
h)ExDARK[67]包含7 363張低光照圖像,涵蓋12個(gè)目標(biāo)類別。
3.2 評價(jià)指標(biāo)
3.2.1 主觀評價(jià)
當(dāng)對恢復(fù)后的圖像進(jìn)行主觀評價(jià)時(shí),會(huì)組織一些評價(jià)者來對增強(qiáng)后的圖像進(jìn)行打分,通過打分的高低體現(xiàn)增強(qiáng)后圖像的質(zhì)量。由于評價(jià)者可能會(huì)對圖像有著不同的偏好,所以會(huì)影響評價(jià)的好壞,僅僅用主觀評價(jià)不足以對增強(qiáng)后圖像進(jìn)行評判。
3.2.2 客觀評價(jià)
對低光照圖像增強(qiáng)的客觀評價(jià)是使用定量的圖像質(zhì)量評價(jià)指標(biāo)來衡量增強(qiáng)后的效果。常見的客觀評價(jià)有:均方誤差(mean squared error,MSE)、峰值信噪比(peak signal to noise ration,PSNR)、結(jié)構(gòu)相似性(structural similarity,SSIM)和信息熵(information entropy,IE)。
a)均方誤差計(jì)算原始圖像與增強(qiáng)圖像之間的像素強(qiáng)度差異平方的平均值來評估增強(qiáng)的效果,其值越小,說明圖像越相似。MSE的計(jì)算公式如下:
其中:M和N代表圖像的長和寬;I(i, j)和K(i, j)分別代表的是處理后的圖像和原始圖像。
b)峰值信噪比是基于MSE計(jì)算得來的,用來衡量原始圖像與處理后的圖像之間的質(zhì)量差異。其值越高,表示圖像的質(zhì)量越好,失真越小。其計(jì)算公式如下:
其中:MAXI當(dāng)像素值大小為0~255時(shí)取值為255,當(dāng)像素值大小為0~1時(shí)其值為1。
c)結(jié)構(gòu)相似一致性是用于衡量兩個(gè)圖像之間相似度的指標(biāo)。其值的范圍為-1~1,其中1表示兩張圖像完全相同,其值越高越反映處理后的圖像與原始圖像在結(jié)構(gòu)上越相似。SSIM的公式如下:
其中:μx是x的平均值;σ2x是x的方差;μy是y的平均值;σ2y是y的方差;σxy是x和y的協(xié)方差;c1和c2為很小的常數(shù)。
d)信息熵表示圖像的信息量,其值越大,信息越豐富。其中公式如下:
其中:X為一個(gè)事件;P(x)為該事件發(fā)生的概率。
4 低光照圖像增強(qiáng)方法性能對比
4.1 傳統(tǒng)的低光照圖像增強(qiáng)方法性能對比
在傳統(tǒng)的低光照圖像增強(qiáng)方法性能對比中,采用LOL驗(yàn)證集[26]下的同一張低光照圖像來測試,并使用信息熵對增強(qiáng)后的圖像進(jìn)行量化比較,結(jié)果如圖6所示?;谛畔㈧卦u價(jià)指標(biāo)對各個(gè)傳統(tǒng)的低光照圖像增強(qiáng)方法進(jìn)行對比分析,結(jié)果如表5所示。其中基于Retinex算法的IE值最高,其值為6.871,明顯比其他傳統(tǒng)算法要好。
其中傳統(tǒng)方法中,直方圖均衡化的IE值最小,為5.406。基于Retinex算法的IE值最高,為6.871,相比于直方圖均衡化提高了27.09%?;诎低ǖ老闰?yàn)的IE值為6.668,相比于直方圖均衡化提高了23.34%?;谫ゑR校正的IE值為6.521,相比于直方圖均衡化提高了20.62%?;谏{(diào)映射的IE值為6.818,相比于直方圖均衡化提高了26.11%??偟膩碚f,基于Retinex算法的IE值最高的原因主要是因?yàn)镽etinex理論結(jié)合了顏色的恒常性,處理后的圖像含有更多的信息。
4.2 基于深度學(xué)習(xí)的低光照圖像增強(qiáng)方法對比
基于深度學(xué)習(xí)的增強(qiáng)方法使用GPU NVIDIA 3070在LOL驗(yàn)證集[26]上進(jìn)行測試。使用PSNR和SSIM評價(jià)指標(biāo)來衡量增強(qiáng)的效果,PSNR越高,說明恢復(fù)后的圖像質(zhì)量越高;SSIM越接近于1,說明恢復(fù)后的圖像與參考圖像的結(jié)構(gòu)越相似。以上基于深度學(xué)習(xí)方法的定量比較如表6所示。其中文獻(xiàn)[42]的PSNR和SSIM的值最大,PSNR和SSIM分別為28.486 9和0.937 4。其通過將Retinex理論與Transformer模型相結(jié)合,使恢復(fù)后圖像質(zhì)量更符合人類視覺效果。為了更好地比較基于深度學(xué)習(xí)下增強(qiáng)的效果,在LOL驗(yàn)證集[26]上選擇一張低光照圖像進(jìn)行視覺比較。采用文獻(xiàn)[24,26,37,42,51,53]分別代表基于有監(jiān)督和無監(jiān)督下的低光照圖像增強(qiáng)方法進(jìn)行展示,如圖7所示。
其中圖7(a)為LOL驗(yàn)證集[26]中的一張低光照圖像;圖(b)的PSNR=17.278 4、SSIM=0.852 0;圖(c)的PSNR=17.684 5、SSIM=0.634 4;圖(d)的PSNR=20.309 1、SSIM=0.848 8;圖(e)的PSNR=29.143 2、SSIM=0.911 9;圖(f)的PSNR=20.187 2、SSIM=0.794 1;圖(g)的PSNR=28.448 5、SSIM=0.908 0??偟膩碚f,文獻(xiàn)[42]在量化結(jié)果比較上PSNR和SSIM的結(jié)果在6種方法中為最高,視覺質(zhì)量也是最佳。
5 結(jié)束語
本文分析與總結(jié)了低光照圖像增強(qiáng)領(lǐng)域中的傳統(tǒng)方法和基于深度學(xué)習(xí)方法。首先,簡要概述了低光照圖像增強(qiáng)中傳統(tǒng)方法的優(yōu)缺點(diǎn)。其次,將基于深度學(xué)習(xí)方法分為有監(jiān)督和無監(jiān)督兩大類,并分別概述了它們的優(yōu)勢與不足,同時(shí)總結(jié)基于深度學(xué)習(xí)下低光照圖像增強(qiáng)中常用的損失函數(shù)。之后介紹了該領(lǐng)域中常用的數(shù)據(jù)集和評價(jià)指標(biāo),并通過信息熵(IE)對傳統(tǒng)方法進(jìn)行了定量比較,使用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)對基于深度學(xué)習(xí)的方法進(jìn)行了客觀評估。通過深入閱讀文獻(xiàn),得出現(xiàn)有低光照圖像增強(qiáng)領(lǐng)域中的方法在圖像細(xì)節(jié)保留、色彩還原以及噪聲抑制方面存在不足。分析當(dāng)前低光照圖像增強(qiáng)技術(shù)所面臨的挑戰(zhàn),未來研究可在以下方向進(jìn)行深入探索。
1)提高低光照圖像增強(qiáng)算法的魯棒性和自適應(yīng)能力
傳統(tǒng)監(jiān)督學(xué)習(xí)方法依賴于成對的數(shù)據(jù)集進(jìn)行訓(xùn)練,這不僅限制了它們的應(yīng)用范圍,還可能引發(fā)過擬合的問題。相比之下,zero-shot學(xué)習(xí)[46~48,68]在真實(shí)場景中具有更強(qiáng)的魯棒性。這種學(xué)習(xí)范式不要求成對的訓(xùn)練數(shù)據(jù),而是通過精心設(shè)計(jì)的損失函數(shù)和網(wǎng)絡(luò)架構(gòu)來增強(qiáng)模型的泛化能力和魯棒性。因此,zero-shot學(xué)習(xí)無疑是一個(gè)充滿潛力且值得深入研究的領(lǐng)域。
2)輕量化的網(wǎng)絡(luò)模型設(shè)計(jì)
當(dāng)前,基于深度學(xué)習(xí)方法中的網(wǎng)絡(luò)模型參數(shù)量較大,對于硬件設(shè)備要求較高,這些問題不利于實(shí)現(xiàn)圖像的實(shí)時(shí)增強(qiáng)。輕量化的網(wǎng)絡(luò)模型設(shè)計(jì)更符合應(yīng)用在一些移動(dòng)設(shè)備。一些輕量級(jí)網(wǎng)絡(luò)模型的提出為實(shí)時(shí)低光照圖像增強(qiáng)的實(shí)現(xiàn)提供了可能[69, 70]。文獻(xiàn)[71]證明了實(shí)時(shí)圖像增強(qiáng)的可能性。因此,輕量化的模型設(shè)計(jì)也是低光照圖像增強(qiáng)的熱點(diǎn)研究方向。
3)使用特定任務(wù)評價(jià)指標(biāo)
低光照圖像增強(qiáng)中常用到的評價(jià)指標(biāo)雖然能在一定程度上反映圖像質(zhì)量,但其評估標(biāo)準(zhǔn)存在一定的局限性。比如,難以量化恢復(fù)后的圖像存在的噪聲和偽影的程度,僅通過肉眼判斷難以具有說服性,對后續(xù)的圖像任務(wù)造成一定的影響。因此,開發(fā)更準(zhǔn)確和特定任務(wù)的評價(jià)指標(biāo)也是未來低光照圖像增強(qiáng)領(lǐng)域的一個(gè)研究方向。
參考文獻(xiàn):
[1]馬龍, 馬騰宇, 劉日升. 低光照圖像增強(qiáng)算法綜述[J]. 中國圖象圖形學(xué)報(bào), 2022, 27(5): 1392-409. (Ma Long, Ma Tengyu, Liu Risheng. The review of low-light image enhancement[J]. Journal of Image and Graphics, 2022, 27(5): 1392-409.)
[2]彭大鑫, 甄彤, 李智慧. 低光照圖像增強(qiáng)研究方法綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2023, 59(18): 14-27. (Peng Daxin, Zhen Tong, Li Zhihui. Survey of research methods for low light image enhancement[J]. Computer Engineering and Applications, 2023, 59(18): 14-27.)
[3]Wang Wencheng, Wu Xiaojin, Yuan Xiaohui, et al. An experiment-based review of low-light image enhancement methods[J]. IEEE Access, 2020, 8: 87884-87917.
[4]Jhne B. Digital image processing[M]. Cham: Springer, 2005.
[5]Dale-Jones R, Tjahjadi T. A study and modification of the local histogram equalization algorithm[J]. Pattern Recognition, 1993, 26(9): 1373-1381.
[6]Rao B S. Dynamic histogram equalization for contrast enhancement for digital images[J]. Applied Soft Computing, 2020, 89: 106114.
[7]康利娟, 陳先橋. 基于多級(jí)直方圖形狀分割的圖像對比度增強(qiáng)技術(shù)[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2022, 39(3): 207-212, 321. (Kang Lijuan, Chen Xianqiao. Image contrast enhancement technology based on multi-level histogram shape segmentation[J]. Journal of Computer Applications and Software, 2022, 39(3): 207-212, 321.)
[8]Li Changli, Tang Shiqiang, Yan Jingwen, et al. Low-light image enhancement via pair of complementary gamma functions by fusion[J]. IEEE Access, 2020, 8: 169887-169896.
[9]Li Xiangsheng, Liu Manlu, Ling Qiang. Pixel-wise gamma correction mapping for low-light image enhancement[J]. IEEE Trans on Circuits and Systems for Video Technology, 2023, 34(2): 681-694.
[10]Jeon J J, Park J Y, Eom I K. Low-light image enhancement using gamma correction prior in mixed color spaces[J]. Pattern Recognition, 2024, 146: 110001.
[11]Ok J, Lee C. HDR tone mapping algorithm based on difference compression with adaptive reference values[J]. Journal of Visual Communication and Image Representation, 2017, 43(C): 61-76.
[12]趙海法, 朱榮, 杜長青. 全局色調(diào)映射和局部對比度處理相結(jié)合的圖像增強(qiáng)算法[J]. 武漢大學(xué)學(xué)報(bào): 理學(xué)版, 2020, 66(6): 597-604. (Zhao Haifa, Zhu Rong, Du Changqing. Image enhancement algorithm combining global tone mapping and local contrast processing[J]. Journal of Wuhan University: Science Edition, 2020, 66(6): 597-604.)
[13]馮維, 劉紅帝, 吳貴銘, 等. 基于顏色校正模型的梯度域自適應(yīng)色調(diào)映射算法[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(8): 77-83. (Feng Wei, Liu Hongdi, Wu Guiming, et al. Gradient domain adaptive tone mapping algorithm based on color correction model[J]. Laser and Optoelectronics Progress, 2020, 57(8): 77-83.)
[14]Land E H, McCann J J. Lightness and retinex theory[J]. Josa, 1971, 61(1): 1-11.
[15]沈豐, 趙宇明. 基于實(shí)時(shí)Retinex與雙邊濾波的圖像增強(qiáng)算法[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2009, 26(11): 234-238, 258. (Shen Feng, Zhao Yuming. Image enhancement algorithm based on real-time Retinex and bilateral filtering[J]. Journal of Computer Applications and Software, 2009, 26(11): 234-238, 258.)
[16]田會(huì)娟, 蔡敏鵬, 關(guān)濤, 等. 基于YCbCr顏色空間的Retinex低照度圖像增強(qiáng)方法研究[J]. 光子學(xué)報(bào), 2020, 49(2): 173-184. (Tian Huijuan, Cai Minpeng, Guan Tao, et al. Low-light image enhancement method using Retinex method based on YCbCr color space[J]. Acta Photonica Sinica, 2020, 49(2): 173-184.)
[17]孫峰, 李博, 高紫俊, 等. 一種基于Retinex理論礦井下圖像增強(qiáng)算法[J]. 大連工業(yè)大學(xué)學(xué)報(bào), 2023, 42(2): 151-156. (Sun Feng, Li Bo, Gao Zijun, et al. A mine image enhancement algorithm based on Retinex theory[J]. Journal of Dalian Polytechnic University, 2023, 42(2): 151-156.)
[18]Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround Retinex[J]. IEEE Trans on Image Processing, 1997, 6: 451-462.
[19]Rahman Z, Jobson D J, Woodell G A. Multi-scale retinex for color image enhancement[C]// Proc of the 3rd IEEE International Confe-rence on Image Processing. Piscataway, NJ: IEEE Press, 1996: 1003-1006.
[20]Dong Xuan, Pang Yi, Wen Jiangtao. Fast efficient algorithm for enhancement of low lighting video [C]// Proc of IEEE International Conference on Multimedia and Expo. Piscataway, NJ: IEEE Press, 2011: 1-6.
[21]劉洋, 潘靜, 龐彥偉. 一種基于暗原色先驗(yàn)的低照度視頻增強(qiáng)算法[J]. 電子測量技術(shù), 2013, 36(10): 55-57, 77. (Liu Yang, Pan Jing, Pang Yanwei. Low lighting video enhancement algorithm based on dark channel prior[J]. Electronic Measurement Technology, 2013, 36(10): 55-57, 77.)
[22]Li Dan, Shi Hanqin, Wang Hongdong, et al. Image enhancement method based on dark channel prior[C]// Proc of International Conference on Computer Engineering and Artificial Intelligence. Pisca-taway, NJ: IEEE Press, 2022: 200-204.
[23]LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.
[24]Lore K G, Akintayo A, Sarkar S. LLNet: a deep autoencoder app-roach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650-662.
[25]Park S, Yu S, Kim M, et al. Dual autoencoder network for Retinex-based low-light image enhancement[J]. IEEE Access, 2018, 6: 22084-22093.
[26]Chen Wei, Wang Wenjing, Yang Wenhan, et al. Deep Retinex decomposition for low-light enhancement [EB/OL]. (2018-08-14). https://arxiv.org/abs/1808.04560.
[27]Zhang Yonghua, Zhang Jiawan, Guo Xiaojie. Kindling the darkness: a practical low-light image enhancer[C]// Proc of the 27th ACM International Conference on Multimedia. New York: ACM Press, 2019: 1632-1640.
[28]Zhang Yonghua, Guo Xiaojie, Ma Jiayi, et al. Beyond brightening low-light images[J]. International Journal of Computer Vision, 2021, 129: 1013-1037.
[29]Wang Wenjing, Wei Chen, Yang Wenhan, et al. GLADNet: low-light enhancement network with global awareness[C]// Proc of the 13th IEEE International Conference on Automatic Face amp; Gesture Recognition. Piscataway, NJ: IEEE Press, 2018: 751-755.
[30]Wang Yufei, Wan Renjie, Yang Wenhan, et al. Low-light image enhancement with normalizing flow[C]// Proc of AAAI Conference on Artificial Intelligence. Palo Alto, CA: AAAI Press, 2022: 2604-2612.
[31]Cai Jianrui, Gu Shuhang, Zhang Lei. Learning a deep single image contrast enhancer from multi-exposure images[J]. IEEE Trans on Image Processing, 2018, 27(4): 2049-2062.
[32]Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]// Proc of the 18th Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2015: 234-241.
[33]Yang Xin, Xu Ke, Song Yibing, et al. Image correction via deep reciprocating HDR transformation[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2018: 1798-1807.
[34]Ko K, Kim C S. IceNet for interactive contrast enhancement[J]. IEEE Access, 2021, 9: 168342-168354.
[35]Wu Wenhui, Weng Jian, Zhang Pingping, et al. Uretinex-Net: Retinex-based deep unfolding network for low-light image enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2022: 5901-5910.
[36]Wu Yuhui, Pan Chen, Wang Guoqing, et al. Learning semantic-aware knowledge guidance for low-light image enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway, NJ: IEEE Press, 2023: 1662-1671.
[37]Hai Jiang, Xuan Zhu, Yang Ren, et al. R2RNet: low-light image enhancement via real-low to real-normal network[J]. Journal of Visual Communication and Image Representation, 2023, 90: 103712.
[38]Liu Xinyi, Xie Qi, Zhao Qian, et al. Low-light image enhancement by Retinex-based algorithm unrolling and adjustment[J/OL]. IEEE Trans on Neural Networks and Learning Systems. (2023-07-06). https://doi.org/10.1109/TNNLS.2023.3289626.
[39]Li Jiaqian, Li Juncheng, Fang Faming, et al. Luminance-aware pyramid network for low-light image enhancement[J]. IEEE Trans on Multimedia, 2020, 23: 3153-3165.
[40]Xu Ke, Yang Xin, Yin Baocai, et al. Learning to restore low-light images via decomposition-and-enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2020: 2281-2290.
[41]Wang Yang, Cao Yang, Zha Zhengjun, et al. Progressive Retinex: mutually reinforced illumination-noise perception network for low-light image enhancement[C]// Proc of the 27th ACM International Confe-rence on Multimedia. New York: ACM Press, 2019: 2015-2023.
[42]Cai Yuanhao, Bian Hao, Lin Jing, et al. RetinexFormer: one-stage Retinex-based Transformer for low-light image enhancement[C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway, NJ: IEEE Press, 2023: 12504-12513.
[43]Cui Ziteng, Li Kunchang, Gu Lin, et al. You only need 90k parameters to adapt light: a light weight transformer for image enhancement and exposure correction [EB/OL]. (2022-05-30). https://arxiv. org/abs/2205.14871.
[44]Brateanu A, Balmez R, Avram A, et al. LYT-NET: lightweight YUV Transformer-based network for low-light image enhancement[EB/OL]. (2024-01-16). https://arxiv.org/abs/2401.15204.
[45]羅俊, 宣士斌, 劉家林. 噪聲指導(dǎo)下過濾光照風(fēng)格實(shí)現(xiàn)低光照場景的語義分割[J]. 計(jì)算機(jī)應(yīng)用研究, 2024, 41(1): 314-320. (Luo Jun, Xuan Shibin, Liu Jialin. Filtering illumination style under guidance of noise to achieve semantic segmentation of low-light scenes[J]. Application Research of Computers, 2024, 41(1): 314-320.)
[46]Guo Chunle, Li Chongyi, Guo Jichang, et al. Zero-reference deep curve estimation for low-light image enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Rcognition. Piscataway, NJ: IEEE Press, 2020: 1780-1789.
[47]Li Chongyi, Guo Chunle, Loy C C. Learning to enhance low-light ima-ge via zero-reference deep curve estimation[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2021, 44(8): 4225-4238.
[48]Zhu Anqi, Zhang Lin, Shen Ying, et al. Zero-shot restoration of underexposed images via robust Retinex decomposition[C]// Proc of IEEE International Conference on Multimedia and Expo. Piscataway, NJ: IEEE Press, 2020: 1-6.
[49]Jiang Zhuqing, Li Haotian, Liu Liangjie, et al. A switched view of Retinex: deep self-regularized low-light image enhancement [J]. Neurocomputing, 2021, 454: 361-372.
[50]Xu Kai, Chen Huaian, Xu Chunmei, et al. Structure-texture aware network for low-light image enhancement[J]. IEEE Trans on Circuits and Systems for Video Technology, 2022, 32(8): 4983-4996.
[51]Jiang Yifan, Gong Xinyu, Liu Ding, et al. EnlightenGAN: deep light enhancement without paired supervision[J]. IEEE Trans on Image Processing, 2021, 30: 2340-2349.
[52]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2014-09-04). https://arxiv.org/abs/1409.1556.
[53]Fu Ying, Hong Yang, Chen Linwei, et al. LE-GAN: unsupervised low-light image enhancement network using attention module and identity invariant loss[J]. Knowledge-Based Systems, 2022, 240: 108010.
[54]Wang Renjun, Jiang Bin, Yang Chao, et al. MAGAN: unsupervised low-light image enhancement guided by mixed-attention[J]. Big Data Mining and Analytics, 2022, 5(2): 110-119.
[55]Zheng Naishan, Huang Jie, Zhou Man, et al. Learning semantic degradation-aware guidance for recognition-driven unsupervised low-light image enhancement[C]// Proc of AAAI Conference on Artificial Intelligence. Palo Alto, CA: AAAI Press, 2023: 3678-3686.
[56]Liang Jinxiu, Xu Yong, Quan Yuhui, et al. Self-supervised low-light image enhancement using discrepant untrained network priors[J]. IEEE Trans on Circuits and Systems for Video Technology, 2022, 32(11): 7332-7345.
[57]Yu Wenshuo, Zhao Liquan, Zhong Tie. Unsupervised low-light image enhancement based on generative adversarial network[J]. Entropy, 2023, 25(6): 932.
[58]Zhen Tong, Peng Daxin, Li Zhihui. Cyclic generative attention-adversarial network for low-light image enhancement[J]. Sensors, 2023, 23(15): 6990.
[59]Ma Long, Ma Tengyu, Liu Risheng, et al. Toward fast, flexible, and robust low-light image enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2022: 5637-5646.
[60]Mukherjee S, Agarwala A, Agarwala R. A review on generative adversarial networks[J/OL]. Machine Learning and Internet of Things for Societal Issues. (2022-02-25). https://doi.org/10.1007/978-981-16-5090-1_1.
[61]Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144.
[62]Chan S H, Khoshabeh R, Gibson K B, et al. An augmented Lagrangian method for total variation video restoration[J]. IEEE Trans on Image Processing, 2011, 20(11): 3097-3111.
[63]Chen Chen, Chen Qifeng, Xu Jia, et al. Learning to see in the dark[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2018: 3291-3300.
[64]Chen Chen, Chen Qifeng, Do M N, et al. Seeing motion in the dark[C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway, NJ: IEEE Press, 2019: 3185-3194.
[65]Bychkovsky V, Paris S, Chan E, et al. Learning photographic global tonal adjustment with a database of input/output image pairs[C]// Proc of Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2011: 97-104.
[66]Kalantari N K, Ramamoorthi R. Deep high dynamic range imaging of dynamic scenes[J]. ACM Trans Graph, 2017, 36(4): 144:1-144: 12.
[67]Loh Y P, Chan C S. Getting to know low-light images with the exclusively dark dataset[J]. Computer Vision and Image Understan-ding, 2019, 178: 30-42.
[68]Liu Risheng, Ma Long, Zhang Jiaao, et al. Retinex-inspired unrol-ling with cooperative prior architecture search for low-light image enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2021: 10561-10570.
[69]Howard A G, Zhu Menglong, Chen Bo, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[EB/OL]. (2017-04-17). https://arxiv.org/abs/1704.04861.
[70]Sandler M, Howard A, Zhu Menglong, et al. MobileNetv2: inverted residuals and linear bottlenecks[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2018: 4510-4520.
[71]Sun Long, Liu Zhenbing, Sun Xiyan, et al. Lightweight image super-resolution via weighted multi-scale residual network[J]. IEEE/CAA Journal of Automatica Sinica, 2021, 8(7): 1271-1280.