張航，顏佳

武漢大學(xué)電子信息學(xué)院，武漢 430072

0 引言

在曝光不足的情況下拍攝圖像通常會遇到可見性不理想的問題，例如幾乎看不到細節(jié)，對比度相對較低，以及顏色暗淡。這種退化的圖像不僅不能捕捉到用戶想要的東西，而且還挑戰(zhàn)了許多計算機視覺任務(wù)，因此有必要增強圖像并獲得良好的視覺效果。

傳統(tǒng)的低光照圖像增強方法大致包括基于直方圖均衡的方法和基于Retinex（retina and cortex）理論（Ma等，2022）的方法。直方圖均衡方法通過擴展全局和局部灰度級別的動態(tài)范圍來增加圖像的對比度?；谥狈綀D均衡的方法的局限性顯而易見，因為它們忽略了有關(guān)圖像結(jié)構(gòu)的信息。采用Retinex理論的方法通常將圖像分解為反射和照明分量，通常認為反射率分量在任何照明條件下都是一致的，因此圖像增強被表述為一個照明估計問題。例如Wang 等人（2013）在處理非均勻照明圖像時設(shè)計了一種自然信息保存法；Fu 等人（2016）提出了一個加權(quán)變化模型來同時估計輸入圖像的反射率和照度；Guo等人（2017）首先通過搜索RGB通道中每個像素的最大強度來估計粗照明圖，然后通過先驗結(jié)構(gòu)細化粗照明圖；Li 等人（2018）提出了一種新的Retinex模型，該模型將噪聲考慮在內(nèi)，通過求解優(yōu)化問題來估計照明圖。

學(xué)者陸續(xù)提出利用深度學(xué)習(xí)處理低光照圖像的方法。這些方法大致分為基于卷積神經(jīng)網(wǎng)絡(luò)的方法和基于對抗生成網(wǎng)絡(luò)的方法。LLNet（low-light image enhancement）（Lore 等，2017）是第1 個基于深度學(xué)習(xí)的低光照圖像增強方法，提出了一種基于噪聲魯棒的自動編碼器方法，以最小的像素級飽和度來增強圖像。Lyu 等人（2018）提出了一種多分支低光照增強網(wǎng)絡(luò)MBLLEN（multiple-branch low-light enhancement），通過多個子網(wǎng)提取不同層次的豐富特征，最后通過多分支融合生成輸出圖像?；赗etinex 理論，增強圖像可以通過將輸入圖像除以照明圖來獲得。Wang 等人（2019）采用了一個深度網(wǎng)絡(luò)，可以學(xué)習(xí)圖像到照明的映射，然后獲得高質(zhì)量的輸出結(jié)果。Zhang 等人（2019）分別開發(fā)了3 個用于層分解、反射率恢復(fù)和照明調(diào)整的子網(wǎng)，稱為KinD。此外，作者還通過多尺度照明注意力模塊緩解了KinD 結(jié)果中留下的視覺缺陷，改進的KinD 稱為KinD ++（Zhang 等，2021）。這些方法通常使用人工模擬數(shù)據(jù)集進行訓(xùn)練和評估，其增強性能在很大程度上取決于數(shù)據(jù)集。這些限制反映為基于卷積神經(jīng)網(wǎng)絡(luò)的方法的泛化能力差，當用這些方法測試各種光照強度的真實圖像時，通常會產(chǎn)生偽像和色偏。

無監(jiān)督方法避免了準備成對訓(xùn)練圖像的煩瑣工作。EnlightenGAN（deep light enhancement using GAN）（Jiang 等，2021a）是第1 個成功將非成對學(xué)習(xí)應(yīng)用于低光照圖像增強的方法。它采用單向?qū)股删W(wǎng)絡(luò)（generative adversarial network，GAN）結(jié)構(gòu)來穩(wěn)定訓(xùn)練并取得可觀的效果。與此同時，Guo 等人（2020）提出訓(xùn)練一個輕量級卷積神經(jīng)網(wǎng)絡(luò)來估計特定于圖像的像素級曲線，以進行動態(tài)范圍調(diào)整，而無需任何成對或未成對的數(shù)據(jù)。然而，這兩種模型都存在嚴重的偽像和色彩偏差，無法適應(yīng)各種照明條件。

基于上述討論，為了獲得細節(jié)清晰、對比度好、色彩不失真的高質(zhì)量增強效果，提出了一種結(jié)合語義信息和HSV 色彩空間的模型。本文引入了一種曲線估計網(wǎng)絡(luò)，該網(wǎng)絡(luò)旨在估計輸入圖像的一組最佳擬合光增強曲線，通過迭代應(yīng)用曲線，可以逐步增強圖像。此外，提出了一種無監(jiān)督語義分割網(wǎng)絡(luò)，它不需要昂貴的分割注釋，可以在增強過程中保留語義信息。在訓(xùn)練步驟中，除了初始非參考損失函數(shù)外，本文還設(shè)計了HSV 損失以保持輸入圖像的色調(diào)和飽和度。HSV 損失與其他非參考損失函數(shù)合并為總損失，在訓(xùn)練過程中更新曲線估計網(wǎng)絡(luò)的參數(shù)。實驗結(jié)果表明，本文方法可以成功處理偽影和顏色偏差，在定量和定性上都優(yōu)于多種最先進的方法。

本文的貢獻總結(jié)如下：1）基于零樣本低光照圖像增強，引入了一種無監(jiān)督語義分割網(wǎng)絡(luò)。本文估計每個像素的類概率，然后設(shè)計一個參考焦點損失的語義損失；2）本文設(shè)計了一個具有5 個非參考損失函數(shù)的迭代圖像增強策略，以提高模型的泛化能力，其中提出了HSV 損失以改善顏色偏差，設(shè)計空間一致性損失增強細節(jié)；3）在多個數(shù)據(jù)集上進行實驗，與具有代表性的方法進行比較，從主觀視覺質(zhì)量和客觀圖像評估指標上來看，本文方法都具有一定的優(yōu)勢。

1 迭代圖像增強方法

迭代圖像增強方法是指設(shè)計一個特定于圖像的曲線，它能夠通過迭代應(yīng)用自身來得到像素級和高階曲線，從而在低光照圖像和增強圖像之間進行有效映射。曲線的參數(shù)可以通過深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)，而增強后的圖像可用來指導(dǎo)網(wǎng)絡(luò)的訓(xùn)練。受Guo 等人（2020）方法的啟發(fā)，該曲線可以表示為

式中，x表示像素坐標，LE(x)是給定輸入圖像I(x)的增強版本，α∈[-1，1]是可訓(xùn)練曲線參數(shù)，隨著α不同，可實現(xiàn)圖像動態(tài)范圍的調(diào)整。分別將曲線應(yīng)用于3 個 RGB 通道，這樣可以更好地保留固有顏色并降低過度飽和的風(fēng)險。盡管曲線具有滿足調(diào)整圖像動態(tài)范圍的能力，但是利用該曲線增強低光照圖像存在以下兩個問題：1）對極度低光照條件，其調(diào)整能力弱；2）在進行低光照圖像增強的同時，會減弱強光部分，造成變換后的圖像顏色失真。

由于本文發(fā)現(xiàn)這樣的二次曲線在非常暗的環(huán)境下調(diào)節(jié)能力是有限的，為了賦予其更強的動態(tài)范圍調(diào)節(jié)能力，對二次曲線進行迭代，進而實現(xiàn)更高階的曲線。但是高階曲線仍然是一種全局調(diào)整曲線，在一些挑戰(zhàn)性的場景下會導(dǎo)致局部區(qū)域的過度增強或者是欠增強等質(zhì)量退化問題。

為了解決這樣的問題，本文進一步將曲線擴展為逐像素的曲線參數(shù)圖。此時，表達式為

式中，n是迭代次數(shù)，用于控制曲率。在本文中，將n的值設(shè)置為8，可以滿意地處理大多數(shù)情況。A是與給定圖像尺寸相同的映射參數(shù)圖。為了盡可能準確地估計該映射參數(shù)圖，本文設(shè)計了一個基于語義分割和HSV色彩空間的低光照圖像增強網(wǎng)絡(luò)。

2 網(wǎng)絡(luò)模型

本文通過基于語義分割和HSV 色彩空間的低光照圖像增強網(wǎng)絡(luò)估計出低光照圖像的映射參數(shù)，之后采用迭代映射的方式進行圖像增強，圖1 是網(wǎng)絡(luò)的整體結(jié)構(gòu)圖。

圖1 基于語義分割和HSV色彩空間的低光照圖像增強網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 The framework of low-light image enhancement network based on semantic segmentation and HSV color space

2.1 迭代圖像增強模塊

為了學(xué)習(xí)輸入圖像與其最佳擬合曲線參數(shù)圖之間的映射，本文提出了深度曲線估計網(wǎng)絡(luò)（deep curve estimation net，DCE-Net）。DCE-Net 的輸入是低光照圖像，而輸出是對應(yīng)高階曲線的一組逐像素的曲線參數(shù)圖。DCE-Net 包含7 個具有對稱跳躍連接的卷積層。在前6 個卷積層中，每個卷積層由32 個大小為3×3、步長為1 的卷積核組成，其后是ReLU 激活函數(shù)。最后一個卷積層由24 個大小為3×3、步長為1 的卷積核組成，其后是Tanh 激活函數(shù)，該激活函數(shù)為8次迭代產(chǎn)生24個曲線參數(shù)圖，其中每次迭代需要3 個曲線參數(shù)圖，分別用于RGB 三通道。值得注意的是，對于 256×256×3 的輸入圖像，DCE-Net 只有79 416 個可訓(xùn)練參數(shù)和5.21 G Flops。因此它是輕量級的，可以用于計算資源有限的設(shè)備，例如移動平臺。

2.2 無監(jiān)督語義分割模塊

無監(jiān)督語義分割網(wǎng)絡(luò)旨在對增強圖像進行精確的逐像素分割，從而在漸進式圖像增強過程中保留語義信息。本文使用兩條途徑：1）自下而上的途徑，使用具有ImageNet（Deng 等，2009）權(quán)重的ResNet（residual network）（He 等，2016）；2）自上而下的途徑，使用高斯初始化，平均值為0，標準差為0.01。兩條途徑都有4 個卷積塊，它們通過橫向連接相互連接。

來自迭代圖像增強模塊的增強圖像將首先進入自下而上的路徑進行特征提取。然后，自上而下的路徑將高語義層轉(zhuǎn)換為高分辨率層，以進行空間感知語義分割。自上而下方法中的每個卷積塊對圖像執(zhí)行雙線性上采樣，并將其與橫向結(jié)果連接起來。連接后通過兩個具有3×3卷積的平滑層，以獲得更好的感知質(zhì)量。最后，本文將自上而下的路徑中每個塊的結(jié)果連接起來并計算分割。

2.3 損失函數(shù)

基于零樣本學(xué)習(xí)的低光照圖像增強方法中，由于沒有成對的數(shù)據(jù)集對網(wǎng)絡(luò)進行訓(xùn)練，因此需要一系列無需參考圖像的損失函數(shù)監(jiān)督網(wǎng)絡(luò)的訓(xùn)練過程。為了保證增強后的圖像在曝光度、色彩以及平滑性等各方面的指標，參考Guo 等人（2020）在低光照圖像增強中采用的損失函數(shù)，各項損失函數(shù)如下所述：

1）語義損失。語義損失有利于在增強過程中盡可能保留圖像的語義信息。本文參考焦點損失（Lin等，2017）來設(shè)計。下面的語義損失不需要分割標簽，只需要一個預(yù)先初始化的模型。語義損失表示為

式中，p是分割網(wǎng)絡(luò)對像素的估計類概率。受Fan 等人（2018）方法的啟發(fā)，本文選擇焦點系數(shù)β和γ分別為1和2。

2）HSV 損失。本文在HSV 色彩空間中描述低光照圖像，H（hue）、S（saturation）和 V（value）通道彼此正交，從而分離亮度和顏色。此外，正如Jiang等人（2021b）所述，增強只需要在V 通道上進行，H 和S 通道完全來自原始圖像?；诖耍疚脑O(shè)計了一個損失函數(shù)來保留所有顏色，這有助于真實地恢復(fù)隱藏在黑暗中的顏色。特別是在自正則化學(xué)習(xí)中，由于缺乏真實的正常光圖像，卷積神經(jīng)網(wǎng)絡(luò)無法學(xué)習(xí)從低光照圖像到正常光圖像的顏色映射，這凸顯了HSV 空間相較RGB 空間的優(yōu)勢。HSV 損失表示為

3）空間一致性損失?？臻g一致性損失主要是為了在增強過程中保留相鄰像素間的差異性，有助于保持增強前后兩幅圖像之間的空間一致性。與僅考慮相鄰單元格方法（Guo 等，2020）不同，本文還加入了非相鄰單元格的空間相干性?？臻g一致性損失表示為

式中，Y和I分別是增強圖像和低光圖像中4×4 局部區(qū)域中的平均像素值，A是局部區(qū)域的數(shù)量。φ(i)是4 個相鄰的鄰居（上、下、左、右），ψ(i)是4 個不相鄰的鄰居（左上、右上、左下和右下），α為0.5。

4）曝光損失。曝光損失主要是通過測量特定區(qū)域的平均像素值與預(yù)定義曝光水平E之間的L1 差異。以限制圖像中的曝光不足和過度曝光。曝光損失表示為

式中，E是理想的圖像曝光水平，根據(jù)消融研究設(shè)置為0.6。

5）總變差損失?？傋儾顡p失（Chen 等，2010）測量圖像中相鄰像素之間的差異。本文使用總變差損失來減少噪點并提高圖像的平滑程度。與以往的低光照圖像增強工作不同，本文在該損失中還考慮了通道間關(guān)系，以提高色彩亮度?？傋儾顡p失表示為

式中，C、H和W分別表示圖像的通道、高度和寬度，?x和?y分別是水平和垂直梯度操作。

總損失函數(shù)可以概括為

在這里，本文設(shè)置權(quán)重λtv=200，λspa=1，λhsv=0.1，λexp=10，λsem=1。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

選擇Guo 等人（2020）方法中2 002 幅不同曝光水平的圖像，并將它們調(diào)整為512×512 像素用于模型訓(xùn)練。對于定量評估，使用LOL（low-light dataset）（Wei等，2018）和SICE（single image contrast enhancement）數(shù)據(jù)集的第2 部分（Cai 等，2018），后者包含229 個多重曝光序列，每個序列都有相應(yīng)參考圖像。此外，本文還對以前低光照圖像增強工作中使用的3 個公開可用的數(shù)據(jù)集進行了定性實驗，包括DICM（different images collected from multiple cameras）（Lee 等，2012），LIME（low-light image enhancement）（Guo等，2017）和VV（Vassilios Vonikakis）（Vonikakis等，2008）。

3.2 實驗設(shè)置

所提出的模型使用Adam 優(yōu)化器在單個NVIDIA 1080Ti GPU 上訓(xùn)練100 個epoch，初始學(xué)習(xí)率為0.000 1，batch size 為 8。每層的濾波器權(quán)重用標準零均值和0.02 標準差高斯函數(shù)初始化，偏差初始化為常量。

3.3 實驗結(jié)果

將提出的方法與幾種方法進行比較，包括傳統(tǒng)方法LIME（low-light image enhancement）（Guo 等，2017）、監(jiān)督學(xué)習(xí)方法RetinexNet（Wei 等，2018）、基于GAN 的方法EnlightenGAN（Jiang 等，2021a）、零樣本學(xué)習(xí)方法Zero-DCE（zero-reference deep curve estimation）（Guo 等，2020）和SGZ（semantic-guided zeroshot learning）（Zheng和Gupta，2021）。

3.3.1 定量分析

為了進行定量比較，使用峰值信噪比（peak signal-to-noise ratio，PSNR）、結(jié)構(gòu)相似性（structural similarity，SSIM）（Wang 等，2004）和平均絕對誤差（mean absolute error，MAE）來測量增強后的保真度。如表1 所示，本文方法在PSNR 和SSIM 上排名第2。值得注意的是，RetinexNet（Wei 等，2018）和EnlightenGAN（Jiang等，2021a）在訓(xùn)練中使用成對和未成對的低光照和正常光照圖像，正常光照圖像提供了其他信息。至于零樣本學(xué)習(xí)，本文方法在PSNR上優(yōu)于Zero-DCE 約0.8 dB，優(yōu)于SGZ 約2.36 dB，證明了本文方法的有效性。從表1 來看，本文方法在客觀指標上不如EnlightenGAN，但是客觀指標是模擬主觀進行打分的，所以要更關(guān)注主觀評價。

表1 不同方法在低照度LOL數(shù)據(jù)集上的定量比較Table 1 Quantitative comparison of different methods on LOL dataset

不同方法在單幅圖增強SICE數(shù)據(jù)集第2部分的定量比較如表2所示。從表2可以看出，本文方法在所有方法中取得了最好的PSNR 和SSIM，以及次好的MAE，由于它不使用任何成對或未成對的訓(xùn)練數(shù)據(jù)，說明本文方法得到的結(jié)果與正常光照圖像比較接近，同時還需要結(jié)合主觀效果來分析。

表2 不同方法在單幅圖增強SICE第2部分數(shù)據(jù)集的定量比較Table 2 Quantitative comparison of different methods in the SICE Part 2 dataset

對于沒有參考圖像的數(shù)據(jù)集，本文采用自然圖像質(zhì)量評估（natural image quality evaluator，NIQE）（Mittal等，2013）來判斷增強圖像是否更加接近自然圖像。如表3 所示，本文方法在大多數(shù)數(shù)據(jù)集上排名前兩名，并且平均值是最佳的。

表3 不同方法在各個數(shù)據(jù)集的自然圖像質(zhì)量指標比較Table 3 Comparison of NIQE indicators in different datasets using different methods

3.3.2 定性分析

圖2 顯示了不同方法在SICE 數(shù)據(jù)集第2 部分上兩個典型低光照圖像的結(jié)果，以展示所提出的方法是否可以在亮度、對比度，特別是自然度和色彩方面獲得視覺上令人愉悅的結(jié)果。對于傳統(tǒng)方法，LIME（Guo 等，2017）可以產(chǎn)生令人愉悅的視覺表現(xiàn)，但明亮區(qū)域過度曝光，細節(jié)丟失（例如，圖2（c）第2 行紅色框中的顆粒）。至于基于深度學(xué)習(xí)的方法，RetinexNet（Wei 等，2018）會生成奇怪的顏色和細節(jié)。EnlightenGAN（Jiang 等，2021a）可以獲得令人滿意的結(jié)果，但顏色與黃色混合（例如，圖2（e）中的展品）。盡管Zero-DCE（Guo 等，2020）在一定程度上增強了低光照圖像，但它們的顏色并不自然（例如，圖2（f）中的顏色傾向于白色）。SGZ（Zheng 和Gupta，2021）與Zero-DCE 具有相似的性能，它無法充分增強低光照圖像。與其他方法相比，本文方法在亮度方面表現(xiàn)出色，并恢復(fù)了隱藏在低光照圖像中的色彩。

圖2 在SICE數(shù)據(jù)集第2部分上的增強結(jié)果Fig.2 Enhancement results on the SICE Part 2 dataset（（a）inputs；（b）ground truth；（c）LIME；（d）RetinexNet；（e）EnlightenGAN；（f）Zero-DCE；（g）SGZ；（h）ours）

圖3 中展示了DICM、LIME 和VV 數(shù)據(jù)集的視覺結(jié)果。重點比較了零樣本學(xué)習(xí)中先進的方法Zero-DCE。通過比較結(jié)果，注意到本文方法比其他方法有兩個關(guān)鍵改進。首先，本文方法可以在前景和背景中恢復(fù)更多細節(jié)和更好的對比度，而不會明顯犧牲圖像的過度曝光和曝光不足部分。例如，房屋、車輛和天空之間的對比很明顯，而在Zero-DCE中，街景的色調(diào)往往是一致的。在人和背景之間的區(qū)別上，本文方法的表現(xiàn)比其他方法更好。其次，本文方法的結(jié)果還顯示出鮮艷自然的色彩，使增強的效果看起來更逼真。例如，本文方法的樹干是棕色的，但是在Zero-DCE 中偏向于灰色，在SGZ 中是過度曝光的，而在EnlightenGAN 中，樹干的棕色明顯與原始圖像不同。綠色的山丘以及云和大海也是如此。這種改進歸因于在本文方法中通過HSV顏色空間保留顏色，而不是像Zero-DCE 一樣使用灰色世界顏色恒常性假設(shè)（Buchsbaum，1980）作為依據(jù)。

圖3 不同方法在 DICM、LIME 和 VV數(shù)據(jù)集上的增強結(jié)果Fig.3 Enhanced results on DICM，LIME and VV datasets（（a）inputs；（b）EnlightenGAN；（c）SGZ；（d）Zero-DCE；（e）ours）

3.3.3 損失函數(shù)分析

首先對損失函數(shù)權(quán)重的設(shè)置進行驗證，然后通過消融實驗分析每個損失函數(shù)的重要性。本文設(shè)置的最佳權(quán)重為λtv=200，λspa=1，λhsv=0.1，λexp=10，λsem=1，以λtv和λhsv為例探究權(quán)重設(shè)置的合理性。具體做法是保持其他權(quán)重不變，分別改變λtv和λhsv的值，生成的結(jié)果在LOL數(shù)據(jù)集上進行主觀和客觀的分析。如圖4所示，圖4（b）（f）代表最佳權(quán)重結(jié)果，λtv=20表示只改變Ltv的權(quán)重，其余不變；λhsv=1表示只改變Lhsv的權(quán)重，其余不變。從圖中可以發(fā)現(xiàn)，當λtv=20時，出現(xiàn)大量偽像，說明Ltv的權(quán)重不夠，需要增大；當λhsv=1時，圖像的顏色并不鮮艷，需要調(diào)整Lhsv的權(quán)重。

圖4 在LOL數(shù)據(jù)集上損失函數(shù)的權(quán)重實驗結(jié)果Fig.4 Experimental results of weight of loss function on LOL dataset（（a）input；（b）ours；（c）λtv=20；（d）λhsv=1）

表4 展示了在LOL 數(shù)據(jù)集上對損失函數(shù)權(quán)重實驗結(jié)果，從表4 也可發(fā)現(xiàn)，當λtv=20 和λhsv=1 時，PSNR 和SSIM 指標不如最佳權(quán)重得到的結(jié)果，基于上述分析逐步得到最佳的權(quán)重。

表4 在LOL數(shù)據(jù)集上對損失函數(shù)權(quán)重實驗結(jié)果Table 4 Experimental results of weight of loss function on the LOL dataset

表5 和表6 顯示了損失函數(shù)消融的客觀指標分析。結(jié)果表明，Lhsv、Lexp和Ltv對圖像增強效果的影響較大，而Lspa和Lsem對圖像增強效果的影響較小。

表5 在LOL數(shù)據(jù)集上損失函數(shù)的消融實驗結(jié)果Table 5 Experimental results of ablation of loss function on the LOL dataset

表6 在SICE數(shù)據(jù)集第2部分上對損失函數(shù)的消融實驗結(jié)果Table 6 Experimental results of ablation of the loss function on the SICE Part 2 dataset

在圖5 中對 SICE 數(shù)據(jù)集的第2 部分進行了額外的視覺比較。本文發(fā)現(xiàn)，沒有Lhsv、Lexp和Ltv的模型分別存在嚴重的色彩偏差、較差的低光區(qū)域增強和不自然的偽像。本文還注意到，沒有Lspa或Lsem的模型會生成噪聲損壞的顆粒細節(jié)，沒有Lspa和Lsem的模型會導(dǎo)致區(qū)域?qū)Ρ榷炔詈桶祬^(qū)照明不足。

圖5 損失函數(shù)消融的結(jié)果Fig.5 Results of loss function ablation（（a）dark images；（b）w/o Lhsv；（c）w/o Lexp；（d）w/o Ltv；（e）w/o Lspa；（f）w/o Lsem；（g）w/o Lspa，w/o Lsem；（h）ours）

3.3.4 語義分割評估

采用了PSPNet（pyramid scene parsing network）（Zhao 等，2017）來評估不同增強方法生成的增強圖像的分割性能。此外，本文對Cityscapes（Cordts 等，2016）數(shù)據(jù)集中的圖像使用伽馬校正來合成一個名為DarkCityscapes 的新數(shù)據(jù)集。在圖6 中顯示了語義分割的感知比較，可以看到，Retinex 會留下大面積的錯誤分割，LIME、EnlightenGAN、SGZ 和Zero-DCE 的增強在左側(cè)人行道上有不少孔洞。相比之下，本文方法最接近基本事實。因為本文考慮語義信息，所以增強的圖像對于場景分割和識別特別有用。

圖6 DarkCityscapes上的語義分割結(jié)果比較Fig.6 Comparison of semantic segmentation results on DarkCityscapes（（a）original images；（b）LIME；（c）RetinexNet；（d）EnlightenGAN；（e）SGZ；（f）Zero-DCE；（g）ours；（h）ground truth）

4 結(jié)論

本文旨在解決低光照圖像增強中存在的細節(jié)不清晰、對比度不高和色彩失真等問題，提出一種結(jié)合語義信息和HSV 色彩空間的新型零樣本低光照圖像增強方法。首先以類似于U-Net 的7 個具有對稱結(jié)構(gòu)的卷積層為基本框架，構(gòu)建了一個端到端的低光照圖像增強網(wǎng)絡(luò)。輸入是低光照圖像，輸出是一組最佳擬合的曲線參數(shù)圖，通過迭代應(yīng)用曲線，對輸入低光照圖像的RGB 通道中所有像素進行映射，從而獲得最后的增強圖像。網(wǎng)絡(luò)提取輸入圖像的曲線參數(shù)圖后，多次迭代應(yīng)用曲線進行圖像增強，增強的結(jié)果通過一系列非參考損失函數(shù)進行評價指導(dǎo)。同時將最后一步迭代增強的結(jié)果送入一個無監(jiān)督的語義分割網(wǎng)絡(luò)，目的是保留圖像的語義信息。最后通過實驗，與其他方法相比，本文方法在定性和定量結(jié)果上都有相對較高的提升。但是在消融實驗結(jié)果中發(fā)現(xiàn)，語義信息的加入對增強效果不是很明顯。進一步挖掘語義信息以及更好地嵌入到圖像增強算法框架中是本文今后的研究方向。