張華成，劉朝倩，胡建斌

(1.桂林電子科技大學(xué) 計算機與信息安全學(xué)院，廣西 桂林 541004；2.廣西中煙工業(yè)有限責任公司，南寧 530001)

0 引 言

在弱光條件下拍攝的圖像通常會出現(xiàn)對比度低、 能見度差和ISO噪點高等問題。這些問題不僅嚴重影響了圖像的實用性, 也降低了眾多計算機視覺算法的可靠性。為了解決這些問題, 從直方圖均衡化[1]到基于學(xué)習(xí)的方法[2], 已經(jīng)提出了大量的算法。在早期的弱光圖像的增強方法中, 往往會出現(xiàn)顏色失真、 細節(jié)丟失等問題。Iqbal等[3]雖然保留了圖像的對比度, 但還是會出現(xiàn)上述問題, 并且Wang等[4]和Fu等[5]提出的方法無法增強圖像中的暗區(qū), 視覺效果較差。

基于深度學(xué)習(xí)的大多數(shù)方法都嚴重依賴成對圖像訓(xùn)練網(wǎng)絡(luò)模型, 比如多曝光序列圖像[6]、 超分辨率[7]、 去噪[8]和去模糊[9]。當它們在沒有成對的訓(xùn)練集的情況下就失去了原本的優(yōu)勢。到目前為止, 有幾種低亮度和正常亮度的成對圖像數(shù)據(jù)集, 然而它們都不是最真實的, 也不容易被擴展。Wei等[10]在亮度正常減少相機曝光時間獲取的數(shù)據(jù)集以及Chen等[11]在亮度差條件下增加曝光時間獲得的圖像對數(shù)據(jù)集都不是最真實的。LOL數(shù)據(jù)集是唯一一個從真實場景中獲取的低亮度和正常亮度圖像對的數(shù)據(jù)集, 但它仍然可能偏離自然的低亮度和正常亮度圖像之間的真實映射, 也可能會因局部區(qū)域曝光過度或不足而出現(xiàn)偽影[10]。

在實際中獲取成對的訓(xùn)練圖像是非常困難的, 尤其是涉及不受控制的場景, 例如除霧、 弱光增強等場景。一方面在同一場景同一時刻拍攝弱光/正常亮度的圖像對是不切實際的; 另一方面從多曝光序列圖像中合成高質(zhì)量的圖像的方法是可行的, 但合成的結(jié)果通常都會失真, 會出現(xiàn)各種偽影和噪聲。

雖然Jiang等[12]提出了一種無監(jiān)督的、 無需成對圖像的弱光圖像增強方法(EnlightenGAN), 但還是會出現(xiàn)整體和局部過度增強的情況。針對上述問題, 在無法使用成對的訓(xùn)練數(shù)據(jù)的情況下, 可以利用原始弱光圖像的光照條件和灰度圖增強過暗區(qū)域, 同時也可以抑制亮區(qū)域的過度曝光。

因此, 本文基于生成對抗網(wǎng)絡(luò)(GAN)提出了一種無監(jiān)督的弱光圖像增強方法, 稱為SAMGAN。它可以在弱光圖像和正常亮度圖像之間學(xué)習(xí)不成對的映射關(guān)系, 而無需依賴成對的圖像集。它具有成對的生成器和判別器, 但是不像Zhu等[2]的方法使用循環(huán)一致性損失。

由于缺乏成對的訓(xùn)練數(shù)據(jù), 本文使用了許多創(chuàng)新技術(shù)。首先提出一種雙重生成器和判別器, 以平衡增強圖像中局部和整體的亮度。其次, 由于缺少真實成對的數(shù)據(jù)監(jiān)督學(xué)習(xí), 使用特征自我保留損失(SFPLoss)限制弱光圖像與其增強圖像之間的特征空間距離, 同時在彩色圖像和灰度圖之間使用該損失。最后, 為了實現(xiàn)正則化無監(jiān)督學(xué)習(xí), 在每個深度特征中將弱光圖像的照明信息作為自我正則映射。由于無監(jiān)督的設(shè)置, 證明SAMGAN可以增強來自不同領(lǐng)域的真實世界的弱光圖像。

SMAGAN具有以下顯著的特點:

(1)SAMGAN能夠在沒有成對數(shù)據(jù)的情況下訓(xùn)練模型。這種訓(xùn)練方式消除了對成對的訓(xùn)練數(shù)據(jù)的依賴, 使其適應(yīng)來自不同領(lǐng)域的弱光圖像。

(2)SAMGAN使用雙層亮度增強保證機制, 能夠平衡局部和整體亮度; 使用自我調(diào)節(jié)的思想, 既可以通過SFPLoss又可以通過自我正則映射來實現(xiàn)。由于沒有成對數(shù)據(jù)的設(shè)置, 沒有強大的外部監(jiān)督的作用, 因此自我規(guī)范的機制在模型SAMGAN中起到至關(guān)重要的作用。

(3)通過全面的實驗, 將SAMGAN與幾種具有代表性的方法進行比較。視覺質(zhì)量、 無參考圖像質(zhì)量評估對比的結(jié)果證明了SAMGAN的優(yōu)越性。 此外, 與現(xiàn)有的成對訓(xùn)練的方法相比, SAMGAN具有簡單和靈活的特性, 可用于增強來自不同域的真實世界的弱光圖像。

1 SAMGAN

如圖1所示, 本文的方法使用帶自我正則映射的U-Net[13]作為RGB生成器, 利用雙判別器——RGB判別器和灰度判別器矯正圖像的亮度信息。此外, 使用自我保留損失來保留和維護原始圖像的紋理和結(jié)構(gòu), 以及灰度一致性函數(shù)保證增強圖像的局部和整體亮度的協(xié)調(diào)性。

圖1 SMGAN的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of SMGAN

1.1 帶自我映射的U-Net生成器

U-Net[13]是比較早的使用全卷積網(wǎng)絡(luò)進行語義分割的算法之一, 在語義分割、 圖像恢復(fù)和增強方面具有很大的影響力。U-Net從不同深度提取不同的特征圖, 從而保留了豐富的紋理信息, 并使用多尺度上下文信息合成了高質(zhì)量的圖像。

本文設(shè)計了一種易于使用的自我正則映射機制(自我正則映射是一種自我調(diào)節(jié)的形式, 是一種可以持續(xù)改善視覺質(zhì)量的方法)的生成器, 它能夠在空間變化的光照條件下, 增強圖像暗區(qū)域的同時抑制亮區(qū)域的過度曝光。首先提取輸入RGB圖像的灰度通道I, 將其標準化為[0, 1]; 然后使用1-I (逐元素差)作為自我正則映射; 最后調(diào)整自我正則映射的大小以適合每個特征圖, 并相乘。

U-Net生成器包含8個卷積塊, 每個卷積塊都是由2個3×3的卷積層、 LeakyReLu激活層和批歸一化層3部分組成。在升采樣階段, 將標準反卷積層替換為一個雙線性升采樣層加一個卷積層, 以減輕矩形偽像的影響。為了增加生成樣本的真實度和質(zhì)量, SAMGAN參考了LSGAN[14]的對抗損失函數(shù)。因此RGB生成器GX和RGB判別器DX的損失函數(shù)分別如下:

G(G,D,X,Y)=x～Pdata(x)[(D(G(x)))2];

(1)

D(G,D,X,Y)=y～Pdata(y)[(D(y)-1)2]+

x～Pdata(x)[(D(G(x)))2]。

(2)

1.2 灰度生成器和灰度判別器

使用對抗損失來最小化弱光圖像和正常亮度圖像之間的空間距離, 也就是實際亮度的分布和正態(tài)亮度分布之間的距離。 但是, 僅僅用一個RGB判別器還不能處理空間亮度的變化關(guān)系。如果一張弱光圖像不僅有暗區(qū)域, 還有曝光度強的亮區(qū)域, 那么一個RGB判別器也不能很好地處理這種情況。

在同一張弱光圖像中, 為了增強暗區(qū)域的同時避免亮區(qū)域的過度曝光, 本文提出了一個新的雙亮度保障機制。在使用RGB生成器、 RGB判別器的同時, 用灰度生成器、 灰度判別器來平衡局部和全局的亮度, 并使用PatchGAN[15]的判別器網(wǎng)絡(luò)結(jié)構(gòu)作為DX和Dgray主要的網(wǎng)絡(luò)結(jié)構(gòu)。在DX和Dgray中, 刪除所有的批歸一化層。為了避免增強的灰度圖出現(xiàn)眩暈、 矩陣噪聲等現(xiàn)象,Dgray比DX少了特征數(shù)為512的卷積層。因此, 灰度生成器Ggray和灰度判別器Dgray的損失函數(shù)分別如下

Ggray(Ggray,Dgray,Xgray,Ygray)

=xgray～Pdata(xgray)[(Dgray(Ggray(xgray)))2];

(3)

Dgray(Ggray,Dgray,Xgray,Ygray)

=ygray～Pdata(ygray)[(Dgray(ygray)-1)2]+

xgray～Pdata(xgray)[(Dgray(G(xgray)))2]。

(4)

1.3 灰度一致性損失函數(shù)

分別使用RGB生成器和灰度生成器增強RGB圖像和灰度圖, 因此很容易使得增強的灰度圖不一樣。如果RGB生成器增強的灰度圖質(zhì)量很好, 而灰度生成器增強的灰度圖質(zhì)量很差, 模型就失去了意義, 無法達到預(yù)期的效果。因此, 為了防止出現(xiàn)這種情況, 需要灰度一致性損失函數(shù)保證增強的灰度圖一致性。將兩個增強后的灰度圖相減來計算它們的差距, 差距越小, 這兩個灰度圖就越相似, 這就是灰度一致性損失。

idt(GX,Ggray)=x～Pdata(x)[‖GX(x)gray-Ggray(xgray)‖1]。

(5)

1.4 特征自我保留損失——SFPLoss

在EnlightenGAN[12]中, 特征自我保留損失能夠在增強后的圖像中保留原始弱光圖像的紋理和結(jié)構(gòu)。因此, 為了限制GX(X)與X、Ggray(Xgray)與Xgray之間的VGG特征空間距離, 從EnlightenGAN[12]中引入SFPLoss

(6)

其中:I表示輸入的弱光圖像;G(I)表示生成器生成的圖像;φi, j表示從預(yù)訓(xùn)練好的模型VGG-16中提取的特征映射;i表示第i層最大池化層;j表示在第i層最大池化層后的第j層卷積層;Wi, j和Hi, j表示所提取的特征的維度大小。i和j分別默認取5和1。

因此, SAMGAN的整體損失函數(shù)為

Loss=GX(GX,DX,X,Y)+Ggray(Ggray,Dgray,Xgray,Ygray)+

λSFPSFP(GX,X)+λSFPSFP(Ggray,Xgray)+

λidt(GX,Ggray),

(7)

其中,λ控制著灰度一致性損失對整體損失函數(shù)的影響程度, 而λSFP控制著SFPLoss對整體損失函數(shù)的影響程度。 根據(jù)經(jīng)驗值,λ取值5,λSFP取值1。

2 實 驗

2.1 數(shù)據(jù)集和實驗細節(jié)

因為SAMGAN使用的是未配對的低/正常亮度的圖像進行訓(xùn)練的獨特能力,所以使用Jiang等[12]所使用的測試集和訓(xùn)練集。 其中測試集包含LIME[16]、 NPE[17]、 MEF[18]、 DICM[19]、 VV(https://sites.google.com/site/vonikakis/datasets)等的測試集。

首先以2e-4的學(xué)習(xí)率訓(xùn)練SAMGAN 100個epoch, 隨著學(xué)習(xí)率線性遞減到0, 再訓(xùn)練100個epoch。使用Adam優(yōu)化器, 批大小為32。

2.2 消融實驗

為驗證設(shè)計模型SAMGAN的可行性, 設(shè)計了幾個消融實驗來驗證, 分別是只使用GX和DX的實驗(即NoGrayandIdt), 使用GX、DX和Ggray、Dgray但不使用idt的實驗(即NoIdt), 以及完整的SAMGAN實驗。 一共3個實驗,結(jié)果如圖2所示: 第1列為輸入圖像, 第2～4列分別是對應(yīng)NoGrayandIdt、 NoIdt和完整的SAMGAN實驗結(jié)果。

圖2 SAMGAN、NoGrayandIdt和NoIdt的消融實驗結(jié)果比較Fig.2 Comparison of visual effects of ablation experiments among SAMGAN，NoGrayandIdt and NoIdt

在第2列的NoGrayandIdt實驗結(jié)果中的第1行中, 柵欄上出現(xiàn)部分區(qū)域的亮度過度增強, 使得整幅圖像的亮度很不協(xié)調(diào); 在第2行中, NoGrayandIdt使得汽車旁邊的草地和樹木更加泛黃, 而原本的顏色是綠色的; 在第3行中, 原本綠色的桌面更加泛白, 原本黑色衣服也被加上了一層白色的噪聲; 在第4行中, 也同樣出現(xiàn)部分區(qū)域的亮度過度增強的情況。NoGrayandIdt出現(xiàn)的問題也同樣出現(xiàn)在NoIdt實驗中, 只是程度比較輕。相比之下, 完整的SAMGAN不僅能夠很好地避免前兩個實驗出現(xiàn)的問題, 而且還能很好地增強暗區(qū)域, 圖像的亮度更加均勻。這證明了本文設(shè)計的模型SAMGAN是可行的, 能夠取得令人愉悅的視覺效果, 產(chǎn)生的圖像質(zhì)量也比較高。

2.3 對比實驗

將SAMGAN的性能與當前具有代表性的方法進行一系列比較實驗, 包括視覺質(zhì)量比較和無參考圖像質(zhì)量評估(IQA)。

2.3.1 圖像的視覺質(zhì)量比較 使用SAMGAN與具有代表性的方法在視覺質(zhì)量上進行對比, 分別是EnlightenGAN[12]、RetinexNet[10]、LIME、SRIE和NPE。結(jié)果如圖3所示, 第1～7列分別是原始的弱光圖像、 RetinexNet、 LIME、 NPE、 SRIE、 EnlightenGAN和SAMGAN的增強結(jié)果。為了方便觀察, 在方框中放大了一些能夠容易區(qū)分的細節(jié)。

圖3 SAMGAN與其他算法的效果比較Fig.3 Comparison of SAMGAN with other state-of-the-art methods

在第1行中, RetinexNet出現(xiàn)嚴重影響圖像真實度的噪聲, 而LIME出現(xiàn)多個過度增強的區(qū)域, NPE和SRIE雖然避免了過度增強, 但是亮度比較暗, EnlightenGAN也出現(xiàn)與LIME一樣的問題, 而SAMGAN避免了前四種方法出現(xiàn)的問題。在第2行中, RetinexNet、 LIME、 NPE和SRIE出現(xiàn)了顏色失真的情況, 并且NPE和SRIE的比較暗, 而EnlightenGAN和SAMGAN能夠在增強暗區(qū)域的同時也能夠保留原始的顏色。在第3行中, LIME和EnlightenGAN過度增強整張圖像, 其他幾種方法則很好地避免了這種情況。在第4行中, 除了SAMGAN, 其他幾種方法都使得原始圖像的紫色過度加深, 并且NPE和SRIE的結(jié)果比較暗, 在RetinexNet中出現(xiàn)較多的噪聲。相比之下, SAMGAN不僅增強了暗區(qū)域, 還保留了細節(jié)的顏色和紋理, 避免了整體和局部過度曝光, 具有更令人滿意的視覺效果。

2.3.2 無參考的圖像質(zhì)量對比 盲/無參考圖像空間質(zhì)量評估器(BRISQUE)[20], 是一種被廣泛使用的無參考的空間域圖像質(zhì)量評估算法, 用于評估沒有真實圖像對照的增強圖像恢復(fù)的情況, 以提供定量比較。表1列出了5個公開圖像集(MEF、 NPE、 LIME、 VV和DICM)以及總測試集的BRISQUE分數(shù), 較低的BRISQUE值表示視覺質(zhì)量更優(yōu), 字體加黑的表示結(jié)果最好。

表1 BRISQUE在總和子數(shù)據(jù)集(MEF、 NPE、 LIME、 VV和DICM)上的得分Table 1 BRISQUE scores on the whole testing set and each subset(MEF,NPE,LIME,VV,DICM) respectively

SAMGAN不管是在總的測試集還是子測試集中得到的分數(shù)基本上都是最低的。在NPE的數(shù)據(jù)集上, NPE融合多曝光圖像序列能夠產(chǎn)生很好的效果, 獲取最低的BRISQUE分數(shù), 但是視覺效果比SAMGAN的差, 也會丟失部分細節(jié)。SAMGAN不僅在彩色圖中保留原始圖像的特征和內(nèi)容, 同樣在灰度圖中保留, 而且還保證了生成的灰度圖的一致性。這進一步證明了SAMGAN增強弱光圖像的質(zhì)量比當前很多技術(shù)更好。

2.4 現(xiàn)實世界的圖像

域自適應(yīng)是實現(xiàn)現(xiàn)實世界可泛化圖像增強的一個必不可少的因素。SAMGAN可以在沒有成對的弱光/正常亮度的弱光圖像訓(xùn)練數(shù)據(jù)集下訓(xùn)練模型, 因此SAMGAN可以直接增強來自不同領(lǐng)域真實的弱光圖像。在這些領(lǐng)域中可以沒有成對的訓(xùn)練圖像, 甚至可以沒有相同領(lǐng)域的正常亮度的圖像。為了驗證SFPGAN增強現(xiàn)實世界的弱光圖像的有效性, 本文使用來自真實駕駛數(shù)據(jù)集Berkeley Deep Driving (BDD100K)[21]和DPED數(shù)據(jù)集[22](DSLR Photo Enhancement Dataset, DPED)中的弱光圖像進行實驗, 以顯示SAMGAN在實際中的這一獨特優(yōu)勢。

在數(shù)據(jù)集BDD100K中, 隨機選擇了900多張弱光圖像, 每一張弱光圖像的像素強度平均值都小于45, 再隨機選擇50多張弱光圖像作為測試集。這些弱光圖像具有嚴重的偽影和高ISO噪聲, 并且訓(xùn)練集和測試集沒有交集。然后使用兩個不一樣的訓(xùn)練集訓(xùn)練得到的模型作對比, 包含: 1)使用2.1節(jié)中的訓(xùn)練集并且是沒有包含BDD100K中任何一張圖像的訓(xùn)練集訓(xùn)練得到的模型SAMGAN; 2)SAMGAN_N: SAMGAN的一個域適應(yīng)版本, 它使用BDD100K數(shù)據(jù)集的弱光圖像進行訓(xùn)練, 而正常亮度的圖像仍然來自2.1節(jié)中非成對數(shù)據(jù)集中的高質(zhì)量的圖像。在此使用另外的兩個方法作對比, 自適應(yīng)直方圖均衡化(AHE)和LIME。結(jié)果如圖4所示: 第1列為弱光圖像, 第2～5列分別為LIME、 AHE、 SAMGAN和SAMGAN_N的增強的結(jié)果, 其中SAMGAN_N是SAMGAN的域適應(yīng)版本。

圖4 在BDD100K數(shù)據(jù)集上直觀比較結(jié)果Fig.4 Visual comparison of the result on the BDD100K dataset

LIME的結(jié)果受到嚴重的噪聲放大和過度偽影的影響, 而AHE不能夠充分增強弱光圖像的亮度。相比于LIME和AHE的結(jié)果, SAMGAN出現(xiàn)的噪聲更少、 更清晰。雖然SAMGAN_N的結(jié)果更清晰, 但是出現(xiàn)很明顯的噪聲, 影響圖像的實用性。使用2.3.2節(jié)的無參考圖像質(zhì)量評價方法依次對第1～5行增強的結(jié)果進行評價, 所得到的分數(shù)依次是45.951 9、 42.955 9、 45.906 8、 40.907 3、 41.613 0, 進一步證明SAMGAN能夠適用于車載夜間圖像。

為了驗證SAMGAN能夠?qū)①|(zhì)量差的手機拍攝照片轉(zhuǎn)換為高質(zhì)量的圖像, 在DPED中分為測試集和訓(xùn)練集, 選擇測試集中使用iPhone 3GS拍攝的照片作為測試集, 共50張; 隨機選擇訓(xùn)練集中使用iPhone 3GS拍攝的照片作為弱光圖像的訓(xùn)練集, 共960張。實驗過程類似前面的實驗過程。此外, 還與Ignatov等[22]提出的DSLR增強方法作了比較, 結(jié)果如圖5所示。

圖5 在DPED數(shù)據(jù)集上直觀比較結(jié)果Fig.5 Visual comparison of the result on the DPED dataset

LIME出現(xiàn)整體過度增強的情況; 而SAMGAN_N出現(xiàn)顏色失真的問題, 亮度也不夠; DSLR在增強亮度的時候, 能夠避免顏色失真; 對于SAMGAN而言, 不僅能夠避免顏色失真, 而且能夠使得亮度更溫和一點, 但不會過度增強。使用無參考圖像質(zhì)量評價方法依次對第1～5行增強的結(jié)果進行評價, 所得到的分數(shù)依次是16.908 6、 18.119 2、 15.194 7、 14.304 7、 14.896 2, 證明SAMGAN能夠增強實際的弱光圖像。

由于在BDD100K和DPED數(shù)據(jù)集中選擇的是無成對的弱光/正常亮度的圖像訓(xùn)練集, 因此SAMGAN能夠輕松地適應(yīng)SAMGAN_N, 而無需在新域中進行任何受監(jiān)督的數(shù)據(jù)重新訓(xùn)練模型, 這極大地促進了其在現(xiàn)實世界中的推廣。

3 結(jié) 論

本文使用新穎且靈活的無監(jiān)督框架解決了在無成對低亮度和正常亮度圖像集的弱光增強問題, 提出的SAMGAN在各種弱光數(shù)據(jù)集上的實驗結(jié)果表明, 在主觀和客觀指標下, 它均優(yōu)于多種具有代表性的方法。此外, SMAGAN可以適應(yīng)真實、 嘈雜的弱光圖像, 增強的圖像在視覺上令人非常滿意。