陳清江， 顧 媛， 李金陽

(西安建筑科技大學 理學院，陜西 西安 710055)

1 引 言

人類感知世界的大部分信息是通過視覺系統(tǒng)獲取的，圖像是視覺系統(tǒng)最直接的體現。然而，在夜晚或光照不足的場景中拍攝的圖像存在視覺效果不佳、對比度低等問題，難以進行深層分析，如目標識別、目標檢測等。因此，設計有效提升圖像視覺效果的微光圖像增強算法，是一項重要任務。

目前，國內外主流的微光圖像增強算法包含傳統(tǒng)算法與深度學習算法：(1)基于傳統(tǒng)方法，Hummel等[1]提出直方圖均衡化(HE)方法；Pizer等[2]提出局部直方圖均衡化(AHE)方法。此類方法雖然簡便快捷，但存在紋理模糊問題。隨后，基于Land等[3]提出的Retinex理論，Jobson等[4]提出單尺度Retinex(SSR)算法；林劍萍等[5]結合NSCT變換和改進的Retinex及分數階微分進行多尺度處理，獲取增強圖像。此類算法存在顏色失真，邊緣模糊問題。Guo等[6]通過在RGB通道中找每個像素的最大值來估計照明圖，設計LIME網絡，但該算法增強后的圖像存在對比度低及偽影問題。(2)隨著深度學習熱潮，眾多基于卷積神經網絡的微光圖像增強算法被提出。Singh等[7]提出基于梯度分解的神經網絡圖像融合算法，但該方法增強后圖像存在噪聲及明度分布不均勻現象；Tao等[8]設計了LLCNN網絡，使用一個模塊提取多尺度特征圖，用以增強圖像，但此方法易出現塊效應和噪聲；Li等[9]設計了LightenNet網絡，學習微光圖像和相應照明圖之間的映射，用以增強圖像，但增強后圖像易出現曝光過度問題；Jiang等[10]提出非配對訓練的EnlightenGAN方法，利用對稱編碼的生成器網絡與全局-局部判別器網絡增強圖像，但GAN難以訓練，在訓練時易產生梯度消失或梯度爆炸等問題。

針對上述問題，本文提出一種新的微光圖像增強算法。該方法運用通道轉換與分離的思想對單通道進行增強，既降低了網絡參數大小提升了訓練速度，也有效避免了使用RGB圖像進行增強后的圖像存在色彩失真及明度分布不均勻的問題。本文的主要貢獻如下：

(1)考慮到HSV顏色空間各通道相對獨立的特性，僅處理V分量。該算法與處理RGB圖像相比，不僅增強后圖像亮度提升較好、色彩自然，且模型參數較小、運行時間較快。

(2)設計了一個層級殘差模塊，該模塊提出交叉學習機制，使用不同尺度的卷積核對不同尺度的特征交叉組合相連，實現不同通道信息交互，再將這些特征信息通過局部與全局殘差進行自適應特征融合，達到對V分量亮度增強的目的。

(3)在編解碼結構中引入特征金字塔注意力模塊，使網絡關注不同尺度信息，保留細節(jié)，獲取深層特征信息。設計了并行雙分支網絡結構，在提高圖像亮度及對比度的同時有效加強圖像特征信息，使增強后的微光圖像更好地還原圖像原有特征。

2 基本原理

HSV是由A.R.Smith提出的一種顏色空間模型，也稱六角椎體模型，包含色調(H)，飽和度(S)和亮度(V)3個參數。由于HSV顏色空間比RGB顏色空間更接近于人們對色彩的感知且具有直觀性的特點，因此本文利用HSV顏色空間對微光圖像的亮度分量V增強。由RGB顏色空間向HSV顏色空間的轉換可表示為:

V=max(R,G,B)，

(1)

(2)

(3)

(4)

其中，0≤V≤1,0≤S≤1,0≤H≤360。

3 雙分支金字塔網絡的微光圖像增強算法

所提算法對HSV顏色空間中的V分量采用雙分支金字塔網絡的微光圖像增強算法，實現對V分量的增強。網絡結構包含兩個子網絡：淺層網絡使用4種不同尺度的卷積核提取淺層特征；深層網絡包含2條并行金字塔注意力分支，在增強V分量亮度的同時提取深層特征。整個網絡包含4個子模塊：淺層特征提取模塊，層級殘差模塊，特征金字塔注意力模塊和特征重建模塊，網絡結構如圖1所示。

圖1 雙分支金字塔網絡網絡結構Fig.1 Two-branch pyramid model network structure

首先將微光圖像轉換到HSV空間，對V分量設計雙分支金字塔網絡，輸出增強后的V分量；其次將增強后的V分量與H和S分量合并，得到HSV顏色空間中的圖像；最后轉換回RGB顏色空間，整個算法流程圖如圖2所示。

圖2 算法流程圖Fig.2 Flow chart of our algorithm

3.1 淺層特征提取模塊

首先對HSV顏色空間中的亮度分量V分別使用大小1×1，3×3，5×5，7×7，個數均為16的卷積核提取具有不同尺度感受野的特征信息。4次卷積后進行concat操作，獲取更多的全局信息，給深層網絡提供不同尺度的特征信息，卷積計算公式如式(5)所示。

Fi(Y)=Wi*Fi-1(Y)，

(5)

其中：Y為輸入圖像，Fi(Y)為第i層的特征圖，Fi-1(Y)為第i-1層的特征圖，Wi為第i層的卷積核，*為卷積操作。每一層卷積均采用ReLU激活函數，其公式表示如下：

(6)

其中:xi為第i層的特征輸入。將提取到的多尺度淺層特征信息按深度方向進行疊加，用以提升信息維度。

3.2 層級殘差模塊

圖3 INT模型結構Fig.3 INT model structure

本文結合由He等人[11]在ImageNet競賽中提出的殘差網絡，提出層級殘差模塊。該模塊首先采用1個INT模塊，其次采用3個INT模塊，每個INT模塊進行局部殘差后進行層間堆疊形成層級殘差模塊，最后對層級殘差模塊提取的特征信息采用1個INT模塊并進行全局殘差，形成金字塔注意力分支，實現對V分量的亮度增強。其中INT模塊采用交叉學習機制，利用不同大小卷積核提取到的信息交叉組合相連，將不同通道的信息交互，加速模型收斂，INT模塊結構如圖3所示。

3.3 特征金字塔注意力模塊

利用U-Net網絡結構模型，將特征金字塔注意力(FPA)[12]模塊嵌入編碼器與解碼器之間，最大程度保留細節(jié)特征。FPA模塊結構如圖4所示，分別采用3×3，5×5，7×7大小的卷積核，形成金字塔結構，該結構精確整合了不同尺度的特征信息。通過1×1大小的卷積核，將原始特征與金字塔注意的特征像素相乘，有效關注全局上下文特征，提高了FPA模塊性能。

圖4 FPA模塊結構Fig.4 FPA model structure

3.4 特征重建模塊

對上述金字塔注意力雙分支提取的深層信息進行特征融合，采用大小為1×1×1的卷積核，輸出單通道重建特征圖，其中1×1卷積核用來減少網絡參數，加快收斂。

3.5 損失函數

為了從微光圖像中恢復細節(jié)完整、色彩豐富的高質量圖像，本文提出由平滑的L1損失(SmoothL1Loss)和感知損失(Perceptual Loss)組合的損失函數，即：

L=λ1LS+λ2LP，

(7)

其中:L為總損失;LS為平滑的L1損失；LP為感知損失;λ1、λ2代表權重，其中λ1=0.85,λ2=0.15。

平滑的L1損失：針對平均絕對誤差(L1Loss)在訓練后期難以收斂到更高精度，均方誤差(L2Loss)在訓練后期不穩(wěn)定，易產生梯度消失或爆炸的問題，本文采用平滑的L1損失，避免兩者的缺點，以確保最佳的網絡訓練。計算公式如式(8)所示。

(8)

其中xi,j為增強圖像與真實圖像第i行第j列的像素值之差。

感知損失：為了獲得真實圖像并保留細節(jié)，引入訓練過的VGG19[13]產生的特征圖計算感知損失，測量重建圖像的特征和相應真實圖像之間的差異，計算公式如式(9)所示。

(9)

其中:φi,j表示在ImageNet數據集上預處理的VGG19[13]網絡φ的第i塊第j個卷積輸出的特征圖，具體是指第3塊第3個卷積的特征圖;Ih,Ig分別為增強圖像與真實圖像，Wi,j、Hi,j、Ci,j分別表示第i塊第j個卷積特征圖的寬、長及其通道數。

4 實驗結果與分析

為評估模型性能，將本文算法與其他算法分別從主觀與客觀方面進行對比，7種對比算法包括HE[1]、AHE[2]、SSR[4]、LIME[6]、LLCNN[8]、BIMEF[14]和Li[9]算法。

4.1 實驗條件及參數設置及其算法步驟

本文實驗使用的是Tensorflow2.0深度學習框架，在Windows10，Inter i7-10750H，2.6 GHz，16G RAM，Nvidia GeForce 1660Ti GPU平臺上完成。采用Adam優(yōu)化器對模型進行優(yōu)化，動量參數為β1=0.9，β2=0.999，學習率lr=0.000 1，epoch設置為3 000次。

4.2 合成微光圖像實驗

首先對人工合成的微光圖像進行實驗，從公開數據集Berkeley Segmentation Dataset[15]中選取110幅正常光照圖像。首先對110幅圖像分別進行90°與180°翻轉，將數據集擴充至330幅圖像；其次利用Retinex理論[3]將每幅正常光照圖像的光照分量在(0,1)之間隨機取值；最終合成330幅微光圖像。其中264幅圖像作為訓練集，66幅圖像作為測試集，從測試集隨機選取4幅圖像進行主觀評價，如圖5所示。

圖5 不同算法對合成微光圖像增強效果對比Fig.5 Contrast of different methods for synthesizing low-light images enhancement

從圖5可以看出，所提算法的主觀視覺效果優(yōu)于其他算法。其中，經AHE[2]算法處理后的圖像亮度幾乎沒有增強；經BIMEF[14]算法處理后的圖像比AHE亮度雖有所提升，但依然偏低；經HE[1]算法增強后的圖像，其顏色嚴重偏離真實圖像；經LIME[6]和LLCNN[8]算法增強后的Bird圖像中出現不規(guī)則藍點，Scenery和Building圖像的天空中出現不存在的紋理；經SSR[4]和Li[9]算法增強后的圖像出現過曝光現象，且Li增強后的Building圖像存在偽影；經本文算法增強后的圖像真實自然，最接近原始圖像。

為進一步說明本文算法的有效性，利用峰值信噪比(PSNR)[16]與結構相似度(SSIM)[17]兩項客觀評價指標，對上述4幅圖像進行計算。本文算法與其他7種對比算法的客觀評價指標計算結果如表1所示。

從表1可以看出，本文算法的PSNR值與SSIM值均高于其他對比算法，說明該雙分支金字字塔網絡的微光圖像增強算法具有明顯優(yōu)勢。

表1 合成微光圖像上不同算法的PSNR與SSIMTab.1 PSNR and SSIM of different algorithms for synthesizing low-light images

4.3 真實微光圖像實驗

在真實微光圖像上進行實驗。LOL dataset[18]公開數據集中包含500對微光圖像和正常光照圖像。選取400幅圖像作為訓練集，100幅圖像作為測試集，從測試集中隨機選取4幅圖像進行主觀評價，評價結果如圖6所示。

從圖6可以看出，經AHE[2]、BIMEF[14]與

圖6 不同算法對真實微光圖像增強效果對比Fig.6 Contrast of different methods for real low-light images enhancement

Li[9]算法處理后的圖像亮度較暗，尤其是經AHE算法處理后的圖像亮度幾乎沒有得到增強；由于傳統(tǒng)的HE[1]算法泛化性能較差，對不同數據集的表現不同，經HE算法處理后的圖像較圖5中HE算法處理后的圖像沒有出現嚴重偏色現象，但存在不規(guī)則噪點；經SSR[4]算法處理后的圖像存在曝光過度，顏色失真現象；經LIME[6]與LLCNN[8]算法處理后的圖像存在邊緣模糊，明度不均勻現象；經文本算法處理后的圖像顏色和紋理保留相對完整，最接近原始像。

進一步對本文算法進行客觀評價，對上述4幅圖像計算PSNR與SSIM值，結果如表2所示。

表2 真實微光圖像上不同算法的PSNR與SSIMTab.2 PSNR and SSIM of different algorithms for real low-light images

從表2可以看出，本文算法的PSNR值與SSIM值明顯高于其他對比算法，說明了該算法的有效性。

4.4 無參考圖的微光圖像實驗

為進一步說明本文算法有效性，在DICM數據庫[19]中隨機選取2幅圖像進行主觀評價，如圖7所示。

從圖7可以看出，經HE[1]算法增強后的圖像色彩失真；經AHE[2]與BIMEF[14]算法增強后的圖像亮度不足；經SSR[4]算法處理后的圖像出現過曝光；經LIME[6]與Li[9]算法增強后的圖像出現明度分布不均現象；經LLCNN[8]與本文算法增強后的圖像色彩恢復較好，明度分布均勻。

圖7 不同算法對無參考微光圖像增強效果對比Fig.7 Contrast of different methods for no reference low-light images enhancement

由于難以采集同一時刻的真實圖像與微光圖像，為此使用信息熵(IE)與梯度結構相似度(NRSS)[20]兩項無參考圖像質量評價指標，對上述2幅圖像計算其值，結果如圖8所示。其中IE值越大表明圖像信息越豐富，NRSS值越大表明圖像失真越小。

圖8 無參考微光圖像的信息熵與梯度結構相似度Fig.8 IE and NRSS of low-light images without reference

從圖8可以看出，對無參考微光圖像增強的算法中，本文算法的IE值最大，說明所含信息最豐富。對于Image 1，本文算法的NRSS值最大，對于Image 2，LLCNN算法的NRSS值最大，但本文算法僅次于最優(yōu)值，說明圖像的色彩及細節(jié)恢復程度較好。

4.5 消融實驗

通過實驗證明所提算法的有效性，展示訓練細節(jié)，在LOL dataset[18]的測試集中隨機選取1幅圖像，執(zhí)行消融實驗，將僅含第一分支(Model 1)、僅含第二分支(Model 2)、無層級殘差(Model 3)以及無特征金字塔注意力(FPA)模塊[12](Model 4)與本文模型(Model 5)進行對比，不同模型的主觀視覺效果如圖9所示，其客觀評價指標如表3所示。

圖9 不同模型的主觀視覺對比Fig.9 Comparison of subjective visual results of different models

從圖9可以看出，經Model 1增強后的圖像出現邊緣信息丟失及偽影現象；經Model 2與Model 4增強后的圖像中植物綠葉顏色失真；經Model 3增強后的圖像背景細節(jié)不足；經Model 5增強后的圖像色彩與細節(jié)方面最接近真實圖像。

表3 不同模型的PSNR與SSIMTab.3 PSNR and SSIM of different models

從表3可以看出，Model 1和Model 3的PSNR值與SSIM值與Model 5相比較低，說明含FPA的金字塔注意力分支較好地防止了特征丟失，獲取了深層信息；Model 2和Model 4的PSNR值與SSIM值與Model 5相比略低，說明含層級殘差模塊的金字塔注意力分支較好地增強了V分量的亮度；Model 5的PSNR值與SSIM值均為最高，說明所提網絡模型無論是在特征提取還是亮度增強方面都是最優(yōu)的。

4.6 模型時間復雜度分析

除了對模型的主客觀分析外，模型時間復雜度也是一項評測指標，運行時間越短，即模型復雜度越小。在測試集中隨機選取2幅圖像計算本文算法與其他對比算法的運行時間，每種方法分別對每幅圖像運行4次，取其均值作為最終結果，如表4所示。

表4 不同算法的運行時間Tab.4 Running time of different algorithms (s)

從表4可以看出，由于Li算法模型結構較簡單，運行時間最短；而本文模型參數較大，因此運行時間較長，這將是下一步要優(yōu)化的問題。

5 結 論

本文提出的雙分支金字塔網絡的微光圖像增強算法是將微光圖像在HSV顏色空間上的V分量增強。并行雙分支網絡結構的設計改進了傳統(tǒng)的殘差結構，提出層級殘差模塊，緩解了梯度消失，實現了V分量的亮度增強。同時，優(yōu)化了網絡結構，在編碼器與解碼器之間引入特征金字塔注意力模塊，獲取深層特征，整合上下文信息。實驗結果表明，所提算法在真實圖像上的峰值信噪比及結構相似度的均值分別達到29.451 dB和0.930 1，均優(yōu)于其他對比算法。隨后將對網絡結構進一步優(yōu)化，降低了模型的空間復雜度與時間復雜度，獲得更好的增強效果。