劉 文，楊梅芳，聶江天，章 陽，楊和林，熊澤輝

（1.武漢理工大學 航運學院，武漢 430063；2.武漢理工大學 內河航運技術湖北省重點實驗室，武漢 430063；3.武漢理工大學 計算機科學與技術學院，武漢 430063；4.南洋理工大學 計算機科學與工程學院，新加坡 639798；5.新加坡科技與設計大學 信息系統(tǒng)技術與設計系，新加坡 487372）

0 概述

閉路電視監(jiān)控（CCTV）作為船舶交通管理（VTS）系統(tǒng)的重要組成部分，在海事監(jiān)管中發(fā)揮著重要作用，但是在夜晚等低照度環(huán)境下，CCTV 系統(tǒng)捕獲的海上圖像存在亮度和對比度低以及質量差的問題，這不僅會干擾監(jiān)管部門對視頻內容的分析解讀，也會影響后續(xù)船舶目標檢測［1-2］等視覺任務的執(zhí)行效果。因此，對CCTV 系統(tǒng)在低照度環(huán)境下拍攝的圖像進行增強具有重要的現(xiàn)實意義。

傳統(tǒng)的低照度圖像增強方法主要分為基于直方圖均衡化（HE）的方法與基于Retinex 理論的方法兩類。HE 方法［3］通過對灰度圖像進行拉伸，增加像素灰度值的動態(tài)范圍，以達到增強圖像整體對比度的效果。Retinex 理論是一種由LAND［4］提出的模擬人類視覺系統(tǒng)實現(xiàn)顏色恒常性的色彩理論，該理論認為一幅圖像可以表示為光照分量圖像和反射分量圖像的乘積，只需消除光照對圖像的影響即可改善低照度圖像的視覺效果。目前，基于Retinex 理論的方法主要有NPE［5］、SRIE［6］和LIME［7］等，這些方法的共同點在于它們首先通過人工設計以及參數調整準確估算圖像的光照分量，然后根據Retinex 理論直接或間接地得到增強圖像。

近年來，隨著高性能GPU 的發(fā)展，應用深度學習技術來解決傳統(tǒng)的低級視覺問題顯得更加方便可行。因此，為了避免復雜繁瑣的人工設計以及參數優(yōu)化問題，研究人員提出了一些基于深度學習的圖像增強方法。文獻［8］結合色彩模型變換和卷積神經網絡的優(yōu)勢，將圖像從RGB 顏色空間變換到HSI空間并進行增強處理，以解決圖像的色彩失真問題?；赗etinex 理論的思想，文獻［9-10］均設計端到端的卷積神經網絡增強模型。為了同時處理顏色、亮度和噪聲等多種因素，文獻［11］提出一種根據計算的光照和噪聲注意力圖同時進行去噪和增強的多分支融合網絡。生成對抗網絡（GAN）自2014 年由GOODFELLOW［12］提出以來，得到了不同領域研究人員的廣泛關注，且已被應用于低照度圖像增強領域。文獻［13］通過端到端的方式構建GAN，學習由手機拍攝的低質量圖像到高質量DSLR 圖像的特征映射。文獻［14］基于Retinex 思想和GAN，提出一種用于低照度圖像增強的混合監(jiān)督網絡結構。以上基于GAN 網絡模型的方法均需大量的成對圖像以進行訓練，當缺乏匹配對的訓練數據時，它們的穩(wěn)定性將會受到影響。為解決上述問題，文獻［15］構建一種高效、無監(jiān)督的EnlightenGAN 網絡，其可在大量不精確匹配的圖像中進行模型訓練并建立非匹配對關系。文獻［16］建立一種通過改進兩步GAN 進行圖像增強的非匹配對學習模型。盡管上述非監(jiān)督學習的方式可以適應當前低照度圖像增強領域數據集缺乏的場景，但是這種學習方式難以得到精確的圖像增強結果。

本文建立一種局部生成對抗網絡模型，以對水上低照度圖像進行增強。在生成器中引入注意力網絡估計低照度圖像的光照分布情況，結合殘差網絡、金字塔擴張卷積（PDC）［17］和特征融合模塊進行強特征提取，并根據輸入的光照分布圖實現(xiàn)不同光照區(qū)域的自適應增強。設計一種可判別圖像局部區(qū)域的局部判別器結構，以促使生成器生成更加真實的增強圖像。

1 本文方法

1.1 訓練流程

本文方法的目的在于提高水上低照度圖像的可見度，其核心思想是利用大量圖像訓練一對通過相互對抗學習以不斷優(yōu)化各自網絡參數的網絡模型，即生成器G 和判別器D。G 的優(yōu)化目標是生成與真實正常光照圖像外觀和結構更為接近的增強圖像，即最小化增強圖像與真實正常光照圖像之間的差異，混淆D 對圖像真?zhèn)蔚呐袛唷 的優(yōu)化目標是更準確地判斷增強圖像與真實正常光照圖像之間的真?zhèn)?。D 和G 互斥的優(yōu)化目標使得兩者之間產生了相互對抗學習，在對抗的過程中，G 的圖像增強能力和D 的真?zhèn)闻袆e能力不斷提高，使得增強圖像與真實正常光照圖像越來越相似，從而達到圖像增強的效果。

本文方法的訓練流程如圖1 所示，首先選取一組低照度圖像及其對應的正常光照圖像，然后將低照度圖像輸入到G 中經過一系列增強變換操作后得到增強圖像，最后根據損失函數計算增強圖像與真實正常光照圖像之間的損失值，并將損失值反向傳播反饋回G，更新優(yōu)化G 的網絡參數，同時將增強圖像與正常光照圖像輸入到D 中進行真?zhèn)闻袆e。D 通過提取圖像特征并根據圖像之間的特征差異判斷真?zhèn)?，然后將真?zhèn)谓Y果反饋給G，使得G 進一步改善增強效果，并在下一輪迭代中縮小增強圖像與正常光照圖像之間的差異。D在促使G 生成視覺效果更真實的增強圖像的同時，進一步優(yōu)化自身的判別能力。

圖1 本文方法訓練流程Fig.1 The training procedure of the method in this paper

1.2 網絡模型設計

本文所提局部生成對抗網絡模型結構包含生成器G 和判別器D。生成器G 主要由注意力網絡、殘差網絡、PDC 模塊和特征融合模塊4 個部分組成，如圖2 所示。

圖2 生成器結構Fig.2 Generator structure

生成器G 的4 個模塊具體如下：

1）注意力網絡。注意力網絡預測圖像中光照分布的位置掩碼，輸出的光照分布圖的像素點為0～1之間的概率值，原始低照度圖像中越暗的區(qū)域所對應的光照分布圖區(qū)域的像素值越接近1，否則越接近0，從而促使后續(xù)網絡結構對圖像中的不同光照區(qū)域進行不同程度的關注。與U-Net 模型［18］類似，本文的注意力網絡由下采樣的編碼器、上采樣的解碼器和跳躍連接組成。下采樣的編碼器中包含卷積層和最大池化操作，特征圖每經過一次池化操作，大小均變?yōu)檩斎胩卣鲌D的1/2，這不僅能夠保留原始圖像的結構信息，還能加快模型訓練和圖像處理的速度。上采樣的解碼器包含反卷積層，用于復原圖像尺寸。跳躍連接將編碼器和解碼器中相對應的卷積層和反卷積層的特征相連接，以緩解梯度消失問題，提高模型的特征提取能力。本文方法與文獻［11］方法類似，均設計具有相同結構的注意力網絡，通過該網絡估計光照分布圖以引導低照度圖像增強。不同的是，本文不僅將估計到的光照分布圖與輸入圖像進行簡單拼接，還將光照分布圖與最終的特征圖逐元素相乘，再與原始圖像逐元素相加以得到增強后的圖像，從而簡化學習目標并降低學習難度。

2）殘差網絡。與文獻［19］提出的殘差網絡相比，本文殘差網絡刪除了批處理歸一化并將ReLU 激活函數替換成Leaky ReLU 函數，使用僅包含2 個卷積層的殘差塊來減少模型參數并提取圖像的深層特征。本文殘差網絡中的殘差塊結構如圖3 所示。

圖3 殘差網絡中的殘差塊結構Fig.3 The structure of residual block in residual network

3）PDC 模塊。由于空洞卷積可在不增加計算量的情況下擴大局部感受野，并能夠利用更多的圖像信息，因此本文在殘差網絡后加入PDC 模塊以進行多尺度空間特征的提取與學習，減少結構信息丟失。PDC 模塊中有4 條并行路徑，每條路徑都包含一個空洞卷積和卷積核大小為1×1 的卷積，在4 條并行路徑中，空洞卷積的空洞率分別為1、2、4 和6。

4）特征融合模塊。將殘差網絡提取的特征與PDC 模塊各個路徑提取的特征進行拼接，然后采用4 個卷積層融合上述拼接的特征，最后輸出圖像增強結果。

在通常情況下，不同亮度區(qū)域的信息丟失程度不同，因此，判別器需要對圖像中的不同亮度區(qū)域進行不同程度的關注。本文判別器由卷積層和全連接層組成，從第5 個卷積層中提取特征并計算這些特征與注意力網絡產生的光照分布圖之間的損失，通過學習光照分布圖的方式來衡量第5 層卷積所提取的特征，并將該層特征與下一層卷積所提取的特征進行逐元素相乘，最后經過2 個卷積層和2 個神經元數量分別為256 和1 的全連接層，將提取的特征進行匯總并輸出判別結果。本文的判別器結構如圖4所示。

圖4 判別器結構Fig.4 Discriminator structure

本文生成器和判別器的參數設置分別如表1 和表2 所示，各個卷積層的填充方式均為“SAME”，為了提高模型的非線性，除生成器的最后一個卷積以Sigmoid 函數作為激活函數外，其余卷積層后都加入Leaky ReLU 作為激活函數，Leaky ReLU 的負值斜率設置為0.2。

表1 生成器參數設置Table 1 Generator parameters setting

表2 判別器參數設置Table 2 Discriminator parameters setting

1.3 損失函數設計

本文損失函數由生成損失函數LG和判別損失函數LD組成。由于生成器的目的在于生成與正常光照圖像相似的增強圖像，因此為了提高增強圖像的整體感知質量，本文為生成器設計如下的損失函數：

其中，Latt、Lcon、Lcol、Ladv分別表示注意力損失、內容損失、顏色損失、對抗損失，ωatt、ωcon、ωcol、ωadv分別表示對應的權重參數。各項損失具體如下：

1）注意力損失

為了更好地約束注意力網絡以對光照分布進行建模，本文使用如下的損失函數作為注意力損失：

其中，I表示低照度圖像，Ga（I）表示預測的光照分布圖，N表示樣本訓練數目，A表示期望的注意力圖，其通過式（3）計算得到：

2）內容損失

本文利用在ImageNet 數據集上預先訓練過的VGG-16 網絡產生的特征圖來計算內容損失，以測量增強圖像與對應的正常光照圖像之間的全局差異。令?表示VGG-16 生成的特征圖，G（I）為生成器輸出的增強圖像，則本文的內容損失定義為：

3）顏色損失

為了測量增強圖像和正常光照圖像之間的顏色差異，本文首先應用高斯模糊函數移除圖像的局部細節(jié)信息，然后計算圖像間的歐氏距離以定義如下的顏色損失［14］：

其中，g表示高斯模糊函數。

4）對抗損失

本文使用對抗損失督促生成器生成顏色、紋理和對比度等方面均較為自然的增強圖像，對抗損失定義如下：

在本文中，訓練判別器D 的目的在于根據光照分布圖判別增強圖像和正常光照圖像之間的不同光照區(qū)域，輸出輸入圖像來自正常光照圖像的概率，其取值范圍在0～1 之間。因此，本文判別損失函數LD定義為：

其中，γ為權重參數，Lmap表示判別器內卷積層提取的特征與光照分布圖之間的損失，計算如下：

其中，D(·)5表示判別器第5 層卷積所提取的特征。

2 實驗結果與分析

2.1 數據集

目前缺乏可用于網絡訓練的成對水上低照度圖像數據集，且在水上動態(tài)環(huán)境下拍攝同一場景下的低照度圖像及其對應的正常光照圖像極其困難，因此，本文實驗中將真實的圖像對和合成的圖像對組成模型訓練的數據集。其中，真實的圖像對來自文獻［10］中已公開的LOL 數據集，該數據集中的圖像拍攝于室內，通過調節(jié)相機的曝光參數值來改變曝光度，從而獲得不同場景和不同光照強度下的500 對低照度圖像及其對應的正常光照圖像。

為提高訓練數據集的樣本多樣性，本文在文獻［20］公開的SeaShips 數據集中挑選出200 幅正常光照圖像以合成低照度圖像。首先將正常光照圖像從RGB 顏色空間轉換到HSV 顏色空間，然后將V 通道圖像V乘以一個小于1 的常數得到合成的低照度V 通道圖像Vdark，Vdark=σV，其中，σ服從（0，0.5）的均勻分布，最后保持H 和S 兩通道不變，用Vdark圖像替換V圖像，并轉換成RGB 顏色空間，得到合成的低照度圖像，部分圖像如圖5 所示。此外，由于圖像的尺寸較大，因此本文在進行網絡訓練之前將訓練圖像隨機裁剪成128 像素×128 像素的圖像塊，并且隨機地對圖像塊進行上下和左右翻轉。

圖5 部分低照度圖像Fig.5 Partial low-light images

2.2 實驗條件及參數設置

實驗所用的計算機操作系統(tǒng)為Ubuntu18.04，GPU 配置為Nvidia GTX 2080ti，使用tensorflow 深度學習框架實現(xiàn)網絡模型并進行訓練。在網絡訓練過程中，采用0.000 2 的固定學習率，迭代次數為104。本實驗的生成器和判別器分別使用Adam 優(yōu)化器和Momentum 優(yōu)化器進行網絡參數優(yōu)化，采用小批量訓練方式，batch size 的大小為8，權重參數ωatt、ωcon、ωcol、ωadv、γ的取值分別為1、2、11、0.01、0.05。

2.3 評價指標

為了客觀評價本文方法的增強效果和網絡性能，使用如下的無參考和全參考圖像質量評價指標：

1）無參考圖像質量評價指標。自然圖像質量評估指標（NIQE）［21］是一種完全無參考的圖像質量分析器，其無需使用參考圖像，僅根據圖像的自然統(tǒng)計特征并利用目標圖像的可測量偏差即可得到圖像質量評價值。NIQE 指標計算公式如下：

其中，ν1、ν2和∑1、∑2分別表示自然圖像和增強圖像高斯分布模型的均值向量和協(xié)方差矩陣。在圖像增強中，NIQE 的數值越低表示圖像的感知質量越高。

2）全參考圖像質量評價指標。峰值信噪比（PSNR）和結構相似度（SSIM）是2 種使用最廣泛的全參考圖像質量評價指標。PSNR 是衡量圖像失真或噪聲水平的客觀標準，其值越高表示圖像中包含的噪聲越少，圖像的失真越小，即增強效果和圖像質量越高。PSNR 的計算公式如下：

SSIM 用來衡量2 幅圖像之間的亮度、對比度和結構相似性，其取值范圍為0～1，值越接近1 說明2 幅圖像越相似。SSIM 的計算公式如下：

其中，μI和分別為增強圖像I 和正常光照圖像的灰度均值，σI和為方差，為I和的協(xié)方差，c1和c2為值很小的常數，用來避免分母為0 的情況。

2.4 結果分析

如圖6 所示，在訓練的過程中，本文網絡模型的生成損失值和判別損失值隨著迭代次數的增加而逐漸下降并趨于穩(wěn)定，這表明本文方法具有較好的穩(wěn)定性。

圖6 損失收斂曲線Fig.6 Loss convergence curve

圖7 所示為本文注意力網絡估計的部分光照分布圖，從圖7 可以看出，本文的注意力網絡能很好地區(qū)分低照度圖像中各個區(qū)域的光照分布情況。

圖7 注意力網絡估計的注意力圖Fig.7 Attentive images estimated by attentive network

為了驗證本文方法的有效性，在合成的低照度圖像和真實的低照度圖像上分別進行實驗，將本文方法與HE 方法［3］、SRIE 方法［6］、LIME 方法［7］、RetinexNet 方法［10］、EFTL 方法［14］和LightenNet 方法［9］等進行對比與分析。

圖8～圖10 所示分別為本文方法與其他對比方法在合成的海面、內河和港口低照度圖像上的增強效果。從主觀視覺效果上分析可知，SRIE 方法和EFTL 方法雖然可在一定程度上提升圖像的亮度，但亮度提升不夠充分，使得處理后圖像的整體亮度依然較低；RetinexNet 方法的增強效果不自然，顏色與正常光照圖像相差較大；LightenNet 方法處理的圖像容易產生局部過曝光現(xiàn)象，并且存在色斑，容易導致圖像細節(jié)丟失問題。相比之下，本文方法和LIME 方法均能取得較好的視覺效果，但本文方法能對不同亮度的圖像進行全局增強，具有更好的自適應能力。

圖8 6 種方法對合成低照度海面圖像的增強效果對比Fig.8 Comparison of enhanced effects of six methods on synthetic low-light sea surface images

圖9 6 種方法對合成低照度內河圖像的增強效果對比Fig.9 Comparison of enhanced effects of six methods on synthetic low-light inland river images

圖10 6 種方法對合成低照度港口圖像的增強效果對比Fig.10 Comparison of enhanced effects of six methods on synthetic low-light port images

除主觀視覺對比外，本文通過PSNR 和SSIM 2 個客觀指標對比各方法的去噪和結構保留能力，指標對比結果如表3 所示。從表3 可以看出，本文方法具有最優(yōu)的PSNR 值，SSIM 值略低于LIME 方法，即本文方法不僅能夠大幅提升圖像的對比度并更好地保留細節(jié)信息，還能在一定程度上抑制噪聲，提高圖像的整體質量。為了進一步驗證本文方法的優(yōu)越性，在真實的低照度圖像上進行對比實驗，主觀上的視覺效果對比如圖11～圖13 所示。通過直觀視覺分析可知，本文方法與其他對比方法均能提高低照度圖像的對比度和清晰度，但是，HE 方法會導致嚴重的色偏和噪聲放大現(xiàn)象，SRIE 方法對于圖像較暗區(qū)域的增強效果較差，LIME 方法容易出現(xiàn)過度增強以及色彩失真現(xiàn)象，使得增強后的圖像光照不自然，RetinexNet 方法不能很好地還原圖像的真實場景和細節(jié)信息，EFTL 方法同樣對圖像中較暗區(qū)域沒有很好地增強，而且存在一定程度的色偏，LightenNet 方法處理后的圖像會出現(xiàn)不規(guī)則的色斑，其對圖像的增強效果有限。相比之下，本文方法無論是在場景還原還是細節(jié)處理方面，均具有較好的性能優(yōu)勢。除主觀評價以外，本文還選用無參考圖像質量評價指標NIQE 對各個方法的實驗結果進行進一步客觀評價，各方法的NIQE 評價指標結果如表4 所示，從表4 可以看出，本文方法的NIQE 指標優(yōu)于其他對比方法，表明其能取得更好的圖像增強結果。

表3 6 種方法的PSNR 和SSIM 評價指標對比Table 3 Comparison of PSNR and SSIM evaluation indexes of six methods

圖11 7 種方法對低照度海面圖像的主觀視覺效果對比Fig.11 Comparison of subjective visual effects of seven methods on low-light sea surface images

圖12 7 種方法對低照度內河圖像的主觀視覺效果對比Fig.12 Comparison of subjective visual effects of seven methods on low-light inland river images

圖13 7 種方法對低照度港口圖像的主觀視覺效果對比Fig.13 Comparison of subjective visual effects of seven methods on low-light port images

表4 NIQE 評價指標對比Table 4 Comparison of NIQE evaluation indexes

3 結束語

水上低照度圖像存在圖像質量差、目標細節(jié)不清晰等問題，為此，本文提出一種基于局部GAN 的低照度圖像增強方法。設計具有強特征提取能力和自適應增強的生成器模型以及能對圖像局部區(qū)域進行區(qū)分的判別器模型，生成器和判別器模型通過相互對抗學習使各自達到更優(yōu)的處理效果，從而提升圖像亮度與質量。實驗結果表明，在主觀視覺效果與客觀評價指標2 個方面，本文方法均優(yōu)于SRIE、LIME 等對比方法。但是，本文方法目前仍無法滿足水上視覺任務對實時性的要求，同時，受硬件和環(huán)境的影響，CCTV 等監(jiān)控系統(tǒng)捕獲到的圖像包含很多噪聲，處理難度較大。因此，下一步將在提高處理效率和消除噪聲2 個方面展開研究。