鄧 箴，王一斌，劉立波*

(1. 寧夏大學(xué) 信息工程學(xué)院，寧夏 銀川 750021；2. 四川師范大學(xué) 工學(xué)院，四川 成都 610000)

1 引 言

高質(zhì)量的清晰圖像獲取對于機(jī)器視覺任務(wù)，如視頻監(jiān)控、醫(yī)療診斷、自動駕駛、目標(biāo)檢測等領(lǐng)域尤為重要，它能為機(jī)器視覺操作提供準(zhǔn)確的圖像信息，確保機(jī)器視覺任務(wù)順利完成。然而，在弱光照或曝光不足條件下拍攝的圖像往往存在亮度低、色彩飽和度差、細(xì)節(jié)信息難以辨認(rèn)等問題，不但降低了圖像質(zhì)量，還影響了后續(xù)機(jī)器視覺任務(wù)的準(zhǔn)確度。因此，作為圖像預(yù)處理操作的弱光照圖像增強(qiáng)技術(shù)具有重要理論意義和應(yīng)用價值。

傳統(tǒng)的圖像增強(qiáng)方法可分為兩類：基于直方圖均衡化的方法和基于成像模型的方法。直方圖均衡化的方法可看作是利用直方圖調(diào)節(jié)圖像的灰度動態(tài)范圍從而增強(qiáng)圖像的過程。如PIZER等人提出的自適應(yīng)直方圖均衡化圖像增強(qiáng)算法[1]，KANDHWAY等人提出的結(jié)合全局直方圖均衡化的圖像增強(qiáng)算法等[2]。這類方法雖然簡單高效，但暗區(qū)域易出現(xiàn)增強(qiáng)不足，而亮區(qū)域增強(qiáng)過度，從而出現(xiàn)色偏問題。

基于成像模型的方法又可分為：基于去霧模型的方法和基于Retinex理論模型的方法?；谌レF模型的方法發(fā)現(xiàn)反轉(zhuǎn)后的弱光照圖像與霧天圖像有較高的相似性，若能利用去霧算法對反轉(zhuǎn)的弱光照圖像進(jìn)行去霧處理，再將去霧結(jié)果反轉(zhuǎn)回來，即可得到增強(qiáng)圖像。如DONG等人提出的基于去霧模型的弱光照圖像增強(qiáng)算法[3]；LI，YANG和FENG等人提出的基于去霧的對比度增強(qiáng)算法[4-6]。這類方法在某種程度上雖能有效增強(qiáng)弱光照圖像的視覺效果，但缺乏嚴(yán)謹(jǐn)?shù)奈锢斫忉?，易出現(xiàn)顏色失真問題。另一方面，具有嚴(yán)密理論支撐的Retinex理論模型增強(qiáng)方法被廣泛使用。它將弱光照圖像看作光照圖像和反射率圖像的乘積，利用估計(jì)出的光照圖像，求得不受弱光照影響的反射率圖像，即增強(qiáng)圖像。如GUO等人提出的LIME(low-light image enhancement method)方法，通過求R、G和B顏色通道中像素的最大亮度值估計(jì)光照圖[7]，再利用光照圖的結(jié)構(gòu)先驗(yàn)修正和細(xì)化光照圖，進(jìn)而生成增強(qiáng)圖像。趙晨等[8]采用局部零度算法調(diào)整圖像的整體光照效果。FU等人利用高斯和拉普拉斯概率函數(shù)約束光照圖像和反射率圖像的分布，并構(gòu)建加權(quán)變分模型來估計(jì)光照和反射率圖像[9-10]。程亞亞等人[11]則采用一種基于自蛇模型濾波的全息圖像增強(qiáng)方法，能對干擾信息進(jìn)行抑制，去除“偽輪廓”，使刀具的邊緣更加清晰。林劍萍等[12]將分?jǐn)?shù)階微分與Retinex相結(jié)合，提出一種自適應(yīng)的弱光照圖像增強(qiáng)方法?？傮w而言，上述算法利用先驗(yàn)知識或已有約束來估計(jì)Retinex理論模型中的光照圖，從而計(jì)算反射率圖像。然而，當(dāng)先驗(yàn)知識或已有約束無法描述復(fù)雜變化的光照條件時，光照圖像的估計(jì)會出現(xiàn)誤差，從而影響后續(xù)反射率圖像的準(zhǔn)確度。

近年來，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于圖像處理的各個領(lǐng)域，其中也包括弱光照圖像增強(qiáng)。LORE等人[13]提出了基于深度自編碼器的弱光照圖像增強(qiáng)及去噪算法，它利用堆疊的稀疏自編碼器直接學(xué)習(xí)弱光照圖像與其增強(qiáng)圖像的映射關(guān)系，具有較好的增強(qiáng)效果。HUANG等人[14]在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出一種改進(jìn)的Unet模型來增強(qiáng)弱光照圖像。KUANG等人[15]進(jìn)一步利用生成對抗網(wǎng)絡(luò)來抑制噪聲，增強(qiáng)弱光照圖像。CHENG等人[16]利用DFN (Deep Fusion Networks)融合弱光照圖像的派生圖像，如直方圖均衡圖像、對數(shù)變換圖像、亮通道增強(qiáng)圖像，從而有效實(shí)現(xiàn)圖像增強(qiáng)。上述算法雖能利用神經(jīng)網(wǎng)絡(luò)估計(jì)增強(qiáng)圖像，但并未在網(wǎng)絡(luò)模型中注入視覺注意機(jī)制，使其有效注意到弱光照區(qū)域，并為其分配更多的計(jì)算資源，因此增強(qiáng)結(jié)果的精度及算法效率仍有進(jìn)一步提升的空間。

考慮到視覺注意機(jī)制能使神經(jīng)網(wǎng)絡(luò)模型有效地關(guān)注到局部目標(biāo)區(qū)域，進(jìn)而大幅度提高目標(biāo)檢測的準(zhǔn)確度。本文嘗試將視覺注意機(jī)制引入到神經(jīng)網(wǎng)絡(luò)的圖像增強(qiáng)算法中，提出了一個端到端的注意殘差稠密神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)包含注意循環(huán)網(wǎng)絡(luò)和殘差稠密網(wǎng)絡(luò)兩個部分。首先，注意循環(huán)網(wǎng)絡(luò)需要生成一個光照注意圖，這張光照注意圖是整個網(wǎng)絡(luò)最為關(guān)鍵的部分，它將引導(dǎo)注意循環(huán)網(wǎng)絡(luò)聚焦于圖像中的弱光照區(qū)域。然后，在光照注意圖的引導(dǎo)下，利用網(wǎng)絡(luò)的循環(huán)結(jié)構(gòu)，聯(lián)合輸入圖像，逐步學(xué)習(xí)到需要增強(qiáng)的弱光照區(qū)域。最后，由該注意網(wǎng)絡(luò)逐步生成由粗到細(xì)，逐步優(yōu)化的光照注意圖。而光照注意圖作為視覺注意機(jī)制的重要體現(xiàn)，與初始的弱光照圖像進(jìn)一步聯(lián)合，作為第二部分稠密殘差網(wǎng)絡(luò)的輸入。并以此引導(dǎo)稠密殘差網(wǎng)絡(luò)通過高維通道的卷積層和ReLU函數(shù)獲取淺層特征，并將局部特征映射到一個相對“干凈”的空間獲取局部特征，進(jìn)而將網(wǎng)絡(luò)指向局部需增強(qiáng)光照的區(qū)域，使最終估計(jì)的增強(qiáng)圖像具有黑暗區(qū)域得到有效增強(qiáng)，而明亮區(qū)域得到保留的自然視覺效果特征。

2 注意殘差稠密網(wǎng)絡(luò)的弱光照圖像增強(qiáng)算法

2.1 算法思路

以人類視覺色彩感知角度出發(fā)的Retinex模型是圖像增強(qiáng)算法選用的經(jīng)典理論模型，它假設(shè)弱光照圖像是反射率圖像和光照圖像的乘積：

IW=IR·IL，

(1)

式中：IW為初始弱光照圖像；IL為光照圖像，反應(yīng)場景的光照情況；IR表示反射率圖像即增強(qiáng)圖像，反應(yīng)圖像的固有屬性。為獲取增強(qiáng)圖像IR，我們提出了注意殘差稠密網(wǎng)絡(luò)。如圖1所示，該方法是全自動的，包含兩個子網(wǎng)絡(luò)：注意循環(huán)網(wǎng)絡(luò)和稠密殘差網(wǎng)絡(luò)。由于在圖像增強(qiáng)過程中，我們無法預(yù)知哪些區(qū)域是需要增強(qiáng)光照的，因此，需要使用注意循環(huán)網(wǎng)絡(luò)生成一個光照注意圖來引導(dǎo)后續(xù)對圖像的增強(qiáng)處理。而該光照注意圖的生成則是注意循環(huán)網(wǎng)絡(luò)的目的，同時也是注意循環(huán)網(wǎng)絡(luò)中最為關(guān)鍵的部分。因?yàn)樗鼘⒆鳛橄闰?yàn)信息引導(dǎo)網(wǎng)絡(luò)在下一次循環(huán)中關(guān)注到需要增強(qiáng)的弱光照區(qū)域，并與輸入圖像聯(lián)合，作為網(wǎng)絡(luò)下一次循環(huán)的輸入。最終細(xì)化的光照注意圖就是由最后一次循環(huán)得到的，并以此光照注意圖聯(lián)合輸入圖像作為稠密殘差網(wǎng)絡(luò)的輸入，就能夠使網(wǎng)絡(luò)對弱光照圖像進(jìn)行增強(qiáng)處理時，為黑暗區(qū)域分配更多的資源使該區(qū)域得到增強(qiáng)，而明亮區(qū)域得到保留，產(chǎn)生更為自然、真實(shí)的結(jié)果。

圖1 注意殘差網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.1 Architecture of attentive residual dense network

算法的基本思路：由光照注意圖引導(dǎo)網(wǎng)絡(luò)，將注意力集中在光照注意圖所指示的需要增強(qiáng)光照的區(qū)域上，這個執(zhí)行過程形成的網(wǎng)絡(luò)就是注意循環(huán)網(wǎng)絡(luò)。它在IL的引導(dǎo)下，通過多次循環(huán)逐步關(guān)注輸入圖像中的弱光照區(qū)域，并將弱光區(qū)域可視化，最終生成由粗到細(xì)，逐漸細(xì)化的光照注意圖IA，產(chǎn)生的IA使得網(wǎng)絡(luò)對圖像中的弱光區(qū)域更加敏感。隨后，IA進(jìn)一步聯(lián)合IW作為后續(xù)稠密殘差網(wǎng)絡(luò)的輸入，以生成增強(qiáng)圖像IR。這里IA由注意循環(huán)網(wǎng)絡(luò)自動產(chǎn)生，每執(zhí)行一次循環(huán)，IA對應(yīng)的像素值改變一次，網(wǎng)絡(luò)在上一次IA的引導(dǎo)下，聯(lián)合初始圖像，就能使網(wǎng)絡(luò)更加聚焦于局部需要增強(qiáng)的弱光照區(qū)域，并為其分配更多計(jì)算資源，最終使稠密殘差網(wǎng)絡(luò)能更好地學(xué)習(xí)IW與IR的映射關(guān)系，生成沒有過強(qiáng)或欠強(qiáng)區(qū)域的自然、真實(shí)的增強(qiáng)圖像。

2.2 注意殘差稠密網(wǎng)絡(luò)

2.2.1注意循環(huán)網(wǎng)絡(luò)

視覺注意模型已被成功用于目標(biāo)檢測與分類[17-18]。考慮到視覺注意模型中的注意機(jī)制能使神經(jīng)網(wǎng)絡(luò)注意到局部目標(biāo)區(qū)域，本文創(chuàng)新性地將注意機(jī)制注入到圖像增強(qiáng)的網(wǎng)絡(luò)模型中。因?yàn)橐曈X注意可以讓網(wǎng)絡(luò)知道需要增強(qiáng)光照的重點(diǎn)應(yīng)該放在哪里，這對生成視覺效果良好的增強(qiáng)圖像來說非常重要，如圖2所示。該網(wǎng)絡(luò)使用循環(huán)結(jié)構(gòu)來產(chǎn)生逐步聚焦的視覺注意映射，并將其可視化。每次循環(huán)，將當(dāng)前的光照注意圖與輸入圖像連接起來，作為下一次循環(huán)的輸入，有助于我們進(jìn)一步地從輸入圖像和逐步細(xì)化的光照注意圖中提取特征，并引導(dǎo)網(wǎng)絡(luò)將注意力集中在光照注意圖所指示的區(qū)域上，得到逐步優(yōu)化的光照注意圖，有效實(shí)現(xiàn)圖像增強(qiáng)。注意循環(huán)網(wǎng)絡(luò)包含4個殘差稠密模塊(RDB, Residual Dense Block)，1個LSTM循環(huán)單元及1個卷積層。每次循環(huán)時，殘差稠密模塊和LSTM循環(huán)單元從輸入圖像和上次循環(huán)產(chǎn)生的光照注意圖中提取光照注意特征，隨后利用卷積層產(chǎn)生此次循環(huán)的光照注意圖。網(wǎng)絡(luò)執(zhí)行一次循環(huán)，就能使產(chǎn)生的光照注意圖越來越多地集中關(guān)注到需要增強(qiáng)的弱光區(qū)域。

圖2 注意循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Architecture of attentive recurrent network

注意循環(huán)網(wǎng)絡(luò)中各步驟的函數(shù)定義如下：

(2)

式中：IAt-1為t-1次循環(huán)時注意循環(huán)網(wǎng)絡(luò)產(chǎn)生的光照注意圖。HRDB,1，HRDB,2，HRDB,3，HRDB,4分別為第1，2，3，4個殘差稠密模塊RDB的函數(shù)。Xt為t次循環(huán)時最后一個RDB模塊輸出的特征。

Ht，Ct=HLSTM(Xt，Ct-1)，

(3)

式中：HLSTM為LSTM循環(huán)單元函數(shù)；Ht和Ht-1為t次循環(huán)和t-1次循環(huán)時LSTM的輸出。

這里L(fēng)STM循環(huán)單元的結(jié)構(gòu)如圖3所示，它包含輸入門N，遺忘門R，輸出門O及記憶單元C，各門和記憶單元采用卷積操作來實(shí)現(xiàn)交互操作：

(4)

式中：Nt為Xt進(jìn)入輸入門后產(chǎn)生的特征，其中Wn和Bn分別為輸入門卷積操作的權(quán)重和偏移；Rt為Xt進(jìn)入遺忘門后產(chǎn)生的特征，Wr和Br分別為遺忘門卷積操作的權(quán)重和偏移；Ct為記憶單元中存儲的信息，它由控制單元控制的信息Nt·(Wc*Xt+Bc)和遺忘門更新的信息Rt·Ct-1共同決定，這里Ct-1，Wc和Bc分別為t-1次循環(huán)時記憶單元中存儲的信息，控制單元的卷積權(quán)重和偏移；Ot為Xt進(jìn)入輸出門產(chǎn)生的特征，其中Wo和Bo分別為輸出門卷積操作的權(quán)重和偏移；Ht為LSTM循環(huán)單元的輸出；tanh為激勵函數(shù)；*1表示步長為1的卷積操作；·為點(diǎn)乘操作。

圖3 LSTM循環(huán)單元結(jié)構(gòu)Fig.3 Architecture of LSTM unit

(5)

式中：Wa是卷積操作權(quán)重；*1表示步長為1的卷積操作；Ba是偏差。

如圖2所示，每次循環(huán)時，光照注意圖將與輸入圖串聯(lián)作為下次循環(huán)時網(wǎng)絡(luò)的輸入，并隨著循環(huán)次數(shù)的增加，弱光照區(qū)域逐漸被關(guān)注，對應(yīng)的像素值也逐漸增大，從而得到由粗到細(xì)，逐步優(yōu)化的光照注意圖。

2.2.2 殘差稠密網(wǎng)絡(luò)

當(dāng)注意循環(huán)網(wǎng)絡(luò)產(chǎn)生光照注意圖IA后，IA串聯(lián)弱光照圖像IW共同作為殘差稠密網(wǎng)絡(luò)的輸入，以生成增強(qiáng)圖像。殘差稠密網(wǎng)絡(luò)模型如圖4所示，主要包含：淺層特征提取，特征增強(qiáng)，全局特征融合，圖像重建。

圖4 殘差稠密網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Residual dense network architecture

淺層特征提取：對于深度網(wǎng)絡(luò)來說，淺層網(wǎng)絡(luò)層能提取輪廓，邊緣等低級特征，為深層網(wǎng)絡(luò)層捕捉高級特征提供更多有效信息。為了更好地從IA和IW中提取值得注意的弱光照信息，有效地學(xué)習(xí)IW和IR之間的差異，這里采用一個高維通道數(shù)的卷積層Conv1和ReLU函數(shù)提取IW和IA中的淺層特征F0：

F0=σ(W0*2IW+B0)，

(6)

式中：*2表示步長為2的卷積操作；W0是卷積操作的權(quán)重；B0是偏差；σ表示ReLU激活操作。通過該卷積操作，淺層特征圖F0的尺寸變?yōu)檩斎雸D像的一半。

特征增強(qiáng)：由于弱光照圖像易受到噪聲的影響，局部光照特征提取較為困難，這里使用特征增強(qiáng)層捕捉局部光照特征，并進(jìn)一步將其映射到一個相對“干凈”的特征空間，以便提取全局特征。它利用淺層特征提取的F0作為輸入，并由4個殘差稠密模塊RDB來實(shí)現(xiàn)特征映射。

F4=HRDB,4(F3)=
HRDB,4(HRDB,3(HRDB,2(HRDB,1(F0))))，

(7)

式中：HRDB,1，HRDB,2，HRDB,3，HRDB,4分別定義了第1，2，3，4個殘差稠密模塊RDB的函數(shù)；F3為函數(shù)HRDB,3的輸出；F4為特征增強(qiáng)的輸出。

全局特征融合：將特征增強(qiáng)層提取的信息非線性融合成全局特征，便于后續(xù)圖像重建。為此，將各殘差稠密模塊RDB提取特征進(jìn)行串聯(lián)，作為全局特征融合層的輸入，并用一個卷積層Conv2實(shí)現(xiàn)映射：

F5=σ(W2*1[F1,F2,F3,F4]+B2).

(8)

圖像重建：最后采用上采樣Upscale及卷積層Conv3將特征F5重建為與IW圖像相同空間大小的增強(qiáng)圖像IR：

IR=σ(W3*1F5↑+B3)，

(9)

式中：F5↑為特征F5上采樣的結(jié)果；*1表示步長為1的卷積操作；W3是卷積操作權(quán)重；B3是偏差。

2.2.3 殘差稠密模塊結(jié)構(gòu)

殘差稠密模塊(Residual Dense block, RDB)作為網(wǎng)絡(luò)的基本構(gòu)建模塊，將稠密網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)的優(yōu)勢相結(jié)合，能最大化網(wǎng)絡(luò)的信息流，加速網(wǎng)絡(luò)的收斂。RDB模塊包括3個部分：稠密連接層，局部特征融合層以及局部殘差學(xué)習(xí)。模塊結(jié)構(gòu)示意圖如圖5所示。

圖5 殘差稠密模塊結(jié)構(gòu)Fig.5 Residual dense module architecture

稠密連接:受稠密網(wǎng)絡(luò)能加大信息流的啟發(fā)，我們采用4組卷積層和ReLU激活函數(shù)共同組成稠密連接層。與傳統(tǒng)稠密模塊不同的是，此處的稠密連接將上一個RDB模塊的輸出傳遞到當(dāng)前RDB模塊的每一個稠密連接層中，如稠密連接層中的虛線所示，該設(shè)計(jì)能實(shí)現(xiàn)增強(qiáng)特征的連續(xù)傳遞。假設(shè)Fr-1和Fr分別為第r個殘差稠密模塊RDB的輸入和輸出，則稠密連接層中的第c個卷積和ReLU激活函數(shù)的輸出定義為：

Fr,c=σ(Wr,c*1[Fr-1,Fr,1,…,Fr,c-1]+Br,c)，

(10)

式中：[Fr-1,Fr,1,…,Fr,c-1]為第r-1個RDB的輸出Fr-1，與當(dāng)前r個RDB中前c-1個卷積層產(chǎn)生特征Fr-1,Fr,1,…,Fr,c-1的串聯(lián)；Wr,c是稠密連接層中第c個卷積操作的權(quán)重；*1表示步長為1的卷積；Br,c是卷積對應(yīng)的偏差。

局部特征融合：為了更好地融合前面各層提取的稠密信息，將稠密連接層各層的特征Fr,1,…,Fr,4與Fr-1共同作為卷積層的輸入，得到局部特征融合后的信息Fr,LF：

Fr,LF=Wd,LF*1[Fr-1,Fr,1,…,Fr,4]+Bd,LF，

(11)

式中：[Fr-1,Fr,1,…,Fr,4]是串聯(lián)特征；Wd,LF是當(dāng)前r個RDB中局部特征融合層的卷積Convr,5的權(quán)重；*1是步長為1的卷積；Bd,LF是偏差。

局部殘差學(xué)習(xí)：為了有效解決梯度退化問題，加速網(wǎng)絡(luò)收斂，在模塊的最后引入了局部殘差學(xué)習(xí)操作：

Fr=Fr-1+Fr,LF.

(12)

2.2.4 損失函數(shù)

(13)

LD為注意殘差稠密網(wǎng)絡(luò)的損失函數(shù)，同樣由網(wǎng)絡(luò)輸出的增強(qiáng)圖像f(IW)與真實(shí)圖像IR間的MSE定義：

LD=‖f(IW)-IR‖2，

(14)

式中：f表示注意殘差稠密網(wǎng)絡(luò)的映射函數(shù)。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

注意殘差稠密神經(jīng)網(wǎng)絡(luò)模型在PyTorch平臺上搭建，并在4*NIVIDIA RTX 2080 Ti GPU的計(jì)算機(jī)上訓(xùn)練。優(yōu)化函數(shù)為ADAM(Adaptive Moment Estimation)，初始學(xué)習(xí)率0.05，每100 000次迭代學(xué)習(xí)率下降50%，迭代800 000次。

注意循環(huán)網(wǎng)絡(luò)中LSTM及卷積層的卷積操作核大小均為3×3，步長為1，邊緣填補(bǔ)像素量為0。殘差稠密網(wǎng)絡(luò)及RDB參數(shù)如表1設(shè)置，除全局特征融合層和局部特征融合層的卷積操作核大小為1×1，邊緣填補(bǔ)像素量為0外，其余卷積操作的核大小均為3×3，邊緣填補(bǔ)像素量為0。其中，淺層特征提取層中卷積操作的步長為2，因此輸入圖像經(jīng)過淺層特征提取層后，特征空間大小為輸入圖像大小的一半，而在圖像重建層中采用雙線性插值的上采樣操作，進(jìn)一步將特征大小復(fù)原為輸入圖像大小。

表1 殘差稠密卷積神經(jīng)網(wǎng)絡(luò)及參數(shù)設(shè)置Tab.1 Parameters setting of attentive residual dense convolution neural network

3.2 數(shù)據(jù)集

本文首先從圖像質(zhì)量評估數(shù)據(jù)集[19-20]中選取600張正常光照圖像，這些圖像均采集于包含不同景物的真實(shí)場景，將其視為真實(shí)結(jié)果；然后，根據(jù)Retinex模型(公式(1))合成訓(xùn)練數(shù)據(jù)，讓其光照分量IL的元素服從[0,1]的均勻分布，得到對應(yīng)的弱光照圖像數(shù)據(jù)集。

根據(jù)圖像內(nèi)容與照明條件相獨(dú)立的假設(shè)，對每張正常光照圖像，我們利用上述方法隨機(jī)合成7張不同校正參數(shù)的弱光照圖像。共合成4 200對圖像，其中4 000對圖像作為訓(xùn)練集，200對圖像作為測試集。

3.3 注意殘差稠密網(wǎng)絡(luò)消融實(shí)驗(yàn)

為了驗(yàn)證網(wǎng)絡(luò)中各模塊的有效性，我們通過逐步添加模塊的方法對結(jié)果進(jìn)行了比較。測試集選用含200對弱光照圖像及正常光照圖像的圖像對。其中室內(nèi)、室外場景下整體光照偏弱圖像及真實(shí)圖像100對，光照不均勻圖像及真實(shí)圖像100對。保持每個模型訓(xùn)練過程中的超參數(shù)，所有網(wǎng)絡(luò)訓(xùn)練40 000次，以達(dá)到收斂狀態(tài)。

首先，將除去注意稠密網(wǎng)的網(wǎng)絡(luò)模型作為主干網(wǎng)絡(luò)。然后在主干網(wǎng)絡(luò)中添加注意循環(huán)網(wǎng)絡(luò)的1～4次循環(huán)，選擇PSNR和SSIM作為指標(biāo)衡量添加不同次數(shù)的循環(huán)網(wǎng)絡(luò)對算法性能的影響。結(jié)果如表2所示，注意循環(huán)網(wǎng)絡(luò)的加入可以顯著提高圖像的PSNR和SSIM，本文方法的性能優(yōu)于其他結(jié)構(gòu)。一方面說明注意網(wǎng)絡(luò)的加入對提高圖像質(zhì)量、視覺特性和增強(qiáng)網(wǎng)絡(luò)性能十分必要；另一方面也說明了并不是循環(huán)的次數(shù)越多越好。

表2 不同模塊的網(wǎng)絡(luò)性能Tab.2 Performance of network with different block

3.4 注意殘差稠密網(wǎng)絡(luò)有效性和魯棒性驗(yàn)證

為了驗(yàn)證本文增強(qiáng)算法的有效性和魯棒性，選用經(jīng)典的LIME算法[7]，基于卷積神經(jīng)網(wǎng)絡(luò)的LORE算法[14]和DFN算法[18]及本文算法在200對弱光照圖像及正常光照圖像的測試集上進(jìn)行測試。

圖6為各算法的視覺增強(qiáng)結(jié)果，其中圖6(a)從上到下分別為室外整體光照偏弱圖像，室外光照不均勻圖像和室內(nèi)光照不均勻圖像。圖6(d)～圖6(e)分別為LIME算法、LORE算法、DFN算法與本文算法的圖像增強(qiáng)結(jié)果。圖6(f)為真實(shí)結(jié)果。算法雖能提升圖像亮度，但提升效果并不明顯，圖像整體亮度偏暗，細(xì)節(jié)信息清晰度低，如圖6(b)中第一行的天空區(qū)域雖有增強(qiáng)，但豹子的斑紋信息仍不清晰。同樣，圖6(b)的第三行中書架區(qū)域亮度雖有增強(qiáng)，但書架上擺放的書籍雜物仍無法辨認(rèn)。LORE算法的增強(qiáng)效果最為明顯，顏色對比度高，但同時圖像的平均亮度也最大，易出現(xiàn)過度增強(qiáng)及顏色失真的問題，如圖6(c)第一行圖像中天空區(qū)域顏色過亮，第二行圖像的地面顏色失真。DFN算法增強(qiáng)圖像的亮度介于LIME算法和LORE算法之間，但對弱光照的區(qū)域，其增強(qiáng)結(jié)果仍然偏暗，如圖6(d)第二行圖像的地面區(qū)域及第三行圖像的書柜區(qū)域。本文算法因注入了視覺注意機(jī)制，增強(qiáng)效果較好，如圖6(e)所示，增強(qiáng)結(jié)果不但亮度適中，顏色自然，還具有細(xì)節(jié)清晰的優(yōu)點(diǎn)，與真實(shí)結(jié)果圖6(f)最為接近。

圖6 不同算法在合成弱光照圖像上的視覺結(jié)果對比Fig.6 Visual comparisons of different algorithms on synthetic weakly illuminated images

我們進(jìn)一步在測試集上測試各算法的性能，并采用均方誤差MSE、信噪比PSNR和相似度SSIM三種量化指標(biāo)衡量算法的增強(qiáng)效果，對應(yīng)結(jié)果如3所示。

表3 不同算法在測試集上的量化結(jié)果對比Tab.3 Quantitative comparisons of different algorithms on testing dataset

由表3可見，在整體光照偏弱圖像下，本文算法的均方誤差MSE最低，較LIME、LORE和DFN算法分別降低了82.91%、50.91%和7.31%，PSNR和SSIM較LIME、LORE、DFN算法分別提高了46.37%、18.72%、16.34%和24.18%、6.59%、3.30%。在光照不均勻圖像下，本文算法仍然具有最低的均方誤差MSE，較LIME、LORE和DFN算法分別降低了82.38%、49.33%和4.67%，PSNR和SSIM較LIME、LORE、DFN算法分別提高了46.48%、19.34%、9.07%和26.09%、8.70%、3.26%。在處理時間上，各算法的處理時間均在1 s內(nèi)，本文算法的平均處理時間僅為0.45 s，較LIME和LORE算法分別高0.54 s和0.32 s，僅比DFN算法慢0.11 s。綜合來看，本文算法效率較高。

3.5 真實(shí)弱光照圖像增強(qiáng)結(jié)果對比

為了進(jìn)一步驗(yàn)證算法的穩(wěn)健性，我們選取了多數(shù)增強(qiáng)算法常用的3幅真實(shí)弱光照圖像進(jìn)行測試。如圖7所示，圖7(a)為真實(shí)的弱光照圖像，圖7(b)～圖7(e)為各算法的增強(qiáng)結(jié)果。整體而言，各算法在真實(shí)圖像上的增強(qiáng)效果與合成圖像上測試的效果趨于一致。LIME算法的增強(qiáng)結(jié)果整體偏暗，細(xì)節(jié)部分信息丟失，如圖7(b)第一行中汽車的車及行人區(qū)域無法清楚辨識。圖7(b)第二行和第三行的圖像雖有亮度增強(qiáng)，但是顏色依舊偏暗，增強(qiáng)效果不明顯。LORE算法的增強(qiáng)結(jié)果，圖7(c)存在過度增強(qiáng)問題，顏色明顯失真，如圖7(c)第一行的公路區(qū)域顏色偏紫，天空中白云過亮，圖7(c)第三行草地顏色偏黃，明顯與真實(shí)場景顏色不符合，圖7(c)第二行的草叢區(qū)域邊界存在明顯暗影，過增強(qiáng)現(xiàn)象明顯。DFN算法的增強(qiáng)結(jié)果在局部區(qū)域顏色偏暗，如圖7(d)第一行的公路區(qū)域及第三行的草地區(qū)域整體偏暗。相比而言，本文算法增強(qiáng)結(jié)果圖7(e)的視覺效果最佳，對弱光照部分進(jìn)行增強(qiáng)的同時，確保了正常光照部分亮度適中，顏色柔和，且細(xì)節(jié)部分也最為清晰。

圖7 不同算法在真實(shí)弱光照圖像上的視覺結(jié)果對比Fig.7 Visual comparison of different algorithms on real weakly illuminated images

此外，我們還從DICM[21]和NASA[22]等真實(shí)弱光照圖像庫中選取了30幅圖像進(jìn)行測試和客觀評價。由于這類圖像增強(qiáng)后沒有真實(shí)結(jié)果作參考，因此我們選用客觀評價指標(biāo)，即信息熵、色度改變度、自然圖像質(zhì)量評估指標(biāo)來量化增強(qiáng)結(jié)果。其中，信息熵用來量化圖像中所含信息量的大小，其值越大圖像所含的信息量越豐富，細(xì)節(jié)信息越完整。色度改變度反應(yīng)了增強(qiáng)圖像的色彩變化情況，值越小則顏色失真越少。自然圖像質(zhì)量評估指標(biāo)是依據(jù)圖像的自然統(tǒng)計(jì)特征來評價圖像質(zhì)量的指標(biāo)，值越小則圖像質(zhì)量越高。表4列出了各算法在30幅真實(shí)弱光照圖像上的平均量化值。從中可見，本文算法具有最大信息熵值，最低的色度改變度和自然圖像質(zhì)量評估值，其信息熵值分別較LIME、LORE、DFN算法提高了3.3%～5.1%，色度改變度和自然圖像質(zhì)量評估指標(biāo)值分別降低了26.5%～76.3%和7%～17.4%。這表明該算法的增強(qiáng)結(jié)果不但含有最多的信息量，還具有最少的顏色失真，最佳的圖像質(zhì)量。

表4 不同算法在真實(shí)弱光照圖像上的量化結(jié)果對比Tab.4 Quantitative comparisons of different algorithms on real weakly illuminated images

各算法的平均處理時間均在1 s內(nèi)，本文算法較LIME和LORE算法在平均處理時間上分別提高了49.42%和32.31%，僅比DFN算法低25%，0.11 s。

4 結(jié) 論

本文將視覺注意機(jī)制注入到圖像增強(qiáng)的神經(jīng)網(wǎng)絡(luò)中，提出了一個端到端的注意殘差稠密網(wǎng)絡(luò)。該網(wǎng)絡(luò)包括注意循環(huán)網(wǎng)絡(luò)和殘差稠密網(wǎng)絡(luò)。注意循環(huán)網(wǎng)絡(luò)在真實(shí)光照圖這個先驗(yàn)信息的引導(dǎo)下，利用循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)產(chǎn)生由粗到細(xì)，逐漸優(yōu)化的光照注意圖。而這張優(yōu)化的光照注意圖則進(jìn)一步聯(lián)合輸入的弱光照圖作為后續(xù)殘差稠密網(wǎng)絡(luò)的輸入，使得該網(wǎng)絡(luò)能更好地關(guān)注到局部目標(biāo)和弱光照區(qū)域，從而產(chǎn)生需增強(qiáng)光照區(qū)域得到增強(qiáng)，需保留光照區(qū)域得到保留的自然、視覺效果良好的增強(qiáng)圖像。實(shí)驗(yàn)結(jié)果的量化指標(biāo)均顯示，本文算法在合成圖像和真實(shí)圖像上均較常用算法有更好的增強(qiáng)效果，沒有過強(qiáng)或欠強(qiáng)區(qū)域，具有較好的視覺效果，并且處理效率較高。這也進(jìn)一步說明將光照注意機(jī)制引入圖像增強(qiáng)方法中是一種新穎且有效的弱光照圖像增強(qiáng)方法。