尚曉可 安 南 尚敬捷 張韶岷 丁 鼐,4

在圖像獲取過程中，時常存在多種不理想的光照條件，造成曝光不足,而此類圖像中包含的信息往往視覺不可見，嚴重限制諸多高層視覺任務(如目標檢測[1]、視覺跟蹤[2])的性能,因此學者們開始設計有效的低光照圖像增強算法.根據(jù)算法設計思路的不同，現(xiàn)有方法可粗略分為基于模型的傳統(tǒng)方法和基于數(shù)據(jù)的深度網(wǎng)絡方法.基于模型的傳統(tǒng)方法以建立正則項約束的優(yōu)化模型為核心，構(gòu)造迭代算法為目標.基于數(shù)據(jù)的深度網(wǎng)絡方法的關(guān)鍵在于啟發(fā)式地設計網(wǎng)絡結(jié)構(gòu)，以海量的數(shù)據(jù)訓練端到端的網(wǎng)絡模型.

基于模型的傳統(tǒng)方法以Retinex模型[3]為核心,初始通用策略是基于Retinex模型，利用高斯濾波器實現(xiàn)低光照圖像增強.Jobson等[4]提出SSR(Single-Scale Retinex)，在對數(shù)域?qū)Φ凸庹蛰斎脒M行高斯濾波以產(chǎn)生光照，進行減法運算，得到增強結(jié)果.Rahman等[5]在SSR的基礎上，引入多尺度信息，進一步構(gòu)造MSR(Multi-scale Retinex)，在多個尺度上多次執(zhí)行高斯濾波，產(chǎn)生多個光照，再對基于SSR的增強結(jié)果進行加權(quán)求和，得到最終輸出.Jobson等[6]提出MSRCR(MSR with Color Restoration)，引入權(quán)重，進行顏色的校正，實現(xiàn)更優(yōu)的增強效果.Guo等[7]直接利用圖像平滑模型估計光照，并基于Retinex模型得到增強結(jié)果，雖然顯著提升亮度，但在多數(shù)情況下會出現(xiàn)過曝現(xiàn)象.Zhang等[8]提出增加額外的正則項約束,輔助估計更好的光照信息，進一步避免過曝現(xiàn)象的產(chǎn)生，然而由于多種正則項的引入，測試代價明顯變高.Li等[9]同時優(yōu)化光照與反射，在增強亮度的同時克服一些顯著的噪聲，但受限于正則項的表征能力，僅能使用在一些簡單情形中.總之，現(xiàn)有的基于傳統(tǒng)方法的低光照圖像增強技術(shù)普遍依賴于正則項的設計與求解算法的構(gòu)造，往往存在大量需要人工設定的參數(shù)，在面對不同的低光照場景時，需要消耗大量資源與時間以獲取最佳的增強效果.

近年來，得益于數(shù)據(jù)的井噴式增長，深度學習技術(shù)取得蓬勃發(fā)展，一系列行之有效的深度網(wǎng)絡架構(gòu)隨之產(chǎn)生.然而，區(qū)別于深度學習在常規(guī)圖像處理問題(如圖像去噪，圖像超分辨率)的發(fā)展進程，基于深度學習的低光照圖像增強技術(shù)發(fā)展相對緩慢，其原因在于數(shù)據(jù)的合成及獲取尚存許多困難.直至近期，一些數(shù)據(jù)集的提出逐漸推動該領(lǐng)域的發(fā)展.Chen等[10]提出RetinexNet，結(jié)合Retinex模型與深度學習，設計一個簡單的網(wǎng)絡，用于估計光照，結(jié)合Retinex理論得到增強結(jié)果，但是RetinexNet對于光照的刻畫能力不足，導致結(jié)果出現(xiàn)顏色失真等問題.Chen等[10]還提出一個成對的低光照圖像數(shù)據(jù)集(LOL)，也成為低光照圖像增強領(lǐng)域的重要數(shù)據(jù)集.

在RetinexNet之后，學者們提出大量利用Re-tinex模型建立的有監(jiān)督網(wǎng)絡，實現(xiàn)低光照圖像增強的方法和手段.Wang等[11]提出DeepUPE(Deep Underexposed Photo Enhancement)，構(gòu)建光照估計網(wǎng)絡，并設計基于光照先驗約束的損失函數(shù)，再基于Retinex理論對圖像進行增強.在MIT-Adobe FiveK數(shù)據(jù)集[12]上訓練DeepUPE，并使用與MIT-Adobe FiveK數(shù)據(jù)集相同的生成方式提供新的數(shù)據(jù)集，但方法也存在對亮度場景的刻畫能力不足的問題.Lü等[13]提出MBLLEN(Multi-branch Low-Light Enhance-ment Network)，也是類似的監(jiān)督學習方法，在不同層次上使用多個分支網(wǎng)絡同時增強圖像特征，最后融合多分支輸出結(jié)果，形成最終的增強圖像.Lü等[13]也從損失函數(shù)上進行改進，提出多損失加權(quán)的方案.MBLLEN的多分支結(jié)構(gòu)使細節(jié)出現(xiàn)問題，同時引入一些噪聲，在結(jié)構(gòu)刻畫方面存在明顯不足.

通常而言，依賴成對數(shù)據(jù)訓練的有監(jiān)督網(wǎng)絡往往在給定與訓練數(shù)據(jù)分布相同的數(shù)據(jù)集上具備較優(yōu)性能，然而由于成對數(shù)據(jù)的獲取仍需要人工操作，往往缺乏較強的適用性.為了解決此問題，學者們提出一系列基于半監(jiān)督或無監(jiān)督的方法.Jiang等[14]提出EnlightenGAN(Deep Light Enhancement with Paired Supervision)，從圖像分布的角度考慮低光照圖像增強問題，并引入生成對抗機制.EnlightenGAN基于U-Net結(jié)構(gòu)建立生成器，并進一步設計全局-局部判別器，可基于非成對的數(shù)據(jù)進行訓練，一定程度上提升算法的適用性.類似地，Yang等[15]提出不完全依賴成對數(shù)據(jù)的半監(jiān)督方法——DRBN(Deep Re-cursive Band Network).但是由于缺乏有效的物理規(guī)律的建模，DRBN和EnlightenGAN都引入明顯偽影，造成視覺效果退化.最近，一些研究人員嘗試挖掘深度網(wǎng)絡強大的刻畫表征能力，力求構(gòu)建低光照圖像與正常光照圖像之間全新的顯式映射關(guān)系.Guo等[16]提出Zero-DCE(Zero-Reference Deep Curve Estimation)，將亮度增強作為一種利用深度網(wǎng)絡進行圖像特定曲線估計的任務.Zero-DCE訓練一個輕量級的深度網(wǎng)絡，用于估計像素和高階曲線的動態(tài)范圍,調(diào)整給定圖像，具有較高的推理效率，但會產(chǎn)生較明顯的顏色失真.

隨著注意力機制在計算機視覺領(lǐng)域的逐漸興起，學者們嘗試構(gòu)建具有注意力機制的低光照增強網(wǎng)絡框架[17-18].Zhang等[17]提出基于注意力的神經(jīng)網(wǎng)絡，可從原始傳感器數(shù)據(jù)中生成高質(zhì)量的增強后低光照圖像，引入空間注意力模塊和通道注意力模塊，抑制色差偏誤和噪音產(chǎn)生.Lü等[18]提出針對大規(guī)模合成低光照數(shù)據(jù)集的注意力引導的端到端多分支卷積神經(jīng)網(wǎng)絡，學習兩個注意力圖，分別指導亮度增強和去噪任務，并根據(jù)輸入自適應地工作.

顯著目標檢測旨在將顯著物體與周圍環(huán)境分離，以抵抗背景、光照等變化引起的干擾.Hao等[19]為了解決現(xiàn)有算法由于缺少高級視覺信息導致存在過度增強、噪聲被放大等問題，提出基于Retinex理論和顯著性理論的低光照圖像增強框架，融合顯著性圖和增強圖像，增強整個圖像.為了進一步解決低光照圖像模態(tài)中嚴重的對象信息丟失導致難以對顯著目標檢測的問題，Xu等[20]提出直接將物理光照模型嵌入深度神經(jīng)網(wǎng)絡中，用于描述低光照圖像的退化，并利用非局部塊層捕獲對象的局部內(nèi)容與其局部鄰域偏好區(qū)域的差異，促進低光照圖像中的顯著目標檢測.

網(wǎng)絡結(jié)構(gòu)設計方面，學者們指出，遵循由粗糙到細致分階段對圖像進行增強是可行、有效的.Xu等[21]發(fā)現(xiàn)噪聲在不同頻率層中表現(xiàn)出不同水平的對比度，基于在低頻層比在高頻層更容易檢測到噪聲的特點，提出基于頻率的漸進式分解和增強模型，有效提升去噪和增強效果.

總之，現(xiàn)有低光照圖像增強方法由于未能對結(jié)構(gòu)信息進行正確刻畫，并且缺乏視覺認知信息，導致普遍存在顏色失真和偽影噪聲等問題.為了解決上述問題，本文提出結(jié)合視覺顯著性和注意力機制的低光照圖像增強方法.首先，提出基于注意力的漸進式低光照圖像增強網(wǎng)絡，作為本文方法的主干部分，突破Retinex模型求解過程中的局限性.然后，提出漸進式注意力機制，同時引入通道注意力機制和空間注意力機制：空間注意力機制能高效感知圖像不同區(qū)域的明暗特征，同時考慮局部細節(jié)和全局信息；通道注意力機制可針對圖像的不同通道進行調(diào)整，在正確刻畫增強結(jié)果中顏色信息的同時，使增強結(jié)果獲得更均衡的光照.同時遵循由粗到精的建模理念，提出漸進式注意力機制，分階段細化增強過程，隨后引入殘差結(jié)構(gòu)，顯著降低注意力學習的復雜度.在注意力網(wǎng)絡中加入圖像顯著性特征作為引導，增強網(wǎng)絡對圖像中顯著性目標的感知，提升結(jié)構(gòu)信息刻畫能力，使方法在避免偽影等噪聲和避免顏色失真等方面獲得增益.對比實驗驗證本文方法的優(yōu)越性與有效性.

1 結(jié)合視覺顯著性與注意力機制的低光照圖像增強

受近年來在計算機領(lǐng)域逐漸成為熱點的注意力機制的啟發(fā)，本文提出結(jié)合視覺顯著性與注意力機制的低光照圖像增強方法，具體流程如圖1所示.首先，引入注意力機制，構(gòu)建低光照增強網(wǎng)絡，將注意力網(wǎng)絡生成的注意力圖與原圖逐像素相乘，增強圖像，敏銳感知圖像各處的曝光程度，避免增強后帶來的曝光不均衡問題.另外，采用從粗糙到精細的漸進式優(yōu)化理念進一步改進網(wǎng)絡，逐步提升增強性能.

在視覺顯著性引導的特征融合部分，利用一個預訓練的顯著性目標檢測網(wǎng)絡，提取低光照圖像的顯著性特征.這些顯著性特征以空間特征變換的方式與低光照圖像的特征高度融合后進入注意力估計階段.顯著性檢測大多將研究重心放在人眼注意點的檢測上，即檢測圖像中最吸引人類眼光的地方(如高亮度區(qū)域、高飽和度區(qū)域等)，檢測結(jié)果為一組光亮點組成的感興趣區(qū)域[22]，因此視覺顯著性包含豐富的場景結(jié)構(gòu)信息.為了提升本文方法對結(jié)構(gòu)信息的刻畫，增添顯著性特征作為補充信息輸入.利用顯著性引導注意力訓練，使網(wǎng)絡訓練進程加快、網(wǎng)絡更穩(wěn)健，并且讓注意力映射更關(guān)注圖像中的主要物體，同時也能更好地避免增強過程中物體周圍出現(xiàn)偽影及處理后物體顏色偏向背景顏色而導致的顏色失真.

圖1 本文方法流程圖

1.1 基于注意力的漸進式低光照圖像增強網(wǎng)絡

輸入一幅RGB三通道的低光照圖像，記為y，期望得到的光照正常圖像記為x，低光照輸入對應的正常光照參考標準圖像(Ground Truth)記為xgt.對y進行注意力估計以評估全局明暗差異.為了逐步優(yōu)化結(jié)果，引入漸進式的優(yōu)化思想，形成漸進式低光照圖像增強網(wǎng)絡.具體地，假設注意力為α，建模如下：

xt=αt-1⊙xt-1+xt-1,t=1,2，…，T，

(1)

其中，⊙表示逐像素相乘，x表示光照正常的圖像，t表示第t階段，T表示總階段數(shù)，初始化x0=y.在基于Retinex理論的建模中，常用低光照圖像除以光照，得到正常光照圖像，但是受制于像素閾值影響，這種除法關(guān)系并不穩(wěn)定.受Retinex物理模型的啟發(fā)，基于乘法關(guān)系建模注意力，建立的注意力網(wǎng)絡能輸出包含圖像中不同明暗區(qū)域注意力的注意力圖.注意力具體表現(xiàn)為權(quán)重數(shù)值，在低光照圖像增強任務中，對于圖像中較暗區(qū)域的注意力較大，將包含權(quán)重數(shù)值的注意力圖像與輸入低光照圖像相乘即可達到增強效果，有效規(guī)避Retinex模型的缺點.在此基礎上，進一步引入殘差結(jié)構(gòu)，降低注意力學習的復雜度，提升模型收斂效率.利用卷積神經(jīng)網(wǎng)絡實現(xiàn)由輸入特征到注意力的映射，該映射函數(shù)記為A，即注意力網(wǎng)絡.

注意力網(wǎng)絡A的結(jié)構(gòu)如下.首先，將特征輸入通過兩個卷積層，提取所需特征.在注意力的刻畫上，采用金字塔型編碼器-解碼器結(jié)構(gòu).具體地，采用平均池化和最大池化兩種池化層，從不同角度獲取綜合信息，并且三層金字塔結(jié)構(gòu)中上/下采樣的操作能使注意力網(wǎng)絡感知包含高中低3個尺度的信息.在此基礎上，為了補償在最小卷積層后的上采樣時造成的特征損失，在對應的層級上使用2個跳躍連接.每個生成的注意力權(quán)重圖都有3個通道，取值范圍為[0,1].注意力圖的可視化結(jié)果如圖2所示.最后，網(wǎng)絡生成的注意力圖按式(1)的建模方式增強圖像.注意力圖框架總體可表示為：

其中，t=1,2，…，T，表示第t階段，T表示總階段數(shù)，初始化x0=y.在該網(wǎng)絡下，低光照圖像可實現(xiàn)從粗到細地逐步增強.

(a)低光照觀測圖

(b)注意力圖

(c)增強結(jié)果

1.2 視覺顯著性引導的特征融合

[S1,S2,…,Sn]=S(x),n=1,2,…,8,

其中，S表示預訓練參數(shù)固定的顯著性目標檢測網(wǎng)絡，[S1,S2,…,Sn]表示提取的顯著性特征序列.顯著性特征數(shù)量n與注意力網(wǎng)絡的階段數(shù)量相同，最多為8，即CPD網(wǎng)絡中使用跳躍連接到局部解碼器.

對于低光照輸入y，本文希望與顯著性特征融合，共同作為注意力網(wǎng)絡的輸入.受Wang等[24]的啟發(fā)，使用空間特征變換的方式高度融合兩種特征，代替?zhèn)鹘y(tǒng)的在通道數(shù)上的連接.在空間特征變換中，低光照圖像首先輸入4個卷積層中，每個卷積運算后由ReLU函數(shù)進行激活，最終得到64通道的低光照圖像特征.同時前期提取的顯著性特征也輸入一個卷積層，變換為32通道的特征，達到維度匹配.然后，將這些經(jīng)過處理的低光照特征和顯著性特征輸入空間特征變換層，進一步促進特征融合.

空間特征變換層學習由基礎特征和先驗特征到融合特征的映射.從先驗特征Φ學習一組變換配置參數(shù)(γ,β).基于這組變換配置參數(shù)，空間特征變換層可根據(jù)不同的先驗特征和基礎特征適應性地進行仿射變換融合.具體來說，定義Γ為映射函數(shù)，可得到關(guān)系

?！忙祙→(γ,β)，

表示為

(γ,β)=Γ(Φ).

獲得變換配置參數(shù)(γ,β)后，定義變換過程，由基礎特征結(jié)合先驗特征進行變換，得到變換后的融合特征，變換過程可表示為

F=γ⊙P+β，

其中，F(xiàn)表示變換后得到的融合特征，P表示基礎特征，⊙表示逐像素相乘，F(xiàn)、P、γ、β的通道數(shù)與尺寸均相同.

在本文方法中，低光照輸入特征作為基礎特征，由預訓練網(wǎng)絡提取的顯著性特征作為先驗特征，執(zhí)行空間特征變換，得到融合特征.為了更深度的融合，將5個空間特征變換層作為一個集合，形成一個空間特征變換塊.在每層注意力網(wǎng)絡前設置一個空間特征變換塊.另外，對于挑選的顯著性特征[S1,S2,…,Sn]，每個都會參與到不同的空間特征變換塊中，實驗中n=2.

①應實行“建管并重”。俗話說，“三分建設、七分管養(yǎng)”。在強調(diào)農(nóng)田水利基本建設的同時，應加強管理維護的責任到位、經(jīng)費到位、人員到位，確保工程效益的發(fā)揮。

1.3 損失函數(shù)

為了降低訓練復雜度，只采用基礎的均方誤差損失(Mean-Square Error loss, MSE loss)作為訓練本文方法的損失函數(shù)，函數(shù)方程可表示為

其中，xt表示第t階段獲得的增強圖像，xgt表示參考標準圖像.除去顯著性檢測模塊的網(wǎng)絡參數(shù)是預訓練并且固定的.基于該損失函數(shù)在整體上訓練本文方法.

2 實驗及結(jié)果分析

2.1 實驗數(shù)據(jù)集

本文選擇的訓練數(shù)據(jù)集來自帶有參考圖像的公開數(shù)據(jù)集MIT-Adobe FiveK[12].數(shù)據(jù)集包含5 000幅使用單反相機拍攝的真實場景中的低光照圖像.圖像涵蓋廣泛的場景、主題和照明條件.在此基礎上，數(shù)據(jù)收集組邀請5名專家調(diào)整圖像的光照與色彩，達到他們認為的光照程度使人愉悅的圖像.本文選取500幅曝光程度相仿的低光照圖像和校正后的對應圖像作為訓練集.此外，在剩余圖像中隨機挑選110幅圖像作為測試集.

2.2 實施細節(jié)

為了訓練本文方法，在輸入到網(wǎng)絡前，訓練圖像調(diào)整為320×320的方形圖像，批尺寸設置為4.本文采用Adam(Adaptive Moment Estimation)作為優(yōu)化器，初始學習率為0.002,優(yōu)化參數(shù)β1=0.9,β2=0.999.共訓練200個周期，采用學習率衰減策略，更好地適應訓練進程.具體來說，在100個周期后，學習率會線性降至0.

整個訓練過程在PyTorch框架上實現(xiàn)，并在一臺帶有NVIDIA TITAN XP、32 GB 內(nèi)存和Intel Core i7-8750 CPU的Linux服務器上進行訓練.

2.3 評估指標

對于圖像質(zhì)量的評價，研究人員提出從不同角度評價圖像質(zhì)量的指標.然而，由于每個指標的側(cè)重點不同，不是所有指標都能有效評估低光照圖像的增強性能.為了全面評估方法性能，本文選擇峰值信噪比(Peak Signal to Noise Ratio， PSNR)、結(jié)構(gòu)相似性(Structural Similarity， SSIM)、自然圖像無參考評價器(Natural Image Quality Evaluator， NIQE)作為評價指標.PSNR是基于參考圖像評價的標準，用于表示增強后圖像的峰值功率和噪聲功率的比值，可評估增強圖像的畸變程度.SSIM是在結(jié)構(gòu)的角度上對比增強結(jié)果和參考圖像，補充PSNR忽視的結(jié)構(gòu)特性.NIQE無需參考圖像，從圖像中提取一些特征，并采用多變量高斯模型進行描述，評價過程中利用待評價圖像特征模型參數(shù)與預先建立的模型參數(shù)之間的距離確定圖像質(zhì)量.所以NIQE值越小，表明模型參數(shù)差距越小，圖像的質(zhì)量越高.

2.4 對比實驗結(jié)果

本文選擇低光照圖像增強領(lǐng)域內(nèi)7種具有代表性的方法進行定量評估和定性分析，分別為：Reti-nexNet[10]、MBLLEN[13]、EnlightenGAN[14]、DRBN[15]、Zero-DCE[16]、FIDE(Frequency-Based Image Decompo-sition-and-Enhancement)[21]、GLADNet(Global Illumi-nation Aware and Detail-Preserving Network)[24].

各方法部分視覺效果對比如圖3所示.由圖可知，從整體的視覺滿意度和增強結(jié)果與參考標準圖像之間的貼合程度上看，本文方法都明顯優(yōu)于其它對比方法.具體來說，DRBN、EnlightenGAN、GLADNet都存在一定程度的過曝現(xiàn)象，引起一定程度的視覺不悅.FIDE的增強結(jié)果可明顯看出增強力度不足，增強后的圖像仍處于曝光不足的狀態(tài)，甚至在個例中幾乎看不出增強效果.Zero-DCE與MBLLEN雖然達到適宜的曝光程度，但在色彩方面存在一定程度的失真，如畫面偏白或色彩過飽和.RetinexNet在畫面整體刻畫上失真，使圖像內(nèi)容存在色彩和結(jié)構(gòu)的偏差.相比之下，本文方法既達到更適宜的曝光程度，也未產(chǎn)生顏色失真等問題，取得較令人滿意的增強效果，尤其是在平衡曝光程度和突出色彩生動方面.引入顯著性引導的優(yōu)勢使本文方法增強結(jié)果幾乎不存在偽影或振鈴效應等處理過程中引入的噪聲.相比參考標準圖像可看出，本文方法在曝光程度和色彩分布等方面都明顯更貼合標準圖像，也呈現(xiàn)更自然的圖像紋理和適宜的視覺效果，這也說明采用由粗到細的漸進式低光照圖像增強網(wǎng)絡和引入顯著性特征對得到色彩更生動的增強結(jié)果是有效的.

(a)輸入圖像

(b)參考標準圖像

(c)DRBN

(d)EnlightenGAN

(e)FIDE

(f)GLADNet

(g)MBLLEN

(h)RetinexNet

(i)Zero-DCE

(j)本文方法

在視覺效果對比分析之外，還對比各方法的PSNR、SSIM、NIQE指標值，具體結(jié)果如表1所示.由表可知，在測試集上，本文方法的PSNR值和SSIM值最高，NIQE值最低.由此，從定性和定量角度上看，本文方法均取得較令人滿意的結(jié)果，這同時也說明本文方法的優(yōu)越性.

表1 各方法在MIT-Adobe FiveK數(shù)據(jù)集上的指標值對比

2.5 消融實驗結(jié)果

本節(jié)分析顯著性引導和注意力機制對實驗結(jié)果的影響，說明在本文方法中引入顯著性引導模塊和注意力網(wǎng)絡的必要性.首先，刪除本文方法中的顯著性引導部分，并與本文方法的結(jié)果在視覺和指標上進行對比評估，驗證顯著性引導的有效性.

是否刪除顯著性引導的視覺效果對比如圖4所示.由圖可見，刪除顯著性引導后帶來明顯的效果退化.從圖中標注的紅框及對應放大區(qū)域可更明顯地看出，當刪除顯著性引導后，對圖像的結(jié)構(gòu)信息感知變?nèi)醯耐瑫r也降低對低光照場景下全局信息和局部細節(jié)的敏感性，導致部分區(qū)域色彩飽和度不足，并引入偽影噪聲.相比之下，本文方法的視覺效果色彩更生動，也能有效解決偽影噪聲等問題.

(a)低光照圖像 (b)刪除顯著性引導的注意力圖 (c)本文方法的注意力圖 (d)刪除顯著性引導的結(jié)果 (e)本文方法的結(jié)果

下面進行針對通道注意力機制的消融實驗在本文方法中刪除通道注意力機制，并與本文方法在視覺和指標值上進行對比，驗證注意力機制的有效性.是否刪除注意力機制的視覺效果對比如圖5所示.由圖可看出，刪除注意力機制后，增強結(jié)果對顏色的刻畫出現(xiàn)明顯的偏差，相比之下，本文方法的增強結(jié)果對顏色的校正更正確和自然.這說明引入注意力機制可使方法具備正確刻畫顏色及增強低光照圖像的能力.

(a)低光照圖像 (b)標準參考圖像 (c)刪除注意力機制的結(jié)果 (d)本文方法的結(jié)果

是否刪除顯著性引導和注意力機制后得到的3個指標值對比如表2所示.由表可看出，引入顯著性引導在3個指標上都有明顯的積極影響.引入注意力機制后，3個指標值也都有明顯上升.

表2 不同模塊對方法性能的影響

2.6 階段數(shù)量分析

本文根據(jù)選擇數(shù)據(jù)集的特點與實際需求， 設置兩階段注意力結(jié)構(gòu).為了分析階段數(shù)量對實驗結(jié)果的影響，提供單階段注意力結(jié)構(gòu)和三階段注意力結(jié)構(gòu)的增強效果，如圖6所示.由圖可見，在MIT-Adobe FiveK數(shù)據(jù)集上，單階段注意力存在明顯的曝光不足，而三階段注意力也并不能在視覺效果上帶來更多增益，只造成參數(shù)的冗余，這說明在MIT-Adobe FiveK數(shù)據(jù)集上，兩階段注意力已達到令人滿意的效果，故在實際實驗中將階段數(shù)量設置為2.同時也看出，從單階段到兩階段再到三階段，增強結(jié)果的曝光程度變得更均衡，每一階段都能對前一階段的增強結(jié)果進行優(yōu)化.三階段注意力可提升性能的實情也表明，本文方法可根據(jù)低光照數(shù)據(jù)的難易程度靈活調(diào)整階段數(shù)量及對應顯著性特征的數(shù)量，達到更好的增強效果.

(a)低光照圖像 (b)參考圖像 (c)1階段結(jié)果 (d)2階段結(jié)果 (e)3階段結(jié)果

采用不同階段數(shù)量的注意力網(wǎng)絡的指標值對比如表3所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，相比兩階段注意力，單階段注意力的指標值變小，但三階段注意力的指標值僅獲得幾乎可忽略不計的微弱提升.本文方法僅選用2個顯著性特征作為后續(xù)補充輸入，未使用CPD剩余的網(wǎng)絡結(jié)構(gòu).本文之所以未在圖1中將未用到的部分刪除是因為在不同的任務需求下需要的顯著性特征數(shù)量也是不同的.對于其它曝光程度與MIT-Adobe FiveK數(shù)據(jù)集不同的或是其它類型的圖像處理問題，本文方法可根據(jù)低光照數(shù)據(jù)的光照條件困難程度或遵循任務需求應用更多階段或更少階段的注意力結(jié)構(gòu)，即使用不同數(shù)量的顯著性特征作為后續(xù)引導.

表3 階段數(shù)量不同時的指標值對比

3 結(jié) 束 語

本文提出結(jié)合視覺顯著性與注意力機制的低光照圖像增強方法.首先構(gòu)建基于注意力的漸進式低光照圖像增強網(wǎng)絡，作為本文方法的主干架構(gòu)，實現(xiàn)對亮度場景的精確刻畫及從粗糙到精細的逐步增強，使增強結(jié)果的曝光程度更均衡.再在注意力網(wǎng)絡中引入視覺顯著性信息，將顯著性特征作為補充信息輸入，豐富空間結(jié)構(gòu)信息，充分利用低光照場景中的全局信息和局部細節(jié)，使增強結(jié)果色彩更生動，有效減少可能產(chǎn)生偽影噪聲的問題.對比實驗表明本文方法的優(yōu)越性和有效性.

今后將考慮進一步探究如何更好地面向特定任務，有效引入注意力機制和顯著性引導以設計網(wǎng)絡，如圖像去雨、圖像去霧等.也嘗試構(gòu)建面向硬件結(jié)構(gòu)的低延遲高效算法，更好地貼近工業(yè)級的實際應用需求.