杜韓宇，魏 延，唐保香，廖恒鋒，葉思佳

（重慶師范大學計算機與信息科學學院，重慶 401331）

0 引 言

低照度條件下獲取的圖像存在亮度偏低、大量噪聲、細節(jié)模糊等問題，受這些因素影響，圖像處理的高層任務（如目標檢測［1］、圖像分割［2］）的效果也較差。因此學者們針對低照度圖像增強（Low Light Image Enhancement，LLIE）進行了大量的研究工作［3～7］，LLIE成為了圖像處理領(lǐng)域的熱門研究內(nèi)容。

傳統(tǒng)LLIE 算法包括基于直方圖均衡化的方法［8-9］和基于Retinex 理論的方法［10～12］。這些方法在一定程度上提高了低照度圖像的亮度和對比度，但是需要根據(jù)先驗知識手動設置參數(shù)，對不同類型圖像的適應能力較差，并且對大規(guī)模數(shù)據(jù)測試的效果不佳。

近年來基于深度學習的LLIE 方法由于其優(yōu)異的性能，逐漸成為主流的研究方向。Lore 等人［13］提出了基于深度學習的LLIE算法LLNet，這是一種采用深度自編碼器對低照度圖像進行對比度增強和去噪的方法，缺點是沒有使用真實場景下的低照度圖像進行訓練。Wei 等人［14］將Retinex 理論與深度學習方法結(jié)合，提出了Retinex-Net。該模型包括一個將輸入圖像分解為與光無關(guān)的反射圖和結(jié)構(gòu)感知的光照圖的分解網(wǎng)絡和一個調(diào)整光照圖，從而達到低照度增強的增強網(wǎng)絡，并且貢獻了第一個在自然真實條件下拍攝的數(shù)據(jù)集：LOL數(shù)據(jù)集。但該方法存在的問題是分解網(wǎng)絡采用淺層的上/下采樣設計，得到的分解圖比較模糊且存在大量噪聲。Wang 等人［15］提出了一種能感受和提升全局光照與細節(jié)的端到端網(wǎng)絡GLADNet，但其基于純卷積網(wǎng)絡設計，缺少語義信息的指導，導致增強結(jié)果存在偽影。Lyu 等人［16］提出了一種端到端的多分支LLIE 模型MBLLEN，該模型使用了特征提取、融合和增強3 個模塊來高效地增強低照度圖像。Jiang 等人［17］提出了EnlightenGAN 模型，該模型使用了無監(jiān)督學習方法，擺脫了必須用成對的數(shù)據(jù)集訓練的約束，但在GAN 上的訓練卻是不穩(wěn)定的，需要仔細選擇非配對的訓練數(shù)據(jù)。Guo 等人［18］提出了一種無參考深度曲線估算網(wǎng)絡Zero-DCE，通過直觀和簡單的非線性曲線映射來實現(xiàn)圖像增強，后續(xù)又提出了更為輕量快速的模型Zero-DCE++［19］，但是由于訓練的曲線只能調(diào)整光照，沒有同步去噪，對極暗圖進行增強后噪聲也會被放大。Kwon 等人［20］提出了DALE 算法，該方法能夠精確識別黑暗區(qū)域并增強，使圖像光照更平滑。Zamir等人［21］提出了MIRNet，該模型通過遞歸殘差模塊學習圖像的深層特征，充分還原了圖像細節(jié)，但是計算復雜度高，需要消耗大量計算資源。Zheng 等人［22］提出了一種自適應展開全變分網(wǎng)絡UTVNet，該網(wǎng)絡通過學習基于模型的全變分正則化去噪方法中的平衡參數(shù)來逼近真實圖像的噪聲水平。

盡管基于深度學習的LLIE 算法能改善低照度圖像的光照，但仍存在以下幾點問題：1）上述許多深度LLIE模型僅使用堆疊卷積或上/下采樣的方式設計網(wǎng)絡，網(wǎng)絡層數(shù)過淺無法提取圖像深層特征，導致圖像噪聲消除不徹底，網(wǎng)絡層數(shù)過深則可能導致反向傳播過程中損失圖像細節(jié)；2）許多算法的損失函數(shù)對網(wǎng)絡訓練約束不全面，導致的增強圖像細節(jié)損失和色彩失真嚴重；3）上述方法中，很多使用了合成的低照度圖像作為訓練集，但現(xiàn)實世界中圖像會有不同情況的照明條件以及噪聲情況，合成圖像不能準確代表現(xiàn)實情況。

為緩解以上問題，本文設計一種基于殘差網(wǎng)絡與視覺注意力的LLIE 算法。該算法將雙重注意力與殘差模塊融合作為主干網(wǎng)絡的主要構(gòu)成部分，并添加卷積神經(jīng)網(wǎng)絡構(gòu)成細節(jié)恢復子網(wǎng)絡。網(wǎng)絡中使用了雙重注意力單元（Dual Attention Unit，DAU）用于捕獲圖像空間域和通道域的信息，并附上相應權(quán)重。特別地，本文提出一種融合雙重注意力的殘差模塊（Dual Attention Residual Block，DA-ResBlock），利用殘差網(wǎng)絡的“殘差連接（Shortcut）”機制［23］，減少模型提取圖像深層特征時的損失；DAU 使網(wǎng)絡在訓練時更注重對黑暗區(qū)域的增強以及抑制噪聲和偽影產(chǎn)生；在DA-ResBlock 內(nèi)部的卷積使用了具有多級感受野的膨脹卷積，可以獲取更豐富的上下文信息，進一步減少圖像特征的損失。在損失函數(shù)上，本文使用注重恢復圖像色彩和亮度的L1損失和注重恢復圖像紋理的多尺度結(jié)構(gòu)相似度（Multi-scale Structural Similarity，MS-SSIM）損失。通過在現(xiàn)實場景中拍攝的公共數(shù)據(jù)集上進行大量實驗驗證，本文算法在亮度提高、色彩與細節(jié)恢復、噪聲與偽影控制這幾個方面取得了令人滿意的視覺效果，在評價指標PSNR（Peak Signal-to-Noise Ratio）、SSIM（Structural Similarity）與LPIPS（Learned Perceptual Image Patch Similarity）上，與近些年主流算法相比取得了更好結(jié)果。

總之，為了緩解上面提出的幾點問題，本文主要做以下3點工作：

1）針對上述問題1，提出融合了DAU 的殘差模塊DA-ResBlock，用于圖像深層特征的提取和噪聲的抑制。DAU 可以增強卷積神經(jīng)網(wǎng)絡對于圖像細節(jié)的感知，提高網(wǎng)絡的非線性表示能力。DA-ResBlock 中的殘差結(jié)構(gòu)可增強網(wǎng)絡的信息傳遞能力。

2）針對上述問題2，本文使用將MS-SSIM 損失和L1 損失結(jié)合起來的復合損失函數(shù)，以便更好地平衡圖像色彩和紋理的恢復。通過使用這種復合損失函數(shù)，可以保證圖像增強效果的全面性和準確性。

3）針對上述問題3，提出基于雙重注意力殘差模塊的低照度圖像增強網(wǎng)絡，在多個提供真實圖像的公共數(shù)據(jù)集上進行訓練，從而提高算法的魯棒性和泛化能力。

1 相關(guān)研究

1.1 ResNet

在LLIE 任務中網(wǎng)絡層數(shù)越深越能提取到低照度圖像的深層特征，但是過深的網(wǎng)絡模型會導致數(shù)據(jù)淺層特征丟失以及梯度消失問題。He 等人［23］設計的ResNet 解決了此問題。ResNet 的基本單元為殘差模塊（Residual Block，ResBlock），它由2個權(quán)重層、1個激活函數(shù)和1 個“殘差連接（Shortcut）”組成，如圖1 所示。假設輸入為x，理想輸出為F（x），普通的2層卷積網(wǎng)絡（Conv）要學習復雜的非線性映射來擬合F（x）。Shortcut 直接把輸入特征圖和ResBlock 的輸出相連，只需擬合F（x）-x，優(yōu)化后更簡單，也減少了梯度消失和特征丟失的風險。

圖1 ResBlock結(jié)構(gòu)

近年來，很多研究者受ResNet 啟發(fā)，提出應用了殘差結(jié)構(gòu)的LLIE 算法，如潘曉英等人［24］提出的FRED-Net。它利用了殘差塊和密集上下文特征聚合模塊來增加特征多樣性和聚合全局多尺度特征，但殘差塊的結(jié)構(gòu)較為簡單，可能限制了網(wǎng)絡對復雜特征的提取效率。

1.2 視覺注意力

視覺注意力在LLIE 中的應用主要是通過引入注意力模塊對圖像的特征進行加權(quán)，使得模型能夠更加關(guān)注有用的特征，從而提高圖像增強的效果。這種方法能夠克服低照度圖像增強中光照不均勻、圖像噪聲等問題。一般可將注意力按域劃分為通道域、空間域以及混合域。

1.2.1 通道注意力

對于通道注意力（Channel Attention，CA），在LLIE 中輸入的圖像一般都是三通道，每個通道經(jīng)過不同卷積核后產(chǎn)生不同的特征圖，為了更好地保存與該通道相關(guān)的信息，應給每個通道附上權(quán)重，權(quán)重越大的通道所包含的信息與任務相關(guān)性越大，再使用CA 學習每個通道的權(quán)重，以產(chǎn)生通道注意力圖。具體如圖2 所示，CA 通過擠壓（Squeeze）和激勵（Excitation）操作［25］學習每個通道的權(quán)重，并利用卷積特征映射通道間的關(guān)系。給定特征圖F∈RC×H×W（R 為實數(shù)集，C、H、W為通道數(shù)、高、寬），擠壓操作使用全局平均池化（Global Average Pooling，GAP）來編碼全局上下文，從而產(chǎn)生一個特征描述符d。激勵操作將d通過2個卷積層，第一個卷積用ReLU 激活，第二個卷積用Sigmoid 激活，生成特征描述符d′∈RC×1×1，最后將d′與輸入特征圖相乘（?）得到通道注意力圖Mc。

圖2 通道注意力

1.2.2 空間注意力

為了對圖像中黑暗區(qū)域進行針對性增強，使用空間注意力（Spatial Attention，SA）對輸入圖像中與增強任務相關(guān)的特征位置信息添加權(quán)重。SA 利用卷積特征的空間相關(guān)性，能實現(xiàn)輸入圖像的空間信息在不同空間的轉(zhuǎn)換，以提取低照度區(qū)域關(guān)鍵位置信息并附上相應權(quán)重，最后輸出相應的空間注意力圖。具體如圖3 所示，首先獨立地沿著通道維度對特征F進行全局平均池化（GAP）和全局最大池化（Global Max Pooling，GMP）操作，并將輸出進行拼接，形成特征圖f，通過卷積和Sigmoid 激活得到空間注意映射f′，最后將f′與輸入特征圖相乘得到空間注意力圖Ms。

圖3 空間注意力

混合域注意力機制的實現(xiàn)通常使用通道注意力和空間注意力來提取不同域的特征，然后將2 種注意力機制生成的加權(quán)特征進行融合，得到最終的特征表示。本文算法中使用的DAU 屬于混合域注意力，具體將在2.1節(jié)進行描述。

近年來，很多研究者已經(jīng)將視覺注意力結(jié)合到LLIE 算法中，如諶貴輝等人［26］提出的MMCA-Net，它利用多階段并結(jié)合注意力機制實現(xiàn)低照度圖像增強的方式，有效克服了因圖像內(nèi)容重疊和亮度差異大的影響，得到的圖像細節(jié)更豐富，但所提出的注意力模塊較為復雜，模型整體參數(shù)量較大。

2 基于雙重注意力殘差模塊的LLIE算法

本文將LLIE 任務分解為光照增強和細節(jié)恢復2個子任務，分別對應子網(wǎng)絡增強網(wǎng)絡（Enhancement Network，EN）和細節(jié)恢復網(wǎng)絡（Detail Restoration Network，DRN），分步驟完成這些子任務產(chǎn)生最終輸出。

2.1 增強網(wǎng)絡

增強網(wǎng)絡部分的主要任務是完成光照增強和色彩恢復，但圖像邊緣細節(jié)可能仍不完善。如圖4（a）所示，該網(wǎng)絡首先經(jīng)過卷積核為3×3 的卷積層將3 通道調(diào)整為64 通道，再通過3 個串聯(lián)的DA-ResBlock，塊內(nèi)分別使用了膨脹因子從3 到1 的膨脹卷積，以序列的形式協(xié)同漸進地提取不同尺度的上下文特征，處理輸入的低照度圖像數(shù)據(jù)流。然后將所有DAResBlock 在通道維度拼接為192通道，通過DAU 給拼接后圖像的通道和空間賦予相應的權(quán)重，提取出包含圖像空間信息與通道色彩信息的注意力圖。最后經(jīng)過2個3×3的卷積層將通道調(diào)整為64通道，同時學習注意力圖中的特征信息。

圖4 本文方法的網(wǎng)絡結(jié)構(gòu)圖

本文1.2 節(jié)提到CA 對通道內(nèi)的信息進行全局平均池化，但這樣無法關(guān)注每個通道內(nèi)的局部信息，而SA 將每個通道中的圖像特征做一樣的處理，但在圖像特征提取階段，通道中的信息卻被忽略了。為了結(jié)合2 種注意力各自的優(yōu)勢，本文的模型中使用將CA與SA 結(jié)合的DAU 來共享通道與空間維度的信息，具體實現(xiàn)參考文獻［21］所提出的雙重注意力模塊，結(jié)構(gòu)如圖4（d）所示。

2）DA-ResBlock。

為了實現(xiàn)高效穩(wěn)定地提取圖像的深層特征，同時減少淺層特征損失，本文將DAU 與膨脹卷積融入ResBlock 內(nèi)部設計了DA-ResBlock，結(jié)構(gòu)如圖4（c）所示。該模塊利用了殘差網(wǎng)絡中的“Shortcut”機制，保證了提取深層特征的同時不會丟失淺層特征，提高了訓練的穩(wěn)定性。DAU 的加入使得網(wǎng)絡更加關(guān)注圖像黑暗區(qū)域的增強，并減少噪聲和偽影，從而提高了網(wǎng)絡應對復雜場景的泛化能力和魯棒性。此外還借助調(diào)整膨脹因子大小來增大網(wǎng)絡的感受野，獲取更豐富的上下文信息，進一步減少了圖片細節(jié)在訓練過程中的損失。

2.2 細節(jié)恢復網(wǎng)絡

經(jīng)過增強網(wǎng)絡處理后的低照度圖像的亮度和色彩已經(jīng)得到了一定程度的增強，為了使結(jié)果圖像更接近標簽圖像，本文設計一個細節(jié)恢復網(wǎng)絡對增強圖像做進一步優(yōu)化，結(jié)構(gòu)如圖4（b）所示。因為原始輸入含有更多圖像細節(jié)，所以首先將增強網(wǎng)絡的輸出與原始輸入圖像拼接，然后依次通過5 層ReLU 激活的卷積層來還原更多圖像的細節(jié)特征。其中拼接后輸出通道為67 通道，經(jīng)過第一層卷積調(diào)整為128 通道，之后3 層卷積通道數(shù)不變，最后一層卷積將通道數(shù)調(diào)整回3通道得到最終輸出。

2.3 損失函數(shù)

L1損失能夠保護色彩和亮度，但是它會忽略局部結(jié)構(gòu)，MS-SSIM 損失保留了結(jié)構(gòu)和紋理，但是對均勻的誤差敏感性較低，會使處理結(jié)果偏暗并且色彩失真［27］。于是本文選擇將L1損失與MS-SSIM 損失結(jié)合，使得兩者優(yōu)勢互補。定義為：

式中，λ為平衡2種損失的權(quán)重參數(shù)，通常λ的取值小于0.5，因為MS-SSIM 損失更能反映人眼對圖像質(zhì)量的感知，這里取λ=0.16［27］。

L1損失取值為（0，∞），其值的大小與增強后圖像與標簽圖像的絕對誤差呈線性關(guān)系，能夠很好地衡量增強圖像與標簽圖像的差異，并且L1損失對于部分偏移正常范圍的樣本具有魯棒性。在LLIE 任務中不管圖像的紋理結(jié)構(gòu)如何，懲罰錯誤的權(quán)重都是相同的，所以能夠很好地保護圖像色彩和亮度［27］。定義為：

高職院校實施二級財務管理是提升高職院校二級學院地位的必然之舉 高職院校在發(fā)展之初，規(guī)模較小，每個系部的教師和學生數(shù)量較少，一般高職院校很難實施二級管理。伴隨著近十余年的高速發(fā)展，高職院校的學生數(shù)量和每個系部的教師數(shù)量呈現(xiàn)直線上升的趨勢，每個系部開設的專業(yè)也越來越多，原有的模式很難推動高職院校進一步發(fā)展。在此背景下，實施二級財務管理，通過建立對等的責、權(quán)、利經(jīng)濟責任，可以很好地調(diào)整二級學院工作積極性和主動性。此外，實施二級財務管理體制，可以很好地引導二級學院面向市場設置專業(yè)，提升職業(yè)教育人才培養(yǎng)質(zhì)量。

式中，N表示樣本數(shù)，IGT和IEN分別表示標簽圖像和增強圖像。

SSIM用于計算2張圖片的相似程度，對圖片紋理結(jié)構(gòu)的變化敏感，所以作為損失函數(shù)能很好地約束圖像的結(jié)構(gòu)損失。MS-SSIM 相較于SSIM 考慮了圖片的分辨率，能更好地保留高頻信息，即圖像的邊緣細節(jié)，作為損失函數(shù)能夠在增強過程中引導網(wǎng)絡很好地保護圖像的結(jié)構(gòu)和紋理［28］。定義為：

式中，x、y表示增強圖像和標簽圖像，M表示不同尺度，μx、μy為x和y的像素平均值，、為方差，σxy為協(xié)方差，βm和γm表示2項之間的相對權(quán)重，C1和C2為避免分母為0的常數(shù)。

3 實驗結(jié)果與分析

本文實驗在Windows10 64 位操作系統(tǒng)上用Python 語言進行設計，在Pytorch 框架上進行實驗。硬件條件為Intel Core i9-10920X 處理器，NVIDIA Ge-Force RTX3090 24 GB 圖形處理器，內(nèi)存為128 GB。

3.1 數(shù)據(jù)集及實驗參數(shù)配置

本文選取2 個常用公共數(shù)據(jù)集進行實驗，分別為LOL數(shù)據(jù)集［14］以及MIT-Adobe FiveK 數(shù)據(jù)集［29］。

LOL 數(shù)據(jù)集是在真實場景中拍攝的低照度與正常照度圖像的配對圖像數(shù)據(jù)集，使用變更曝光時間和ISO 的方式獲得低照度圖像。LOL 數(shù)據(jù)集中包括500幅尺寸為400×600 的低照度/正常照度圖像，圖像格式為RGB 格式。本文選取其中485 幅圖像作為訓練數(shù)據(jù)，15對圖像作為測試數(shù)據(jù)。

MIT-Adobe FiveK 數(shù)據(jù)集包含5000 幅由專業(yè)攝影師拍攝的高質(zhì)量圖像，圖像格式為raw 格式。因為本文能夠處理的圖像格式為RGB 格式，為了能有效訓練，本文使用Adobe Lightroom 軟件按照大多數(shù)實驗配置，將圖像預處理為保持縱橫比長邊為500 像素的RGB圖像。使用數(shù)據(jù)集前4500幅圖像作為訓練數(shù)據(jù)，后500幅圖像作為測試數(shù)據(jù)。

在參數(shù)配置方面，本文使用Adam 優(yōu)化器對模型參數(shù)進行優(yōu)化，初始學習率設置為0.0001，每訓練10個epoch 將學習率下調(diào)4%。在LOL 數(shù)據(jù)集上訓練批次大小設置為4，迭代1000 次。在MIT-Adobe FiveK數(shù)據(jù)集上訓練批次大小設置為1，迭代100次。

3.2 實驗分析

為了評估算法的性能，將本文與近幾年主流LLIE 算法GLADNet［15］、MBLLEN［16］、DALE［20］、MIRNet［21］、Zero-DCE［18］、Zero-DCE++［19］、UTVNet［22］等在LOL 數(shù)據(jù)集和MIT-Adobe FiveK 數(shù)據(jù)集上進行對比實驗，為了確保公平性，所有實驗在相同環(huán)境下進行。

3.2.1 主觀評價

首先對比近幾年主流模型在LOL 數(shù)據(jù)集上的增強結(jié)果，如圖5 所示。本文從測試圖像中選擇“書櫥”和“泳池”2幅圖像作為示例對比。

圖5 不同方法在LOL數(shù)據(jù)集上增強結(jié)果的視覺對比

從圖5 中可以看出，本文對比的算法在LOL 數(shù)據(jù)集上都能對低照度圖像進行一定程度的增強，但GLADNet 和UTVNet 的增強結(jié)果在紅色方框框出的“書櫥”圖像右側(cè)以及“泳池”圖像的墻壁上存在一定程度的白色偽影；MBLLEN 的增強結(jié)果存在色彩失真問題，在“泳池”圖像中藍色方框框出的“電子鐘”邊緣部分存在黑色偽影；DALE 的增強結(jié)果圖像平滑，但相較其他算法亮度偏暗；MIRNet 增強結(jié)果與本文提出的算法增強結(jié)果在亮度上差距不大，但對于“泳池”圖像中綠色方框框出的“電子鐘”部分的色彩和細節(jié)還原上還有些欠缺；Zero-DCE 和Zero-DCE++增強后圖像色彩偏綠，并且存在大量噪聲。綜合對比，本文算法在對低照度圖像進行有效增強的同時，避免了產(chǎn)生噪聲和偽影，并且對圖像細節(jié)和色彩的還原也得到了令人滿意的效果。

在實際應用中，LLIE 算法能否對現(xiàn)實世界復雜光照場景進行有效增強也是一大考驗，為此本文在包含豐富場景的數(shù)據(jù)集MIT-Adobe FiveK 上也進行了對比實驗來驗證算法的泛化能力和魯棒性。如圖6所示，本文從測試圖像中選取“雕塑”和“街道”2 幅圖像作為示例對比。通過對比可以看出，DALE 增強結(jié)果存在色彩失真問題，GLADNet、MBLLEN、Zero-DCE和ZERO-DCE++在色彩與細節(jié)紋理的還原上稍有欠缺，MIRNet、UTVNet 與本文算法都到達了令人滿意的效果，但本文算法的增強結(jié)果與標簽圖像相比，在陰影處細節(jié)、圖像清晰度以及色彩還原方面更加接近。結(jié)果表明本文算法在有效提高低照度圖像亮度的同時，面對不同場景依然具有一定的魯棒性與泛化能力。

圖6 不同方法在MIT-Adobe FiveK 數(shù)據(jù)集上增強結(jié)果的視覺對比

3.2.2 客觀評價

為了定量評估實驗結(jié)果，本文選取峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）、學習感知圖像塊相似度（LPIPS）這3 個評價指標。PSNR 是用來衡量增強圖像和標簽圖像相比質(zhì)量的好壞，PSNR 值越大代表著圖像質(zhì)量越好。SSIM 是用來衡量增強圖像與標簽圖像相似度的指標，取值為0到1之間，值越大表示增強圖像與標簽圖像越相似。LPIPS 也是用于度量增強和真實2 張圖像之間的差別，相比PSNR 和SSIM 更為符合人類的感知情況，LPIPS 的值越低表示2 張圖像越相似，反之差異越大。表1、表2展示的實驗結(jié)果為各驗證集上3 個指標的平均值，最優(yōu)結(jié)果用粗體表示，次優(yōu)結(jié)果用下劃線表示。

表1 LOL數(shù)據(jù)集上增強結(jié)果的定量評價

表2 MIT-Adobe FiveK 數(shù)據(jù)集上增強結(jié)果的定量評價

不同算法在LOL 數(shù)據(jù)集上的客觀評價結(jié)果如表1 所示，本文算法與所對比的主流算法相比在PSNR、SSIM 以及LPIPS 這3 個評價指標上都達到了最優(yōu)，相較于次優(yōu)算法PSNR 提高了0.2484 dB、SSIM 提高了0.0073、LPIPS 降低了0.0046，這表明本文算法在提高低照度圖像亮度、抑制噪聲以及恢復圖像細節(jié)與色彩方面相較于對比算法具有明顯的優(yōu)勢。

表2 展示了不同算法在場景更豐富的MITAdobe FiveK 數(shù)據(jù)集上的定量對比結(jié)果。本文算法在3 個評價指標上同樣達到了最優(yōu)，相較于次優(yōu)算法PSNR 提升了0.4134 dB、SSIM 提升了0.011、LPIPS 降低了0.0052。這表明本文算法相較于對比算法，在面對現(xiàn)實世界復雜場景下也能有更好的處理效果，也從客觀數(shù)據(jù)上驗證其具有較好的魯棒性和泛化能力。

3.3 消融實驗

為了驗證本文所設計的DA-ResBlock 模塊和DRN 網(wǎng)絡的有效性，本節(jié)設計7 種不同的消融實驗，并將它們在LOL 數(shù)據(jù)集上進行測試。分別為M1（未使用注意力）；M2（僅使用空間注意力SA）；M3（僅使用通道注意力CA）；M4（未使用DRN）；M5（使用2 層DA-ResBlock）；M6（使用4 層DA-ResBlock）；M7（未使用膨脹卷積）；M8（使用SSIM 損失替換MS-SSIM 損失）；M9（本文完整模型）。表3為所有模型對比結(jié)果，表4 與圖7 分別為使用DAU 前后的復雜度對比以及主觀視覺對比。

表3 不同模塊消融實驗對比結(jié)果

表4 使用DAU前后模型復雜度對比

圖7 使用DAU前后增強結(jié)果視覺對比

由表3 可知，完整模型的指標優(yōu)于其他模型。其中由M1～M4 的實驗結(jié)果可知，未使用注意力的模型指標最低，單獨使用空間或通道注意力以及未使用DRN 的模型指標都低于完整模型指標。并且從M5、M6 的實驗結(jié)果可知，相較于3 層DA-ResBlock，使用2 層指標有所降低，使用4 層指標并未提高，M7 和M8的實驗結(jié)果表明本文使用MS-SSIM 損失和膨脹卷積可以給模型帶來有效提升。

由表4 可知，使用DAU 后模型復雜度略有提高。由圖7 可知，DAU 能夠有效控制噪聲和偽影，顯著提高圖像質(zhì)量。

綜上所述，本文模型中DAU、DA-ResBlock 和DRN 都能夠有效地提高低照度圖像亮度并優(yōu)化圖像質(zhì)量，本文模型結(jié)構(gòu)具有一定合理性。

4 結(jié)束語

針對常見的基于深度學習的LLIE 算法對低照度圖像增強后導致的噪聲增多、色彩失真、細節(jié)丟失等問題，本文提出了一個融合殘差網(wǎng)絡與視覺注意力的LLIE算法，該算法分為增強網(wǎng)絡和細節(jié)恢復網(wǎng)絡2個部分。增強網(wǎng)絡部分主要包含DA-ResBlock、DAU 以及卷積神經(jīng)網(wǎng)絡。利用殘差網(wǎng)絡的“Shortcut”機制在不丟失淺層特征的情況下對低照度圖像的深層特征進行提取。DAU 能夠引導增強網(wǎng)絡更加關(guān)注任務相關(guān)的特征，抑制了噪聲和偽影。使用了不同膨脹因子的膨脹卷積，可以增大網(wǎng)絡感受野，獲取更豐富的上下文信息。細節(jié)恢復部分拼接了原始的輸入圖像，使用卷積神經(jīng)網(wǎng)絡進一步還原了圖像細節(jié)。通過大量實驗驗證，本文算法在能有效對低照度圖像進行增強，增強圖像的亮度、色彩和細節(jié)紋理都達到了很好的視覺效果，并且抑制了噪聲和偽影。通過與近幾年主流算法在LOL 數(shù)據(jù)集和MIT-Adobe FiveK 數(shù)據(jù)集上對比PSNR、SSIM、LPIPS這3個客觀評價指標，本文算法都得到了更好的結(jié)果，展現(xiàn)了其優(yōu)秀的性能和潛力。在未來的研究中，將考慮提高模型在光照條件更加復雜的低照度場景下進行增強的泛化能力與魯棒性。