諶貴輝，林瑾瑜*，李躍華，李忠兵，魏鈺力，盧 凱

（1.西南石油大學 電氣信息學院，成都 610500；2.南充職業(yè)技術學院 機電工程系，四川 南充 637131）

0 引言

低照度圖像增強在電子產品、安防監(jiān)控、軍事等領域有著廣泛的應用。低照度圖像主要的特點是低光區(qū)域占據(jù)了圖像大部分，不足的光照會嚴重降低圖像的視覺質量，伴隨著細節(jié)的丟失、對比度的降低導致無法得到完整的圖像信息，同時會影響諸多計算機視覺系統(tǒng)的性能，尤其會對一些目標檢測、圖像分割任務造成極大的負面影響。低照度圖像的產生原因有很多，如低照度環(huán)境、低端的攝影設備以及不正確的攝影設備的調制等。低照度圖像增強則是為了去復原圖像的細節(jié)信息，改善圖像的視覺質量。盡管現(xiàn)在已有一些針對夜間拍攝的相機，但一般來說，這些硬件設備價格較為昂貴、專業(yè)性也非常強，難以推廣到各個領域當中。因此，通過圖像增強的方法來研究如何在低光情況下獲得清晰、高質量圖像的圖像增強技術非常必要。

當前國內外對于低照度圖像處理技術的相關研究還處在不斷摸索的狀態(tài)之中，例如文獻［1］利用深度學習的方法利用3 個模塊完成低照度圖像增強任務。雖取得了一定成果，但還沒有達到預期效果，這個領域的技術還不成熟，仍然還有許多的難點需要去攻克，經過深入的前期調研，目前低照度圖像處理的方法大致能夠分為傳統(tǒng)方法和深度學習的方法。

傳統(tǒng)方法主要分為兩類：一是基于Retinex（Retina cortex）理論［2-6］，該理論基于人類視覺構造，認為人眼看到的圖像由反射光和照射光共同決定，其中反射光對應為物體固有屬性無法改變，因此通過估計照射光強度反解反射光強度，從而達到增強對比度的目的，但是其求解過程是病態(tài)的，需要構建復雜的先驗正則項，且需要花費大量的時間進行迭代。二是基于直方圖均衡化（Histogram Equalization，HE）［7-8］，其原理主要是提高圖像的對比度，通過改變圖像直方圖來改變圖像中各像素的灰度級來增加圖像的對比度，但是該算法缺乏對像素間關系的考慮，且圖像增強過程中可能會將噪聲放大，導致最后得到的圖像含噪聲較大。盡管有許多的學者通過一些傳統(tǒng)的算法去對低照度圖像進行增強處理，但是傳統(tǒng)算法方法缺乏理論依據(jù)、細節(jié)丟失、噪聲大、過度曝光等問題使得最終增強的效果并不理想。另外，傳統(tǒng)算法無法大批量快速處理低照度圖像，這在實際應用中也是個需要著重考慮的問題。

隨著深度學習技術在計算機視覺領域取了一系列成就，深度學習的方法開始成為各領域的主流方法。Lore 等［9］在低照度圖像增強這個領域提出了第一個開創(chuàng)性網絡LLNet（Low-Light Net），該網絡采用一種堆疊稀疏去噪自編碼器的方法同時對低照度圖像進行增亮和去噪。自此在低照度圖像增強這個領域開始涌現(xiàn)出各種基于深度學習的方法。Tao等［10］提出來用于弱光圖像增強的卷積神經網絡（Convolutional Neural Network for Low-Light image enhancement，LLCNN），該網絡利用卷積神經網絡提取圖像多尺度的特征，以結構相似性（Structure SIMilarity，SSIM）為損失函數(shù)去約束真實圖像與低照度圖像之間的映射關系從而增強圖像。Wei 等［11］提出來的RetinexNet（Retinex Network），該網絡利用Retinex 理論與深度學習方法相結合，由分解模塊、增強模塊、重建模塊3 個模塊組成，并用三種損失函數(shù)組合成的混合損失函數(shù)去約束這3 個模塊，原理則是將低照度圖像分解為反射光和照射光，通過增強照射光去增強圖像 。Wang 等［12］提出的 GLADNet（Low-Light Enhancement Network with Global Awareness）網絡，提出了用低光輸入去計算全局估計，利用這個估計指導調節(jié)光照的方法。Jiang 等［13］所提出的EnlightenGAN（Enlighten Generative Adversarial Network），該網絡是一種生成對抗網絡，可以在不需要低/正常光圖像對的情況下進行訓練，降低了網絡對數(shù)據(jù)集的要求。還有近些年的一些深度學習網絡雖然能在一定程度上完成低照度圖像處理的任務，但這些網絡大多采用單階段的編碼器-解碼器的結構去增強圖像，因而在進行下采樣的時候通常會損失一些邊緣特征，這些特征在上采樣時并沒有辦法恢復，進而處理后的圖像會丟失細節(jié)信息，并且這種單階段學習效率不高。

經過前期調研發(fā)現(xiàn)與廣泛應用的單階段網絡相比，多階段網絡會更好地保留原圖像細節(jié)，并且上階段的特征信息有助于豐富下一階段的特征信息。例如，Lim 等［14］發(fā)表的DSLR（Deep Stacked Laplacian Restorer）網絡，利用多個階段去處理圖像并級聯(lián)各階段處理的圖像信息，從結果上看圖像的細節(jié)保留比單階段的網絡更加完整。Zamir 等［15］發(fā)表的MPRNet（Multi-stage Progressive image Restoration）網絡，利用分階段分步處理圖像，每個階段作為下一階段的先決條件，得到的結論是該網絡結構可以增強網絡的泛化能力。

綜上，本文提出了一個多階段多尺度融合網絡，用于逐級學習并增強低照度圖像。與之前的一些低照度圖像增強網絡相比，本文提出的低照度圖像增強網絡屬于多階段網絡，利用分步的方式去逐步增強圖像。

在數(shù)據(jù)集方面，因為低照度真實圖像的數(shù)據(jù)集的收集非常困難所以目前用的低照度數(shù)據(jù)集大多由合成圖像組成，為提高網絡參數(shù)的優(yōu)化效果，本文在LOL 真實數(shù)據(jù)集［11］的基礎上再擴充了10 027 對合成圖片；為了驗證本文提出的網絡架構的有效性，通過與之前一些經典算法和經典網絡進行主觀性和客觀性的對比實驗。

1 MMCA?Net網絡架構設計

本文設計了一個多階段網絡MMCA-Net（Multi-scale Multi-stage Coordinate Attention Network）用于解決單階段網絡模塊造成的細節(jié)丟失的問題。該網絡共分3 個階段，每個階段都包含一個本文設計的CAU（Coordinate Attention-UNet）用于獲取和強化該階段的位置信息和背景信息，并逐級往上傳遞。這樣利用前一階段強化后的信息與現(xiàn)階段的輸入相級聯(lián)的方法，將有助于豐富該階段的特征，從而更好地保留原圖像的一些細節(jié)，且每個階段作為下一個階段的先決條件可以增強網絡的泛化能力。

如圖1 所示，將原圖像通過兩次下采樣模塊得到不同分辨率的圖像L1、L2、L3。這里的下采樣模塊使用雙線性插值法，文獻［14］中通過實驗證實，使用雙線性插值法進行下采樣時，其scale_factor 參數(shù)設定為0.5，即將圖像長寬各縮小一半有較好的效果，因此設定每次下采樣后的圖像長寬為原來的1/2。L1 為原圖像，下采樣得到的L2 的尺寸是原圖像的1/2，L3 的尺寸是原圖像的1/4，L1、L2、L3 的通道數(shù)都為3。下采樣后的圖像因為分辨率的減小會大幅減少學習任務的參數(shù)量，使得學習成本大幅減小。

圖1 MMCA-Net網絡架構Fig.1 Network architecture of MMCA-Net

得到L1、L2、L3 之后，第一階段L3 通過本文改進的Coordinate Attention-UNet 模塊處理后得到L3a，這一階段通過對下采樣后的低分辨率圖像進行處理，一定程度地對圖像進行了增亮且一定程度地恢復了圖像背景輪廓。

第二階段L3a經過上采樣模塊恢復到與L2 相同尺寸之后進行在特征通道上的融合，之后通過一個1×1 的卷積塊進行特征壓縮，得到的特征圖包含了上一階段所提取圖像的位置信息和特征信息，之后將其作為第二階段Coordinate Attention-UNet 模塊的輸入，通過第二階段的多尺度融合模塊提取并強化該階段的特征信息得到了第二階段的輸出L2a，第二階段在第一階段的基礎上再一次對圖像進行了一定程度增亮，且一定程度地恢復了圖像的細節(jié)特征。

第三階具體過程與第二階段相同，L2a通過上采樣模塊恢復到與L1 相同尺寸后進行在特征通道上的融合，之后通過1×1 的卷積塊，再通過Coordinate Attention-UNet 模塊，得到最后的輸出L1a（output），L1a和輸入的低照度圖像尺寸大小一致，這個階段在對圖像進行了增亮的同時恢復了圖像更多的背景層細節(jié)信息。

本文通過該框架在低分辨率的時候對圖像進行一定的增亮和背景輪廓的恢復，在更高的分辨率下對圖像進行更進一步的增亮和對圖像細節(jié)的恢復。如此從“粗”到“細”的增強方式可以在增亮的同時更多地保留圖像細節(jié)。

1.1 上采樣模塊與下采樣模塊

下采樣模塊和上采樣模塊采用雙線性插值法，其主要操作是以橫縱坐標方向分別進行一次線性插值。其原理圖為圖2，已知4 個像素點A11（x1，y1）、A21（x2，y1）、A12（x1，y2）、A22（x2，y2）。通過單線性插值法在X軸求得B1（x，y1）、B2（x，y2），如式（1）（2），再利用這兩個點通過單線性插值法在Y軸方向求得最終像素點P（x，y），表達式為式（3）。

圖2 雙線性插值法原理Fig.2 Principle of bilinear interpolation method

采用雙線性插值法對圖像進行下采樣和上采樣，可以有效保障圖像的精度，且采樣過程中它不用學習任何參數(shù)。

1.2 Coordinate Attention-UNet模塊

傳統(tǒng)的UNet（U-Network）［16］在進行多尺度融合時只是單純地將上采樣所得到特征圖和同層下采樣時得到的特征圖相融合?？紤]到低照度圖像所包含的內容不同，圖像中物體大小不同，圖像中物體邊界難以分辨這些問題，直接進行特征融合容易造成信息的遺漏。為了更精準地得到圖像的特征信息并滿足對圖像更高的細節(jié)要求，本文引入Coordinate Attention 模塊［17］對UNet 進行改進，得到如圖3 所示的CAU 模塊。將Coordinate Attention 模塊作用于UNet［16］中的下采樣和上采樣之間的跳躍連接上，改進后的CAU 模塊將下采樣產生的特征信息通過Coordinate Attention 模塊強化信息表示之后再與同層上采樣產生的特征信息進行特征融合，操作如式（4）所示：

式（4）中：Fid表示第i層下采樣后的特征圖，F(xiàn)ie表示第i層上采樣后的特征圖，?表示注意力機制強化，⊕表示Concat操作。

CAU 模塊中，Encoder 和Decoder 的每一層都包含兩個3×3 卷積和兩個ReLU（Rectified Linear Unit）激活函數(shù)，表達式如式（5）（6）：

其中：ρ表示一個卷積操作之后再通過一個ReLU 激活函數(shù)。

圖3 所示的下采樣采用最大全局池化的方法，使用全局最大池化除了可以方便代替卷積層外，還可以減小因卷積層參數(shù)誤差而造成的估計均值偏移，可以更好地提取圖像的紋理；且圖像領域關注的信息在特征圖上的像素值較大，最大池化的作用則是將這些像素值大的信息給保留下來，從而達到去除冗余信息、保留關鍵信息的目的。考慮到下采樣后圖像尺寸減小，需要上采樣進行圖像尺寸的復原，上采樣常用插值法或反卷積的方法，使用反卷積進行上采樣可以減少人工因素的影響，因而這里采用2×2 的反卷積。網絡最后得到了大小為64 ×H×W的特征圖，特征圖融合了深層和淺層的特征信息，最終通過一個1×1 的卷積進行特征壓縮，得到大小為3 ×H×W的增強圖像。

圖3 Coordinate Attention-UNet模塊Fig.3 Coordinate Attention-UNet module

1.3 Coordinate Attention 模塊

在一張圖像里面，很多信息是無用的，而注意力機制則是為了去關注有用的信息，抑制無用的信息，引入注意力機制則是為了選擇聚焦位置產生更具分辨性的特征表示。目前通常用到的注意力機制模塊主要有SENet（Squeeze-and-Excitation Network）模 塊［18］和CBAM（Convolutional Block Attention Module）［19］模塊等。

SENet［18］模塊因計算成本低而被廣泛應用在各輕量級網絡中，其過程分為Squeeze 和Excitation 兩步，表達式分別為式（7）和式（8）：

式（8）中：Wc1、Wc2代表全連接操作，δ和σ分別代表ReLU 和Sigmoid 激活函數(shù)。Squeeze 將H×W×C的矩陣壓縮為1 ×1 ×C的矩陣，之后經Excitation 得到所需要的權重s，可以看出因SENet［18］更多地考慮通道間信息的編碼而忽視了位置信息，而位置信息對于一些需要捕獲目標結構的任務來講非常重要。

CBAM［19］模塊結合了通道注意力機制和空間注意力機制，其表達式分別為式（9）和式（10）：

式（9）中：W1和W0為共享模塊的權重，式子（10）中分別為平均池化特征和最大池化特征，σ為Sigmoid 激活函數(shù)，7×7 為卷積核。CBAM 模塊通過減少通道數(shù)并使用大尺寸卷積來利用位置信息，這樣只能捕捉到局部的相關特征，無法滿足對于視覺任務非常重要的長程依賴性。

Hou 等［17］通過實驗證明，與SENet［18］和CBAM［19］相比，CA（Coordinate Attention）［17］不僅能捕捉到跨通道的信息，還能得到方向和位置的信息，使得網絡更加精準地得到想要關注的信息，且CA 模塊非常輕量，可以很靈活地運用于各大架構中。

CA 模塊結構如圖4 所示，輸入X通過尺寸為（H，1）和（1，W）的池化層經全局池化分解為水平、垂直坐標兩個方向上的一維特征編碼，其過程表達式為式（11）和式（12）：

圖4 Coordinate Attention 模塊Fig.4 Coordinate Attention module

式中：xc(h，i)、xc(j，w)分別表示輸入特征圖坐標為(h，i)、通道為c的分量和坐標為(j，w)、通道為c的分量分別表示長為h的第c個通道的分量和寬為w的第c個通道的分量。這樣沿著兩個空間方向進行特征融合而得到一對含有方向信息的特征圖，可以使得網絡模塊不僅能滿足一個空間方向的長程依賴，還能保留沿著另一個空間方向的位置信息。

通過共享的1×1 卷積對通道進行降維得到空間信息在水平和豎直方向的中間特征圖，其過程表達式為式（13）：

式（13）中：F1代表卷積運算，δ代表ReLU 激活函數(shù)，f表示對空間信息在水平方向和垂直方向進行編碼的中間特征映射。

之后沿著空間維度將其劃分為兩個單獨的張量，通過1×1 卷積和Sigmoid 激活函數(shù)得到兩個注意力權重值其表達式為式（14）和式（15）：

式中：gh、gw表示兩者方向的注意力權重值；σ表示Sigmoid激活函數(shù)；Fh、Fw表示1×1 卷積。

最后通過運用得到的權重與輸入相結合得到注意力加強后的特征圖，其表達式為：

其中：xc(i，j)表示輸入特征圖表示兩個方向的注意力權重值。

1.4 損失函數(shù)

本文所提出的網絡由3 個階段構成，為了從“粗”到“細”恢復低照度圖像，本文使用由L1 損失函數(shù)和SSIM 損失函數(shù)構成的混合損失函數(shù)去約束每個階段的學習任務。

L1 損失函數(shù)的表達式為式（17）所示，L1 損失函數(shù)又叫平均絕對誤差，是一種常用的回歸損失函數(shù)，是目標值與預測值之差的絕對值之和，表達了平均誤差的幅度因此不需要考慮誤差的方向。有研究表明L1 損失函數(shù)可以比較好地保留圖像內容的顏色和亮度，在網絡GLADNet［12］中使用L1 損失函數(shù)去消除訓練過程中的噪聲對圖像增強的影響。但是L1 損失函數(shù)存在一定的缺陷，對于神經網絡來講，它的梯度在極值點的時候會有很大的躍變，即使很小的損失值也會產生很大的誤差，這將會影響實驗效果，通常在使用L1 損失函數(shù)的時候需要將學習速率設為不斷衰減的學習速率，這樣才可以使誤差減小，使得函數(shù)趨于收斂。

式（17）中：C、W、H分別代表輸入圖像的通道數(shù)、長度、高度；y(xc，h，w)代表預測值代表真實值，xc，h，w表示該階段的輸入。

均方誤差（Mean Squared Error，MSE）損失函數(shù)的表達式如式（18）。和L1 損失函數(shù)一樣，通常使用在回歸損失函數(shù)中，MSE 損失函數(shù)的曲線光滑連續(xù)，也處處可導，而且在伴隨著網絡訓練過程中誤差減小，梯度也會減小，如此便可加速收斂過程，因而即便是使用不變的學習速率，也可以很快收斂。但是當真實值和預測值差值大于1 的時候誤差也會增大，也就是說MSE 損失函數(shù)對差異值較大的點很敏感，當網絡訓練時MSE 損失函數(shù)會賦予這些點更大的權重值，如此便會對其他點造成很大的影響，最終得到的網絡訓練參數(shù)可能會對預測結果產生不好的影響。

式中：C、W、H分別代表輸入圖像的通道數(shù)、長度、高度；y(xc，h，w)代表預測值代表真實值，xc，h，w表示該階段的輸入。

考慮到L1 損失函數(shù)和MSE 損失函數(shù)的優(yōu)缺點，使用L1損失函數(shù)和MSE 損失函數(shù)結合的混合損失函數(shù)訓練本文的多階段網絡，使每個階段的訓練既能很好地保留圖像內容的顏色和細節(jié)，又能使函數(shù)很快地收斂。其表達式為式（19）：

通過前期調研和參考文獻［12］發(fā)現(xiàn)式（19）中a設為0.01、b設為1 時函數(shù)收斂最快，且得到的預測效果最好。

2 實驗與結果分析

為了對本文所提出的網絡架構進行實驗分析，首先對實驗環(huán)境進行配置：實驗在百度的深度學習平臺飛槳上面進行，在飛槳平臺上運用其開源的Paddle 框架與一些的python庫進行網絡搭建。實驗所用服務器是Tesla V100 的顯卡，其內存為32 GB。

2.1 數(shù)據(jù)集與訓練樣本

本文實驗所采用的數(shù)據(jù)集為公開數(shù)據(jù)集LOL 數(shù)據(jù)集［10］，包含了485 對真實場景下的正常/低照度圖像。為了增強網絡的泛化能力，避免訓練出現(xiàn)過擬合現(xiàn)象，通過Photoshop 軟件調整正常光圖像的曝光率進而得到了10 027 對正常/低照度圖像，一共10 512 對圖像作為網絡訓練的數(shù)據(jù)集，數(shù)據(jù)集如圖5 所示，其中90%作為訓練集，10%作為驗證集。

圖5 數(shù)據(jù)集圖像對Fig.5 Dataset image pairs

2.2 網絡訓練方法

訓練方法：采用Adam［20］梯度優(yōu)化算法，學習率設為0.001，batch_size 設為64。訓練的結束取決于網絡是否得到了最優(yōu)訓練參數(shù)。為了得到最優(yōu)訓練參數(shù)，則需要關注損失函數(shù)的變化，如圖6 所示為網絡訓練過程中損失函數(shù)的變化曲線。

從圖6 中看出當步數(shù)大約為8 萬步以后訓練集和驗證集損失函數(shù)變化已趨近穩(wěn)定，當步數(shù)超過10 萬步之后損失函數(shù)幾乎不再改變，說明此時的網絡參數(shù)已趨近最優(yōu)，此時迭代次數(shù)為30，訓練結束。最終選擇迭代次數(shù)為30 次的訓練參數(shù)作為之后的測試參數(shù)。

圖6 訓練過程中的損失函數(shù)變化Fig.6 Loss function changes during training process

2.3 評價指標

為了定量地去評估低照度圖像處理的效果，本文使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和SSIM［21］對圖像質量進行評估。PSNR 和SSIM 常被作為評價圖像的客觀指標，PSNR 單位為dB，數(shù)值越大代表失真越??；SSIM 是衡量兩幅圖像相似度的指標，從亮度、對比度、結構三個方面評價圖像質量，相對于PSNR 指標來講SSIM 指標更符合人類視覺觀察到的直觀效果，其數(shù)值越大代表圖像相似性越高，恢復的圖像質量越好。PSNR 和SSIM 的表達式分別如式（20）和式（21）所示：

2.4 消融實驗

為驗證改進后的CAU 網絡效果和多階段結構的有效性，本文分別做了3 個消融實驗。

消融實驗一 通過比較在UNet［16］和CAU 網絡處理后的圖像效果，驗證CAU 網絡的有效性。如圖7 所示，雖然CAU網絡在亮度差異較大的區(qū)域會有光暈產生，但是從圖中方框中可以發(fā)現(xiàn)改進后的CAU 網絡在細節(jié)信息保留方面比UNet［16］網絡做得更好。

圖7 UNet網絡與CAU網絡主觀圖Fig.7 Subjective images of UNet network and CAU network

為了定量說明CAU 網絡對于UNet 網絡提升了多少，統(tǒng)計它們的峰值信噪比（PSNR）和結構相似性（SSIM）值來進行比較，結果如表1 所示。從表1 中可以看出，CAU 網絡相較于UNet 網絡在PSNR 值上提高了12.9%，在SSIM 值上提高了16.7%。

表1 UNet網絡與CAU網絡的峰值信噪比與結構相似性值Tab.1 PSNR and SSIM values of UNet and CAU networks

消融實驗二 為了驗證CAU 網絡中引入坐標注意力機制（CA 模塊）［17］的有效性，與引入SENet 模塊［18］和引入CBAM［19］模塊進行比較，最終效果如圖8 所示?？梢悦黠@看出圖8（b）中引入SENet 模塊［18］時得到的主觀圖有明顯的噪點；圖8（c）中引入的CBAM 模塊［19］后得到的主觀圖也有一定程度的失真；圖8（d）中雖然在亮度差異較大的燈光區(qū)域會有明顯的光暈和黑影出現(xiàn)，但是比較圖8（b）～（d）中紅框部分，可以明顯看出引入坐標注意力機制后得到的圖像在保留細節(jié)方面做得更加優(yōu)秀。

圖8 引入不同注意力機制模塊的主觀圖Fig.8 Subjective images with different attention mechanism modules introduced

為了定量說明引入坐標注意力機制模塊的優(yōu)越性，統(tǒng)計三種注意力機制模塊的PSNR 和SSIM 值來進行比較，結果如表2 所示。

表2 不同注意力機制下的多尺度融合網絡的峰值信噪比與結構相似性數(shù)值Tab.2 PSNR and SSIM values of multi-scale fusion networks with different attention mechanisms

從表2 中看出引入CA 模塊相較于引入SENet 模塊和CABM 模塊在PSNR 值上分別提高了7.0%、1.4%，在SSIM 值上分別提高了12.9%、2.9%。

消融實驗三 分別使用單階段的CAU 網絡，兩階段的CAU 網絡和三階段CAU 網絡去處理相同的一批低照度圖像。結果如圖9 所示：圖9（b）為單階段CAU 網絡處理出來的圖像，主觀上可以看出對低照度圖像有增強的效果，但是方框內會出現(xiàn)很明顯的光暈和黑影；如圖9（c）所示為兩階段的CAU 網絡處理的結果，主觀上可以看出相較于單階段的CAU 網絡的增強效果有明顯提升，也沒有出現(xiàn)黑影，圖像更加清晰，但是方框內依然存在光暈；如圖9（d）所示為當網絡增加到三階段的時候，從主觀上觀察，其圖像明顯較單階段CAU 網絡和兩階段CAU 網絡圖像增強的效果更好，且圖像細節(jié)保留得更完整。

圖9 不同階段Coordinate Attention-UNet網絡的主觀圖Fig.9 Subjective images of Coordinate-Attention UNet network at different stages

為了定量說明三階段CAU 網絡相較于單階段CAU 和兩階段CAU 的優(yōu)越性，統(tǒng)計它們的參數(shù)量和計算它們的PSNR和SSIM 值來進行比較，結果如表3 所示。

表3 不同階段CAU網絡處理后的峰值信噪比和結構相似性值與網絡的參數(shù)量Tab.3 PSNR and SSIM values after CAU network processing and number of network parameters at different stages

從表3 中看出，三階段網絡相較兩階段和一階段網絡的參數(shù)量有所增長，但是相應的圖像質量評價指標也有十分明顯的提升。若增加為四階段網絡因為參數(shù)量過于龐大，訓練成本會非常高，且實驗環(huán)境暫時無法承擔此項任務，因而最終選定三階段網絡為MMCA-Net 網絡架構。

2.5 MMCA-Net與其他算法、網絡的對比實驗

為了評估MMCA-Net 網絡的性能，使用相同的數(shù)據(jù)集進行訓練，復現(xiàn)之前的一些經典低照度圖像處理的方案（同樣訓練到當損失函數(shù)不在下降，趨于穩(wěn)定后）用于對比。算法包括了Rahman 等［4］提出的MSR（Multi-Scale Retinex）算法；Cheng 等［22］提出的直方圖均衡化（HE）算法；Wei 等［11］提出的RetinexNet 網絡和還有Lim 等［14］提出的DSLR 網絡。測試集源自于公開數(shù)據(jù)集LOL［11］和SICE［23］，最終效果對比如圖10所示。從主觀效果上可以簡單地評判圖像的質量，從圖中的實驗結果可以清楚看出：

1）經過MSR［4］和HE［22］兩種傳統(tǒng)方法處理的圖像顏色保真性差，HE［22］算法處理后的圖像在一些關鍵點對比度會非常低，圖像會有很多噪點，MSR 算法在處理一些亮度相差很大的區(qū)域會出現(xiàn)光暈現(xiàn)象，且處理之后的圖像紋理不清晰，邊緣銳化不足。

2）RetinexNet［11］網絡雖然能做到對低照度圖像增強的功能，但是很明顯處理后的圖像噪點多，色彩失真非常嚴重，效果并不好。

3）通過圖10 的主觀效果可以看出DSLR［14］的增強效果相較于傳統(tǒng)方法和RetinexNet［11］來講是有很大提升的，但是本文所提出的MMCA-Net 在細節(jié)保留方面會更加優(yōu)秀。

圖10 原圖以及不同方法增強后的效果圖Fig.10 Original images and effect images enhanced by different methods

為了定量地評估MMCA-Net 相較于對比方法的優(yōu)越性，采用PSNR 和SSIM 作為評估各算法、網絡效果的評價指標，另外給出網絡的參數(shù)量用于綜合性比較。各算法在測試集上的PSNR 值和SSIM 值以及參數(shù)量如表4 所示，從表中可以看出雖然MMCA-Net 網絡在參數(shù)量上遠超于DSLR 網絡和RetinexNet 網絡，但是相較于2020 年較新的DSLR 網絡，MMCA-Net 在PSNR 值提高了11.0%；SSIM 值提高了6.8%。結果表明本文提出的多階段注意力網絡恢復的圖像質量優(yōu)于之前的四種算法、網絡，且圖像更加真實、可信。

表4 不同方法的峰值信噪比和結構相似性值與網絡的參數(shù)量Tab.4 PSNR and SSIM values and number of network parameters of different methods

綜上所述，本文提出的MMCA-Net 網絡相較于其他4 種算法、網絡不論是在主觀分析還是客觀分析上，本文在低照度圖像增強任務上的表現(xiàn)都更為優(yōu)秀。

3 結語

針對低照度圖像增強過程中因圖像內容有重疊且部分區(qū)域亮度差異較大，導致圖像細節(jié)丟失的問題，本文提出了一個注意力機制下的多階段低照度圖像增強網絡，該網絡主要包含三個階段，每個階段包含一個用于提取并強化圖像特征信息的多尺度融合模塊，三個階段的輸入為不同分辨率的低照度圖像，三個階段的任務各有不同，通過低分辨率圖像對背景輪廓進行一定的恢復，再逐步到利用高分辨率圖像進行圖像細節(jié)的恢復，從而由“粗”到“細”地完成低照度圖像增強任務。并且本文從主觀、客觀兩方面進行實驗分析，驗證了網絡的有效性。為低照度圖像處理任務提供了一種可行有效的方法。此外，雖然本文提出的網絡能夠在圖像增強的同時保留原圖像的細節(jié)，但是在處理一些手機拍攝的夜間相片時，會因為含噪太多導致增強后的圖像含噪點，這也是接下來需要去解決的問題。