諶貴輝，林瑾瑜*，李躍華，李忠兵，魏鈺力，盧 凱

（1.西南石油大學(xué) 電氣信息學(xué)院，成都 610500；2.南充職業(yè)技術(shù)學(xué)院 機(jī)電工程系，四川 南充 637131）

0 引言

低照度圖像增強(qiáng)在電子產(chǎn)品、安防監(jiān)控、軍事等領(lǐng)域有著廣泛的應(yīng)用。低照度圖像主要的特點(diǎn)是低光區(qū)域占據(jù)了圖像大部分，不足的光照會嚴(yán)重降低圖像的視覺質(zhì)量，伴隨著細(xì)節(jié)的丟失、對比度的降低導(dǎo)致無法得到完整的圖像信息，同時會影響諸多計算機(jī)視覺系統(tǒng)的性能，尤其會對一些目標(biāo)檢測、圖像分割任務(wù)造成極大的負(fù)面影響。低照度圖像的產(chǎn)生原因有很多，如低照度環(huán)境、低端的攝影設(shè)備以及不正確的攝影設(shè)備的調(diào)制等。低照度圖像增強(qiáng)則是為了去復(fù)原圖像的細(xì)節(jié)信息，改善圖像的視覺質(zhì)量。盡管現(xiàn)在已有一些針對夜間拍攝的相機(jī)，但一般來說，這些硬件設(shè)備價格較為昂貴、專業(yè)性也非常強(qiáng)，難以推廣到各個領(lǐng)域當(dāng)中。因此，通過圖像增強(qiáng)的方法來研究如何在低光情況下獲得清晰、高質(zhì)量圖像的圖像增強(qiáng)技術(shù)非常必要。

當(dāng)前國內(nèi)外對于低照度圖像處理技術(shù)的相關(guān)研究還處在不斷摸索的狀態(tài)之中，例如文獻(xiàn)［1］利用深度學(xué)習(xí)的方法利用3 個模塊完成低照度圖像增強(qiáng)任務(wù)。雖取得了一定成果，但還沒有達(dá)到預(yù)期效果，這個領(lǐng)域的技術(shù)還不成熟，仍然還有許多的難點(diǎn)需要去攻克，經(jīng)過深入的前期調(diào)研，目前低照度圖像處理的方法大致能夠分為傳統(tǒng)方法和深度學(xué)習(xí)的方法。

傳統(tǒng)方法主要分為兩類：一是基于Retinex（Retina cortex）理論［2-6］，該理論基于人類視覺構(gòu)造，認(rèn)為人眼看到的圖像由反射光和照射光共同決定，其中反射光對應(yīng)為物體固有屬性無法改變，因此通過估計照射光強(qiáng)度反解反射光強(qiáng)度，從而達(dá)到增強(qiáng)對比度的目的，但是其求解過程是病態(tài)的，需要構(gòu)建復(fù)雜的先驗(yàn)正則項(xiàng)，且需要花費(fèi)大量的時間進(jìn)行迭代。二是基于直方圖均衡化（Histogram Equalization，HE）［7-8］，其原理主要是提高圖像的對比度，通過改變圖像直方圖來改變圖像中各像素的灰度級來增加圖像的對比度，但是該算法缺乏對像素間關(guān)系的考慮，且圖像增強(qiáng)過程中可能會將噪聲放大，導(dǎo)致最后得到的圖像含噪聲較大。盡管有許多的學(xué)者通過一些傳統(tǒng)的算法去對低照度圖像進(jìn)行增強(qiáng)處理，但是傳統(tǒng)算法方法缺乏理論依據(jù)、細(xì)節(jié)丟失、噪聲大、過度曝光等問題使得最終增強(qiáng)的效果并不理想。另外，傳統(tǒng)算法無法大批量快速處理低照度圖像，這在實(shí)際應(yīng)用中也是個需要著重考慮的問題。

隨著深度學(xué)習(xí)技術(shù)在計算機(jī)視覺領(lǐng)域取了一系列成就，深度學(xué)習(xí)的方法開始成為各領(lǐng)域的主流方法。Lore 等［9］在低照度圖像增強(qiáng)這個領(lǐng)域提出了第一個開創(chuàng)性網(wǎng)絡(luò)LLNet（Low-Light Net），該網(wǎng)絡(luò)采用一種堆疊稀疏去噪自編碼器的方法同時對低照度圖像進(jìn)行增亮和去噪。自此在低照度圖像增強(qiáng)這個領(lǐng)域開始涌現(xiàn)出各種基于深度學(xué)習(xí)的方法。Tao等［10］提出來用于弱光圖像增強(qiáng)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network for Low-Light image enhancement，LLCNN），該網(wǎng)絡(luò)利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像多尺度的特征，以結(jié)構(gòu)相似性（Structure SIMilarity，SSIM）為損失函數(shù)去約束真實(shí)圖像與低照度圖像之間的映射關(guān)系從而增強(qiáng)圖像。Wei 等［11］提出來的RetinexNet（Retinex Network），該網(wǎng)絡(luò)利用Retinex 理論與深度學(xué)習(xí)方法相結(jié)合，由分解模塊、增強(qiáng)模塊、重建模塊3 個模塊組成，并用三種損失函數(shù)組合成的混合損失函數(shù)去約束這3 個模塊，原理則是將低照度圖像分解為反射光和照射光，通過增強(qiáng)照射光去增強(qiáng)圖像 。Wang 等［12］提出的 GLADNet（Low-Light Enhancement Network with Global Awareness）網(wǎng)絡(luò)，提出了用低光輸入去計算全局估計，利用這個估計指導(dǎo)調(diào)節(jié)光照的方法。Jiang 等［13］所提出的EnlightenGAN（Enlighten Generative Adversarial Network），該網(wǎng)絡(luò)是一種生成對抗網(wǎng)絡(luò)，可以在不需要低/正常光圖像對的情況下進(jìn)行訓(xùn)練，降低了網(wǎng)絡(luò)對數(shù)據(jù)集的要求。還有近些年的一些深度學(xué)習(xí)網(wǎng)絡(luò)雖然能在一定程度上完成低照度圖像處理的任務(wù)，但這些網(wǎng)絡(luò)大多采用單階段的編碼器-解碼器的結(jié)構(gòu)去增強(qiáng)圖像，因而在進(jìn)行下采樣的時候通常會損失一些邊緣特征，這些特征在上采樣時并沒有辦法恢復(fù)，進(jìn)而處理后的圖像會丟失細(xì)節(jié)信息，并且這種單階段學(xué)習(xí)效率不高。

經(jīng)過前期調(diào)研發(fā)現(xiàn)與廣泛應(yīng)用的單階段網(wǎng)絡(luò)相比，多階段網(wǎng)絡(luò)會更好地保留原圖像細(xì)節(jié)，并且上階段的特征信息有助于豐富下一階段的特征信息。例如，Lim 等［14］發(fā)表的DSLR（Deep Stacked Laplacian Restorer）網(wǎng)絡(luò)，利用多個階段去處理圖像并級聯(lián)各階段處理的圖像信息，從結(jié)果上看圖像的細(xì)節(jié)保留比單階段的網(wǎng)絡(luò)更加完整。Zamir 等［15］發(fā)表的MPRNet（Multi-stage Progressive image Restoration）網(wǎng)絡(luò)，利用分階段分步處理圖像，每個階段作為下一階段的先決條件，得到的結(jié)論是該網(wǎng)絡(luò)結(jié)構(gòu)可以增強(qiáng)網(wǎng)絡(luò)的泛化能力。

綜上，本文提出了一個多階段多尺度融合網(wǎng)絡(luò)，用于逐級學(xué)習(xí)并增強(qiáng)低照度圖像。與之前的一些低照度圖像增強(qiáng)網(wǎng)絡(luò)相比，本文提出的低照度圖像增強(qiáng)網(wǎng)絡(luò)屬于多階段網(wǎng)絡(luò)，利用分步的方式去逐步增強(qiáng)圖像。

在數(shù)據(jù)集方面，因?yàn)榈驼斩日鎸?shí)圖像的數(shù)據(jù)集的收集非常困難所以目前用的低照度數(shù)據(jù)集大多由合成圖像組成，為提高網(wǎng)絡(luò)參數(shù)的優(yōu)化效果，本文在LOL 真實(shí)數(shù)據(jù)集［11］的基礎(chǔ)上再擴(kuò)充了10 027 對合成圖片；為了驗(yàn)證本文提出的網(wǎng)絡(luò)架構(gòu)的有效性，通過與之前一些經(jīng)典算法和經(jīng)典網(wǎng)絡(luò)進(jìn)行主觀性和客觀性的對比實(shí)驗(yàn)。

1 MMCA?Net網(wǎng)絡(luò)架構(gòu)設(shè)計

本文設(shè)計了一個多階段網(wǎng)絡(luò)MMCA-Net（Multi-scale Multi-stage Coordinate Attention Network）用于解決單階段網(wǎng)絡(luò)模塊造成的細(xì)節(jié)丟失的問題。該網(wǎng)絡(luò)共分3 個階段，每個階段都包含一個本文設(shè)計的CAU（Coordinate Attention-UNet）用于獲取和強(qiáng)化該階段的位置信息和背景信息，并逐級往上傳遞。這樣利用前一階段強(qiáng)化后的信息與現(xiàn)階段的輸入相級聯(lián)的方法，將有助于豐富該階段的特征，從而更好地保留原圖像的一些細(xì)節(jié)，且每個階段作為下一個階段的先決條件可以增強(qiáng)網(wǎng)絡(luò)的泛化能力。

如圖1 所示，將原圖像通過兩次下采樣模塊得到不同分辨率的圖像L1、L2、L3。這里的下采樣模塊使用雙線性插值法，文獻(xiàn)［14］中通過實(shí)驗(yàn)證實(shí)，使用雙線性插值法進(jìn)行下采樣時，其scale_factor 參數(shù)設(shè)定為0.5，即將圖像長寬各縮小一半有較好的效果，因此設(shè)定每次下采樣后的圖像長寬為原來的1/2。L1 為原圖像，下采樣得到的L2 的尺寸是原圖像的1/2，L3 的尺寸是原圖像的1/4，L1、L2、L3 的通道數(shù)都為3。下采樣后的圖像因?yàn)榉直媛实臏p小會大幅減少學(xué)習(xí)任務(wù)的參數(shù)量，使得學(xué)習(xí)成本大幅減小。

圖1 MMCA-Net網(wǎng)絡(luò)架構(gòu)Fig.1 Network architecture of MMCA-Net

得到L1、L2、L3 之后，第一階段L3 通過本文改進(jìn)的Coordinate Attention-UNet 模塊處理后得到L3a，這一階段通過對下采樣后的低分辨率圖像進(jìn)行處理，一定程度地對圖像進(jìn)行了增亮且一定程度地恢復(fù)了圖像背景輪廓。

第二階段L3a經(jīng)過上采樣模塊恢復(fù)到與L2 相同尺寸之后進(jìn)行在特征通道上的融合，之后通過一個1×1 的卷積塊進(jìn)行特征壓縮，得到的特征圖包含了上一階段所提取圖像的位置信息和特征信息，之后將其作為第二階段Coordinate Attention-UNet 模塊的輸入，通過第二階段的多尺度融合模塊提取并強(qiáng)化該階段的特征信息得到了第二階段的輸出L2a，第二階段在第一階段的基礎(chǔ)上再一次對圖像進(jìn)行了一定程度增亮，且一定程度地恢復(fù)了圖像的細(xì)節(jié)特征。

第三階具體過程與第二階段相同，L2a通過上采樣模塊恢復(fù)到與L1 相同尺寸后進(jìn)行在特征通道上的融合，之后通過1×1 的卷積塊，再通過Coordinate Attention-UNet 模塊，得到最后的輸出L1a（output），L1a和輸入的低照度圖像尺寸大小一致，這個階段在對圖像進(jìn)行了增亮的同時恢復(fù)了圖像更多的背景層細(xì)節(jié)信息。

本文通過該框架在低分辨率的時候?qū)D像進(jìn)行一定的增亮和背景輪廓的恢復(fù)，在更高的分辨率下對圖像進(jìn)行更進(jìn)一步的增亮和對圖像細(xì)節(jié)的恢復(fù)。如此從“粗”到“細(xì)”的增強(qiáng)方式可以在增亮的同時更多地保留圖像細(xì)節(jié)。

1.1 上采樣模塊與下采樣模塊

下采樣模塊和上采樣模塊采用雙線性插值法，其主要操作是以橫縱坐標(biāo)方向分別進(jìn)行一次線性插值。其原理圖為圖2，已知4 個像素點(diǎn)A11（x1，y1）、A21（x2，y1）、A12（x1，y2）、A22（x2，y2）。通過單線性插值法在X軸求得B1（x，y1）、B2（x，y2），如式（1）（2），再利用這兩個點(diǎn)通過單線性插值法在Y軸方向求得最終像素點(diǎn)P（x，y），表達(dá)式為式（3）。

圖2 雙線性插值法原理Fig.2 Principle of bilinear interpolation method

采用雙線性插值法對圖像進(jìn)行下采樣和上采樣，可以有效保障圖像的精度，且采樣過程中它不用學(xué)習(xí)任何參數(shù)。

1.2 Coordinate Attention-UNet模塊

傳統(tǒng)的UNet（U-Network）［16］在進(jìn)行多尺度融合時只是單純地將上采樣所得到特征圖和同層下采樣時得到的特征圖相融合?？紤]到低照度圖像所包含的內(nèi)容不同，圖像中物體大小不同，圖像中物體邊界難以分辨這些問題，直接進(jìn)行特征融合容易造成信息的遺漏。為了更精準(zhǔn)地得到圖像的特征信息并滿足對圖像更高的細(xì)節(jié)要求，本文引入Coordinate Attention 模塊［17］對UNet 進(jìn)行改進(jìn)，得到如圖3 所示的CAU 模塊。將Coordinate Attention 模塊作用于UNet［16］中的下采樣和上采樣之間的跳躍連接上，改進(jìn)后的CAU 模塊將下采樣產(chǎn)生的特征信息通過Coordinate Attention 模塊強(qiáng)化信息表示之后再與同層上采樣產(chǎn)生的特征信息進(jìn)行特征融合，操作如式（4）所示：

式（4）中：Fid表示第i層下采樣后的特征圖，F(xiàn)ie表示第i層上采樣后的特征圖，?表示注意力機(jī)制強(qiáng)化，⊕表示Concat操作。

CAU 模塊中，Encoder 和Decoder 的每一層都包含兩個3×3 卷積和兩個ReLU（Rectified Linear Unit）激活函數(shù)，表達(dá)式如式（5）（6）：

其中：ρ表示一個卷積操作之后再通過一個ReLU 激活函數(shù)。

圖3 所示的下采樣采用最大全局池化的方法，使用全局最大池化除了可以方便代替卷積層外，還可以減小因卷積層參數(shù)誤差而造成的估計均值偏移，可以更好地提取圖像的紋理；且圖像領(lǐng)域關(guān)注的信息在特征圖上的像素值較大，最大池化的作用則是將這些像素值大的信息給保留下來，從而達(dá)到去除冗余信息、保留關(guān)鍵信息的目的?？紤]到下采樣后圖像尺寸減小，需要上采樣進(jìn)行圖像尺寸的復(fù)原，上采樣常用插值法或反卷積的方法，使用反卷積進(jìn)行上采樣可以減少人工因素的影響，因而這里采用2×2 的反卷積。網(wǎng)絡(luò)最后得到了大小為64 ×H×W的特征圖，特征圖融合了深層和淺層的特征信息，最終通過一個1×1 的卷積進(jìn)行特征壓縮，得到大小為3 ×H×W的增強(qiáng)圖像。

圖3 Coordinate Attention-UNet模塊Fig.3 Coordinate Attention-UNet module

1.3 Coordinate Attention 模塊

在一張圖像里面，很多信息是無用的，而注意力機(jī)制則是為了去關(guān)注有用的信息，抑制無用的信息，引入注意力機(jī)制則是為了選擇聚焦位置產(chǎn)生更具分辨性的特征表示。目前通常用到的注意力機(jī)制模塊主要有SENet（Squeeze-and-Excitation Network）模 塊［18］和CBAM（Convolutional Block Attention Module）［19］模塊等。

SENet［18］模塊因計算成本低而被廣泛應(yīng)用在各輕量級網(wǎng)絡(luò)中，其過程分為Squeeze 和Excitation 兩步，表達(dá)式分別為式（7）和式（8）：

式（8）中：Wc1、Wc2代表全連接操作，δ和σ分別代表ReLU 和Sigmoid 激活函數(shù)。Squeeze 將H×W×C的矩陣壓縮為1 ×1 ×C的矩陣，之后經(jīng)Excitation 得到所需要的權(quán)重s，可以看出因SENet［18］更多地考慮通道間信息的編碼而忽視了位置信息，而位置信息對于一些需要捕獲目標(biāo)結(jié)構(gòu)的任務(wù)來講非常重要。

CBAM［19］模塊結(jié)合了通道注意力機(jī)制和空間注意力機(jī)制，其表達(dá)式分別為式（9）和式（10）：

式（9）中：W1和W0為共享模塊的權(quán)重，式子（10）中分別為平均池化特征和最大池化特征，σ為Sigmoid 激活函數(shù)，7×7 為卷積核。CBAM 模塊通過減少通道數(shù)并使用大尺寸卷積來利用位置信息，這樣只能捕捉到局部的相關(guān)特征，無法滿足對于視覺任務(wù)非常重要的長程依賴性。

Hou 等［17］通過實(shí)驗(yàn)證明，與SENet［18］和CBAM［19］相比，CA（Coordinate Attention）［17］不僅能捕捉到跨通道的信息，還能得到方向和位置的信息，使得網(wǎng)絡(luò)更加精準(zhǔn)地得到想要關(guān)注的信息，且CA 模塊非常輕量，可以很靈活地運(yùn)用于各大架構(gòu)中。

CA 模塊結(jié)構(gòu)如圖4 所示，輸入X通過尺寸為（H，1）和（1，W）的池化層經(jīng)全局池化分解為水平、垂直坐標(biāo)兩個方向上的一維特征編碼，其過程表達(dá)式為式（11）和式（12）：

圖4 Coordinate Attention 模塊Fig.4 Coordinate Attention module

式中：xc(h，i)、xc(j，w)分別表示輸入特征圖坐標(biāo)為(h，i)、通道為c的分量和坐標(biāo)為(j，w)、通道為c的分量分別表示長為h的第c個通道的分量和寬為w的第c個通道的分量。這樣沿著兩個空間方向進(jìn)行特征融合而得到一對含有方向信息的特征圖，可以使得網(wǎng)絡(luò)模塊不僅能滿足一個空間方向的長程依賴，還能保留沿著另一個空間方向的位置信息。

通過共享的1×1 卷積對通道進(jìn)行降維得到空間信息在水平和豎直方向的中間特征圖，其過程表達(dá)式為式（13）：

式（13）中：F1代表卷積運(yùn)算，δ代表ReLU 激活函數(shù)，f表示對空間信息在水平方向和垂直方向進(jìn)行編碼的中間特征映射。

之后沿著空間維度將其劃分為兩個單獨(dú)的張量，通過1×1 卷積和Sigmoid 激活函數(shù)得到兩個注意力權(quán)重值其表達(dá)式為式（14）和式（15）：

式中：gh、gw表示兩者方向的注意力權(quán)重值；σ表示Sigmoid激活函數(shù)；Fh、Fw表示1×1 卷積。

最后通過運(yùn)用得到的權(quán)重與輸入相結(jié)合得到注意力加強(qiáng)后的特征圖，其表達(dá)式為：

其中：xc(i，j)表示輸入特征圖表示兩個方向的注意力權(quán)重值。

1.4 損失函數(shù)

本文所提出的網(wǎng)絡(luò)由3 個階段構(gòu)成，為了從“粗”到“細(xì)”恢復(fù)低照度圖像，本文使用由L1 損失函數(shù)和SSIM 損失函數(shù)構(gòu)成的混合損失函數(shù)去約束每個階段的學(xué)習(xí)任務(wù)。

L1 損失函數(shù)的表達(dá)式為式（17）所示，L1 損失函數(shù)又叫平均絕對誤差，是一種常用的回歸損失函數(shù)，是目標(biāo)值與預(yù)測值之差的絕對值之和，表達(dá)了平均誤差的幅度因此不需要考慮誤差的方向。有研究表明L1 損失函數(shù)可以比較好地保留圖像內(nèi)容的顏色和亮度，在網(wǎng)絡(luò)GLADNet［12］中使用L1 損失函數(shù)去消除訓(xùn)練過程中的噪聲對圖像增強(qiáng)的影響。但是L1 損失函數(shù)存在一定的缺陷，對于神經(jīng)網(wǎng)絡(luò)來講，它的梯度在極值點(diǎn)的時候會有很大的躍變，即使很小的損失值也會產(chǎn)生很大的誤差，這將會影響實(shí)驗(yàn)效果，通常在使用L1 損失函數(shù)的時候需要將學(xué)習(xí)速率設(shè)為不斷衰減的學(xué)習(xí)速率，這樣才可以使誤差減小，使得函數(shù)趨于收斂。

式（17）中：C、W、H分別代表輸入圖像的通道數(shù)、長度、高度；y(xc，h，w)代表預(yù)測值代表真實(shí)值，xc，h，w表示該階段的輸入。

均方誤差（Mean Squared Error，MSE）損失函數(shù)的表達(dá)式如式（18）。和L1 損失函數(shù)一樣，通常使用在回歸損失函數(shù)中，MSE 損失函數(shù)的曲線光滑連續(xù)，也處處可導(dǎo)，而且在伴隨著網(wǎng)絡(luò)訓(xùn)練過程中誤差減小，梯度也會減小，如此便可加速收斂過程，因而即便是使用不變的學(xué)習(xí)速率，也可以很快收斂。但是當(dāng)真實(shí)值和預(yù)測值差值大于1 的時候誤差也會增大，也就是說MSE 損失函數(shù)對差異值較大的點(diǎn)很敏感，當(dāng)網(wǎng)絡(luò)訓(xùn)練時MSE 損失函數(shù)會賦予這些點(diǎn)更大的權(quán)重值，如此便會對其他點(diǎn)造成很大的影響，最終得到的網(wǎng)絡(luò)訓(xùn)練參數(shù)可能會對預(yù)測結(jié)果產(chǎn)生不好的影響。

式中：C、W、H分別代表輸入圖像的通道數(shù)、長度、高度；y(xc，h，w)代表預(yù)測值代表真實(shí)值，xc，h，w表示該階段的輸入。

考慮到L1 損失函數(shù)和MSE 損失函數(shù)的優(yōu)缺點(diǎn)，使用L1損失函數(shù)和MSE 損失函數(shù)結(jié)合的混合損失函數(shù)訓(xùn)練本文的多階段網(wǎng)絡(luò)，使每個階段的訓(xùn)練既能很好地保留圖像內(nèi)容的顏色和細(xì)節(jié)，又能使函數(shù)很快地收斂。其表達(dá)式為式（19）：

通過前期調(diào)研和參考文獻(xiàn)［12］發(fā)現(xiàn)式（19）中a設(shè)為0.01、b設(shè)為1 時函數(shù)收斂最快，且得到的預(yù)測效果最好。

2 實(shí)驗(yàn)與結(jié)果分析

為了對本文所提出的網(wǎng)絡(luò)架構(gòu)進(jìn)行實(shí)驗(yàn)分析，首先對實(shí)驗(yàn)環(huán)境進(jìn)行配置：實(shí)驗(yàn)在百度的深度學(xué)習(xí)平臺飛槳上面進(jìn)行，在飛槳平臺上運(yùn)用其開源的Paddle 框架與一些的python庫進(jìn)行網(wǎng)絡(luò)搭建。實(shí)驗(yàn)所用服務(wù)器是Tesla V100 的顯卡，其內(nèi)存為32 GB。

2.1 數(shù)據(jù)集與訓(xùn)練樣本

本文實(shí)驗(yàn)所采用的數(shù)據(jù)集為公開數(shù)據(jù)集LOL 數(shù)據(jù)集［10］，包含了485 對真實(shí)場景下的正常/低照度圖像。為了增強(qiáng)網(wǎng)絡(luò)的泛化能力，避免訓(xùn)練出現(xiàn)過擬合現(xiàn)象，通過Photoshop 軟件調(diào)整正常光圖像的曝光率進(jìn)而得到了10 027 對正常/低照度圖像，一共10 512 對圖像作為網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集，數(shù)據(jù)集如圖5 所示，其中90%作為訓(xùn)練集，10%作為驗(yàn)證集。

圖5 數(shù)據(jù)集圖像對Fig.5 Dataset image pairs

2.2 網(wǎng)絡(luò)訓(xùn)練方法

訓(xùn)練方法：采用Adam［20］梯度優(yōu)化算法，學(xué)習(xí)率設(shè)為0.001，batch_size 設(shè)為64。訓(xùn)練的結(jié)束取決于網(wǎng)絡(luò)是否得到了最優(yōu)訓(xùn)練參數(shù)。為了得到最優(yōu)訓(xùn)練參數(shù)，則需要關(guān)注損失函數(shù)的變化，如圖6 所示為網(wǎng)絡(luò)訓(xùn)練過程中損失函數(shù)的變化曲線。

從圖6 中看出當(dāng)步數(shù)大約為8 萬步以后訓(xùn)練集和驗(yàn)證集損失函數(shù)變化已趨近穩(wěn)定，當(dāng)步數(shù)超過10 萬步之后損失函數(shù)幾乎不再改變，說明此時的網(wǎng)絡(luò)參數(shù)已趨近最優(yōu)，此時迭代次數(shù)為30，訓(xùn)練結(jié)束。最終選擇迭代次數(shù)為30 次的訓(xùn)練參數(shù)作為之后的測試參數(shù)。

圖6 訓(xùn)練過程中的損失函數(shù)變化Fig.6 Loss function changes during training process

2.3 評價指標(biāo)

為了定量地去評估低照度圖像處理的效果，本文使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和SSIM［21］對圖像質(zhì)量進(jìn)行評估。PSNR 和SSIM 常被作為評價圖像的客觀指標(biāo)，PSNR 單位為dB，數(shù)值越大代表失真越??；SSIM 是衡量兩幅圖像相似度的指標(biāo)，從亮度、對比度、結(jié)構(gòu)三個方面評價圖像質(zhì)量，相對于PSNR 指標(biāo)來講SSIM 指標(biāo)更符合人類視覺觀察到的直觀效果，其數(shù)值越大代表圖像相似性越高，恢復(fù)的圖像質(zhì)量越好。PSNR 和SSIM 的表達(dá)式分別如式（20）和式（21）所示：

2.4 消融實(shí)驗(yàn)

為驗(yàn)證改進(jìn)后的CAU 網(wǎng)絡(luò)效果和多階段結(jié)構(gòu)的有效性，本文分別做了3 個消融實(shí)驗(yàn)。

消融實(shí)驗(yàn)一 通過比較在UNet［16］和CAU 網(wǎng)絡(luò)處理后的圖像效果，驗(yàn)證CAU 網(wǎng)絡(luò)的有效性。如圖7 所示，雖然CAU網(wǎng)絡(luò)在亮度差異較大的區(qū)域會有光暈產(chǎn)生，但是從圖中方框中可以發(fā)現(xiàn)改進(jìn)后的CAU 網(wǎng)絡(luò)在細(xì)節(jié)信息保留方面比UNet［16］網(wǎng)絡(luò)做得更好。

圖7 UNet網(wǎng)絡(luò)與CAU網(wǎng)絡(luò)主觀圖Fig.7 Subjective images of UNet network and CAU network

為了定量說明CAU 網(wǎng)絡(luò)對于UNet 網(wǎng)絡(luò)提升了多少，統(tǒng)計它們的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）值來進(jìn)行比較，結(jié)果如表1 所示。從表1 中可以看出，CAU 網(wǎng)絡(luò)相較于UNet 網(wǎng)絡(luò)在PSNR 值上提高了12.9%，在SSIM 值上提高了16.7%。

表1 UNet網(wǎng)絡(luò)與CAU網(wǎng)絡(luò)的峰值信噪比與結(jié)構(gòu)相似性值Tab.1 PSNR and SSIM values of UNet and CAU networks

消融實(shí)驗(yàn)二 為了驗(yàn)證CAU 網(wǎng)絡(luò)中引入坐標(biāo)注意力機(jī)制（CA 模塊）［17］的有效性，與引入SENet 模塊［18］和引入CBAM［19］模塊進(jìn)行比較，最終效果如圖8 所示。可以明顯看出圖8（b）中引入SENet 模塊［18］時得到的主觀圖有明顯的噪點(diǎn)；圖8（c）中引入的CBAM 模塊［19］后得到的主觀圖也有一定程度的失真；圖8（d）中雖然在亮度差異較大的燈光區(qū)域會有明顯的光暈和黑影出現(xiàn)，但是比較圖8（b）～（d）中紅框部分，可以明顯看出引入坐標(biāo)注意力機(jī)制后得到的圖像在保留細(xì)節(jié)方面做得更加優(yōu)秀。

圖8 引入不同注意力機(jī)制模塊的主觀圖Fig.8 Subjective images with different attention mechanism modules introduced

為了定量說明引入坐標(biāo)注意力機(jī)制模塊的優(yōu)越性，統(tǒng)計三種注意力機(jī)制模塊的PSNR 和SSIM 值來進(jìn)行比較，結(jié)果如表2 所示。

表2 不同注意力機(jī)制下的多尺度融合網(wǎng)絡(luò)的峰值信噪比與結(jié)構(gòu)相似性數(shù)值Tab.2 PSNR and SSIM values of multi-scale fusion networks with different attention mechanisms

從表2 中看出引入CA 模塊相較于引入SENet 模塊和CABM 模塊在PSNR 值上分別提高了7.0%、1.4%，在SSIM 值上分別提高了12.9%、2.9%。

消融實(shí)驗(yàn)三 分別使用單階段的CAU 網(wǎng)絡(luò)，兩階段的CAU 網(wǎng)絡(luò)和三階段CAU 網(wǎng)絡(luò)去處理相同的一批低照度圖像。結(jié)果如圖9 所示：圖9（b）為單階段CAU 網(wǎng)絡(luò)處理出來的圖像，主觀上可以看出對低照度圖像有增強(qiáng)的效果，但是方框內(nèi)會出現(xiàn)很明顯的光暈和黑影；如圖9（c）所示為兩階段的CAU 網(wǎng)絡(luò)處理的結(jié)果，主觀上可以看出相較于單階段的CAU 網(wǎng)絡(luò)的增強(qiáng)效果有明顯提升，也沒有出現(xiàn)黑影，圖像更加清晰，但是方框內(nèi)依然存在光暈；如圖9（d）所示為當(dāng)網(wǎng)絡(luò)增加到三階段的時候，從主觀上觀察，其圖像明顯較單階段CAU 網(wǎng)絡(luò)和兩階段CAU 網(wǎng)絡(luò)圖像增強(qiáng)的效果更好，且圖像細(xì)節(jié)保留得更完整。

圖9 不同階段Coordinate Attention-UNet網(wǎng)絡(luò)的主觀圖Fig.9 Subjective images of Coordinate-Attention UNet network at different stages

為了定量說明三階段CAU 網(wǎng)絡(luò)相較于單階段CAU 和兩階段CAU 的優(yōu)越性，統(tǒng)計它們的參數(shù)量和計算它們的PSNR和SSIM 值來進(jìn)行比較，結(jié)果如表3 所示。

表3 不同階段CAU網(wǎng)絡(luò)處理后的峰值信噪比和結(jié)構(gòu)相似性值與網(wǎng)絡(luò)的參數(shù)量Tab.3 PSNR and SSIM values after CAU network processing and number of network parameters at different stages

從表3 中看出，三階段網(wǎng)絡(luò)相較兩階段和一階段網(wǎng)絡(luò)的參數(shù)量有所增長，但是相應(yīng)的圖像質(zhì)量評價指標(biāo)也有十分明顯的提升。若增加為四階段網(wǎng)絡(luò)因?yàn)閰?shù)量過于龐大，訓(xùn)練成本會非常高，且實(shí)驗(yàn)環(huán)境暫時無法承擔(dān)此項(xiàng)任務(wù)，因而最終選定三階段網(wǎng)絡(luò)為MMCA-Net 網(wǎng)絡(luò)架構(gòu)。

2.5 MMCA-Net與其他算法、網(wǎng)絡(luò)的對比實(shí)驗(yàn)

為了評估MMCA-Net 網(wǎng)絡(luò)的性能，使用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練，復(fù)現(xiàn)之前的一些經(jīng)典低照度圖像處理的方案（同樣訓(xùn)練到當(dāng)損失函數(shù)不在下降，趨于穩(wěn)定后）用于對比。算法包括了Rahman 等［4］提出的MSR（Multi-Scale Retinex）算法；Cheng 等［22］提出的直方圖均衡化（HE）算法；Wei 等［11］提出的RetinexNet 網(wǎng)絡(luò)和還有Lim 等［14］提出的DSLR 網(wǎng)絡(luò)。測試集源自于公開數(shù)據(jù)集LOL［11］和SICE［23］，最終效果對比如圖10所示。從主觀效果上可以簡單地評判圖像的質(zhì)量，從圖中的實(shí)驗(yàn)結(jié)果可以清楚看出：

1）經(jīng)過MSR［4］和HE［22］兩種傳統(tǒng)方法處理的圖像顏色保真性差，HE［22］算法處理后的圖像在一些關(guān)鍵點(diǎn)對比度會非常低，圖像會有很多噪點(diǎn)，MSR 算法在處理一些亮度相差很大的區(qū)域會出現(xiàn)光暈現(xiàn)象，且處理之后的圖像紋理不清晰，邊緣銳化不足。

2）RetinexNet［11］網(wǎng)絡(luò)雖然能做到對低照度圖像增強(qiáng)的功能，但是很明顯處理后的圖像噪點(diǎn)多，色彩失真非常嚴(yán)重，效果并不好。

3）通過圖10 的主觀效果可以看出DSLR［14］的增強(qiáng)效果相較于傳統(tǒng)方法和RetinexNet［11］來講是有很大提升的，但是本文所提出的MMCA-Net 在細(xì)節(jié)保留方面會更加優(yōu)秀。

圖10 原圖以及不同方法增強(qiáng)后的效果圖Fig.10 Original images and effect images enhanced by different methods

為了定量地評估MMCA-Net 相較于對比方法的優(yōu)越性，采用PSNR 和SSIM 作為評估各算法、網(wǎng)絡(luò)效果的評價指標(biāo)，另外給出網(wǎng)絡(luò)的參數(shù)量用于綜合性比較。各算法在測試集上的PSNR 值和SSIM 值以及參數(shù)量如表4 所示，從表中可以看出雖然MMCA-Net 網(wǎng)絡(luò)在參數(shù)量上遠(yuǎn)超于DSLR 網(wǎng)絡(luò)和RetinexNet 網(wǎng)絡(luò)，但是相較于2020 年較新的DSLR 網(wǎng)絡(luò)，MMCA-Net 在PSNR 值提高了11.0%；SSIM 值提高了6.8%。結(jié)果表明本文提出的多階段注意力網(wǎng)絡(luò)恢復(fù)的圖像質(zhì)量優(yōu)于之前的四種算法、網(wǎng)絡(luò)，且圖像更加真實(shí)、可信。

表4 不同方法的峰值信噪比和結(jié)構(gòu)相似性值與網(wǎng)絡(luò)的參數(shù)量Tab.4 PSNR and SSIM values and number of network parameters of different methods

綜上所述，本文提出的MMCA-Net 網(wǎng)絡(luò)相較于其他4 種算法、網(wǎng)絡(luò)不論是在主觀分析還是客觀分析上，本文在低照度圖像增強(qiáng)任務(wù)上的表現(xiàn)都更為優(yōu)秀。

3 結(jié)語

針對低照度圖像增強(qiáng)過程中因圖像內(nèi)容有重疊且部分區(qū)域亮度差異較大，導(dǎo)致圖像細(xì)節(jié)丟失的問題，本文提出了一個注意力機(jī)制下的多階段低照度圖像增強(qiáng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)主要包含三個階段，每個階段包含一個用于提取并強(qiáng)化圖像特征信息的多尺度融合模塊，三個階段的輸入為不同分辨率的低照度圖像，三個階段的任務(wù)各有不同，通過低分辨率圖像對背景輪廓進(jìn)行一定的恢復(fù)，再逐步到利用高分辨率圖像進(jìn)行圖像細(xì)節(jié)的恢復(fù)，從而由“粗”到“細(xì)”地完成低照度圖像增強(qiáng)任務(wù)。并且本文從主觀、客觀兩方面進(jìn)行實(shí)驗(yàn)分析，驗(yàn)證了網(wǎng)絡(luò)的有效性。為低照度圖像處理任務(wù)提供了一種可行有效的方法。此外，雖然本文提出的網(wǎng)絡(luò)能夠在圖像增強(qiáng)的同時保留原圖像的細(xì)節(jié)，但是在處理一些手機(jī)拍攝的夜間相片時，會因?yàn)楹胩鄬?dǎo)致增強(qiáng)后的圖像含噪點(diǎn)，這也是接下來需要去解決的問題。