江澤濤,覃露露,秦嘉奇,張少欽

1(廣西圖像圖形處理與智能處理重點(diǎn)實(shí)驗(yàn)室(桂林電子科技大學(xué)),廣西 桂林 541004)

2(桂林信息科技學(xué)院,廣西 桂林 541004)

3(南昌航空大學(xué),江西 南昌 330063)

在照度低或逆光等光照環(huán)境差的情況下采集的圖像,稱之為低照度圖像(low-light images,簡(jiǎn)稱LLI),此類(lèi)圖像容易出現(xiàn)低質(zhì)量現(xiàn)象,例如對(duì)比度低、顏色失真和細(xì)節(jié)信息模糊等.由于其低質(zhì)現(xiàn)象,低照度圖像往往會(huì)造成目標(biāo)識(shí)別、檢測(cè)和跟蹤等計(jì)算機(jī)視覺(jué)任務(wù)算法性能的降低.低照度圖像增強(qiáng)方法旨在通過(guò)一些技術(shù)手段和方法恢復(fù)原本低質(zhì)圖像的真實(shí)場(chǎng)景信息,以獲得具有完整的結(jié)構(gòu)和細(xì)節(jié)信息且視覺(jué)效果自然、清晰的圖像.低照度圖像增強(qiáng)方法主要分為傳統(tǒng)增強(qiáng)方法和基于神經(jīng)網(wǎng)絡(luò)的增強(qiáng)方法.

傳統(tǒng)圖像增強(qiáng)方法可以分為以下4 類(lèi).

1) 基于直方圖的增強(qiáng)方法.通過(guò)統(tǒng)計(jì)方法調(diào)整圖像中的像素值,使圖像直方圖達(dá)到均衡狀態(tài),從而對(duì)低照度圖像的亮度和對(duì)比度進(jìn)行提升,如LDR[1],ERMHE[2]等.但此類(lèi)方法的增強(qiáng)結(jié)果圖中常出現(xiàn)難以平衡圖像暗區(qū)恢復(fù)和亮區(qū)保留的問(wèn)題,同時(shí)也容易出現(xiàn)色彩失真問(wèn)題,具有較弱的魯棒性;

2) 基于Retinex 的傳統(tǒng)增強(qiáng)方法.受益于Land[3]提出的人眼視覺(jué)的亮度與色彩感知模型——Retinex 理論,眾多學(xué)者在該模型的基礎(chǔ)上提出了單尺度Retinex(SSR)、多尺度Retinex(MSR)、帶顏色恢復(fù)的MSR(MSRCR)[4]、LIME[5]、RobustRetinex[6]和JED[7]等經(jīng)典算法.此類(lèi)傳統(tǒng)方法能夠有效增強(qiáng)圖像亮度且較好保存如邊緣和角落等高頻信息,但它們無(wú)法有效避免對(duì)比度不均勻和顏色失真等問(wèn)題;

3) 基于偽霧圖的增強(qiáng)方法.Dong 等人[8]通過(guò)研究發(fā)現(xiàn),低照度圖像的轉(zhuǎn)置圖與霧霾圖像的特征具有很高的相似性,由此提出對(duì)此類(lèi)偽霧圖應(yīng)用去霧方法實(shí)現(xiàn)低照度增強(qiáng)的方法(Dehaze).此類(lèi)方法只能有效改善部分圖像的視覺(jué)效果,但是易產(chǎn)生邊緣效應(yīng)、光暈效應(yīng)和不實(shí)際現(xiàn)象;

4) 基于圖像融合的方法.該方法通過(guò)將多張不同照度的圖像進(jìn)行融合的方式提升低照度圖像的質(zhì)量,如Ying_CAIP[9],Ying_ICCV[10]等算法.然而此類(lèi)方法通常需要采集同一場(chǎng)景下的不同曝光程度子圖,或者通過(guò)其他技術(shù)手段獲取系列子圖才能實(shí)現(xiàn)較好的圖像融合,這局限了該方法的應(yīng)用.此外,該方法在對(duì)照度不均勻圖像進(jìn)行增強(qiáng)的過(guò)程中,無(wú)法有效地提升較暗區(qū)域的亮度.

隨著卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像分類(lèi)、目標(biāo)檢測(cè)、目標(biāo)跟蹤等計(jì)算機(jī)視覺(jué)領(lǐng)域取得了出色的成績(jī),越來(lái)越多的研究人員將CNN 運(yùn)用到低照度圖像增強(qiáng)領(lǐng)域.Shen 等人[11]通過(guò)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與MSR 算法,提出了MSRNet 低照度增強(qiáng)模型,學(xué)習(xí)暗圖像到亮圖像的反射分量,很好地將基于Retinex 傳統(tǒng)方法與基于卷積神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行結(jié)合,增強(qiáng)效果顯著.但MSRNet 會(huì)出現(xiàn)圖像增強(qiáng)不均勻和色彩偏差的問(wèn)題.Lv 等人[12]提出了一種基于深度學(xué)習(xí)的多分支微光增強(qiáng)網(wǎng)絡(luò)(MBLLEN),該方法提取多個(gè)不同級(jí)別的豐富特征,通過(guò)多個(gè)子網(wǎng)應(yīng)用增強(qiáng)功能,最后通過(guò)多分支融合生成輸出圖像.Tao 等人[13]通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像去噪,利用亮度通道先驗(yàn)實(shí)現(xiàn)照度增強(qiáng);隨后,他們又提出LLCNN[14]實(shí)現(xiàn)端到端的低照度圖像增強(qiáng)網(wǎng)絡(luò).Wei 等人[15]通過(guò)聯(lián)合生成對(duì)抗網(wǎng)絡(luò)和圖像質(zhì)量評(píng)估技術(shù),實(shí)現(xiàn)低照度圖像增強(qiáng)方法.Wang 等人[16]提出了一個(gè)全局照明感知和細(xì)節(jié)保存網(wǎng)絡(luò)(GLADNet),首先為低光輸入計(jì)算全局照明估計(jì),然后在估計(jì)的指導(dǎo)下調(diào)整照明,并使用與原始輸入的串聯(lián)來(lái)補(bǔ)充細(xì)節(jié).Zhang 等人[17]受到Retinex 理論的啟發(fā),提出了一個(gè)簡(jiǎn)單而有效的網(wǎng)絡(luò)(KinD).該方法將圖像分解為兩個(gè)部分:一部分(照明)負(fù)責(zé)調(diào)光,另一部分(反射)負(fù)責(zé)降解.以這種方式將原圖像空間解耦為兩個(gè)較小的子空間,以更好地進(jìn)行正則化和學(xué)習(xí).江澤濤等人提出一種利用改進(jìn)的U-Net 生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)低照度圖像轉(zhuǎn)換為正常照度圖像的網(wǎng)絡(luò)(LLEGAN)[18];隨后,該團(tuán)隊(duì)將低照度增強(qiáng)需要解決的多重失真問(wèn)題轉(zhuǎn)為兩重增強(qiáng),提出了一種多重構(gòu)變分自編碼器(MRVAE)[19],通過(guò)兩個(gè)階段的增強(qiáng)網(wǎng)絡(luò),分別解決多重失真.雖然上述方法都能在一定程度上解決低照度圖像的低質(zhì)問(wèn)題,得到較好的亮度、色彩還原度,但難于在同一個(gè)網(wǎng)絡(luò)中完全解決所有低質(zhì)問(wèn)題.如果僅用簡(jiǎn)單的卷積運(yùn)算構(gòu)建低照度圖像增強(qiáng)模型,此時(shí)的模型是簡(jiǎn)單利用CNN 的學(xué)習(xí)能力直接學(xué)習(xí)如何將低照度圖像映射正常照度圖像.然而普通卷積對(duì)圖像的每個(gè)像素或通道都分配以相同的學(xué)習(xí)權(quán)重,這將可能導(dǎo)致模型無(wú)法有針對(duì)性地實(shí)現(xiàn)低照度圖像增強(qiáng),容易出現(xiàn)增強(qiáng)圖像亮度提升過(guò)于均衡、色彩失真等問(wèn)題.此外,基于神經(jīng)網(wǎng)絡(luò)的方法需要大量的數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練,因此,數(shù)據(jù)集的構(gòu)建效果也同樣嚴(yán)重影響著模型的最終增強(qiáng)性能.

為了解決上述問(wèn)題,且有效實(shí)現(xiàn)低照度圖像亮度的提升、對(duì)比度的增強(qiáng)、色彩信息的還原以及噪聲的去除,本文將卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力與圖像構(gòu)成模型Retinex理論相結(jié)合,提出了一種基于Retinex的低照度圖像增強(qiáng)網(wǎng)絡(luò)——MDARNet,其中,通過(guò)引入Attention 機(jī)制和密集卷積塊來(lái)增強(qiáng)網(wǎng)絡(luò)模型對(duì)圖像特征的提取能力.首先,MDARNet 利用多尺度卷積實(shí)現(xiàn)對(duì)圖像的初步特征提取;其次,通過(guò)密集卷積塊對(duì)初步特征圖進(jìn)一步增強(qiáng)特征;然后,利用Attention 機(jī)制對(duì)特征圖進(jìn)行動(dòng)態(tài)分配權(quán)重,實(shí)現(xiàn)有針對(duì)性的增強(qiáng);最后,利用Retinex 理論將環(huán)境光照和噪聲分量從低照度圖像中除去,得到最終的增強(qiáng)圖像.通過(guò)實(shí)驗(yàn)對(duì)比分析,MDARNet 與其他主流算法相比較,能夠有效提升圖像的亮度、對(duì)比度和色彩還原度,同時(shí)實(shí)現(xiàn)噪聲去除.

1 相關(guān)理論

1.1 Retinex理論

Retinex 理論[8]指出,人眼視覺(jué)或攝像設(shè)備所感知的物體亮度由物體本身的反射分量和環(huán)境光照這兩個(gè)因素構(gòu)成,如圖1 所示,其數(shù)學(xué)表達(dá)式為

其中,I(x,y)表示采集圖像對(duì)應(yīng)(x,y)坐標(biāo)的像素,R(x,y)表示圖像(x,y)坐標(biāo)像素的反射分量,E(x,y)表示該位置的環(huán)境光照分量.

Fig.1 Form of image composition in Retinex theory圖1 Retinex 理論中的圖像構(gòu)成形式

顏色恒常性理論指出:視覺(jué)感知到的物體顏色僅僅由物體本身的反射性能所決定,在不同波長(zhǎng)的光線下感受到不同顏色僅僅取決于物體對(duì)該波長(zhǎng)光的反射能力,而與該環(huán)境光無(wú)關(guān).因此,若能夠近似估計(jì)出采集圖像時(shí)所處環(huán)境的光照強(qiáng)度分量E(x,y),我們就可以根據(jù)這一理論將環(huán)境光照對(duì)成像的影響去除,從而得到物體本身的反射分量R(x,y).為了簡(jiǎn)化計(jì)算,將公式(1)改寫(xiě)為

其中,log(·)表示對(duì)圖像進(jìn)行以自然對(duì)數(shù)或10 為底的對(duì)數(shù)運(yùn)算,Ic(x,y)則表示輸入圖像中第c層通道圖.

SSR 算法[9]是Jobson 提出的首個(gè)基于Retinex 理論的照度增強(qiáng)方法,該方法通過(guò)構(gòu)造高斯環(huán)繞函數(shù)對(duì)環(huán)境光照分量進(jìn)行估計(jì),其數(shù)學(xué)表達(dá)式為

其中,*表示兩張圖像之間進(jìn)行卷積運(yùn)算,F(x,y)表示估計(jì)的高斯環(huán)繞函數(shù),而F(x,y)的標(biāo)準(zhǔn)差為σ2、尺度為λ.其中,λ滿足在整個(gè)概率域上的積分為1,即滿足下式:

綜合上述分析可知,將公式(3)的等號(hào)兩邊取對(duì)數(shù)后代入公式(2)匯總,即可得到SSR 算法的最終增強(qiáng)結(jié)果:

其中,N表示尺度數(shù)量,Rcn表示第n個(gè)尺度下第c層通道的SSR 估計(jì)結(jié)果圖,為根據(jù)MSR 計(jì)算得到 的第c層通道的增強(qiáng)分量圖,wn表示第n個(gè)尺度增強(qiáng)圖在該層合成增強(qiáng)結(jié)果圖中的合成權(quán)重.

1.2 Attention機(jī)制

注意力(attention)機(jī)制因其具有捕獲長(zhǎng)距離交互的能力被廣泛應(yīng)用于序列建模的計(jì)算模塊,如機(jī)器翻譯、自然語(yǔ)言處理領(lǐng)域[20].通俗而言,注意力機(jī)制就是對(duì)輸入數(shù)據(jù)的各個(gè)部分按照其對(duì)結(jié)果的影響程度分配不同權(quán)重,然后再著重對(duì)重要部分進(jìn)行特征提取.注意力機(jī)制模仿的是人類(lèi)的行為慣性,無(wú)論在文字閱讀還是視覺(jué)感受過(guò)程中,人們總會(huì)著重閱讀或觀察自己的感興趣的部分.自注意力機(jī)制(self-attetion)是輸入數(shù)據(jù)利用自身的特征,通過(guò)卷積運(yùn)算等方式給自身各部分分配不同權(quán)重的機(jī)制[21].

近年來(lái),許多學(xué)者在不同視覺(jué)任務(wù)的研究過(guò)程中引入注意力機(jī)制,以解決單一卷積存在的弱點(diǎn).在計(jì)算機(jī)視覺(jué)中引入注意力機(jī)制的根本目的,是讓網(wǎng)絡(luò)學(xué)會(huì)在學(xué)習(xí)過(guò)程中給圖像的不同信息分配不同的注意力,做到忽略無(wú)關(guān)信息,重點(diǎn)關(guān)注有用信息[22].在視覺(jué)任務(wù)中的注意力機(jī)制通常是通過(guò)使用注意力圖(Attention map)的形式實(shí)現(xiàn),通過(guò)構(gòu)建的注意力模塊學(xué)習(xí)到特征圖中的關(guān)鍵特征,并形成Attention Map,然后再將輸入的特征圖與Attention Map 進(jìn)行乘積運(yùn)算,突出關(guān)鍵區(qū)域特征,完成對(duì)特征的區(qū)域關(guān)注[23].Hu 等人[24]提出了一種全新的圖像識(shí)別結(jié)構(gòu)SENet,該網(wǎng)絡(luò)利用注意力機(jī)制對(duì)特征通道間的相關(guān)性進(jìn)行建模,通過(guò)降低無(wú)關(guān)信息的影響和強(qiáng)化重要區(qū)域的特征,實(shí)現(xiàn)準(zhǔn)確率的顯著提升.Chen 等人[25]提出了基于通道注意的定向感知功能(SISR-CAOA)融合模塊,采用通道注意力機(jī)制,自適應(yīng)地將從不同通道中提取到的特征進(jìn)行融合,從而實(shí)現(xiàn)了恢復(fù)精度和計(jì)算效率都更高的超分辨率模型.

在針對(duì)低照度圖像增強(qiáng)的研究任務(wù)中,也有不少學(xué)者通過(guò)在CNN 增強(qiáng)網(wǎng)絡(luò)中嵌入注意力機(jī)制的方式增強(qiáng)模型的性能.該方式促使模型更有效地處理低照度圖像中多種導(dǎo)致圖像低質(zhì)的因素,包括亮度、對(duì)比度、色彩、噪聲等.Wang 等人[26]在CNN 增強(qiáng)網(wǎng)絡(luò)的基礎(chǔ)上,考慮到特征通道及多層特征的重要性,構(gòu)建了具有特征提取模塊和特征融合模塊兩部分的增強(qiáng)網(wǎng)絡(luò).然而,該模型并未從像素的角度考慮圖像中不同區(qū)域存在的照度、噪聲不均等問(wèn)題.Lv 等人[27]利用CNN 構(gòu)建了兩個(gè)注意力網(wǎng)絡(luò),分別學(xué)習(xí)獲取用于引導(dǎo)亮度增強(qiáng)和去噪任務(wù)的掩膜(mask),通過(guò)mask 對(duì)亮度不均的區(qū)域和噪聲分布不均的區(qū)域進(jìn)行針對(duì)性的指導(dǎo)增強(qiáng).然而,該模型在得到mask之后組建了多個(gè)分支子網(wǎng)絡(luò)實(shí)現(xiàn)增強(qiáng),網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)龐大,且其將原本存在聯(lián)系的圖像亮度及噪聲分開(kāi)考慮的處理方式欠妥.

2 基于MDARNet 圖像增強(qiáng)方法

2.1 基于Retinex的圖像增強(qiáng)問(wèn)題描述

為了能利用Retinex 實(shí)現(xiàn)低照度圖像的增強(qiáng),設(shè)X∈Rw×h為低照度圖像,Y∈Rw×h為與之對(duì)應(yīng)的正常照度圖像,則根據(jù)公式(6)和公式(7)知,增強(qiáng)圖像可表示為

當(dāng)N=1 時(shí),表示SSR 算法;當(dāng)N>1 時(shí),表示MSR 算法.若令:

則最終增強(qiáng)圖像可表示為

傳統(tǒng)的Retinex 算法通常根據(jù)先驗(yàn)知識(shí)直接構(gòu)建一個(gè)高斯環(huán)繞函數(shù),與低照度圖像X進(jìn)行卷積運(yùn)算后,得到 環(huán)境光照分量的估計(jì)圖.然而在實(shí)際的應(yīng)用中,通過(guò)先驗(yàn)知識(shí)進(jìn)行估計(jì)運(yùn)算的方法往往魯棒性較差.因此,本文借助卷積神經(jīng)網(wǎng)絡(luò)能夠很好地學(xué)習(xí)數(shù)據(jù)特征的特性,用于代替估計(jì)的傳統(tǒng)方法[28].

2.2 MDARNET模型設(shè)計(jì)

針對(duì)上述基于Retinex 的圖像增強(qiáng)問(wèn)題,本文利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)Retinex 理論中的分量進(jìn)行估計(jì).通過(guò)在網(wǎng)絡(luò)中引入Attention 機(jī)制與DenseNet[29]模塊,增強(qiáng)對(duì)圖像有用特征的提取和降低干擾特征的影響.提出一種基于Retinex 與Attention 相結(jié)合的低照度圖像增強(qiáng)網(wǎng)絡(luò)——MDARNet(multiscale dense Attention Retinex network),該網(wǎng)絡(luò)能夠有效地對(duì)低照度圖像的亮度、對(duì)比度以及色彩實(shí)現(xiàn)增強(qiáng),當(dāng)圖像存在噪聲時(shí),同樣能進(jìn)行有效的降噪.MDARNet 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示.

Fig.2 Network structure of low illumination image enhancement method based on Retinex and Attention圖2 基于Retinex 與Attention 的低照度圖像增強(qiáng)方法的網(wǎng)絡(luò)結(jié)構(gòu)

MDARNet 模型分為fMS,fDense,fgaussions這3 個(gè)子模塊,分別進(jìn)行多尺度特征提取、密集特征提取、環(huán)境光照與噪聲分量估計(jì).

首先,fMS通過(guò)將多個(gè)不同尺寸和形狀的卷積核直接用于對(duì)原始輸入的低照度圖像進(jìn)行多尺度特征提取,并將得到的多尺度特征進(jìn)行連接;接著,利用像素注意模塊(pixel-wise Attention,簡(jiǎn)稱PA)進(jìn)行特征篩選,得到初步圖像特征fMS(X);其次,fDense利用多個(gè)跳躍連接對(duì)fMS(X)做進(jìn)一步的特征提取,并將不同階段輸出的特征進(jìn)行連接和通道壓縮,得到特征圖fDense(fMS(X));然后,通過(guò)構(gòu)建的通道注意模塊(channel-wise Attention,簡(jiǎn)稱CA)和像素注意模塊對(duì)特征進(jìn)行篩選,再通過(guò)一個(gè)1×1 卷積將多通道特征圖進(jìn)行通道壓縮,隨后進(jìn)行對(duì)數(shù)運(yùn)算即可得到輸 入圖像的環(huán)境光照與噪聲分量;最后,根據(jù)公式(10)計(jì)算得到增強(qiáng)結(jié)果圖.

2.2.1 非對(duì)稱卷積

Ding 等人[30]證明了:采用非對(duì)稱卷積可以顯著增強(qiáng)標(biāo)準(zhǔn)方形卷積核的表示能力,并且可以有效減小運(yùn)算的復(fù)雜度.因此,本文采用如圖3 所示的非對(duì)稱卷積方式代替部分的普通卷積.MDARNet 將一個(gè)非線性映射(nonlinear mapping,簡(jiǎn)稱NLM)運(yùn)算H(·)定義為一個(gè)卷積運(yùn)算和一個(gè)ReLU激活函數(shù)的組合,為了能夠最大限度地保留圖像的信息,本文均不采用批量歸一化,即:

其中,W,b 分別表示該非線性映射層的權(quán)重與偏置,k×k表示卷積核的尺寸.由此,非對(duì)稱卷積AConv(·)可表示為

Fig.3 Asymmetric convolution AConv structure diagram圖3 非對(duì)稱卷積AConv 結(jié)構(gòu)示意圖

2.2.2 特征注意力機(jī)制

在絕大多數(shù)低照度圖像增強(qiáng)網(wǎng)絡(luò)中,將圖像或提取到的特征圖中每一個(gè)通道或像素對(duì)最終增強(qiáng)結(jié)果的貢獻(xiàn)都視為是平均的.為了避免在低照度圖像增強(qiáng)過(guò)程中常出現(xiàn)的局部亮度增強(qiáng)不足或過(guò)度增強(qiáng)、色彩失真、噪聲放大等現(xiàn)象,本文通過(guò)增加基于像素和通道的兩種注意力模塊,分別對(duì)不同圖像的特征情況給不同的像素區(qū)域或特征通道分配不同的學(xué)習(xí)權(quán)重,從而使得模型能夠靈活的對(duì)特征進(jìn)行取舍,避免上述失真問(wèn)題.

1) 像素注意模塊(PA)

像素注意模塊是指對(duì)不同的像素點(diǎn)賦予不同的學(xué)習(xí)權(quán)重,從而使網(wǎng)絡(luò)能夠有針對(duì)性地應(yīng)對(duì)低照度圖像中光照不均勻及存在噪聲的問(wèn)題.如圖4 的Pixel Attention-AConv 所示,PA 模塊首先利用兩個(gè)AConv對(duì)圖像進(jìn)行特征學(xué)習(xí),然后利用一個(gè)Sigmoid激活函數(shù)將結(jié)果映射到(0,1),由此得到與輸入尺寸相同的權(quán)重圖(PAMap):

其中,S(·)表示Sigmoid函數(shù).最后,將得到的PAMap與輸入xin進(jìn)行元素相乘,即可得到像素注意模塊的輸出為:

Fig.4 Characteristic attention mechanism network structure diagram圖4 特征注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)圖

2) 通道注意模塊(CA)

在提取到的特征圖中,每張?zhí)卣鲌D所提取到的特征不盡相同,且所提取到的特征不一定都有利于進(jìn)行照度增強(qiáng).因此,本文引入了通道注意模塊,其目的是通過(guò)學(xué)習(xí)給不同的特征圖賦予合適的權(quán)重,從而提升具有明顯特征的特征圖所占的比例,降低對(duì)噪聲等特征的學(xué)習(xí).CA 結(jié)構(gòu)如圖4 的Channels Attention-AConv 所示.

首先,CA 對(duì)輸入H×W×C大小的xin進(jìn)行全局平均池化,實(shí)現(xiàn)對(duì)每一層通道的空間信息壓縮,從而得到一個(gè)1×1×C向量vector:

然后,利用兩個(gè)AConv對(duì)向量進(jìn)行權(quán)重學(xué)習(xí),同樣采用Sigmoid激活函數(shù)將結(jié)果映射到(0,1),得到權(quán)重向量(CAVector):

最后,將得到的基于通道的權(quán)重向量與輸入xin的各個(gè)通道層進(jìn)行相乘,即可得到通道注意結(jié)果為

2.2.3 多尺度特征提取模塊

由于卷積操作的感受野有限,因此,采用固定尺度大小的單個(gè)卷積核對(duì)圖像進(jìn)行特征提取也局限了特征提取的結(jié)果.為了能夠更好地提取到圖像的特征,本文采用3 個(gè)不同尺度的卷積核分別對(duì)圖像進(jìn)行特征提取,然后將多個(gè)尺度的卷積結(jié)果進(jìn)行通道拼接,如圖2 的fMS所示.本文利用非對(duì)稱卷積的優(yōu)點(diǎn),將多尺度卷積設(shè)計(jì)為二維的方塊形卷積與一維的卷積相結(jié)合的形式,實(shí)現(xiàn)對(duì)圖像的多維特征提取.由于此模塊對(duì)原始圖像進(jìn)行初步特征提取,因此一維卷積采用大尺寸的卷積核,即,此處多尺度卷積核大小分別為一個(gè)3×3,一個(gè)1×5 和一個(gè)5×1.其次,為了能夠最大限度地利用提取到的特征,此處將3 個(gè)不同尺度提取到的特征圖進(jìn)行通道連接:

然后,利用像素注意模塊對(duì)該多尺度特征圖FMS進(jìn)行加權(quán)學(xué)習(xí),由此獲得多尺度特征提取模塊的輸出結(jié)果XMS可表示為

2.2.4 密集特征提取模塊

密集卷積神經(jīng)網(wǎng)絡(luò)(DenseNet)是Huang 等人[28]為了克服隨著CNN 深度的增加而出現(xiàn)梯度彌散的問(wèn)題而提出的一種網(wǎng)絡(luò)結(jié)構(gòu),它確保了網(wǎng)絡(luò)中各層之間的最大信息流,且能夠有效緩解梯度消失問(wèn)題、增強(qiáng)特征傳播,大大減少了參數(shù)量,同時(shí)能夠增強(qiáng)網(wǎng)絡(luò)的泛化能力.本文設(shè)計(jì)的密集跳躍結(jié)構(gòu)設(shè)計(jì)如圖2 中的fDense模塊所示,實(shí)現(xiàn)在多尺度特征提取模塊的結(jié)果提取到更豐富、更高階的特征,為后續(xù)的環(huán)境光照與噪聲分量估計(jì)奠定特征基礎(chǔ).首先,為了更好地定義密集特征提取模塊,將跳躍卷積單元(skip conv unit,簡(jiǎn)稱SConv)定義為兩個(gè)非線性運(yùn)算和一個(gè)拼接層:

然后,fDense由N個(gè)跳躍卷積單元構(gòu)成,且所有的跳躍卷積單元輸出結(jié)果將被連接在一起,即:

其中,SConvi表示第i個(gè)跳躍卷積單元的輸出結(jié)果.最后,用一個(gè)非線性映射對(duì)進(jìn)行降維,得到密集特征提取模塊fDense的輸出結(jié)果:

公式(22)輸出的結(jié)果XDense通過(guò)密集卷積進(jìn)一步提取特征之后,具有比XMS更加豐富的特征.

2.2.5 環(huán)境光照與噪聲分量估計(jì)模塊

在密集特征提取結(jié)果XDense上,環(huán)境光照估計(jì)模塊先通過(guò)一個(gè)通道注意模塊和像素注意模塊對(duì)特征圖進(jìn)行權(quán)重學(xué)習(xí).通過(guò)基于通道注意力和像素注意力的結(jié)合,實(shí)現(xiàn)對(duì)特征圖中不同通道和不同像素區(qū)域的關(guān)注學(xué)習(xí),能夠有效提取特征中的環(huán)境光照和噪聲信息.然后,利用1×1 非線性映射對(duì)特征進(jìn)行降維,得到三通道特征圖后進(jìn)行取對(duì)數(shù)運(yùn)算,得到輸入圖像X的環(huán)境光照與噪聲的估計(jì)為

由此,根據(jù)公式(23)可以得到環(huán)境光照與噪聲信息的估計(jì)圖.最后,結(jié)合公式(10)和公式(23)即可得到增強(qiáng)結(jié)果圖.但為了避免在網(wǎng)絡(luò)傳播過(guò)程中出現(xiàn)像素點(diǎn)的值超出(0,1)范圍,本文在輸出結(jié)果圖之前,使用Sigmoid函數(shù)進(jìn)行像素值的映射,即:

2.3 MDARNet的損失函數(shù)

MDARNet 網(wǎng)絡(luò)模型的訓(xùn)練目的是,將輸入低照度圖像X送入網(wǎng)絡(luò)得到照度增強(qiáng)圖像與對(duì)應(yīng)的正常照度圖像Y盡可能接近.目前,機(jī)器視覺(jué)任務(wù)中用于度量圖像對(duì)應(yīng)像素點(diǎn)之間差異的損失函數(shù)中,運(yùn)用較為廣泛的有均方誤差(mean square error,簡(jiǎn)稱MSE)損失函數(shù)和平均絕對(duì)誤差(mean absolute error,簡(jiǎn)稱MAE)損失函數(shù):

其中,p表示像素點(diǎn)索引,P 則表示整張圖像切片,N表示圖像切片中像素總數(shù),而分別表示正常照度圖像Y和網(wǎng)絡(luò)輸出的照度增強(qiáng)圖像在像素點(diǎn)p的值.雖然LMSE能夠很好地度量?jī)蓮垐D像像素之間的差距,但是LMAE能夠更準(zhǔn)確地反映實(shí)際預(yù)測(cè)誤差的大小.在圖像增強(qiáng)方面,由于LMAE不會(huì)過(guò)度懲罰圖像的差距,因此在對(duì)比度、亮度方面效果要優(yōu)于LMSE.

雖然直接使用LMSE或LMAE度量與Y之間差異的計(jì)算很簡(jiǎn)單方便,但是它并不符合人眼視覺(jué)的主觀感受,因此,有學(xué)者提出將基于人眼視覺(jué)系統(tǒng)啟發(fā)的結(jié)構(gòu)相似度(structural similarity,簡(jiǎn)稱SSIM)評(píng)價(jià)標(biāo)準(zhǔn)作為損失函數(shù).像素級(jí)的SSIM數(shù)學(xué)表達(dá)式為

其中:μX,μY分別表示圖像X與圖像Y的像素平均值;則分別對(duì)應(yīng)于圖像的方差;σXY為兩幅圖像的協(xié)方差;C1=(k1L)2和C2=(k2L)2是兩個(gè)用于維持函數(shù)穩(wěn)定的常數(shù),能夠防止分母出現(xiàn)0 的情況,其中,L為像素值的動(dòng)態(tài)范圍,且k1=0.01,k2=0.03.

由此,基于SSIM 構(gòu)建的損失函數(shù)可定義為

而根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的性質(zhì),本文將上式改寫(xiě)為

由于SSIM 對(duì)圖像質(zhì)量的度量結(jié)合了圖像結(jié)構(gòu)失真與人眼感知兩個(gè)方面,因此,基于SSIM 的損失函數(shù)的引入,能夠更好地恢復(fù)圖像的結(jié)構(gòu)與細(xì)節(jié).但是由于SSIM 對(duì)均值的偏差不敏感,因此得到的增強(qiáng)圖像亮度與顏色的變換在視覺(jué)效果上偏暗.

其中,λMSE,λMAE和λSSIM表示用于調(diào)整LMSE,LMAE與LSSIM損失權(quán)重的參數(shù).采用不同訓(xùn)練的數(shù)據(jù)集不同時(shí),可能會(huì)影響λMSE,λMAE和λSSIM的取值,但是其取值是平衡不同部分損失函數(shù)的量級(jí)和收斂速度,一般來(lái)說(shuō),先使用超參調(diào)整損失到同一量級(jí),而本文的取值為λMSE=1,λMAE=2 和λSSIM=2.

2.4 伽馬校正與Retinex理論構(gòu)建數(shù)據(jù)集

無(wú)論是簡(jiǎn)單的線性降低圖像亮度,還是單一的非線性伽馬校正調(diào)整圖像的亮度,都無(wú)法很好地模擬真實(shí)低照度圖像的低亮度、低對(duì)比度.文獻(xiàn)[27]對(duì)不同曝光程度的圖像進(jìn)行研究,提出將線性變換與伽馬變換同時(shí)應(yīng)用于合成亮度、對(duì)比度更逼近于真實(shí)低照度圖像的合成圖像,其數(shù)學(xué)表達(dá)式為

其中,α和β用于對(duì)圖像進(jìn)行線性變換,Iγ表示對(duì)圖像I進(jìn)行伽馬變換,且這3 個(gè)參數(shù)服從均勻分布:α~U(0.9,1.0),β~U(0.5,1.0),γ~U(1.5,5.0).此外,本文分別通過(guò)對(duì)圖像進(jìn)行高斯模糊、添加噪聲和伽馬校正的方法來(lái)模擬真實(shí)低照度圖像的特性,可表示為

其中,BG(μB,σB)表示用于模糊圖像的高斯濾波器,NG(μN(yùn),σN)表示向圖像中添加噪聲的高斯函數(shù).上述兩個(gè)高斯函數(shù)的參數(shù)取值為:μB=0,σB~(0.8,1.6),μN(yùn)=0,σN~(0,20).

綜上,為了能夠合成“低照度-正常照度圖像”數(shù)據(jù)集,本文首先采用公式(31)實(shí)現(xiàn)低照度圖像的亮度、對(duì)比度合成,然后采用公式(32)對(duì)圖像進(jìn)行高斯模糊和添加高斯模糊,實(shí)現(xiàn)對(duì)低照度圖像出現(xiàn)模糊和存在噪聲問(wèn)題的仿真,合成過(guò)程如圖5 所示.

Fig.5 Synthesizing process of synthesizing low-illuminance image data sets圖5 合成低照度圖像數(shù)據(jù)集的合成過(guò)程

為了更直觀地顯示合成數(shù)據(jù)集的合成效果,將正常照度圖像與合成低照度圖像在YCbCr 中的Y通道進(jìn)行主觀視覺(jué)效果比較并顯示其直方圖信息,如圖6 所示.

Fig.6 Visual comparison and histogram of Y channel in normal illumination image and synthesized low illumination image in YCbCr圖6 正常照度圖像與合成低照度圖像在YCbCr 中Y 通道的視覺(jué)比較和直方圖

為了使模型學(xué)習(xí)到更好的圖像增強(qiáng)效果,需保證訓(xùn)練圖像的正常照度圖像的質(zhì)量.因此,本文從MSCOCO數(shù)據(jù)集和NIR-RGB 數(shù)據(jù)集中選取了1 800 張具有適當(dāng)?shù)牧炼取⒇S富的色彩、細(xì)節(jié)豐富清晰的圖像,將其中的 1 400 張圖像用于合成訓(xùn)練集,余下400 張則用于合成測(cè)試集.針對(duì)訓(xùn)練集圖像進(jìn)行40 次隨機(jī)切片為128×128大小的圖像切片,構(gòu)建包含56 000 對(duì)圖像的訓(xùn)練集(GLN-trian).此外,為了使圖像增強(qiáng)過(guò)程中能夠得到更好的色彩還原,本文在訓(xùn)練集中增加16 對(duì)純黑到純黑、純白到純白的特殊圖像對(duì).而針對(duì)訓(xùn)練集進(jìn)行一次隨機(jī)切片出512×512 的圖像切片,構(gòu)建包含400 對(duì)的測(cè)試集(GLN-test).

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

本文模型使用Tensorflow 框架實(shí)現(xiàn),并在Windows10+NVIDIA GTX 960 GPU 的計(jì)算機(jī)上對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練.訓(xùn)練網(wǎng)絡(luò)模型的實(shí)驗(yàn)將BatchSize 設(shè)為16,一共迭代10 個(gè)epoch,并在訓(xùn)練過(guò)程使用學(xué)習(xí)率為10-4的Adam優(yōu)化器對(duì)訓(xùn)練過(guò)程進(jìn)行參數(shù)優(yōu)化.

3.2 網(wǎng)絡(luò)結(jié)構(gòu)評(píng)估

為了驗(yàn)證多尺度特征提取(MS)、跳躍連接結(jié)構(gòu)(Dense)、光照與噪聲分量的估計(jì)(Gaussions)及注意力機(jī)制(Att)的應(yīng)用是否能夠有利于提升圖像增強(qiáng)結(jié)果,本文設(shè)計(jì)了多個(gè)不同的模型,分別對(duì)MS 和Dense 模塊的設(shè)計(jì)單元進(jìn)行評(píng)估實(shí)驗(yàn),如圖7 所示,對(duì)比模型在某些模塊的不同設(shè)計(jì)以進(jìn)行消融實(shí)驗(yàn).用于對(duì)比評(píng)估的模型中,除圖7所示的模塊不同外,其余部分的模型設(shè)計(jì)和實(shí)驗(yàn)設(shè)置不變.這些模型訓(xùn)練后,對(duì)測(cè)試集(GLN-test)進(jìn)行測(cè)試,得到的客觀評(píng)價(jià)指標(biāo)結(jié)果見(jiàn)表1,其中,MDARNet w/o PACA 表示在MDARNet 模型中去掉所有注意力機(jī)制.

Fig.7 Multi-scale feature extraction and evaluation model of jump connection structure圖7 多尺度特征提取和跳躍連接結(jié)構(gòu)的評(píng)估模型

Tabel 1 Objective evaluation indicators of different network structure enhancement effects表1 不同網(wǎng)絡(luò)結(jié)構(gòu)增強(qiáng)效果的客觀評(píng)價(jià)指標(biāo)

如表1 結(jié)果顯示:當(dāng)對(duì)MS 模塊評(píng)價(jià)時(shí),無(wú)論是去除MS 模塊、去除MS 中的PC 單元還是在MS 模塊的基礎(chǔ)上增加CA 單元,都降低了增強(qiáng)圖像的PSNR,SSIM,MSE 指標(biāo).對(duì)Dense 模塊評(píng)估時(shí),通過(guò)去除跳躍連接(w/o skip)和增強(qiáng)跳躍連接構(gòu)建兩種對(duì)比模型與本文的跳躍設(shè)計(jì)進(jìn)行性能對(duì)比分析,可以看出,沒(méi)有跳躍連接的增強(qiáng)結(jié)果在各項(xiàng)評(píng)價(jià)指標(biāo)得分上均差于MDARNet.雖然增加密集的跳躍連接的方式能夠得到更高的SSIM 和MS- SSIM 值,但其PSNR 和MSE 的得分明顯差于MDARNet,此外還增加了計(jì)算消耗.在Gaussions 模塊的消融實(shí)驗(yàn)中可以看出:像素注意力和通道注意力的應(yīng)用能夠更有利于對(duì)圖像環(huán)境光照和噪聲分量的估計(jì),能有效提升增強(qiáng)結(jié)果圖的各項(xiàng)評(píng)價(jià)指標(biāo).通過(guò)對(duì)整個(gè)網(wǎng)絡(luò)的注意力機(jī)制單元進(jìn)行消融實(shí)驗(yàn)發(fā)現(xiàn):注意力機(jī)制能夠彌補(bǔ)簡(jiǎn)單卷積運(yùn)算的缺陷,從而顯著提升增強(qiáng)圖像的質(zhì)量.

3.3 聯(lián)合損失函數(shù)評(píng)估

通過(guò)多組實(shí)驗(yàn)對(duì)聯(lián)合損失函數(shù)的組合方式進(jìn)行對(duì)比分析,實(shí)驗(yàn)結(jié)果見(jiàn)表2.

Tabel 2 Objective evaluation indexes of different joint loss function enhancement effects表2 不同聯(lián)合損失函數(shù)增強(qiáng)效果的客觀評(píng)價(jià)指標(biāo)

可以看出:當(dāng)只采用LMSE或LMAE時(shí),可以得到很高的PSNR和MSE 值,但是SSIM 和MS-SSIM 值較低;而只采用LSSIM時(shí),得到的評(píng)價(jià)指標(biāo)則正好相反.此外,無(wú)論是LMSE,LMAE和LSSIM的哪兩種損失函數(shù)的兩兩組合,得到的增強(qiáng)結(jié)果都比三者的組合效果差.雖然λMSE·LMSE+λSSIM·LSSIM的組合在 SSIM 和 MS-SSIM 的得分與λMSE·LMSE+λMAE·LMAE+λSSIM·LSSIM存在可忽略的差異,但在 PSNR 和 MSE 指標(biāo)上的測(cè)試結(jié)果要明顯比λMSE·LMSE+λMAE·LMAE+λSSIM·LSSIM的效果差.

3.4 不同照度增強(qiáng)方法評(píng)估

為了驗(yàn)證MDARNet 能夠有效實(shí)現(xiàn)低照度圖像增強(qiáng),本文分別對(duì)通過(guò)合成低照度圖像測(cè)試集和真實(shí)低照度圖像測(cè)試集進(jìn)行測(cè)試實(shí)驗(yàn)和對(duì)比分析.實(shí)驗(yàn)通過(guò)與一些流行低照度圖像增強(qiáng)算法進(jìn)行增強(qiáng)對(duì)比,包括非基于學(xué)習(xí)的LDR[1],LIME[5],RobustRetinex[6],JED[7],Dehaze[8],Ying-CAIP[9],Ying-ICCV[10]方法,基于學(xué)習(xí)的MSRNet[11],MBLLEN[12],LLCNN[13],GLADNet[16],KinD[17],LLEGAN[18]和MRVAE[19]方法.上述所有基于學(xué)習(xí)的增強(qiáng)方法均采用同MDARNet 相同的數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置進(jìn)行訓(xùn)練和測(cè)試.

3.4.1 合成低照度圖像測(cè)試集增強(qiáng)結(jié)果對(duì)比

采用第2.4 節(jié)的合成低照度圖像測(cè)試集(GLN-test)進(jìn)行驗(yàn)證實(shí)驗(yàn),其增強(qiáng)結(jié)果如圖8 和表3 所示,表中數(shù)據(jù)為400 對(duì)測(cè)試結(jié)果的平均值.

Fig.8 Test result graph of the learning-based enhanced algorithm on GLN-test圖8 基于學(xué)習(xí)的增強(qiáng)算法在GLN-test 上的測(cè)試結(jié)果圖

Tabel 3 Objective evaluation indexes of different methods in synthetic test set表3 不同方法在合成測(cè)試集的客觀評(píng)價(jià)指標(biāo)

從圖8、表3 的結(jié)果可以看出:每一種照度增強(qiáng)方法均能對(duì)低照度圖像實(shí)現(xiàn)照度上的增強(qiáng),但也都分別存在不足之處.從細(xì)節(jié)圖像可以看出,MSRNet,MRVAE,LLEGAN 和GLADNet 方法的增強(qiáng)效果存在不同程度的降噪效果差的問(wèn)題.由于原始模型沒(méi)有考慮圖像的噪聲問(wèn)題,因此MSRNet 的去噪效果最差;此外,增強(qiáng)的圖像細(xì)節(jié)不夠清晰、出現(xiàn)圖像整體泛黃的色彩失衡問(wèn)題.雖然KinD 能夠有效去噪,但是照度提升有限,故其各項(xiàng)客觀評(píng)價(jià)指標(biāo)也最差.MBLLEN 方法的細(xì)節(jié)與色彩信息恢復(fù)較KinD 更好,但是仍然欠佳.LLEGAN 和MRVAE 方法的噪聲較少,但背景的還原效果與真實(shí)情況存在偏差,且客觀評(píng)價(jià)得分較低.LLCNN,GLADNet 和MDARNet 在該測(cè)試集中的還原效果比較接近,且與對(duì)應(yīng)的真實(shí)圖像在視覺(jué)效果相差無(wú)幾.但是MDARNet 在各項(xiàng)客觀評(píng)價(jià)指標(biāo)的得分均優(yōu)于LLCNN,GLADNet,說(shuō)明在客觀評(píng)價(jià)方面,MDARNet 的增強(qiáng)結(jié)果更加接近于原始正常照度圖像.綜上所述,在相同的條件下,MDARNet 的增強(qiáng)結(jié)果相較于這幾種增強(qiáng)方法,能得到更好增強(qiáng)圖像.

3.4.2 真實(shí)低照度圖像增強(qiáng)結(jié)果對(duì)比

為了進(jìn)一步驗(yàn)證MDARNet 對(duì)真實(shí)低照度圖像的增強(qiáng)效果,本文從圖像數(shù)據(jù)庫(kù)DICM[31],TID2013[32],VV[33],RGB-NIR[34],ExDark[35]中選取多張經(jīng)典圖像進(jìn)行增強(qiáng)測(cè)試,其增強(qiáng)結(jié)果分別對(duì)應(yīng)圖9~圖13.

Fig.9 Subjective visual contrast effect of different algorithms on DICM data set圖9 不同算法在DICM 數(shù)據(jù)集上的主觀視覺(jué)對(duì)比效果

Fig.10 Subjective visual contrast effect of different algorithms on TID2013 data set圖10 不同算法在TID2013 數(shù)據(jù)集上的主觀視覺(jué)對(duì)比效果

Fig.11 Subjective visual contrast effect of different algorithms on VV data set圖11 不同算法在VV 數(shù)據(jù)集上的主觀視覺(jué)對(duì)比效果

Fig.12 Subjective visual contrast effect of different algorithms on RGB-NIR data set圖12 不同算法在RGB-NIR 數(shù)據(jù)集上的主觀視覺(jué)對(duì)比效果

從圖中對(duì)比結(jié)果可以看出,LDR 方法的增強(qiáng)效果較差,不僅亮度得不到明顯的增強(qiáng),而且圖像細(xì)節(jié)丟失、色彩還原度差.LIME 方法的增強(qiáng)效果圖在亮度、對(duì)比度方面表現(xiàn)很好,但是存在色彩增強(qiáng)過(guò)于鮮艷,且還原細(xì)節(jié)不夠清晰的問(wèn)題.Dehaze 方法會(huì)出現(xiàn)亮度不足,尤其是光照不均的圖像中的逆光區(qū)域無(wú)法得到有效的亮度提升,但是Dehaze 在針對(duì)平均亮度較暗的圖像進(jìn)行增強(qiáng)時(shí)能得到較好的對(duì)比度.RobustRetinex 和JED 方法均有相近的增強(qiáng)性能,雖然亮度、對(duì)比度得到了一定在增強(qiáng),但是色彩還原度出現(xiàn)比LIME 更嚴(yán)重的過(guò)度增強(qiáng).Ying-CAIP增強(qiáng)的亮度不足,且細(xì)節(jié)還原度不夠.Ying-ICCV 的增強(qiáng)結(jié)果是非學(xué)習(xí)類(lèi)方法中性能最佳的,其增強(qiáng)結(jié)果圖的亮度、對(duì)比度和色彩均從視覺(jué)效果上有很好的效果,但是在對(duì)亮度較低的超低照度圖像的增強(qiáng)時(shí),存在亮度增強(qiáng)不足的情況.從圖中可以發(fā)現(xiàn):傳統(tǒng)方法的增強(qiáng)結(jié)果圖在對(duì)比度方面均優(yōu)于基于學(xué)習(xí)的方法,且在對(duì)逆光圖像進(jìn)行增強(qiáng)時(shí),傳統(tǒng)方法不會(huì)破壞圖像背景的亮度、色彩等信息,如圖9 和圖11 的天空,但是傳統(tǒng)方法增強(qiáng)的整體圖像亮度低于基于神經(jīng)網(wǎng)絡(luò)的方法.

在基于神經(jīng)網(wǎng)絡(luò)的方法中,KinD 方法的增強(qiáng)結(jié)果圖亮度增強(qiáng)效果最差,但其對(duì)比度較好,且在天空等區(qū)域的恢復(fù)與傳統(tǒng)方法更接近.MSRNet 的增強(qiáng)效果圖像亮度增強(qiáng)較好,但細(xì)節(jié)較模糊,且出現(xiàn)了色彩失真.MRVAE增強(qiáng)的亮度和細(xì)節(jié)較好,但存在對(duì)比度不足、噪聲放大和偽影等現(xiàn)象,如圖11 的人臉和圖13 的房子.MBLLEN,LLCNN,GLADNet 方法的增強(qiáng)結(jié)果都較好,能夠很好地提升圖像的亮度、對(duì)比度和還原圖像細(xì)節(jié)信息.但是MBLLEN 的增強(qiáng)結(jié)果亮度比MDARNet 低,且從圖10 的細(xì)節(jié)圖和圖11 的天空看,色彩不夠鮮艷;LLCNN 在逆光圖像的亮光區(qū)域增強(qiáng)時(shí)色彩丟失更嚴(yán)重,且對(duì)比度欠佳于MDARNet 方法;而從圖9 和圖10 的細(xì)節(jié)圖可以看出:GLADNet 在細(xì)節(jié)的亮度增強(qiáng)方面欠佳于MDARNet,且圖11 中,GLADNet 的增強(qiáng)結(jié)果圖的手臂上出現(xiàn)了偽影.LLEGAN 方法的增強(qiáng)結(jié)果圖整體對(duì)比度較低,且在圖13 的天空出現(xiàn)偽影.經(jīng)過(guò)多組測(cè)試圖像的對(duì)比分析可知:從整體圖像的亮度、對(duì)比度、色彩、圖像細(xì)節(jié)等多方面衡量,MDARNet 得到了比其他方法更好的增強(qiáng)效果.

4 結(jié) 論

針對(duì)低照度增強(qiáng)中亮度、色彩及噪聲的增強(qiáng)問(wèn)題,本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)、Retinex 理論、Attention 機(jī)制和密集卷積塊,提出了一種基于Retinex 和Attention 的低照度圖像增強(qiáng)網(wǎng)絡(luò)——MDARNet.首先,MDARNet 利用非對(duì)稱卷積和像素注意力模塊對(duì)圖像進(jìn)行的多尺度卷積和特征融合得到多維度特征圖,隨后利用密集卷積塊對(duì)特征圖進(jìn)一步提取特征,然后利用注意力機(jī)制在通道和空間維度上獨(dú)立地完善卷積特征,最后根據(jù)Retinex理論將估計(jì)到的環(huán)境光照和噪聲分量從低照度圖像中減去,由此得到增強(qiáng)結(jié)果圖.實(shí)驗(yàn)結(jié)果表明:MDARNet 能夠有效地提升低照度圖像的亮度、對(duì)比度,并得到與真實(shí)圖像更接近的色彩增強(qiáng)和噪聲抑制效果.從視覺(jué)主觀效果和多項(xiàng)客觀指標(biāo)的結(jié)果可以看出,MDARNet 方法的增強(qiáng)效果優(yōu)于一些主流經(jīng)典的低照度圖像增強(qiáng)算法.