王柯儼,成吉聰,黃詩(shī)芮,蔡坤倫,王威然,李云松

(西安電子科技大學(xué) 綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,陜西 西安 710071)

1 引 言

受空氣中懸浮的灰塵、水滴和煙霧等顆粒的影響,光線會(huì)發(fā)生吸收和散射等作用,使得在霧霾天氣下采集的戶外圖像質(zhì)量受到嚴(yán)重?fù)p傷,常常表現(xiàn)出對(duì)比度低、信息辨識(shí)性差等情況,嚴(yán)重影響了后續(xù)高級(jí)視覺處理任務(wù)的性能。為了解決這一問(wèn)題,國(guó)內(nèi)外學(xué)者提出了眾多的圖像去霧算法,但現(xiàn)有算法大多是針對(duì)白天自然光照較均勻充足的場(chǎng)景,而忽略了夜間或清晨等光照較弱且不均勻的低光照霧霾場(chǎng)景[1]。由于光照強(qiáng)度低且光照環(huán)境復(fù)雜,導(dǎo)致在低光照霧霾場(chǎng)景下獲取的圖像質(zhì)量更差,細(xì)節(jié)更模糊,色偏更嚴(yán)重,去霧難度更大[2]。因此,研究低光照霧霾場(chǎng)景的去霧問(wèn)題更具現(xiàn)實(shí)意義和挑戰(zhàn)性。

目前針對(duì)低光照霧霾場(chǎng)景的圖像去霧算法相對(duì)較少,并且大都為傳統(tǒng)方法,其根據(jù)建模的來(lái)源可分為兩類:① 基于大氣散射模型及其改進(jìn)模型。例如文獻(xiàn)[3]提出了一種以圖像濾波為導(dǎo)向的夜間去霧方法,通過(guò)人為選擇不同參考圖像以模擬夜間霧圖的真實(shí)效果;文獻(xiàn)[4]通過(guò)對(duì)低光照霧霾場(chǎng)景進(jìn)行光照估計(jì),并使用暗通道先驗(yàn)算法進(jìn)行去霧;② 根據(jù)低光照?qǐng)鼍暗奶攸c(diǎn),結(jié)合多光源和輝光等因素,建立適合低光照?qǐng)鼍俺上褚?guī)律的模型。例如文獻(xiàn)[5]通過(guò)最大反射率先驗(yàn)建模,估計(jì)環(huán)境光照和透射率,進(jìn)而得到清晰圖像;文獻(xiàn)[6]提出了一種變分分解模型,將夜間朦朧圖像同時(shí)分解為結(jié)構(gòu)層、細(xì)節(jié)層和噪聲層,并通過(guò)物理模型的反演將去霧得到的結(jié)構(gòu)層和增強(qiáng)的細(xì)節(jié)層集成為無(wú)霧圖像。盡管上述方法對(duì)部分場(chǎng)景取得了較好的去霧效果,但對(duì)于復(fù)雜的低光照霧霾場(chǎng)景,傳統(tǒng)方法的建模能力有限,難以適應(yīng)場(chǎng)景的多樣性,導(dǎo)致恢復(fù)圖像質(zhì)量欠佳,易產(chǎn)生嚴(yán)重的色偏。

近年來(lái)不少研究人員利用深度學(xué)習(xí)強(qiáng)大的特征挖掘和表示能力,構(gòu)建神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)低光照霧霾場(chǎng)景下的圖像去霧,但是受限于當(dāng)前低光霧霾場(chǎng)景去霧的大規(guī)模訓(xùn)練集較少,基于深度學(xué)習(xí)的低光圖像去霧方法仍然較少。文獻(xiàn)[7]提出了一種端對(duì)端的低光去霧網(wǎng)絡(luò)(Haze Desity Prediction Network,HDPNet),并將網(wǎng)絡(luò)生成的特征圖帶入大氣散射模型中,最終獲得無(wú)霧圖像。文獻(xiàn)[8]同時(shí)利用灰度模塊和顏色模塊對(duì)圖像進(jìn)行去霧,通過(guò)將灰度模塊輸出的灰度無(wú)霧圖像引導(dǎo)彩色模塊,最終輸出彩色無(wú)霧圖像。文獻(xiàn)[9]提出了一種解耦融合網(wǎng)絡(luò),通過(guò)該網(wǎng)絡(luò)可根據(jù)霧霾圖像自適應(yīng)解耦估計(jì)透射率圖和大氣光值,并結(jié)合大氣散射模型最終生成清晰的無(wú)霧圖像。

相比于傳統(tǒng)算法,現(xiàn)有的深度學(xué)習(xí)去霧算法性能更優(yōu),泛化能力更強(qiáng),但仍存在如下兩點(diǎn)問(wèn)題:① 缺乏對(duì)全局上下文依賴關(guān)系的考慮。由于低光照霧霾場(chǎng)景下圖像質(zhì)量退化更嚴(yán)重,需要結(jié)合全局語(yǔ)義信息才能更準(zhǔn)確地恢復(fù)圖像。而現(xiàn)有去霧網(wǎng)絡(luò)大都通過(guò)卷積層的堆疊實(shí)現(xiàn)特征提取,其感受野有限,通常只能關(guān)注到局部特征,而忽略了全局視角下的上下文依賴關(guān)系,導(dǎo)致網(wǎng)絡(luò)對(duì)重要特征的辨識(shí)能力較弱,造成部分去霧圖像出現(xiàn)細(xì)節(jié)丟失、色調(diào)偏白和去霧不徹底的現(xiàn)象;② 缺乏對(duì)圖像色偏的有效校正。由于低光照霧霾場(chǎng)景下光照強(qiáng)度低且常存在非單一光源,去霧圖像易出現(xiàn)嚴(yán)重的色偏現(xiàn)象,這一問(wèn)題僅通過(guò)網(wǎng)絡(luò)模塊設(shè)計(jì)難以有效解決。

針對(duì)上述問(wèn)題,筆者提出了一種融合上下文感知注意力的低光圖像去霧網(wǎng)絡(luò)(Aggregated Context-aware Attention Network,ACANet)。為了解決圖像細(xì)節(jié)重建的問(wèn)題,設(shè)計(jì)了上下文感知注意力機(jī)制,克服了傳統(tǒng)卷積層只能提取局部特征的不足,可通過(guò)全局視角感知并辨析重要特征信息。具體地,首先引入了層內(nèi)上下文感知注意力模塊,依次從通道維度和空間維度結(jié)合全局視角辨識(shí)和加權(quán)輸入的淺層特征,使得輸出的高級(jí)特征具備全局上下文視野,有效增加了重要特征的權(quán)重,從而驅(qū)使網(wǎng)絡(luò)更關(guān)注于圖像紋理信息;其次,引入層間上下文感知注意力模塊,通過(guò)投影操作將高級(jí)特征映射到信號(hào)子空間,并與原始低級(jí)特征進(jìn)行融合,有效結(jié)合了不同感受野下的深層次細(xì)節(jié)信息,進(jìn)一步提升了網(wǎng)絡(luò)對(duì)圖像細(xì)節(jié)信息的重建能力。此外,為了更好地解決色偏問(wèn)題,網(wǎng)絡(luò)還引入CIEDE2000色偏損失函數(shù),通過(guò)在CIELAB色彩空間對(duì)圖像色調(diào)進(jìn)行約束,迫使網(wǎng)絡(luò)學(xué)習(xí)圖像退化相關(guān)的色彩特征,有效減少了恢復(fù)圖像的色偏。筆者在3R、HDP-Net低光數(shù)據(jù)集上對(duì)所提網(wǎng)絡(luò)進(jìn)行了訓(xùn)練和測(cè)試,實(shí)驗(yàn)結(jié)果表明,所提網(wǎng)絡(luò)對(duì)低光圖像去霧效果更好,恢復(fù)圖像的細(xì)節(jié)更清晰,色彩還原度更好。

2 相關(guān)工作

筆者提出的融合上下文感知注意力的低光圖像去霧網(wǎng)絡(luò)(Aggregated Context-aware Attention Network,ACANet),是以(Multi Scale Boosted Dehazing Network,MSBDNet)[10]網(wǎng)絡(luò)為基準(zhǔn)網(wǎng)絡(luò)。MSBDNet是一種基于U-Net架構(gòu)的具有密集特征融合的多尺度增強(qiáng)去霧網(wǎng)絡(luò),是針對(duì)正常光照?qǐng)鼍叭レF問(wèn)題而設(shè)計(jì)的,其網(wǎng)絡(luò)總體架構(gòu)如圖1所示。MSBDNet網(wǎng)絡(luò)的核心有兩個(gè),一是在網(wǎng)絡(luò)解碼端部分引入了boosted增強(qiáng)策略[11],用以逐步恢復(fù)無(wú)霧圖像;另一個(gè)是基于反投影[12]反饋的DFF模塊,用以解決U-Net結(jié)構(gòu)中下采樣部分產(chǎn)生的空間信息壓縮丟失的問(wèn)題,使得解碼端能夠更有效提取不同層次的特征信息。

圖1 MSBDNet網(wǎng)絡(luò)架構(gòu)

雖然MSBDNet對(duì)正常光照?qǐng)鼍跋碌撵F圖具有良好的去霧效果,但網(wǎng)絡(luò)設(shè)計(jì)中并未考慮低光環(huán)境下霧霾圖像光照強(qiáng)度低、光照不均勻等因素,以致對(duì)低光圖像去霧會(huì)產(chǎn)生色偏及紋理信息丟失的現(xiàn)象。因此,筆者在MSBDNet網(wǎng)絡(luò)的基礎(chǔ)上,設(shè)計(jì)了融合層內(nèi)和層間上下文感知注意力模塊,以實(shí)現(xiàn)對(duì)細(xì)節(jié)信息更好的復(fù)原;在網(wǎng)絡(luò)訓(xùn)練過(guò)程中引入了色偏損失函數(shù),以進(jìn)一步提高網(wǎng)絡(luò)對(duì)色彩信息的學(xué)習(xí)能力。

3 融合上下文感知注意力的網(wǎng)絡(luò)總體架構(gòu)

筆者提出的融合上下文感知注意力的低光圖像去霧網(wǎng)絡(luò)(ACANet)的整體架構(gòu)如圖2所示。ACANet網(wǎng)絡(luò)采用多尺度編解碼結(jié)構(gòu),從上到下共5層;由于網(wǎng)絡(luò)第2層到第4層結(jié)構(gòu)完全相同,故圖中只畫出了第2層各模塊結(jié)構(gòu)。在網(wǎng)絡(luò)第2層到第5層的編解碼端都新增了文中提出的層內(nèi)上下文感知注意力模塊;在網(wǎng)絡(luò)第2層到第4層的跳躍連接處引入了文中提出的層間上下文感知注意力模塊;在網(wǎng)絡(luò)第1層編解碼端放置了輕量注意力模塊[13]。通過(guò)層內(nèi)和層間上下文感知注意力模塊的共同作用,網(wǎng)絡(luò)能夠更好地從全局視角感知重要特征信息,使恢復(fù)圖像具有更豐富的紋理細(xì)節(jié),達(dá)到更好的去霧效果。

圖2 ACANet網(wǎng)絡(luò)架構(gòu)

3.1 層內(nèi)上下文感知注意力模塊

由于低光照霧霾場(chǎng)景下圖像退化嚴(yán)重,去霧難度大,受有限的卷積感受野影響,僅利用卷積網(wǎng)絡(luò)提取的局部特征關(guān)系難以有效復(fù)原圖像的紋理細(xì)節(jié)信息,導(dǎo)致恢復(fù)圖像產(chǎn)生細(xì)節(jié)丟失、色調(diào)偏白和去霧不徹底等現(xiàn)象。為解決上述問(wèn)題,使網(wǎng)絡(luò)突破局部視野的限制,能夠更好地從全局上下文視角辨識(shí)重要特征關(guān)系,ACANet引入層內(nèi)上下文感知注意力模塊,依次從通道維度和空間維度聚焦上下文特征信息,旨在利用豐富的上下文信息對(duì)重要特征進(jìn)行加權(quán),使得輸出的深層特征具有全局視野,從而使網(wǎng)絡(luò)能夠更好地辨識(shí)重要特征依賴關(guān)系,更好地過(guò)濾非重要信息,進(jìn)而提升網(wǎng)絡(luò)的性能。層內(nèi)上下文感知注意力模塊的總體結(jié)構(gòu)如圖3(a)所示,包含通道上下文感知模塊和空間上下文感知模塊。

(a) 層內(nèi)上下文感知注意力模塊

3.1.1 通道上下文感知模塊

通道上下文感知模塊聚焦于通道信息;該模塊從通道維度上對(duì)重要特征加權(quán),分別從局部通道、全局通道生成注意力掩碼矩陣,輸出對(duì)通道處各像素點(diǎn)的加權(quán)響應(yīng),使網(wǎng)絡(luò)更加專注于通道有效信息。具體結(jié)構(gòu)如圖4(a)所示。通道上下文感知模塊輸入為C×W×H的原始特征塊,在經(jīng)過(guò)左半部分卷積及調(diào)整大小后,輸出為C×WH的特征矩陣A以及WH×C的特征矩陣B,相乘后得到全局通道注意力信息掩碼矩陣C,其大小為C×C;右半部分在經(jīng)過(guò)池化及卷積操作之后,得到一個(gè)大小為C×1×1的局部通道注意力信息掩碼矩陣D。將矩陣C與D相乘后的通道矩陣E作為權(quán)重矩陣,其每一個(gè)元素信息均包含了所有通道和所有像素的信息。再將矩陣E與原始輸入特征塊逐像素相乘,最終得到大小為C×W×H的高級(jí)輸出特征塊。具體操作可表示為

圖4 通道、空間上下文感知模塊結(jié)構(gòu)圖

D=f[MaxPool(X)]+f[ AvgPool(X)] ,

(1)

Y=(A·B)·D?X,

(2)

其中,X為輸入原始特征,f(·)表示卷積操作,MaxPool(·)表示自適應(yīng)最大池化操作,AvgPool(·)表示自適應(yīng)平均池化操作,?表示逐像素相乘,·表示矩陣相乘,Y表示輸出特征塊。

3.1.2 空間上下文感知模塊

空間上下文感知模塊則聚焦于感知空間維度的局部上下文和全局上下文,并從空間維度對(duì)重要信息進(jìn)行加權(quán),通過(guò)生成局部空間注意力掩碼矩陣及全局空間注意力掩碼矩陣,輸出對(duì)空間位置各像素點(diǎn)加權(quán)響應(yīng),使網(wǎng)絡(luò)更加關(guān)注于圖像的空間信息,具體結(jié)構(gòu)如圖4(b)所示。其結(jié)構(gòu)與通道上下文感知模塊相似,主要有兩處差異,第1個(gè)差異是其右半部分經(jīng)過(guò)池化操作后再使用卷積融合成是尺寸為1×W×H的局部空間注意力信息掩碼矩陣D;另一個(gè)差異是其左半部分輸出的是大小為WH×WH的全局空間注意力信息特征矩陣C。最終將矩陣C與D相乘后的掩碼矩陣E作為權(quán)重矩陣,對(duì)輸入特征進(jìn)行加權(quán)。具體操作可表示為

D=f[ MaxPool(X);AvgPool(X)] ,

(3)

Y=(A·B)·D?X,

(4)

其中,“;”為拼接操作。

3.2 層間上下文感知注意力模塊

層內(nèi)上下文感知注意力模塊旨在解決同一層編解碼端的信息傳遞問(wèn)題,而多尺度編解碼網(wǎng)絡(luò)的不同層由于感受野大小和網(wǎng)絡(luò)結(jié)構(gòu)不同,可以提取到不同尺度的互補(bǔ)特征。為了更好融合不同感受野下的重要互補(bǔ)特征,進(jìn)一步實(shí)現(xiàn)網(wǎng)絡(luò)不同層間信息的重構(gòu)[14],ACANet在跳躍連接處引入層間上下文感知注意力模塊,以獲得不同層之間更高質(zhì)量的融合特征。具體結(jié)構(gòu)如圖3(b)所示。將原始低層特征X1與高層特征X2作為輸入特征圖送入層間上下文感知注意力模塊,經(jīng)下采樣后進(jìn)行通道維度拼接操作;然后利用投影模塊[15]將高層特征X2映射到低層信號(hào)子空間,并將投影模塊的輸出結(jié)果進(jìn)行上采樣操作,以恢復(fù)原始空間維度尺寸;最后通過(guò)協(xié)注意力模塊[16]將低層特征豐富的細(xì)節(jié)信息嵌入到上采樣后的高層特征中,得到融合不同層間上下文的輸出特征圖Y。

3.3 損失函數(shù)

為進(jìn)一步解決圖像復(fù)原產(chǎn)生的色偏問(wèn)題,引入了CIEDE2000色偏損失函數(shù),使網(wǎng)絡(luò)在CIELAB色彩空間對(duì)圖像色調(diào)進(jìn)行約束;同時(shí),為保證恢復(fù)圖像其整體主觀視覺效果較好,網(wǎng)絡(luò)也引入均方誤差損失進(jìn)行約束。因此,文中所采用的損失函數(shù)為均方誤差損失與色偏損失之和,總損失公式為

L=Lmse+Lc,

(5)

其中,Lmse為均方誤差損失,Lc為色偏損失。

3.3.1 均方誤差損失

均方誤差損失又稱為L(zhǎng)2損失,通過(guò)計(jì)算預(yù)測(cè)值與真實(shí)值之間的均方誤差,進(jìn)而對(duì)模型優(yōu)劣進(jìn)行衡量。因此也可以看成是對(duì)歐氏距離的計(jì)算,具體計(jì)算公式為

(6)

其中,n表示輸入的總數(shù)據(jù)個(gè)數(shù),X表示預(yù)測(cè)值,Y表示真實(shí)值。

3.3.2 基于CIEDE2000[17]的色偏損失

(7)

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證文中網(wǎng)絡(luò)的性能,實(shí)驗(yàn)選用3R低光數(shù)據(jù)集[18]中8 970幅圖像和HDP-Net夜間黃光數(shù)據(jù)集及非黃光數(shù)據(jù)集[7]中各10 000張圖片對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試。

網(wǎng)絡(luò)使用Pytorch平臺(tái)進(jìn)行訓(xùn)練和優(yōu)化,并使用Adam優(yōu)化器和反向傳播算法對(duì)參數(shù)進(jìn)行更新迭代。實(shí)驗(yàn)針對(duì)不同的數(shù)據(jù)集定義了不同的初始學(xué)習(xí)率,并采用動(dòng)態(tài)學(xué)習(xí)率優(yōu)化網(wǎng)絡(luò)參數(shù)。其中,3R數(shù)據(jù)集初始學(xué)習(xí)率為0.000 2,HDP數(shù)據(jù)集初始學(xué)習(xí)率為0.000 1,并且每經(jīng)過(guò)100輪訓(xùn)練,網(wǎng)絡(luò)學(xué)習(xí)率降為之前的十分之一。具體網(wǎng)絡(luò)訓(xùn)練參數(shù)如表1所示。

表1 文中網(wǎng)絡(luò)訓(xùn)練參數(shù)

實(shí)驗(yàn)所用計(jì)算平臺(tái)如下:CPU為Intel(R) Core CPU i9 10900X,主頻3.7 GHz;顯卡為Nvidia GeForce RTX3090,顯存24GB;操作系統(tǒng)為Ubuntu18.04,CUDA版本為11.3,Pytorch版本為1.10。

為證明文中所提算法的有效性,筆者通過(guò)對(duì)比實(shí)驗(yàn)、消融實(shí)驗(yàn)對(duì)網(wǎng)絡(luò)進(jìn)行驗(yàn)證,并選擇峰值信噪比(Peak Signal-to-Naise Ratio,PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity,SSIM)作為客觀評(píng)價(jià)指標(biāo),其最終計(jì)算結(jié)果取平均值。

4.1 對(duì)比實(shí)驗(yàn)

筆者選取5種去霧算法與文中低光去霧網(wǎng)絡(luò)進(jìn)行對(duì)比。由于現(xiàn)階段基于深度學(xué)習(xí)的低光去霧網(wǎng)絡(luò)暫未開源代碼,且采用的數(shù)據(jù)集不同,故對(duì)比方法選取3種端到端的正常光照去霧網(wǎng)絡(luò)—MSBDNet[10]、GCANet[19]、FFANet[20],其均在正常光照?qǐng)鼍叭レF中展現(xiàn)了優(yōu)秀的性能。為保證對(duì)比公平,用新的數(shù)據(jù)集對(duì)3種網(wǎng)絡(luò)重新訓(xùn)練,并都引入了色偏損失函數(shù)。此外,筆者也選取了兩種開源的傳統(tǒng)低光去霧算法進(jìn)行比對(duì)。表2展現(xiàn)了在3R數(shù)據(jù)集以及HDP-Net數(shù)據(jù)集上,包含文中網(wǎng)絡(luò)在內(nèi)的6種去霧算法客觀指標(biāo)測(cè)量結(jié)果。其中,加粗?jǐn)?shù)值代表同一數(shù)據(jù)集下性能最好的結(jié)果,而加下劃線的數(shù)值則代表性能次之的結(jié)果。

表2 各算法去霧結(jié)果客觀指標(biāo)

從表2可以看出,在3R數(shù)據(jù)集上,筆者所提算法在PSNR、SSIM指標(biāo)上均高于其他算法,且相對(duì)于基準(zhǔn)網(wǎng)絡(luò)MSBDNet,PSNR提升了2dB左右,SSIM提升了0.01左右;在HDP數(shù)據(jù)集上,PSNR指標(biāo)仍高于其他算法,由于網(wǎng)絡(luò)缺少優(yōu)化結(jié)構(gòu)信息的損失函數(shù),SSIM指標(biāo)排名第二,略低于GCANet,但相對(duì)于基準(zhǔn)網(wǎng)絡(luò)MSBDNet,文中方法的PSNR和SSIM指標(biāo)均有提升。由于低光霧霾場(chǎng)景復(fù)雜多變,而傳統(tǒng)去霧算法多依賴于物理模型,泛化能力較差,導(dǎo)致其在3R數(shù)據(jù)集、HDP數(shù)據(jù)集中去霧效果較差。

圖5給出了3R數(shù)據(jù)集上不同算法的去霧效果圖。通過(guò)主觀對(duì)比可以看出,在色彩恢復(fù)方面,其他5種對(duì)比去霧算法對(duì)天空部分的處理均不理想,其中兩個(gè)傳統(tǒng)方法在天空部分出現(xiàn)了嚴(yán)重的光暈和色偏,而MSBDNet在天空區(qū)域的顏色偏白,而文中算法對(duì)天空色彩恢復(fù)良好;在紋理信息恢復(fù)方面,從第2行、第4行可以看出,文中算法對(duì)紋理信息的恢復(fù)效果更好,其結(jié)果更接近于原始圖像。由此可見,針對(duì)低光合成數(shù)據(jù)集,文中算法表現(xiàn)優(yōu)異。

圖5 3R數(shù)據(jù)集上不同去霧算法對(duì)比圖

圖6對(duì)比了不同算法在真實(shí)數(shù)據(jù)集上的去霧效果圖,利用3R數(shù)據(jù)集訓(xùn)練得到的權(quán)重對(duì)真實(shí)低光照霧圖進(jìn)行去霧。通過(guò)主觀對(duì)比可以看出,在色彩恢復(fù)方面,其他5種算法對(duì)燈光的恢復(fù)均出現(xiàn)了嚴(yán)重的色偏現(xiàn)象,MSBDNet和GCANet更是將燈光顏色還原成了紫色,僅文中算法對(duì)燈光的復(fù)原更接近于真實(shí)色彩;在紋理細(xì)節(jié)方面,相較于其他算法產(chǎn)生的輝光效應(yīng),文中算法對(duì)道路標(biāo)志的恢復(fù)更好,其邊緣區(qū)域過(guò)渡更自然,紋理信息更清楚。綜上所述,針對(duì)真實(shí)低光照?qǐng)鼍办F圖,文中算法表現(xiàn)更優(yōu)。

圖6 真實(shí)數(shù)據(jù)不同去霧算法對(duì)比圖

表3給出了6種算法的復(fù)雜度統(tǒng)計(jì)結(jié)果。為比較公平,筆者將3R數(shù)據(jù)集裁切為大小為512×512像素的小圖,在RTX3090顯卡上測(cè)試網(wǎng)絡(luò)的運(yùn)行速度、運(yùn)算量(FLOPs)和參數(shù)量等指標(biāo)。結(jié)合表2、表3可以看出,文中網(wǎng)絡(luò)具有最好的去霧性能,但在算法復(fù)雜度方面,由于引入了上下文感知注意力模塊,文中網(wǎng)絡(luò)相較于基準(zhǔn)網(wǎng)絡(luò)MSBDNet,其運(yùn)行時(shí)間較長(zhǎng),但網(wǎng)絡(luò)總體運(yùn)算量基本持平,參數(shù)量略有下降。因此,如何在保持良好性能的前提下,設(shè)計(jì)輕量化去霧模型以滿足實(shí)時(shí)處理要求,有待進(jìn)一步研究。

表3 各算法復(fù)雜度統(tǒng)計(jì)

4.2 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)1為驗(yàn)證文中所提模塊的有效性,筆者在基準(zhǔn)網(wǎng)絡(luò)MSBDNet(記為Baseline)的基礎(chǔ)上分別引入了層內(nèi)、層間上下文感知注意力模塊,并在3R數(shù)據(jù)集上進(jìn)行訓(xùn)練測(cè)試,計(jì)算PSNR、SSIM指標(biāo),和文中網(wǎng)絡(luò)進(jìn)行對(duì)比。

從表4可以看出,色偏損失的引入使得網(wǎng)絡(luò)C的PSNR相較于(網(wǎng)絡(luò)B)Baseline提高了1.18 dB,有效證明了色偏損失函數(shù)對(duì)圖像色彩復(fù)原有著較好的效果。在此基礎(chǔ)上,層內(nèi)上下文感知注意力模塊的引入使得網(wǎng)絡(luò)D的PSNR相較于網(wǎng)絡(luò)C又提高了0.45 dB,從而證明了編解碼端該模塊的有效性,而層間上下文感知注意力模塊的引入使得網(wǎng)絡(luò)E的PSNR較網(wǎng)絡(luò)C又提高了0.47dB,有效驗(yàn)證了跳躍連接處該模塊對(duì)網(wǎng)絡(luò)性能的提升,而通過(guò)上述注意力模塊的聯(lián)合使用更是使得文中網(wǎng)絡(luò)F的PSNR較基準(zhǔn)網(wǎng)絡(luò)Baseline提高了2.16 dB,較網(wǎng)絡(luò)C提高了0.98 dB,充分說(shuō)明了筆者所提上下文感知注意力模塊對(duì)網(wǎng)絡(luò)性能的有效提升。

表4 消融實(shí)驗(yàn)1結(jié)果

圖7給出了3R數(shù)據(jù)集上消融實(shí)驗(yàn)1的效果對(duì)比圖。從第1張結(jié)果圖可以看出,色偏損失的引入使得圖像色彩更接近于真實(shí)圖像,層內(nèi)上下文感知注意力模塊能夠使得網(wǎng)絡(luò)學(xué)習(xí)到全局信息,對(duì)物體的邊緣過(guò)渡區(qū)域處理較好,加深了物體背景信息,而層間上下文感知注意力模塊使得高樓處紋理信息更加清楚,增強(qiáng)了圖像的細(xì)節(jié)紋理信息。從第2張結(jié)果圖可以看出,單獨(dú)的層內(nèi)上下文感知注意力模塊同樣也會(huì)出現(xiàn)色偏現(xiàn)象,但層間上下文感知注意力模塊對(duì)天空區(qū)域處理效果較好,通過(guò)兩種模塊的結(jié)合使用,使其對(duì)天空的處理更接近于原始清晰圖像。因此,文中所結(jié)合使用的各模塊均提升了網(wǎng)絡(luò)的去霧效果。

圖7 消融試驗(yàn)1結(jié)果對(duì)比

消融實(shí)驗(yàn)2為驗(yàn)證網(wǎng)絡(luò)層數(shù)對(duì)于網(wǎng)絡(luò)性能的影響,筆者在3R數(shù)據(jù)集上對(duì)不同層數(shù)的網(wǎng)絡(luò)進(jìn)行了訓(xùn)練和測(cè)試,客觀性能指標(biāo)結(jié)果如表5所示。當(dāng)層數(shù)較少時(shí),由于網(wǎng)絡(luò)對(duì)特征的抽象能力較弱,難以獲取更為全面的語(yǔ)義信息,使得復(fù)原后的圖像指標(biāo)有所下降;而當(dāng)層數(shù)較多時(shí),由于抽象程度過(guò)高,導(dǎo)致信息在多次卷積的過(guò)程中出現(xiàn)丟失,同樣會(huì)造成指標(biāo)下降。因此,文中所選擇的5層網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了最優(yōu)的去霧效果,達(dá)到了最好的性能指標(biāo)。

5 結(jié)束語(yǔ)

針對(duì)當(dāng)前低光去霧網(wǎng)絡(luò)聚合全局信息不足,色偏影響嚴(yán)重等問(wèn)題,筆者提出了一種融合上下文感知注意力的低光圖像去霧網(wǎng)絡(luò),使網(wǎng)絡(luò)能夠更好地考慮上下文特征信息。同時(shí),引入色偏損失函數(shù)校正圖像色偏。實(shí)驗(yàn)證明,文中所提的算法在兩種數(shù)據(jù)集上,兩種客觀指標(biāo)都取得了較好的效果。在主觀視覺上,文中算法有效地減少了色偏,增強(qiáng)了圖像的紋理細(xì)節(jié),使恢復(fù)圖像更清晰自然。但文中算法仍存在一些不足,如算法的時(shí)間復(fù)雜度較高。因此,下一步研究將更著重于模型的輕量化實(shí)時(shí)處理,考慮模型在真實(shí)場(chǎng)景的泛化性和魯棒性,實(shí)現(xiàn)更貼合實(shí)際的應(yīng)用研究。