寇大磊，錢 敏 ，權(quán)冀川，劉佳洛，張仲偉，4

1.陸軍工程大學(xué) 指揮控制工程學(xué)院，南京 210007

2.中國(guó)人民解放軍68023部隊(duì)

3.上海警備區(qū) 數(shù)據(jù)信息室，上海 200040

4.中國(guó)人民解放軍73671部隊(duì)

1 引言

霧或霧霾是由空氣中的懸浮粒子（水汽、灰塵和煙霧）吸收物體本身的反射光，并散射大氣光而產(chǎn)生的一種常見大氣現(xiàn)象。霧天或霧霾天對(duì)拍攝圖像的主要影響是圖像顏色偏灰白、對(duì)比度下降，物體特征難以辨別。如圖1 所示，在霧或霧霾的影響下，采集的圖像不僅視覺效果差，還會(huì)對(duì)很多高級(jí)計(jì)算機(jī)視覺任務(wù)（圖像分類、目標(biāo)檢測(cè)和無(wú)人駕駛等）造成嚴(yán)重的干擾。因此，研究圖像去霧技術(shù)可以改善圖像質(zhì)量，提升高級(jí)計(jì)算機(jī)視覺任務(wù)的性能。

圖1 真實(shí)霧圖示例

目前圖像去霧技術(shù)可分為基于圖像增強(qiáng)的去霧算法和基于大氣散射模型的去霧算法兩類[1]。

基于圖像增強(qiáng)的去霧算法主要通過(guò)去除圖像的噪聲、提高圖像的對(duì)比度等圖像增強(qiáng)技術(shù)，恢復(fù)出無(wú)霧清晰圖像。代表性的圖像增強(qiáng)去霧算法有直方圖均衡化（Histogram Equalization，HE）、Retinex 算法、小波變換、同態(tài)濾波等。但嚴(yán)格地說(shuō)，基于圖像增強(qiáng)的去霧算法并不是通過(guò)霧氣的形成原理來(lái)去除霧對(duì)圖像的影響，而是通過(guò)常規(guī)的圖像增強(qiáng)技術(shù)，增強(qiáng)圖像的對(duì)比度、清晰度等以提升圖像的視覺效果和后期對(duì)圖像處理和分析的效果，是圖像去霧領(lǐng)域早期常用的去霧方法[1]。

近年來(lái)，以大氣散射模型[2-3]作為先驗(yàn)知識(shí)，通過(guò)逆向求解進(jìn)行單幅圖像去霧的技術(shù)取得了重大突破。如Fattal[4]通過(guò)估計(jì)透射率實(shí)現(xiàn)去霧。He 等[5]在大量統(tǒng)計(jì)的基礎(chǔ)上，提出了基于暗原色先驗(yàn)（Dark Channel Prior，DCP）理論的去霧方法。Meng等[6]將去霧問(wèn)題作為一個(gè)基于邊界對(duì)比度和正則化的優(yōu)化問(wèn)題。由于僅從單張圖像進(jìn)行參數(shù)估計(jì)誤差較大，一些學(xué)者開始將卷積網(wǎng)絡(luò)引入圖像去霧領(lǐng)域并取得了一定的效果。如Cai等[7]提出的DehazeNet 通過(guò)卷積網(wǎng)絡(luò)從霧天圖像中預(yù)測(cè)介質(zhì)傳輸圖。Ren 等[8]提出的MSCNN 通過(guò)多尺度卷積神經(jīng)網(wǎng)絡(luò)生成了粗略的場(chǎng)景透射率。隨后多尺度卷積被廣泛應(yīng)用于圖像去霧領(lǐng)域。文獻(xiàn)[9]通過(guò)將原始有霧圖像與三個(gè)不同尺度的卷積核進(jìn)行卷積，經(jīng)過(guò)一系列特征學(xué)習(xí)后得到粗略的透射率圖。文獻(xiàn)[10]提出的MSDN 通過(guò)兩個(gè)端到端的多尺度全卷積神經(jīng)網(wǎng)絡(luò)然后將淺層特征和深層特征進(jìn)行跳躍連接融合，實(shí)現(xiàn)圖像去霧。但目前的去霧算法在實(shí)際應(yīng)用中仍然面臨很多問(wèn)題。

2 面臨的問(wèn)題

2.1 使用場(chǎng)景有限

在實(shí)際圖像采集時(shí)，受光照強(qiáng)度、采集距離、場(chǎng)景色彩度等因素作用，圖像中霧的影響不盡相同。

圖2為4種經(jīng)典去霧算法對(duì)4種不同類型圖像的去霧效果：圖（a）為淡霧圖，圖像色彩鮮艷，圖中物體細(xì)節(jié)清晰；大部分去霧算法可得到很好的去霧效果。圖（b）為光線偏暗的霧圖，圖像整體亮度偏低；經(jīng)去霧算法處理后，會(huì)產(chǎn)生圖像亮度變低、部分細(xì)節(jié)丟失等副作用。圖（c）為濃霧圖，霧氣濃度大，能見度極低；對(duì)于該類霧圖，目前所有的去霧算法的去霧效果都不理想，會(huì)產(chǎn)生圖像亮度變低、部分細(xì)節(jié)丟失等副作用。通過(guò)上述對(duì)比可以發(fā)現(xiàn)，基于大氣散射模型在處理色彩較為鮮艷的圖像時(shí)，效果較好，而對(duì)圖像整體偏暗或部分偏暗時(shí)，去霧后會(huì)更暗，會(huì)影響圖像的質(zhì)量，由于霧、霧霾會(huì)影響光照強(qiáng)度，因此在很多真實(shí)的霧圖都會(huì)出現(xiàn)局部光線偏暗的問(wèn)題。

圖2 不同類型霧圖示例

在實(shí)際應(yīng)用環(huán)境中，如果無(wú)霧圖像存在光線偏暗的問(wèn)題，去霧算法處理后會(huì)有副作用。而在一些使用場(chǎng)景中同時(shí)存在無(wú)霧和有霧圖像，必須提前對(duì)有霧圖像和無(wú)霧圖像進(jìn)行判定，但由于有霧圖像和無(wú)霧圖像并沒有一個(gè)明顯的分界，目前沒有十分有效的分類方法，因此在對(duì)圖像批量去霧時(shí)，就需要人工判斷是否需要去霧。

同時(shí)由于基于卷積網(wǎng)絡(luò)的算法，對(duì)訓(xùn)練數(shù)據(jù)集有很大的依賴性，而目前常用的訓(xùn)練集Middlebury Stereo Dataset、RESIDE 數(shù)據(jù)集等都是以室內(nèi)或室外無(wú)霧圖像為基礎(chǔ)合成有霧圖像。合成霧圖只能反映部分場(chǎng)景下真正霧圖的部分特性，這也在一定程度限制了基于深度學(xué)習(xí)去霧算法的應(yīng)用場(chǎng)景。

2.2 算法速度慢

目前學(xué)術(shù)界對(duì)去霧算法性能的驗(yàn)證大都是建立在TitanX、2080ti等強(qiáng)大的獨(dú)立顯卡基礎(chǔ)上，因此大部分去霧算法可以實(shí)現(xiàn)實(shí)時(shí)去霧。但實(shí)際的應(yīng)用場(chǎng)景，例如無(wú)人機(jī)、移動(dòng)終端、視頻監(jiān)控等嵌入式設(shè)備，通常不具備這樣的條件；同時(shí)，圖像去霧常被稱為低級(jí)視覺任務(wù)，在實(shí)際應(yīng)用中通常作為高級(jí)視覺任務(wù)的預(yù)處理步驟[11]。其提升高級(jí)視覺任務(wù)效果的同時(shí)，算法處理時(shí)間和計(jì)算量也將附加到后續(xù)的高級(jí)視覺任務(wù)中。如文獻(xiàn)[9]、文獻(xiàn)[10]、文獻(xiàn)[12]等采用復(fù)雜的多尺度卷積網(wǎng)絡(luò)的去霧算法在結(jié)合了高級(jí)計(jì)算機(jī)視覺任務(wù)后，會(huì)影響整體任務(wù)的實(shí)時(shí)性。

圖3 算法結(jié)構(gòu)圖

目前也出現(xiàn)了例如文獻(xiàn)[13-16]等快速去霧算法，但去霧效果有一定的下降。因此對(duì)算法計(jì)算量的壓縮和處理速度的提升的研究也是很有必要的。

2.3 效果評(píng)判難

去霧效果評(píng)判常采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）、結(jié)構(gòu)相似度（Structural Similarity Index，SSIM）等需要參考清晰圖像的指標(biāo)或主觀的視覺效果對(duì)比兩種方式。主觀評(píng)判沒有固定標(biāo)準(zhǔn)，評(píng)判的誤差較大。PSNR、SSIM等指標(biāo)需要與無(wú)霧參考圖像進(jìn)行對(duì)比，只能用于合成霧圖去霧效果的評(píng)判。而真實(shí)有霧圖與合成霧圖存在很大區(qū)別。因此，未來(lái)還需提出更直觀、更有說(shuō)服力的評(píng)判方法。去霧技術(shù)作為高級(jí)視覺任務(wù)的輔助技術(shù)，將其與圖像分類、目標(biāo)檢測(cè)、圖像分割等高級(jí)任務(wù)相結(jié)合，通過(guò)其對(duì)高級(jí)視覺任務(wù)的提升效果進(jìn)行評(píng)判更貼近實(shí)際、更有說(shuō)服力。

針對(duì)以上問(wèn)題，本文提出一種基于多尺度卷積網(wǎng)絡(luò)的快速圖像去霧方法。

3 基于多尺度卷積網(wǎng)絡(luò)的快速圖像去霧算法

算法結(jié)構(gòu)由去霧模塊和修復(fù)模塊組成，如圖3 所示。去霧模塊通過(guò)卷積網(wǎng)絡(luò)和變形后的大氣散射模型從輸入圖像中得到去霧圖像。修復(fù)模塊通過(guò)對(duì)比度受限自適應(yīng)直方圖均衡（CLAHE）[17]技術(shù)對(duì)去霧模塊得到的圖像進(jìn)行修復(fù)，消除去霧模塊對(duì)圖像造成的負(fù)作用，還原出符合人類正常視覺效果的清晰圖像，提升算法的魯棒性。

3.1 去霧模塊

近兩年，在去雨、去噪、去模糊等研究方向出現(xiàn)了很多端到端的模型，甚至有學(xué)者通過(guò)卷積網(wǎng)絡(luò)直接實(shí)現(xiàn)端到端的圖像去霧。雖然也取得了不錯(cuò)的去霧效果，但是由于放棄了基于物理模型的去霧思路，完全依賴神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，導(dǎo)致算法擬合較慢，對(duì)訓(xùn)練集的依賴程度較大，泛化能力較差。因此，本文提出的去霧算法還是以大氣散射模型為基礎(chǔ)，借鑒了AOD-Net[14]的思想，通過(guò)變形后的大氣散射模型實(shí)現(xiàn)去霧處理。

3.1.1 大氣散射模型及變形公式

目前的計(jì)算機(jī)視覺領(lǐng)域，常通過(guò)改進(jìn)后的大氣散射模型來(lái)描述霧天圖像的形成過(guò)程。該模型被廣泛用于圖像和視頻去霧技術(shù)研究，其空間模型如圖4所示。

圖4 大氣散射模型示意圖

用公式可表達(dá)為：

其中，I(X)為有霧圖像，J(X)為清晰圖像。兩個(gè)關(guān)鍵參數(shù)：t(x)為介質(zhì)傳輸圖，A為大氣光值。介質(zhì)傳輸圖是光線經(jīng)大氣媒介傳播到達(dá)相機(jī)的過(guò)程中沒有被散射的部分，它能反映圖像中目標(biāo)場(chǎng)景的遠(yuǎn)近層次。可以定義為：

公式（1）等號(hào)右邊第一項(xiàng)為光線直接衰減值，是場(chǎng)景反射光通過(guò)空氣中介質(zhì)傳播后衰減后的值；第二項(xiàng)為大氣光照，大氣光照是全局大氣光經(jīng)空氣中介質(zhì)散射后進(jìn)入到相機(jī)的光線。

目前大部分去霧方法通過(guò)復(fù)雜的卷積網(wǎng)絡(luò)從有霧圖像I(X)估計(jì)介質(zhì)傳輸圖t(x)；再通過(guò)人工經(jīng)驗(yàn)估計(jì)A值；最后利用公式（1）估計(jì)清晰圖像J(X)。這種分步驟估計(jì)t(x)和A值的方式，在估計(jì)t(x)和A值時(shí)均會(huì)產(chǎn)生誤差，這會(huì)導(dǎo)致最終結(jié)果中誤差疊加甚至變大，同時(shí)以往通過(guò)人工經(jīng)驗(yàn)估計(jì)A值的方法受主觀因素影響多，這些都將會(huì)影響最終的去霧效果。

為此，將公式（1）重新表示為下述形式：

其中：

將t(x) 和A值集成到新變量K(X) 中，K(X) 依賴于I(X)。因此可以通過(guò)構(gòu)建卷積網(wǎng)絡(luò)直接學(xué)習(xí)K(X)，這樣通過(guò)卷積神經(jīng)網(wǎng)絡(luò)一步實(shí)現(xiàn)K(X)的預(yù)測(cè)，相比以往的方法不僅能夠減小從而最小化輸出J(X)和I(X)清晰圖像之間的重建誤差，而且將兩步變一步，壓縮了處理流程和計(jì)算量，一定程度上提升算法的速度。確保在增加了修復(fù)模塊后，算法還能有一個(gè)較快的處理速度。

3.1.2 卷積網(wǎng)絡(luò)結(jié)構(gòu)

如圖5所示，有霧圖像通過(guò)卷積網(wǎng)絡(luò)求出K(X)，再利用變形后的大氣散射模型求出清晰圖像I(X)。卷積網(wǎng)絡(luò)通過(guò)特征提取和特征融合達(dá)到準(zhǔn)確地估計(jì)K(X)的目的。

圖像分類等問(wèn)題只需要提取圖像關(guān)鍵特征，而圖像恢復(fù)要求圖像的細(xì)節(jié)在網(wǎng)絡(luò)傳播中不能丟失，過(guò)多的下采樣過(guò)程會(huì)丟失很多的圖像細(xì)節(jié)[18]。通過(guò)實(shí)驗(yàn)對(duì)比不同數(shù)量卷積核數(shù)目和下采樣數(shù)目后，發(fā)現(xiàn)壓縮后的網(wǎng)絡(luò)，去霧模塊處理后的圖像在視覺效果方面整體會(huì)更暗。SSIM、PSNR、FSIM等指標(biāo)有一定下降。但隨后的修復(fù)算法可以在一定程度上彌補(bǔ)壓縮網(wǎng)絡(luò)結(jié)構(gòu)后帶來(lái)的問(wèn)題。并且網(wǎng)絡(luò)層數(shù)較淺，能夠加快網(wǎng)絡(luò)訓(xùn)練速度，防止網(wǎng)絡(luò)陷入局部最優(yōu)，同時(shí)保證圖像細(xì)節(jié)信息的有效傳遞。由于本文算法相比其他基于卷積網(wǎng)絡(luò)算法增加了修復(fù)模塊，算法的計(jì)算量也會(huì)隨之增加。綜合考慮算法的速度和去霧效果。只采用了1次下采樣，并且每個(gè)卷積層僅采用3個(gè)卷積核，以確保算法的速度。

為實(shí)現(xiàn)快速圖像去霧，在網(wǎng)絡(luò)設(shè)計(jì)時(shí)，最大可能地壓縮了去霧模塊中網(wǎng)絡(luò)的層數(shù)和卷積核的數(shù)量。這樣相比MSCNN 等多尺度算法網(wǎng)絡(luò)捕捉到信息的能力會(huì)有一定下降，但速度得到很大提升。而修復(fù)模塊中的對(duì)比度受限自適應(yīng)直方圖均勻化是一種基于圖像增強(qiáng)的去霧算法，在對(duì)去霧模塊輸出的圖像進(jìn)行修復(fù)的同時(shí)，會(huì)對(duì)圖像進(jìn)行二次去霧，進(jìn)一步提升模型的去霧效果。

有霧圖像作為卷積網(wǎng)絡(luò)的輸入，首先通過(guò)2 層卷積，對(duì)霧圖進(jìn)行特征提取，第1 層為步長(zhǎng)為1 的3 個(gè)3×3的卷積核。3×3 的卷積核是目前特征提取性能最好的卷積核。第2層為步長(zhǎng)為3的3個(gè)3×3的卷積核。在卷積過(guò)程中，當(dāng)步長(zhǎng)s和濾波器尺寸k相等時(shí)，卷積將輸入圖像縮小k倍。因此第2 層卷積對(duì)特征圖的尺寸進(jìn)行了壓縮，降低了去霧計(jì)算復(fù)雜度，提升了算法的速度，同時(shí)可以提升后續(xù)卷積核的感受野。激活函數(shù)采用參數(shù)修正線性單元（PReLU），在ReLU 的基礎(chǔ)上增加了極少量的參數(shù)可以加快網(wǎng)絡(luò)的收斂速度。

由于有霧圖像恢復(fù)通常依賴于短尺度和長(zhǎng)尺度的紋理信息，使用不同尺度的濾波器能更好地提取圖像的特征，提高捕獲圖像內(nèi)部信息的魯棒性和有效性[19]。如表1所示，在網(wǎng)絡(luò)結(jié)構(gòu)的第3層采用多尺度卷積，提取多尺度規(guī)模結(jié)構(gòu)信息，通過(guò)1×1、3×3、5×5、7×7這4種大小的卷積核進(jìn)行特征提取。

表1 多尺度卷積參數(shù)

4種卷積核是平行的，每個(gè)輸出3張?zhí)卣鲌D，然后進(jìn)行concat拼接，得到12張?zhí)卣鲌D。

圖5 卷積網(wǎng)絡(luò)結(jié)構(gòu)圖

反卷積層可以增加圖像的空間維度，實(shí)現(xiàn)重建，相當(dāng)于上采樣。第4層通過(guò)3個(gè)3×3的反卷積核恢復(fù)特征圖的尺寸，實(shí)現(xiàn)重建。淺層網(wǎng)絡(luò)恢復(fù)出的圖像較為粗糙，缺少高頻細(xì)節(jié)；深度網(wǎng)絡(luò)可以更精確地恢復(fù)高頻細(xì)節(jié)，但算法不容易收斂；因此第5層將第1層的特征圖與第4 層的反卷積后的特征圖進(jìn)行concat 拼接，可以在刪除特征圖中偽像素的同時(shí)減少細(xì)節(jié)信息的損失。通過(guò)3 個(gè)3×3 的卷積核進(jìn)行卷積，得到K(X)。最后通過(guò)公式（2）得到去霧后的清晰圖像。

3.2 修復(fù)模塊

為消除算法對(duì)部分無(wú)霧圖像、偏暗圖像的副作用，進(jìn)一步提升算法的魯棒性。修復(fù)模塊利用基于圖像增強(qiáng)的去霧算法的特點(diǎn)，有針對(duì)性地對(duì)去霧后的圖像進(jìn)行修復(fù)。由于去霧后圖像的副作用主要是圖像偏暗。因此在修復(fù)模塊需要能提升去霧模塊輸出的圖像的亮度、對(duì)比度，盡可能地消除去霧模塊對(duì)部分圖像產(chǎn)生的副作用，同時(shí)圖像增強(qiáng)算法也有一定的去霧效果，能彌補(bǔ)壓縮多尺度卷積網(wǎng)絡(luò)帶來(lái)的去霧效果下降的問(wèn)題[20]。

提升圖像對(duì)比度和亮度常用的圖像增強(qiáng)方法有Retinex、HE兩種。目前采用較多的有Retinex算法還有單尺度 Retinex（Single Scale Retinex，SSR）和多尺度Retinex（Multiple Scale Retinex，MSR）算法。但該類方法進(jìn)行圖像增強(qiáng)時(shí)，存在參數(shù)調(diào)整困難且算法復(fù)雜度較高的問(wèn)題。如果采用該類方法將嚴(yán)重影響算法的去霧速度[21]。

HE 通過(guò)圖像的灰度分布直方圖得到一條映射曲線，用來(lái)對(duì)圖像進(jìn)行灰度變換，以達(dá)到提高圖像對(duì)比度的目的。HE 只能對(duì)圖像全局進(jìn)行調(diào)整，不能有針對(duì)性地提高局部對(duì)比度，會(huì)出現(xiàn)過(guò)度放大噪聲的問(wèn)題而且算法復(fù)雜度較高，運(yùn)算量大。在HE的基礎(chǔ)上出現(xiàn)的CLAHE方法相比Retinex、HE 在運(yùn)算速度有大幅度提高，可以確保在添加了修復(fù)模塊后，還能實(shí)現(xiàn)快速的圖像去霧。因此在修復(fù)模塊采用直方圖均衡化對(duì)圖像進(jìn)行二次處理。

如圖6 所示，CLAHE 方法通過(guò)限定局部對(duì)比度的強(qiáng)度，剪裁直方圖的值，剪輯超出限制的直方圖部分，將裁剪掉的部分均勻分配到直方圖的其他部分，可以避免噪聲放大的問(wèn)題。CLAHE算法流程如下：

（1）對(duì)圖像進(jìn)行劃分，分為M×N個(gè)不重疊的子區(qū)域。

（2）計(jì)算所有子區(qū)域的灰度直方圖。

其中，Hmax、T、L三者關(guān)系為Hmax=L+T,L的取值為：其中，Ng為子區(qū)域灰度級(jí)數(shù)量，N∑陰影為陰影部分總像素?cái)?shù)目。

（4）對(duì)所有子區(qū)域進(jìn)行直方圖均衡化。

圖6 CLAHE裁剪分配示意圖

CLAHE處理后的圖像，細(xì)節(jié)更明顯，更符合人眼視覺感受。如圖7所示，雖然經(jīng)去霧模塊處理后的圖像確實(shí)去除了霧的影響，但整體色調(diào)偏暗，部分細(xì)節(jié)不明顯。而經(jīng)過(guò)CLAHE算法處理后，圖像對(duì)比度得到了提升。

圖7 CLAHE前后對(duì)比圖

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)方案

（1）數(shù)據(jù)集

目前基于卷積網(wǎng)絡(luò)的去霧算法，常采用室內(nèi)數(shù)據(jù)集進(jìn)行模型訓(xùn)練。室內(nèi)圖像沒有天空，顏色一般色彩豐富。而真實(shí)的有霧圖像往往在室外。室外圖像大都以天空為背景，色彩、亮度和室內(nèi)圖像有一定區(qū)別。因此，采用RESIDE[22]合成霧圖數(shù)據(jù)集進(jìn)行訓(xùn)練。RESIDE 數(shù)據(jù)集包含72 135 張合成模糊圖像，是使用2 061 張清晰室外圖像生成，每張清晰圖像合成35 張模糊圖像。設(shè)置每個(gè)通道大氣光A值在[0.7，1.0]區(qū)間，均勻地隨機(jī)選擇beta值在[0.6，1.8]區(qū)間。

（2）實(shí)驗(yàn)環(huán)境

硬件環(huán)境為GPU GTX 1080，處理器為Intel?CoreTMi5-8300H CPU@2.30 GHz，內(nèi)存為8 GB，操作系統(tǒng)為Ubuntu 18.04，深度學(xué)習(xí)框架為PyTorch，編程語(yǔ)言為Python。

（3）參數(shù)設(shè)置

使用高斯隨機(jī)變量初始化權(quán)重值，動(dòng)量和衰減參數(shù)分別設(shè)置為0.9和0.000 1，學(xué)習(xí)率為0.001。采用均方誤差損失函數(shù)。利用隨機(jī)梯度下降算法和反向傳播算法進(jìn)行網(wǎng)絡(luò)優(yōu)化，完成網(wǎng)絡(luò)算法的訓(xùn)練與收斂，迭代次數(shù)50次。

(4) 微電網(wǎng)運(yùn)營(yíng)相對(duì)困難。微電網(wǎng)的能量平衡依賴于大電網(wǎng),若沒有大電網(wǎng)作為支持,其經(jīng)濟(jì)性和可靠性無(wú)法保證;同時(shí)運(yùn)行也難以取得規(guī)模效應(yīng)。

（4）去霧效果評(píng)判

與下述幾種經(jīng)典的去霧方法進(jìn)行比較：暗通道先驗(yàn)（DCP）[5]、DehazeNet[7]、MSCNN[8]和 AOD-Net[14]、MSDN[10]。后三種為基于多尺度卷積網(wǎng)絡(luò)的去霧算法。

4.2 魯棒性驗(yàn)證

通過(guò)對(duì)比合成霧圖、真實(shí)霧圖（包括淡霧、濃霧、偏暗霧圖）無(wú)霧圖像等不同場(chǎng)景的去霧效果。并針對(duì)目前常用的幾種去霧效果評(píng)判指標(biāo)說(shuō)服力不強(qiáng)的問(wèn)題，將去霧算法與YOLOv3目標(biāo)檢測(cè)算法結(jié)合，通過(guò)測(cè)試對(duì)高級(jí)計(jì)算機(jī)視覺任務(wù)的輔助效果，對(duì)比在輔助高級(jí)計(jì)算機(jī)視覺任務(wù)中方面的能力。通過(guò)以上方式對(duì)算法的魯棒性進(jìn)行驗(yàn)證。

4.2.1 合成霧圖像實(shí)驗(yàn)分析

對(duì)RESIDE數(shù)據(jù)集中合成霧圖的去霧效果對(duì)比，如圖8所示。與其他去霧算法相比，本文算法得到的去霧圖像、大樓的整體細(xì)節(jié)更加清晰，樓前物體更加清楚，在視覺效果上明顯優(yōu)于其他算法，并且與原無(wú)霧圖像非常接近。但對(duì)天空的處理效果相比其他幾種算法要差一些，這也是本文后續(xù)研究中的主要改進(jìn)方向。

圖8 合成霧圖像去霧效果對(duì)比

為客觀對(duì)比各算法的去霧效果，本文選取了SSIM、PSNR、FSIM 三種常用的圖像質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行分析，其中指標(biāo)數(shù)越高表示算法越好，如表2所示。

表2 不同算法去霧后指標(biāo)評(píng)價(jià)

由表2 可知，與 DCP、DehazeNet、AOD-Net 相比在客觀數(shù)據(jù)上更加優(yōu)異，同樣采用多尺度去霧的方法的MSCNN、MSDN 三種指標(biāo)比較相近。由于這三種指標(biāo)是需要無(wú)霧參考圖像進(jìn)行對(duì)比，只能用于合成霧圖去霧效果的比較。因此這三類指標(biāo)只能反映算法對(duì)合成霧圖的去霧效果。而真實(shí)有霧圖與合成霧圖是存在一定區(qū)別的。因此只通過(guò)這三種指標(biāo)評(píng)判算法說(shuō)服力有限。下文會(huì)從多個(gè)方面對(duì)幾種算法進(jìn)行更全面的對(duì)比，以驗(yàn)證本文算法在速度方面和對(duì)真實(shí)霧圖去霧效果等方面的優(yōu)勢(shì)。

4.2.2 自然霧圖像實(shí)驗(yàn)分析

由于霧區(qū)和霧濃度不是均勻分布的，自然霧圖像的去霧難度往往比合成霧圖更大。為驗(yàn)證本文算法對(duì)自然霧圖的去霧效果，分別對(duì)濃霧、淡霧、低照度等幾種不同類型的霧圖進(jìn)行了去霧效果對(duì)比實(shí)驗(yàn)。

圖9中的霧圖，霧濃度小，圖像色彩鮮艷，這類霧圖去霧難度小，從去霧效果可以看出，基于深度學(xué)習(xí)的去霧算法整體去霧效果要好于傳統(tǒng)算法，而本文算法對(duì)圖像下方樹木的細(xì)節(jié)恢復(fù)得更加清晰。圖10 中的霧圖，霧濃度較大，去霧效果都不明顯；相對(duì)于其他算法，本文算法處理后的圖像中的大樓更清晰一些。圖11中的霧圖，受霧影響的同時(shí)，圖像整體亮度偏暗。從處理效果來(lái)看，其他幾種算法處理后的圖像中原本偏暗的地方更暗了，而本文算法處理后的圖像細(xì)節(jié)清晰，更符合人眼的視覺效果。

圖9 淡霧圖去霧效果對(duì)比

圖10 濃霧圖去霧效果對(duì)比

圖11 偏暗霧圖去霧效果對(duì)比

4.2.3 無(wú)霧圖像實(shí)驗(yàn)分析

圖12 中的圖像為無(wú)霧圖像，且圖像整體色調(diào)偏灰白，從去霧效果可以看出，其他去霧算法處理后，圖像對(duì)比度有所增強(qiáng)，但整體色調(diào)偏黑，影響視覺效果。本文算法處理后，圖像對(duì)比度增強(qiáng)的同時(shí)，圖像的整體視覺效果更好了。

圖12 無(wú)霧圖去霧效果對(duì)比

4.2.4 對(duì)目標(biāo)檢測(cè)任務(wù)的提升效果分析

通過(guò)與經(jīng)典的目標(biāo)檢測(cè)算法YOLOv3[23]相結(jié)合，進(jìn)行測(cè)試實(shí)驗(yàn)，觀察對(duì)比目標(biāo)檢測(cè)的綜合效果。針對(duì)濃霧、淡霧、遠(yuǎn)景霧圖3 種類型，對(duì)比了相關(guān)算法對(duì)YOLOv3檢測(cè)的提升效果。

從圖13～圖15 的檢測(cè)效果來(lái)看，對(duì)于濃霧圖像，對(duì)圖中每個(gè)個(gè)體的檢測(cè)概率值已經(jīng)明確標(biāo)出，相比于DCP和AOD-Net，本文算法檢測(cè)的概率值更大。對(duì)于淡霧圖，在原始霧圖中，綠色箭頭指向的地方有兩個(gè)車輛目標(biāo)，經(jīng)DCP、AOD-Net處理后，遠(yuǎn)方的更小車輛目標(biāo)沒有被檢測(cè)出來(lái)。但本文算法能夠檢測(cè)出兩個(gè)車輛目標(biāo)，說(shuō)明本文算法對(duì)原圖的細(xì)節(jié)保留得更好。對(duì)于遠(yuǎn)景霧圖，從檢測(cè)出的車輛目標(biāo)的數(shù)量可以看出，本文算法對(duì)圖像細(xì)節(jié)的修復(fù)效果更好。綜上，本文算法適用的去霧場(chǎng)景更多，能更好地滿足實(shí)際去霧要求。

圖13 濃霧圖目標(biāo)檢測(cè)效果對(duì)比

圖15 遠(yuǎn)景霧圖目標(biāo)檢測(cè)效果對(duì)比

圖14 淡霧圖目標(biāo)檢測(cè)效果對(duì)比

4.3 實(shí)時(shí)性驗(yàn)證

在同一臺(tái)計(jì)算機(jī)上對(duì)RESIDE 數(shù)據(jù)集中選取的50張大小為480×640的霧圖進(jìn)行去霧處理，統(tǒng)計(jì)平均處理時(shí)間，如表3所示。早期的經(jīng)典去霧算法通過(guò)Matlab實(shí)現(xiàn)，DehazeNet（Pytorch 版本）、AOD-Net 和本文算法都是基于pytorch 框架的。結(jié)果表明，例如，比DehazeNet（Matlab 版本）、MSCNN、MSDN 算法快 1 倍以上，比DehazeNet（Pytorch版本）、FVP算法快6～7倍，比DCP算法快10倍以上。AOD-Net也是一個(gè)快速的圖像去霧算法，本文的算法要比AOD-Net算法慢一些，但本文在魯棒性方面要好于AOD-Net。

表3 算法時(shí)間對(duì)比表

5 結(jié)語(yǔ)

針對(duì)目前大多數(shù)去霧算法去霧魯棒性差、處理速度慢等問(wèn)題，本文提出一種基于多尺度卷積網(wǎng)絡(luò)的快速圖像去霧算法，選取常用的客觀標(biāo)準(zhǔn)和主觀標(biāo)準(zhǔn)與經(jīng)典去霧算法進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果證實(shí)基于多尺度卷積網(wǎng)絡(luò)的快速圖像去霧算法在魯棒性、處理速度上具有一定的優(yōu)勢(shì)。此外，與YOLOv3 算法的結(jié)合測(cè)試，也驗(yàn)證了本文算法在實(shí)際應(yīng)用中的有效性。