張浩 朱海杰 孔斌瑤 張梓宜 馮恒棟

摘要：與使用大氣散射模型的去霧方法不同，基于輪廓和顏色的融合編碼算法模擬了含霧場(chǎng)景中的視覺感知特征，通過主動(dòng)融合輪廓特征來平衡模糊圖像中的顏色信息量，從而防止了去霧過程中出現(xiàn)的扭曲或暈效應(yīng)。實(shí)驗(yàn)結(jié)果表明，該方法的魯棒性和去霧效果較好，為圖像去霧的研究提供了新的思路。

關(guān)鍵詞：圖像去霧;卷積神經(jīng)網(wǎng)絡(luò);計(jì)算機(jī)視覺

1.引言

在有霧或煙霧的復(fù)雜環(huán)境中拍攝的圖像可能質(zhì)量較差，包括能見度、對(duì)比度、銳度等指標(biāo)都較差，這是大氣粒子的反射、折射和散射的綜合光學(xué)效果。通過圖像去霧技術(shù)來對(duì)這種環(huán)境中拍攝的圖像進(jìn)行增強(qiáng)，是自動(dòng)駕駛和視頻監(jiān)控等領(lǐng)域研究的熱點(diǎn)問題。目前的圖像去霧方法主要包括傳統(tǒng)方法和深度學(xué)習(xí)方法，傳統(tǒng)方法又可以分為基于數(shù)學(xué)模型的方法和基于物理模型的方法。

對(duì)模糊圖像或弱視覺場(chǎng)景的一些研究表明，人類視神經(jīng)系統(tǒng)通常提取場(chǎng)景的主要輪廓，并添加顏色等其他特征，然后通過腦神經(jīng)的記憶功能進(jìn)行物體重組。這里需要考慮兩個(gè)因素。首先，在端到端的去霧算法中，由于標(biāo)簽圖像是一個(gè)清晰的彩色圖像，并且由于卷積神經(jīng)網(wǎng)絡(luò)通常根據(jù)標(biāo)簽的顯著特征（顏色特征）進(jìn)行表征，因此提取的低層次特征主要是顏色特征，從而導(dǎo)致去霧圖像有明顯的色差。其次，霧霾等噪聲信息導(dǎo)致圖像輪廓模糊，提取的輪廓和紋理特征是稀疏的。

由于顏色特征量的不平衡和輪廓紋理特征的差異，因此在反向傳播過程中邊緣不能很好地?cái)M合，從而使去除圖像的邊緣顯得模糊。對(duì)于這兩個(gè)問題，假設(shè)在特征提取中結(jié)合了大量的輪廓特征和紋理特征，這樣就可以平衡特征提取過程中顏色特征提取過多的問題，進(jìn)而建立一個(gè)合理的網(wǎng)絡(luò)模型來去除色差和暈的問題。

2.基于輪廓和顏色的融合編碼算法簡(jiǎn)述

如前所述，大氣散射在傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法中都起著重要的作用，因?yàn)榇髿馍⑸淇梢越忉屓レF前后圖像之間的關(guān)系。這種模型的原理是，如果光被霧或霧霾的粒子阻擋，光的散射會(huì)減弱成像的效果。

許多去霧方法依賴于大氣散射模型來實(shí)現(xiàn)單圖像去霧。例如，將清晰圖像中的每個(gè)顏色簇定義為RGB空間中的一行，利用深度邊緣感知平滑算法優(yōu)化局部先驗(yàn)生成的初始傳輸圖，然后利用梯度殘差最小化來實(shí)現(xiàn)圖像去霧;在假設(shè)傳輸圖和圖像表面陰影是局部不相關(guān)的情況下估計(jì)了一個(gè)場(chǎng)景的反照率，并用大氣散射模型實(shí)現(xiàn)了圖像去霧。

首先，本文方法解決了暈和色差問題。以前的工作僅限于使用WB、CE和伽馬校正（GC）來補(bǔ)償由霧和低能見度造成的圖像中的顏色變化。如果沒有正確地選擇對(duì)比度和亮度，可能會(huì)產(chǎn)生不同類型的色差。在自動(dòng)特征提取中，CNN對(duì)顏色特征的提取距離太遠(yuǎn)，導(dǎo)致其冗余，進(jìn)而導(dǎo)致暈和色差?？梢酝ㄟ^平衡顏色特征的數(shù)量和可控特征輪廓的數(shù)量來解決這些問題。

其次，本文方法的性能更加穩(wěn)定。其他方法主要使用光學(xué)特性來解決去霧問題，如WB、CE和GC，但值得注意的是，WB、CE和GC的提取是由參數(shù)控制的。因此，對(duì)于不同濃度的霧，對(duì)應(yīng)的三個(gè)子圖的獲取是不穩(wěn)定的，這將會(huì)影響到去霧的效果。我們使用信息量來解決穩(wěn)定性的問題。只要霧圖不是完全看不見的，就可以穩(wěn)定地獲得主要的輪廓來平衡顏色，從而提高了圖像去霧系統(tǒng)的穩(wěn)定性。

最后，在網(wǎng)絡(luò)的設(shè)計(jì)中，經(jīng)過多次驗(yàn)證發(fā)現(xiàn)設(shè)置三層來進(jìn)行低級(jí)特征提取效果較好。本文直接融合了多維特征，以確保深度特征信息更加豐富，且生成式對(duì)抗網(wǎng)絡(luò)模型被用于改善圖像去霧模型。

3.融合編碼算法原理

本文給出了一種基于等高線和顏色融合編碼的端到端圖像去模糊處理方法，模擬了一個(gè)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成的視覺信息處理的生物機(jī)制。該算法提取輸入圖像的輪廓，提取低級(jí)特征編碼區(qū)域的顏色，同時(shí)按層添加輪廓，深度編碼結(jié)果為低級(jí)特征編碼區(qū)域。最后，該算法將低級(jí)特征編碼結(jié)果與高級(jí)語(yǔ)義編碼結(jié)果相結(jié)合，對(duì)融合結(jié)果進(jìn)行分層解碼，生成去霧后的圖像。然后，算法將待去霧圖像和相應(yīng)的樣本標(biāo)簽輸入判別網(wǎng)絡(luò)，計(jì)算圖像的相似度，生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)交替進(jìn)行，優(yōu)化兩個(gè)網(wǎng)絡(luò)，從而提升系統(tǒng)的去霧能力。

構(gòu)建深度卷積神經(jīng)網(wǎng)路的主要目的是訓(xùn)練出最優(yōu)的網(wǎng)絡(luò)參數(shù)，因此可選擇VGG網(wǎng)絡(luò)預(yù)訓(xùn)練模型的前三個(gè)特征提取模塊，構(gòu)建七層卷積神經(jīng)網(wǎng)絡(luò)，作為低級(jí)特征提取器。然而，去霧網(wǎng)絡(luò)需要輪廓特征的融合，而為深度網(wǎng)絡(luò)選擇特征提取器可能會(huì)導(dǎo)致過多的信息被編碼，在這種情況下，顏色可能會(huì)失去其原始值，無法與輪廓正確融合，影響編碼效果。本文采用了VGG的特征提取思想，但僅使用三層卷積作為顏色特征提取器。本文將感知到的輪廓結(jié)果依次添加到三層顏色中，以增加輪廓的體積比。此外，與圖像分割和圖像識(shí)別不同的是，圖像去霧只減弱與真實(shí)像素相關(guān)的噪聲，但不會(huì)很大程度地改變圖像結(jié)構(gòu)，這樣可以避免過度學(xué)習(xí)和提高效率。為了消除低層次特征編碼區(qū)域的信息冗余，本文將第三個(gè)卷積層的步長(zhǎng)設(shè)置為2，類似于池化操作。并且為了提高網(wǎng)絡(luò)的通用化性，每個(gè)卷積操作都經(jīng)過標(biāo)準(zhǔn)化操作。

4.結(jié)論

本文利用深度編碼模擬視覺感知，給出了一種用于圖像去霧的端到端神經(jīng)網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成，包括輪廓特征提取器、低級(jí)特征編碼、高級(jí)語(yǔ)義編碼和特征解碼。本文方法模擬了深度視覺感知系統(tǒng)的編碼過程，給出了一種從低級(jí)特征編碼到高級(jí)語(yǔ)義編碼的新型圖像編碼方法。該方法在圖像去霧方面取得了較好的效果，且對(duì)減少卷積神經(jīng)網(wǎng)絡(luò)的黑盒特征具有重要意義。進(jìn)一步模擬含霧場(chǎng)景中光學(xué)神經(jīng)系統(tǒng)的響應(yīng)，通過模擬生物視覺系統(tǒng)，對(duì)視野中圖像的輪廓和顏色特征進(jìn)行融合編碼，進(jìn)而創(chuàng)建圖像去霧系統(tǒng)。同時(shí)，該方法改進(jìn)了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，允許對(duì)合成和自然含霧圖像進(jìn)行去霧實(shí)驗(yàn)，得到了定性和定量的結(jié)果。

本文方法對(duì)煙霧環(huán)境中的含霧圖像去霧效果較好，對(duì)自然圖像去霧效果更好，具有較強(qiáng)的魯棒性。本文給出的基于輪廓和顏色融合編碼的圖像去霧方法，為圖像去霧提供了一種新的解決方案和發(fā)展方向。

參考文獻(xiàn)：

[1] M. Li， J. Liu， W. Yang， X. Sun， and Z. Guo. Structure-revealing low-light image enhancement via robust Retinex model. IEEE Trans. Image Process.， 2018， 27（6）： 2828-2841.

[2] C. Li， J. Guo， F. Porikli， H. Fu， and Y. Pang. A cascaded convolutional neural network for single image dehazing. IEEE Access， 2018， 6： 24877-24887.

[3] Q. Zhu， J. Mai， and L. Shao. A fast single image haze removal algorithm using color attenuation prior. IEEE Trans. Image Process.， 2015， 24（11）： 3522-3533.

張浩：衢州學(xué)院2020級(jí)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)本科生。資助項(xiàng)目：國(guó)家級(jí)大學(xué)生科技創(chuàng)新項(xiàng)目（項(xiàng)目編號(hào)：202111488030）