趙 慧，魏偉波，潘振寬，紀(jì)連順

（青島大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，山東青島 266071）

0 概述

在惡劣的天氣條件下獲取戶(hù)外圖像時(shí)，捕獲的場(chǎng)景能見(jiàn)度通常較低，這是由于光與懸浮在大氣中的粒子發(fā)生相互作用，如散射、吸收、反射等，導(dǎo)致圖像對(duì)比度和飽和度降低，顏色褪色，這會(huì)對(duì)許多戶(hù)外計(jì)算機(jī)視覺(jué)應(yīng)用（如識(shí)別、檢測(cè)、跟蹤、分類(lèi)等）產(chǎn)生不利影響［1-2］。因此，對(duì)圖像去霧進(jìn)行研究在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域具有重要的意義和價(jià)值，設(shè)計(jì)有效的去霧方法是近年來(lái)的研究熱點(diǎn)。

早期圖像去霧研究采用圖像增強(qiáng)技術(shù)來(lái)提高模糊圖像的可見(jiàn)度并改善色彩。其中，Retinex［3］和choi［4］2 種圖像處理技術(shù)是典型代表。但是，基于圖像增強(qiáng)的去霧方法由于沒(méi)有考慮圖像的退化機(jī)理，不能完全去霧。因此，后續(xù)研究工作重點(diǎn)關(guān)注基于大氣散射模型的去霧方法，該類(lèi)方法首先構(gòu)建霧天成像模型，然后估計(jì)未知參數(shù)，從圖像退化的原因出發(fā)對(duì)物理模型進(jìn)行反演，從而得到無(wú)霧圖像，但是，這些方法大都需要利用先驗(yàn)知識(shí)或假設(shè)來(lái)估計(jì)關(guān)鍵參數(shù)。例如，TAREL 等［5］使用中值濾波器來(lái)估計(jì)耗散函數(shù)，由于中值濾波器顯示的邊緣保留性能較差，因此該方法在圖像景深變化處有霧殘留。NISHINO等［6］采用貝葉斯后驗(yàn)概率模型充分挖掘圖像中潛在的統(tǒng)計(jì)特征從而進(jìn)行去霧處理，該方法在濃霧圖像上具有一定的優(yōu)越性，但對(duì)于薄霧圖像，其去霧后的效果顏色過(guò)亮，缺乏真實(shí)感。HE 等［7］基于對(duì)室外無(wú)霧圖像的統(tǒng)計(jì)，提出暗原色先驗(yàn)去霧方法，該方法去霧效果明顯，但對(duì)于天空區(qū)域，其易出現(xiàn)失真現(xiàn)象。GIBSON 等［8］在HE 等［7］研究成果的基礎(chǔ)上提出中值暗通道先驗(yàn)方法，該方法不需要對(duì)透射率進(jìn)行精細(xì)化，在一定程度上加快了去霧過(guò)程，但是，這種方法并不能獲得良好的視覺(jué)效果。文獻(xiàn)［9-11］檢測(cè)天空區(qū)域并根據(jù)其霧度對(duì)檢測(cè)區(qū)域中的透射圖進(jìn)行補(bǔ)償，但是，由于很難確定霧度和天空區(qū)域，因此其結(jié)果并不準(zhǔn)確。ZHU 等［12］建立一個(gè)線(xiàn)性模型來(lái)模擬色彩衰減下的場(chǎng)景深度，并用監(jiān)督學(xué)習(xí)方法學(xué)習(xí)模型的參數(shù)，但是，由于大氣散射模型中的散射系數(shù)實(shí)際上并不能被視為一個(gè)常數(shù)，因此該方法的除霧性能不穩(wěn)定。LIU 等［13］提出基于多尺度相關(guān)小波方法，利用該方法在低頻部分去霧，高頻部分去噪并增強(qiáng)紋理細(xì)節(jié)，其能顯著提高霧霾場(chǎng)景的感知可視性。GALDRAN 等［14］通過(guò)伽馬校正從單一圖像中提取多曝光圖像，然后利用多尺度拉普拉斯混合方案將曝光后的圖像融合為清晰圖像。ZHENG 等［15］通過(guò)伽馬校正和飽和度空間線(xiàn)性調(diào)整提取曝光不足的圖像序列，利用基于自適應(yīng)結(jié)構(gòu)分解的MEF 算法進(jìn)行融合，從而提高局部細(xì)節(jié)的視覺(jué)質(zhì)量。

現(xiàn)有方法大多基于深度信息估計(jì)進(jìn)行去霧，去霧性能在很大程度上取決于精確的深度信息，為了實(shí)現(xiàn)高質(zhì)量的去霧，需要在圖像去霧過(guò)程中準(zhǔn)確估計(jì)深度信息。FANG 等［16］提出一種全變分（Total Variation，TV）正則化變分模型，以同時(shí)估計(jì)透射圖和去霧后圖像，TV 規(guī)則項(xiàng)能夠較好地保持圖像的邊緣，利用TV 項(xiàng)細(xì)化傳輸能夠提高模糊圖像的能見(jiàn)度。但是，該模型由于忽略了圖像不同通道間的耦合，導(dǎo)致彩色圖像的邊緣模糊。WANG 等［17］針對(duì)邊緣模糊的現(xiàn)象，采用3 種不同耦合形式的變分模型（LTV、MTV、CTV）與暗原色先驗(yàn)相結(jié)合，有效改善了圖像邊緣模糊的現(xiàn)象，但是，基于一階TV 規(guī)則項(xiàng)的方法往往在邊緣處產(chǎn)生階梯偽影。高珠珠等［18］利用二階變分模型代替一階TV 項(xiàng)來(lái)約束透射圖和去霧圖像的估計(jì)，有效抑制了邊緣階梯偽影。

本文將基于TV 規(guī)則項(xiàng)和BH（Bounded Hessian）規(guī)則項(xiàng)（以下簡(jiǎn)稱(chēng)TVBH）的變分模型與暗原色先驗(yàn)相結(jié)合，提出一種變分去霧模型H-TVBH。通過(guò)暗原色先驗(yàn)和四叉樹(shù)分解估計(jì)初始透射率圖和大氣光值，將其代入H-TVBH 模型中，結(jié)合分裂Bregman 算法和快速傅里葉變換求得優(yōu)化后的透射率和去霧圖像。

1 相關(guān)工作

1.1 暗原色先驗(yàn)原理

在計(jì)算機(jī)視覺(jué)和圖像處理中，大氣散射模型［19］被廣泛應(yīng)用于霧天圖像形成的描述過(guò)程，具體如下：

其中：I(x)為輸入有霧圖像；J(x)為恢復(fù)的清晰圖像；A為全局大氣光值；t(x)(0 ≤t(x)≤1)為場(chǎng)景光的透射率。基于大氣散射模型的去霧是從觀測(cè)圖像I(x)中恢復(fù)原始無(wú)霧圖像J(x)，已知量?jī)H為I(x)，要求得J(x)，需要透射率t(x)和大氣光值A(chǔ)。

根據(jù)暗原色先驗(yàn)理論，在大多數(shù)戶(hù)外無(wú)霧圖像的非天空區(qū)域都存在亮度較低（接近于0）的通道。對(duì)于圖像J，暗通道表示為：

其中：Jdark代表室外無(wú)霧圖像的暗通道；c代表R、G、B 三通道；Jc(y)代表恢復(fù)清晰圖像的c通道圖像；Ω（x）代表以x像素為中心的局部區(qū)域。根據(jù)觀察到的統(tǒng)計(jì)數(shù)據(jù)，Jdark的強(qiáng)度值始終很低并且接近于0。

將式（1）兩邊同時(shí)除以A，計(jì)算3 個(gè)顏色通道的最小值，得到如下表達(dá)式：

為了使處理后的圖像具有層次感和真實(shí)感，且保持圖像的主觀視覺(jué)效果，在式（4）中加入一個(gè)恒定的參數(shù)ω(0<ω≤1)，該值根據(jù)實(shí)際情況而定，通常為0.90～0.97。

取霧天暗通道圖像中的前0.1%像素，找到像素在原始圖像中的對(duì)應(yīng)位置，將具有最高亮度的點(diǎn)的值作為大氣光值。根據(jù)計(jì)算得到的透射率t(x)和大氣光值A(chǔ)，得到無(wú)霧圖像J(x)：

為了避免透射率t（x）趨近于0 時(shí)圖像顏色過(guò)飽和，可設(shè)置一個(gè)下限t0，通常令t0=0.1。

1.2 TVBH 模型

一階TV 規(guī)則項(xiàng)可以有效去除圖像中的噪聲，并保持圖像邊緣，但易產(chǎn)生邊緣處階梯效應(yīng)和圖像對(duì)比度低的問(wèn)題；而二階BH 規(guī)則項(xiàng)在保持圖像邊緣的同時(shí)具有較好的平滑效果，抑制了階梯效應(yīng)。TVBH 模型將上述兩者相結(jié)合，可以較好地恢復(fù)圖像的邊緣細(xì)節(jié)，提高圖像對(duì)比度，其模型形式如下：

對(duì)于彩色圖像，由于各層邊緣擴(kuò)散強(qiáng)度不同，易造成圖像邊緣模糊。為了使邊緣信息得到較好的保持，可采用不同層圖像之間耦合的形式得到能量泛函，如下：

其中：式（7）右側(cè)前2 項(xiàng)為T(mén)VBH 模型的規(guī)則項(xiàng)，用以保持圖像邊緣細(xì)節(jié)；α、β為懲罰參數(shù)，決定處理后圖像的光滑程度；最后一項(xiàng)為數(shù)據(jù)項(xiàng)，使恢復(fù)后的圖像更接近于原始圖像。

2 本文算法

為了抑制圖像中的噪聲并充分保留去霧后圖像的邊緣特征，本文將TVBH 模型與暗原色先驗(yàn)相結(jié)合，從而實(shí)現(xiàn)圖像去霧。本文新的能量泛函形式為：

2.1 大氣光值估計(jì)

通常情況下將圖像中最亮顏色的值估計(jì)為大氣光值，然而，在對(duì)圖像進(jìn)行大氣光值估計(jì)時(shí)，會(huì)由于圖像中存在過(guò)亮物體或天空區(qū)域而導(dǎo)致大氣光值估計(jì)錯(cuò)誤。因此，本文采用四叉樹(shù)分解法［20］，將原圖像分成4 個(gè)均勻的子區(qū)塊，對(duì)子區(qū)塊再進(jìn)行分割，分割過(guò)程是迭代而不斷重復(fù)的，直到滿(mǎn)足一定的閾值標(biāo)準(zhǔn)（閾值標(biāo)準(zhǔn)為長(zhǎng)×寬=200 像素的區(qū)域）。對(duì)每個(gè)區(qū)塊的大氣光值使用暗原色先驗(yàn)進(jìn)行計(jì)算，即將最小濾波器應(yīng)用到每個(gè)塊，然后將最大值作為圖像的全局大氣光值。

2.2 模型求解

為了提高模型的計(jì)算效率，本文采用基于快速傅里葉變換［21］的分裂Bregman 算法，引入輔助變量x，w=(w1，w2，w3)T，v=(v1，v2，v3)T，令x=?t，w=?u，v=?2u，則上述能量泛函轉(zhuǎn)化為：

其中：式（11）、式（13）采用離散傅里葉變換進(jìn)一步優(yōu)化，從而提高算法的計(jì)算效率；式（12）、式（14）、式（15）為廣義軟閾值公式，，基于耦合的方式使邊緣保持效果更好。

對(duì)式（11）、式（13）進(jìn)行傅里葉變換，得到t和u的解析解分別如下：

本文算法流程如圖1 所示。

圖1 本文算法流程Fig.1 Procedure of this algorithm

本文算法輸入為原始圖像f，輸出為去霧圖像u，求解步驟如下：1）根據(jù)暗原色先驗(yàn)估計(jì)圖像原始透射率）利用四叉樹(shù)分解法估計(jì)大氣光值A(chǔ)；3）初始化，將x、wi、vi、q、bi、di值設(shè)為0，懲罰參數(shù)λ、α、β、μ1、μ2、μ3>0；4）根據(jù)和原始圖像f，迭代求解各變量；5）收斂直至得到t和u。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)在Windows10 系統(tǒng)、Intel Core i5-6500處理器、8 GB RAM、使用Matlab R2014a 的PC 機(jī)上完成。為了驗(yàn)證所提方法的有效性，從LIVE Image Defogging 數(shù)據(jù)庫(kù)［22］中選取幾幅圖像模擬有霧圖像，將本文方法與其他幾種經(jīng)典去霧算法進(jìn)行定性和定量比較。實(shí)驗(yàn)主要參數(shù)設(shè)置為：ω=0.95，λ=0.01，α=0.25，β=0.5，μ1=0.05，μ2=0.000 1，μ3=0.000 005。其中，λ和μ1保證透射率圖的光滑程度，α和β保證去霧后圖像的光滑程度，μ2、μ3值設(shè)置較小，若設(shè)置過(guò)大會(huì)導(dǎo)致圖像模糊并丟失細(xì)節(jié)特征。

3.1 主觀評(píng)價(jià)

圖2 所示為各方法對(duì)航空?qǐng)D、小麥圖、森林圖、天空?qǐng)D以及局部放大圖的去霧效果對(duì)比。從圖2 可以看出：對(duì)于航空?qǐng)D及放大區(qū)域，各方法都可以在不同程度上去霧，但文獻(xiàn)［7］方法、文獻(xiàn)［13］方法、文獻(xiàn)［14］方法在遠(yuǎn)景處仍存在殘留的霧，文獻(xiàn)［14］方法過(guò)于平滑，在一定程度上模糊了紋理，文獻(xiàn)［5］方法近景部分對(duì)比度相對(duì)較低，本文方法無(wú)論是在近景還是遠(yuǎn)景處均更加清晰地恢復(fù)了場(chǎng)景細(xì)節(jié)；對(duì)于小麥圖，文獻(xiàn)［5］方法、文獻(xiàn)［13］方法去霧后圖像對(duì)比度和飽和度較低，文獻(xiàn)［7］方法、文獻(xiàn)［14］方法提高了圖像亮度，但遠(yuǎn)景部分（方框處）有明顯的霧殘留，本文方法增強(qiáng)了遠(yuǎn)景可見(jiàn)性，具有更好的去霧效果；對(duì)于森林圖及放大區(qū)域，各方法均有一定的霧殘留，文獻(xiàn)［5］方法去霧后圖像顏色過(guò)飽和，出現(xiàn)顏色失真的現(xiàn)象，文獻(xiàn)［13］方法去霧力度明顯不足，有大量霧殘留，本文方法相對(duì)其他4 種方法去霧效果較好；在天空?qǐng)D中，文獻(xiàn)［5］方法天空區(qū)域較為灰暗，文獻(xiàn)［7］方法］、文獻(xiàn)［13］方法提高了圖像對(duì)比度和亮度，但部分紋理細(xì)節(jié)丟失，文獻(xiàn)［14］方法去霧后圖像出現(xiàn)光暈偽影，本文方法保留了更多的紋理細(xì)節(jié)，且增強(qiáng)了遠(yuǎn)景可見(jiàn)性，視覺(jué)效果更為自然。圖3 所示為更多有霧圖像的去霧效果，從圖3 可以看出：文獻(xiàn)［5］方法去霧后圖像過(guò)飽和，顏色失真，且近景區(qū)域（方框處）去霧不徹底；文獻(xiàn)［7］方法、文獻(xiàn)［14］方法圖像對(duì)比度有所提高，但遠(yuǎn)處仍有一些殘留霧，文獻(xiàn)［14］方法去霧后圖像細(xì)節(jié)有些模糊；文獻(xiàn)［13］方法處理后的圖像整體亮度較為灰暗，邊緣細(xì)節(jié)丟失嚴(yán)重，視覺(jué)效果不自然；本文方法去霧后的圖像有效保留了邊緣細(xì)節(jié)，提高了圖像對(duì)比度和飽和度，但部分圖像顏色偏暗。

圖2 5 種方法的去霧效果對(duì)比結(jié)果1Fig.2 Comparison results 1 of defogging effects of five methods

圖3 5 種方法的去霧效果對(duì)比結(jié)果2Fig.3 Comparison results 2 of defogging effects of five methods

圖4 所示為各方法對(duì)玩偶有霧圖像和條紋有霧圖像放大區(qū)域的去霧效果對(duì)比，將本文方法與文獻(xiàn)［16-17］中的LTV、MTV、CTV 這3 種方法以及文獻(xiàn)［18］中的H-TGV 方法，針對(duì)圖像邊緣以及噪聲去除性能進(jìn)行比較。由圖4 可以看出：對(duì)于玩偶圖，文獻(xiàn)［16］方法提高了圖像對(duì)比度，但去霧后噪聲放大，LTV［17］方法去霧后圖像紋理細(xì)節(jié)模糊不清，且圖像顏色過(guò)飽和，MTV［17］和CTV［17］2 種方法去霧效果相對(duì)較好，但圖像略平滑，丟失部分邊緣細(xì)節(jié)，HTGV［18］和本文方法去霧效果接近，均有效改善了圖像的飽和度和對(duì)比度，保留了圖像的紋理細(xì)節(jié)；對(duì)于含噪聲的條紋圖，文獻(xiàn)［16］方法和LTV［17］方法處理后的圖像仍有噪聲殘留，MTV［17］和CTV［17］方法去噪效果相對(duì)較好，但中間邊緣處模糊不清，H-TGV［18］和本文方法在去霧的同時(shí)有效抑制了噪聲，且邊緣處細(xì)節(jié)保持較好，去霧效果更加突出。

圖4 6 種方法的去霧效果對(duì)比結(jié)果Fig.4 Comparison results of defogging effects of six methods

3.2 客觀評(píng)價(jià)

為了更好地驗(yàn)證本文方法的有效性和魯棒性，采用新增可見(jiàn)邊之比（e）、可見(jiàn)邊規(guī)范化梯度之比（）、霧密度感知（D）、結(jié)構(gòu)相似性（SSIM）、峰值信噪比（PSNR）作為評(píng)價(jià)指標(biāo)。對(duì)圖2、圖3 采用新增可見(jiàn)邊e、可見(jiàn)邊規(guī)范化之比和霧密度感知D進(jìn)行評(píng)價(jià)，其中，e、值越大，D值越小，表明圖像去霧效果越好。表1、表2 所示為圖2、圖3 各方法的去霧結(jié)果對(duì)比。從表1、表2 可以看出，文獻(xiàn)［5］方法、文獻(xiàn)［13］方法中的結(jié)果偏大，這是因?yàn)槿レF后圖像過(guò)增強(qiáng)，顏色過(guò)飽和，而本文方法具有較大的e和以及較小的霧密度感知D，表明本文方法具有較好的去霧性能。

表1 各方法對(duì)圖2 的去霧結(jié)果對(duì)比Table 1 Comparison of defogging results of each method on the pictures in fig.2

表2 各方法對(duì)圖3 的去霧結(jié)果對(duì)比Table 2 Comparison of defogging results of each method on the pictures in fig.3

對(duì)于模擬有霧圖像，由于已有相應(yīng)的清晰圖像作參考，因此可以采用SSIM 和PSNR，通過(guò)不同的策略來(lái)進(jìn)一步評(píng)價(jià)結(jié)果的準(zhǔn)確性。通常情況下，SSIM值越大，表示去霧結(jié)果與真實(shí)圖像的結(jié)構(gòu)相似性越好，去霧圖像越接近于真實(shí)圖像；PSNR 值越大，表明圖像去霧后的效果更加理想。此外，本文還對(duì)不同變分去霧模型的運(yùn)行時(shí)間進(jìn)行了比較。表3 所示為各方法對(duì)圖4 的去霧效果對(duì)比。從表3 可以看出：本文方法可以獲得較高的PSNR 值和SSIM 值，去霧效果較好，去霧圖像更接近于真實(shí)圖像；雖然H-TGV［18］方法在PSNR 和SSIM 值上與本文方法接近，但運(yùn)行時(shí)間相對(duì)較長(zhǎng)；與其他方法相比，本文方法具有較短的運(yùn)行時(shí)間。

表3 各方法對(duì)圖4 的去霧結(jié)果對(duì)比Table 3 Comparison of defogging results of each method on the pictures in fig.4

4 結(jié)束語(yǔ)

本文提出一種結(jié)合暗原色先驗(yàn)與TVBH 變分模型的去霧方法，根據(jù)暗原色先驗(yàn)估計(jì)透射率圖，通過(guò)四叉樹(shù)分解得到大氣光值，利用分裂Bregman 算法和快速傅里葉變換求得優(yōu)化后的透射率和去霧圖像。實(shí)驗(yàn)結(jié)果表明，該方法能夠較好地保留圖像的邊緣細(xì)節(jié)，改善圖像的可視化效果。但是，本文方法去霧后圖像顏色偏暗，解決該問(wèn)題并提高去霧圖像的視覺(jué)質(zhì)量將是下一步的研究方向。