唐道發(fā)，李展，林曉兵，葉志航

（1.暨南大學(xué)信息科學(xué)與技術(shù)學(xué)院計算機科學(xué)系，廣東廣州510632；2.暨南大學(xué)天體測量、動力學(xué)和空間科學(xué)研究中法聯(lián)合實驗室，廣東廣州510632）

霧霾圖像恢復(fù)增強系統(tǒng)研究*

唐道發(fā)1，2，李展1，2，林曉兵1，2，葉志航1，2

（1.暨南大學(xué)信息科學(xué)與技術(shù)學(xué)院計算機科學(xué)系，廣東廣州510632；2.暨南大學(xué)天體測量、動力學(xué)和空間科學(xué)研究中法聯(lián)合實驗室，廣東廣州510632）

為了增強霧霾圖片的視覺效果，得到清晰的圖片，同時也為了給研究人員提供一個去霧算法比較分析的工具，構(gòu)建并實現(xiàn)了一個集圖像預(yù)處理、去霧、超分辨重建和質(zhì)量評估為一體的霧霾圖像處理系統(tǒng)。系統(tǒng)采用了多種圖像處理方法對圖像進行處理，其中去霧技術(shù)和超分重建技術(shù)是系統(tǒng)的核心技術(shù)。測試表明，系統(tǒng)可以有效改善霧霾圖像的質(zhì)量和分辨率，同時通過圖像質(zhì)量評估為算法比較提供了依據(jù)。

去霧；超分辨重建；圖像質(zhì)量評估；系統(tǒng)軟件

0　引言

近年來，我國的霧霾問題日益突出。霧霾不僅對人們的身體健康有害，而且霧霾天氣下所采集的圖像會導(dǎo)致顏色失真，清晰度降低，對比度下降［1］，遠處物體模糊不清等一系列問題。此外，在許多圖像處理應(yīng)用領(lǐng)域，例如視頻監(jiān)控、交通監(jiān)控［2］、衛(wèi)星遙感［3］、車牌檢測［4］都對處理圖像的質(zhì)量有一定的要求。霧霾引起圖像降質(zhì)，使這些應(yīng)用系統(tǒng)的性能急劇下降。然而已知的圖像處理軟件一般只采用灰度拉伸、銳化、濾波去噪和對比度亮度調(diào)整等技術(shù)，主要是針對圖像的特效和尺寸的變換。無法從本質(zhì)上去除或消弱霧霾，改善圖像質(zhì)量。

圖像去霧成為當前計算機視覺系統(tǒng)中一個研究熱點［5］。國內(nèi)外研究者們相繼提出了很多行之有效的去霧算法。McCartney［6］對各種天氣狀況下的大氣懸浮粒子的形狀、半徑大小和分布情況進行深入研究，提出了大氣散射模型。Tan［7］通過最大化局部對比度來達到去霧的效果，但該方法僅關(guān)注提高客觀對比度，沒有從物理上求解場景反射率，復(fù)原后的圖像顏色往往會失真。Fattal［8］等人利用數(shù)據(jù)統(tǒng)計發(fā)現(xiàn)局部區(qū)域的場景透射率為定值，因此利用獨立成分分析求得常向量透射率。但是這種方法是基于顏色統(tǒng)計，無法處理濃霧下的圖像和灰度圖像，也會導(dǎo)致所估算出來的透射率不準。Tarel［9］利用中值濾波的方法對大氣散射函數(shù)進行估計，最后經(jīng)過色度調(diào)和獲得恢復(fù)圖像，不過中值濾波算法并不是很好的保留景物邊緣細節(jié)信息的濾波算法，會造成顏色失真，易引起Halo效應(yīng)。He［10］等人在09年CVPR上提出了一種暗通道先驗算法。根據(jù)無霧圖像的暗通道數(shù)據(jù)接近于0，再通過最小濾波算法來對大氣模型函數(shù)進行估計，最后通過模型還原出原圖像。這種算法對于后來的去霧算法有較大的影響，后人大多是基于He的算法來進行改進。張仁斌、李興興、夏宏麗［11］在14年在暗通道先驗的基礎(chǔ)上提出基于景深的快速去霧算法，利用景深信息估計大氣散射模型，得到邊緣突變景深關(guān)系比，再優(yōu)化傳輸圖，利用雙邊濾波對景物邊緣進行處理，取得較好的效果。這些算法可以從一定程度上去除圖像中的霧霾效應(yīng)，但往往局限于某一種或一類算法的應(yīng)用，不是一個較為完整的圖像處理系統(tǒng)或者應(yīng)用軟件。

本文研究并構(gòu)建了一個基于超分重建的霧霾圖像恢復(fù)增強系統(tǒng)IHRRS（Image Haze Removal and Recovery System）。系統(tǒng)的主要特點體現(xiàn)在：①IHRRS集合了多種新近去霧算法，同時對圖像序列采用超分辨率重建技術(shù)重建圖像細節(jié)，可以從本質(zhì)上改善圖像的質(zhì)量和分辨率;②系統(tǒng)集成了圖像預(yù)處理、圖像去霧、超分辨重建、質(zhì)量評估，四個可單獨或聯(lián)合處理圖像的功能模塊，既針對霧霾圖像恢復(fù)也用于去霧算法的研究和比較,是一個實用性較強、功能較完整的軟件系統(tǒng)。

1　IHRRS系統(tǒng)設(shè)計

IHRRS系統(tǒng)由圖像預(yù)處理、圖像去霧、超分辨率重建、質(zhì)量評估四個功能模塊組成，系統(tǒng)總體框架如圖1所示。圖像預(yù)處理模塊可實現(xiàn)對圖像的對比度大小調(diào)整、灰度拉伸和圖像銳化、圖像去噪等圖像增強的基本功能。

圖1　IHRRS系統(tǒng)總體框架圖

圖像去霧模塊分為單幅去霧和圖像序列去霧兩個子模塊。單幅去霧子模塊實現(xiàn)了基于Prewitt邊緣檢測的暗通道算法和矩形窗口可變暗通道算法，并集成了幾種常用的暗通道算法以進行算法對比分析；圖像序列去霧子模塊則通過結(jié)合超分重建技術(shù)對多幀圖像進行去霧得到高分辨率去霧圖像。

超分辨率重建模塊通過選擇參考幀，對圖像進行配準，使用基于像素可信度的超分辨率重建算法，對圖像序列進行超分處理，生成較高分辨率的圖像。該模塊可為圖像去霧模塊圖像序列的去霧提供多幅超分處理，提高生成圖像的分辨率。

質(zhì)量評估為無參考圖像的評估，通過采集圖像的對比度σ2、信息熵H、平均梯度GMG這三個指標的值對圖像進行對比分析和質(zhì)量評估。

2　IHRRS系統(tǒng)各功能模塊的實現(xiàn)

2.1圖像預(yù)處理

圖像預(yù)處理模塊通過對圖像的對比度調(diào)整、灰度拉伸、圖像銳化和去噪對圖像進行增強，既可單獨調(diào)用，也可作為圖像去霧模塊的去霧預(yù)處理部分。首先采用直方圖均衡化進行灰度增強，然后采用自適應(yīng)噪聲識別去噪、巴特沃茲帶阻濾波器、自適應(yīng)中值濾波等多種算法對圖像進行去噪處理。

2.2圖像去霧

圖像去霧模塊分為單幅圖像去霧和圖像序列去霧。系統(tǒng)實現(xiàn)了四種基于暗通道先驗的去霧算法，如表1所示，在用戶選擇去霧算法后，算法參數(shù)可由用戶手動輸入或系統(tǒng)自動計算。這幾種算法的去霧過程如圖2所示。實驗表明，采用迭代的方法多次調(diào)用單幅去霧模塊可以取得更優(yōu)的視覺效果。基于暗通道的去霧算法原理可用公式（1）表示如下：

其中I（x）表示有霧圖像，A表示整體的大氣光強，t（x）表示霧霾中的傳輸率，t0為待輸入的參數(shù)，J（x）表示復(fù)原后的圖像，也是最終想要得到的圖像。

表1　單幅圖像去霧算法

圖2　暗通道去霧算法的去霧過程

圖像序列的去霧過程如圖3所示。在用戶選擇好去霧算法和超分算法后，系統(tǒng)先調(diào)用單幅去霧算法對圖像序列逐一進行去霧處理，然后對去霧后的圖像序列進行配準和超分辨率重建得到高分辨率圖像，最后將超分后的圖像再進行一次去霧處理，得到一幅具有高分辨率的去霧圖像。

圖3　圖像序列的去霧流程

2.3超分辨率重建

超分辨率重建模塊處理流程如圖4所示。圖像序列的配準采用SIFT特征匹配及RANSAC算法消除誤配，超分重建采用基于像素可信度的算法。讀入低分辨率圖像后，選擇參考幀，調(diào)用配準算法生成相應(yīng)的變換參數(shù)，然后調(diào)用超分重建算法對多幅低分辨率圖像的信息進行融合，得到具有較高分辨率的圖像。

圖4　超分模塊處理流程

2.4質(zhì)量評估

質(zhì)量評估模塊既可以對比去霧前后的量化指標，也可以用于比較不同算法的去霧結(jié)果。對霧霾圖像或序列進行去霧處理后，可調(diào)用質(zhì)量評估模塊對恢復(fù)圖像進行評估。模塊根據(jù)圖像信息分析計算，得到圖像的對比度、信息熵H、平均梯度GMG這三個指標，對比去霧前的輸入圖像獲得去霧效果的評價。同時，還可以利用這三個指標對不同去霧算法進行量化比較和分析。圖像對比度、信息熵H、平均梯度GMG三個指標的計算公式如下：

其中I（i，j）表示圖像的像素灰度值，m×n為圖像的像素大小，μ表示整幅圖像的灰度均值，L表示圖像的最大灰度級，Hr表示圖像中r的灰度級所出現(xiàn)的像素個數(shù)。

3　IHRRS系統(tǒng)的測試與分析

IHHRS系統(tǒng)在Intel(R)Core(TM)i3-3301M 2.40GHz CPU、4G內(nèi)存和64位Win7操作系統(tǒng)的環(huán)境中測試，開發(fā)平臺是Matlab R2009b。系統(tǒng)主界面如圖5所示，該圖是IHRRS系統(tǒng)的圖像預(yù)處理模塊。

圖5　IHRRS系統(tǒng)主界面

界面的導(dǎo)航欄分別是四個功能模塊的按鈕。最左邊用于加載和保存圖片，同時顯示加載出來的圖像列表和要保存的圖像列表。右邊是系統(tǒng)的主體顯示區(qū)域，用于所選模塊的參數(shù)輸入以及圖片顯示，其中左邊圖像框顯示輸入圖像，右邊則顯示處理后的輸出圖像。

圖6　單幅城市遠景圖像的迭代去霧

圖6顯示了一幅有霧的城市遠景圖像采用基于prewitt邊緣檢測的暗通道算法，并經(jīng)過多次迭代處理的去霧效果圖。實驗表明，對一般的濃霧圖像進行兩到三次去霧迭代處理就可以得到比較理想的效果。從圖6可以看出，每一次迭代都對圖像中的霧霾效應(yīng)有明顯的改善，三次迭代后去霧效果顯著。

在圖像序列的去霧實驗中，對5幅操場遠景圖進行去霧處理和分辨率增強。先對序列中的每幀圖像去霧，然后融合5幅圖像進行兩倍超分辨率重建，最后再對重建圖像去霧進一步改善圖像清晰度。圖7顯示了去霧和分辨率增強后的結(jié)果，對比圖像序列中的原參考圖像，處理后的圖像視覺效果有了明顯的改善。

圖7　結(jié)合超分辨率來處理具有濃霧的效果

圖像質(zhì)量評估模塊使用表格的形式顯示無參考圖像的量化指標計算結(jié)果，如圖8所示，為去霧效果的比較提供參考。

圖8　量化指標對比表格

表格的上下兩行分別是處理前和處理后的圖像的量化指標對比，由圖8可以看出，處理后的圖像的平均梯度值有了明顯的增加，而灰度值和信息熵也有了增加。

4　結(jié)束語

論文設(shè)計開發(fā)的霧霾圖像恢復(fù)增強系統(tǒng)IHRRS可應(yīng)用到很多實際場景，包括對去霧和超分算法的研究和測試。系統(tǒng)針對霧霾污染的圖像，采用多種去霧和超分重建方法進行恢復(fù)和增強，結(jié)合圖像預(yù)處理和圖像質(zhì)量評估模塊，為去霧算法的研究提供了一個測試和比較的平臺。實驗表明，IHRRS系統(tǒng)能明顯消除或減少圖像中的霧霾效應(yīng)，改善圖像質(zhì)量和分辨率。

［1］嵇曉強.圖像快速去霧與清晰度恢復(fù)技術(shù)研究［D］.長春：中國科學(xué)院長春光學(xué)精密機械與物理研究所，2013.

［2］周志宇，汪亞明，黃文清.計算機視覺在交通監(jiān)控中的應(yīng)用［J］.計算機系統(tǒng)應(yīng)用.2003,（1）:51-53.

［3］梁天全，趙強，孫曉兵，等.霧霾天氣條件下偏振遙感圖像復(fù)原研究［J］.武漢大學(xué)學(xué)報,2014,39（2）:244-247.

［4］張濤，王劍魁，張國山，等.霧霾天氣車牌識別系統(tǒng)圖像預(yù)處理算法［J］.山東理工大學(xué)學(xué)報.2015,28（1）:15-19.

［5］郭璠，蔡自興，謝斌，等.圖像去霧技術(shù)綜述與展望［J］.計算機應(yīng)用，2010,30（9）:2417-2421.

［6］McCartney E J.Optics Of The Atmosphere:Scattering By Molecules And Particles[M].New York:John Wiley and Sons,1976:23-32.

［7］Tan R T.Visibility in bad weather from a single image[C]//Proceeding of IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Alaska,USA:IEEE Computer Society,2008:1-8.

［8］Fattal R.Single image dehazing[J].ACM Transactions on Graphics, 2008,27(3):1-9.

［9］Tarel J P,Hauti N.Fast visibility restoration from a single color or gray level image(C)//proceedings of the 12th IEEE International Conference On Computer Vision Kyoto,Japan:IEEE,2009.2201-2208.

［10］He K,Sun J,Tang X.Single image haze removal using dark channel prior[C]//proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR).Miami,FL,USA: IEEE Computer Society,2009:1956-1963.

［11］張仁斌，李興興，夏宏麗.基于景深的單幅圖像去霧算法［J］.計算機工程.2014，40（2）：237-239.

［12］樊娜，李晉惠.圖像邊緣檢測的Prewitt算子的改進算法［J］.西安工業(yè)學(xué)院學(xué)報，2005,25（1）:37-44.

［13］李展，張慶豐，孟小華，等．多分辨率圖像序列的超分辨率重建［J］．自動化學(xué)報，2012，38（11）:1804-1814．

［14］Lowe D G.Distinctive image features from scale-invariant keypoints [J]．International Journal of Computer Vision，2004，60(2):91-110．

［15］Fischler M A，Bolles R C．Random sample consensus:A paradigm for model fitting with applications to image analy-sis and automated cartography[J]．Communications of the ACM，1981，24(6):381-395．

唐道發(fā)（1995-），男，本科在讀，研究方向為圖像處理及計算機應(yīng)用技術(shù)；李展（1979-），女，副教授，博士，研究方向為圖像處理及高精度天體測量；林曉兵（1995-），男，本科在讀，研究方向為圖像處理及計算機應(yīng)用技術(shù)；葉志航（1995-），男，本科在讀，研究方向為圖像處理及計算機應(yīng)用技術(shù)。

大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目“基于超分辨率的霧霾圖像處理”（201510559035）；廣東省自然科學(xué)基金“基于超分辨率重建的地面觀測天文圖像增強方法”（2014A030313374）；國家自然科學(xué)基金“星系圖像的超分辨率重建算法研究”（11403008）；國家自然科學(xué)基金“天然衛(wèi)星的CCD觀測與精準定位關(guān)鍵技術(shù)的研究”（11273014）