?！∷∩墟聢@　丁　輝　欒　中

(首都師范大學信息工程學院　北京 100048)

?

基于亮度傳播圖的低照度圖像增強算法

牛爽尚媛園丁輝欒中

(首都師范大學信息工程學院北京 100048)

摘要由于低照度圖像的整體亮度比較暗、動態(tài)范圍低、噪聲大等特點，提出一種基于亮度傳播圖的低照度圖像增強算法?？紤]到低照度圖像增強的同時也會放大噪聲，因此在增強圖像之前對圖像進行去噪處理。使用BM3D在YCbCr空間對圖像進行去噪之后，在HSI空間對圖像進行增強，利用亮度分量估計亮度傳播圖，利用物理模型還原低照度圖像。實驗表明該方法能夠快速有效地提高低照度圖像的整體亮度和對比度，增強圖像的細節(jié)并減少噪聲，得到視覺效果良好的圖像。

關鍵詞圖像增強低照度圖像亮度傳播圖顏色空間BM3D

0引言

在低照度條件下，如陰雨天、夜晚或是在礦井等地，因為沒有輔助光，得到的圖像質量很差。這些圖像不但人眼看起來視覺效果不佳，有些重要事物無法看清楚，而且在機器識別和監(jiān)控跟蹤方面也有很大的困難，造成低照度圖像的實際應用性大大降低。想要對這些畫質不佳的低照度圖像加以應用，就必須對低照度圖像進行增強和去噪處理，以改善低照度圖像的質量。

傳統(tǒng)的圖像增強技術，如使用最為廣泛的直方圖均衡化方法，通過簡單的統(tǒng)計計算就可以很大程度的提高對比度，但是丟失了細節(jié)和灰度級。彩色圖像增強的算法比較常用的有Retinex理論和小波變換。傳統(tǒng)圖像增強方法沒有考慮低照度圖像的自身特點，效果并不理想。近幾年，專門針對低照度圖像增強的算法研究也有了很大的進步，研究最多的是基于Retinex理論的低照度圖像增強算法[1-3]。這類算法對光照不均的圖像有著較好處理效果，但是對于整體較暗的夜間圖像處理效果并不理想，除了Retinex算法固有的暈輪效應不能完全消除，對于極低照度圖像處理后會出現(xiàn)整個圖像灰化的現(xiàn)象。此外Retinex算法對噪聲非常敏感，使得處理低照度圖像的時候并不能發(fā)揮它的優(yōu)勢。最基礎的低照度圖像增強算法仍然是直方圖處理[4,5]，比如文獻[4]對相似場景下的良好光照圖片作為標準對低照度圖像進行直方圖規(guī)定化提高清晰度，直方圖處理的方法簡單，但是由于低照度圖像在直方圖中的信息都集中在亮度比較低的一端，對灰度級的合并和灰度分布范圍的擴充使得這類算法的處理結果往往并不理想?；谛〔ㄗ儞Q的圖像增強理論也是相關研究的熱點[6]，經(jīng)常與其他理論相結合，如模糊理論、融合思想等，小波變換的增強算法計算量都很大，不太適用于實際情況。在場景允許的條件下，多幅圖像融合[7,8]對低照度圖像增強是很有效的，由于需要同一場景下的良好質量圖像信息，此類方法對圖像獲取環(huán)境有很高的要求。除上述幾種主流算法之外，還有一些針對色彩空間的低照度圖像增強方法[9,10]，但是往往對極低照度的圖像效果并不好。文獻[11]提出基于暗原色先驗[12]的低照度圖像增強算法，該算法快速有效，但是在亮點存在或是場景深度不連續(xù)的地方會出現(xiàn)光斑，細節(jié)處理也不夠精細。

受上述反轉去霧思想啟發(fā)，本文提出一種基于亮度傳播圖的低照度圖像增強的算法，針對低照度圖像噪聲大的特點，在圖像增強之前對低照度圖像進行去噪處理，避免了在增強圖像的同時增強噪聲。對傳播圖的估計方面也做了改進，利用HSI空間的亮度分量估計傳播圖，克服了之前因為亮度傳播圖不夠精細帶來的細節(jié)丟失的缺點。

1BM3D的低照度圖像去噪

低照度圖像噪聲非常大，而且與圖像信息相關性很高，直接進行增強的同時噪聲也會隨之增強，因此需要在圖像增強之前先進行去噪。分析低照度圖像的噪聲，主要包括傳輸和存儲過程產(chǎn)生的脈沖噪聲，各種器件和傳輸通道產(chǎn)生的高斯噪聲以及照度非常小的情況下產(chǎn)生的泊松噪聲，其中泊松噪聲對低照度圖像的影象最大。因此，3D去噪比較適用于低照度圖像，其中三維塊匹配去噪法(BM3D)[13]被認為是目前最好的去噪方法，它是一種基于變換域的增強型稀疏表示的去噪方法。BM3D的主要思想和步驟如下：首先進行分組，這個過程是把相似結構的二維圖像塊組合在一起形成三維數(shù)組，分組之后采用協(xié)同濾波來得到最優(yōu)估計，協(xié)同濾波得到的估計值可能會重復，對重復估計的估計值進行加權平均對圖像塊進行整合。

常用的彩色圖像空間有RGB、YCbCr、HSI，每個空間都有它的優(yōu)劣性。RGB空間的各分量之間相關性強，如果在RGB空間對圖像進行去噪處理，顏色失真會很嚴重。YCbCr空間都是顏色和亮度分離的空間，并且與RGB空間的轉換是線性的，同時由于人眼對Y分量相對敏感，因此對YCbCr的各個分量進行處理不會導致圖像顏色產(chǎn)生嚴重失真。為了兼顧去噪的運算效率和顏色保真，本文使用YCbCr空間作為圖像去噪實驗場景。

2相關理論

本文算法中對圖像的還原最終是基于物理模型的，物理模型中參數(shù)的估計是研究重點所在，使用經(jīng)典的Koschmieder大氣散射模型作為物理模型，并把暗通道理論作為先驗條件來估計物理模型的參數(shù)。

2.1物理模型

經(jīng)典大氣散射模型公式如下所示：

I(x)=J(x)t(x)+A(1-t(x))

(1)

t(x)=e-βd(x)

(2)

其中，A是天空亮度，x是空間位置，I(x)是觀測圖像的強度也就是有霧圖像，J(x)為去霧后的清晰圖像，t(x)是大氣傳輸函數(shù)，β是大氣散射系數(shù)，d(x)為場景景深。式(1)中右邊第一項為直接衰減項，是由于場景反射光傳播至成像設備過程中大氣粒子散射作用而衰減造成的，第二項為大氣光成分，由自然光散射造成的。

2.2暗原色先驗理論

He等人[12]對5000幅圖像進行觀察和統(tǒng)計得到暗原色先驗理論，該理論開創(chuàng)了去霧理論的新領域。用公式描述，對于任意的圖像J，我們定義：

(3)

其中，Jc代表J的某一個顏色通道，Ω(x)是以x為中心的一塊方形區(qū)域，Jdark是圖像的暗原色。根據(jù)暗原色先驗理論，如果J是戶外的無霧圖像，Jdark的強度總是很低并且趨向于0，He等人用約5000幅去掉了天空區(qū)域部分的圖像驗證了該理論的正確性。

3本文的低照度圖像增強算法

圖1　算法流程圖

對去噪之后的圖像進行增強，本文的增強算法是基于物理模型提出的。據(jù)觀察，低照度圖像反轉之后，天空和遙遠的背景區(qū)域每個顏色通道的像素都很高，而非天空區(qū)域至少有一個通道亮度比較低，與濃霧條件下得到的圖像很相似，因此可以將去霧算法應用于反轉之后的低照度圖像來增強低照度圖像。對反轉之后的低照度圖像進行去霧處理之后再次反轉回來就可以得到增強之后的低照度圖像，本文在去霧過程中，用HIS空間的I分量來估計亮度傳播圖代替物理模型中的大氣傳播圖，提高了增強后圖像的亮度，而且細節(jié)方面更加精細。

本文算法的流程如圖1所示。

3.1圖像的反轉和恢復

對低照度圖像進行增強，首先要對原始圖像R進行反轉，反轉公式為：

Ic(x)=255-Rc(x)

(4)

其中，c表示RGB顏色通道，Ic(x)是低照度圖像的反轉，Rc(x)是原始低照度圖像。然后，用式(1)對Ic進行去霧，用He[8]的方法，利用暗原色先驗來估計大氣光A的值，首先選取暗原色中亮度最大的0.1%的像素，在這些像素對應的原圖像中像素最大的值就是大氣光，復原圖像的公式如下：

(5)

得到去霧處理之后的圖像，再一次進行式(4)反轉操作，得到低照度圖像的增強圖像E。從式(5)可以看出，復原圖像的重點在于合理估計傳播圖t(x)，這也是本文改進的重點，亮度傳播圖的估計將在下一節(jié)具體介紹。

3.2低照度圖像的亮度傳播圖估計

將暗原色先驗應用于霧天物理模型中，在A已知的情況下，假設局部區(qū)域內透射率恒定不變，對式(1)兩端進行同樣的最小值變形如式(6)所示：

(6)

無霧的條件下，暗原色值趨近于0，得到傳播圖t(x)如式(7)所示：

(7)

式(2)可以看出大氣透射率t(x)是隨著場景深度呈指數(shù)衰減，越遠的景物具有越小的透射率，霧密集的地方亦然。但是，我們注意到低照度圖像的反轉圖像并不是真正的霧天圖像，它的傳播圖是與亮度是緊密聯(lián)系的，而不是像霧天圖像那樣隨景深衰減。這種情況下，傳播圖可以基于亮度分量來估計，因為原始圖像越暗的地方，相應的反轉圖像霧越密集，如圖2(b)所示。

圖2　基于亮度傳播圖的低照度圖像增強

要用亮度傳播圖來代替原來的大氣傳播圖復原圖像，首先需要將RGB圖像轉換成色度和亮度分離的圖像，我們常用的色亮分離的顏色空間有HSI、HSV、YCbCr、Lab等。每一個顏色空間都有自己優(yōu)點和缺點，在YCbCr空間進行亮度增強會導致顏色退色，HSI顏色空間從人的視覺系統(tǒng)出發(fā)，保持了顏色的恒常性，因此在HSI空間進行亮度和對比度拉伸不會造成顏色的改變，其中亮度分量可以表示如下：

L=(R+G+B)/3

(8)

亮度分量圖像和暗通道先驗得到的傳播圖有很大的不同，為了能夠使亮度傳播圖代替大氣傳播圖，必須使兩者在效果和功用上近似?？梢詫鞑D調整參數(shù)C減去圖像中每一點的像素值進行反色變換來解決這個問題，僅僅這樣，估計出的傳播圖很粗糙，處理的圖像效果大打折扣，必須對亮度傳播圖細化。MSR變換有多個尺度的特征 ，綜合了大中小尺度的優(yōu)勢 , 能夠同時實現(xiàn)動態(tài)范圍的壓縮、邊緣細節(jié)增強。本文首先用MSR處理亮度分量圖，如式(9)所示：

(9)

對亮度分量進行MSR處理之后再進行反色變換，得到粗估計的傳播圖：

(10)

對粗估計的傳播圖進行中值濾波淡化亮度傳播圖的目標輪廓，使去霧后的圖像含有更豐富的細節(jié)信息[14]，這樣就得到了最終的亮度傳播圖，如圖2(c)所示。

4實驗結果分析

根據(jù)上述算法，對低照度圖像進行增強實驗，本次實驗環(huán)境為：程序實現(xiàn)采用MATLABR2013a，主機配置為Inter(R)Core(TM)i5-3470CPU@3.20GHz，4GB內存，Window7操作系統(tǒng)。圖3為基于物理模型的低照度圖像增強效果圖以及估計的亮度傳播圖，兩幅實驗圖像采集設備型號為CanonPowerShotA3100IS，光圈值為f/2.7，圖像尺寸2592×1944。從處理結果可以看出本文算法有效地消除了噪聲，并且在整體亮度提升和邊緣細節(jié)保持方面也有出色的表現(xiàn)，亮度傳播圖細節(jié)部分也有一定優(yōu)勢。

圖3　本文算法處理結果

為了進一步驗證本文算法的有效性和優(yōu)勢，圖4給出了Dong[11]算法及本文算法的增強效果，在主觀視覺效果方面將本文算法與Dong算法效果進行比較。從結果圖可以看出，Dong的算法失真比較嚴重，而本文算法在保真方面做得就比較好，除此之外，本文處理的圖像亮度提升和抑制噪聲方面也有著明顯優(yōu)勢。

圖4　Dong算法與本文算法結果比較

除了主觀視覺效果，還需要客觀參數(shù)來對本文算法的優(yōu)劣性進行評價。表1中平均亮度MeanG代表著增強后的圖像平均亮度，MeanG的值越大，證明該算法增強的結果亮度提升效果越好，本文算法的平均亮度值均大于另一種算法。

表1　平均亮度MeanG比較

表2是四組圖像的峰值信噪比PSNR對比，它代表著增強算法對圖像的去噪處理效果，PSNR的值越大，證明該算法處理的結果去噪效果越好，本文在對四組圖像的處理中PSNR均大于Dong的算法。

表2　峰值信噪比PSNR比較

表3是四組圖像的運行時間Time(s)對比，它代表著增強算法的運算速度，運行時間越短，證明該算法的運算效率越高，本文算法的運行時間相比于另一種提升很大。

表3　運行時間Time比較

從結果看，三組對比中，本文算法的平均亮度和峰值信噪比都大于Dong算法，運行時間遠遠小于Dong算法，在亮度提升、抑制噪聲效果和運算速度方面均有優(yōu)勢。

5結語

針對低照度圖像的特點，提出一種基于物理模型的低照度增強算法。在增強之前先對低照度圖像進行去噪，避免了因圖像增強造成的噪聲放大的問題，晚上拍的圖像所含噪聲大部分屬于泊松分布的噪聲，比較適合用3D去噪算法，既保證了有效去噪的同時色彩不失真，又提高了效率。在對反轉之后的低照度圖像進行去霧時，利用亮度圖來估計亮度傳播圖，進一步提高了圖像亮度和對比度，增強了細節(jié)。本文算法可用于智能監(jiān)控系統(tǒng)，及對低照度圖像中物體的識別追蹤，對低照度環(huán)境下的目標檢測識別準確率的提高有著重要意義，因此將本文算法應用于視頻增強將是下一步研究的重點。

參考文獻

[1] 樸燕,劉磊,劉笑宇.低照度環(huán)境下視頻增強技術[J].紅外與激光工程,2014,43(6):2021-2026.

[2] 潘平平,李德華.快速低照度圖像增強算法研究與實現(xiàn)[J].微型機與應用,2012,31(20):42-47.

[3] 王聞博,穆向陽,湯楠.低照度圖像增強算法[J].計算機與現(xiàn)代化,2014(1):27-31.

[4] 朱婧雅,王中元.基于相似場景的低照度監(jiān)控圖像增強[J].計算機應用與軟件,2015,32(1):203-205,210.

[5] 韓殿元.低照度下視頻圖像保細節(jié)直方圖均衡化方法[J].計算機仿真,2013,30(8):233-236.

[6] 尹士暢,喻松林.基于小波變換和直方圖均衡的紅外圖像增強[J].激光與紅外,2013,43(2):225-228.

[7] 張愛民.一種基于小波變換的夜視圖像去噪和融合方法[J].電子測量技術,2015,38(1):38-40.

[8]RaoYunbo,ChenZhongbo,SunMingting,etal.Aneffecivenightvideoenhancementalgorithm[C]//ProceedingsoftheVisualCommunicationsandImageProcessing(VCIP),Tainan,2011:1-4.

[9] 陳勇,馮鵬,張開碧,等.低照度下具有動態(tài)特性的彩色圖像質量優(yōu)化算法[J].光電技術應用,2014,35(5):898-903.

[10] 蔡利梅,錢建生,羅驅波,等.一種基于色彩保持的低照度圖像增強算法[J].計算機應用與軟件,2009,26(3):226-227,243.

[11]DongXuan,WangGuan,PangLi,etal.Fastefficientalgorithmforenhancementoflowlightingvideo[C]//IEEEInternationalConferenceonMultimediaandExpo(ICME),Barcelona,2011:1-6.

[12]HeKaiming,SunJian,TangXiaoou.Singleimagehazeremovalusingdarkchannelprior[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR),Alaska,2009:1956-1963.

[13]KostadinDabov,AlessandroFoi,VladimirKatkovnik,etal.Imagedenoisingbysparse3Dtransform-domaincollaborativefiltering[J].IEEETransactionsonImageProcessing,2007,16(8):1-16.

[14]GuoFan,CaiZixing,XieBin,etal.Automaticimagehazeremovalbasedonluminancecomponent[C]//InternationalConferenceonWirelessCommunicationsNetworkingandMobileComputing(WiCOM),Chengdu,2010:1956-1963.

LOW ILLUMINATION IMAGE ENHANCEMENT ALGORITHM BASED ONLUMINANCETRANSMISSIONMAP

Niu ShuangShang YuanyuanDing HuiLuan Zhong

(School of Information Science and Technology,Capital Normal University,Beijing 100048,China)

AbstractLow illumination images always have lower overall brightness, low dynamic range and high noise. Because of these characteristics, we proposed an enhancement algorithm for low illumination image which is based on luminance transmission map. Considering that while enhancing the low illumination image the noise will be amplified as well, it needs to reduce image noise before image enhancement. We first used BM3D (block matching 3D) for image denoising in YCbCr space, then we enhanced the image in HSI space, and used luminance component to estimate the luminance transmission map, finally we used physical model to restore the low illumination image. Experiments showed that the method could rapidly and effectively improve the overall brightness and contrast of the low illumination image, enhance the detail of the image and reduce noise as well, and get an image with good visual effect.

KeywordsImage enhancementLow illumination imageLuminance transmission mapColour spaceBM3D

收稿日期：2015-03-13。國家自然科學基金項目(11178017，6137 3090，61303104，61203238)；北京市自然科學基金項目(4132014)。牛爽，碩士生，主研領域：數(shù)字圖形處理，視頻處理，模式識別。尚媛園，教授。丁輝，副教授。欒中，博士生。

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.06.041