徐 艷,史再峰,李斌橋,龐 科

(天津大學(xué)電子信息工程學(xué)院,天津300072)

視頻圖像的鄰域統(tǒng)計直方圖均衡化增強算法

徐 艷,史再峰,李斌橋,龐 科

(天津大學(xué)電子信息工程學(xué)院,天津300072)

針對視頻監(jiān)控圖像相鄰幀之間場景變化小的特點,提出一種適用于視頻圖像的鄰域統(tǒng)計直方圖均衡化算法來提升圖像的對比度。根據(jù)相鄰視頻幀的場景相關(guān)性,對圖像當前幀進行鄰域信息統(tǒng)計,利用Laplace算子得到前一幀圖像中的背景和細節(jié)信息,從而選擇合適的增強參數(shù),生成視頻圖像的優(yōu)化直方圖。使用優(yōu)化后直方圖的均值點將其分割成2個部分得到各自的變換函數(shù),對視頻圖像進行直方圖均衡化操作。實驗結(jié)果表明,該算法能夠提升視頻圖像的對比度,保持圖像的平均亮度,減弱過增強現(xiàn)象,保留視頻中興趣區(qū)域的細節(jié)信息?？梢垣@得的最小絕對平均亮度誤差值為1.474 1,最大熵值為7.099 3,最大峰值信噪比值為20.671 0。

視頻圖像增強;鄰域統(tǒng)計;對比度提升;直方圖均衡化;優(yōu)化直方圖;拉普拉斯算子

1 概述

攝像機、監(jiān)控系統(tǒng)等獲得的視頻圖像成為人們獲得信息的重要來源,能否獲得高質(zhì)量的視頻圖像對于人們快速準確地分析圖像中蘊含的有用信息具有重要的意義。然而這類視頻圖像的質(zhì)量往往受到天氣、光線、儀器設(shè)備等多種因素的影響。在惡劣的天氣條件下,圖像會產(chǎn)生嚴重的退化,畫面的色彩出現(xiàn)偏差,景物的細節(jié)難以分辨。因此,需要對視頻圖像作增強處理。其中,提升對比度是獲得高清晰度圖像的重要步驟之一。

直方圖均衡化因其簡單高效性成為了視頻圖像增強、對比度提升的一種廣泛使用的算法。經(jīng)典的直方圖均衡化算法采用單一的變換函數(shù)對原始圖像的直方圖作拉伸,有效提升了圖像的對比度。在這一算法的基礎(chǔ)上,結(jié)合信號處理等方面的理論,出現(xiàn)了多種改進的直方圖均衡化算法。文獻[1]提出了一種亮度保持型的雙直方圖均衡化算法(BBHE),該算法將輸入圖像的直方圖均值作為分割點,把直方圖分割成2個子直方圖,然后分別對這2個子圖像進行直方圖均衡化操作。文獻[2]提出了一種循環(huán)子圖像均衡化算法(RSIHE),該算法和文獻[1]算法類似,區(qū)別是采用輸入圖像的直方圖灰度累積概率等于0.5的點作為分割點,將圖像分割成2的整數(shù)次冪個子圖像。采用這2種算法得到的圖像平均亮度與傳統(tǒng)直方圖均衡化算法相比較和原始圖像更為接近。但它們在每個子圖像均衡化的過程中依然不能消除直方圖均衡化的缺陷。直方圖均衡化還會出現(xiàn)灰度級合并的現(xiàn)象,造成圖像細節(jié)的損失。有的算法在均衡化過程中對圖像相鄰灰度級的取值重新作調(diào)整,有效減少了灰度級的合并,使圖像更加連續(xù)[3-4]。對比度受限的自適應(yīng)直方圖均衡化算法也是一種有效的改進算法[5-6]。該算法將原始圖像分成若干個連續(xù)不重疊的子區(qū)域,分別計算每個子區(qū)域的直方圖,選取合適的閾值對這些直方圖進行剪切,將剪切后的像素進行重分配得到新的直方圖,最后通過灰度線性插值的方式得到圖像的新像素點。這類算法要獲得較好的增強效果,要選擇合理的閾值。平臺直方圖均衡化是對直方圖均衡的另一種修正[7-8]。它根據(jù)增強的具體要求,選取閾值對直方圖的上限或下限作限制,重新生成圖像的直方圖,從新的直方圖計算得到變換函數(shù),對圖像作灰度變換。這類算法可以減弱原始圖像過亮的現(xiàn)象,與對比度受限的自適應(yīng)直方圖均衡化算法類似,這類算法的難點和關(guān)鍵都是閾值的選取。有的算法針對視頻圖像受光照、天氣條件影響大的特點,首先構(gòu)造亮度變換函數(shù),對圖像的低照度部分進行提升,然后結(jié)合局部直方圖均衡化算法增強圖像中的局部信息[9]。該算法適合用于增強非均勻照度的圖像。有的算法針對霧天圖像退化現(xiàn)象進行增強,將天空和景物進行分離,對景物部分采用重疊的模板進行局部直方圖均衡化[10]。以上2種算法由于采用了局部直方圖均衡化,增加了一定的計算量,并且會帶來塊效應(yīng)。

本文在分析圖像局部信息的基礎(chǔ)上,將圖像的鄰域信息融合到圖像直方圖的統(tǒng)計和生成中,使得新產(chǎn)生的直方圖能反映圖像的局部對比度信息,在增強圖像細節(jié)的同時不引進塊效應(yīng)。根據(jù)視頻圖像場景的特點,計算得到合適的增強參數(shù)。同時,結(jié)合圖像亮度保持的直方圖均衡化算法,對因為細節(jié)增強而產(chǎn)生的亮度偏移進行修正。

2 傳統(tǒng)直方圖均衡化及其缺陷分析

對于一幅M×N大小的數(shù)字圖像Ii來說,每一個灰度級rk在圖像中出現(xiàn)的概率可以近似為:

其中,nk為灰度級為rk的像素個數(shù),灰度級的范圍在[0,L-1],L為圖像中可能的灰度級的數(shù)量,則與rk相對的pr(rk)即為概率密度函數(shù)(PDF),通常稱為直方圖。直方圖是圖像像素灰度值分布的一個反映,對于數(shù)字圖像,概率密度函數(shù)是離散的。將直方圖進行累加便可以得到圖像的累積概率密度函數(shù)(CDF):

由該累積概率密度函數(shù)可以得到對應(yīng)的變換函數(shù):

根據(jù)該變換函數(shù),可以將輸入圖像中每個像素作對應(yīng)的映射,得到新的像素值,即可得到輸出圖像Io,使輸出圖像的對比度得到提升。

在連續(xù)域進行直方圖均衡化,得到輸出圖像的直方圖將是一個均勻分布,因此,整個灰度范圍內(nèi)的每一個值都能得到利用。數(shù)字圖像的直方圖均衡化操作需要進行取整運算,在這一過程中,原先相鄰的灰度級會分離,某些灰度級會合并或消失,得到的輸出直方圖中出現(xiàn)較多的空隙。這一特性對于增強低亮度的圖像有很好的效果,但同時也會帶來明顯的過增強效應(yīng)。相鄰灰度級在進行直方圖均衡化之后的距離可以用下式計算:

由此可見,相鄰灰度級在直方圖均衡化之后的間距和rk像素在輸入圖像中的概率密度值pr(rk)有關(guān)。若該值較小,兩者之間的間距就小,圖像的對比度提升就不明顯,當間距不一時,相鄰的灰度級就會合并,圖像的灰度級就會減少;若該值較大,相鄰灰度級的距離就會增大,對比度得到明顯的提升。但也會帶來諸如過增強效應(yīng)或光圈現(xiàn)象。如圖1所示,該圖像中含有大量顏色單一的背景部分,對應(yīng)直方圖中概率密度值較高的灰度值,在直方圖均衡化的過程中容易產(chǎn)生過增強效果。

圖1 過增強效應(yīng)示意圖

3 視頻圖像直方圖均衡化算法

3.1 監(jiān)控視頻的場景分析

監(jiān)控視頻的應(yīng)用范圍較為廣泛,包括道路車輛檢測、人臉檢測、目標追蹤等。對監(jiān)控視頻類圖像的增強技術(shù)也要根據(jù)此類圖像的特征而開發(fā)。視頻監(jiān)控類的圖像通常場景和目標對象所占的比例較為固定,背景圖像單一且變化少,經(jīng)常包含天空、道路等。對于這類圖像的增強,關(guān)注點都在前景對象上,前景部分往往包含人物、車輛等感興趣的區(qū)域,而對于圖像背景的增強要求往往不高。視頻監(jiān)控類圖像還容易受到環(huán)境因素,例如天氣和光線的影響,使圖像出現(xiàn)偏暗或偏亮的現(xiàn)象,如夜晚圖像的整體亮度會降低,霧天圖像的細節(jié)會不清晰。對于此類圖像,提升圖像的對比度、增強圖像的細節(jié)部分對提升圖像的清晰度以便于后續(xù)的圖像處理就顯得尤為重要。此外,視頻類圖像在一定的時間間隔內(nèi)存在相關(guān)性,前后幀之間的變化很小。因此,對于這類圖像的增強,可以預(yù)先設(shè)定增強要求,對固定場景的增強采用相同的方式。

根據(jù)以上分析,對監(jiān)控視頻圖像的增強,可以充分利用視頻流中前后相鄰幀之間的相關(guān)性,根據(jù)視頻場景的特點,確定增強系數(shù),達到預(yù)先設(shè)定的增強效果。

3.2 改進的直方圖均衡算法

本文提出一種鄰域統(tǒng)計直方圖均衡化增強算法。該算法是對原始直方圖均衡化算法的修正,可以有效減弱圖像的過增強效應(yīng),保留圖像的細節(jié),使得圖像的背景過渡自然,前景物體更加清晰,適用于增強視頻監(jiān)控類的圖像。

該算法的實現(xiàn)框圖如圖2所示。首先對輸入視頻圖像的第fn幀進行鄰域信息統(tǒng)計,如圖3所示。

圖2 算法實現(xiàn)框圖

圖3 鄰域統(tǒng)計示意圖

一般的直方圖均衡化算法在統(tǒng)計直方圖時都不考慮圖像的鄰域信息,從而在均衡化過程中會丟失部分圖像的細節(jié)信息。為了能夠更好地保持圖像的細節(jié)信息,本文提出的算法將選取每個待統(tǒng)計的像素點周圍w×w的矩形區(qū)域,這里w是一個奇數(shù),本文中取w=3,利用以下公式計算每個像素點周圍w×w-1個像素的Pix(m,n)的值:

參數(shù)λ的大小代表圖像的增強程度。當λ為0時,統(tǒng)計過程中不考慮周圍像素與中心像素之間的關(guān)系,得到的結(jié)果和傳統(tǒng)的直方圖均衡化一致;隨著λ的增大,圖像中局部對比度較高,細節(jié)較豐富的部分將得到更好的增強,同時局部對比度較低,細節(jié)不明顯的部分增強的程度會相對較低,即兩者增強程度的差異會增大;當λ增大到一定的數(shù)值之后,這種差異就不明顯。本文經(jīng)過多次實驗,發(fā)現(xiàn)λ在[0,4]范圍之內(nèi)的變化最明顯,因此,λ的取值范圍在[0,4]區(qū)間。對于視頻監(jiān)控圖像,該信息可以通過對輸入視頻圖像的fn-1幀進行場景判斷來獲得。當圖像中含有大量天空、草地等圖案,同時又需要增強前景人物的細節(jié)時就可以設(shè)置較大的λ值,能夠保留圖像細節(jié)的同時減弱背景部分的過增強效應(yīng)?？梢愿鶕?jù)視頻圖像中的背景和細節(jié)部分所占的比例來獲得該參數(shù)。本文采用拉普拉斯算子來提取視頻圖像中的細節(jié)部分。拉普拉斯算子具有旋轉(zhuǎn)不變性,強調(diào)圖像中灰度的突變,響應(yīng)值高的部分即為圖像中突變較大的區(qū)域,對應(yīng)的細節(jié)信息較多。本文確定該參數(shù)的具體步驟如下:

(1)采用拉普拉斯算子對fn-1幀圖像進行卷積運算,得到每個像素點的響應(yīng)值R。

(2)選擇合理的閾值TH對響應(yīng)值R作分割,大于閾值的像素確定為細節(jié)像素,其余部分確定為背景像素(包含較少的細節(jié)信息)。由于拉普拉斯算子具有雙重響應(yīng)的特性,本文只取響應(yīng)值為正數(shù)的點判斷是否為細節(jié)像素,閾值TH選取為響應(yīng)值最大值的0.1倍[11]。

(3)根據(jù)背景像素的個數(shù)計算得到背景像素在整幅圖像中所占的比例BA,統(tǒng)計大量圖像的BA值,得到其下限T1BA和上限T2BA,將該范圍內(nèi)的BA值作線性變換,映射到[0,4]上,得到對應(yīng)的λ的值,用于fn幀視頻圖像的增強。

這樣,含有背景像素多、細節(jié)像素少的圖像將具有較大的BA值,可以獲得較大的增強系數(shù),從而減弱背景中的過增強效應(yīng)。

當確定了圖像的增強參數(shù)λ之后,得到一幅完整的二維直方圖。該直方圖不僅反映了圖像中每個像素的灰度信息,還包含圖像的局部對比度信息。利用以下公式將該二維直方圖進行積分和歸一化操作,得到輸入圖像的一維優(yōu)化直方圖:

利用該優(yōu)化直方圖的均值點M對該直方圖進行均值分割,使該直方圖成為2個獨立的部分,對兩者的直方圖作累加便可計算得到各自的累積概率密度函數(shù)c1(m1)和c2(m2),利用累積概率密度函數(shù)得到2個獨立直方圖各自的變換函數(shù):

利用變換函數(shù)分別對2個灰度像素區(qū)間內(nèi)的像素進行灰度映射,得到輸出圖像。

4 實驗結(jié)果與分析

為了驗證本文算法在提升視頻圖像對比度方面的有效性,本節(jié)討論并對比本文算法和HE算法、BBHE算法的結(jié)果。為了對比本文算法在保持圖像亮度方面的優(yōu)勢,選擇了絕對平均亮度誤差(AMBE)來評價算法在保持原始圖像平均亮度方面的特性;選擇熵(Entropy)來評價執(zhí)行直方圖操作之后,圖像信息是否豐富;選擇峰值信噪比(PSNR)來評價圖像的整體質(zhì)量。

圖4(a)所示的是一幅靜態(tài)圖像,經(jīng)3種算法處理后的效果如圖4(b)～圖4(d)所示。該圖像整體偏暗,同時背景和前景分離較明顯,對于圖像背景部分不需要作過多的增強。計算得到此幅圖像的增強參數(shù)λ為3.2,可以弱化背景部分和本身局部對比度較小部分的增強,而對于本身局部對比度較大的前景部分重點增強。HE和BBHE增強的圖像都存在背景部分的光暈現(xiàn)象,失真較大。而本文所采用的算法對圖像的增強效果自然,明顯減弱了過增強效應(yīng),并且能夠保持圖像的細節(jié)。由圖5所示的直方圖來看,本文所采用的算法得到的直方圖更加均勻,符合提升對比度的要求,也不存在跳躍性的亮度變化。

圖4 Image1的增強圖像

圖5 原始直方圖及Image1增強后的直方圖

本文選取了USC-SIPI圖像數(shù)據(jù)庫[12]的視頻圖像來驗證本文算法對視頻圖像的增強效果。圖6顯示了各種算法對一組視頻圖像中的一幅的增強效果。可以看到HE雖然提升了對比度,但是對墻壁和人物衣著增強過度,同時減少了人物臉部的細節(jié),而且增強后圖像過亮,BBHE也有同樣的現(xiàn)象。從圖7的直方圖中可以看到,該圖像有大量像素集中在亮度較低的區(qū)域,對應(yīng)人物的衣著部分,在HE和BBHE增強的過程中,該區(qū)域的灰度級被過度拉伸,導(dǎo)致了增強后亮度不均勻。此組視頻中背景部分所占面積較大,計算得到λ的值為3.5,符合分析的增強要求。采用本文提出的算法增強的圖像和HE/BBHE相比較,減弱了過增強現(xiàn)象,人物的臉部細節(jié)更豐富清晰。

圖6 Image2的增強圖像

圖7 原始直方圖及Image2增強后的直方圖

圖8 顯示的是航拍視頻的增強效果。

圖8 Image3的增強圖像

該視頻中大部分區(qū)域都存在較為細節(jié)的景物,沒有大面積的單一亮度區(qū)域,從圖9中的直方圖來看,原始圖像的灰度級分布較為均勻,計算得出λ為2.5?？梢钥吹脚c其他2種增強算法相比,本文算法對遠處的山地和房屋等細節(jié)的增強效果更好,紋理更清晰。

表1是本文算法和其他直方圖均衡化算法分別對以上靜態(tài)圖像和2組視頻圖像進行均衡化之后的指標對比結(jié)果。其中,視頻圖像的結(jié)果是對圖像庫中的該組視頻圖像取平均值的結(jié)果。從表中可以看出,雖然BBHE算法在保持圖像平均亮度方面有了很大改進,但本文算法在保持圖像的平均亮度方面明顯優(yōu)于其他算法;圖像的熵值高于其他算法,代表圖像的細節(jié)信息保留得更多;PSNR值較高表示圖像的整體質(zhì)量較好。

圖9 原始直方圖及Image3增強后的直方圖

表1 3種算法的實驗結(jié)果指標對比

5 結(jié)束語

本文針對視頻監(jiān)控類圖像場景較為固定,對背景和前景圖像增強要求不同的特點,提出了一種適用于視頻圖像增強的直方圖均衡化算法來提升對比度。實驗結(jié)果表明,該算法在直方圖生成的過程中結(jié)合了局部對比度的統(tǒng)計,能夠區(qū)別視頻類圖像中的前景和背景信息,對視頻中的前景信息作重點增強,有效保留視頻中的細節(jié)信息。該算法充分利用視頻流中相鄰幀的相關(guān)性,通過前一幀視頻的場景信息,計算得到自適應(yīng)的增強參數(shù),為圖像提供不同程度的增強,減弱了直方圖均衡化過程中產(chǎn)生的過增強效應(yīng),圖像過渡自然,沒有明顯的光暈現(xiàn)象,同時適合視頻處理系統(tǒng)實現(xiàn)。采用直方圖分割后分別進行均衡化的算法有效保持了原始圖像的亮度均值,在提升對比度的同時降低了圖像的失真度。

[1] Kim Y T.Contrast Enhancement Using Brightness Preserving Bi-histogram Equalization [J]. IEEE Transactions on Consumer Electronics,1997,43(1):1-8.

[2] Sim K S,Tso C P,Tan Y Y.Recursive Sub-image Histogram Equalization Applied to Gray Scale Images [J].Pattern Recognition Letters,2007,28(10): 1209-1221.

[3] 喬鬧生,趙華君.保留灰度級的PCB圖像增強研究[J].計算機工程與應(yīng)用,2009,45(9):180-185.

[4] 邢永康,雷群英.保持B超圖像灰度級的改進直方圖均衡化算法[J].重慶大學(xué)學(xué)報,2011,34(6):123-131.

[5] 劉 軒,劉佳賓.基于對比度受限自適應(yīng)直方圖均衡的乳腺圖像增強[J].計算機工程與應(yīng)用,2008,44 (10):173-175.

[6] 劉叔軍,毛麗民,徐本連.基于分級直方圖均衡化的白細胞識別研究[J].中南大學(xué)學(xué)報:自然科學(xué)版,2013, 44(2):174-177.

[7] 宋巖峰,邵曉鵬,徐 軍.基于雙平臺直方圖的紅外圖像增強算法[J].紅外與激光工程,2008,37(2): 308-311.

[8] 王炳健,劉上乾,周慧鑫,等.基于平臺直方圖的紅外圖像自適應(yīng)增強算法[J].光子學(xué)報,2005,34(2): 299-301.

[9] 趙京東.一種新的非均勻照度圖像增強算法[J].計算機工程與應(yīng)用,2011,47(23):204-207.

[10] 祝 培,朱 虹,錢學(xué)明,等.一種有霧天氣圖像景物影像的清晰化算法[J].中國圖象圖形學(xué)報,2004,9(1): 124-128.

[11] 董鴻燕.邊緣檢測的若干技術(shù)研究[D].長沙:國防科學(xué)技術(shù)大學(xué),2008.

[12] Signal and Image Processing Institute of University of Southern California.Image Database[EB/OL].(2010-06-09).http://sipi.usc.edu/database/database.php.

編輯 顧逸斐

Neighborhood Calculation Histogram Equalization Enhancement Algorithm for Video Image

XU Yan,SHI Zai-feng,LI Bin-qiao,PANG Ke
(School of Electronic and Information Engineering,Tianjin University,Tianjin 300072,China)

Considering the adjacent frames scene small changes of surveillance video images,this paper proposes a neighborhood calculation histogram equalization algorithm for video image to enhance the contrast.This algorithm employs the adjacent video frame correlation,calculates the neighborhood information of the frame,chooses a suitable enhancement parameter according to the former frame background and detail information obtained by Laplace operator, and generates a modified histogram of the image.The algorithm separates the modified histogram into two parts using its mean value to get two transformation functions.Histogram equalization is operated for the latter frame.Experimental results show that this algorithm efficiently enhances the contrast of video images,preserves the mean brightness,alleviates the over-enhancement problem and keeps the interest region details.Compared with the traditional algorithms,it acquires the lowest average absolute error of brightness value as 1.474 1,highest entropy as 7.099 3,and highest peak signal to noise ratio as 20.671 0.

video image enhancement;neighborhood statistics;contrast enhancement;histogram equalization;modified histogram;Laplace operator

1000-3428(2014)10-0245-07

A

TP391

10.3969/j.issn.1000-3428.2014.10.046

國家“863”計劃基金資助項目(2012AA012705);國家國際科技合作專項項目(2012DFB10170)。

徐 艷(1988-),女,碩士研究生,主研方向:數(shù)字集成電路設(shè)計,數(shù)字圖像處理;史再峰,講師、博士;李斌橋,教授;龐 科,博士研究生。

2013-10-22

2013-11-25E-mail:shizaifeng@tju.edu.cn

中文引用格式:徐 艷,史再峰,李斌橋,等.視頻圖像的鄰域統(tǒng)計直方圖均衡化增強算法[J].計算機工程,2014, 40(10):245-251.

英文引用格式:Xu Yan,Shi Zaifeng,Li Binqiao,et al.Neighborhood Calculation Histogram Equalization Enhancement Algorithm for Video Image[J].Computer Engineering,2014,40(10):245-251.