王 成 張艷超

(1.中國(guó)人民解放軍91245部隊(duì)，遼寧 葫蘆島 125001;2.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033)

1 引 言

隨著平安城市系統(tǒng)、智慧城市系統(tǒng)的大規(guī)模建設(shè)，積累了大量的視頻監(jiān)控?cái)?shù)據(jù)，為刑偵影像分析提供了大量影像數(shù)據(jù)。但是由于各監(jiān)控系統(tǒng)性能差異較大，常常存在夜間時(shí)段采集的圖像質(zhì)量整體亮度低、像質(zhì)退化嚴(yán)重的現(xiàn)象，大大降低了圖像的應(yīng)用價(jià)值[1]。因此，對(duì)于夜間圖像增強(qiáng)技術(shù)的研究具有重要意義。

圖像增強(qiáng)是通過(guò)采取某種變換手段，突出圖像中的目標(biāo)細(xì)節(jié)，濾除無(wú)用信息，以便使處理后的圖像能夠更好地符合人眼的視覺(jué)特性。傳統(tǒng)的圖像增強(qiáng)法大體分為兩類[2-3]：空域法和頻域法?？沼蚍ㄊ侵苯訉?duì)圖像像素進(jìn)行操作；頻域法在圖像的某個(gè)變換域內(nèi)進(jìn)行操作，再通過(guò)逆變換進(jìn)行圖像增強(qiáng)。常見的空域法主要有灰度變換(指數(shù)變換、對(duì)數(shù)變換、伽馬變換等)、直方圖均衡、直方圖規(guī)定化等。頻域法主要有高通濾波、低通濾波、帶通濾波、同態(tài)濾波、小波變換等。隨著研究的不斷深入，衍生出了多種算法[4-11]，如基于色彩恒常性理論的Retinex方法、暗原色方法、偏微分方程法等。

夜間圖像的主要特點(diǎn)是圖像整體亮度較低，噪聲干擾大，圖像細(xì)節(jié)多淹沒(méi)在較低灰度范圍的背景中。灰度變換法雖然具有較好的實(shí)時(shí)性，但常常存在邊緣細(xì)節(jié)與信噪比之間的矛盾。尤其對(duì)于夜間圖像，由于含有較大的噪聲干擾，在放大細(xì)節(jié)的同時(shí)也會(huì)導(dǎo)致隱含噪聲隨之放大。直方圖均衡法是將灰度值以相等的概率分布在直方圖上來(lái)擴(kuò)展直方圖的分布范圍，然而它容易產(chǎn)生過(guò)增強(qiáng)，使圖像過(guò)亮而使微弱信息丟失[12]。基于Retinex理論增強(qiáng)算法、暗原色方法、偏微分方程等方法，在算法的實(shí)時(shí)性和普適性方面受到了較大限制[13-14]?；陬l域?yàn)V波的方法，既能有效地濾除掉不需要的低頻背景，又不會(huì)影響圖像的高頻細(xì)節(jié)，更不會(huì)造成噪聲放大。因此，本文將基于頻域的高通濾波作為夜間圖像細(xì)節(jié)增強(qiáng)的基礎(chǔ)方法。為了更好地滿足人眼的視覺(jué)特點(diǎn)，本文還在濾波圖像的基礎(chǔ)上，與原始圖像進(jìn)行了像素級(jí)的權(quán)值自適應(yīng)加權(quán)融合，使之在增強(qiáng)原有圖像細(xì)節(jié)的同時(shí)又進(jìn)一步增強(qiáng)了圖像的整體對(duì)比度，顯著提高了夜間圖像的成像質(zhì)量，且其良好的實(shí)時(shí)性，也使得整體提高安防監(jiān)控水平成為可能。

2 算法原理

2.1 基于高通濾波的細(xì)節(jié)增強(qiáng)

夜間圖像的大部分細(xì)節(jié)多淹沒(méi)在低頻暗背景中，為了進(jìn)一步突出圖像細(xì)節(jié)，而不至于擴(kuò)大暗背景噪聲，本文首先選用高斯高通濾波器進(jìn)行暗背景濾除。高斯濾波器的傳遞函數(shù)如式(1)所示[15]。

(1)

式中：H(u,v)為高斯濾波器頻域傳遞函數(shù)，D0為截止頻率，D(u,v)為頻率域中點(diǎn)(u,v)與頻率矩形中心的距離。

濾波前后效果對(duì)比圖如圖1所示。

(a)原始圖像(a)Original image

(b)濾波后圖像(b) Filtered image圖1 高通濾波前后效果對(duì)比圖Fig.1 Comparison of original and high pass filtering images

由圖1可以看出，濾除低頻背景后的圖像展現(xiàn)出了更多的圖像細(xì)節(jié)(如圖(b)中標(biāo)示出的圓形區(qū)域內(nèi)的車輛，以及其他若干背景車輛)。但是，從整體上看，濾波后圖像的視覺(jué)對(duì)比度較差。這是因?yàn)?，由于圖像整體亮度較暗，目標(biāo)灰度與背景灰度較為接近，即使進(jìn)行了濾波處理，也不能將暗目標(biāo)與背景完全區(qū)分開，導(dǎo)致濾波后的圖像被整體“沖淡”，因此需要對(duì)圖像作進(jìn)一步的對(duì)比度增強(qiáng)。

2.2 基于自適應(yīng)融合的對(duì)比度增強(qiáng)

如上節(jié)所述，由于夜間圖像暗目標(biāo)與背景灰度較為接近，常規(guī)的對(duì)比度增強(qiáng)方法[15](如對(duì)數(shù)變換、伽馬變換、直方圖均衡等)可在加深背景的同時(shí)拉低目標(biāo)亮度，也可在增加目標(biāo)亮度的同時(shí)使背景灰度級(jí)隨之增大。鑒于此，本文提出了一種基于像素級(jí)加權(quán)系數(shù)自適應(yīng)的融合增強(qiáng)算法。

該算法將原始圖像暗背景像素點(diǎn)與濾波圖像的亮目標(biāo)多細(xì)節(jié)像素點(diǎn)進(jìn)行加權(quán)融合，即在平滑暗背景圖像上進(jìn)行有選擇的增強(qiáng)目標(biāo)的疊加，如式(2)所示。

G(x,y)=w1·GA1(x,y)+w2·GA2(x,y)，

(2)

式中：G(x,y)為融合后像素點(diǎn)(x,y)的灰度值；GA1(x,y)為原始圖像中像素點(diǎn)(x,y)的灰度值；GA2(x,y)為濾波圖像中像素點(diǎn)(x,y)的灰度值；w1為GA1(x,y)的權(quán)重系數(shù)，w2為GA2(x,y)的權(quán)重系數(shù)，w1和w2均為0到1之間的小數(shù)，且二者的和為1。

由于GA1(x,y)與GA2(x,y)可以從圖像中直接獲取，那么權(quán)重系數(shù)w1和w2的合理選取將直接決定了最終的圖像效果。

w1和w2選取的指導(dǎo)思想是，像素點(diǎn)(x,y)灰度值越接近背景灰度，則原始圖像對(duì)應(yīng)像素點(diǎn)(x,y)值貢獻(xiàn)應(yīng)加大，其相應(yīng)的權(quán)值w1越大；而濾波圖像對(duì)應(yīng)像素點(diǎn)(x,y)貢獻(xiàn)應(yīng)削弱，其相應(yīng)的權(quán)值w2越小。像素點(diǎn)(x,y)灰度值越接近目標(biāo)灰度時(shí)，則相反。由于夜間圖像多數(shù)為暗背景亮目標(biāo)圖像，那么就可以將w1表征為隨灰度增強(qiáng)單調(diào)遞減的函數(shù)，而w2則表征為隨灰度增加單調(diào)遞增的函數(shù)，且始終保證二者的和為1。

最簡(jiǎn)單的單調(diào)遞增或遞減函數(shù)是線性函數(shù)，由于線性函數(shù)會(huì)導(dǎo)致背景和暗目標(biāo)同比例放大或縮小，因此不能較好地進(jìn)行目標(biāo)背景區(qū)分。而對(duì)數(shù)變換函數(shù)能夠?qū)⑤^窄的低灰度值映射為較寬范圍的灰度值[15]，進(jìn)而能更好地區(qū)分暗背景和隱藏在暗背景中的較低灰度目標(biāo)。因此，本文選取灰度值的對(duì)數(shù)歸一化函數(shù)作為權(quán)重系數(shù)的變換公式。需要說(shuō)明的是，為了避免GA2(x,y)=0時(shí)，對(duì)數(shù)變換為負(fù)無(wú)窮大的情況，取對(duì)數(shù)時(shí)在原有灰度的基礎(chǔ)上加上了偏置1，如式(3)、式(4)所示，其變換曲線如圖2所示。

(3)

w1=1-w2，

(4)

其中：Gmax為最大灰度值加1，如8位圖像，最大灰度值為255，則Gmax取值為256。r為指數(shù)常數(shù)，經(jīng)過(guò)實(shí)驗(yàn)效果比較，本文取值為2。

圖3為高通濾波圖像與融合后效果對(duì)比圖。從該對(duì)比圖可以看出，融合后的圖像對(duì)比度有所提高，但是由于濾波后圖像整體亮度偏暗，導(dǎo)致整體對(duì)比度提升效果不夠顯著。因此，在融合過(guò)程中，應(yīng)進(jìn)一步提升濾波后圖像在融合過(guò)程中的比例。將式(2)做進(jìn)一步修正，得到式(5)。

(a)濾波后圖像(a)Filtered image

(b)融合后圖像(b)Fusion image圖3 融合效果對(duì)比圖Fig.3 Comparison of filtered and fusion images

(5)

式中，E為微調(diào)修正系數(shù)，一般選取大于1的數(shù)。此參量的選取應(yīng)既能保證較好的圖像對(duì)比度，又不至于出現(xiàn)大量的飽和區(qū)域，該參數(shù)可根據(jù)圖像的飽和區(qū)域面積統(tǒng)計(jì)動(dòng)態(tài)調(diào)整。本文中參數(shù)E取值為4，修正后的效果對(duì)比圖如圖4所示。

從效果對(duì)比圖可以看出，修正后的融合圖像與濾波后圖像相比，對(duì)比度得到明顯提升。與圖1中原始圖相比，在圖像細(xì)節(jié)和對(duì)比度方面均得到了顯著提升，且邊緣過(guò)渡平滑。

(a)濾波后圖像(a) Filtered image

(b)融合修正后圖像(b)Modified fusion image圖4 融合修正效果對(duì)比圖Fig.4 Comparison of filtered modified fusion images

3 實(shí)驗(yàn)結(jié)果與分析

3.1 灰度圖像增強(qiáng)效果主觀評(píng)價(jià)

由于較常見的局部直方圖均衡、直方圖規(guī)定化、伽馬校正等方法，其處理結(jié)果與具體的增強(qiáng)策略、規(guī)定函數(shù)、參數(shù)選取的不同而存在較大差異，難以一一比較。因此，為了更好地驗(yàn)證融合增強(qiáng)算法的有效性，本節(jié)將該算法與典型的直方圖均衡和對(duì)數(shù)變換算法進(jìn)行比較。同時(shí)，除了上述較為常見的傳統(tǒng)圖像增強(qiáng)方法外，也有學(xué)者提出將圖像利用不同技術(shù)手段分別進(jìn)行處理，而進(jìn)行圖像融合，并最終實(shí)現(xiàn)圖像增強(qiáng)的方法。為了更好地驗(yàn)證融合增強(qiáng)算法的性能，本節(jié)將與林曉春所提出的基于圖像融合的圖像增強(qiáng)手段進(jìn)行比較[16]，對(duì)比效果圖如圖5和圖6所示。

從圖5和圖6可以看出，直方圖均衡、對(duì)數(shù)變換和融合增強(qiáng)都使原始圖在對(duì)比度和目標(biāo)細(xì)節(jié)方面得到了明顯改善，但是經(jīng)過(guò)直方圖均衡和對(duì)數(shù)變換后的圖像都出現(xiàn)了明顯的邊緣效應(yīng)，圖像灰度變換不夠細(xì)膩平滑，整體增強(qiáng)效果不夠理想，而林曉春提出的算法增強(qiáng)效果在對(duì)比度方面較差，對(duì)于夜視環(huán)境下的圖像處理能力較為有限。因此，從主觀評(píng)價(jià)角度看，融合增強(qiáng)的增強(qiáng)效果較為顯著。

(a)原始圖像(a)Original image

(b)直方圖均衡(b)Histogram equalization

(c)對(duì)數(shù)變換(c)Logarithmic transformation

(d)融合增強(qiáng)(本文提出)(d)Fusion enhancement propesed in this paper

(e)融合增強(qiáng)(林曉春提出)(e)Fusion enhancement proposed by Prof. Lin圖5 場(chǎng)景一增強(qiáng)效果對(duì)比Fig.5 Comparison of enhancement in Scene 1

(a)原始圖像(a)Original image

(b)直方圖均衡(b)Histogram equalization

(c)對(duì)數(shù)變換(c)Logarithmic transformation

(d)融合增強(qiáng)(本文提出)(d)Fusion enhancement proposed in this paper

(e)融合增強(qiáng)(林曉春提出)(e)Fusion enhancement proposed by Prof. Lin圖6 場(chǎng)景二增強(qiáng)效果對(duì)比Fig.6 Comparison of enhancement in Scene 2

3.2 灰度圖像增強(qiáng)效果客觀評(píng)價(jià)

常用的圖像增強(qiáng)質(zhì)量評(píng)價(jià)方法有對(duì)比度、信噪比、信息熵[3]。由于信噪比在計(jì)算過(guò)程中要區(qū)分感興趣的目標(biāo)區(qū)域和背景區(qū)域，而對(duì)于不同應(yīng)用場(chǎng)景(尤其是復(fù)雜場(chǎng)景)目標(biāo)區(qū)域與背景區(qū)域較難定義，因此本節(jié)只采用圖像的對(duì)比度和信息熵兩項(xiàng)評(píng)價(jià)指標(biāo)進(jìn)行圖像增強(qiáng)質(zhì)量評(píng)價(jià)。

圖像對(duì)比度的計(jì)算公式如下：

(6)

式中：Ii,j為中心像素點(diǎn)的灰度值，N為圖像局部塊內(nèi)像素點(diǎn)的個(gè)數(shù)，Ci,j為像素點(diǎn)(i,j)的局部對(duì)比度，全局對(duì)比度為Ci,j均值。

圖像信息熵計(jì)算公式如下：

(7)

式中：p(k)為灰度級(jí)k的概率密度，L為最大灰度級(jí)。

分別采用式(6)、式(7)計(jì)算圖5中場(chǎng)景一和圖6中場(chǎng)景二圖像的對(duì)比度和信息熵指標(biāo)，計(jì)算結(jié)果如表1和表2所示。

從表1和表2結(jié)果看出，相較于原始圖像，傳統(tǒng)的幾種增強(qiáng)算法在對(duì)比度上都得到了明顯提高，而和其他的融合增強(qiáng)算法進(jìn)行比較，本文所提出的融合增強(qiáng)算法對(duì)比度數(shù)值更高。結(jié)合圖5和圖6可以看出，融合增強(qiáng)算法對(duì)比度從數(shù)值上略低于直方圖均衡和對(duì)數(shù)變換，主要是因?yàn)榍皟煞N變換算法在變換后出現(xiàn)了明顯的邊緣效應(yīng)，導(dǎo)致局部對(duì)比度明顯升高，進(jìn)而造成對(duì)比度數(shù)值上的提高。這說(shuō)明本文提出的融合增強(qiáng)算法更適用于夜間條件。而從信息熵評(píng)價(jià)結(jié)果看，直方圖均衡和對(duì)數(shù)變換基本沒(méi)有明顯變化，而融合增強(qiáng)算法卻得到了顯著改善，但效果不如林曉春所提出的融合算法?？傮w上看，客觀評(píng)價(jià)結(jié)果與3.1節(jié)的主觀評(píng)價(jià)結(jié)果相吻合。

表1 場(chǎng)景一不同算法的圖像質(zhì)量評(píng)價(jià)結(jié)果

Tab.1 Results of image qualify evaluation with different algorithms in Scene 1

圖像對(duì)比度信息熵原始圖像0.734.09直方圖均衡8.804.07對(duì)數(shù)變換5.164.09融合增強(qiáng)(本文)3.674.60融合增強(qiáng)(林)0.522.34

表2 場(chǎng)景二不同算法的圖像質(zhì)量評(píng)價(jià)結(jié)果

Tab.2 Results of image qualify evaluation with different algorithms in Scene 2

圖像對(duì)比度信息熵原始圖像1.114.97直方圖均衡5.924.92對(duì)數(shù)變換1.794.96融合增強(qiáng)(本文)2.905.63融合增強(qiáng)(林)2.043.22

3.3 灰度圖像實(shí)時(shí)性評(píng)價(jià)

對(duì)于在線圖像處理設(shè)備，為了滿足實(shí)際工程需要，算法的實(shí)時(shí)性也是衡量一種算法的重要指標(biāo)。采用融合增強(qiáng)算法進(jìn)行圖像增強(qiáng)，對(duì)于320×256分辨率的灰度圖像，CPU主頻為3.0 GHz硬件環(huán)境下處理時(shí)間約為9.5 ms，足以滿足標(biāo)準(zhǔn)的25 frame/s的視頻輸出間隔。且若要進(jìn)一步提高算法實(shí)時(shí)性，可考慮提高計(jì)算機(jī)性能或采用GPU進(jìn)行并行加速的解決辦法。而與之相對(duì)應(yīng)，對(duì)于同等條件下，林曉春所提出的圖像融合算法的處理時(shí)間為7.1 ms，其圖像處理效率快于本文所提出的圖像融合增強(qiáng)算法。

3.4 彩色圖像處理能力評(píng)價(jià)

由于夜視環(huán)境下，灰度圖像更易進(jìn)行處理，因此被廣泛應(yīng)用于監(jiān)控系統(tǒng)中。本文上述內(nèi)容也主要針對(duì)灰度圖像進(jìn)行分析。但彩色圖像在監(jiān)控系統(tǒng)中也有應(yīng)用，針對(duì)彩色圖像的夜視圖片，本文針對(duì)融合算法的處理能力進(jìn)行了簡(jiǎn)單的探索和研究論證。在CPU主頻為3.0 GHz硬件環(huán)境下，本文針對(duì)320×256分辨率的夜視監(jiān)控彩色圖像進(jìn)行了處理，處理效果如圖7所示。

(a)原始圖像(a)Original image

(b) 融合增強(qiáng)(本文提出)(b) Fusion enhancement proposed in this paper

(c)融合增強(qiáng)(林曉春提出)(c)Fusion enhancement proposed by Prof. Lin圖7 彩色圖像增強(qiáng)效果Fig.7 Enhancement of color image

由圖7可見，本文提出的方法在對(duì)彩色圖像進(jìn)行處理時(shí)，能夠較好地保證圖像色彩不失真，圖像灰度過(guò)度自然細(xì)膩，圖像對(duì)比度明顯。與林曉春提出的增強(qiáng)算法相比，本算法增強(qiáng)效果更加顯著。經(jīng)融合增強(qiáng)處理后，圖像的暗區(qū)域細(xì)節(jié)可見程度明顯增加，對(duì)比度也明顯提升。

彩色圖像處理具體量化指標(biāo)如表3所示。

表3 彩色圖像質(zhì)量評(píng)價(jià)結(jié)果Tab.3 Results of color image enhancement

由表3可知，經(jīng)融合增強(qiáng)算法處理后的彩色圖像和原圖像相比對(duì)比度有明顯提升，而信息熵則與原圖像處理結(jié)果相比基本持平，這也進(jìn)一步證實(shí)了本算法在處理彩色圖像時(shí)能夠有效提升對(duì)比度，對(duì)圖像暗區(qū)域細(xì)節(jié)具有較好的展示能力，適用于夜間圖像曝光不足情況的處理。

3.5 擴(kuò)展性評(píng)價(jià)

從算法的實(shí)現(xiàn)原理可知，本文提出的融合增強(qiáng)方法還可將其中的高頻濾波部分替換為其他符合處理要求的增強(qiáng)算法進(jìn)行自適應(yīng)圖像融合，以進(jìn)一步提高算法的增強(qiáng)效果。

4 結(jié) 論

針對(duì)夜間圖像曝光不足、對(duì)比度低的圖像特點(diǎn)，本文提出了結(jié)合高通濾波和像素級(jí)權(quán)重系數(shù)自適應(yīng)融合的方式進(jìn)行圖像增強(qiáng)的方法。該方法在對(duì)圖像進(jìn)行高通濾波的基礎(chǔ)上，與原圖進(jìn)行變權(quán)重系數(shù)加權(quán)融合，既有效增強(qiáng)了圖像細(xì)節(jié)又使圖像對(duì)比度得到了顯著提高。且圖像對(duì)比度和信息熵兩項(xiàng)評(píng)價(jià)指標(biāo)均得到了明顯改善，與主觀評(píng)價(jià)趨勢(shì)相符合。在算法的實(shí)時(shí)性方面，對(duì)于320×256分辨率的灰度圖像，CPU主頻為3.0 GHz硬件環(huán)境下，本文的融合增強(qiáng)算法處理時(shí)間約為9.5 ms，足以滿足一般監(jiān)控設(shè)備處理需求。此外，本算法還可將高頻濾波替換為其他符合處理要求的增強(qiáng)算法，從而實(shí)現(xiàn)變系數(shù)融合增強(qiáng)，以適應(yīng)不同圖像場(chǎng)景和對(duì)處理時(shí)間的優(yōu)化。因此，本算法的融合增強(qiáng)思想具有一定的靈活性和擴(kuò)展性。