王 浩, 張 葉, 沈宏海, 張景忠

(1.中國科學(xué)院 航空光學(xué)成像與測(cè)量重點(diǎn)實(shí)驗(yàn)室，吉林 長春 130033；2.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；3.黑龍江省森林保護(hù)研究所，黑龍江 哈爾濱 150040)

圖像增強(qiáng)算法綜述

王 浩1,2*, 張 葉1,2, 沈宏海1,2, 張景忠3

(1.中國科學(xué)院 航空光學(xué)成像與測(cè)量重點(diǎn)實(shí)驗(yàn)室，吉林 長春 130033；2.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；3.黑龍江省森林保護(hù)研究所，黑龍江 哈爾濱 150040)

圖像增強(qiáng)算法能夠提高圖像整體和局部的對(duì)比度，突出圖像的細(xì)節(jié)信息，使增強(qiáng)后的圖像更符合人眼的視覺特性且易于機(jī)器識(shí)別，在軍事和民用領(lǐng)域具有廣泛的應(yīng)用。本文從圖像增強(qiáng)算法的原理出發(fā)，歸納總結(jié)了近年來應(yīng)用比較廣泛的4類圖像增強(qiáng)算法及其改進(jìn)算法，包括直方圖均衡圖像增強(qiáng)算法、小波變換圖像增強(qiáng)算法、偏微分方程圖像增強(qiáng)算法和基于Retinex理論的圖像增強(qiáng)算法。結(jié)合人眼視覺特性、噪聲抑制、亮度保持和信息熵最大化等圖像增強(qiáng)的改進(jìn)算法，在保證增強(qiáng)圖像具有較高對(duì)比度的前提下，可進(jìn)一步提升圖像的質(zhì)量。實(shí)現(xiàn)了9種較為典型的圖像增強(qiáng)算法，采用主觀和客觀的評(píng)價(jià)方法對(duì)增強(qiáng)效果進(jìn)行了對(duì)比，分析了不同增強(qiáng)算法的優(yōu)缺點(diǎn)，并給出了這些算法的計(jì)算時(shí)間。對(duì)這些算法的深入研究能夠推動(dòng)圖像增強(qiáng)技術(shù)向更高水平發(fā)展，從而使圖像增強(qiáng)技術(shù)在多個(gè)學(xué)科領(lǐng)域發(fā)揮重要作用。

圖像增強(qiáng)；直方圖均衡；小波變換；偏微分方程；Retinex理論

1 引 言

圖像增強(qiáng)是指按照某種特定的需求，突出圖像中有用的信息，去除或者削弱無用的信息。圖像增強(qiáng)的目的是使處理后的圖像更適合人眼的視覺特性或易于機(jī)器識(shí)別。在醫(yī)學(xué)成像、遙感成像、人物攝影等領(lǐng)域，圖像增強(qiáng)技術(shù)都有著廣泛的應(yīng)用[1]。圖像增強(qiáng)同時(shí)可以作為目標(biāo)識(shí)別，目標(biāo)跟蹤，特征點(diǎn)匹配，圖像融合，超分辨率重構(gòu)等圖像處理算法的預(yù)處理算法。

圖像增強(qiáng)應(yīng)該注意以下幾方面：(1)提高圖像整體和局部的對(duì)比度。圖像增強(qiáng)算法應(yīng)該既能使圖像整體的對(duì)比度提高，同時(shí)也能使圖像的局部細(xì)節(jié)信息得到增強(qiáng)。(2)在增強(qiáng)圖像的同時(shí)，應(yīng)該避免放大噪聲。如果不能有效地抑制噪聲，噪聲在圖像增強(qiáng)過程中就會(huì)被放大，從而對(duì)圖像質(zhì)量造成影響。(3)增強(qiáng)后的圖像應(yīng)該具有良好的視覺效果。避免增強(qiáng)后的圖像局部增強(qiáng)過度或過弱，增強(qiáng)后的圖像應(yīng)該符合人眼的視覺特性。(4)圖像增強(qiáng)算法應(yīng)該具有較好的實(shí)時(shí)性。隨著近年來嵌入式產(chǎn)品的快速發(fā)展，對(duì)圖像增強(qiáng)算法的實(shí)時(shí)性要求也越來越高。因此，為了滿足工程上使用的要求，圖像增強(qiáng)算法應(yīng)該具有較好的實(shí)時(shí)性。

最近30多年，出現(xiàn)了眾多的圖像增強(qiáng)算法。應(yīng)用比較廣泛的圖像增強(qiáng)算法有直方圖均衡(HE)算法、小波變換算法、偏微分方程算法和基于色彩恒常性理論的Retinex算法等。HE算法是最基本的圖像增強(qiáng)算法，它的原理簡單，易于實(shí)現(xiàn)，實(shí)時(shí)性好。HE算法通過使圖像灰度級(jí)的概率密度函數(shù)(PDF)滿足近似均勻分布的形式來達(dá)到增大圖像動(dòng)態(tài)范圍和提高圖像對(duì)比度的目的[2-4]。有許多基于HE算法的改進(jìn)算法，他們都具有各自的特色，如：雙直方圖均衡(BBHE)算法，它解決了增強(qiáng)圖像局部區(qū)域亮度不均勻的問題[5]；等面積雙直方圖均衡(DSIHE)算法和二維空域信息熵直方圖均衡(SEHE)算法，他們使增強(qiáng)后的圖像具有最大的信息熵，在一定程度上解決了HE算法造成的圖像細(xì)節(jié)信息丟失的問題[6-9]；最大亮度雙直方圖均衡 (MMBEBHE)算法保證了增強(qiáng)圖像與原始圖像的亮度均值誤差最小[7]；基于對(duì)數(shù)函數(shù)映射的直方圖均衡(LMHE)算法使得增強(qiáng)后的圖像更符合人眼的視覺特性[8]；小波變換圖像增強(qiáng)(WT)算法將圖像分解為低頻圖像和高頻圖像，通過對(duì)不同頻率的圖像進(jìn)行增強(qiáng)達(dá)到了突出圖像細(xì)節(jié)信息的目的[10-17]。采用knee函數(shù)和gamma校正函數(shù)來增強(qiáng)低頻圖像可以有效地提高圖像的整體亮度[18]。通過增強(qiáng)小波域內(nèi)定義的圖像對(duì)比度和圖像的奇異矩陣也能取得較好的增強(qiáng)效果[19-20]。將曲波變換與小波變換相結(jié)合，可以有效去除小波變換圖像增強(qiáng)過程中產(chǎn)生的噪聲[21]。偏微分方程(PDE)圖像增強(qiáng)算法通過放大圖像的對(duì)比度場來達(dá)到圖像增強(qiáng)的目的[22-27]。采用全變差模型(Total Variation Model)的偏微分方程圖像增強(qiáng)(TVPDE)可使增強(qiáng)后的圖像既具有較高的對(duì)比度，又與原始圖像的差別不大，保留了圖像的細(xì)節(jié)信息[28]。此外，針對(duì)偏微分方程圖像增強(qiáng)算法中的梯度函數(shù)的改進(jìn)算法也有很多，且都取得了很好的增強(qiáng)效果[26][29]。Retinex圖像增強(qiáng)算法通過去除原始圖像中照度分量的影響，求解出了反映物體本質(zhì)顏色的反射分量，達(dá)到了圖像增強(qiáng)的目的[30-35]。在馬爾科夫隨機(jī)場(MRF)下求解物體的反射分量，能夠有效地消除因照度不均而產(chǎn)生的“光暈偽影”現(xiàn)象[36]。結(jié)合交替方向優(yōu)化(ADO)應(yīng)用快速傅里葉變換(FFT)可以同時(shí)計(jì)算出物體的照度分量和反射分量，使Retinex圖像增強(qiáng)算法的計(jì)算結(jié)果具有更好的穩(wěn)健性[37]。用稀疏表示方法將物體的反射分量函數(shù)表示出來，再使用學(xué)習(xí)字典對(duì)含有圖像細(xì)節(jié)信息的反射分量進(jìn)行學(xué)習(xí)，也可以取得較好的增強(qiáng)效果[38]。

本文詳細(xì)介紹了4類典型的圖像增強(qiáng)算法及其改進(jìn)算法的實(shí)現(xiàn)原理，并對(duì)采用相似原理的增強(qiáng)算法進(jìn)行歸納；然后采用主觀和客觀的評(píng)價(jià)方法從多個(gè)方面對(duì)不同增強(qiáng)算法的處理結(jié)果進(jìn)行對(duì)比，并給出不同增強(qiáng)算法的執(zhí)行時(shí)間。

2 圖像增強(qiáng)算法介紹

2.1 直方圖均衡算法

若一幅圖像的像素點(diǎn)傾向于占據(jù)整個(gè)可能的灰度級(jí)并且分布均勻，則該圖像表現(xiàn)為具有較高的對(duì)比度和較大的動(dòng)態(tài)范圍[2]。HE算法根據(jù)這一特性，利用累積分布函數(shù)(CDF)將指定的輸入灰度級(jí)映射為輸出的灰度級(jí)，使輸出的灰度級(jí)具有近似均勻分布的概率密度函數(shù)，從而達(dá)到提高圖像對(duì)比度，拉大圖像動(dòng)態(tài)范圍的目的[3]。

2.1.1 標(biāo)準(zhǔn)直方圖均衡算法

假設(shè)I∈I(i,j)代表灰度級(jí)為L的圖像，I(i,j)代表坐標(biāo)位置(i,j)處的灰度值，I(i,j)∈[0,L-1]，圖像I灰度級(jí)的概率密度函數(shù)定義為：

式中，N為像素點(diǎn)的總數(shù)，nk表示灰度級(jí)為k的像素點(diǎn)的個(gè)數(shù)。圖像I灰度級(jí)的累積分布函數(shù)定義為：

標(biāo)準(zhǔn)直方圖均衡算法通過累積分布函數(shù)將原始圖像映射為具有近似均勻灰度級(jí)分布的增強(qiáng)圖像，相應(yīng)的映射關(guān)系為：

f(k)=(L-1)×c(k).

標(biāo)準(zhǔn)直方圖均衡算法的原理簡單，實(shí)時(shí)性好。但增強(qiáng)后的圖像亮度不均，且會(huì)出現(xiàn)因灰度級(jí)合并而導(dǎo)致的部分細(xì)節(jié)信息的丟失[4]。

2.1.2 直方圖均衡算法的改進(jìn)

基于亮度均值保持的BBHE算法是對(duì)標(biāo)準(zhǔn)直方圖均衡算法的改進(jìn)[5]，針對(duì)標(biāo)準(zhǔn)直方圖均衡算法會(huì)使增強(qiáng)后的圖像亮度不均勻這一缺點(diǎn)。BBHE將原始圖像I的亮度均值作為閾值，將原始圖像劃分為2個(gè)子圖IL和IU，兩個(gè)子圖滿足條件I=IL∪IU，IL∩IU=?，再分別對(duì)兩個(gè)子圖進(jìn)行直方圖均衡。

等面積雙直方圖均衡(DSIHE)算法將原始圖像灰度值的中值作為閾值，將原始圖像劃分為2個(gè)子圖[6]，再分別對(duì)這兩個(gè)子圖進(jìn)行直方圖均衡。DSIHE算法可以使增強(qiáng)圖像具有較大的信息熵，解決了標(biāo)準(zhǔn)直方圖均衡算法易造成圖像信息丟失的問題。最大亮度雙直方圖均衡(MMBEBHE)算法同樣屬于雙直方圖均衡算法的一種[7]，選取的閾值使得增強(qiáng)圖像的亮度均值和原始圖像的亮度均值誤差最小。

基于對(duì)數(shù)函數(shù)映射的直方圖均衡(LMHE)算法將對(duì)數(shù)函數(shù)作為直方圖均衡算法的累計(jì)分布函數(shù)[8]，對(duì)數(shù)函數(shù)符合人眼視覺特性的Wever-Fechner規(guī)律。累計(jì)分布函數(shù)定義為：

式中，k為輸入灰度級(jí)。對(duì)式(4)求導(dǎo)，可以得到相應(yīng)的概率密度p(k)。將p(k)作為直方圖均衡算法概率密度函數(shù)的修正，使相應(yīng)的累計(jì)分布函數(shù)近似滿足對(duì)數(shù)函數(shù)的形式，從而使得增強(qiáng)后的圖像具有更好的視覺效果。

針對(duì)直方圖均衡算法中累計(jì)分布函數(shù)的改進(jìn)算法還有二維空域信息熵的直方圖均衡(SEHE)算法[9]。SEHE算法首先將圖像劃分為M×N個(gè)子區(qū)域，然后分別計(jì)算每個(gè)子區(qū)域像素點(diǎn)灰度級(jí)的概率密度hk，接下來計(jì)算各個(gè)灰度級(jí)在M×N個(gè)子區(qū)域中二維信息熵的和：

計(jì)算每個(gè)灰度級(jí)的二維信息熵和其他灰度級(jí)的二維信息熵的關(guān)系為：

將fk歸一化后，SEHE算法的累計(jì)分布函數(shù)定義為：

根據(jù)累計(jì)分布函數(shù)可以將原始圖像映射為增強(qiáng)圖像。SEHE算法在提高圖像對(duì)比度的同時(shí)能夠最大限度地保留圖像的細(xì)節(jié)信息。

2.2 小波變換圖像增強(qiáng)算法

小波變換(Wavelet transform，WT)和Fourier變換一樣，是一種數(shù)學(xué)變換。它的基本思想是用一族函數(shù)去表示或逼近某一信號(hào)，這一族函數(shù)稱為小波函數(shù)系。小波函數(shù)系用小波函數(shù)ψ(x)和尺度函數(shù)φ(x)來表示，定義為[10]：

式中，j0為任意一個(gè)起始的尺度，cj0(k)為尺度系數(shù)，dj(k)為小波系數(shù)。

2.2.1 標(biāo)準(zhǔn)小波變換圖像增強(qiáng)

數(shù)字圖像可以看作是一個(gè)離散的二維信號(hào)f(x,y)，通過二維離散小波變換(DWT)可以對(duì)其進(jìn)行分解和重構(gòu)[11]。標(biāo)準(zhǔn)小波變換圖像增強(qiáng)(WT)將圖像分解為1個(gè)低通子圖像和3個(gè)具有方向性的高通子圖像，高通子圖像包括水平細(xì)節(jié)圖像、垂直細(xì)節(jié)圖像和對(duì)角細(xì)節(jié)圖像[12-13]。低通子圖像代表圖像中的低頻信息，對(duì)應(yīng)圖像中較平滑的區(qū)域。高通子圖像代表圖像中的高頻信息，對(duì)應(yīng)圖像中的細(xì)節(jié)信息。通過使用各種增強(qiáng)算法對(duì)不同頻率系數(shù)進(jìn)行增強(qiáng)，可以提高圖像的對(duì)比度，突出圖像的細(xì)節(jié)信息[14-15]，還可以對(duì)某一范圍內(nèi)的頻率系數(shù)進(jìn)行增強(qiáng)，實(shí)現(xiàn)圖像中感興趣區(qū)域的增強(qiáng)。小波變換圖像增強(qiáng)的步驟如下：

(1) 讀入原始圖像。

(2) 對(duì)原始圖像進(jìn)行小波分解，得到圖像的低頻成分和高頻成分。

(3) 對(duì)小波系數(shù)進(jìn)行非線性增強(qiáng)，函數(shù)關(guān)系式滿足：

式中，G為小波系數(shù)增強(qiáng)倍數(shù)，T為小波系數(shù)閾值，Wi為圖像分解后的小波系數(shù)，Wo為增強(qiáng)后的小波系數(shù)。

(4) 將增強(qiáng)后的小波系數(shù)進(jìn)行小波逆變換，得到重構(gòu)后的增強(qiáng)圖像。

小波變換圖像增強(qiáng)算法通過增強(qiáng)小波系數(shù)可以有效地凸顯圖像中的細(xì)節(jié)信息，但在凸顯圖像細(xì)節(jié)信息的同時(shí)應(yīng)注意圖像亮度的保持。值得注意的是，小波變換圖像增強(qiáng)算法容易放大圖像中的噪聲，如何有效地抑制噪聲也是需要解決的一個(gè)關(guān)鍵性問題[16-17]。

2.2.2 小波變換圖像增強(qiáng)算法的改進(jìn)

用小波變換將原始圖像分解為不同頻率的圖像后，可以用各種方法對(duì)不同頻率的圖像進(jìn)行增強(qiáng)?；趉nee函數(shù)和gamma校正的小波變換圖像增強(qiáng)(KGWT)算法采用改進(jìn)的knee函數(shù)和gamma變換函數(shù)來對(duì)低頻系數(shù)進(jìn)行增強(qiáng)[18]，再將增強(qiáng)后的低頻系數(shù)與高頻系數(shù)組合，最后利用小波反變換得到增強(qiáng)后的圖像。KGWT算法達(dá)到了提高圖像整體亮度和對(duì)比度的目的。knee函數(shù)和gamma校正函數(shù)相結(jié)合后的變換函數(shù)為：

式中，a，b，c，d均為系數(shù)，t為閾值，γ為gamma變換參數(shù)。

文獻(xiàn)[19]提出了基于對(duì)比度熵的小波變換圖像增強(qiáng)算法，在對(duì)圖像進(jìn)行小波分解后，對(duì)圖像的低頻成分采用直方圖均衡的方法增強(qiáng)，對(duì)圖像的高頻成分通過最大化對(duì)比度熵來達(dá)到增強(qiáng)的目的，最后通過小波重構(gòu)得到增強(qiáng)后的圖像。對(duì)比度熵的定義為：

式中，P為小波域內(nèi)圖像的相對(duì)對(duì)比度。文獻(xiàn)[20]通過增強(qiáng)小波分解后得到的低頻圖像的奇異值矩陣，同樣也實(shí)現(xiàn)了較好的增強(qiáng)效果。文獻(xiàn)[21]采用了小波變換與曲波變換(Curvelet transform)相結(jié)合的方法實(shí)現(xiàn)了邊緣保持的圖像增強(qiáng)，具體方法為：首先利用曲波變換的特點(diǎn)在不損失圖像邊緣細(xì)節(jié)信息的同時(shí)去除噪聲，然后再用小波變換對(duì)圖像進(jìn)行增強(qiáng)。

2.3 偏微分方程圖像增強(qiáng)算法

點(diǎn)p∈Ω處兩個(gè)方向的偏導(dǎo)數(shù)組成了在該坐標(biāo)點(diǎn)處的梯度，用向量VI(p)=[gxgy]T表示。圖像上每一點(diǎn)處的梯度的集合構(gòu)成了該圖像的一個(gè)二維梯度場，也稱為對(duì)比度場。它反映了圖像上任一點(diǎn)附近區(qū)域?qū)Ρ榷鹊淖兓闆r，對(duì)比度變化的快慢用梯度大小表示，對(duì)比度變化的方向用梯度的方向表示[22-23]。通過放大圖像的對(duì)比度場可以達(dá)到圖像增強(qiáng)的目的[24-25]。

2.3.1 標(biāo)準(zhǔn)偏微分方程圖像增強(qiáng)

假設(shè)VI′(p)和VI(p)分別為兩幅圖像I′和I的對(duì)比度場，若VI′(p)與VI(p)在每一點(diǎn)上具有相同的梯度方向，但前者的大小均大于后者，則圖像I′應(yīng)該比I具有更高的對(duì)比度，可以將I′看作是I的增強(qiáng)圖像。因此，對(duì)圖像I的標(biāo)準(zhǔn)偏微分方程圖像增強(qiáng)(PDE)可以描述為尋找圖像I′，且滿足下面的關(guān)系：

VI′(p)=k·VI(p) (?

式中，VI′(p)為增強(qiáng)后圖像的對(duì)比度場；k為增強(qiáng)因子，一般情況下k>1，但k不能太大，否則噪聲將會(huì)被嚴(yán)重放大。對(duì)于方程(14)，圖像I是已知的，其解為：

I′(p)=k·I(p)+φ(?

式中，φ是一個(gè)與坐標(biāo)無關(guān)的常數(shù)。很顯然，這樣解出來的增強(qiáng)圖像I′(p)的動(dòng)態(tài)范圍是原始圖像I(p)的k倍。對(duì)于一般的可以在計(jì)算機(jī)屏幕上顯示的數(shù)字圖像，其動(dòng)態(tài)范圍為0～255。因此，由方程(15)求解出來的增強(qiáng)圖像I′(p)必須經(jīng)過處理。對(duì)增強(qiáng)圖像I′(p)的對(duì)比度場加入約束，然后再進(jìn)行求解。加入動(dòng)態(tài)范圍約束后，方程(15)轉(zhuǎn)化為尋找二維函數(shù)f(p)，其中f(p)∈[0,255]，p∈Ω，使得公式(16)取得最小值：

Ω.

這是一個(gè)泛函極值問題，可采用變分法對(duì)其進(jìn)行求解[26]。變分法的求解過程參見文獻(xiàn)[27]。

2.3.2 偏微分方程圖像增強(qiáng)改進(jìn)

采用全變差模型(Totalvariationmodel)的偏微分方程圖像增強(qiáng)(TVPDE)[28]是對(duì)偏微分方程圖像增強(qiáng)的一種改進(jìn)算法，采用TVPDE算法可使增強(qiáng)后的圖像既有較高的對(duì)比度，又與原始圖像差別不大，保留了圖像的細(xì)節(jié)信息。全變差模型采用：

式中，Ed為數(shù)據(jù)代價(jià)函數(shù)，Eg為梯度代價(jià)函數(shù)。他們的定義如下：

式中，λd和λg為控制參數(shù)，f為待求解圖像的梯度場，fx為待求解圖像x方向的梯度場，fy為待求解圖像y方向的梯度場，ν為原始圖像的梯度場，Gx和Gy為增強(qiáng)后圖像的梯度場。TVPDE的基本思想就是找到一個(gè)二維函數(shù)f(p)滿足方程(18)和方程(19)，并使得式(17)中的E取得最小值。其中f(p)∈[0,255]。

基于偏微分方程圖像增強(qiáng)算法中的梯度函數(shù)的改進(jìn)算法也有很多。為了進(jìn)一步突出圖像的紋理細(xì)節(jié)信息，文獻(xiàn)[29]在公式(14)的基礎(chǔ)上，提出了新的梯度函數(shù)：

為了不將原本很大的對(duì)比度過分放大，同時(shí)保證細(xì)微的對(duì)比度得到充分放大，文獻(xiàn)[26]選取了[0,+∞]上的一個(gè)單調(diào)遞增凸函數(shù)作為梯度函數(shù)：

式中，c和k均為控制參數(shù)。

2.4 Retinex圖像增強(qiáng)算法

Retinex是視網(wǎng)膜(Retina)和大腦皮層(Cortex)兩個(gè)單詞合成的縮寫。Retinex理論是由Land等提出的[30]，該理論認(rèn)為人類感知到物體的顏色和亮度是光與物質(zhì)相互作用的結(jié)果，人眼感知到物體的顏色和亮度是由物體表面的反射特性決定的，而與投射到人眼的光譜特性無關(guān)[31]。

2.4.1 標(biāo)準(zhǔn)Retinex圖像增強(qiáng)

Retinex理論認(rèn)為一副圖像可以表示成反射分量R(i,j)和照度分量L(i,j)的乘積[32-33]，即：

式中，(i,j)為像素點(diǎn)的空間二維坐標(biāo)；I(i,j)為原始圖像；R(i,j)為反射分量，反應(yīng)物體本身的顏色特性，對(duì)應(yīng)圖像中的高頻部分；L(i,j)為照度分量，反應(yīng)環(huán)境的亮度，對(duì)應(yīng)圖像中的低頻部分。Retinex圖像增強(qiáng)的思想就是從原始圖像中剔除環(huán)境亮度的影響，求解出物體本身的顏色特性，從而達(dá)到圖像增強(qiáng)的目的。對(duì)數(shù)域下的運(yùn)算更接近人眼的視覺特性[34]，而且可以將乘法運(yùn)算轉(zhuǎn)換為簡單的加法運(yùn)算。因此，將式(22)轉(zhuǎn)換為對(duì)數(shù)域下求解，從而得到單尺度Retinex圖像增強(qiáng)算法(SSR)：

照度分量L(i,j)采用中心環(huán)繞函數(shù)求解：

式中，*表示卷積運(yùn)算。中心環(huán)繞函數(shù)F(i,j)常采用高斯中心環(huán)繞函數(shù)，這是因?yàn)楦咚怪行沫h(huán)繞函數(shù)具有平滑的特性，能夠保留增強(qiáng)后圖像的邊緣細(xì)節(jié)信息。高斯中心環(huán)繞函數(shù)的定義如下：

式中，K為歸一化因子，r為距中心像素點(diǎn)的距離，c為尺度因子。由于單尺度Retinex圖像增強(qiáng)算法不能同時(shí)保證圖像具有真實(shí)的亮度值和較高的對(duì)比度，因此，研究人員在它的基礎(chǔ)上又提出了多尺度Retinex圖像增強(qiáng)(MSR)算法[35]。MSR算法在不同尺度下求取反射分量的值，再進(jìn)行加權(quán)平均。MSR算法為：

式中，Wk為權(quán)重系數(shù)，K為尺度個(gè)數(shù)。在實(shí)際運(yùn)用中，可以根據(jù)需要來選擇環(huán)繞函數(shù)的個(gè)數(shù)。

2.4.2 Retinex圖像增強(qiáng)改進(jìn)

Retinex算法的增強(qiáng)效果關(guān)鍵取決于對(duì)物體照度分量和反射分量的計(jì)算，若計(jì)算結(jié)果準(zhǔn)確，增強(qiáng)效果就好。文獻(xiàn)[36]在馬爾科夫隨機(jī)場(MRF)下求解了物體的反射分量，設(shè)計(jì)了一種針對(duì)夜間彩色圖像的Retinex圖像增強(qiáng)算法。該算法采用線性引導(dǎo)濾波估計(jì)原始圖像的照度分量，能夠使計(jì)算得到的照度分量更平滑，有效地消除了因照度不均而產(chǎn)生的“光暈偽影”現(xiàn)象，同時(shí)在一定程度上抑制了噪聲。文獻(xiàn)[37]結(jié)合交替方向優(yōu)化(ADO)應(yīng)用快速傅里葉變換(FFT)，同時(shí)計(jì)算出了物體的照度分量和反射分量，相比于傳統(tǒng)的Retinex算法僅是計(jì)算物體的照度分量，該算法的計(jì)算結(jié)果具有更好的穩(wěn)健性。文獻(xiàn)[38]采用稀疏表示的方法將物體的反射分量函數(shù)表示出來，再使用學(xué)習(xí)字典對(duì)含有圖像細(xì)節(jié)信息的反射分量進(jìn)行學(xué)習(xí)，也取得了較好的增強(qiáng)效果，但該算法在學(xué)習(xí)過程中容易引入噪聲。

3 圖像增強(qiáng)算法評(píng)價(jià)和對(duì)比

3.1 增強(qiáng)效果主觀評(píng)價(jià)

本文編程實(shí)現(xiàn)了上述四類圖像增強(qiáng)算法及其典型的改進(jìn)算法，包括HE算法[4]、BBHE算法[5]、LMHE算法[8]、WT算法[11]、KGWT算法[18]、PDE算法[26]、TVPDE算法[28]、SSR算法[33]和MSR算法[35]等9種圖像增強(qiáng)算法。選取了動(dòng)態(tài)范圍小且對(duì)比度低、動(dòng)態(tài)范圍大但對(duì)比度低的圖像進(jìn)行圖像增強(qiáng)算法測(cè)試。增強(qiáng)效果如圖1和圖2所示。

從增強(qiáng)圖像和其對(duì)應(yīng)的直方圖可以看出，HE算法通過拉大圖像的動(dòng)態(tài)范圍達(dá)到了圖像增強(qiáng)的目的，對(duì)于動(dòng)態(tài)范圍較小的原始圖像增強(qiáng)效果比較好。BBHE算法能夠使增強(qiáng)圖像整體的亮度值保持一致。LMHE算法采用對(duì)數(shù)函數(shù)作為直方圖均衡算法的累積分布函數(shù)，使圖像的增強(qiáng)結(jié)果更符合人眼的視覺特性。WT算法在增強(qiáng)圖像細(xì)節(jié)信息的同時(shí)也放大了噪聲。KGWT算法通過增強(qiáng)低頻圖像有效地提高了圖像的亮度值。PDE算法和TVPDE算法放大了圖像的對(duì)比度場，使增強(qiáng)后的圖像都有較高的對(duì)比度。由于TVPDE算法采用了全變差模型，增強(qiáng)后的圖像更接近原始圖像，而且保留了圖像的細(xì)節(jié)信息。SSR和MSR算法去除了圖像中照度分量的影響，還原了景物本身的亮度信息。MSR算法在不同尺度下計(jì)算圖像的反射分量，在增強(qiáng)圖像細(xì)節(jié)信息的同時(shí)保持了圖像的亮度值。

圖1 不同算法得到的增強(qiáng)圖像及其對(duì)應(yīng)的直方圖(1)Fig. 1 Enhanced images obtained by different algorithms and their corresponding histograms (1)

圖2 不同算法得到的增強(qiáng)圖像及其直方圖(2)Fig. 2 Enhanced images obtained by different algorithms and their corresponding histograms (2)

3.2 增強(qiáng)效果客觀評(píng)價(jià)

采用圖像的對(duì)比度、信噪比和信息熵對(duì)增強(qiáng)后的圖像質(zhì)量進(jìn)行評(píng)價(jià)。圖像對(duì)比度的計(jì)算公式如下：

‖Ii,j-Ii+m,j+n‖，

式中，Ii,j為中心像素點(diǎn)的灰度值，N為圖像局部塊內(nèi)像素點(diǎn)的個(gè)數(shù)。一幅圖像的對(duì)比度定義為圖像中所有局部塊對(duì)比度的平均值。

圖像的信噪比計(jì)算公式如下：

式中，Gt為圖像目標(biāo)區(qū)域最大的灰度值，Gb為圖像背景區(qū)域的灰度均值，σ為圖像背景區(qū)域像素灰度值的標(biāo)準(zhǔn)差。

圖像信息熵的計(jì)算公式如下：

式中，p(k)為灰度級(jí)k的概率密度，M為最大的灰度級(jí)。

分別采用以上公式計(jì)算2組實(shí)驗(yàn)圖像的對(duì)比度、信噪比和信息熵，計(jì)算結(jié)果如表1所示。其中的1和2分別表示第1組和第2組圖像。

表1 不同算法得到的圖像質(zhì)量的客觀評(píng)價(jià)結(jié)果Tab. 1 Objective evaluation results of images quality obtained by different algorithms

由表1可以看出，直方圖均衡類算法能夠有效提升原始圖像的對(duì)比度，但由于合并了相鄰的灰度級(jí)，造成了圖像信息的丟失，且信息熵的提升不明顯。小波變換類算法同樣能夠明顯提升原始圖像的對(duì)比度，但由于在增強(qiáng)高頻圖像的過程中放大了噪聲，增強(qiáng)后的圖像信噪比較低。偏微分方程類算法的增強(qiáng)效果適中，對(duì)原始圖像的對(duì)比度、信噪比和信息熵都有一定程度的提高。Reitnex類算法基于視覺恒常性理論，增強(qiáng)后的圖像視覺效果最好，具有最高的信噪比和信息熵。

3.3 增強(qiáng)算法的計(jì)算時(shí)間

采用VS2010應(yīng)用程序開發(fā)環(huán)境，在Intel Core i5-3337U(單核主頻1.8GHz) 的CPU和4 G內(nèi)存的計(jì)算機(jī)上運(yùn)行以上9種圖像增強(qiáng)算法，分別對(duì)3種分辨率的圖像進(jìn)行測(cè)試，算法的計(jì)算時(shí)間如表2所示。

表2 不同算法的計(jì)算時(shí)間(ms)Tab. 1 Computation time of different algorithms (ms)

從表2可以看出，直方圖均衡類算法的計(jì)算時(shí)間最短，具有最好的實(shí)時(shí)性；而小波變換類算法需要對(duì)圖像進(jìn)行小波分解與小波重構(gòu)，偏微分方程類算法需要采用迭代計(jì)算的方法尋找最優(yōu)解，Retinex類算法需要計(jì)算圖像的高斯濾波，因此這三類圖像增強(qiáng)算法的計(jì)算時(shí)間都比較長。

4 結(jié)束語

圖像增強(qiáng)的本質(zhì)是在一定范圍的灰度空間內(nèi)，依據(jù)原始圖像像素點(diǎn)灰度值的分布規(guī)律，提高圖像整體和局部的對(duì)比度。同時(shí)，通過結(jié)合人眼的視覺特性、噪聲抑制、圖像信息熵最大化和亮度保持等相關(guān)算法，保證增強(qiáng)后的圖像具有較好的圖像質(zhì)量[39-43]。由于存在限制條件，圖像增強(qiáng)常常是在提高圖像對(duì)比度的前提下使圖像的對(duì)比度、圖像視覺效果和圖像信息熵等各種指標(biāo)達(dá)到一個(gè)平衡。目前還沒有一種圖像增強(qiáng)算法能夠使上述所有指標(biāo)同時(shí)達(dá)到最優(yōu)，因此需要根據(jù)特定的需求，選擇最適合的圖像增強(qiáng)算法。

隨著圖像增強(qiáng)算法復(fù)雜度的提高，對(duì)實(shí)現(xiàn)增強(qiáng)算法的硬件開發(fā)要求也越來越高。采用高性能處理器GPU(Graphics Processing Unit)可以大幅提升圖像增強(qiáng)算法的處理速度。GPU具有成百上千個(gè)內(nèi)核，能夠?qū)崿F(xiàn)算法的并行計(jì)算。借助GPU平臺(tái)可以實(shí)現(xiàn)對(duì)圖像的實(shí)時(shí)增強(qiáng)處理。

本文歸納總結(jié)了目前應(yīng)用較廣的4類圖像增強(qiáng)算法及其相應(yīng)的改進(jìn)算法，通過主觀和客觀的評(píng)價(jià)方法比較了不同算法的增強(qiáng)效果，并從算法的原理出發(fā)，解釋了產(chǎn)生不同增強(qiáng)效果的原因，同時(shí)給出了不同圖像增強(qiáng)算法的計(jì)算時(shí)間。希望通過對(duì)這些增強(qiáng)算法的深入研究，能夠推動(dòng)圖像增強(qiáng)技術(shù)向更高水平發(fā)展，從而使圖像增強(qiáng)技術(shù)在多個(gè)學(xué)科領(lǐng)域發(fā)揮重要作用。

[1] 郝志成,吳川,楊航,等. 基于雙邊紋理濾波的圖像細(xì)節(jié)增強(qiáng)方法[J]. 中國光學(xué),2016,9(4):423-431. HAO Z C,WU C,YANG H,etal.. Image detail enhancement method based on multi-scale bilateral texture filter[J].ChineseOptics,2016,9(4):423-431. (in Chinese)

[2] ZIMMERMAN J B,PIZER S M,STAAB E V,etal.. An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement[J].IEEETransactionsonMedicalImaging,1988,7(4):304-312.

[3] WANG Q,WARD R K. Fast image/video contrast enhancement based on weighted thresholded histogram equalization[J].IEEETransactionsonConsumerElectronics,2007,53(2):757-764.

[4] YANG S,OH J H,PARK Y. Contrast enhancement using histogram equalization with bin underflow and bin overflow[C]. Proceedings of 2003 International Conference on Image Processing,Barcelona,Spain,2003:881-884.

[5] KIM Y T. Contrast enhancement using brightness preserving bi-histogram equalization[J].IEEE,1997,43(1):1-8.

[6] WAN Y,CHEN Q,ZHANG B M. Image enhancement based on equal area dualistic sub-image histogram equalization method[J].IEEE,1999,45(1):68-75.

[7] CHEN S,RAMLI A. Minimum mean brightness error bi-histogram equalization in contrast enhancement[J].IEEE,2003,49(4):1310-1319.

[8] KIM W K,YOU J M,JEONG J. Contrast enhancement using histogram equalization based on logarithmic mapping[J].OpticalEngineering,2012,51(6):1-10.

[9] CELIK T. Spatial entropy-based global and local image contrast enhancement[J].IEEE,2014,23(12):5298-5308.

[10] 倪林. 小波變換與圖像處理[M]. 合肥:中國科學(xué)技術(shù)大學(xué)出版社,2010.

NI L.WaveletTransformandImageProcessing[M]. Hefei:University of Science and Technology of China Press,2010. (in Chinese)

[11] 丁西明. 基于小波變換的圖像增強(qiáng)研究[D]. 安徽:安徽大學(xué),2010.

DING X M.The study of image enhancement algorithm based on wavelet transform[D]. Anhui:Anhui University,2010. (in Chinese)

[12] DEMIREL H,ANBARJAFARI G. Image resolution enhancement by using discrete and stationary wavelet decomposition[J].IEEE,2011,20(5):1458-60.

[13] DEMIREL H,ANBARJAFARI G. Discrete wavelet transform based satellite image resolution enhancement[J].IEEE,2011,49(6):1997-2004.

[14] LOZA A,BULL D R,HILL P R,etal.. Automatic contrast enhancement of low-light images based on local statistics of wavelet coefficients[J].DigitalSignalProcess,2013,23(6):1856-1866.

[15] CHO D W,BUI T D. Fast image enhancement in compressed wavelet domain[J].SignalProcess,2014,98(1):295-307.

[16] NASRI M,POUR H N. Image denoising in the wavelet domain using a new adaptive thresholding function[J].Neurocomputing,2009,72(3):1012-1025.

[17] CHANG S,YU B,VETTERLI M. Adaptive wavelet thresholding for image denoising and compression[J].IEEE,2000,9(4):1532-1546.

[18] BHANDARI A K,KUMAR A,SINGH G K. Improved knee transfer function and gamma correction based method for contrast and bringtness enhancement of satellite image[J].InernationalJournalofElectronicsandCommunications,2015,69(1):579-589.

[19] SE E K,JONG J J,IL K E. Image contrast enhancement using entropy scaling in wavelet domain[J].SignalProcessing,2016,127(1):1-11.

[20] DEMIREL H,OZCINAR C,ANBARJAFARI G. Satellite image contrast enhancement using discrete wavelet transform and singular value decomposition[J].IEEE,2010,7(2):333-337.

[21] BHUTADA G G,ANAND R S,SAXENA S C. Edge preserved image enhancement using adaptive fusion of miages denoised by wavelet and cruvelet transform[J].DigitalSignalProcessing,2011,21(1):118-130.

[22] BHAT P,ZITNICK C L,COHEN M,etal.. Gradient Shop:A gradient-domain optimization framework for image and video filtering[J].ACMTransactionsonGraphics,2010,29(2):1-14.

[23] BHAT P,CURLESS B,COHEN M,etal. Fourier analysis of the 2D screened poisson equation for gradient domain problems[C]. The European Conference on Computer Vision,Marseille,France,2008:114-128.

[24] 孔平. 基于偏微分方程的圖像去噪與增強(qiáng)研究[D]. 南京:南京理工大學(xué),2012.

KONG P. The study of image denoising and enhancement based on partial differential equation[D]. Nanjing:Nanjing University of Science and Technology,2012. (in Chinese)

[25] 王帥. 基于偏微分方程圖像增強(qiáng)技術(shù)的研究[D]. 長春:長春理工大學(xué),2012.

WANG S. The study of image enhancement technology based on partial differential equation[D]. Changchun:Changchun University of Science and Technology,2012. (in Chinese)

[26] 王超. 基于變分問題和偏微分方程的圖像處理技術(shù)研究[D]. 合肥:中國科學(xué)技術(shù)大學(xué),2007.

WANG C. Image processing based on variational problems and partial differential equations[D]. Hefei:University of Science and Technology of China,2007. (in Chinese)

[27] CHAN T F,SHEN J H. 圖像處理與分析[M]. 陳文斌,程晉,譯.北京:科學(xué)出版社,2011.

CHAN T,SHEN J H.Imageprocessingandanalysis[M]. Beijing:Science Press,2011. (in Chinese)

[28] KIM J H,KIM J H,JUNG S W,etal.. Novel contrast enhancement scheme for infrared image using detail-preserving stretching[J].OpticalEngineering,2011,50(7):1-10.

[29] 韓希珍,趙建. 結(jié)合偏微分方程增強(qiáng)圖像紋理及對(duì)比度[J]. 光學(xué) 精密工程,2012,20(6):1382-1388.

HAN X Z,ZHAO J. Enhancement of image texture and contrast combined with partial differential equation[J].OpticsandPrecisionEngineering,2011,50(7):1-10. (in Chinese)

[30] LAND E. The Retinex[J].AmericaScience,1964,52(2):247-264.

[31] LAND E,MCCANN J. Ligntness and Retinex theory[J].JournaloftheOpticalSocietyofAmerica,1971,61(1):1-11.

[32] GONZALES A M,GRIGORYAN A M. Fast Retinex for color image enhancement: Methods and algorithms[J].SPIE,2015,9411:1-12.

[33] SHEN C T,HWANG W L. Color image enhancement using Retinex with robust envelope[C]. 16th IEEE International Conference on Image Process,Cairo,Egypt,2009:3141-3144.

[34] WHARTON E,PANETTA K,AGAIAN S. Human visual system-based image enhancement and logarithmic contrast measure[J].IEEETransactionsonSystemsManandCyberneticsPartB-Cybernetics,2008,38(1):174-188.

[35] JOBSON D,RAHMAN Z,WOODELL G. A multiscale Retinex for bridging the gap between color images and the human observation of scenes[J].IEEE,1997,6(7):965-976.

[36] 趙宏宇,肖創(chuàng)柏,禹晶,等. 馬爾科夫隨機(jī)場模型下的Retinex夜間彩色圖像增強(qiáng)[J]. 光學(xué) 精密工程,2014,22(4):1048-1055.

ZHAO H Y,XIAO C B,YU J,etal.. A Retinex algorithm for night color image enhancement by MRF[J].OpticsandPrecisionEngineering,2014,22(4):1048-1055. (in Chinese)

[37] FU X Y,LIN Q,GUO W,etal.. A novel Retinex algorithm based on alternation direction optimization[C]. Sixth International Symposium on Precision Mechanical Measurements,Guiyang,China,2013:1-6.

[38] CHANG H B,NG M K,WANG W,etal.. Retinex image enhancement via a learned dictionary[J].OpticalEngineering,2015,54(1):1-15.

[39] 范日召,何斌,劉燕君,等. 基于廣義線性系統(tǒng)和非銳化掩膜的圖像增強(qiáng)算法[J]. 液晶與顯示,2016,31(10):973-982.

FAN R ZH,HE B,LIU Y J,etal.. Image enhancement algorithm based on generalized linear system and unsharp masking[J].ChineseJournalofLiquidCrystalsandDisplays,2016,31(10):973-982. (in Chinese)

[40] 李毅,張?jiān)品?年輪,等. 尺度變化的Retinex紅外圖像增強(qiáng)[J]. 液晶與顯示,2016,31(1):104-111.

LI Y,ZHANG Y F,NIAN L,etal.. Infrared image enhancement method based on scale varies Retinex theory[J].ChineseJournalofLiquidCrystalsandDisplays,2016,31(1):104-111. (in Chinese)

[41] 趙文達(dá),趙建,韓希珍,等. 基于變分偏微分方程的紅外圖像增強(qiáng)算法研究[J]. 液晶與顯示,2014,29(2):281-285.

ZHAO W D,ZHAO J,HAN X ZH,etal.. Infrared image enhancement based on variational partial differential equations[J].ChineseJournalofLiquidCrystalsandDisplays,2014,29(2):281-285. (in Chinese)

[42] 陳瑩,朱明,劉劍,等. 高斯混合模型自適應(yīng)微光圖像增強(qiáng)[J]. 液晶與顯示,2015,30(2):300-309.

CHEN Y,ZHU M,LIU J,etal.. Automatic low light level image enhancement using Gaussian mixture modeling[J].ChineseJournalofLiquidCrystalsandDisplays,2015,30(2):300-309. (in Chinese)

[43] 侯天嬌,郝志成,朱明,等. 一種基于FPGA的彩色圖像實(shí)時(shí)增強(qiáng)方法[J]. 液晶與顯示,2016,31(12):1161-1167.

HOU T J,HAO ZH CH,ZHU M,etal.. Real-time color image enhancement method based on FPGA[J].ChineseJournalofLiquidCrystalsandDisplays,2016,31(12):1161-1167. (in Chinese)

Review of image enhancement algorithms

WANG Hao1,2*, ZHANG Ye1,2, SHEN Hong-hai1,2, ZHANG Jing-zhong3

(1.Key Laboratory of Airborne Optical Imaging and Measurement,Chinese Academy of Sciences,Changchun 130033,China；2.Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；3.Heilongjiang Forest Protection Institute,Harbin 150040,China)*Corresponding author, E-mail:wanghao7600@163.com

Image enhancement algorithms can enhance contrast between the whole and partial images, and highlight the details of images. It also can make the enhanced images more in line with the visual characteristics of the human eyes and it applies to machine identification, which has a wide range of applications in military and civilian fields. Based on the principle of image enhancement algorithm, four types of image enhancement algorithms and their improved algorithms are summarized in this paper. These algorithms include histogram equalization image enhancement algorithm, wavelet transform image enhancement algorithm, partial differential equation image enhancement algorithm and Retinex image enhancement algotithm. These improved algorithms, which combine the human visual characteristics, noise suppression, brightness preserving and information entropy maximization, can further improve the quality of images in addition to enhancing the contrast. In this paper, nine typical image enhancement algorithms are implemented, and their enhancement effects are compared with subjective and objective evaluation methods. The advantages and disadvantages of these enhancement algorithms are analyzed, and the calculation time of the algorithms are given. The study on these algorithms can promote the image enhancement technology to a higher level, so as to make the image enhancement technology play an important role in many fields.

image enhancement;histogram equalization;wavelet transform;partial differential equation;Retinex theory

2017-03-07；

2017-04-14

國家林業(yè)公益性資助項(xiàng)目(No.201204515);吉林省自然科學(xué)基金項(xiàng)目(No.20150101017JC)；中國科學(xué)院青年創(chuàng)新促進(jìn)會(huì)資助項(xiàng)目(No.2016201) Supported by National Forestry Public Welfare Foundation of China (No. 201204515); Natural Science Foundation of Jinlin Province of China (No. 20150101017JC); Youth Innovation Promotion Association, CAS (No. 2016201)

2095-1531(2017)04-0438-11

TP394.1

A

10.3788/CO.20171004. 0438

王 浩(1986-),男,吉林長春人,碩士,助理研究員,2013年于中國科學(xué)技術(shù)大學(xué)獲得碩士學(xué)位,主要從事圖像增強(qiáng)、目標(biāo)跟蹤、嵌入式系統(tǒng)設(shè)計(jì)等方面的研究。E-mail:wanghao7600@163.com