許少秋，楊 群，鐘小蕓，駱德漢

廣東工業(yè)大學(xué) 信息工程學(xué)院，廣州 510000

背光圖像的檢測與校正

許少秋，楊 群，鐘小蕓，駱德漢

廣東工業(yè)大學(xué) 信息工程學(xué)院，廣州 510000

針對傳統(tǒng)背光圖像檢測低準(zhǔn)確率問題，提出一種新的背光圖像檢測和校正算法。通過分析圖像在不同Gamma變換下前景細(xì)節(jié)數(shù)目的變化規(guī)律來判斷輸入圖像是否存在背光。對背光圖像的前景、背景子圖像進(jìn)行多尺寸Retinex圖像算法，然后與原圖進(jìn)行融合。根據(jù)實(shí)驗(yàn)可知，提出的背光圖像檢測算法相對于傳統(tǒng)的亮度直方圖分析方法以及YCbCr直方圖分析方法具有更高準(zhǔn)確率；提出的背光校正算法相對于AHMHE背光補(bǔ)償算法和多尺度Retinex算法具有較高信息熵、清晰度和對比度。

背光圖像檢測；背光圖像校正；Gamma變換；多尺度Retinex；圖像融合

1 引言

隨著科技的發(fā)展，人們對圖像質(zhì)量的要求越來越高。在現(xiàn)實(shí)生活中，由于光照或者拍攝角度的影響，背光圖像會不可避免地出現(xiàn)。背光可導(dǎo)致圖像模糊或顏色偏暗，使顯示質(zhì)量大幅度下降，增加后續(xù)處理（例如分割、檢測、識別等）的難度。背光圖像檢測及校正的目的是先判斷圖像是否背光，然后對背光圖像進(jìn)行修正，同時保持整幅圖像的平滑性與完整性。

常用的背光檢測方法[1-5]可分為基于亮度直方圖的檢測方法[1-4]和基于顏色直方圖的檢測方法[5]。基于亮度直方圖的檢測方法通過檢測圖像的亮度分布是否存在明暗兩個明顯分隔的區(qū)域來判斷圖像是否背光，其低復(fù)雜度特性使該方法成為最常用的背光圖像檢測方法，但有時正常光照圖像的亮度直方圖也具有這種特征，從而造成誤檢測?；陬伾狈綀D的檢測方法通過分析圖像顏色分布的集中程度來判斷圖像是否背光，由于顏色信息豐富且便于提取，這種檢測方法也具有較高的競爭力。該方法的缺陷是無法正確檢測出顏色種類單調(diào)的正常光照圖像或顏色種類豐富的背光圖像。

雖然現(xiàn)在很多背光圖像校正的方法[1-4]能有效地修正圖像的亮度，但存在圖像顏色失真和對比度降低等問題。目前常用的背光圖像對比度增強(qiáng)方法主要有：直方圖變換法[6]、圖像融合法[7]、多尺度Retinex算法[8-9]等。直方圖變換法采用直方圖均衡化，能自適應(yīng)地提高圖像亮度的動態(tài)范圍，在圖像增強(qiáng)中被廣泛使用，但由于變換后圖像亮度級減少，導(dǎo)致圖像的細(xì)節(jié)丟失；圖像融合方法使用模擬相機(jī)的功能函數(shù)產(chǎn)生不同亮度的虛擬圖像，再用小波融合將這些不同亮度的虛擬圖像融合，這種方法能有效地提高背光圖像的對比度，但耗時較長，不適合實(shí)時處理；傳統(tǒng)的多尺度Retinex算法基于光照平緩變化的假設(shè)，在光照均勻的場景下能有效地增強(qiáng)曝光不足的圖像，但是當(dāng)圖像的前景與背景的亮度存在較大差異時，會導(dǎo)致處理后的圖像在明暗對比處產(chǎn)生明顯的光暈效應(yīng)。

針對現(xiàn)有檢測與校正算法存在的這些問題，本文提出一種基于細(xì)節(jié)的背光圖像檢測方法，并對多尺度Retinex算法進(jìn)行改進(jìn)，提取背光圖像的前景和背景進(jìn)行多尺度Retinex處理，把處理前后的結(jié)果進(jìn)行融合。相比傳統(tǒng)的多尺寸Retinex算法，改進(jìn)后的算法能有效消除光暈效應(yīng)。

2 背光圖像檢測

2.1 背光圖像分析和Gamma校正

當(dāng)光源位于圖像感興趣區(qū)域的后方時，由于感興趣區(qū)域曝光不足，導(dǎo)致背光圖像的產(chǎn)生。背光圖像具有以下幾個明顯的特征：前景區(qū)域即感興趣區(qū)域和背景區(qū)域之間的亮度差異大；背光圖像的顏色分布比較集中；背光圖像的前景區(qū)域內(nèi)容不清晰[10]。

背光圖像由于前景亮度較低而導(dǎo)致前景可見細(xì)節(jié)少，這可以通過提高背光圖像的亮度從而增加圖像的可見細(xì)節(jié)。Gamma校正[11]可用于調(diào)整圖像的亮度，它具有簡單且容易實(shí)現(xiàn)的優(yōu)點(diǎn)。使用的公式如下：

其中I是圖像亮度，γ是校正參數(shù)，通過設(shè)置不同的γ值可調(diào)整圖像的顯示效果。圖1是不同γ值對應(yīng)的Gamma曲線。當(dāng)γ值等于1的時候，校正前后圖像的亮度相同；當(dāng)γ值大于1時，原圖像的高光部分被壓縮而暗調(diào)部分被擴(kuò)展；當(dāng)γ值小于1時，原圖像的高光部分被擴(kuò)展而暗調(diào)部分被壓縮。圖2（a）和（b）是背光圖像和正常光照圖像經(jīng)過Gamma校正（γ=0.5）后的結(jié)果對比?？梢钥闯?，背光圖像Gamma校正后，圖像的可見內(nèi)容增加，而正常光照圖像在Gamma校正后，可見內(nèi)容沒有明顯的變化。

圖1 不同γ值對應(yīng)的Gamma曲線

圖2 背光圖像與正常光照圖像的Gamma校正、前景分割以及邊緣檢測

2.2 圖像細(xì)節(jié)分析

圖像的細(xì)節(jié)包括圖像的邊緣信息和區(qū)域分割信息。通常來說，圖像包含的邊緣越多，圖像的細(xì)節(jié)越豐富。因此，可利用圖像前景的邊緣點(diǎn)數(shù)量來描述圖像的細(xì)節(jié)數(shù)量。邊緣點(diǎn)檢測通過Canny算子獲得。

由于背光圖像的明顯特征是前景部分比較暗而背景部分比較亮，因此，可通過Liao等人提出的快速Otsu閾值分割算法[12]實(shí)現(xiàn)前景的分割。該方法選擇使圖像亮度類間方差達(dá)到最大時的值作為分割的閾值，符合人眼的視覺特性。當(dāng)圖像的亮度分量小于閾值時則為前景，否則為背景。

圖像是否存在背光可通過分析Gamma校正前后前景細(xì)節(jié)的變化來確定。Gamma校正前后細(xì)節(jié)的變化定義如下：其中，D和D′為圖像Gamma校正前后的細(xì)節(jié)數(shù)目。當(dāng)?D=0表示前后圖像細(xì)節(jié)數(shù)量沒有變化；當(dāng)?D＞0表示校正后圖像細(xì)節(jié)增多；當(dāng)?D＜0表示校正后圖像細(xì)節(jié)減少。

圖2（a）中背光圖像和正常光照圖像的前景分割結(jié)果如圖2（c）所示。圖2（d）和（e）分別給出了圖2（c）中前景區(qū)域在Gamma校正前后的邊緣檢測結(jié)果?？梢钥闯?，背光圖像通過Gamma變換(γ=0.5)后，前景區(qū)域的可見細(xì)節(jié)數(shù)量明顯增加，而正常光照圖像通過Gamma變換(γ=0.5)后前景區(qū)域的可見細(xì)節(jié)數(shù)量變化不大。因此，可根據(jù)Gamma變換前后前景的細(xì)節(jié)數(shù)目變化大小來判斷輸入圖像是否是背光圖像。圖3給出了正常光照圖像（500張）和背光圖像（500張）在Gamma校正前后前景細(xì)節(jié)變化情況的例子。

圖3 500張背光圖像和500張正常圖像Gamma（γ=0.5）變化后的細(xì)節(jié)增加情況

2.3 Gamma校正參數(shù)確定

為了選取合適的γ值來分析圖像Gamma變換前后前景細(xì)節(jié)的變化，本文分析了500張背光圖像和500張正常光照圖像在不同γ值時對應(yīng)的前景細(xì)節(jié)變化平均值，結(jié)果如圖4所示。當(dāng)0.02≤γ≤1時，背光圖像校正后的細(xì)節(jié)增加，變化幅度大，γ為0.22時細(xì)節(jié)數(shù)量的增幅達(dá)到最大，而正常光照圖像校正后的細(xì)節(jié)增加不明顯，甚至出現(xiàn)過度曝光反而使細(xì)節(jié)數(shù)量減少。因此，可以選取γ=0.22作為執(zhí)行Gamma變換時的參數(shù)。

圖4 背光圖像和正常光照圖像在不同Gamma校正參數(shù)時的平均細(xì)節(jié)變化

2.4 細(xì)節(jié)變化閾值確定

由于不同圖像Gamma變換后細(xì)節(jié)數(shù)目變化不同，需要確定一個合適的細(xì)節(jié)變化閾值來判斷圖像是否存在背光。圖5給出了500張背光圖像和500張正常光照圖像在選取不同閾值T時的背光檢測準(zhǔn)確率統(tǒng)計(jì)曲線。可以看出，當(dāng)細(xì)節(jié)變化閾值T為0.63時，檢測的準(zhǔn)確率最高。因此，選取0.63作為Gamma校正前后細(xì)節(jié)變化的閾值。當(dāng)?D≥0.63時則認(rèn)為輸入圖像是背光圖像，否則為正常光照圖像。

圖5 準(zhǔn)確率統(tǒng)計(jì)圖（γ=0.22）

3 背光圖像校正

3.1 多尺寸Retinex算法（MSR）

多尺度Retinex（Multi-scale Retinex，MSR）算法[9]由J.Jobson等人提出，是單尺度Retinex（Single-Scale Retinex，SSR）算法[13]在多個尺度上的延伸，兩者都是通過原圖像與高斯函數(shù)卷積來估算入射光照分量。單尺寸Retinex（SSR）的數(shù)學(xué)表達(dá)式為：

其中(x ,y)為像素坐標(biāo)，I為圖像亮度分量，R為反射分量，F(xiàn)為高斯核函數(shù)。Retinex算法的卷積項(xiàng)可看作是對入射光照的估算，其物理意義是通過計(jì)算像素與其周圍區(qū)域加權(quán)平均值的比值來消除光照變化的影響。高斯核函數(shù)的表達(dá)式為：

其中，s為常數(shù)。當(dāng)s取值較大時，增強(qiáng)圖像比較逼真，但局部細(xì)節(jié)不清晰；s值取較小時，增強(qiáng)細(xì)節(jié)突出，但輸出顏色易失真。K為歸一化因子，使

SSR在一定程度上可以實(shí)現(xiàn)動態(tài)范圍的壓縮或者色調(diào)重現(xiàn)，但不能同時兼顧。為了使圖像局部細(xì)節(jié)清晰顯示并且顏色不失真，Jobson等人提出多尺度Retinex算法（MSR）。表達(dá)式如下：

其中，N為尺度個數(shù)；wn為第n個尺度的權(quán)值，rn為第n個尺度的反射分量對數(shù)值。經(jīng)典的多尺度算法一般取小(s=15)、中(s=80)、大(s=250)三個尺寸。

MSR算法假設(shè)光照平緩變化，在光照均勻的場景下，能在一定程度上有效增強(qiáng)曝光不足的圖像，但是當(dāng)圖像的前景背景亮度差異較大時，處理后的圖像在明暗對比處會產(chǎn)生明顯的光暈。圖6給出了MSR處理前后圖像的對比例子。可以看出，MSR處理后圖像的前景和背景邊緣處產(chǎn)生了明顯的光暈（紅圈部分）。針對這種情況，本文提出一種改進(jìn)的多尺度Retinex融合算法，能消除傳統(tǒng)多尺寸Retinex算法產(chǎn)生的光暈，并抑制顏色失真。

圖6 MSR處理前后圖像對比

3.2 多尺度Retinex圖像融合算法

3.2.1 亮度分量提取

MSR算法直接對RGB三個顏色分量進(jìn)行高斯函數(shù)卷積，由于圖像RGB三個分量具有相關(guān)性，這種處理必然會導(dǎo)致圖像顏色失真。本文通過提取圖像的亮度分量，只將亮度分量進(jìn)行高斯卷積，最后再重建RGB顏色分量。亮度分量的數(shù)學(xué)表達(dá)式如下：

其中 R、G、B為(x ,y)位置的紅、綠、藍(lán)值。

3.2.2 圖像融合

兩幅圖像 f1(i , j)和f2(i , j)(i=0,1,…,M-1；j=0,1,…,N-1)可通過以下公式進(jìn)行融合[14]：

其中，p1和 p2是權(quán)系數(shù)，滿足條件：

p1和 p2的大小可以調(diào)節(jié)圖像 f1(i , j)和f2(i , j)在融合圖像F(i , j)中所占比例的大小。

利用快速Otsu閾值分割算法[12]對圖像亮度分量進(jìn)行分割，獲取前景子圖像Yfg和背景子圖像Ybg。當(dāng)亮度小于閾值時則為前景，否則為背景。將背景子圖像Ybg和前景子圖像Yfg進(jìn)行MSR處理后通過高斯低通濾波器，再與原圖像通過高斯低通濾波后的結(jié)果進(jìn)行融合得到新圖像YMSR_f。

3.2.3 顏色重建

為了避免處理后的圖像出現(xiàn)色調(diào)偏移和顏色飽和度降低，需要對RGB顏色分量進(jìn)行重構(gòu)，其公式如下：

經(jīng)過重構(gòu)后的圖像能有效消除傳統(tǒng)MSR算法處理產(chǎn)生的光暈，并抑制圖像顏色失真。

4 實(shí)驗(yàn)結(jié)果與分析

測試圖片包括600張背光圖片和600張正常光照圖片，由日常生活中拍攝的照片和網(wǎng)絡(luò)圖片以及其他背光圖像檢測論文的圖片組成。算法在Matlab平臺實(shí)現(xiàn)。

4.1 背光檢測

表1提供了三種背光圖像檢測算法的準(zhǔn)確率以及運(yùn)行時間?？梢钥闯觯岢龅幕诩?xì)節(jié)分析的背光圖像檢測算法的準(zhǔn)確率達(dá)到95%，高于基于亮度直方圖的背光圖像檢測算法[3]和基于YCbCr的顏色背光檢測算法[5]（分別為84%和85.5%）；而所需的平均運(yùn)行時間為0.98 s，略大于基于YCbCr的顏色背光檢測算法（0.95 s）。

表1 背光圖像檢測算法準(zhǔn)確率及運(yùn)行時間

4.2 背光圖像校正

為了證明多尺度Retinex融合算法的有效性，分別從主觀效果和客觀評價(jià)兩個方面對其進(jìn)行驗(yàn)證，將算法結(jié)果與AHMHE背光補(bǔ)償算法[6]和傳統(tǒng)多尺度Retinex算法[8]進(jìn)行比較。

圖像增強(qiáng)的主要目的是使圖像轉(zhuǎn)變成更適合人眼觀看的形式，所以通過人眼來評價(jià)圖像的質(zhì)量是合理的。從圖7可以看出，提出的MSR融合算法和其他兩種算法都實(shí)現(xiàn)了對背光區(qū)域的亮度補(bǔ)償。AHMHE采用直方圖均衡化的改進(jìn)算法，由于灰度級合并，不可避免地造成圖像細(xì)節(jié)的缺失，導(dǎo)致處理后的圖像看起來比較粗糙。傳統(tǒng)MSR處理后的圖像背景曝光過度，也導(dǎo)致了圖像信息缺失，出現(xiàn)顏色失真。而本文提出的MSR融合算法不僅補(bǔ)償了圖像的背光（前景）區(qū)域，還同時保持了背景區(qū)域的真實(shí)性。

為了讓評價(jià)結(jié)果更加客觀準(zhǔn)確，使用信息熵、清晰度和對比度作為評價(jià)指標(biāo)。圖像的信息熵越大，則圖像攜帶的信息越多；清晰度用來衡量圖像各細(xì)部影紋及其邊界的清晰程度；圖像的對比度用來衡量圖像的細(xì)節(jié)表現(xiàn)及灰度層次表現(xiàn)等。三者分別計(jì)算如下：其中P(i)是像素值i在圖像中出現(xiàn)的概率，n為灰度值范圍；Ix(i , j)和Iy(i , j)分別是I在x和y方向上的導(dǎo)數(shù)；μ和σ2為I的均值和方差。

圖7 背光處理算法效果比較

表2是600幅背光圖像采用不同方法校正后的信息熵、清晰度和對比度平均值。結(jié)果表明，改進(jìn)的算法優(yōu)于直方圖均衡算法和傳統(tǒng)MSR算法。

表2 背光圖像校正算法評估

5 結(jié)束語

本文提出了基于細(xì)節(jié)變化的背光圖像檢測方法和基于多尺度Retinex融合的背光圖像校正算法。實(shí)驗(yàn)表明，基于細(xì)節(jié)變化的背光圖像檢測算法準(zhǔn)確率達(dá)到95%，優(yōu)于傳統(tǒng)的亮度直方圖分析方法以及YCbCr直方圖分析方法，改進(jìn)的多尺度Retinex融合算法能消除光暈并抑制顏色失真，相對于AHMHE背光補(bǔ)償算法和傳統(tǒng)的多尺度Retinex算法，具有較高信息熵、清晰度和對比度。

[1]Shimizu S，Kondo T，Kohashi T，et al.A new algorithm for exposure control based on fuzzy logic for video cameras[J].IEEE Transactions on Consumer Electronics，1992，38（3）：617-623.

[2]Murakami M，Honda N.An exposure control system of video cameras based on fuzzy logic using color information[C]//IEEE International Conference on Fuzzy Systems，1996，3（6）：2181-2187.

[3]Chin C L，Lin C T.Detection and compensation algorithm for backlight images with fuzzy logic and adaptive compensation curve[J].Internal Journal of Pattern Recognition and Artificial Intelligence，2005，19（8）：53-58.

[4]Su Muchun，Yang Yuanshao，Lee J，et al.A neuro-fuzzy approach for compensating color backlight images[J].Neural Processing Letters，2006，23（3）：273-287.

[5]Park H J，Han S W.Detection of backlight images using chrominance[J].Proc Spie，2012，8292（1）：132-137.

[6]Kang B，Jeon C，Han D K，et al.Adaptive height-modified histogram equalization and chroma correction in YCbCr color space for fast backlight image compensation[J].Image and Vision Computing，2011，29（18）：557-568.

[7]Lee C H，Chen L H，Wang W K.Image contrast enhancement using classified virtual exposure image fusion[J].IEEE Transactions on Consumer Electronics，2012，58（4）：1253-1261.

[8]閆鈞宣，張科.HSI空間亮度信息的多尺度Retinex圖像增強(qiáng)研究[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（23）：31-33.

[9]劉茜，盧心紅，李象霖.基于多尺度Retinex的自適應(yīng)圖像增強(qiáng)方法[J].計(jì)算機(jī)應(yīng)用，2009，29（8）：2077-2079.

[10]王慧博.圖像與視頻背光補(bǔ)償技術(shù)研究與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2009.

[11]儲清翠，王華彬，陶亮.圖像的局部自適應(yīng)Gamma校正[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（7）：189-193.

[12]Liao P S，Chen T S，Chung P C.A fast algorithm for multilevel thresholding[J].Journal of Information Science and Engineering，2001，17（5）：713-727.

[13]王小明，黃昶，李全彬，等.改進(jìn)的多尺度Retinex圖像增強(qiáng)算法[J].計(jì)算機(jī)應(yīng)用，2010，30（8）：2091-2093.

[14]敬忠良.圖像融合[M].北京：高等教育出版社，2007.

XU Shaoqiu,YANG Qun,ZHONG Xiaoyun,LUO Dehan

College of Information Engineering,Guangdong University of Technology,Guangzhou 510000,China

Detection and correction of backlight images.Computer Engineering and Applications,2017,53（21）：174-178.

This paper proposes a new backlight image detection and correction algorithm.The change of the number of foreground details under various Gamma correction is analyzed for the determination of backlight image multi-scale Retinex algorithm is performed on the background and the foreground of the backlight image.The outputs are fused with the original image.The experimental results show that the proposed backlight image detection algorithm outperforms the intensity histogram based method and the YCbCr histogram based method,the proposed backlight image correction algorithm has higher information entropy,definition and contrast than the AHMHE backlight image compensation algorithm and multi-scale Retinex algorithm.

backlight image detection;backlight image correction;Gamma correction;multi-scale Retinex;image fusion

A

TP751.1

10.3778/j.issn.1002-8331.1605-0135

國家自然科學(xué)基金（No.61571140，No.61571139）；廣州市珠江科技新星專項(xiàng)（No.2014J2200085）。

許少秋（1978—），女，博士，副教授，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺與智能系統(tǒng)，E-mail：shaoqiuxu@gdut.edu.cn；楊群（1991—），男，在讀碩士研究生，主要研究領(lǐng)域?yàn)閳D像處理；鐘小蕓（1990—），女，碩士，主要研究領(lǐng)域?yàn)閳D像處理；駱德漢（1958—），男，博士，教授，主要研究領(lǐng)域?yàn)榉律嵊X與智能信息。

2016-05-12

2016-08-15

1002-8331（2017）21-0174-05

CNKI網(wǎng)絡(luò)優(yōu)先出版：2016-11-21,http://www.cnki.net/kcms/detail/11.2127.TP.20161121.1652.006.html