侯天峰等

摘 要： Retinex算法是圖像增強(qiáng)的常用方法。基于Retinex理論提出一種新的視頻光照增強(qiáng)算法，結(jié)合圖像全局及局部灰度特性引入補(bǔ)償系數(shù)，增強(qiáng)暗區(qū)域光照的同時(shí)克服了傳統(tǒng)算法處理后的人工痕跡，使處理結(jié)果更加自然；同時(shí)，算法用引導(dǎo)濾波估計(jì)照度圖像，在避免光暈現(xiàn)象的同時(shí)可以加快算法處理速度。實(shí)驗(yàn)結(jié)果表明，該方法簡(jiǎn)單有效，視覺效果提升顯著。

關(guān)鍵詞： Retinex； 圖像增強(qiáng)； 光照補(bǔ)償； 引導(dǎo)濾波

中圖分類號(hào)： TN911.73?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2015）17?0068?04

Retinex?based self?adapting enhancement algorithm for videos

HOU Tianfeng1， CHENG Hesheng2， ZHANG Yan1

（1. School of Information Science and Engineering， Jinling College of Nanjing University， Nanjing 210000， China；

2. School of Computer， Hefei Normal University， Hefei 230601， China）

Abstract： Retinex algorithm is a common image enhancement method. Based on Retinex theory， a new video illumination enhancement algorithm is proposed， in which the compensation factor is introduced in combination with global and local grayscale characteristics of images. It can enhance the illumination in dark areas and overcome the artificial marks on images processed by traditional algorithms， which can make the processing results more natural. The guided filtering is applied to estimation illumination image by the algorithm， which can avoid halo phenomenon and accelerate the processing speed of the algorithm. The experimental results show that this method is simple and effective， with which the visual effect is promoted obviously.

Keywords： Retinex； image enhancement； illumination compensation； guided filtering

0 引 言

視頻采集過程受諸多因素影響，如夜間或者暗光拍攝條件下表現(xiàn)為光照不足、亮度偏低；光線遮擋使得形成的圖像一部分明亮另一部分較暗，造成光照不均；反光或強(qiáng)光源使得獲取的圖像亮度分布不均勾，高亮區(qū)域細(xì)節(jié)模糊。光照不足或者光照不均一方面會(huì)造成圖像主觀效果不佳，難以滿足人們視覺感官的需要，另一方面對(duì)于后續(xù)的圖像處理比如模式識(shí)別[1]、目標(biāo)跟蹤都會(huì)造成較大影響。由此出現(xiàn)圖像增強(qiáng)技術(shù)對(duì)光照不均圖像進(jìn)行增強(qiáng)處理提高質(zhì)量。

圖像增強(qiáng)技術(shù)根據(jù)圖像質(zhì)量情況和不同的應(yīng)用釆用信號(hào)處理技術(shù)手段達(dá)到增強(qiáng)局部或者整體特征的目的[2]。針對(duì)光照不均勻圖像的增強(qiáng)處理，常常采用的算法主要有：灰度變換方法[3]、同態(tài)濾波方法[4]、小波變換增強(qiáng)[5]、基于Retinex理論的算法[6]等。其中，基于Retinex理論的增強(qiáng)算法具有顏色保真、細(xì)節(jié)增強(qiáng)和動(dòng)態(tài)范圍壓縮等多個(gè)方面的優(yōu)勢(shì)，它常常與其他算法結(jié)合使用可以達(dá)到更好的增強(qiáng)效果，目前已廣泛應(yīng)用于航空航天、生物醫(yī)學(xué)、電視電影等多個(gè)方面，占據(jù)比較重要的地位。

自20世紀(jì)70年代Retinex理論提出以來，得到了很大的發(fā)展和關(guān)注。從采用同態(tài)濾波器的Retinex算法，到后來又出現(xiàn)了中心環(huán)繞Retinex，包括單尺度Retinex（SSR）和多尺度Retinex（MSR）以及帶顏色恢復(fù)的Retinex（MSRCR）算法等。Michael Elad引入兩種雙邊濾波器[7]，一個(gè)濾波器處理圖像的反射分量，另一個(gè)濾波器對(duì)圖像的入射分量進(jìn)行估計(jì)，算法對(duì)邊緣處的增強(qiáng)效果也較好，在消除“光暈”方面有了一定效果。文獻(xiàn)[8]又提出了一種亮度修正的Retinex算法，算法將Canny算子和Retinex算法結(jié)合起來，算法首先對(duì)入射分量分析，接著采用Canny算子檢測(cè)圖像邊緣信息，該算法能夠有效消除“光暈”現(xiàn)象。文獻(xiàn)[9]提出了局部多尺度的Retinex算法，將小波變換和Retinex算法結(jié)合起來，實(shí)現(xiàn)了圖像色彩保真與細(xì)節(jié)增強(qiáng)兩者之間的權(quán)衡[10]。文獻(xiàn)[11]將圖像轉(zhuǎn)換到HIS空間對(duì)亮度和飽和度進(jìn)行調(diào)整，同時(shí)加入影像邊緣細(xì)節(jié)特征。陳志斌等人針對(duì)煙霧區(qū)域灰度建立專門數(shù)學(xué)模型，利用信息熵進(jìn)行灰度拉伸[12]。文獻(xiàn)[13]基于Retinex框架在小波域自適應(yīng)估計(jì)照度分量。

上述改進(jìn)主要關(guān)注于消除Retinex處理“光暈”現(xiàn)象、邊緣的增強(qiáng)以及圖像對(duì)比度的提升，忽略了處理所造成的人工痕跡明顯以及時(shí)間效率等問題。本文對(duì)基于Retinex理論的算法進(jìn)行研究，考慮日常影視及移動(dòng)設(shè)備拍攝視頻的增強(qiáng)處理要求，提出一種新的方法，使需要增強(qiáng)圖像區(qū)域看起來更加自然，而對(duì)于無需增強(qiáng)的圖像區(qū)域，處理后也不會(huì)變得更差。另外通過引入引導(dǎo)濾波使得算法滿足實(shí)時(shí)應(yīng)用要求，同時(shí)消除光暈。實(shí)驗(yàn)結(jié)果表明本文算法是切實(shí)有效的。

1 Retinex算法簡(jiǎn)介

Retinex理論算法模型把原圖像分解為反射分量和入射分量，反射分量決定圖像的內(nèi)在性質(zhì)，而照射分量決定圖像達(dá)到的動(dòng)態(tài)范圍，通過某種方法估計(jì)出圖像的低頻光照信息，進(jìn)而提取出圖像的反射分量，也就是圖像的細(xì)節(jié)信息，還原物體的原貌。

雖然不同的文獻(xiàn)對(duì)Retinex算法的數(shù)學(xué)表達(dá)形式可能不同，但實(shí)際上它們是相似的，都是通過對(duì)照度圖像盡可能準(zhǔn)確地估計(jì)進(jìn)而提取反射圖像，最終達(dá)到增強(qiáng)圖像的目的。不同之處在于對(duì)照度圖像估計(jì)方式的不同。

Retinex理論算法數(shù)學(xué)模型為：

[S（x，y）=R（x，y）?L（x，y）] （1）

式中：[R]表示入射分量，它決定物體的內(nèi)在性質(zhì)；[L]表示照度分量，它決定了圖像像素的動(dòng)態(tài)范圍。

通常需要將式（1）變換到對(duì)數(shù)域處理，一方面可以將復(fù)雜的乘法運(yùn)算轉(zhuǎn)換為簡(jiǎn)單的加法運(yùn)算，另一方面對(duì)數(shù)域的數(shù)據(jù)更加接近人眼的感知能力。對(duì)式（1）兩邊取對(duì)數(shù)得：

[log（S（x，y））=log（R（x，y））+log（L（x，y））] （2）

直接獲得物體的反射分量較困難，但是可以通過先對(duì)照射分量進(jìn)行估計(jì)，然后在對(duì)數(shù)域上用原圖像減去估計(jì)出的照射分量，最后得到反射分量。通常用低通濾波器對(duì)原始圖像進(jìn)行卷積估計(jì)照度分量圖像，Jobson證明了采用高斯濾波函數(shù)可以得到較好的增強(qiáng)效果：

[G（x，y）=1G（x，y）dxdye-x2+y2c2] （3）

式中：[c]為尺度參數(shù)，通過調(diào)節(jié)[c]的大小調(diào)節(jié)增強(qiáng)效果。實(shí)驗(yàn)表明，[c]越大，圖像的邊緣信息得到較好的保留，但是動(dòng)態(tài)范圍壓縮較?。籟c]越小，動(dòng)態(tài)范圍能夠得到較好的壓縮，但邊緣比較模糊。

Retinex雖然能夠在一定程度上增強(qiáng)圖像，但是它存在處理后的圖像亮度偏高、“光暈”及處理后圖像出現(xiàn)色偏等問題?！肮鈺灐贝嬖诘脑蛟谟凇翱臻g照度變化緩慢”的假設(shè)在圖像中某些部分是不成立的，比如說明暗分明的邊界、陰影等區(qū)域。算法在計(jì)算圖像的全局照度分布時(shí)所采用的高斯卷積核是各向同性的，而且為防止結(jié)果圖像顏色的失真，要求采用的卷積核尺度較大。當(dāng)尺度較大的卷積核通過明暗變化劇烈的區(qū)域時(shí)，將會(huì)嚴(yán)重模糊陰影的邊界致使模擬全局照度分布失敗，最后將導(dǎo)致輸出圖像的陰影邊界附加出現(xiàn)“光暈”現(xiàn)象，細(xì)節(jié)信息也丟失。

另外生成照度分量所用的低通濾波器通常選擇高斯濾波，為了抑制光暈，一些文獻(xiàn)提出使用雙邊濾波代替高斯濾波。這兩種濾波器帶來的卷積運(yùn)算量都和濾波器支撐域成正比，大尺度卷積核會(huì)使運(yùn)算量急劇增加，使處理過程緩慢，不能滿足實(shí)時(shí)視頻處理的要求。

2 基于Retinex的視頻自適應(yīng)增強(qiáng)算法

雖然雙邊濾波等邊緣保持濾波器能抑制“光暈”現(xiàn)象，但時(shí)間復(fù)雜度較高；而其他的算法如考慮邊緣特性的各向異性算法[14]雖然能解決問題，但稍顯繁雜。而且Retinex處理后的圖像很多時(shí)候人工痕跡較為明顯，典型表現(xiàn)為圖像明亮區(qū)域抑制過多，圖像暗區(qū)域增強(qiáng)太過，會(huì)出現(xiàn)色彩失真等不自然效果，如圖1（b）和圖2（b）所示，圖1，圖2在天空、道路及燈光處都顯得失真，Artifact明顯。

考慮自然圖像的增強(qiáng)，往往更關(guān)注暗區(qū)域部分，而對(duì)于高光區(qū)域，如果壓縮太多，會(huì)使圖像顯得不真實(shí)；另外對(duì)于非光照不足或光照不均圖像，算法處理的結(jié)果不應(yīng)該變差。為此本文考慮實(shí)際應(yīng)用中，對(duì)于處理結(jié)果自然度方面的要求較為重要，提出一種視頻增強(qiáng)算法，利用引導(dǎo)濾波消除“光暈”和提高速度，滿足實(shí)時(shí)處理要求；結(jié)合圖像全局及局部灰度特性避免明顯的人工痕跡，達(dá)到自適應(yīng)處理需要增強(qiáng)的圖像區(qū)域，同時(shí)不會(huì)影響視頻中其他正常圖像或區(qū)域質(zhì)量的目的，取得較高的視覺效果。

2.1 結(jié)合全局及局部灰度特性的自適應(yīng)Retinex

對(duì)于光照增強(qiáng)而言，一個(gè)自然的想法是對(duì)原始圖像中相對(duì)暗的區(qū)域加強(qiáng)補(bǔ)償，而對(duì)原始圖像中相對(duì)明亮的區(qū)域減少處理，從而在補(bǔ)償光照的同時(shí)減少Artifact，因此，可以利用圖像灰度特性改善Artifact。

圖像的灰度特性可以直接通過像素顏色值大小反映，針對(duì)視頻光照補(bǔ)償?shù)膽?yīng)用，本文研究提出一種補(bǔ)償系數(shù)：

[cf（x，y）=minmaxk?meanvS（x，y），0，1] （4）

式中：[k]為經(jīng)驗(yàn)常量，[k∈（0，1）；][S（x，y）]為原始圖像的像素值；[meanv]是圖像全局均值；[min]和[max]為截?cái)嗖僮鳎ＷC計(jì)算出的系數(shù)范圍在[（0，1）]內(nèi)。

上述補(bǔ)償系數(shù)綜合考慮了圖像的整體像素亮度及局部像素亮度。整體顏色均值[meanv]大小代表全局灰度特性，整體上較暗的圖像，處理后不自然度就越大，需要稍降低補(bǔ)償力度，因此[meanv]與[cf]成正比；局部像素點(diǎn)的亮度即局部灰度特性，局部暗的像素重點(diǎn)增強(qiáng)，因此[S（x，y）]與[cf]成反比，據(jù)此兩方面自適應(yīng)設(shè)置增強(qiáng)力度。對(duì)于實(shí)驗(yàn)部分圖5（a），其補(bǔ)償系數(shù)分布圖如圖3所示。

將式（4）代入式（3），可以得到新的計(jì)算公式：

[rcf（x，y）=cf（x，y）?r（x，y）+（1-cf（x，y））?S（x，y）] （5）

2.2 基于引導(dǎo)濾波的照度分量估計(jì)

引導(dǎo)圖像濾波器由He提出[15]，具有邊緣保持性質(zhì)，濾波器與引導(dǎo)圖像[I]、濾波輸入圖像[p]以及輸出圖像[q]相關(guān)，[I]和[p]預(yù)先給定，可以相同。濾波結(jié)果在像素點(diǎn)[i]處表示成一個(gè)加權(quán)平均：

[qi=jWij（I）pj] （6）

式中：引導(dǎo)圖[I]和濾波輸出[q]是一個(gè)在窗口[ωk]內(nèi)的局部線性模型：

[qi=ak?Ii+bk， ?i∈ωk] （7）

[ak]和[bk]是當(dāng)窗口中心位于[k]時(shí)上面的線性函數(shù)的系數(shù)。在該濾波算法中，影響效果的有兩個(gè)參數(shù)[r]和[ε]。[r]是窗口[ωk]的半徑，[ε]用于界定圖像局部顏色值變化大小，在窗口大小保持不變的情況下，[ε]越大，濾波效果越明顯。

利用引導(dǎo)濾波估計(jì)照度圖像，可以做到算法執(zhí)行時(shí)間與濾波核尺寸無關(guān)。

[Li=ak?Si+bk] （8）

3 實(shí)驗(yàn)

文中所有實(shí)驗(yàn)圖像來自手機(jī)拍攝視頻和影視片段，轉(zhuǎn)換到Y(jié)UV格式進(jìn)行處理。手機(jī)拍攝視頻尺寸為1 280×720，影視片段均從網(wǎng)絡(luò)電影無損截取。實(shí)驗(yàn)環(huán)境為Window 7系統(tǒng)的PC機(jī)，利用Matlab R2010b進(jìn)行編程和算法運(yùn)算。所有算法均調(diào)整至最佳效果。

為了充分驗(yàn)證所提算法的有效性，本文進(jìn)行了大量實(shí)驗(yàn)，下面選取幾組進(jìn)行對(duì)比評(píng)價(jià)。

圖4為電影開頭畫面。圖4（b）為用高斯濾波估計(jì)照度圖像的處理結(jié)果，濾波核尺寸為32×32，可以看到在明暗分明的邊界（紅色矩形框區(qū)域），出現(xiàn)了“光暈”，這是由于高斯卷積引起照度圖像邊界模糊導(dǎo)致的；圖4（c）為用引導(dǎo)濾波計(jì)算照度圖像的結(jié)果，因?yàn)榫哂羞吘壉３中裕钥梢暂^好地消除“光暈”，但對(duì)圖像高亮區(qū)域不合理的抑制，導(dǎo)致處理結(jié)果失真（紅色箭頭指向區(qū)域）；圖4（d）為本文改進(jìn)算法，引入補(bǔ)償系數(shù)，在增強(qiáng)較暗區(qū)域的同時(shí)可以使處理后圖像更加自然；圖4（e）為補(bǔ)償系數(shù)分布圖像。

圖5和圖6同樣為兩組影視截取畫面，圖5為綜藝節(jié)目《爸爸去哪兒》，整體偏暗，圖6為電影《木乃伊3》，存在高光區(qū)域。圖5（b）為使用引導(dǎo)濾波的原算法，在天空、道路及屋檐燈光處人工痕跡明顯，圖5（c）為改進(jìn)算法處理結(jié)果，在增強(qiáng)光照的同時(shí)可以保持一種很自然的風(fēng)格；圖6（b）在洞口高光及佛像處顯得不自然，而圖6（c）視覺效果更勝一籌。

4 結(jié) 語

本文著眼于視頻光照增強(qiáng)處理的實(shí)際應(yīng)用要求，基于Retinex理論自適應(yīng)補(bǔ)償系數(shù)消除人工痕跡保持自然度，利用引導(dǎo)濾波加快處理速度及避免“光暈”，滿足日常影像處理的需求。下一步的工作將關(guān)注視頻光照補(bǔ)償所產(chǎn)生的幀間亮度閃爍問題，以及圖像自然程度的定量衡量指標(biāo)。

參考文獻(xiàn)

[1] 肖燕峰.基于Retinex理論的圖像增強(qiáng)陝復(fù)算法研究[D].上海：上海交通大學(xué)，2007.

[2] YU Z Y， BAJAJ C. A fast and adaptive method for image contrast enhancement [C]// Proceedings of 2004 IEEE International Conference on Image Processing. Chicage： IEEE， 2004， 2： 1001?1004.

[3] 梁琳，何衛(wèi)千，雷蕾，等.光照不均圖像增強(qiáng)算法綜述[J].計(jì)算機(jī)應(yīng)用研究，2010，27（5）：1625?1628.

[4] 焦竹青.基于同態(tài)濾波的彩色圖像光照補(bǔ)償萬法[J].光電子·激光，2010，21（4）：602?605.

[5] ZAFAR I M， ABDUL G， MASOOD S A. Satellite image resolution enhancement using dual?tree complex wavelet transform and Nonlocal means [J]. IEEE Geoscience and Remote Sensing Letters， 2013， 10（3）： 451?455.

[6] 蔣永馨，王孝通，徐曉剛，等.一種基于光照補(bǔ)償?shù)膱D像增強(qiáng)算法[J].電子學(xué)報(bào)，2009，37（z1）：151?155.

[7] ELAD M. Retinex by two bilateral filters [C]// Proceedings of 2005 the 5th International Conference on Scale?Space. Germany： Springer， 2005： 217?229.

[8] SUN Bo， CHEN Weifang， LI Hongyu， et al. Modified luminance based adaptive MSR [C]// Proceedings of 2007 the 4th IEEE International Conference on Image and Graphics. Washington， DC： IEEE， 2007： 116?120.

[9] 吳鎮(zhèn)宇，姚洪利，杜少軍.一種自適應(yīng)的霧天降質(zhì)圖像凊晰化方法研宄[J].光電與控制，2010，17（8）：52?56.

[10] 劉欽堂.基于Retinex算法的彩色圖像增強(qiáng)研究[D].哈爾濱：哈爾濱工程大學(xué)，2012.

[11] 邵振峰，白云，周熙然.改進(jìn)多尺度Retinex理論的低照度遙感影像增強(qiáng)方法[J].武漢大學(xué)學(xué)報(bào)，2015，40（1）：32?39.

[12] 陳志斌，張超，宋巖，等.灰度拉伸Retinex在大動(dòng)態(tài)范圍煙霧圖像增強(qiáng)中的應(yīng)用[J].紅外與激光工程，2014，43（9）：3146?3150.

[13] EUNSUNG L， SANGJIN K， WONSEOK K. Contrast enhancement using dominant brightness level analysis and adaptive intensity transformation for remote sensing images [J]. IEEE Geoscience and Remote Sensing Letters， 2013， 10（1）： 62?66.

[14] 唐磊，趙春霞，王鴻南，等.基于各向異性Retinex的路面圖像陰影消除[J].中國圖象圖形學(xué)報(bào)，2008，13（2）：264?268.

[15] HE Kaiming， SUN Jian， TANG Xiaoou. Guided image filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（6）： 1397?1409.