劉黎明
(中國船舶重工集團公司第七二三研究所,江蘇 揚州 225001)
多尺度Retinex圖像增強應用中的彩色空間選擇
劉黎明
(中國船舶重工集團公司第七二三研究所,江蘇 揚州 225001)
研究了基于Retinex理論的圖像增強算法,介紹了圖像和視頻處理中常用的RGB、HSV、YIQ、YCbCr和Lab5種顏色空間,給出了均方誤差(MSE)、峰值信噪比(PSNR)、信息熵、彩色增強因子(CEF)和結構相似度(SSIM)5個圖像質量評價指標的計算公式,并用這5個指標評價了CLAHE算法在5種顏色空間上的增強效果。實驗結果表明,相比于其它4種顏色空間,多尺度Retinex算法在HSV顏色空間上取得了最好的增強效果。
圖像增強;Retinex理論;多尺度;顏色空間
Retinex理論是Land等人在1971年提出的一種關于人類視覺的光亮度和色彩感知模型[1],Retinex是由Retina (視網(wǎng)膜)和Cortex (腦皮層)2個單詞組成,全稱是視網(wǎng)膜腦皮層理論。該理論認為人類在感知物體表面顏色時,與物體表面的反射特性密切相關,而與投射到人眼的光譜特性關系不大,也就是說人眼感知物體的表面顏色不受光照變化的影響,具有色彩常恒性。目前,Retinex理論已廣泛應用于遙感、醫(yī)學、紅外、可見光等圖像的對比度增強處理和去霧處理中[2-5]。
經(jīng)學者們的不斷研究,現(xiàn)已出現(xiàn)多種不同形式的Retinex算法。第1個Retinex算法是Land等人提出的一種隨機路徑算法[1],其基本思路是比較像素的選擇,是從當前圖像像素的鄰域中隨機產生的,該算法缺陷在于參數(shù)不易確定。此后,學者們分別提出了基于泊松方程的Retinex算法[6]、McCann's Retinex算法[7]、單尺度Retinex算法[8]、多尺度Retinex算法[9]、帶色彩恢復的多尺度Retinex算法[10]、變分Retinex算法[11]等。其中,多尺度Retinex算法具有較大的動態(tài)壓縮范圍和較高的色彩保真度,故最引人關注。不過,大部分學者關注的是如何選擇多尺度Retinex算法中的參數(shù),包括尺度個數(shù)、尺度大小和權重,而少有人研究多尺度Retinex算法在什么顏色空間中能獲得更好的增強效果。為此,本文的研究目標就是通過某些準則來客觀評估多尺度Retinex算法在各種彩色空間中的圖像增強效果。
本節(jié)將介紹Retinex理論基礎、單尺度Retinex和多尺度Retinex。
1.1 Retinex理論基礎
根據(jù)Land 提出的Retinex 模型,原始圖像S(x,y)可分解為光照圖像L(x,y)與反射圖像R(x,y)的乘積,數(shù)學表達式為:
(1)
原始圖像S(x,y)是人眼觀察到的圖像,光照圖像L(x,y)決定了圖像的動態(tài)范圍,而反射圖像R(x,y)包含了圖像中物體的細節(jié)特征。因此,在原始圖像中去除或降低照射圖像的影響,并保留能反映物體本質特征的反射屬性是Retinex理論的基本思想。針對公式(1)而言,為了將復雜的乘積形式變成簡單的加減運算,可將公式(1)放入對數(shù)域處理,即有:
(2)
式中:s(x,y)=ln(S(x,y));l(x,y)=ln(L(x,y));r(x,y)=ln(R(x,y))。
Retinex算法流程如圖1所示。
1.2 單尺度Retinex(SSR)
SSR在二維路徑的前提下,選取高斯函數(shù)作為卷積核函數(shù),估計出光照分量,再用對數(shù)運算去除光照分量。SSR的數(shù)學表達式為:
r(x,y)=ln(R(x,y))=ln(S(x,y))- ln(S(x,y)*G(x,y))
(3)
式中:r(x,y)為反射分量;S(x,y)*G(x,y)為光照分量的估計,符號“*”表示卷積運算,G(x,y)為高斯環(huán)繞函數(shù),相當于一個高斯模板。
G(x,y)的表達式為:
(4)
SSR無法同時在動態(tài)范圍壓縮、細節(jié)保持、色彩保真度、邊緣銳化上取得最佳效果,進而有人提出了多尺度Retinex。
1.3 多尺度Retinex(MSR)
MSR與SSR的本質相同:都是用高斯環(huán)繞函數(shù)與原圖像做卷積運算,得到對光照圖像的估計,進而得到反應物體本質特征的反射圖像。MSR就是將多個SSR的結果進行加權求和,其數(shù)學表達式為:
(5)
式中:Gk(x,y)為第k個高斯環(huán)繞函數(shù);wk為第k個高斯的權重;K為尺度個數(shù)。
當K=1時,MSR退化為SSR。一般情況下,取K=3,這樣3個尺度參數(shù)分別取小尺度、中尺度和大尺度,從而使得MSR兼?zhèn)淞薙SR低、中、高3個尺度的優(yōu)點,而權重一般取平均值,即有w1=w2=w3=1/3。至于尺度參數(shù)的具體取值,對于百萬像素內的圖像,文獻[11]建議3個尺度參數(shù)分別取15、80和250,故本文實驗中也使用這3個尺度參數(shù)。
本文選用了5種常用的顏色空間來測試多尺度Retinex的性能,它們分別是RGB顏色空間[12]、HSV顏色空間[13]、YCbCr顏色空間[14]、YIQ顏色空間[15]、Lab顏色空間[16]。此外,選用了均方差(MSE)、峰值信噪比(PSNR)、信息熵(ER)、彩色增強因子(CEF)[15]、結構相似度(SSIM)[17]和計算耗時共6個指標來評價各顏色空間輸出圖像的增強效果。
圖2~圖5給出了5種顏色空間在不同圖像上的增強效果對比圖,即主觀評價;圖6~圖10為5種顏色空間對應MSE、PSNR、ER、CEF、SSIM這5個指標在20幅圖像上的分布,表1給出5種顏色空間的6種指標在20幅圖像上的平均值,即客觀評價。
從主觀評價來看,多尺度Retinex算法在5種顏色空間上處理后都得到了比原圖像好的結果,即都有所增強?;赗GB、YCbCr、Lab這3種顏色空間的增強圖像在對比度增強方面優(yōu)于其他2種顏色空間,但有時過度增強使得圖像有點泛白,導致色彩失真比較嚴重,還會引入噪聲。在HSV和YIQ顏色空間上得到的結果具有較高的色彩保真度。
對于客觀評價,MSE值越小,表示失真越小,5種顏色空間中對應HSV的MSE值最小,其次是YIQ;PSNR值越大,表示信噪比提升得越多,5種顏色空間中對應HSV的PSNR值最大,其次是YIQ;ER值越大,表示從圖形中可以獲得信息內容越多,5種顏色空間中對應RGB的ER值最大,其次是HSV;CEF值越大,表示色彩越豐富,5種顏色空間中對應RGB的CEF值最大,其次是HSV;SSIM越大,表示與原圖像越相似,5種顏色空間中對應HSV的SSIM值最大,其次是YIQ;對于計算耗時來說,越小越好,5種顏色空間中對應YCbCr的計算耗時最小,其次是YIQ,雖然RGB顏色空間不存在轉換問題,但由于需要在每個顏色通道做一次多尺度Retinex算法,而其他顏色空間僅僅在亮度通道上實施多尺度Retinex算法,故基于RGB顏色空間的計算耗時反而大于其他顏色空間。故從客觀評價來看,總體上來說,多尺度Retinex算法在HSV彩色空間中取得的圖像增強效果好于其他4種顏色空間。
表1 5種顏色空間的6種指標的平均值
本文首先研究了Retinex理論、單尺度Retinex算法和多尺度Retinex算法,接著介紹了RGB顏色空間、HSV顏色空間、YIQ顏色空間、YCbCr顏色空間、Lab顏色空間等5種顏色空間,給出了MSE、PSNR、信息熵、CEF、SSIM這5種圖像質量評價指標的計算公式,并用這5個指標和計算耗時共6個指標對多尺度Retinex算法在5種顏色空間上的增強效果做評價。實驗結果表明,總體來說,多尺度Retinex算法在HSV顏色空間上取得的增強效果好于其他4種彩色圖像。
雖然多尺度Retinex算法對霧天圖像和夜色圖像都有一定的增強,但由于在實驗中的參數(shù)是固定的,故不能取得很好的增強效果,下一步將研究如何利用梯度和紋理等信息來自動設置算法中的某些參數(shù),以獲取更好的增強效果。
[1] LAND E H,MCCANN J J.Lightness and retinex theory[J].Journal of The Optical Society of America,1971,61(1):1-11.
[2] 趙忠明,朱重光.遙感圖像中薄云的去除方法[J].遙感學報,1996,11(3):195-199.
[3] 王彥臣,李樹杰,黃康卿.基于多尺度Retinex的數(shù)字X光圖像增強方法研究[J].光學精密工程,2006,14(1):70-77.
[4] 劉瑞劍, 陳樹越, 張甲杰.多尺度Retinex算法在紅外圖像增強中的應用[J].彈箭與制導學報,2008,28(4):193-195.
[5] RAHMAN Z U,JOBSON D J,WOODELL G A.Retinex processing for automatic image enhancement [J].Journal of Electronic Imaging,2004,13(1):100-110.
[6] HORN B K P.Determining lightness from an image [J].Computer graphics and image processing,1974,3(4):277-299.
[7] FUNT B,CIUREA F,MECANN J.Retinex in matlab [J].Journal of Electronic Imaging,2004,13(1):48- 57.
[8] JOBSON D J,RAHMAN Z U,WOODELL G A.Properties and performance of a center/surround retinex [J].IEEE Transactions on Image Processing,1995(6):451-462.
[9] RAHMAN Z U,JOBSON D J,WOODELL G A.Multi-scale retinex for color image enhancement [C]//Proceedings of The International Conference on Image Processing,Lausanne:IEEE,1996:1003-1006.
[10]JOBSON D J,RAHMAN Z U,WOODELL G A.A multi-scale Retinex for bridging the gap between color images and the human observation of scenes [J].IEEE Transactions on Image Processing,1997,6(7):965- 976.
[11]ELAD M,KILNMEL R,SHAKED D,et al.Reduced complexity Retinex algorithm via the Variational approach [J].Journal of Visual Communication and Image Representation,2003,14(l):369-388.
[12]MURAHIRA K.Hue-preserving color image enhancement in RGB color space with rich saturation [C]// International Symposium on Intelligent Signal Processing and Communications Systems (ISPACS).New Taipei:IEEE,2012:266-269.
[13]REN C C,YANG J G.A novel color microscope image enhancement method based on HSV color space and curvelet transform [J].International Journal of Computer Science Issues,2012,9(2):272-277.
[14]LEE S,KWAK Y,KIM Y J,et al.Contrast-preserved chroma enhancement technique using YCbCr color space[J].IEEE Transactions on Consumer Electronics,2012,58(2):641-645.
[15]LAL S,NARASIMHADHAN A V,KUMAR R.Automatic method for contrast enhancement of natural color images [J].Journal of Electrical Engineer & Technology,2015,10(3):1233-1243.
[16]CHO Y H,KIM Y T,LEE H K,et al.Color image enhancement technique using gamut mapping based on color space division [C]//Electronic Imaging 2003.International Society for Optics and Photonics,2003:81-91.
[17]WANG Z,BOVIK A C,SHEIKH H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.
Color Space Selection for Multi-scale Retinex Image Enhancement Application
LIU Li-ming
(The 723 Institute of CSIC,Yangzhou 225001,China)
This paper studies the image enhancement algorithm based on Retinex theory,introduces five color spaces:RGB,HSV,YIQ,YCbCrandLab,which are often used in image and video processing domain,gives the calculation formulas of five image quality evaluation indexes:mean square error (MSE),peak signal to noise ratio (PSNR),entropy,color enhancement factor (CEF),structural similarity (SSIM),which are used to evaluate the enhancement effect of CLAHE algorithm on five color spaces.The experimental results show:comparied with other four color spaces,multi-scale Retinex algorithm inHSVcolor space has achieved the best enhancement effect.
image enhancement;Retinex theory;multi-scale;color space
2016-05-12
TN911.73
A
CN32-1413(2017)01-0068-06
10.16426/j.cnki.jcdzdk.2017.01.015