李慧芳,沈煥鋒,張良培,李平湘

1.武漢大學測繪遙感信息工程國家重點實驗室,湖北武漢430079;2.武漢大學資源與環(huán)境學院,湖北武漢430079

一種基于變分Retinex的遙感影像不均勻性校正方法

李慧芳1,沈煥鋒2,張良培1,李平湘1

1.武漢大學測繪遙感信息工程國家重點實驗室,湖北武漢430079;2.武漢大學資源與環(huán)境學院,湖北武漢430079

提出一種基于變分Retinex的遙感影像灰度不均勻性校正方法。該方法在Retinex框架上,利用變分最優(yōu)化技術(shù)和投影歸一化最速下降法求解成像瞬間的照度分布,并以此為基礎對遙感影像的灰度不均勻性進行校正。為提高運算效率,引入多尺度數(shù)值求解的策略。利用模擬影像和真實影像進行試驗,并與傳統(tǒng)方法進行對比分析,結(jié)果表明,本文方法能夠在消除影像灰度不均勻現(xiàn)象的同時,有效保持影像本身的色彩和細節(jié)信息,同時還具有較高的運算效率。

變分Retinex;灰度不均勻;遙感影像

1 引 言

由于受到大氣、光照及傳感器系統(tǒng)內(nèi)部因素的影響,遙感影像往往呈現(xiàn)出亮度分布不均勻的現(xiàn)象,極大地影響了對地表真實情況的反映?，F(xiàn)有的遙感影像不均勻性校正方法主要包括直方圖均衡、同態(tài)濾波、Mask勻光法和 Wallis濾波法等[1-2]。直方圖均衡法是基于全局的影像亮度調(diào)整,它僅涉及像素亮度,而與像素方位無關(guān),因此僅對部分特殊影像效果較好,適用性不強。同態(tài)濾波是在頻率域的運算,它同時對圖像的低頻和高頻部分進行處理,突出高頻削弱低頻,對影像亮度不均勻性有很好的平衡作用,但其濾波函數(shù)設計及參數(shù)選定需要有一定的技巧和經(jīng)驗。Mask勻光法假設影像中的不均勻現(xiàn)象為加性噪聲,此加法模型可能會導致局部模糊和色彩失真,并且隨著影像幅度的變大,該方法中的高斯模糊窗口就要越大,運算量就會成比例增加。Wallis濾波主要針對多幅影像拼接時亮度的調(diào)整,具有效率高運算快的特點,但需提前給定灰度均值和方差,且應在單幅影像亮度均衡的基礎上進行。

變分 Retinex是一種新型的影像增強方法[3],已在近景圖像處理中得到了初步應用,并展現(xiàn)了較強的應用潛力。因此,本文將其引入到遙感影像處理中,提出一種基于變分Retinex的遙感影像灰度不均勻性校正方法,并分別給出該方法的單尺度和多尺度數(shù)值解法。利用模擬影像和真實影像進行試驗,與Mask方法進行了定量比較與分析,驗證了算法的有效性。

2 變分 Retinex理論及其數(shù)值解

2.1 Retinex理論

Retinex理論,即視網(wǎng)膜大腦皮層理論,最初由Land于20世紀70年代提出[4]。他指出影像上某點進入人眼的亮度值是該點的反射值與光照值的乘積,而通過視網(wǎng)膜和大腦皮層的神經(jīng)反饋與處理,最終感受到的是由每個點的反射值組成的影像,這一幅影像不會因為光照條件的變化而發(fā)生亮度的變化[5-6]。它是一種顏色恒常性理論。顏色恒常性是知覺恒常性的一種,它是人類的一種心理傾向[7]。Helmholtz認為色彩恒常性是人在認知事物時排除照明光線的變化,做出顏色判斷的結(jié)果[8-10],即人類視覺具有排除外界干擾,反映事物真實性質(zhì)的認知能力。隨著計算機技術(shù)的高速發(fā)展和數(shù)字圖像的出現(xiàn),計算機視覺需要具備人眼的此種特性,從而保持影像色彩的真實性。Retinex理論恰是最具影響力的色彩恒常計算理論。

根據(jù)Retinex理論,影像可以分為兩部分:光照分量與反射分量,二者的乘積即為影像本身。其基本理論模型如式(1)。

其中,(x,y)為像素點的坐標;S為原始影像;L為光照分量;R為反射率。在實際的影像獲取過程中,光照條件是不確定的,反射值也是未知的,所以在僅已知S的條件下,L和R有無數(shù)解。根據(jù)色彩恒常性理論,計算機需要排除光照L的影響,獲取反射分量R。為此,需要通過估計來獲取接近真實情況的光照分量L,處理流程如圖(1)所示。首先對原始影像S進行對數(shù)處理,可得對數(shù)域的模型s=l+r,其中,s、l和r分別是S、L和R在對數(shù)域的表示。從s中減去l的估計值^l得到^r,^r的指數(shù)變換即為輸出影像。由于反射分量僅反映物體本身的反射性質(zhì),不受外界光照影響。所以視覺上而言,輸出影像消除了原影像中由于光照引起的灰度不均勻現(xiàn)象,且保持了物體的原本色彩,突出了細節(jié)。

圖1 Retinex理論算法流程Fig.1 The algorithm flow based on Retinex theory

經(jīng)過二十多年的發(fā)展,學者們發(fā)展了多個基于Retinex理論模型的算法[11],其不同之處在于光照分量的估計方法。最早Land給出的是隨機路徑算法[4],利用模擬 Mondrian圖中的幾何關(guān)系,尋找分段的線性路徑,來確定路徑兩端點灰度間的比例關(guān)系,繼而修改終點的亮度值,但是自然圖像中的幾何路徑不易確定,極大降低了算法的效率。Frankle和McCann對隨機路徑法進行了改進[12],以回歸矩陣計算代替路徑計算,提高了運算效率,但每次回歸均需設定迭代次數(shù),該參數(shù)不確定。在Cooper和Marini的文章中[13-14],分別采用雙螺旋和布朗路徑來代替隨機路徑,提高了計算效率。以上三種算法均屬于一維路徑算法,其缺點之一是路徑長度不易確定,太短則只涉及臨近像素,比值均接近于1,太長則失去了局部性質(zhì),且消耗更多的運算時間。另外一維路徑只是尋找固定方向上的像素關(guān)系,未能充分考慮像素點與鄰域像素的關(guān)系。因此出現(xiàn)了二維Retinex算法,主要包括Jobson等改進的中心環(huán)繞算法以及Kimmel等提出的基于方程的變分算法等[3,15-16]。前者屬于窗口運算,需要設定濾波窗口的大小,且結(jié)果會產(chǎn)生光暈現(xiàn)象,為了克服這一缺點,出現(xiàn)了多尺度的中心環(huán)繞,但未能從根本上解決這一問題。后者將光照分量的獲得歸結(jié)于變分方程的求解,通過懲罰項和約束條件保證各項的取值,即光照分量和反射分量的空間連續(xù)性和平滑性,以及反射率值在[0,1]區(qū)間。此算法較好地顧及了像素和其鄰域間的關(guān)系,沒有光暈現(xiàn)象,利用投影歸一化最快下降法 (projected normalized steepest descent,PNSD)求得方程的最優(yōu)解,并在此基礎上發(fā)展了多尺度解法,提高了求解的運算效率,全局最優(yōu)解很好地模擬了影像的光照分布,對于原影像中曝光過度區(qū)域的調(diào)整也可以達到很好的效果。

2.2 遙感影像的變分Retinex校正算法

航空航天遙感影像與近景影像的成像原理基本相同,而航空航天遙感影像在成像瞬間的大氣和光照條件更加復雜,且傳統(tǒng)大氣校正方法所需的參數(shù),如大氣光學厚度、氣溶膠含量和太陽天頂角等經(jīng)常缺失。因此,將Retinex模型用于航空航天遙感影像的校正是可靠并且有價值的。其中,分離得到的光照分量可作為成像瞬間光照分布的模擬,反射分量則作為地表真實情況的反映。為了分離出均勻、連續(xù)且接近實際的光照分布,本文采用基于變分框架的模型。

2.2.1 變分框架的定義

基于Retinex理論模型,通過對實際問題的分析,提出了以下假設[3]:

1.光照分量l具有空間平滑性;

2.空間域中反射率R被限制在0到1之間,即對數(shù)域中的反射分量r≤0,故l≥s;

3.光照分量l近似于原始影像s,即使得 l與s之間的距離最小;

4.反射分量 r具有空間平滑性;

5.在影像邊界光照分量是持續(xù)光滑的。

基于以上假設,可以得到如下懲罰函數(shù),即Retinex算法的變分框架(variational framework retinex,VFR)

約束:l≥s,且在邊界?Ω上〈Δl,n〉=0

當方程取得最小值時,l即為光照分量的估計值。方程(2)中各項均為二次式,故最小化問題可歸結(jié)為二次規(guī)劃問題,對式(2)求導得歐拉-拉格朗日方程。

2.2.2 變分框架解法及其改進

上述問題可歸結(jié)為非線性最優(yōu)化問題,最常用的求解方法為梯度下降法,通過迭代公式 lj= lj-1-μG來求解。其中,G為影像梯度,即式(3)所示 F[l]對l的偏導數(shù);μ為迭代最優(yōu)化步長,如式(4)所示。

由于梯度下降法是從初始點開始,沿負梯度方向?qū)ふ揖植孔顑?yōu)點的最優(yōu)化過程,具有線性收斂速度,迭代次數(shù)越高,解越接近于理想收斂值。整體而言,該算法效率較低,且迭代初始值的選擇對于收斂速度有很大的影響。因此,為提高算法效率,可采用多尺度的PNSD解法[3]。具體處理流程如下:

1.輸入影像s,確定參數(shù)α和β;

2.利用高斯平滑建立層數(shù)為 n的影像金字塔;

3.從分辨率最低的第 n層開始,利用PNSD法解得ln;

4.對ln進行鄰域放大得l′n;

5.以l′n作為第n-1層的迭代初始值進行梯度下降法求解,直到n=1為止。

該方法以低分辨率影像光照分量的鄰域放大值作為較高分辨率影像迭代的初始值,可以極大地提高算法收斂的速度。但是,簡單的鄰域放大結(jié)果較粗糙,細節(jié)缺失,與真實情況的差距較大。因此,文中采用雙線性內(nèi)插方法獲得較高分辨率層的迭代初始值,這樣較好地模擬了細節(jié),更接近收斂值,因此結(jié)果會更優(yōu)。

3 試驗與分析

本文首先將上述算法用于模擬影像,除視覺評價外,引入定量因子對算法的性能進行評價,結(jié)論更加真實客觀,然后把算法用于兩幅真實航空遙感影像的處理,進一步證實了其有效性。

3.1 模擬數(shù)據(jù)試驗

圖2 模擬數(shù)據(jù)單波段試驗結(jié)果Fig.2 Results of the single band analog image

試驗中需要選定兩個參數(shù)α與β,其中α的值越小,對式(2)的正則化約束越強,問題越正定,而β值的選定對試驗結(jié)果影響不大,具有穩(wěn)定性。本文的試驗均設定α=0.000 01,β=0.1。分別采用Mask勻光法和變分Retinex法對圖2(b)進行處理,并將各方法的輸出影像與原始影像進行直方圖匹配,以達到與原始影像具有相同級別灰度的效果,結(jié)果如圖2(c)～(h)所示,其中(c)～(e)分別為Mask方法在高斯窗口尺寸為35、55和85下的試驗結(jié)果;(f)～(h)分別為單尺度變分、尺度為2(n=2)和3(n=3)的多尺度變分算法(multiresolution variational framework retinex,MRVFR)的試驗結(jié)果。主觀上評價,Mask方法在消除原影像陰暗遮掩,平衡影像亮度的同時,模糊了陰暗部分的細節(jié),如圖2中矩形框標識區(qū)域,而變分Retinex法則很好的保持了陰暗區(qū)域的細節(jié),但陰暗區(qū)域的右下角的卻由于邊界位置的影響,未能充分優(yōu)化,保留了小區(qū)域的陰影。這在陰暗區(qū)域不均勻分布的遙感影像中是很少出現(xiàn)的。

分別對彩色影像RGB三個波段做相同處理,彩色合成結(jié)果如圖3所示?？梢钥闯?本文所采用的方法較Mask方法在色彩的保持上有明顯的優(yōu)勢,未出現(xiàn)強烈的色偏現(xiàn)象,顯示了Retinex方法的顏色恒常特性。

圖3 模擬數(shù)據(jù)多波段試驗結(jié)果Fig.3 Results of the multi-bands analog image

為了對試驗結(jié)果進行定量評價,引入以下評價因子:

1.均方差(mean square error,MSE),是指估計值與真實值之間誤差的平方的期望,其定義為

本試驗中真實值即為降質(zhì)前的影像,估計值為試驗結(jié)果。MSE值越小,表示試驗結(jié)果越接近真實值,越理想;反之,則越不理想。

2.峰值信噪比(peak signal to noise ratio, PS N R),用于衡量處理后的影像品質(zhì),值越大,影像品質(zhì)越高,其定義為

3.運行時間(running time,RT),用于評價算法的運行效率。

4.色彩距離(color distance,Dc),所有像素在RGB色彩空間上的距離的平方的平均值,值越小,色偏越小,色彩保持度越高,該項是對彩色影像結(jié)果的評價因子,其定義為上述評價指標的統(tǒng)計值如表1。

表1 試驗結(jié)果定量評價Tab.1 Quantitative evaluation of the results

由表1可以看出,高斯窗口越大,Mask方法的MS E越小,PS N R越大,試驗結(jié)果越理想,但是運行時間明顯增長,效率降低;相比而言,VFR方法有較高的運算效率,且MS E較Mask法有所降低,PS N R值有所提高;另外,VFR結(jié)果的 Dc值較Mask方法明顯較低,體現(xiàn)了本文方法對彩色影像處理的優(yōu)勢。

由表1還可以看出,尺寸在300×300以上的影像,采用Mask方法時至少要選擇85以上的窗口尺寸;多尺度的變分Retinex算法MR-VFR極大地提高了算法效率,且運算結(jié)果具有相似的質(zhì)量,當影像尺寸較小時,單尺度或較少層數(shù)的運算速度均是可以接受的,當影像尺寸較大時,多尺度算法顯著提高了運算效率。因此,在兼顧效率和質(zhì)量的基礎上,以下針對較大幅航空影像的變分試驗選擇n=3的MR-VFR方法進行。

3.2 航空遙感影像試驗

圖4(a)為從原始航空影像截取的1 000× 1 000數(shù)據(jù),Mask方法(窗口為115)和MR-VFR (n=3)的試驗結(jié)果如圖4(b)～(e)所示,其中圖(b)為Mask方法(窗口為115)得到的光照分量,圖4(c)為其試驗結(jié)果;圖4(d)為MR-VFR方法(n=3)得到的光照分量,圖4(e)為其試驗結(jié)果。

圖4 不同方法試驗結(jié)果圖Fig.4 Results of aerial image by different methods

由兩種方法獲取的光照圖4(b)和(d)可以看出,Mask方法由于進行了大窗口的高斯運算,導致相鄰的大片區(qū)域均有相同或相似的值。在加法模型的基礎上,結(jié)果影像相當于原始影像的簡單位移,所以細節(jié)的展現(xiàn)不夠清晰;反之,窗口越小,光照影像的細節(jié)越多,造成結(jié)果影像的細節(jié)缺失更嚴重,不能很好地反映地物。這些主要都是由于高斯平滑固定窗口的設置,使得光照影像的提取不能很好地適應影像亮度的變化。而本文所采用的是一種基于最優(yōu)化理論的方法,在迭代的過程中尋找出了適合每個像素的最優(yōu)解。在乘法模型的基礎上,通過在對數(shù)域的處理,試驗結(jié)果相鄰區(qū)域的增強程度有所差異,因此細節(jié)表現(xiàn)更清晰,如圖5的局部放大圖所示,圖5(a)～(c)對應圖4(a)中實線框標識區(qū)域,圖5(d)～(f)對應圖4(a)中虛線框標識區(qū)域。

由圖5(a)～(c)可以看出,對原影像灰度值較大區(qū)域的調(diào)整,Mask方法的結(jié)果存在明顯的模糊現(xiàn)象,而變分Retinex方法則更好地保持了細節(jié),人眼更容易識別。由圖5(d)～(f)可以看出,對原亮度較亮區(qū)域的調(diào)整,Mask方法的亮度調(diào)整不夠充分,而變分Retinex方法的結(jié)果更均勻,且與暗區(qū)域的調(diào)整結(jié)果的平均亮度更接近,即達到了更好地均衡整幅影像亮度的效果。

以上兩種方法的運行時間如表2所示,可以看出,在得到相似結(jié)果的前提下,變分Retinex方法的運行效率明顯高于Mask方法。

圖5 局部放大圖對比Fig.5 Comparison of magnifying parts of the results

表2 不同方法運行時間Tab.2 Running time of different methods

試驗數(shù)據(jù)2來自武漢地區(qū)的航空影像,尺寸為400×600,影像在亮度上存在明顯的不均,且整幅影像有綠色色偏,圖6(b)、(c)分別顯示了Mask勻光法和變分Retinex方法的處理結(jié)果,可以看出,MR-VFR(n=3)的結(jié)果色彩更鮮明,更符合人眼視覺。運行速度方面,Mask85的運行時間為61.765 s,MR-VFR(n=3)的運行時間為10.359 s,速度明顯優(yōu)于Mask算法。

圖7顯示了圖6中矩形框所選部分的放大結(jié)果,可以看出,Mask方法未消除原影像的色偏現(xiàn)象,亮度較暗的區(qū)域仍存在綠色色偏,而變分Retinex方法的試驗結(jié)果則沒有色偏,整幅影像亮度均勻,色彩和諧。本試驗再次驗證了Retinex方法在保持遙感影像色彩恒常上的優(yōu)勢。

圖6 武漢航片試驗結(jié)果Fig.6 Result of the aerial image in Wuhan

圖7 武漢航片局部放大圖Fig.7 Magnifying parts of the result

4 結(jié) 論

航空航天遙感影像的亮度、色調(diào)不均勻性普遍存在,在成圖等應用前進行適當?shù)男Ｕ潜夭豢缮俚牟襟E。本文提出一種變分Retinex遙感影像不均勻性校正方法,在繼承Retinex方法優(yōu)點的基礎上,以最優(yōu)化理論為出發(fā)點從影像中尋找成像瞬間的光照情況,適用范圍廣,同時可通過多尺度的數(shù)值解法提高運算效率。利用模擬影像和真實影像進行了試驗,并與傳統(tǒng)方法進行了比較,定量評價與目視評估結(jié)果驗證了該算法對遙感影像的有效性,及其在運行時間和色彩保持上的優(yōu)勢。

[1] WANG Mi,PAN Jun.A Method of Removing the Uneven Illumination for Digital Aerial Image[J].Journal of Image and Graphics,2004,9(6):744-748.(王密,潘俊.一種數(shù)字航空影像的勻光方法 [J].中國圖象圖形學報,2004,9 (6):744-748.)

[2] ZHANG Li,ZHANG Zuxun,ZHANGJianqing.The Image Matching Based on Wallis Filtering[J].Journal of Wuhan Technical University of Surveying and Mapping,1999,24 (1):24-27.(張力,張祖勛,張劍清.Wallis濾波在影像匹配中的應用[J].武漢測繪科技大學學報,1999,24(1): 24-27.)

[3] KIMMEL R,ELAD M,SHAKED D,et al.A Variational Framework forRetinex[J]. International Journalof Computer Vision,2003,52(1):7-23.

[4] LAND E H,MCCANN J.Lightness and Retinex Theory [J].Journal of Optical Society of America,1971,61(1): 1-11.

[5] LAND E H.Recent Advances in Retinex Theory and Some Implications for Cortical Computations:Color Vision and the Natural Image[J].Proc Natl Acad Sc USA,1983,80: 5163-5169.

[6] LAND E H.An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision [J].Proceedings of the National Academy Science of the United State of America,1986,83(10):3078-3080.

[7] BRAINARD D H.Bayesian Color Constancy[J].Journal of the Optical Society of America:A,1997,14(7): 1393-1411.

[8] XIA Siyu,LI Jiuxian,XIA Liangzheng.Improved Color Image Enhancement Algorithm Based on Color Constancy [J].Journal of Nanjing University of Aeronautics & Astronautics,2006,38(z1):54-57.(夏思宇,李久賢,夏良正.基于色彩恒常性的彩色圖像增強改進算法[J].南京航空航天大學學報,2006,38(z1):54-57.)

[9] RUI Yibin,LI Peng,SUN Jintao.Images Defogging Techniques Based on Color Constancy Theory[J].Journal of Nanjing University of Science and Technology,2006,30 (5):622-625.(芮義斌,李鵬,孫錦濤.基于色彩恒常理論的圖像去霧技術(shù)[J].南京理工大學學報,2006,30(5): 622-625.)

[10] MARINI D,RIZZI A,CARATI C.Color Constancy Effects Measurement of the Retinex Theory[C]∥SPIE Conference on Color Imaging:Device-Independent Color, Color Hardcopy,and Graphic Arts IV.San Jose:SPIE, 1998:249-256.

[11] LEI Ling,ZHOU Yingqing,LI Jingwen.An Investigation of Retinex Algorithms for Image Enhancement[J]. Journal of Electronics(China),2007,24(5):697-700.

[12] FRANKLE J A,MCCANN J J.Method and Apparatus for Lightness Imaging:US,4384336[P/OL].(1983-03-17)[2009-08-15].http:∥www.google.com.hk/patents? id=TIU0AAAAEBAJ&printsec=abstract&zoom=4#v =onepage&q=&f=false.

[13] COOPER T J,BAQAI F A.Analysis and Extensions of the Frankle-McCann Retinex Algorithm[J].Journal of Electronic Imaging,2004,13(1):85-92.

[14] MARINI D,RIZZI A.A Computational Approach to Color Adaptation Effects[J].Image and Vision Computing,2000,18(13):1005-1014.

[15] JOBSON D J,RAHMAN Z,WOODELL G A.Properties and Performance of a Center/Surround Retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.

[16] RIZZI A,GATTA C,MARINI D.A New Algorithm for Unsupervised Global and Local Color Correction[J]. Pattern Recognition Letters,2003,24(7):1663-1677.

(責任編輯:叢樹平)

An Uneven Illumination Correction Method Based on Variational Retinex for Remote Sensing Image

LI Huifang1,SHEN Huanfeng2,ZHANGLiangpei1,LI Pingxiang1
1.State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing,Wuhan University,Wuhan 430079, China;2.School of Resources and Environmental Science,Wuhan University,Wuhan 430079,China

A new uneven illumination correction method for optical remote sensing image is presented.The method is based on the Retinex theory and the variational function is used to estimate the uneven illumination distribution in the imaging instant.Retinex theory addresses the problem of separating the illumination from the reflectance in a given image,which in general is an ill-posed problem.The color sensation for any area in an image does not depend on illumination but on reflectance which should be retained.In the variational Retinex framework,the projected normal steepest descent optimization method is applied to solve the function and the multi-resolution numerical solution is introduced to improve the algorithm efficiency.The proposed algorithm was tested on a synthetic image and two real aerial images.Experimental results validated that the proposed algorithm outperforms the traditional methods in terms of the calculation efficiency,the quantitative measurements and visual evaluation.

variational Retinex;uneven illumination;remote sensing image

LI Huifang(1985—),female,PhD candidate, majors in quality improvement of remote sensing image.

E-mail:huifang-lee@163.com

1001-1595(2010)06-0585-07

P237

A

國家973計劃(2009CB723905);國家自然科學基金(40801182,40930532,40771139);模式識別國家重點實驗室開放課題(09-7-1)

2009-09-15

2010-01-07

李慧芳(1985—),女,博士生,研究方向為遙感圖像質(zhì)量改善。