劉 穎, 張 鳳, 伍世虔, 劉衛(wèi)華
(1.西安郵電大學 通信與信息工程學院,陜西 西安 710121;2.武漢科技大學 機械自動化學院,湖北 武漢 430081)
?
計算與測試
高動態(tài)范圍圖像全局與局部色調(diào)映射的融合*
劉穎1, 張鳳1, 伍世虔2, 劉衛(wèi)華1
(1.西安郵電大學 通信與信息工程學院,陜西 西安 710121;2.武漢科技大學 機械自動化學院,湖北 武漢 430081)
針對高動態(tài)范圍(HDR)圖像顯示于普通顯示設備的問題,提出一種新的結(jié)合全局與局部的色調(diào)映射方法,先對高動態(tài)范圍圖像分別進行全局和局部的映射,對所得的圖再各自進行曲波分解,然后對分解系數(shù)進行加權融合。用5組HDR圖進行驗證,結(jié)果表明:用該方法得到的圖像有更好的視覺效果。
高動態(tài)范圍圖像; 全局色調(diào)映射; 局部色調(diào)映射; 曲波變換
高動態(tài)范圍(high dynamic range,HDR)成像能夠展示出自然場景的實際亮度動態(tài)范圍,一般能夠達到9個數(shù)量級[1],從而擁有豐富的細節(jié)、清晰的視覺感受。普通的顯示設備只有2個數(shù)量級,不能直接顯示HDR圖像。而要想在普通的顯示設備上顯示 HDR圖像,則需要對其映射以壓縮色調(diào)。
文獻[2]中總結(jié)了各種HDR圖像色調(diào)映射算法。1993年,Tumblin J等人[3]將色調(diào)映射概念引入計算機圖形學。2002年,Reinhard E等人[4]提出了基于攝影法的色調(diào)映射方法。Krik A G等人[5]提出了一種針對弱光場景下的基于視覺感知的階調(diào)壓縮方法。Ferradans S等人[6]提出一種符合人類視覺模型的全局映射方法,并對局部對比度進行了增強。2004年,F(xiàn)airchild M D等人[7]首次提出了基于圖像色貌模型框架的HDR圖像可視化算法。2007年,Kuang J等人[8]基于圖像色貌模型和雙邊濾波分層技術提出了一種新的局部算法。每種方法都具有一定的針對性,為了使更大范圍的HDR圖像映射后都能得到高質(zhì)量的低動態(tài)范圍(low dynamic range,LDR)圖像,本文提出一種新的結(jié)合全局與局部的色調(diào)映射方法,對分別映射的結(jié)果組合后重構(gòu)圖像,以獲取高質(zhì)量的LDR圖。
基于全局映射和局部映射的結(jié)果進行融合,先對HDR圖像分別進行全局和局部的映射,對得到的兩幅圖進行曲波變換,分別對其變換系數(shù)進行融合,然后重構(gòu)LDR圖像。算法流程如圖1所示。
圖1 色調(diào)映射融合框架
1.1全局色調(diào)映射
在全局算法[4]中,首先,計算整幅圖像的平均對數(shù)亮度值為
(1)
式中N為圖像像素總和數(shù),LW(x,y)為位置(x,y)處的像素值,σ為一個修正值。平均像素亮度總是被映射到平均關鍵場景顯示范圍的a倍上
(2)
式中a為為亮度比例常數(shù),其值從0到1。使用式(3)將L(x,y)映射到顯示設備的Ld(x,y),即
(3)
(4)
式中satu為指數(shù)變換參數(shù),指數(shù)變換的作用是擴展圖像的高灰度級、壓縮低灰度級。
1.2局部色調(diào)映射
ReinhardE提出運用遮光—曝光的局部色調(diào)映射算法文獻[4]來壓縮動態(tài)范圍,其基本思想是對每一個像素找到其周圍反差不超過閾值的最大環(huán)繞域,根據(jù)其環(huán)繞域亮度信息選擇不同的a。首先,要找到目標像素點最大環(huán)繞域半徑,其滿足
|V(x,y,smax)|<ε
(5)
當smax在位置(x,y)的像素得到最大值的時候,對應的最大亮度環(huán)繞域的平均像素亮度為V(x,y,smax),局部映射的算法公式
(6)
1.3曲波變換
CandésEJ和DonohoDL于1999 年提出曲波變換論[9],2002年,CandésEJ等人又提出了實現(xiàn)更簡單、更便于理解的快速曲波變換算法[10],2005年,CandésE等人給出了兩種基于第二代Curvelet變換理論的快速離散實現(xiàn)方法[11]。以笛卡爾坐標系下的二維離散信號f(n1,n2),0≤n1,n2 (7) 如圖2融合方法:由于全局映射結(jié)果的整體效果很好,局部映射結(jié)果的局部細節(jié)更豐富,粗尺度融合規(guī)則取全局映射的粗尺度,細尺度融合規(guī)則為局部映射和全局映射高頻系數(shù)的加權和。當所對應的細尺度塊的值相差很大時,有可能是噪聲,權值采用0.5,0.5,反之,則是全局所丟掉的細節(jié)信息,此時權值采用全局0.3,局部0.7。經(jīng)過大量實驗表明:此閾值設為2 000較為合適。如果太大,則會引入噪聲或光暈;如果太小,則會丟失細節(jié)信息。 圖2 Curvelet 融合規(guī)則 本文對5組高動態(tài)范圍圖像(見圖3所示)進行了實驗,該5組圖像的內(nèi)容和動態(tài)范圍有很大差異,實驗結(jié)果包括主觀評判和客觀評價。 圖3 實驗樣圖 2.1主觀評價 實驗選了gove D和office 2組圖進行細節(jié)對比。 圖4 grove D映射結(jié)果細節(jié)分析 圖5 Office映射結(jié)果細節(jié)分析 由實驗細節(jié)圖很容易看到,如圖4中樹干左邊的樹枝和圖5中窗外的樹,在全局里映射樹枝細節(jié)有丟失,而局部映射有細節(jié)但是圖像整體比較黑,平均加權后依然還是細節(jié)不完整,而曲波融合得到了整體對比對相對較好的圖。 2.2客觀評價 使用了 Yeganeh H等人[12]提出的專用于色調(diào)映射圖像的客觀評價方法。分別用S,N,Q代表結(jié)構(gòu)保真度、 自然度和質(zhì)量分數(shù)。S越大,其圖像細節(jié)越豐富,其與N和Q一起綜合展現(xiàn)LDR圖與HDR圖的相關信息。得到圖3中的3幅圖像的客觀評價量如表1 所示,從中可以看出,客觀評價和理論分析一致。曲波融合則有相對平衡的客觀評價,使其主觀視覺相對較好。 表1 HDR圖像映射結(jié)果的結(jié)構(gòu)保真度測量 曲波融合則有相對平衡的客觀評價,使其主觀視覺相對較好。 為了取得更好的視圖效果,將曲波變化應用到映射的融合重建上,在粗尺度部分保留全局的框架,細尺度部分加權融合,選擇性地提取局部算法結(jié)果里細節(jié)信息,結(jié)果表明:采用該方法所得的圖像有更高的細節(jié)保持,更好的視覺效果。 該算法也可應用于圖像處理技術中的預處理,例如刑偵案件的處理中圖像檢索[13],圖像特征提取的提取,圖像增強,圖像分割等,也可以應用于攝影技術中。 [1]Robertson M A,Borman S,Stevenson R L.Dynamic range improvement through multiple exposures[C]∥Proc of 1999 IEEE International Conference on Image Process,Kobe:IEEE,1999:159-163. [2]王作省,鄒少芳,王章野.高動態(tài)圖像色調(diào)映射技術新進展[J].計算機應用研究,2010,27(7):2421-2424. [3]Tumblin J,Rushmeier H.Tone reproduction for realistic image-s[J].IEEE Computer Graphics and Applications,1993,13(6):42-48. [4]Reinhard E,Stark M,Shirley P,et al.Photographic tone reproduction for digital images[J].ACM Trans on Graphics,2002,21(3):267-276. [5]O’Brien Kirk A G.Perceptually-based tone mapping for low-light conditions[J].ACM Transations on Graphics,2011,42:1-10. [6]Ferradans S,Bertalmio M,Provenzi E,et al.An analysis of visual adaptation and contrast perception for tone mapping[J].Pattern Analysis and Machine Intelligence,2011,33(10):2002-2012. [7]Fairchild M D,Johnson G M.The iCAM framework for image appearance,difference and quality[J].Journal of Electronic Imaging,2004,13(1):126-138. [8]Kuang J,Yamaguchi H,Liu C,et al.M.D,Evaluating HDR rendering algorithms[J].ACM Trans on Applied Perception,2007,4(9):1-27. [9]Candes E J.Monoscale ridgelets for the representation of images with edges[R].Stanford:Stanford University,1999:1-26. [10] Donoho D L,Flesia A G.Digital ridgelet transform based on true ridge functions[M].Pittsburgh:Academic Press,2002:1-33. [11] Candès E,Demanet L,Donoho D,et al.Fast discrete curvelet transforms[J].Multiscale Modeling & Simulation,2005,5(3):861-899. [12] Yeganeh H,Wang Z.Objective quality assessment of tone-mapped images[J].IEEE Transactions on Image Processing,2013,22(2):657-667. [13] 劉穎,范九倫,李宗,等.現(xiàn)勘圖像數(shù)據(jù)庫檢索技術實例探討[J].西安郵電大學學報,2015,20(3):1-20. Fusion of global and local tone mapping for high dynamic range images* LIU Ying1, ZHANG Feng1, WU Shi-qian2, LIU Wei-hua1 (1.Shool of Communication and Information Engineering,Xi’an University of Posts and Telecommunications,Xi’an 710121,China; 2.School of Machinery and Automation,Wuhan University of Science and Technology,Wuhan 430081,China) In order to solve problem that high dynamic range(HDR)image displays weakly on ordinary devices,propose a new method which combines global and local tone mapping together.The first step is to map HDR image with global and local method respectively,and then,Curvelet transform is applied to the obtained image.The next step is to weighting fuse decomposition coefficients.Five groups of images are used for verification,and results show that the image obtained using the proposed method has better visual effect. high dynamic range(HDR)images; global-based tone mapping; local-based tone mapping; Curvelet transform 10.13873/J.1000—9787(2016)09—0118—03 2015—12—25 國家自然科學基金資助項目(61371190); 國家自然科學基金青年基金資助項目(61202183); 陜西省國際科技合作計劃資助項目(2013KW04—05,2014KW01—01); 西安郵電大學青年教師科研基金資助項目(ZL2013—04) TP 391 B 1000—9787(2016)09—0118—03 劉穎(1972-),女,陜西西安人,博士,高級工程師,從事圖像檢索研究。2 實驗結(jié)果
3 結(jié)束語