劉 穎, 焦淑云, 劉衛(wèi)華

(西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

基于細(xì)節(jié)特征的高動(dòng)態(tài)范圍圖像獲取算法

劉 穎, 焦淑云, 劉衛(wèi)華

(西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

為了解決真實(shí)場(chǎng)景的動(dòng)態(tài)范圍與數(shù)字圖像的動(dòng)態(tài)范圍不匹配的問(wèn)題，提出一種基于細(xì)節(jié)特征合成的高動(dòng)態(tài)范圍圖像獲取算法。該方法首先提取多幅不同曝光的低動(dòng)態(tài)范圍圖像的細(xì)節(jié)特征，細(xì)節(jié)特征值越大表明所含細(xì)節(jié)信息越多,然后將歸一化的特征值作為權(quán)重，合成多幅低動(dòng)態(tài)范圍圖像，得到一幅高質(zhì)量的合成圖。實(shí)驗(yàn)表明，該算法能得到一幅含有較豐富細(xì)節(jié)特征、動(dòng)態(tài)范圍較廣的圖像，合成圖像不需要色調(diào)映射就可以較好地在低動(dòng)態(tài)范圍顯示器上直接顯示。

高動(dòng)態(tài)范圍圖像；圖像合成；細(xì)節(jié)特征；多曝光圖像

目前，視頻監(jiān)控設(shè)備所能記錄的動(dòng)態(tài)范圍較小，對(duì)普通的8 bit成像設(shè)備來(lái)說(shuō)，獲取圖像的動(dòng)態(tài)范圍小于4個(gè)數(shù)量級(jí)[1]，而自然界中光強(qiáng)的動(dòng)態(tài)范圍很廣泛，如夜晚的星光可達(dá)1×10-3cd/m2，正午的陽(yáng)光可達(dá)1×105cd/m2，室內(nèi)的光線可達(dá)1×102cd/m2，這樣自然界所覆蓋的動(dòng)態(tài)范圍最大可達(dá)9個(gè)數(shù)量級(jí)[2]，然而人的眼睛通過(guò)瞳孔的收縮放大所能感知的動(dòng)態(tài)范圍可達(dá)10個(gè)數(shù)量級(jí)[3]。因此成像設(shè)備記錄的圖像就會(huì)造成細(xì)節(jié)信息的丟失，導(dǎo)致人眼無(wú)法看到真實(shí)場(chǎng)景的圖像。而在實(shí)際應(yīng)用中，比如刑偵圖像處理，衛(wèi)星監(jiān)控系統(tǒng)等，對(duì)圖像細(xì)節(jié)信息要求比較嚴(yán)格。

許多學(xué)者對(duì)關(guān)于獲取高動(dòng)態(tài)范圍圖像的方法作了研究，比較經(jīng)典的算法有文[4]提出的一種確定高動(dòng)態(tài)范圍成像中相機(jī)響應(yīng)曲線的方法，但因采樣有限個(gè)像素點(diǎn)，導(dǎo)致恢復(fù)出的相機(jī)響應(yīng)函數(shù)不準(zhǔn)確，容易造成真實(shí)圖像的細(xì)節(jié)信息丟失。文[5]研究采用分光技術(shù)獲取不同曝光圖像的電路系統(tǒng)。該類方法的缺點(diǎn)是對(duì)于光路設(shè)計(jì)有較高的要求，需要設(shè)計(jì)分光系統(tǒng)，而且加入中性濾鏡使得進(jìn)入相機(jī)的光線利用率不高。文[6]通過(guò)圖像分塊合成高動(dòng)態(tài)圖像。此方法是將多幅同一場(chǎng)景的不同曝光的圖像分割成相同大小的矩形塊，然后融合為質(zhì)量好的一幅圖像。由于矩形塊可能包含物體的邊緣，合成效果不好出現(xiàn)光暈現(xiàn)象，效果不好。文獻(xiàn)[7]提出了一種基于相機(jī)陣列(High Dynamic Range Imge, HDRI)合成算法。為了適應(yīng)動(dòng)態(tài)光照，該方法對(duì)相機(jī)陣列的不同相機(jī)設(shè)置的不同曝光，同時(shí)捕獲場(chǎng)景光照，并把這些不同曝光的圖像基于光場(chǎng)合成孔徑理論校準(zhǔn)到同一個(gè)平面，再經(jīng)中值位圖校準(zhǔn)合成HDRI。這個(gè)方法較為復(fù)雜，計(jì)算量很大。文獻(xiàn)[8]提出了一種多曝光融合的方法。通過(guò)采用對(duì)比度、飽和度等質(zhì)量評(píng)估方法對(duì)輸入圖像的質(zhì)量進(jìn)行分析，然后確定融合權(quán)系數(shù)，將圖像融合為一幅最佳曝光圖像,但由此方法得到的圖像色彩效果并不佳。

為了得到一幅“場(chǎng)景相關(guān)”的高動(dòng)態(tài)范圍圖像，本文提出基于細(xì)節(jié)特征的高動(dòng)態(tài)范圍圖像獲取算法。該算法避開(kāi)了分塊融合中的邊緣效應(yīng)和在傳統(tǒng)的方法中相機(jī)響應(yīng)曲線求解。融合準(zhǔn)則的確定也是一種新方法。文章的結(jié)構(gòu)安排如下：第一部分介紹合成高動(dòng)態(tài)范圍圖像的關(guān)鍵理論；第二部分對(duì)算法實(shí)驗(yàn)結(jié)果進(jìn)行分析；第三部分總結(jié)算法的創(chuàng)新之處及應(yīng)用。

1 算法關(guān)鍵理論

合成高動(dòng)態(tài)范圍圖像主要有輻照?qǐng)D重建法[4]和直接融合法[9]兩種方法。本文采用直接融合法?；诩?xì)節(jié)特征合成的高動(dòng)態(tài)圖像將不同圖像中的清晰部分提取到一幅圖像中，舍棄原來(lái)低動(dòng)態(tài)圖像中的過(guò)曝光或者欠曝光部分，獲得較清晰的圖像，同時(shí)展現(xiàn)較寬動(dòng)態(tài)范圍的真實(shí)場(chǎng)景。算法中關(guān)鍵問(wèn)題有兩個(gè)，一是如何表征圖像的細(xì)節(jié)特征，二是如何確定合成準(zhǔn)則。

1.1 區(qū)域特征提取

圖像的細(xì)節(jié)特征豐富，說(shuō)明圖像的灰度變化明顯，含有的信息量較豐富，因此，選用方差作為描述細(xì)節(jié)特征的量。

基于像素的自適應(yīng)的特征稱為區(qū)域特征，即某像素V(i,j)的區(qū)域特征描述為：以V(i,j)為中心的某個(gè)區(qū)域的特征記為該點(diǎn)的特征，選擇這個(gè)區(qū)域?yàn)橐粋€(gè)(2k+1)×(2k+1)的正方形區(qū)域，則該點(diǎn)V(i,j)的區(qū)域方差、區(qū)域均值分別定義為

(1)

(2)

某像素的區(qū)域方差表示為，在以該像素為中心的某個(gè)區(qū)域中，每個(gè)像素點(diǎn)與平均值之間差值的平方和，當(dāng)這個(gè)平方和越大時(shí)，說(shuō)明該點(diǎn)周?chē)鷪D像的像素差異越大，細(xì)節(jié)特征就越多。

考慮采用原始圖像的方差特征C(i,j)作為低動(dòng)態(tài)范圍圖像各像素點(diǎn)的特征，以此來(lái)衡量圖像的細(xì)節(jié)特征。

1.2 合成準(zhǔn)則

基于像素的細(xì)節(jié)特征確定以后，根據(jù)多幅低動(dòng)態(tài)范圍圖像中同一像素處不同的細(xì)節(jié)特征將質(zhì)量好的像素提取到最終的融合圖像中。

圖像合成中一類較簡(jiǎn)便的方法是加權(quán)平均合成法，即通過(guò)直接對(duì)多幅圖像取平均融合，得到高動(dòng)態(tài)范圍圖像的像素值

(3)

Vij是第j幅圖像像素點(diǎn)i處的像素值；p為低動(dòng)態(tài)圖像數(shù)量。w(Vij)為圖像在該點(diǎn)的權(quán)重，可表示為

(4)

此方法在文獻(xiàn)[14]中應(yīng)用過(guò)，因?yàn)?28附近的點(diǎn)不一定是最佳效果點(diǎn)，選擇式(4)作為加權(quán)系數(shù)，造成128附近的點(diǎn)較多的出現(xiàn)在最終圖像中，將多幅圖像中質(zhì)量較差的部分融合到最終的圖像中，因此，平均融合法雖然算法簡(jiǎn)單，但是融合效果不夠好。基于細(xì)節(jié)特征的加權(quán)融合算法，合成準(zhǔn)則如下。

記p幅多曝光圖像的某像素的區(qū)域特征為[C1(i,j),C2(i,j),…,Cp(i,j)]，那么權(quán)系數(shù)定義為

(5)

其中C(i,j)為第j幅圖像第i個(gè)像素點(diǎn)處的區(qū)域方差特征，wk為第k幅圖像的加權(quán)權(quán)值。最后通過(guò)

(6)

得到可視化的高動(dòng)態(tài)范圍圖像。

1.3 去噪平滑分析

實(shí)驗(yàn)通過(guò)改變國(guó)際標(biāo)準(zhǔn)化組織 (International Standards Organization，ISO)規(guī)定的感光度來(lái)獲取多幅曝光度不同的圖像。感光度增大，獲取的圖像難免存在較大噪聲。噪聲將導(dǎo)致實(shí)際像素值偏大或偏小，同時(shí)造成方差偏大，合成圖像像素值比周邊值偏亮或暗，因此，實(shí)驗(yàn)圖像首先需通過(guò)3×3的中值濾波去除由于感光度改變帶來(lái)的噪聲。

1.4 算法流程

首先，采集多幅低動(dòng)態(tài)范圍圖像，對(duì)所得圖像進(jìn)行預(yù)處理，本文使用6幅圖像。采用方差特征，對(duì)6幅低動(dòng)態(tài)圖像提取基于像素的區(qū)域特征，根據(jù)式(5)確定加權(quán)系數(shù)，最后合成6幅低動(dòng)態(tài)范圍圖像，獲得高動(dòng)態(tài)范圍圖像，再對(duì)圖像進(jìn)行平滑處理。

2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)中用到的原始圖像需滿足3點(diǎn)要求：(1)同一場(chǎng)景不同曝光度；(2)靜態(tài)圖像；(3)圖像完全配準(zhǔn)。

通過(guò)改變ISO感光度，采集6幅5 174×3 456的彩色圖像，來(lái)得到不同曝光的圖像，ISO感光度分別為100、200、400、800、1 600、3 200。這些圖像都是經(jīng)過(guò)三腳架防抖設(shè)備拍攝，因此假定圖像是完全配準(zhǔn)的。由于目前對(duì)高動(dòng)態(tài)圖像的評(píng)判沒(méi)有統(tǒng)一的客觀指標(biāo)，因此評(píng)判標(biāo)準(zhǔn)以主觀評(píng)判為主，即視覺(jué)效果評(píng)判。另外，輔加客觀指標(biāo)直方圖輔助視覺(jué)評(píng)判。

2.1 合成前后圖像的對(duì)比

圖1是同一場(chǎng)景6幅不同曝光的圖像。

(a) 原始圖像1

(b) 原始圖像2

(a) 原始圖像1

(d) 原始圖像4

(e) 原始圖像5

(f) 原始圖像6

圖1 6幅原始低動(dòng)態(tài)范圍圖像

圖2(a)是通過(guò)加權(quán)平均進(jìn)行合成的高動(dòng)態(tài)圖像，圖2(b)是本算法合成的圖像。

(a) 加權(quán)平均

(b)本算法結(jié)果

圖2(b)是通過(guò)7×7的窗實(shí)現(xiàn)原始圖像區(qū)域方差特征的提取，然后對(duì)得到的圖像通過(guò)5×5的掩膜實(shí)現(xiàn)均值濾波，以去除實(shí)驗(yàn)結(jié)果存在的邊緣不平滑效果。

算法的一個(gè)關(guān)鍵點(diǎn)是提取特征時(shí)窗大小的選擇，圖3(a)為提取方差特征時(shí)使用3×3窗的實(shí)驗(yàn)結(jié)果；圖3(b)為15×15窗的實(shí)驗(yàn)結(jié)果。

(a) 窗3合成圖像

(b) 窗15合成圖像

從圖3看出，在提取方差區(qū)域特征時(shí)，窗太小會(huì)導(dǎo)致得到的合成圖像不清晰，噪聲大；窗太大導(dǎo)致圖像邊緣較為突出，圖像較為模糊，例如：人物的頭部。因此選用7×7的窗較為合適。

2.2 主觀評(píng)判結(jié)果

從視覺(jué)角度直觀的評(píng)判加權(quán)平均后的高動(dòng)態(tài)圖像，丟失了很多原始低動(dòng)態(tài)范圍圖像的細(xì)節(jié)信息。而本算法得到的高動(dòng)態(tài)范圍圖像細(xì)節(jié)信息較多，視覺(jué)效果更好，能真實(shí)的反應(yīng)現(xiàn)實(shí)場(chǎng)景的圖像信息，較為符合人們的視覺(jué)需求，如圖4所示。

(a) 平均加權(quán)合成圖

(b) 本算法合成圖

2.3 客觀評(píng)判結(jié)果

為了更進(jìn)一步客觀的說(shuō)明本算法得到的合成圖像動(dòng)態(tài)范圍的增強(qiáng)，采用了灰度直方圖作為標(biāo)準(zhǔn)來(lái)評(píng)判合成圖像動(dòng)態(tài)范圍的變化，如圖5所示。

可以看出，經(jīng)過(guò)本算法對(duì)圖像動(dòng)態(tài)范圍進(jìn)行處理得到的最后一幅圖中，灰度值在 0 和 255 附近得到抑制，去掉過(guò)曝光點(diǎn)和欠曝光點(diǎn)，圖像亮度適中，人眼視覺(jué)效果得到改善。

(a) 原始圖像1

(b) 原始圖像2

(c) 原始圖像3

(d) 原始圖像4

(e) 原始圖像5

(f) 原始圖像6

(g) 本算法合成圖像

3 結(jié)束語(yǔ)

高動(dòng)態(tài)范圍圖像獲取算法不需要對(duì)原始低動(dòng)態(tài)范圍圖像進(jìn)行亮度域的恢復(fù)，而直接對(duì)圖像像素信息進(jìn)行處理，提取原始圖像的細(xì)節(jié)特征，得到的高動(dòng)態(tài)范圍圖像更接近于現(xiàn)實(shí)場(chǎng)景，能保留更多原始圖像的細(xì)節(jié)信息。另外，權(quán)系數(shù)確定準(zhǔn)則較常見(jiàn)的方法效果好，可以有效地保留原始信息像素點(diǎn)。

該算法可以應(yīng)用于刑偵案件的處理中，也可以應(yīng)用于攝影技術(shù)中，另外還可以應(yīng)用于其他圖像處理技術(shù)中，例如圖像分割、圖像特征提取等處理，應(yīng)用范圍較為廣泛。本算法得到的圖像視覺(jué)效果較好，但還需要對(duì)圖像質(zhì)量進(jìn)行提高，算法不適用于動(dòng)態(tài)場(chǎng)景。

[1] Nicholson A. Canon EOS 5D Mark III review[EB/OL].(2013-12-20)[2014-06-03].http://www.tech-radar.com/reviews/cameras-and-camcorders/cameras/digital-slrs-hybrids/canon-eos-5d-mark-iii-1074186/review.

[2] Robertson M A, Borman S, Stevenson R L. Dynamic range improvement through multiple exposures[C]//Proc. of 1999 IEEE International Conference on Image Process. Kobe: IEEE, 1999:159-163.

[3] Bandoh Y, Qiu G P, Okuda M, et al. Recent advances in high dynamic range imaging technology[C]//Proc. of 2010 IEEE 17th International Conference on Imaging Processing. Hongkong: IEEE, 2010: 3125-3128.

[4] Debevec P E, Malik J. Recovering high dynamic range radiance maps from photographs[C]//Proc. of Computer Graphics Annual Conference: SIGGRAPH 97 Conference. USA: ACM Press, 1997:369-378.

[5] Tocci M D, Kiser C, Tocci N, Sen P. A versatile HDR video production system[J]. ACM Transactions on Graphics, 2011,30(4):41-89.

[6] Rovidz A, Peter V. Method for merging multiple exposure color image data[C]//Proc. of International Conference on Intelligent Engineering Systems. Barbados: IEEE, 2009:27-31.

[7] 周繼權(quán),王慶. 基于相機(jī)陣列的高動(dòng)態(tài)范圍圖像合成方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2013,30(9):2859-2860.

[8] Mertens T, Kautz J, Van Reeth F. Exposure fusion[C]//15th Pacific Conference on Computer Graphics and Applications. Maui HI: IEEE, 2007: 382-390.

[9] Robertson M A, Borman S, Stevenson R L. Estimation-theoretic approach to dynamic range enhancement using multiple exposures[J]. Journal of Electronic Imaging, 2003,12(2):219-228.

[10] Park T J, Park I K. High dynamic range image acquisition using multiple images with different apertures[J]. Optical Engineering, 2012,51(12):127002.1-127002.7.

[11] Jinno T, Okuda M. Multiple exposure fusion for high dynamic range image acquisition[J]. IEEE Transactions on Image Processing, 2012,21(1):358-365.

[12] An J, Lee S H, Kuk J G, et al. A multi-exposure image fusion algorithm without ghost effect[C]//Proc. of Acoustics, Speech and Signal Processing: IEEE International Conference. Prague: IEEE, 2011:1565-1568.

[13] Sen P, Kalantari N K, Yaesoubi M,et al. Robust patch-based HDR reconstruction of dynamic scenes[J]. ACM Transactions on Graphics, 2012,31(6):1-11.

[14] Vuong Q K, Yun S H, Kim S. A new auto exposure and auto white-balance algorithm to detect high dynamic range conditions using CMOS technology[C]//Proc of the World Congress on Engineering and Computer Science. San Francisco, USA: IEEE, 2008:205-210.

[責(zé)任編輯:祝劍]

High dynamic range image acquisition based on detail features

LIU Ying, JIAO Shuyun, LIU Weihua

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

In order to eliminate the gap between the dynamic range of the real scene and that of digital images, an acquisition algorithm based on detail features is proposed. Firstly, the detail features of low dynamic range images in different exposures in terms of detail feature are extracted. It is obvious that large detail feature indicates more details. Secondly, the normalization of local feature are served as weights in image fusion. Finally, a high quality image is generated. Experiments show that the proposed method can provide fusion results with richer details and wider dynamic range. Moreover, the high dynamic range image acquired can be clearly shown on low dynamic range displaying device without tone-mapping work.

high dynamic range image, image fusion, detail feature, multiple exposure images

10.13682/j.issn.2095-6533.2014.06.004

2014-06-03

國(guó)家自然科學(xué)基金青年資助項(xiàng)目(61202183)；陜西省國(guó)際科技合作計(jì)劃基金資助項(xiàng)目(2014KW01-01，2013KW04-05)；西安郵電大學(xué)校青年教師科研基金資助項(xiàng)目(ZL-2012-01)

劉穎(1972-)，女，博士，高級(jí)工程師，從事圖像檢索及圖像/視頻特征分析研究。E-mail:ly_yolanda@sina.com 焦淑云(1988-)，女，碩士研究生，研究方向?yàn)楦邉?dòng)態(tài)范圍成像。E-mail: jsysmile@126.com

TP391.41

A

2095-6533(2014)06-0017-05