舒 妮，陳孝威

（貴州大學(xué) 計(jì)算機(jī)科學(xué)與信息技術(shù)學(xué)院，貴州 貴陽(yáng)550025）

0 引 言

現(xiàn)實(shí)世界是一個(gè)動(dòng)態(tài)范圍很大的場(chǎng)景。如正午日光與夜晚星光就相差高達(dá)10個(gè)亮度等級(jí)。這種大動(dòng)態(tài)范圍的場(chǎng)景，對(duì)于目前已經(jīng)得到廣泛使用的CCD/CMOS這類(lèi)圖像傳感器來(lái)說(shuō)，很難獲得理想的圖像。太亮的區(qū)域，攝像機(jī)為飽和輸出。太暗的區(qū)域，從圖像中根本無(wú)法分辨出被攝對(duì)像。嚴(yán)重影響了基于圖像的后續(xù)處理技術(shù)的效果，如基于圖像的建模和繪制技術(shù)［1－2］，基于圖像序列的全景圖拼接技術(shù)［3－4］等。

高動(dòng)態(tài)范圍圖像（high dynamic range image，HDRI）［5］是一種新的圖像格式，其記錄的數(shù)據(jù)正比于實(shí)際場(chǎng)景中對(duì)應(yīng)點(diǎn)的實(shí)際亮度值，它可以逼真地描述亮度大范圍變化場(chǎng)景的光學(xué)信息，有效呈現(xiàn)自然世界的真實(shí)色彩。常見(jiàn)的HDRI存儲(chǔ)格式有Radiance的RGBE格式，ILM的OpenEXR格式，Pixar的log－encoded TIFF格式等［6］。本文采用32bit/pixel的RGBE格式存儲(chǔ)高動(dòng)態(tài)范圍圖像。

高動(dòng)態(tài)范圍圖像最常用的獲取方式是通過(guò)對(duì)同一場(chǎng)景不同曝光量圖像序列的合成。為此，我們需要根據(jù)場(chǎng)景不同區(qū)域的亮度調(diào)節(jié)曝光時(shí)間拍攝多幅圖像，一幅圖像只能逼真描述某一亮度范圍。然后采用高動(dòng)態(tài)范圍圖像技術(shù)，將多幅圖像合成為一幅高動(dòng)態(tài)范圍圖像，用這一幅圖像就可以逼真地描述亮度大范圍變化的場(chǎng)景。

1 高動(dòng)態(tài)范圍圖像合成的基本原理

1.1 高動(dòng)態(tài)范圍圖像合成的一般過(guò)程

高動(dòng)態(tài)范圍圖像目前的獲取方式［7－11］主要是通過(guò)對(duì)同一場(chǎng)景不同曝光量圖像序列的合成。主要有以下兩個(gè)過(guò)程［12］：①通過(guò)圖像序列標(biāo)定出相機(jī)響應(yīng)曲線(xiàn)［13］，即獲得相機(jī)的曝光量H與圖像像素值V之間關(guān)系曲線(xiàn)。②通過(guò)相機(jī)響應(yīng)曲線(xiàn)，求得真實(shí)場(chǎng)景亮度值E。由于曝光量H是場(chǎng)景亮度值E與曝光時(shí)間t的乘積，通過(guò)相機(jī)響應(yīng)曲線(xiàn)，很容易求得場(chǎng)景亮度值E。

合成出的高動(dòng)態(tài)范圍圖像，最終在低動(dòng)態(tài)顯示設(shè)備（即普通顯示設(shè)備）或者高動(dòng)態(tài)顯示設(shè)備上顯示出來(lái)?；玖鞒虉D如圖1所示。

圖1 高動(dòng)態(tài)范圍圖像合成基本流程

本文主要研究高動(dòng)態(tài)范圍圖像合成中的相機(jī)響應(yīng)曲線(xiàn)擬合算法。

1.2 相機(jī)響應(yīng)曲線(xiàn)的擬合

設(shè)像素值V與相機(jī)獲得的曝光量H之間具有如下關(guān)系

式中：f—— 一個(gè)非線(xiàn)性函數(shù)，i——圖像中像素位置的索引，j——圖像的索引。通常，曝光量越大，獲取的圖像像素值就越大。所以我們可以把函數(shù)f看成是一個(gè)單調(diào)增函數(shù)。

對(duì)式 （1）求反函數(shù)，得

因?yàn)镠ij＝Ei△tj，其中Ei為相機(jī)在第i個(gè)位置接收到的照度，即場(chǎng)景的真實(shí)亮度?！鱰j為拍攝第j幅圖像時(shí)的曝光時(shí)間。則式 （2）可以表示為

兩邊同時(shí)取對(duì)數(shù)并令F（Vij）＝lnf－1（Vij），則

式中：△tj、Vij——已知的，F(xiàn)（Vij）、Ei——未知的，由于Vij是0－255的整數(shù)，所以我們只要計(jì)算出256個(gè)F（Vij）就可以了。我們通過(guò)求解最小二乘目標(biāo)函數(shù) （5）來(lái)求解。

式中：M——圖像的幅數(shù)，N——采樣點(diǎn)的個(gè)數(shù)。為了使擬合的曲線(xiàn)更平滑，我們加入平滑項(xiàng)F" （v）＝F（v－1）－2F（v）＋F（v＋1）。由于像素值靠近0與255的像素點(diǎn)的曝光往往不夠穩(wěn)定［14］，因此可以加上一個(gè)三角權(quán)值函數(shù)來(lái)加以約束，其表達(dá)式為

形成的最終表達(dá)式為

在式 （7）中，需要求解的未知量為256個(gè)F（v）和N個(gè)lnEi，共256＋N個(gè)。

由式 （7）可知，每一幅圖像的每一個(gè)采樣點(diǎn)對(duì)應(yīng)一個(gè)方程式，共有N＊M個(gè)方程式。設(shè)像素值128擁有單位曝光量，即F（128）＝0，則共有M＊N＋1個(gè)方程式。只要滿(mǎn)足式 （8）

則方程個(gè)數(shù)大于等于未知量個(gè)數(shù)，我們就可以用奇異值分解的方法求解這個(gè)最小二乘解，求解出相機(jī)的響應(yīng)曲線(xiàn)，即F（V）。

采樣點(diǎn)的選取是非常微妙的。有學(xué)者提出，好的采樣點(diǎn)應(yīng)具備以下一些特性［15］：①空間分布比較均勻。②盡量覆蓋圖像的所有亮度。③來(lái)自比較平滑的區(qū)域。

但通常很難獲得同時(shí)滿(mǎn)足這些條件的點(diǎn)。

目前一般采用隨機(jī)采樣并對(duì)采樣點(diǎn)加以梯度限制或者均勻分布采樣并對(duì)采樣點(diǎn)加以梯度限制對(duì)圖像序列進(jìn)行采樣，這種采樣方式?jīng)]有充分利用每幅圖像像素信息及圖像序列之間像素值的關(guān)系，擬合出的相機(jī)響應(yīng)曲線(xiàn)不夠平滑，而且隨著采樣點(diǎn)的變化曲線(xiàn)變化大，不穩(wěn)定。

1.3 高動(dòng)態(tài)范圍圖像的合成

融合所有的M幅原圖像來(lái)計(jì)算每個(gè)像素照度值E的對(duì)數(shù)lnE

2 本文的相機(jī)響應(yīng)曲線(xiàn)算法

相機(jī)響應(yīng)曲線(xiàn)是相機(jī)獲得的曝光量H與圖像像素值V之間的關(guān)系曲線(xiàn)，是合成高動(dòng)態(tài)圖像的關(guān)鍵技術(shù)。理想的相機(jī)響應(yīng)曲線(xiàn)是平滑的，并且是單調(diào)不減的。目前，通常先對(duì)圖像采樣，然后利用相機(jī)響應(yīng)曲線(xiàn)擬合算法擬合出相機(jī)響應(yīng)曲線(xiàn)。這種方式?jīng)]有充分利用每幅圖像像素信息及圖像序列之間像素值的關(guān)系，擬合出的相機(jī)響應(yīng)曲線(xiàn)不夠平滑，而且隨著采樣點(diǎn)的變化曲線(xiàn)變化大，不穩(wěn)定。

為了得到更加平滑的相機(jī)響應(yīng)曲線(xiàn)，合成出高質(zhì)量的高動(dòng)態(tài)范圍圖像，本文提出一種不需要對(duì)圖像序列采樣的相機(jī)響應(yīng)曲線(xiàn)擬合技術(shù)。該技術(shù)先利用最小二乘法擬合出圖像序列中每幅圖像與第1幅圖像像素值之間的關(guān)系曲線(xiàn)，利用該曲線(xiàn)再一次采用最小二乘法擬合出相機(jī)響應(yīng)曲線(xiàn)。

2.1 理論基礎(chǔ)

設(shè)同一場(chǎng)景不同曝光量的兩張圖像A和B，曝光時(shí)間分別為⊿ta和⊿tb，設(shè)⊿tb大于⊿ta。像素值V是隨相機(jī)獲得的曝光量H單調(diào)不減的，所以，圖像B中像素值應(yīng)大于等于圖像A中相應(yīng)位置像素的像素值。如果圖像B中像素值小于圖像A中相應(yīng)位置像素的像素值，認(rèn)為是噪聲點(diǎn)，應(yīng)去除。

圖像A與圖像B是用不同的曝光時(shí)間獲得的同一場(chǎng)景的兩幅圖像。我們可以認(rèn)為圖像B是在圖像A的基礎(chǔ)上延長(zhǎng)一定曝光時(shí)間得到的圖像，因此我們可以認(rèn)為圖像B中的像素值是圖像A中相應(yīng)位置像素值的函數(shù)，通過(guò)曲線(xiàn)擬合，可以得到這兩張圖像像素值之間具有的關(guān)系曲線(xiàn)。同一場(chǎng)景曝光時(shí)間更長(zhǎng)的圖像，都可以認(rèn)為是在圖像A的基礎(chǔ)上延長(zhǎng)一定曝光時(shí)間得到的圖像，獲得的像素值是圖像A中相應(yīng)位置像素值的函數(shù)。這正是本文算法的理論基礎(chǔ)。

2.2 本文的相機(jī)響應(yīng)曲線(xiàn)算法

彩色圖像紅、綠、藍(lán)3個(gè)通道相機(jī)響應(yīng)曲線(xiàn)的擬合是一樣的，本文以紅色通道為例對(duì)本文的相機(jī)響應(yīng)曲線(xiàn)擬合算法作詳細(xì)闡述。

設(shè)Q表示曝光時(shí)間按單調(diào)遞增排列的紅色通道的圖像序列，則

式中：vij——第j幅圖像中第i個(gè)位置的像素值，⊿tj——第j幅圖像的曝光時(shí)間，M——圖像總數(shù)，n——每幅圖像像素?cái)?shù)。

我們先對(duì)圖像序列去除噪聲，噪聲點(diǎn)的判斷準(zhǔn)則如下

即不滿(mǎn)足式 （10）的像素為噪聲。

設(shè)第j幅圖像與第1幅圖像對(duì)應(yīng)位置i像素值之間的關(guān)系為hj（vi，1）

式中：vi，1——第1幅圖像中第i個(gè)位置的像素值，l——多項(xiàng)式次數(shù)，aj，k——多項(xiàng)式系數(shù)。設(shè)

采用最小二乘法求解式 （12），可解得使P最小的hj（v），即第j幅圖像與第1幅圖像像素值之間的關(guān)系曲線(xiàn)hj（v）。h1（v）＝v。

理想的關(guān)系曲線(xiàn)hj隨著v的增大先單調(diào)增加，當(dāng)hj（v）增加到255時(shí)維持平衡不再變化。關(guān)系曲線(xiàn)通常在高像素值部分有小幅震蕩，我們可以根據(jù)此特性做細(xì)小調(diào)整。

擬合出圖像序列中每幅圖像與第1幅圖像像素值之間的關(guān)系曲線(xiàn)后，利用該曲線(xiàn)進(jìn)行相機(jī)響應(yīng)曲線(xiàn)擬合。

根據(jù)前面1.2節(jié)介紹的原理，在式 （7），用hj（v）（其中v為0～255）代替采樣點(diǎn)像素值Vij，可得

式中：⊿tj——拍攝第j幅圖像的曝光時(shí)間；F" （V）——一個(gè)平滑函數(shù)，其表達(dá)式為F" （V）＝F（V－1）－2F（V）＋F（V＋1）；w（V）是一個(gè)三角權(quán)值函數(shù)，其表達(dá)式見(jiàn)式 （6）；hj（v）是第j幅圖像與第1幅圖像像素值之間關(guān)系曲線(xiàn)，在本文實(shí)驗(yàn)中，圖4（a）從下至上分別為圖像2（a）～圖2 （f）與圖像2 （a）的關(guān)系曲線(xiàn)hj（v）（1≤j≤6），橫坐標(biāo)為像素值v，v的取值范圍為0～255，縱坐標(biāo)為hj（v）的值。

Ev為相機(jī)在圖像序列第1幅圖像中像素值為v的像素接收到的照度；F（V）是需要求解的相機(jī)響應(yīng)曲線(xiàn)，這兩者是需要求解的未知量。

我們?cè)O(shè)像素值128為單位曝光量，即F（128）＝0，只要滿(mǎn)足式 （8），就可通過(guò)奇異值分解的方法求解式 （13）得到解出相機(jī)響應(yīng)曲線(xiàn)，即F（V）。

擬合出相機(jī)響應(yīng)曲線(xiàn)后，根據(jù)式 （9）即可恢復(fù)出場(chǎng)景的高動(dòng)態(tài)范圍圖像。

3 實(shí)驗(yàn)及對(duì)比

圖2是同一場(chǎng)景的6幅圖像，紅、綠、藍(lán)3個(gè)通道像素值范圍都為0～255，曝光時(shí)間分別為1/250，1/125，1/60，1/30，1/15，1/8，圖像來(lái)源于 The Hebrew University of Jerusalem。

圖3（a）是采用隨機(jī)采樣并加以梯度限制的采樣技術(shù)，擬合出的R、G、B這3個(gè)顏色通道相機(jī)響應(yīng)曲線(xiàn) （采樣點(diǎn)個(gè)數(shù)為256），分別用虛線(xiàn)、實(shí)線(xiàn)、點(diǎn)劃線(xiàn)表示。橫坐標(biāo)表示像素值V，縱坐標(biāo)表示曝光量H的對(duì)數(shù)lnH。3個(gè)通道的相機(jī)響應(yīng)曲線(xiàn)都不平滑，尤其是高像素值部分；圖3（b）是根據(jù)圖3（a）相機(jī)響應(yīng)曲線(xiàn)合成出的高動(dòng)態(tài)范圍圖像，從細(xì)節(jié)圖3（c）可以看出，窗外的柱子以及室內(nèi)燈光部分泛綠色。

按照本文算法，先利用圖像序列噪聲判斷準(zhǔn)則對(duì)圖像序列去噪，然后利用最小二乘法擬合出圖像序列與圖像2（a）的關(guān)系曲線(xiàn) （其中擬合的多項(xiàng)式次數(shù)l＝10），如圖4所示。圖中，橫坐標(biāo)和縱坐標(biāo)都表示像素值V。

圖4（a）～圖4（c）分別為紅、綠、藍(lán)3個(gè)顏色通道的關(guān)系曲線(xiàn)hj（v）；每幅圖中，從下至上分別為圖像2（a）～圖2 （f）與圖像2 （a）的關(guān)系曲線(xiàn)hj（v）（其中1≤j≤6）。

擬合出關(guān)系曲線(xiàn)hj（v）后，通過(guò)奇異值分解的方法求解式 （13），即可求解出相機(jī)響應(yīng)曲線(xiàn)。圖5（a）是擬合出的R、G、B這3個(gè)顏色通道的相機(jī)響應(yīng)曲線(xiàn)，分別用虛線(xiàn)、實(shí)線(xiàn)、點(diǎn)劃線(xiàn)表示。橫坐標(biāo)表示像素值V，縱坐標(biāo)表示曝光量H的對(duì)數(shù)lnH。對(duì)比圖3（a）可以看出，這種方式擬合出的相機(jī)響應(yīng)曲線(xiàn)更加平滑，優(yōu)于隨機(jī)并加以梯度限制這種采樣方式擬合出的相機(jī)響應(yīng)曲線(xiàn)，尤其是高像素值部分。

圖5（b）是根據(jù)本文算法合成出的高動(dòng)態(tài)范圍圖像。圖2的前3幅圖像，室內(nèi)的畫(huà)框、天花板等暗區(qū)域細(xì)節(jié)表現(xiàn)不清晰，后3幅圖像，窗外處于陽(yáng)光直射處等亮區(qū)域的細(xì)節(jié)表現(xiàn)不清晰，而在圖5（b）中，無(wú)論是暗區(qū)域還是亮區(qū)域，細(xì)節(jié)特征都能很好的表現(xiàn)出來(lái)。從細(xì)節(jié)圖5（c）可以看出，圖像的整體顏色表現(xiàn)更加自然，窗外柱子部分及室內(nèi)燈光部分細(xì)節(jié)特征表現(xiàn)得更好，優(yōu)于隨機(jī)并加以梯度限制這種采樣方式擬合相機(jī)響應(yīng)曲線(xiàn)并最終合成出的高動(dòng)態(tài)范圍圖像。

4 結(jié)束語(yǔ)

相機(jī)響應(yīng)曲線(xiàn)的擬合是合成高動(dòng)態(tài)圖像的關(guān)鍵技術(shù)，決定了合成的高動(dòng)態(tài)范圍圖像質(zhì)量好壞。本文算法根據(jù)圖像序列成像特點(diǎn)對(duì)圖像序列去噪；充分利用每幅圖像像素信息，采用最小二乘法擬合出圖像序列與第一幅圖像像素值關(guān)系曲線(xiàn)；利用該曲線(xiàn)進(jìn)行相機(jī)響應(yīng)曲線(xiàn)擬合。減少了對(duì)圖像序列采樣的過(guò)程。避免了擬合出的相機(jī)響應(yīng)曲線(xiàn)隨采樣點(diǎn)的變化曲線(xiàn)變化大、不穩(wěn)定。實(shí)驗(yàn)中，通常選取整體亮度較低，但像素值基本覆蓋0－255中所有像素值的圖像作為擬合相機(jī)響應(yīng)曲線(xiàn)圖像序列的第一幅圖像。實(shí)驗(yàn)表明該技術(shù)擬合出的相機(jī)響應(yīng)曲線(xiàn)平滑，合成出的高動(dòng)態(tài)范圍圖像效果好。

［1］Debevec P E，Mcmillan L.Image－based modeling rendering and lighting ［J］.IEEE Comput Graphics and Appl，2002，22（2）：24－25.

［2］HUA S G，OU Z Y，WANG X D.Constructing full view panoramic image based on spherical model［C］.Tianjin：Proceedings of SPIE the International Conference on VR and Application in Industry，2003：117－122.

［3］SHUM H，Szeliski R.Construction of panoramic mosaics with global and local alignment［J］.International Journal of Computer Vision，2002，36 （2）：101－130.

［4］Brown M，Lowe D.Recognising panoramas［C］.Proceedings of the 9th International Conference on Computer Vision，2003：1218－1225.

［5］Reinhard E，Ward G，Pattanaik S，et al.High dynamic range imaging：Acquisition display and image based lighting ［M］.San Francisco：Morgan Kaufmann Publishers，2005：96－105.

［6］Ward G，High dynamic range image encodings［EB/OL］.http：//www.anyhere.com/gward/hdrenc/hdr－encodings.html，2011.

［7］WANG Zhongli，ZHAO Qingjie.Technology of high dynamic range image reconstrucion ［J］.Optical Technique，2006，32（Zl）：279－285 （in Chinese）.［王忠立，趙清潔.高動(dòng)態(tài)范圍圖形獲取技術(shù) ［J］.光學(xué)技術(shù)，2006，32 （Zl）：279－285.］

［8］Nayar S K，Branzoi V.Adaptive dynamic range imaging：Optical control of pixel exposures over space and time ［C］.Proceedings of the Ninth IEEE International Conference on Computer Vision，2003.

［9］Nayar S K，Vlad Branzoi，Terry E Bouh.Programmable imaging using a digital micromirror array ［C］.Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004.

［10］Kavadias S，Dieriekx B，Scherer D，et a1.A logarithmi response CMOS image sensor with on－chip calibration ［J］.IEEE Journal of Solid，State Circuits，2000，35 （8）：1146－1152.

［11］Mitsunaga T，Nayar S K.High dynamicr range imaging：Spatially varying pixel exposures ［C］.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2000：472－479.

［12］ZHU Xiuming.Research on construction and visualization of high dynamic range image ［D］.Hangzhou：Zhejiang University，2008（in Chinese）.［朱秀明.高動(dòng)態(tài)范圍圖像的合成及可視化研究 ［D］.杭州：浙江大學(xué)，2008.］

［13］Grossberg M D，Nayar S K.What is the space of camera response functions［C］.IEEE Conference on Computer Vision and Pattern Recognition，2003：602－609.

［14］Berkin A，WANG Meng.A review of high dynamic range imaging on static scenes［R］.Boston：Boston University，2008.

［15］SA Asla，CARVALHO Paulo，VELHO Luiz.High Dynamic Range Imaging Reconstruction ［M］.San Rafael，Calif：Morgan ＆Claypool Publishers，2007.