梁 晨，方向忠

(上海交通大學，上海200240)

由于現(xiàn)實世界中的動態(tài)范圍要遠遠高于普通相機所能夠采集到的動態(tài)范圍，造成圖片中較暗的區(qū)域細節(jié)不足，而比較亮的區(qū)域卻又過度曝光，為了能夠更加精確地反映實際的場景，提出了高動態(tài)圖像作為新的圖像表示方式。

傳統(tǒng)的高動態(tài)圖像獲取往往是基于對相機響應曲線(CRF)的估計，對于每個位置上的像素，通過結合相機響應曲線信息和同一場景不同曝光度圖像強度信息，將其動態(tài)范圍擴展。同時，為了顯示融合結果，必須將動態(tài)范圍重新壓縮，以便在一般屏幕上顯示［1－2］。而基于曝光融合的高動態(tài)圖像生成方法［3］，并不需要引入相機響應曲線這一非線性過程，直接將不同曝光時間的圖像進行基于拉普拉斯金字塔分解的融合，速度快，并且可以取得很好的效果。但是上述方法往往只適用于靜態(tài)場景，一旦出現(xiàn)運動物體，最終合成的圖像會有明顯的鬼影效應。為了解決這一問題，文獻［4］中提出了基于運動預測的方法，但卻受限于運動估計的精度，而且計算量大，導致合成結果不理想。而文獻［5］中通過估計某一個像素是否屬于相應物體的概率來確定在合成的時候所授予的相應權重，但是由于這個方法在像素級別進行，魯棒性不夠。

本文所提出的方法借助圖像分割和多曝光圖像連續(xù)性檢測，對于可能產生鬼影的物體進行區(qū)域性的消除，相比于像素級別的操作，有效提高了對鬼影區(qū)域檢測的準確性，取得了良好的高動態(tài)圖像融合效果。

1 總體架構

給定一系列的不同曝光時間的圖像，首先需要從其中選擇出曝光最好的圖像作為參考圖像，這個圖像應該盡可能地包括場景中的有效信息。通常來說，以檢測飽和像素個數(shù)的方法來確定參考圖像。在選取了參考圖像之后，同時需要將所有其他的圖像進行校準，盡可能地降低相機抖動帶來的影響。之后對于參考圖像，會選取合適的塊大小將其分割，然后對每一個塊基于互易律進行連續(xù)性判斷，從而去除那些不同曝光時間圖像中不連續(xù)的塊，只保留那些與參考圖像中相應部分連續(xù)的圖像中的區(qū)塊。

由于場景中物體的移動，那些非參考圖像中被判定為不連續(xù)的區(qū)塊將被舍去。而如果簡單地將現(xiàn)有的圖像序列合成，最終可能由于相鄰的塊之間合成時所選擇的備選圖像不同，而造成塊之間存在明顯的裂縫，影響最終的合成效果。為了解決這一問題，引入了亮度轉移函數(shù)。通過統(tǒng)計兩幅圖像之間同一位置亮度的變化關系，估計出亮度轉移函數(shù)，從而為參考圖像生成出一個在其他曝光時間下的副本。而那些不連續(xù)的區(qū)塊，就可以使用副本中相應位置的塊內容相替代。通過這樣的方式，把動態(tài)場景轉化成了靜態(tài)場景，再通過簡單的拉普拉斯金字塔曝光融合的方式，就可以獲得無失真、去除鬼影、同時場景細節(jié)和動態(tài)范圍得到極大豐富的高動態(tài)圖像。圖1中給出了總體框圖。

圖1 去除鬼影的高動態(tài)圖像合成框架圖

本文重點研究圖像的連續(xù)性預測和鬼影去除的高動態(tài)圖像融合，具體包括圖像預處理、圖像連續(xù)性檢測、基于亮度轉移函數(shù)的圖像副本生成。

2 消除鬼影的高動態(tài)圖像合成

2.1 圖像預處理

給定一組不同曝光時間的圖像，在對其進行進一步處理之前，必須首先預處理。包括參考圖像選取和圖像校準。對于參考圖像的選取很大程度上影響著最終的融合結果，因為后續(xù)的校準、連續(xù)性檢測、副本生成都是圍繞已經選定的參考圖像的基礎上。在選定參考圖像的時候，希望參考圖像是整個圖像組中曝光最好的圖像，所謂曝光最好，并不一定是曝光時間在中間的圖像，因為很多時候具有過曝光或者欠曝光的像素的圖像，卻有可能很好地保留場景的結構信息。但是大塊的飽和像素，會在很大程度上影響最終的合成結果。所以針對在圖像組中的圖像，首先提取出飽和的像素，然后對其分別進行形態(tài)學處理，去除那些比較小塊的飽和像素，再計算剩余的飽和像素數(shù)目，從而確定最少者為最終的參考圖像。

在完成參考圖像選取之后，需要利用文獻［6］中的圖像校準方法，這種基于變換的校準方法基于圖像金字塔，在圖像質量的多個層級上進行校準，再把結果匯總到當前的分辨率下，時間復雜度與像素的個數(shù)成正比，快速有效，可以大大避免由于相機輕微抖動所帶來的最終合成圖像中的失真。

2.2 基于圖像分塊的場景連續(xù)性檢測

在完成了包括參考圖像選取和圖像校準在內的圖像預處理工作之后，就可以開始對圖像的分塊處理了。通過選取相同大小的矩形，可以把圖像分塊，針對圖像的每一塊進行連續(xù)性檢測，即當前圖像中的物體是否在不同曝光時間的圖像中同樣出現(xiàn)過。本文根據(jù)輸入圖像組曝光時間不同的特點，再結合互易律，就可以得出對物體是否連續(xù)的可靠判斷。

所謂互易律，就是在場景的光照不變的情況下，那么曝光值X與輻照值E和曝光時間存在如下關系

對式(1)進行進一步處理，可以得到不同圖像相同位置像素之間曝光值的相互關系

式中:Δtij表示了兩張圖像曝光時間的相對關系。

式(2)只有在場景發(fā)生改變的時候才會被打破，因此對于那些場景連續(xù)的區(qū)域，可以依照式(2)進行判斷。與此同時，由于噪聲或飽和像素的影響，單純使用一個像素進行互易律的驗證會帶來很大的不準確性，所以為了能夠讓判定結果的健壯性更強，所以引入圖像分塊的機制，對于圖像的每一個塊而言，驗證其中滿足互易律的像素數(shù)，如果差值超過一定的閾值T1，就認定不滿足互易律，為不連續(xù)的像素，與此同時，計算圖像塊中不滿足互易律的像素所占整個塊像素數(shù)的比重，而當這個比重大于閾值T2的時候，就認定這個塊與參考圖像相應的部分并不連續(xù)，在最終合成的時候不能利用這一部分信息，否則就有可能造成鬼影效應。

為了方便計算，使用曝光值的對數(shù)，式(2)轉變?yōu)?/p>

因此每個像素曝光值對數(shù)之間相差的僅僅是一個常數(shù)，對于每一個圖像塊，分別統(tǒng)計3個圖像通道RGB中的不滿足互易律的像素的個數(shù)，這些像素都是可能導致鬼影效應的像素，在對數(shù)域內，理想的互易關系是的直線，圖2分別列出了1個連續(xù)的圖像塊和不連續(xù)的圖像塊所具有的統(tǒng)計特征，橫軸是參考圖像曝光值的對數(shù)，縱軸是其他曝光圖像曝光值的對數(shù)。圖中實線代表理想的互易關系，兩條虛線分別代表允許偏差的閾值區(qū)域。那些不滿足條件的圖像塊會被剔除，而與參考圖像中的連續(xù)的塊會被保留，用來進行最后的圖像合成。

為了計算曝光值，必須從已有的像素值出發(fā)，由于像素值與曝光值具有如下關系

式中:I代表像素值;X代表曝光值;f則是非線性的相機響應曲線。

在得到像素值之后，首先利用文獻［2］中的方法估計相機的響應曲線，隨后再利用像素值結合相機響應曲線，反推出對應的曝光值X，圖3中列出了正常的圖像和進行估計之后的曝光值的圖像。

2.3 亮度轉移函數(shù)估計和圖像副本生成

圖3 原始圖像與曝光值的圖像對比

為了在出現(xiàn)不連續(xù)的區(qū)域的時候進行必要的圖像補充，從而使得最終合成的圖像完整且沒有明顯的塊效應，需要進行圖像副本的生成。在完成了參考圖像的選取之后，對于圖像集中所有不同曝光時間的圖像，進行圖像副本的生成，而生成的結果被用作最終合成時的圖像塊填充的來源。

在生成的時候，需要對圖像的區(qū)域加以區(qū)分，對于正常曝光的像素，首先需要對亮度轉移函數(shù)進行估計，所謂亮度轉移函數(shù)是指兩個圖像之間，由聯(lián)合直方圖所反映出來的像素亮度值的轉移關系［7］，給定兩個圖像和，聯(lián)合直方圖描述為

式中:δ描述的是沖擊函數(shù);x則是圖像的像素坐標;C一般是一個256×256的矩陣;i和j則對應著在和中的亮度階。而亮度轉移函數(shù)則是描述了對于圖像l1中的每一個亮度階i，最有可能的亮度值j=BTF(i)。對于亮度轉移函數(shù)的估計可以轉換成一個優(yōu)化的問題，從C中最大的亮度階開始，即i0=BTF(j0)，隨后對于256≥i＞i0和1≤i＜i0分別進行計算，而在每一個方向的計算中，都解決如下的優(yōu)化問題

同時要注意亮度轉移函數(shù)具有單調的特性，這點在估計的時候必須加以限制。整個優(yōu)化的過程，采用貝爾曼優(yōu)化準則和動態(tài)規(guī)劃的編程思想，在通過多項式擬合的方式得到最終的亮度轉移函數(shù)結果。

圖4中給出了一個亮度轉移函數(shù)的估計和優(yōu)化過程。橫軸代表最短曝光的圖像，縱軸代表長曝光的圖像，這里是參考圖像，通過對聯(lián)合直方圖的分析，最終可以得到圖4b中所示的亮度轉移函數(shù)。

圖4 亮度轉移函數(shù)的估計和優(yōu)化過程

針對于圖像集中的每一張圖像，都生成相應的亮度轉移函數(shù)，然后再利用亮度轉移函數(shù)，生成不同曝光值下的圖像副本，圖5中給出了參考圖像、短曝光原始圖像，以及相應的利用亮度轉移函數(shù)生成的圖像。

3 圖像融合效果和質量評價

圖5 圖像對比

利用通過圖像轉移函數(shù)生成的圖像副本，和對于圖像序列中不連續(xù)的圖像區(qū)塊的檢測信息，可以進行最終的圖像合成，從而實現(xiàn)動態(tài)場景的無鬼影高動態(tài)合成。在最終合成的時候，使用文獻［3］中的曝光融合方法，在這種方法中，曝光值、對比度以及飽和度被用來衡量圖像權重。

通過判斷像素值是否飽和以及與最佳曝光點的距離，得到曝光度衡量標準E。對于飽和度，分別計算RGB3個通道的標準差，得到對比度標準S。而在計算對比度時，對灰度圖應用拉普拉斯濾波器，然后對濾波器響應取絕對值，最終結果會對圖像邊緣和結構給予較大權重。在結合3個標準之后，對每個像素點，進行基于拉普拉斯金字塔分解的加權平均合成，從而避免邊緣點之間可能存在的裂縫。在圖6中列舉出了以圖6d作為參考圖像下不同曝光的圖像集，圖7分別進行消除鬼影處理之前和之后的結果。

圖6 動態(tài)場景下不同曝光時間的圖像集

從圖中可以看出，融合后的圖像不但在亮區(qū)豐富了細節(jié)，同時增強了屋頂這一欠曝光的區(qū)域。為了對評價融合后的圖像，引入文獻［8］中的圖像銳度和自然度的評判標準。圖像銳度定義為圖像梯度歸一化的和

式中:N代表了圖像I中像素的個數(shù)。

圖7 進行消除鬼影處理前后圖像對比

圖像自然度的評價綜合了亮度與對比度這兩個人體對圖像感知最大的因素，建立在3 000張圖像和實驗的基礎上，值越高，代表圖像越自然，文獻［8］提出了這一評判標準。評價結果如表1所示。

表1 圖像合成結果對比

表中對本文的方法與文獻［9］中的方法進行了多個圖像序列(ICCV’09)的比較，從結果中可以看出，無論是圖像銳度還是圖像自然度，本文中的方法在兩個不同的圖像序列中均優(yōu)于文獻［9］中的方法。

4 小結

本文提出了一個基于圖像連續(xù)性檢測和圖像副本生成的動態(tài)場景高動態(tài)圖像合成方法。實驗結果顯示，通過這種方法合成的高動態(tài)圖像不但去除了鬼影效應，而且提高了圖像質量，豐富了在欠曝光和過曝光區(qū)域的圖像細節(jié)。與同類的方法相比較，也顯示出了本文所提出方法的有效性。

:

［1］周海勇，吳敏，萬帥．一種適用于硬件實現(xiàn)的寬動態(tài)圖像合成算法［J］．電視技術，2013，37(11):47－50．

［2］ DEBVEC P，MALIK J．Recovering high dynamic range radiance maps from photographs［EB/OL］．［2013－09－02］．http://wenku．baidu．com/link?url=6VhdAIQHKKoxCpmqg7ZT5KvviwMGYf5Sm3LT82y27 kEBlwRQdi6O7Zh_D0CC8jVM－QI_Q－qVvyfexXDo16dvVvKKWQcpxdk 0_XSGpr3lzPW．

［3］ MERTENS T，KAUTZ J，REETH F．Exposure fusion［C］//Proc．Pacific Conference on Computer Graphics and Applications．Hawaii，USA:［s．n．］，2007:382－390．

［4］ BOGONI L．Extending dynamic range of monochrome and color images through fusion［C］//Proc．International Conference on Pattern Recognition(ICPR)．［S．l．］:IEEE Press，2000:15－17．

［5］ KHAN E，AKYUZ A，REINHARD E．Ghost removal in high dynamic range images［C］//Proc．IEEE International Conference on Image Processing．［S．l．］:IEEE Press，2006:2005－2008．

［6］ WARD G．Fast，robust image registration for compositing high dynamic range photographs from handheld exposures［J］．Journal of Graphics Tools，2003(8):17－30．

［7］ MANN S．Comparametric equations with practical applications in quantigraphic image processing［J］．IEEE Trans．Image Processing，2000，9(8):1389－1406．

［8］ YEGANEH H，WANG Z．Objective quality assessment of tone mapped images［J］．IEEE Trans．Image Processing，2013，22(2):657－667．

［9］ AN J，LEE S，KUK J，et al．A multi－exposure image fusion algorithm without ghost effect［C］//Proc．IEEE International Conference on Acoustics，Speech，and Signal Processing．［S．l．］:IEEE Press，2011:1565－1568．