劉 穎，王鳳偉，劉衛(wèi)華，艾 達(dá)，李 蕓，楊凡超

(1.西安郵電大學(xué) 通信與信息工程學(xué)院，西安 710121； 2.電子信息現(xiàn)場勘驗應(yīng)用技術(shù)公安部重點實驗室(西安郵電大學(xué))，西安 710121；3.中國科學(xué)院光譜成像技術(shù)重點實驗室(中國科學(xué)院 西安光學(xué)精密機械研究所)，西安 710119)

0 引言

高動態(tài)范圍(High Dynamic Range, HDR)成像是指捕捉、存儲、傳輸和顯示真實世界光亮廣泛范圍并進行精確表示。HDR圖像的主要特點是高對比度、高位深度和豐富細(xì)節(jié)。近年來，為了能夠獲得HDR圖像，研究人員提出了多種算法。由于深度學(xué)習(xí)在計算機視覺的許多領(lǐng)域取得了較好的成績，研究人員嘗試通過學(xué)習(xí)的方式生成HDR圖像，文獻(xiàn)[1-2]用生成對抗網(wǎng)絡(luò)獲取；文獻(xiàn)[3-4]用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)將單幅低動態(tài)范圍(Low Dynamic Range, LDR)圖像重建HDR圖像，但是，這些方法需要大量的訓(xùn)練數(shù)據(jù)、復(fù)雜的訓(xùn)練，不適合工程實現(xiàn)。另一種是直接融合多個不同曝光圖像以獲得HDR圖像，文獻(xiàn)[5-6]通過僅保留每次曝光的最佳部分來組合LDR圖像；文獻(xiàn)[7]利用引導(dǎo)圖像濾波來平滑每個輸入LDR圖像權(quán)值圖的高斯金字塔，將細(xì)節(jié)保存在最終合成圖像中最亮和最暗的區(qū)域，但此類方法的缺點是目標(biāo)運動帶來的“偽影”現(xiàn)象和輸入圖像為進行配準(zhǔn)帶來的時間成本問題。還有一類是基于輻射域生成HDR圖像，通過一組不同曝光的圖像估算相機的響應(yīng)函數(shù)并根據(jù)響應(yīng)函數(shù)估計HDR圖像的輻射圖，生成最終的HDR圖像，最后通過色調(diào)映射將HDR圖像顯示在正常的顯示設(shè)備上[8]。

為了去除HDR圖像中的“偽影”現(xiàn)象，文獻(xiàn)[9]中提出了一種考慮相機時刻和動態(tài)場景來自動生成HDR圖像的方法。該方法使用相機響應(yīng)功能，通過原始圖像來校正LDR圖像。文獻(xiàn)[10]為了精確對準(zhǔn)，使用改進的彈性配準(zhǔn)方法來去除“偽影”現(xiàn)象。文獻(xiàn)[11]中提出了一種混合修補算法以防止“偽影”現(xiàn)象，其中通過考慮空間和時間一致性來制定新的優(yōu)化問題以校正不同曝光圖像的運動區(qū)域。文獻(xiàn)[12]中提出基于低秩矩陣來獲得無偽影的HDR圖像。背景和運動對象分別為具有對偽影區(qū)域的屬性的多個物理約束的低秩矩陣來完成。

然而，上述方法具有較高的計算復(fù)雜度，所以文獻(xiàn)[13]使用單個圖像生成HDR圖像，而不是獲取不同曝光的圖像以避免“偽影”現(xiàn)象。該方法利用加權(quán)直方圖分離來估計直方圖分離的閾值。然后它將直方圖劃分成兩個子直方圖，并從單個圖像生成曝光不足和過度曝光LDR圖像。此方法從單個圖像生成不同曝光的圖像，所以不會產(chǎn)生“偽影”現(xiàn)象，但是該方法利用固定的加權(quán)因子進行直方圖分離，這不適合顯示不同特征的圖像。文獻(xiàn)[14]中提出了一種自適應(yīng)直方圖分離技術(shù)來克服文獻(xiàn)[13]中提出方法的缺點，但是該方法在圖像擴展中容易產(chǎn)生局部顏色失真的現(xiàn)象。文獻(xiàn)[15]中提出根據(jù)所需的LDR圖像數(shù)量，將輸入圖像的直方圖劃分為具有相等數(shù)量像素的多個區(qū)間，并在構(gòu)造的每個區(qū)間中選擇直方圖分割的閾值作為最大值；然后利用對比度、飽和度和曝光度曝光良好作為評估參數(shù)進行融合得到LDR圖像。

上述的直方圖擴展然后圖像融合的算法都存在一個普遍問題，即圖像擴展過度或過小時容易造成圖像顏色失真、細(xì)節(jié)信息丟失的問題。針對此問題，本文改進的指數(shù)函數(shù)擴展其亮度范圍。首先對彩色圖像的亮度分量從低到高分成為兩個不同區(qū)間，然后通過改進的擴展函數(shù)對兩個區(qū)間的圖像擴展其亮度范圍，凸顯亮區(qū)域和暗區(qū)域的細(xì)節(jié)，最后使用模糊邏輯的方法融合為HDR圖像。在融合階段，用亮度保持動態(tài)模糊直方圖均衡(Brightness Preserving Dynamic Fuzzy Histogram Equalization, BPDFHE)技術(shù)來提高圖像像素的準(zhǔn)確性和對比度。實驗結(jié)果表明，本文算法在減少運行時間和不引入“偽影”現(xiàn)象的前提下保留了圖像中更多的局部細(xì)節(jié)信息和顏色，并且主觀視覺效果更好。

1 本文算法原理和流程

為了得到細(xì)節(jié)豐富、對比度較大的HDR圖像，本文提出了一種基于亮度分區(qū)拉伸和模糊融合的高動態(tài)范圍圖像算法，是一種由單幅LDR圖像生成HDR圖像的算法。

該算法主要分為三個步驟：第一步通過圖像的灰度均值將亮度圖像分割成兩部分，算法簡單，減少了運算時間；第二步通過指數(shù)函數(shù)對分割得到的圖像進行不同程度的擴展；第三步是考慮像素的可視化，使用局部窗口內(nèi)最小-最大像素差和亮度通道的歸一化像素值分析確定每個像素的權(quán)重將三幅圖像進行融合。在融合過程中使用BPDFHE提高圖像像素的準(zhǔn)確性和對比度，該算法流程如圖1所示。

1.1 類間均值分割

借鑒基于最大類間方差的圖像分割算法，采用類間均值分割方法將亮度區(qū)間分割為兩部分。令亮度通道圖像的像素亮度構(gòu)成數(shù)據(jù)集合I={i|i=0,1,…,255}，歸一化之后I={i|i=0,1/255,2/255,…,1},那么H(i)表示像素i的概率，則H(i)∈[0,1]；τ0是整幅圖像亮度中值。利用閾值τ0把圖像分割成兩區(qū)域矩陣R1和R2，并分別計算灰度均值u1和u2，其計算式如下：

(1)

(2)

那么最終的閾值τ定義為兩類的類間均值：

(3)

圖1 本文算法流程Fig. 1 Flowchart of the proposed algorithm

接下來用最終的閾值τ將圖像亮度XV分成兩個子集X0和X1，分割方法如下：

(4)

(5)

那么，集合X0中像素的亮度值取值范圍是[0,τ]，屬于圖像的暗區(qū)域，而集合X1中像素的亮度值取值范圍是(τ,1]，屬于圖像的亮度區(qū)域，因此，通過擴展每個子集的亮度值范圍并增加或者減小亮度值，就可以得到不同光照強度的圖像。

1.2 指數(shù)函數(shù)擴展亮度

對上述圖像的亮區(qū)域X1和暗區(qū)域X0分別拉伸其亮度范圍，使得原來感覺不到的亮度差異得到顯現(xiàn)，增加對比度、凸顯細(xì)節(jié)。這里用改進的指數(shù)函數(shù)對亮度V通道圖像擴展其亮度范圍，定義如下：

(6)

其中X(x,y)表示圖像的亮度分量。

由于不同底數(shù)a的指數(shù)函數(shù)在坐標(biāo)平面第一象限的曲線不同，導(dǎo)致因變量隨著自變量的變化趨勢不同，在圖像拉伸方面的效果也不同。圖2(a)是對暗區(qū)域(亮度值在[0,τ]區(qū)間)應(yīng)用不同底數(shù)的指數(shù)函數(shù)擴展后的變化曲線圖，當(dāng)a=1.2時，亮度雖然有增大，但是整體的范圍擴展??；當(dāng)a=5時，曲線平緩，將原圖像緩慢拉伸，動態(tài)范圍擴大，并且亮度增加，最小值由自變量的0變化到因變量的0.36左右，亮度最大值由自變量的0.5變化到因變量的0.85；隨著底數(shù)a的增加，曲線越來越陡峭，拉伸的范圍擴大，亮度增加，即，使暗區(qū)域的動態(tài)范圍增加，同時整體亮度值增加。圖2(b)是對亮區(qū)域(亮度值在(τ,1]區(qū)間)應(yīng)用不同底數(shù)的指數(shù)函數(shù)擴展后的變化曲線圖，當(dāng)a為10或者12時，亮度的動態(tài)范圍擴大，并且亮度值減小，即，使亮區(qū)域的動態(tài)范圍增加，同時整體亮度值略有減小。

圖2 不同底數(shù)a的指數(shù)函數(shù)變化曲線Fig. 2 Exponential function change curve of a with different bases

為了得到不同光照度的圖像，根據(jù)反復(fù)實驗，最終確定j=0時，a=5；當(dāng)j=1時，a=10。即對暗區(qū)域的圖像用基底為5的指數(shù)函數(shù)，對亮度區(qū)域的圖像用基底為10的指數(shù)函數(shù)。圖3對比了本文算法和文獻(xiàn)[14]算法中直方圖擴展函數(shù)。

圖3 擴展函數(shù)對比Fig. 3 Comparison of extension functions

圖3中實線表示本文算法擴展后的曲線，虛線表示應(yīng)用文獻(xiàn)[14]擴展函數(shù)后的曲線。圖3(a)表示暗區(qū)域圖像X0擴展后的亮度曲線，可以看出，本文方法將暗區(qū)域圖像緩慢擴展，同時增加亮度，而文獻(xiàn)[14]中則迅速擴展，產(chǎn)生顏色失真、與原亮度的顏色分量不匹配現(xiàn)象。圖3(b)是對亮區(qū)域圖像X1擴展，同時減小亮度，避免了文獻(xiàn)[14]中擴展幅度過小的問題，所以本文的擴展函數(shù)可以有效地凸顯原始圖像的局部細(xì)節(jié)，增大對比度，避免顏色信息丟失。

如圖4所示，將亮區(qū)域部分經(jīng)指數(shù)函數(shù)映射后得到圖(a)，高亮區(qū)域水瓶的細(xì)節(jié)凸顯；將暗區(qū)域部分經(jīng)指數(shù)函數(shù)映射后得到圖(c)，較暗區(qū)域竹筐、桌子邊緣的細(xì)節(jié)凸顯。

圖4 映射后的亮度區(qū)間圖Fig. 4 Luminance interval diagram after mapping

對每個擴展的亮度圖像進行限制自適應(yīng)直方圖均衡來改善圖像的整體外觀。最后將得到的三個不同的亮度V通道與未處理的H通道、S通道一起逆變換到RGB空間。這樣就得到質(zhì)量較好的反映不同光照強度的圖像，如圖5所示。圖5中第一行是原圖像、文獻(xiàn)[14]擴展后的暗區(qū)域圖像和亮區(qū)域圖像；第二行是本文算法處理后的暗區(qū)域圖像和亮區(qū)域圖像，從圖5(c)中可以看出圖像顏色失真的現(xiàn)象。

圖5 生成的兩幅LDR圖像Fig. 5 Two generated LDR images

1.3 模糊邏輯融合

不同曝光的圖像會將不同動態(tài)范圍的場景展現(xiàn)清晰，曝光較弱的圖像可以提供明亮場景處的細(xì)節(jié)，而曝光較強的圖像可以較好地顯示暗處場景的細(xì)節(jié)。文中將亮區(qū)域圖像擴展處理后得到圖5(d),凸顯亮區(qū)域細(xì)節(jié)，類似欠曝光圖像；暗區(qū)域圖像擴展處理后得到圖5(e),凸顯暗區(qū)域細(xì)節(jié)，類似過曝光圖像。利用不同曝光圖像優(yōu)勢互補的特點，對三幅不同曝光度的圖像融合來生成高質(zhì)量的圖像。

模糊系統(tǒng)提供了一種通過語言變量對復(fù)雜系統(tǒng)建模的方法，著重強調(diào)以模糊邏輯來對現(xiàn)實生活中的事物進行描述，主要是利用推理系統(tǒng)中多個“if x1 is A and x2 is A, then y1 is B and y2 is B”的語句將直觀的數(shù)據(jù)按照人的意愿進行了等級劃分，使得計算機可以對此類數(shù)據(jù)進行分析處理，解決各種問題，最終得到想要的結(jié)果[16]，因此，本文采用模糊系統(tǒng)進行計算不同亮度區(qū)圖像的權(quán)重矩陣并進行融合。將反映局部細(xì)節(jié)信息的局部窗口內(nèi)的最小-最大像素差和亮度通道的歸一化像素值作為模糊邏輯系統(tǒng)的第一輸入和第二輸入。結(jié)合模糊規(guī)則，如：“如果第一輸入低并且第二輸入也低，則得到的權(quán)重矩陣小”的多個模糊邏輯語句，來得到描述不同亮度區(qū)間的圖像質(zhì)量的權(quán)重矩陣，從而將不同曝光圖像融合為HDR圖像。圖6是輸入輸出模糊的隸屬函數(shù)示意圖，將輸入輸出都劃分成低、中、高三部分。在得到圖像像素的權(quán)重圖后，建議應(yīng)用亮度保持動態(tài)模糊直方圖均衡技術(shù)來平滑權(quán)值映射。該技術(shù)在保持圖像亮度的同時，可以提高圖像的對比度并降低計算復(fù)雜度。

圖6 模糊融合方法的輸入和輸出的隸屬函數(shù)Fig. 6 Membership functions of input and output of fuzzy fusion method

BPDFHE技術(shù)[17]僅在兩個連續(xù)峰值之間的波谷部分發(fā)生，它使波谷部分的灰度值重新映射。這樣可以避免偽像的引入和平均圖像亮度的變化。該技術(shù)首先以模糊統(tǒng)計的方式處理灰度值的不精確性，從而產(chǎn)生平滑的直方圖；然后對直方圖進行分區(qū)得到多個子直方圖，再對每個子直方圖進行動態(tài)均衡時可以提高圖像對比度，產(chǎn)生主觀上比原始圖像更好的圖像。在后面的實驗結(jié)果質(zhì)量評價中，使用文獻(xiàn)[18]中提出的高動態(tài)范圍可見差分預(yù)報器(High Dynamic Range Visible Difference Predictor, HDR-VDP- 2)[18]來評估輸出的HDR圖像的質(zhì)量。

一旦確定了每幅LDR圖像的權(quán)重系數(shù)，就將最終的HDR圖像構(gòu)造為：

(7)

2 實驗結(jié)果及分析

本文的實驗是在Window 10系統(tǒng)Intel Core i5- 4210 CPU @1.70 GHz安裝的Matlab 2015a版本上進行的。為了驗證所提算法生成HDR圖像的性能，所有實驗結(jié)合主觀評價和客觀評價對生成的HDR圖像進行對比分析。文獻(xiàn)[14]中提出了一種自適應(yīng)直方圖分離技術(shù)來估計直方圖分離的閾值，然后通過閾值進行擴展；本文對擴展后圖像色彩失真、細(xì)節(jié)信息丟失的問題與文獻(xiàn)[14]得到的圖像進行對比,以此來分析本文的性能。

2.1 主觀評價

為了更直觀地反映生成的HDR圖像，使用具有不同特征的輸入圖像來測試所提出的方法，分別是flower、bottle、stone、pavilion。圖7是文獻(xiàn)[14]中的算法和本文算法生成的HDR圖像對比圖。第一列為輸入圖像，第二列是采用文獻(xiàn)[14]算法得的圖像，第三列是本文算法得到的圖像。從圖7中可以看出，本文算法所得到的圖像整體效果更好，對比度明顯，且圖像的細(xì)節(jié)清楚可見，尤其是桌子邊緣、墻壁和石壁，其細(xì)節(jié)紋理、邊緣輪廓都能清楚地看見，融合效果滿足人類視覺要求。

圖7 融合結(jié)果對比Fig. 7 Comparison of fusion results

在圖8中，(a)列是原始圖像，分別是flower、bottle、stone，(b)列是文獻(xiàn)[14]中提出的算法得到的圖像，(c)列是本文方法得到的圖像。每張圖像的右下角是局部放大圖，從圖8可以看出文獻(xiàn)[14]得到的圖像存在圖像顏色失真的問題，并且圖像細(xì)節(jié)信息嚴(yán)重丟失，例如圖8第一行中草坪墻上的‘?！忠呀?jīng)看不出輪廓，而本文方法在盡量避免顏色失真的基礎(chǔ)上生成的HDR圖像顏色明亮，對比度明顯，且圖像的細(xì)節(jié)清晰可見，比如第二行中bottle圖中背景墻上具有更多的紋理信息，更符合人眼觀察到的視覺效果。

雖然文獻(xiàn)[14]中對每個輸入圖像自適應(yīng)地估計權(quán)重，但是根據(jù)權(quán)重τ對X0和X1進行亮度范圍擴展時，由于過度擴展導(dǎo)致在圖像融合時產(chǎn)生顏色失真從而產(chǎn)生細(xì)節(jié)模糊的問題，如圖8。

圖8 局部放大對比Fig. 8 Partial magnification and comparison

為了進一步評估本文算法，采用采用文獻(xiàn)[18]中提出的HDR-VDP- 2算法來評估輸出的HDR圖像質(zhì)量。在該算法計算中，采用生成的HDR圖像和原始圖像作對比。原始圖像作為參考圖像，各種算法生成的HDR圖像為測試圖像。該算法可以計算出平均主觀意見分?jǐn)?shù)(Mean Opinion Scores, MOS),該分?jǐn)?shù)QMOS為客觀的非線性映射。表1表示經(jīng)過該算法的平均主觀意見分?jǐn)?shù)。

表1 兩種算法的平均主觀意見分?jǐn)?shù)對比 Tab. 1 Mean subjective opinion score comparison of two algorithms

從表1可以看出，本文算法的平均主觀意見分?jǐn)?shù)較高，生成的圖像主觀視覺效果更好，所以本文算法具有更好的處理效果。

2.2 客觀評價

為了保證實驗的公平性，本文選取了不同場景的圖像對本文算法與文獻(xiàn)[14]算法進行客觀分析，所有的圖像都是靜態(tài)的，每張圖像都有不同的特征。

本文采用熵、方差、概率累積的模糊檢測(Cumulative Probability of Blur Detection， CPBD)[19]、清晰度、峰值信噪比(Peak Signal-to-Noise, PSNR)和結(jié)構(gòu)相似度(Structural Similarity Index, SSIM)作為客觀評價指標(biāo)。熵是衡量圖像信息豐富程度的物理量，因此較高的信息熵意味著更好的性能；方差是描述各像素偏離均值的程度，反映圖像的對比度信息；圖像的清晰度可以反映圖像中各細(xì)節(jié)部分影紋及其邊界的清晰程度，其值越大，代表圖像越清晰；CPBD能夠預(yù)測具有不同內(nèi)容的圖像的相對模糊度，該指標(biāo)值越高表示圖像越清晰。PSNR反映處理后圖像失真的大小，值越大，圖像越清晰。SSIM反映了人類視覺從圖像中抽取的結(jié)構(gòu)信息，不僅考慮局部結(jié)構(gòu)保持而且考慮全局亮度一致性。下面分別是各指標(biāo)的定義。

圖像的二維熵定義為：

(8)

其中：i表示像素的灰度值(0≤i≤255)；j表示鄰域灰度均值(0≤j≤255)；f(i,j)為特征二元組(i,j)出現(xiàn)的頻數(shù)，N為圖像尺寸。

方差的定義如下：

(9)

其中，f(i,j)為給定圖像像素所對應(yīng)的矩陣，M和N為給定圖像的長和寬，m為圖像的均值。

清晰度定義如下：

I(x,y)]2}

其中I(x,y)表示圖像在像素點(x,y)處的灰度值。

模糊檢測的累積概率計算如下：

(10)

其中：PBLUR為對于給定的對比度下的檢測模糊的概率；PJNB為人眼可分辨模糊(Just Noticeable Blur，JNB)下的檢測模糊的概率。

PSNR定義如下：

PSNR=10 lg ((2n-1)2/MSE);

(11)

其中：MSE表示處理后圖像X和原始圖像Y的均方誤差(Mean Squared Error，MSE)；M、N分別為圖像的高度和寬度；n為每像素的比特數(shù)。

SSIM定義如下：

(12)

其中：x,y表示處理后圖像和原始圖像；μx和μy分別表示圖像x和圖像y的平均灰度值；σx和σy分別表示圖像x和圖像y的方差；c1和c2為常數(shù)。

這些指標(biāo)分別以直接或間接的方式表現(xiàn)出生成的HDR圖像質(zhì)量的好壞，對比結(jié)果見表2。

表2 客觀評價指標(biāo) Tab. 2 Objective evaluation indexes

表2給出了4組測試圖像生成的HDR圖像算法處理結(jié)果的熵、方差、清晰度、CPBD、PSNR和SSIM。從該表中可以看出，所提出的算法明顯優(yōu)于文獻(xiàn)[14]的算法。與文獻(xiàn)[14]相比，本文算法得到的信息熵提高了2.9%，方差提高了16.4%,SSIM提高了6.6%?？傮w而言，本文算法在保留圖像顏色和局部細(xì)節(jié)上有一定的優(yōu)勢，且算法效果更加穩(wěn)定。

2.3 計算效率

表3給出了本文算法同文獻(xiàn)[14]算法的計算效率對比結(jié)果，所有算法均采用Matlab編程實現(xiàn)，運行時間也都是同一個PC平臺上運行得到。每組實驗的運行時間如表3所示。

表3 不同算法處理時間對比 單位：s Tab. 3 Comparison of processing time of different algorithms unit:s

由表3運行時間可知，本文算法在保證無論是從圖像的內(nèi)容豐富程度或?qū)Ρ榷然蛘邎D像清晰度的前提下，運算時間都得到了縮短。

3 結(jié)語

本文提出了一種基于亮度分區(qū)和模糊融合的高動態(tài)范圍圖像算法，采用改進的指數(shù)函數(shù)擴展其亮度范圍，然后融合生成HDR圖像。通過對HDR圖像進行信息熵、方差、CPBD、PSNR、SSIM、運行時間和平均主觀意見分?jǐn)?shù)的計算進行比較，實驗結(jié)果表明：本文算法在不引入偽影的前提下，能夠保留更多的局部細(xì)節(jié)信息和色彩，清晰度更高，可視效果更好。后期將研究怎樣結(jié)合具體實際場景應(yīng)用到工業(yè)相機上來，以驗證該方法的有效性和實時性。