周燕琴，呂緒洋，朱雄泳

（廣東第二師范學(xué)院計(jì)算機(jī)科學(xué)系，廣州510303）

0 引言

隨著時(shí)代的發(fā)展，人們對(duì)圖像質(zhì)量和視覺(jué)體驗(yàn)有著極致的追求和期待，進(jìn)而要求呈現(xiàn)幾乎接近于真實(shí)情景的圖像。這就意味著圖像需要更寬的動(dòng)態(tài)范圍，與人眼可視到的動(dòng)態(tài)范圍接近，從而引入HDR（Low Dynamic Rang）圖像。HDR 圖像最大特點(diǎn)是能夠提供具臨場(chǎng)感受的觀影效果，能夠正確地表示真實(shí)世界場(chǎng)景。

到目前為止，國(guó)內(nèi)外對(duì)HDR 圖像的研究已有20余年的歷史，HDR 成像技術(shù)已成為計(jì)算機(jī)圖形圖像學(xué)科領(lǐng)域的研究熱點(diǎn)問(wèn)題之一。由于基于硬件設(shè)計(jì)搭建的HDR 成像系統(tǒng)[1-2]需花費(fèi)高額成本，因此，越來(lái)越多的研究學(xué)者主要采用軟件合成的方法來(lái)采集HDR圖像。

普通數(shù)字圖像傳感器拍攝真實(shí)場(chǎng)景無(wú)法得到HDR 圖像，同時(shí)單幀圖像包含的真實(shí)場(chǎng)景信息量不夠完整。但是，可以通過(guò)控制曝光技術(shù)對(duì)同一場(chǎng)景多次拍攝得到一組曝光程度不同的LDR 圖像序列能較好地記錄真實(shí)場(chǎng)景信息。從而可以通過(guò)提取不同曝光圖像光線變化信息，并將這些信息融合在一起，便可最大程度的記錄場(chǎng)景真實(shí)信息。

從多曝光LDR 圖像序列中恢復(fù)出真實(shí)場(chǎng)景的HDR 圖像的算法目前大致可以分為兩類：第一類基于逆相機(jī)響應(yīng)曲線色調(diào)映射的方法。Debevec 等人[3]提出了一種的通過(guò)曝光時(shí)間縮放輻照度來(lái)獲得逆相機(jī)響應(yīng)曲線的方法，這種方法需要求得輻射度圖。Mitsunaga等人[4]采用多項(xiàng)式表示逆相機(jī)曲線的魯棒方法，響應(yīng)函數(shù)使用高階多項(xiàng)式建模并且通過(guò)最大似然法計(jì)算多項(xiàng)式系數(shù)。這類方法存在操作難和算法復(fù)雜度高的缺點(diǎn)。

另一類則是目前比較流行的多曝光融合方法，利用同一場(chǎng)景不同曝光度的LDR 圖像按照一定規(guī)則直接融合生成HDR 圖像，較第一類方法融合技術(shù)復(fù)雜度低，效率更高一籌。Burt 和Adelson[5]首次提出金字塔模型，并應(yīng)用于圖像融合算法，取得比較好的效果。之后很多學(xué)者在這基礎(chǔ)上進(jìn)行了改進(jìn)。Merterns 等人[6]提出基于拉普拉斯金字塔模型多曝光融合生成HDR 圖像方法，選取圖像對(duì)比度、飽和度和曝光度為可靠因子的加權(quán)融合生成HDR 圖像，但是對(duì)細(xì)節(jié)邊緣處理上出現(xiàn)細(xì)節(jié)模糊甚至邊緣丟失的情況。隨后，Wu 等人[7]提出基于最優(yōu)塊融合的HDR 圖像生成方法，首先，對(duì)多曝光圖像進(jìn)行分塊融合處理，然后利用三個(gè)信息測(cè)度因子（光照梯度因子、飽和度因子、適度曝光因子）進(jìn)行選最優(yōu)快，最后按照一定的融合規(guī)則融合像素塊生成HDR 圖像。融合結(jié)果發(fā)現(xiàn)最優(yōu)塊之間存在不連續(xù)現(xiàn)象，需要后續(xù)進(jìn)一步消除不連續(xù)邊界。因此，分塊融合方法無(wú)形當(dāng)中增加了算法的復(fù)雜度和運(yùn)行時(shí)間。Zhang 等人[8]提出基于梯度方法實(shí)現(xiàn)圖像的融合，該算法可消除圖像“鬼影”，但是只對(duì)一某些特定的圖像有效果。Shen 等人[9]提出基于隨機(jī)游的多曝光融合算法，將圖像局部對(duì)比度和顏色恒常性做概率計(jì)算，通過(guò)全局最優(yōu)解得到目標(biāo)圖像。

因此，本文提出一種基于顯著特征因子的改進(jìn)金字塔技術(shù)的多曝光LDR 圖像序列融合生成HDR 圖像。金字塔融合算法是一種基于多尺度、多分辨率的融合的方法，針對(duì)不同分解層的不同頻帶上的特征和細(xì)節(jié)，采用不同的融合算子以達(dá)到突顯特征的目的，實(shí)現(xiàn)不同圖像特征和細(xì)節(jié)的無(wú)縫連接，被廣泛應(yīng)用到多曝光圖像融合。本文改進(jìn)金字塔融合算法思路，首先提取多曝光LDR 圖像顯著特征因子生成權(quán)重圖；然后對(duì)待融合圖像進(jìn)行金字塔分解；最后金字塔融合得到圖像細(xì)節(jié)增強(qiáng)的HDR 圖像。

1 改進(jìn)金字塔融合算法

為了解決直接融合生成圖像出現(xiàn)拼接痕跡和邊界不連續(xù)問(wèn)題，本文構(gòu)建了一種新的與人類視覺(jué)特性一致的金字塔模型。首先，將拍攝的一組多曝光LDR 圖像序列去噪處理；其次提取特征因子對(duì)比度、色彩飽和度和曝光亮度并且賦予不同的權(quán)重值。為了減少由對(duì)比度通引起的局部光暈和泛灰的問(wèn)題，提出自適應(yīng)調(diào)整圖像局部對(duì)比度。這樣圖像局部對(duì)比明顯能起到增強(qiáng)圖像對(duì)比度作用；再次將經(jīng)過(guò)高斯金字塔分解的去噪圖像序列矩陣與分解的加權(quán)圖像序列矩陣進(jìn)行疊加再相乘融合運(yùn)算以達(dá)到增強(qiáng)圖像細(xì)節(jié)和色彩信息的目的；最終對(duì)新一組子圖層序列作拉普拉斯金字塔重構(gòu)及逆變換得到增強(qiáng)的HDR 圖像。

1.1 特征因子提取

為了合理評(píng)價(jià)待融合圖像，做出以下幾個(gè)方面考慮：第一，圖像色彩是衡量一張圖像質(zhì)量的重要指標(biāo)，色彩飽滿能讓你的畫面更有內(nèi)涵和吸引力。第二，人類視覺(jué)特性人眼觀察到的細(xì)節(jié)信息的多少與亮度有直接關(guān)系，過(guò)曝光和欠曝光圖像序列，同一塊區(qū)域因受到的曝光程度不一樣明暗差異比較大，太亮和太暗區(qū)域含的圖像信息量很少，傳遞的邊緣細(xì)節(jié)也是微乎其微。第三，當(dāng)局部對(duì)比度過(guò)大會(huì)引起圖像光暈，而局部對(duì)比度過(guò)小又會(huì)導(dǎo)致泛灰。同時(shí)還存在圖像色彩偏移、不均衡等問(wèn)題。

所以，綜合來(lái)看本文最終引入了三個(gè)可靠特征因子分別是調(diào)整最優(yōu)對(duì)比度、色彩飽和度和曝光度來(lái)提升圖像色彩質(zhì)量。計(jì)算多曝光LDR 圖像每個(gè)像素點(diǎn)的三個(gè)質(zhì)量度量值，并將生成的度量值圖作為權(quán)重圖。其中，設(shè)置自適應(yīng)加權(quán)參數(shù)的原則是偏暗區(qū)域或偏亮區(qū)域賦予較小的權(quán)值，富含圖像邊緣和細(xì)節(jié)信息賦予較高的權(quán)值。

（1）對(duì)比度

因人類視覺(jué)系統(tǒng)對(duì)局部光線的變化較敏感，當(dāng)局部對(duì)比度過(guò)大會(huì)引起圖像產(chǎn)生光暈，而局部對(duì)比度過(guò)小又會(huì)導(dǎo)致泛灰現(xiàn)象。所以，這就需要合理調(diào)節(jié)對(duì)比度范圍，使得局部對(duì)比度更明朗、圖像質(zhì)量更清晰。首先，需要將源圖像fn轉(zhuǎn)化為灰度圖像gn，對(duì)灰度圖像進(jìn)行線性拉伸；然后對(duì)灰度圖gn進(jìn)行高斯濾波去除噪聲得到平滑的圖像，由式（1）來(lái)完成.

最后進(jìn)行圖像對(duì)比度拉伸是通過(guò)式（2）實(shí)現(xiàn)圖像自適應(yīng)調(diào)整最佳局部對(duì)比度動(dòng)態(tài)范圍拉伸。

（2）色彩飽和度

色彩飽和度反映了彩色圖像在顏色層面的表現(xiàn)力。所以，本文引入RGB 通道數(shù)據(jù)計(jì)算像素點(diǎn)的色彩質(zhì)量度量值。分別計(jì)算出輸入源圖像序列fn的顏色通過(guò)R、G、B 通道數(shù)據(jù)fnR、fnG、fnB，并記錄下來(lái)，求出三類通道數(shù)據(jù)的平均值fnavg。

再計(jì)算通道數(shù)據(jù)的標(biāo)準(zhǔn)Sn作為圖像色彩飽和度特征因子權(quán)值，如下式（4）所示。

（3）曝光亮度

多曝光LDR 圖像序列中存在不同程度的曝光區(qū)域，其中包括過(guò)曝光、適度曝光和欠曝光。考慮到過(guò)曝光區(qū)域和欠曝光區(qū)域含的信息量較少，而適度曝光區(qū)域信息量比較豐富，所以利用高斯數(shù)學(xué)模型如式（5）、（6）為圖像R、G、B 三個(gè)通道的每一個(gè)像素點(diǎn)分配權(quán)重。

為了防止過(guò)亮和過(guò)暗像素點(diǎn)對(duì)融合產(chǎn)生干擾，最后由式（7）完成歸一化處理。

其中，CnR表示像素點(diǎn)在R 通道分配權(quán)值；同理通過(guò)式（6）計(jì)算得到另外兩個(gè)通道權(quán)值CnG、CnB，Cn表示圖像曝光亮度特征因子權(quán)值；高斯方程的標(biāo)準(zhǔn)差δ=0.25。為了避免受到某種頑固像素點(diǎn)的影響，本文通過(guò)設(shè)置判斷閾值t 進(jìn)行篩查，當(dāng)0

本文從不同角度選取特征因子，將對(duì)比度權(quán)值、色彩飽和度權(quán)值、曝光亮度權(quán)值相乘得到，如式（8）所示。

其中N=3，同時(shí)為了避免出現(xiàn)分母為零的情況，特取一個(gè)很小的非零值ε=10-10。

1.2 融合權(quán)重

首先建立高斯金字塔，高斯金字塔模型搭建原則是從金字塔的第Gl層向第Gl+1層以面積遞減的方式逐層生成，卷積核遍歷圖像運(yùn)算一次生成新圖像面積減少。在文獻(xiàn)[10]中使用5*5 卷積核對(duì)每個(gè)像素需要計(jì)算24 次加法、25 次乘法和25 次位移操作，每個(gè)像素一次卷積運(yùn)算量大約需經(jīng)過(guò)74 次計(jì)算。本文在保證融合質(zhì)量的前提下，提出改進(jìn)卷積核來(lái)降低運(yùn)算復(fù)雜度，提高運(yùn)算速度。因此，本文設(shè)計(jì)一個(gè)3*3 卷積核w(m,n)對(duì)G0進(jìn)行卷積運(yùn)算，如式（10）所示：

其每一個(gè)像素點(diǎn)的運(yùn)算量為8 次加法、9 次乘法和9 次位移，相當(dāng)于一個(gè)像素一次遍歷運(yùn)算量減少了48次計(jì)算，這意味著在很大程度降低了運(yùn)算量。

然后，每遍歷結(jié)束一次便刪除所有的偶數(shù)列和偶數(shù)行對(duì)圖像進(jìn)行向上采樣，依次得到新圖像層。其構(gòu)建公式如式（11）所示：

最后分解成由下至上分辨率逐層遞減的高斯金字塔圖像層G0,G1,G2,…,GN。本文先對(duì)多曝光LDR 圖像序列進(jìn)行去噪預(yù)處理，之后分別對(duì)去噪圖像序列和去噪圖像的加權(quán)參數(shù)圖像序列一一高斯金字塔分解，并將分解后對(duì)應(yīng)子圖層進(jìn)行疊加運(yùn)算，得到的三組新高斯金字塔子層分別相乘，最后得到一組由組成的新子圖層作拉普拉斯金字塔重構(gòu)運(yùn)算，這樣做的目的是增強(qiáng)圖像細(xì)節(jié)和邊緣信息。

實(shí)際上拉普拉斯重建過(guò)程就是高斯金字塔分解過(guò)程的反向操作過(guò)程。首先對(duì)高斯金字塔頂層圖像每個(gè)維度擴(kuò)大為一倍，對(duì)新增的行和列以0 填充；然后重建過(guò)程中使用的是如式（12）。

改進(jìn)后的拉普拉斯金字塔公式（13）如下所示：

得到一組由LP0,LP1,LP2,…,LPN構(gòu)成的拉普拉斯金字塔分解邊緣特征圖。以上是金字塔分解過(guò)程，接下來(lái)最關(guān)鍵的一步HDR 圖像生成目標(biāo)函數(shù)公式如下：

改進(jìn)金字塔融合算法首先根據(jù)去噪后的LDR 圖像序列顯著特征生成權(quán)重圖；然后分別對(duì)去燥圖像和權(quán)重圖像進(jìn)行高斯分解，將分解后對(duì)應(yīng)子層融合得到高斯分解圖像；最后對(duì)高斯金字塔圖像做拉普拉斯逆變換得到融合后的HDR 圖像，圖1 為改進(jìn)金字塔融合算法流程示意圖。

圖1 改進(jìn)算法流程圖

2 仿真分析

本文仿真實(shí)驗(yàn)在MALAB 平臺(tái)進(jìn)行，平臺(tái)配置是Intel Core i5-8400 CPU，16GB 內(nèi)存。本文選取的測(cè)試圖片來(lái)源于文獻(xiàn)[11-12]提供的多曝光LDR 序列圖像，共取三十組多曝光LDR（有過(guò)曝光、適中曝光、欠曝光）圖像序列作為測(cè)試圖像。本文分別從主觀和客觀兩方面進(jìn)行評(píng)價(jià)。為突顯本文算法的實(shí)驗(yàn)效果，與目前一些主流的算法相比較生成效果圖，人眼直接觀察判斷算法優(yōu)劣。由于文章篇幅有限，因此從實(shí)驗(yàn)結(jié)果中隨機(jī)抽取三組予以展示，圖像大小分別為390×280、640×520、1024×600。由于無(wú)法直接展示HDR 效果圖，本文所有對(duì)比實(shí)驗(yàn)是基于一種亮度可控與細(xì)節(jié)保持的高動(dòng)態(tài)范圍圖像色調(diào)映射方法[11]。

第一組中對(duì)比實(shí)驗(yàn)：Wu 等人[12]提出多曝光圖像進(jìn)行分塊的圖像融合方法，從不同的曝光圖像中選取信息最大的信息塊，對(duì)選取的最大信息塊利用一定的融合函數(shù)進(jìn)行融合，其實(shí)驗(yàn)結(jié)果如圖2 所示?？傮w上，基于分塊的融合算法生成的HDR 圖像有較好的高動(dòng)態(tài)特征，但是仔細(xì)看可發(fā)現(xiàn)像素塊間存在著嚴(yán)重的邊緣效應(yīng)和塊效應(yīng)，有明顯的不自然連接，圖中用紅色邊框標(biāo)明，且呈現(xiàn)一定的光暈感，圖中用綠色邊款標(biāo)明。分析產(chǎn)生主要原因有兩部分，一是圖像分塊之后的后續(xù)融合處理不夠準(zhǔn)確，二是無(wú)法自適應(yīng)光照變化。

圖2 兩種不同算法生成HDR圖像

從兩種算法的實(shí)驗(yàn)細(xì)節(jié)效果對(duì)比圖可以看出，本文算法在細(xì)節(jié)處理效果明顯優(yōu)于基于分塊融合算法。如圖3 兩種算法細(xì)節(jié)對(duì)比圖。

圖3 兩種算法細(xì)節(jié)對(duì)比圖

第二組中對(duì)比實(shí)驗(yàn)：Han 等人[13]提出基于梯度金字塔融合生成HDR 圖像方法，利用梯度可提供圖像方向信息和邊緣信息進(jìn)行多曝光LDR 圖像融合。實(shí)驗(yàn)結(jié)果如圖4 所示?；谔荻壬傻腍DR 圖像存在一定程度的泛灰（如椅子周圍）、光暈（窗臺(tái)和窗簾）現(xiàn)象，圖中用紅色邊框標(biāo)明。分析細(xì)節(jié)丟失最主要的原因是多像素融合過(guò)程中產(chǎn)生梯度反轉(zhuǎn)所導(dǎo)致。然而，本文算法生成HDR 圖像中原本過(guò)亮區(qū)域明顯變較暗、過(guò)暗區(qū)域變較亮，圖像色彩更均勻，邊緣信息也得到增強(qiáng)，其更接近于真實(shí)場(chǎng)景動(dòng)態(tài)范圍特性。

圖4 兩種不同算法生成HDR圖像

第三組中對(duì)比實(shí)驗(yàn)：Xia 等人[14]提出基于YUV 空間的HDR 圖像生成算法，其實(shí)驗(yàn)結(jié)果如圖5 所示，基于YUV 空間的HDR 圖像顏色變現(xiàn)力較弱，色彩存在偏離，色彩表現(xiàn)力不夠真實(shí)，圖中用綠色邊框標(biāo)明。圖像區(qū)域細(xì)節(jié)信息較模糊如圖中玩具熊領(lǐng)結(jié)部位，甚至大面積的細(xì)節(jié)并未呈現(xiàn)出來(lái)如原本的真實(shí)物體在圖像上一片漆黑，圖中用紅色邊框標(biāo)明。

圖5 兩種不同算法生成HDR圖像

如圖6 兩種算法細(xì)節(jié)放大效果對(duì)比圖，左列基于YUV 空間放大細(xì)節(jié)，右列本文算法細(xì)節(jié)圖。本文提出算法生成的HDR 圖像能很好的避免顏色偏離，圖像色彩表現(xiàn)更接近現(xiàn)實(shí)場(chǎng)景，且符合人眼視覺(jué)特性，圖像細(xì)節(jié)信息保留的更多。

圖6 兩種算法細(xì)節(jié)對(duì)比圖

為了更客觀評(píng)價(jià)算法的優(yōu)越性，本文采用DRIM（Dynamic Range Independent Image Quality Metric）[15]評(píng)估軟件來(lái)進(jìn)行HDR 圖像質(zhì)量的評(píng)價(jià)，該軟件會(huì)生成一幀由紅色、綠色、藍(lán)色及灰色像素四種顏色組成的圖像。其中紅色部分代表對(duì)比度反轉(zhuǎn)，綠色部分代表對(duì)比度丟失，藍(lán)色部分代表對(duì)比度增強(qiáng)，灰色部分代表對(duì)比度無(wú)變化。如圖7 為DRIM 軟件生成圖像色彩分布的統(tǒng)計(jì)圖。第一實(shí)驗(yàn)組是用10 組LDR 數(shù)據(jù)分別依次輸入文獻(xiàn)[12]基于分塊融合算法和本文算法，再對(duì)輸出結(jié)果進(jìn)行比較。第二實(shí)驗(yàn)組和第三實(shí)驗(yàn)組和第一實(shí)驗(yàn)組做法相同，只是輸入了不同的10 組LDR 數(shù)據(jù)和對(duì)比的算法變化上的不同。表1 為不同分辨率圖像仿真運(yùn)行時(shí)間。

圖7 DRIM軟件生成圖像色彩分布的統(tǒng)計(jì)圖

表1 各算法對(duì)不同大小圖像生成HDR 圖像運(yùn)行時(shí)間

通過(guò)實(shí)驗(yàn)，比較數(shù)據(jù)可以看出，本文提出算法生成融合圖像對(duì)比度反轉(zhuǎn)和對(duì)比度丟失率比較小，而對(duì)比度增強(qiáng)面積較大。從表中數(shù)據(jù)，可以發(fā)現(xiàn)基于分塊融合算法耗時(shí)最長(zhǎng)，分塊步驟比較繁瑣，算法有一定的計(jì)算復(fù)雜度，導(dǎo)致執(zhí)行時(shí)間較長(zhǎng)。相比較其他兩種算法，本文算法魯棒性強(qiáng)，很大程度上減少了計(jì)算量，提高了算法運(yùn)算速度。

3 結(jié)語(yǔ)

本文提出一種新的生成HDR 圖像算法，首先提取多曝光LDR 圖像序列的顯著特征，選取圖像對(duì)比度、彩色飽和度、曝光亮度三個(gè)測(cè)度因子作為顯著特征生成加權(quán)圖，然后分別對(duì)源圖像和生成的加權(quán)圖進(jìn)行高斯金字塔分解，對(duì)應(yīng)子圖層相乘得到一組新子圖層，最后對(duì)新子圖層作拉普拉斯逆變換生成HDR 圖像。本文通過(guò)改進(jìn)金字塔技術(shù)解決了圖像細(xì)節(jié)模糊的問(wèn)題，將對(duì)比度動(dòng)態(tài)范圍拉伸解決了圖像對(duì)比度反轉(zhuǎn)，色彩飽和更符合人眼的直觀視覺(jué)等特點(diǎn)，為了提高算法的運(yùn)算速率設(shè)計(jì)一個(gè)簡(jiǎn)單高效卷積核進(jìn)行卷積運(yùn)算，大大降低了運(yùn)算的復(fù)雜度。應(yīng)用改進(jìn)金字塔融合技術(shù)最大限度獲得場(chǎng)景完整信息。