付爭(zhēng)方 朱 虹 余順園 薛 杉

（1.安康學(xué)院電子與信息工程學(xué)院，安康，725000；2.西安理工大學(xué)自動(dòng)化與信息工程學(xué)院，西安，710048）

引 言

普通數(shù)碼設(shè)備或顯示器的亮暗比值通常只有102∶1，而真實(shí)場(chǎng)景的亮暗比值為109∶1。正是由于真實(shí)場(chǎng)景和普通數(shù)碼設(shè)備動(dòng)態(tài)范圍極其不匹配，使得實(shí)際拍攝的圖像明亮處出現(xiàn)過(guò)曝，曝光處信息嚴(yán)重丟失，或者昏暗處曝光不足，細(xì)節(jié)信息無(wú)法辨認(rèn)，從而無(wú)法獲得一幅能夠完整反映真實(shí)場(chǎng)景細(xì)節(jié)信息的圖像，甚至成為在某些極端情況下無(wú)法辨析事發(fā)現(xiàn)場(chǎng)目標(biāo)細(xì)節(jié)的重要因素。高動(dòng)態(tài)范圍(High dynamic range,HDR)圖像較普通的數(shù)字圖像能夠更加準(zhǔn)確記錄真實(shí)場(chǎng)景絕大部分的色彩和光照信息，同時(shí)由于其較大的動(dòng)態(tài)范圍，能夠表現(xiàn)出豐富的色彩細(xì)節(jié)和明暗層次。

HDR圖像雖然能夠表現(xiàn)較大的動(dòng)態(tài)范圍，反映場(chǎng)景更多的細(xì)節(jié)信息，但其獲取必須使用專(zhuān)用設(shè)備，價(jià)格昂貴。使用普通設(shè)備對(duì)同一場(chǎng)景采用不同的曝光時(shí)間多次拍攝，得到一系列能夠反映真實(shí)場(chǎng)景各部分細(xì)節(jié)信息的圖像。當(dāng)曝光時(shí)間較長(zhǎng)時(shí)，圖像能夠清楚地反映昏暗處的細(xì)節(jié)信息；曝光時(shí)間較短時(shí)，明亮處的細(xì)節(jié)信息能夠得到很好的表現(xiàn)。通過(guò)獲取序列中每幅圖像最佳細(xì)節(jié)信息，將其融合在一起，得到一幅能夠在普通設(shè)備上直接顯示，并且能夠完整反映真實(shí)場(chǎng)景細(xì)節(jié)信息的高動(dòng)態(tài)范圍圖像。

近年來(lái)，國(guó)內(nèi)外學(xué)者針對(duì)多曝光圖像融合展開(kāi)了研究。Rovid等[1]提出基于梯度評(píng)價(jià)函數(shù)的多曝光圖像融合，根據(jù)評(píng)價(jià)函數(shù)設(shè)置融合權(quán)值。Wu等[2]提出分塊梯度評(píng)價(jià)融合方法，評(píng)價(jià)分割后圖像子塊的梯度信息，對(duì)曝光較好的子塊進(jìn)行融合。Goshtasby[3]提出分塊信息熵融合方法，將圖像均勻分割成多個(gè)子塊，計(jì)算其信息熵，選擇信息熵最大的子塊進(jìn)行加權(quán)融合。該方法由于同一圖像塊可能跨越亮度差異較大的不同物體而導(dǎo)致邊界光暈現(xiàn)象。Raman等[4]利用雙邊濾波技術(shù)保持圖像邊緣平滑，該方法計(jì)算速度快，但不能很好地保持圖像的顏色信息。Zhao等[5]通過(guò)子帶結(jié)構(gòu)能夠保留圖像更多的細(xì)節(jié)信息，但該方法通過(guò)增益圖提高圖像對(duì)比度，過(guò)分增強(qiáng)了細(xì)節(jié)信息，融合圖像不太自然。Zhang等[6]利用像素的梯度反映曝光質(zhì)量，梯度大曝光效果好，則設(shè)置較大的融合權(quán)值，梯度小則像素處于曝光過(guò)度或不足區(qū)域，則設(shè)置較小權(quán)值。該方法能夠保持較好的細(xì)節(jié)，但沒(méi)有考慮原場(chǎng)景中的亮暗層次，可能會(huì)導(dǎo)致融合結(jié)果出現(xiàn)亮暗翻轉(zhuǎn)現(xiàn)象。Mertens等[7]提出多分辨率加權(quán)融合方法，對(duì)圖像進(jìn)行拉普拉斯金字塔[8]分解，消除融合圖像的縫隙問(wèn)題[9-11]。該方法多數(shù)情況下能夠得到很好的融合結(jié)果，但對(duì)于動(dòng)態(tài)范圍非常大的真實(shí)場(chǎng)景，融合結(jié)果的高亮和低暗區(qū)域仍存在細(xì)節(jié)丟失現(xiàn)象。

文獻(xiàn)[12]有效地解決了靜態(tài)場(chǎng)景和動(dòng)態(tài)場(chǎng)景的圖像融合，特別是靜態(tài)場(chǎng)景中細(xì)節(jié)信息較弱的超暗區(qū)域的信號(hào)恢復(fù)，同時(shí)對(duì)相機(jī)的微小移動(dòng)和含有運(yùn)動(dòng)目標(biāo)的動(dòng)態(tài)場(chǎng)景給出了較好的解決方案，但算法仍然存在以下兩個(gè)有待優(yōu)化的方面：

（1）處理效率。文獻(xiàn)[12]針對(duì)多曝光圖像序列每個(gè)像素位置擬合sigmoid曲線，通過(guò)曲線的拐點(diǎn)求該像素的最佳成像點(diǎn)，能夠恢復(fù)出實(shí)際場(chǎng)景中亮暗區(qū)域的細(xì)節(jié)信息，最后通過(guò)金字塔算法對(duì)融合后的圖像進(jìn)行平滑處理，得到一幅清晰、逼真的且能反映真實(shí)場(chǎng)景的HDR圖像。但對(duì)于具有千萬(wàn)級(jí)像素的圖像序列，則需要擬合千萬(wàn)條曲線來(lái)獲得最佳曝光點(diǎn)，雖然可通過(guò)并行計(jì)算的方法解決，仍存在計(jì)算效率低，空間復(fù)雜度高等缺點(diǎn)，很難達(dá)到實(shí)時(shí)應(yīng)用的目的。

（2）判斷運(yùn)動(dòng)目標(biāo)點(diǎn)的局限性。文獻(xiàn)[12]在檢測(cè)運(yùn)動(dòng)目標(biāo)時(shí)，給出了一個(gè)曝光量遞增關(guān)系的假設(shè)，即圖像像素亮度值隨著曝光時(shí)間的增加而增大。然而在真實(shí)場(chǎng)景中，運(yùn)動(dòng)目標(biāo)同樣符合隨曝光時(shí)間增加其亮度值也隨之增加，于是，如圖1所示，融合后仍存在鬼影現(xiàn)象。

本文在文獻(xiàn)[12]的基礎(chǔ)上，對(duì)同一灰度值在不同曝光時(shí)間下其像素值的變化情況進(jìn)行分析，提出了基于灰度級(jí)映射函數(shù)建模的多曝光HDR圖像重建算法。該算法對(duì)同一曝光下相同灰度值的像素直接從低動(dòng)態(tài)范圍（Low dynamic range,LDR）圖像中提取該像素位置的亮度序列，對(duì)于相同灰度的亮度序列采用最小二乘法僅擬合一條魯棒性曲線，獲得這些像素位置最佳成像信息，最后采用多分辨率融合方法得到一幅能夠反映真實(shí)場(chǎng)景且適合在常規(guī)設(shè)備上顯示的HDR圖像。該算法在融合效果上接近于逐個(gè)像素融合算法，但對(duì)任意大小的LDR圖像序列，最多需要擬合256條曲線（灰度范圍），極大地提高了算法的融合效率，能夠達(dá)到實(shí)時(shí)性圖像融合要求。

圖1 含有運(yùn)動(dòng)區(qū)域的多曝光圖像融合算法Fig.1 Multi-exposure fusion algorithm for images containing motion region

對(duì)于場(chǎng)景中存在運(yùn)動(dòng)目標(biāo)，本文算法通過(guò)灰度比例關(guān)系推導(dǎo)出任意兩幅曝光圖像亮度值的變化與它們整幅圖像平均亮度變化之間的比值恒定的原理，利用這一原理可以恢復(fù)出任意曝光時(shí)間的理想場(chǎng)景圖像，然后作差分運(yùn)算檢測(cè)運(yùn)動(dòng)目標(biāo)區(qū)域，該區(qū)域賦予場(chǎng)景中較好運(yùn)動(dòng)目標(biāo)像素，其余區(qū)域通過(guò)直接融合方法合成，獲得了對(duì)比度強(qiáng)且不含鬼影的融合圖像。

1 光度值關(guān)系模型

1.1 光度值比例關(guān)系

根據(jù)Mitsunaga等[14]提出的光度值關(guān)系理論，圖像中的每個(gè)像素點(diǎn)的亮度值與實(shí)際場(chǎng)景的輻射照度和曝光時(shí)間具有一定的相關(guān)性。在拍攝時(shí)，成像系統(tǒng)具有線性響應(yīng)，并且不存在任何移動(dòng)目標(biāo)的靜態(tài)場(chǎng)景，則圖像的亮度值I與實(shí)際場(chǎng)景的輻射照度L滿(mǎn)足

式中：h為相機(jī)焦距；φ為光軸偏離主射線角度；E為曝光度。E可定義為

式中：d為相機(jī)鏡頭光圈的大?。籺為圖像曝光時(shí)間。

根據(jù)式（1，2）推導(dǎo)可得

由于是對(duì)同一場(chǎng)景進(jìn)行拍攝，其環(huán)境和光照等因素未發(fā)生變化。根據(jù)式(3)可得圖像像素亮度值和曝光時(shí)間具有線性關(guān)系，即同一位置的場(chǎng)景輻射照度值L不隨成像系統(tǒng)的曝光時(shí)間變化而變化，其大小與物體的材質(zhì)和顏色等屬性有關(guān)。

因此，在沒(méi)有噪聲影響的情況下，成像系統(tǒng)所拍攝的圖像在任意像素(x,y)處其亮度值I和曝光時(shí)間t具有線性關(guān)系，即

式中：tk為多曝光圖像序列第k(k=1,2,…,N)幅圖像的曝光時(shí)間；Ik(x,y)為第k幅圖像在像素(x,y)處的亮度值；C(x,y)為像素(x,y)處亮度值與曝光時(shí)間的比例系數(shù)。

對(duì)于一幅圖像兩個(gè)不同像素 (x,y),(x′,y′)和任意兩幅不同曝光圖像Ek和Ek′，令 ΔIk′,k(x,y)=Ik′(x,y)-Ik(x,y)，Δtk,k′=tk′-tk，可得

令曝光圖像的高度為H，寬度為W，可得

這意味著，在(x,y)位置處，任意兩幅曝光圖像各像素亮度值的變化與它們整幅圖像平均亮度的變化之間呈線性關(guān)系[15]，而且具有不變性，與k和k′無(wú)關(guān)。

1.2 圖像平均亮度與曝光時(shí)間關(guān)系

由式（4）可知，在任意位置(x,y)處曝光時(shí)間分別為tk和tk′的亮度值I可表示為

則(x,y)像素不同曝光時(shí)間的亮度差可表示為

令 Δtk,k′=tk′-tk，則

由式(7)變換可得

結(jié)合式(10,11)可得

式中：ΔuIk′,k為任意兩幅圖像的平均灰度變化量，uC為兩幅圖像所有像素比例系數(shù)的平均值，在相機(jī)除曝光時(shí)間變化，其他參數(shù)不變的情況下，uC為常量。這意味著，任意兩幅曝光圖像的平均亮度與它們曝光時(shí)間變化之間的比值是恒定的，與k和k′無(wú)關(guān)，即圖像亮度均值變化與其曝光時(shí)間的變化之間呈線性關(guān)系。

2 灰度級(jí)映射關(guān)系

2.1 同一灰度不同曝光像素值變化關(guān)系

對(duì)于曝光圖像Ek任意兩個(gè)不同位置的像素 (x,y)和 (x′,y′)，其亮度值分別為Ik(x,y)和Ik(x′,y′)，由式（4）可知

根據(jù)式（10），對(duì)于任意兩個(gè)不同位置的像素 (x,y),(x′,y′)和任意兩幅曝光圖像Ek和Ek′，令ΔIk′,k(x,y)=Ik′(x,y)-Ik(x,y)，Δtk,k′=tk′-tk，可推導(dǎo)得到

由式（14）可得

對(duì)同一曝光圖像不同像素位置 (x,y)，(x′,y′)，C(x,y)=C(x′,y′)，若Ik(x,y)=Ik(x′,y′)，在無(wú)噪聲影響的情況下，可得到Ik′(x,y)=Ik′(x′,y′)，即經(jīng)過(guò)相同曝光時(shí)間后，同一灰度的像素點(diǎn)的灰度值仍保持一致。

2.2 基于最大熵的基準(zhǔn)圖像選擇

依據(jù)同一灰度的像素點(diǎn)在經(jīng)過(guò)相同曝光時(shí)間后其灰度值仍保持一致的原理，從多曝光圖像序列中選擇一幅圖像作為基準(zhǔn)圖像，以其每個(gè)灰度級(jí)0～255分別定位相應(yīng)灰度級(jí)在基準(zhǔn)圖像中的像素位置，利用該位置信息獲得其他多曝光圖像對(duì)應(yīng)位置的像素亮度值（由于在拍攝過(guò)程中可能受到光照或噪聲影響，在其他曝光圖像對(duì)應(yīng)位置灰度值可能有所偏差，本文算法對(duì)其取均值），組成一個(gè)亮度序列，然后利用文獻(xiàn)[12]sigmoid曲線擬合方法求該灰度級(jí)最佳曝光值，該值作為融合圖像對(duì)應(yīng)像素位置的最佳成像值。重復(fù)上述過(guò)程，求得每個(gè)灰度級(jí)在融合圖像的最佳成像值獲得融合圖像。該算法對(duì)任意大小的圖像，最多需擬合256條曲線即可獲得融合圖像，在算法效率上得到了很大提升，可達(dá)到實(shí)時(shí)應(yīng)用的目的。因此，基準(zhǔn)圖像的選擇成為該算法的關(guān)鍵。

圖像信息熵作為圖像特征的一種統(tǒng)計(jì)形式，其大小反映了圖像中信息量的多少，熵越大，表明圖像包含的信息量越多。因此，本文算法以信息熵作為選擇基準(zhǔn)圖像的標(biāo)準(zhǔn)。為了更準(zhǔn)確地選擇基準(zhǔn)圖像，在原多曝光圖像序列中加入了它們的平均灰度圖，作為基準(zhǔn)圖像選擇之一，分別計(jì)算多曝光圖像和其平均灰度圖中的信息熵，以其信息熵最大的圖像作為基準(zhǔn)圖像，克服了文獻(xiàn)[16]人為參與選擇基準(zhǔn)圖像的缺點(diǎn)。以圖2多曝光圖像序列為例，分別計(jì)算每幅圖像及其平均灰度圖的信息熵，計(jì)算結(jié)果如表1所示。

以最大信息熵作為選擇基準(zhǔn)圖像的標(biāo)準(zhǔn)，從表1可以看到，平均灰度圖信息熵最大，則在融合時(shí)以平均灰度圖為基準(zhǔn)圖像。圖3分別給出了基準(zhǔn)圖像在像素灰度值為60，120，180和240的對(duì)應(yīng)位置多曝光圖像序列亮度值變化情況，可以清楚看到同一幅圖像中灰度相同的像素點(diǎn)在不同曝光情況下其灰度值基本保持一致。在實(shí)際拍攝中，由于場(chǎng)景光線變化或噪聲影響，導(dǎo)致同一灰度的像素點(diǎn)在經(jīng)過(guò)不同曝光時(shí)間后其灰度值未能保持一致，本文算法通過(guò)對(duì)其變化后的像素值求平均值，較大程度上消除了光線變化和噪聲的影響。

圖2 多曝光圖像序列Fig.2 Multiple exposure image sequence

圖4給出了基準(zhǔn)圖像亮度值為180的像素位置，圖4(b—d)分別用紅色像素點(diǎn)標(biāo)出了圖2多曝光圖像序列在基準(zhǔn)圖像圖4(a)亮度值為180的像素位置。利用同一灰度的像素點(diǎn)在經(jīng)過(guò)相同曝光時(shí)間后其灰度值仍保持一致的原理，獲得對(duì)應(yīng)位置的亮度序列（求均值），擬合S_sigmoid曲線，獲得融合圖像的最佳成像值。

表1 圖2對(duì)應(yīng)多曝光圖像的信息熵Tab.1 Entropy of the corresponding images of Fig.2

圖3 同一灰度不同曝光的像素值變化情況Fig.3 Variety in pixel value of the same gray level under different exposure

圖4 基準(zhǔn)圖像亮度值為180的多曝光圖像對(duì)應(yīng)像素位置Fig.4 Corresponding pixel positions of multi-exposure images when brightness value of benchmark image is 180

2.3 灰度級(jí)融合算法流程圖

在理想狀態(tài)下，基準(zhǔn)圖像應(yīng)該能夠完全反應(yīng)實(shí)際場(chǎng)景的灰度級(jí)變化，相同灰度的像素在同一曝光情況下其灰度值保持一致性。然而，在實(shí)際處理中，多曝光序列中任何一幅圖像都很難反應(yīng)實(shí)際場(chǎng)景的灰度級(jí)變化范圍，并且需要人為參與。本文算法將LDR圖像序列及灰度均值圖像中最大熵的圖像作為基準(zhǔn)圖像?；鶞?zhǔn)圖像中等于某灰度級(jí)的像素集在經(jīng)過(guò)同一曝光后其像素值并沒(méi)有保持一致，這是由于場(chǎng)景光線或相機(jī)抖動(dòng)等造成了圖像灰度有微小變化。如圖3所示，本文算法對(duì)基準(zhǔn)圖像中等于某灰度級(jí)的像素集經(jīng)過(guò)曝光后的灰度值計(jì)算其均值。在此基礎(chǔ)上，對(duì)求得的LDR亮度序列采用最小二乘法擬合魯棒性曲線，以獲得這些像素位置的最佳成像信息，最后采用多分辨率融合方法得到一幅能夠反映真實(shí)場(chǎng)景且適合在常規(guī)設(shè)備上顯示的HDR圖像。該算法在融合效果上接近于逐個(gè)像素融合算法，但對(duì)任意大小的LDR圖像序列，最多需要擬合256條曲線，極大地提高了算法的融合效率，能夠達(dá)到實(shí)時(shí)性圖像融合要求。流程圖如圖5所示。

步驟1LDR圖像序列配準(zhǔn)和去噪(本文不作研究)。

步驟2計(jì)算LDR圖像序列和其對(duì)應(yīng)的灰度均值圖像的信息熵，熵值最大的作為基準(zhǔn)圖像。

多曝光圖像序列的灰度均值圖像計(jì)算公式為

式中：N代表LDR圖像序列的數(shù)量；Ik為第k幅圖像對(duì)應(yīng)的灰度圖像；uI表示LDR圖像序列的灰度均值圖像。

圖5 灰度級(jí)融合算法流程圖Fig.5 Flowchart of gray-scale fusion algorithm

步驟3對(duì)于每個(gè)灰度級(jí)(0～255)，在基準(zhǔn)圖像中查找其像素位置，計(jì)算不同曝光圖像對(duì)應(yīng)位置的灰度均值，以其灰度均值作為亮度序列，即

式中：[x,y]為基準(zhǔn)圖像uI中灰度值等于灰度級(jí)gray的像素點(diǎn)集合；Ik(x,y)為第k幅多曝光圖像在基準(zhǔn)圖像對(duì)應(yīng)位置的像素點(diǎn)灰度值；pgrayk為第k幅圖像對(duì)應(yīng)位置像素均值。

步驟4根據(jù)亮度序列pgrayk采用最小二乘法擬合魯棒性曲線。

步驟5重復(fù)步驟3,4，獲得256條曲線，計(jì)算每條曲線最佳曝光成像點(diǎn)。

步驟6根據(jù)最佳曝光點(diǎn)獲得Dirichlet權(quán)值矩陣。

步驟7進(jìn)行多分辨率融合，最終獲得HDR圖像。

3 運(yùn)動(dòng)區(qū)域檢測(cè)和鬼影消除

動(dòng)態(tài)場(chǎng)景由于拍攝時(shí)存在運(yùn)動(dòng)目標(biāo)，而這些運(yùn)動(dòng)目標(biāo)出現(xiàn)在多曝光圖像序列的不同區(qū)域，融合時(shí)其亮度值在對(duì)應(yīng)位置分別具有一定的權(quán)值，從而導(dǎo)致融合結(jié)果中出現(xiàn)鬼影現(xiàn)象。去除鬼影需要檢測(cè)運(yùn)動(dòng)目標(biāo)區(qū)域和鬼影消除兩步操作。

3.1 灰度級(jí)映射的鬼影檢測(cè)

Srikantha等[17]對(duì)現(xiàn)有融合圖像檢測(cè)和消除鬼影的方法進(jìn)行了綜述和分類(lèi)，并指出每種方法都不可能完全適應(yīng)所有動(dòng)態(tài)場(chǎng)景，不存在最佳方法，需要根據(jù)用戶(hù)的目的進(jìn)行方法選擇。本文算法利用式（7）結(jié)論，即任意兩幅曝光圖像亮度值的變化與它們整幅圖像平均亮度變化之間的比值是恒定的，在多曝光圖像序列中選擇兩幅場(chǎng)景近似一致的圖像作為指導(dǎo)圖像，計(jì)算出其他相應(yīng)的多曝光圖像理想值，利用差分法檢測(cè)出運(yùn)動(dòng)目標(biāo)。

從多曝光圖像序列中選擇場(chǎng)景一致的Eq和Ep兩幅圖像作為指導(dǎo)圖像，根據(jù)式（7）可知

變形可得

式中：Iq(x,y)，Ip(x,y)分別代表指導(dǎo)圖像Iq和Ip在像素 (x,y)處的灰度值；uIq，uIp和uIk分別代表Iq，Ip和Ik的灰度均值；Ik′(x,y)為恢復(fù)出的第k幅的理想圖像。

運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)，利用實(shí)際拍攝的多曝光圖像和恢復(fù)出的理想圖像作差分，得到運(yùn)動(dòng)區(qū)域，即

式中：(x,y)表示像素位置；Ik(x,y)為實(shí)際拍攝的第k幅多曝光圖像；Ik′(x,y)為恢復(fù)出的理想圖像；G為檢測(cè)出的鬼影區(qū)域；1代表鬼影像素；0代表非鬼影像素，文中TH=0.05。

得到的運(yùn)動(dòng)區(qū)域二值圖像有很多的噪聲、孤立點(diǎn)和孔洞，可以使用形態(tài)學(xué)圖像處理方法的腐蝕操作來(lái)消除噪聲和孤立點(diǎn)，然后使用膨脹運(yùn)算將孔洞填充，即

式中：B為腐蝕和膨脹操作ones(3×3)結(jié)構(gòu)元素；m和n分別為腐蝕和膨脹操作次數(shù)；G表示檢測(cè)的鬼影區(qū)域二值圖像，G′表示經(jīng)過(guò)形態(tài)學(xué)處理后的鬼影區(qū)域二值圖像。

綜上，運(yùn)動(dòng)區(qū)域檢測(cè)過(guò)程可描述為圖6所示。

圖6 運(yùn)動(dòng)區(qū)域檢測(cè)流程圖Fig.6 Flowchart of motion area detection

圖7為文獻(xiàn)[17]中描述的各種鬼影區(qū)域檢測(cè)結(jié)果，圖8是本文采用灰度級(jí)映射方法檢測(cè)的鬼影區(qū)域。從結(jié)果來(lái)看，圖7中的方法或多或少的會(huì)對(duì)鬼影區(qū)域出現(xiàn)漏檢現(xiàn)象，本文方法能夠準(zhǔn)確地檢測(cè)出鬼影區(qū)域，為后續(xù)鬼影消除提供了很好的預(yù)操作。

圖7 對(duì)圖1不同鬼影檢測(cè)算法的檢測(cè)結(jié)果Fig.7 Ghost detection results for Fig.1 with different detection algorithms

3.2 鬼影消除

所有運(yùn)動(dòng)目標(biāo)檢測(cè)方法的目的，從根本上說(shuō)是為了去除鬼影痕跡，目前去除重影方法分為兩大類(lèi)：一類(lèi)是在重影去除中保留出現(xiàn)的單一運(yùn)動(dòng)目標(biāo)，即僅保留某一固定位置的運(yùn)動(dòng)對(duì)象；另一類(lèi)是將所有的運(yùn)動(dòng)目標(biāo)完全去除。本文算法通過(guò)差分法檢測(cè)出運(yùn)動(dòng)目標(biāo)區(qū)域，分別采用保留單一運(yùn)動(dòng)目標(biāo)和去除所有運(yùn)動(dòng)目標(biāo)的方法實(shí)現(xiàn)了鬼影去除。保留單一運(yùn)動(dòng)目標(biāo)是用戶(hù)從多曝光圖像序列中選擇具有較好運(yùn)動(dòng)目標(biāo)的區(qū)域進(jìn)行保留，即對(duì)應(yīng)圖像鬼影區(qū)域像素的權(quán)重值（Dirichlet權(quán)值矩陣）1。

圖8 本文算法檢測(cè)的鬼影區(qū)域Fig.8 Ghost regions detected by the proposed algorithm

4 實(shí)驗(yàn)結(jié)果及分析

本文算法對(duì)靜態(tài)場(chǎng)景、相機(jī)微小移動(dòng)和含有運(yùn)動(dòng)目標(biāo)的動(dòng)態(tài)場(chǎng)景分別采用灰度級(jí)融合方法進(jìn)行了測(cè)試，所有試驗(yàn)在Intel內(nèi)核CPU 3.4 GB，內(nèi)存8 GB，MATLAB2010的PC機(jī)上進(jìn)行，測(cè)試圖像來(lái)源于互聯(lián)網(wǎng)上常見(jiàn)的LDR圖像序列。靜態(tài)場(chǎng)景和包含相機(jī)微小移動(dòng)與目前流行的Mertens EF算法、S_sigmoid算法及本文算法進(jìn)行比較，結(jié)果如圖9和10所示；動(dòng)態(tài)場(chǎng)景與2014年Chul Lee算法、2013年T-H Oh算法和Hu算法、2012年Zhang算法以及其他經(jīng)典算法進(jìn)行了比較，結(jié)果如圖11和12所示。

圖9 靜態(tài)場(chǎng)景的多曝光圖像融合效果Fig.9 Multiple exposure image fusion for static scene

圖10 相機(jī)微小移動(dòng)的灰度級(jí)多曝光圖像融合Fig.10 Gray-scale multi-exposure fusion for images with tiny camera motion

4.1 靜態(tài)場(chǎng)景LDR圖像序列融合

目前針對(duì)靜態(tài)場(chǎng)景融合效果良好的是Mertans EF算法。本文算法對(duì)如圖9(a)所示的5幅不同曝光的LDR圖像序列進(jìn)行了融合，結(jié)果如圖9(b)所示。從融合結(jié)果來(lái)看，本文算法融合細(xì)節(jié)更清楚，具有較強(qiáng)的對(duì)比度融合效果。Mertans EF算法具有較好的曝光量，形成的圖像明亮度較好(如圖9（b）Ⅰ所示)，其缺點(diǎn)是會(huì)在高亮區(qū)域(教堂場(chǎng)景中頂部區(qū)域和左邊壁畫(huà))部分細(xì)節(jié)丟失，且顏色和對(duì)比度較差；文獻(xiàn)[12]基于sigmoid函數(shù)的單像素融合算法(S_sigmoid)相對(duì)于Mertans EF算法，由于直接提取了原LDR圖像序列中像素亮度值信息，與原圖像的成像風(fēng)格保持一致，在高亮區(qū)保留更多的細(xì)節(jié)信息，獲得更加自然的融合圖像(如圖9（b）Ⅱ所示)，但該算法由于是單點(diǎn)像素序列進(jìn)行曲線擬合，容易受到噪聲點(diǎn)影響；本文方法克服了S_sigmoid算法的缺點(diǎn)，融合效果中細(xì)節(jié)更豐富，圖像對(duì)比度強(qiáng)，視覺(jué)效果更加自然。為了更好地對(duì)比，圖9(c)給出了細(xì)節(jié)比較結(jié)果。

4.2 相機(jī)微小移動(dòng)的LDR圖像序列融合

在相機(jī)進(jìn)行實(shí)際拍攝時(shí)，即使使用三角架也會(huì)由于手顫抖或按快門(mén)引起相機(jī)的微小移動(dòng)，使得最終的融合效果出現(xiàn)虛邊、重影等現(xiàn)象。本文算法通過(guò)檢測(cè)未配準(zhǔn)區(qū)域，取其給定曝光較好的像素值，其余像素按照靜態(tài)場(chǎng)景處理，獲得清晰的圖像。圖10(a)為一組LDR圖像序列，其在拍攝過(guò)程中相機(jī)出現(xiàn)了微小移動(dòng)，致使圖像沒(méi)有完全配準(zhǔn)。分別采用Mertans EF算法、S_sigmoid算法和本文算法進(jìn)行融合，融合效果如圖10(b)所示，細(xì)節(jié)放大如圖10(c)所示。可見(jiàn)，圖10（b）Ⅰ整幅圖像模糊不清，出現(xiàn)了鬼影現(xiàn)象；而圖10（b）Ⅱ和圖10（b）Ⅲ具有相同的效果，圖像清晰、逼真。圖10(c)對(duì)其局部融合效果進(jìn)行放大，可清楚看到Mertans EF算法由于受到相機(jī)微小移動(dòng)的影響出現(xiàn)虛邊重影現(xiàn)象，本文算法和S_sigmoid算法并未受相機(jī)微小移動(dòng)影響，融合效果依然清晰、逼真。

4.3 含有運(yùn)動(dòng)目標(biāo)的LDR圖像序列融合

由于拍攝場(chǎng)景大多處于公共場(chǎng)所，必然會(huì)存在運(yùn)動(dòng)目標(biāo)。本文算法對(duì)于含有運(yùn)動(dòng)目標(biāo)的LDR圖像序列，首先利用式（20），恢復(fù)其不同曝光場(chǎng)景，并采用差分方法計(jì)算其運(yùn)動(dòng)區(qū)域。對(duì)于運(yùn)動(dòng)區(qū)域，賦予LDR序列中曝光較好的像素值，其余區(qū)域采用靜態(tài)場(chǎng)景的灰度級(jí)融合算法進(jìn)行融合，融合效果如圖11所示。圖11(a)給出了5幅不同曝光的LDR圖像序列，圖11(b)利用式（20）恢復(fù)不同曝光場(chǎng)景，其中以圖11（a）（Ⅰ，Ⅴ）為指導(dǎo)圖像，利用差分法獲得運(yùn)動(dòng)區(qū)域如圖11(c)，圖11(d)為形態(tài)學(xué)處理后的運(yùn)動(dòng)區(qū)域，圖11(e)為保留單一運(yùn)動(dòng)目標(biāo)的融合效果，圖11(f)為消除所有運(yùn)動(dòng)目標(biāo)的融合效果。

圖11(e)為保留單一運(yùn)動(dòng)目標(biāo)(圖11(a)中第4幅圖的運(yùn)動(dòng)目標(biāo))的融合效果，本文方法與Zhang等方法、Sen等方法和Hu等方法進(jìn)行了比較。從圖可明顯看出，Zhang等方法保留的運(yùn)動(dòng)目標(biāo)效果最差，運(yùn)動(dòng)目標(biāo)部分區(qū)域沒(méi)有完全保留；Sen等方法和Hu等方法較好地保留了運(yùn)動(dòng)目標(biāo)，但其地面出現(xiàn)了塊效應(yīng)和顏色遷移問(wèn)題；本文方法不但完整地保留了運(yùn)動(dòng)目標(biāo)，而且其他部分也恢復(fù)了很好的細(xì)節(jié)信息。

圖11 動(dòng)態(tài)場(chǎng)景的多曝光圖像融合(運(yùn)動(dòng)目標(biāo))Fig.11 Multiple exposure image fusion for dynamic scenes(moving target)

圖11(f)為消除所有運(yùn)動(dòng)目標(biāo)的融合效果，將本文方法與Chul Lee算法、Oh算法和Hu算法，Zhang算法，以及其他等9種融合算法進(jìn)行了比較?？梢郧宄乜吹剑瑘D11（f）（Ⅰ，Ⅶ，Ⅷ）沒(méi)有完全消除運(yùn)動(dòng)目標(biāo)，仍然存在鬼影現(xiàn)象；圖11（f）（Ⅱ，Ⅳ，Ⅴ）消除了鬼影，但其地面顏色出現(xiàn)了偏色現(xiàn)象(泛綠)。從視覺(jué)效果來(lái)看圖11（f）Ⅲ和圖11（f）Ⅵ融合效果最好，完全消除了鬼影，并對(duì)場(chǎng)景細(xì)節(jié)恢復(fù)良好，但其融合結(jié)果并沒(méi)有保留場(chǎng)景原有的亮度和顏色信息；圖11（f）Ⅸ算法沒(méi)有完全去除運(yùn)動(dòng)目標(biāo)，圖11（f）Ⅺ給出了細(xì)節(jié)放大圖，并且其頂部亮度是多曝光圖像中未出現(xiàn)的光線強(qiáng)度，不符合光照原理，引入了虛假信息，對(duì)后續(xù)的決策判斷帶來(lái)影響，本文方法不但完全消除了場(chǎng)景中運(yùn)動(dòng)目標(biāo)，而且保留了場(chǎng)景原有的亮度和顏色信息，融合效果良好。

圖12給出了LDR圖像序列中每幅圖像均含有運(yùn)動(dòng)目標(biāo)的多曝光圖像，從融合效果來(lái)看，圖12（b）Ⅸ之前的算法不程度均含有少量鬼影現(xiàn)象，2014年Chul等提出的鬼影去除算法融合效果良好，視覺(jué)效果好，并很好地去除了鬼影，但融合圖像中存在塊效應(yīng)，如圖12（b）Ⅸ紅色框中所示，圖12(c)給出了其塊效應(yīng)細(xì)節(jié)放大圖，草地信息恢復(fù)較差。本文算法同樣去除了融合結(jié)果中的鬼影現(xiàn)象，不僅保留了單一場(chǎng)景的運(yùn)動(dòng)目標(biāo)，而且保留了場(chǎng)景原有的亮度和顏色信息，場(chǎng)景細(xì)節(jié)恢復(fù)清晰。

4.4 不符合像素值順序的多曝光融合

圖13(a)運(yùn)動(dòng)區(qū)域檢測(cè)可以清楚地看到，紅色框中的運(yùn)動(dòng)目標(biāo)出現(xiàn)漏檢或部分檢測(cè)等現(xiàn)象，其原因是隨著曝光時(shí)間的增大，這部分運(yùn)動(dòng)目標(biāo)像素的亮度值也隨之增大，因此基于像素值順序的檢測(cè)方法不適應(yīng)此類(lèi)圖。本文算法根據(jù)任意兩幅曝光圖像亮度值的變化與它們整幅圖像平均亮度變化之間的比值恒定的原理，對(duì)于圖1多曝光序列，選擇圖1（a）(Ⅰ，Ⅶ)作為參考圖像，保留圖1（a）（Ⅴ）中的運(yùn)動(dòng)目標(biāo)，然后恢復(fù)出其他曝光時(shí)間理想狀態(tài)下的圖像，利用差分法求出每幅圖的運(yùn)動(dòng)像素，然后將這些運(yùn)動(dòng)像素組合成一幅二值圖像，對(duì)其作形態(tài)運(yùn)算，如圖13(b)所示。融合時(shí)將運(yùn)動(dòng)區(qū)域像素利用圖1（a）（Ⅴ）中對(duì)應(yīng)像素替換，最后通過(guò)金字塔融合平滑得到融合圖像，并將融合結(jié)果與Zhang等算法及S-sigmoid算法結(jié)果作比較，如圖14所示。

圖13 多曝光序列圖1的運(yùn)動(dòng)目標(biāo)檢測(cè)Fig.13 Moving object detection for multiple exposure sequence in Fig.1

圖14 多曝光序列圖1的融合效果Fig.14 Fusion result for multiple exposure sequence in Fig.1

圖15以圖15（a）（Ⅰ，Ⅴ）作為參考圖像，保留圖15（a）（Ⅲ）的運(yùn)動(dòng)目標(biāo)，融合效果如圖15(d)所示。從圖14和15的融合效果來(lái)看，Zhang等和S_sigmoid方法均沒(méi)有完全去除鬼影區(qū)域，而本文算法有效地去除了鬼影，并得到一幅能夠完全反應(yīng)真實(shí)場(chǎng)景細(xì)節(jié)的高動(dòng)態(tài)范圍圖像。圖16給出了兩組實(shí)驗(yàn)效果，其中圖16（a）（Ⅷ）為以圖16（a）（Ⅰ，Ⅶ）為參考圖像，保留圖16（a）（Ⅲ）運(yùn)動(dòng)目標(biāo)的融合效果，圖16（b）（Ⅶ）為以圖16（b）（Ⅴ，Ⅵ）為參考圖像，保留16（b）（Ⅳ）運(yùn)動(dòng)目標(biāo)的融合效果。

圖15 含有運(yùn)動(dòng)目標(biāo)的多曝光圖像融合效果對(duì)比Fig.15 Comparisons of fusion effect for multi-exposure images containing moving targets

5 融合質(zhì)量評(píng)價(jià)和計(jì)算效率分析

5.1 融合質(zhì)量評(píng)價(jià)

圖像對(duì)比度是影響視覺(jué)效果的關(guān)鍵因素之一，高對(duì)比度的圖像往往呈現(xiàn)出清晰的細(xì)節(jié)和鮮明的顏色，反之，則圖像畫(huà)面模糊不清[30]。本文算法主要針對(duì)靜態(tài)場(chǎng)景和相機(jī)微小移動(dòng)場(chǎng)景的融合后圖像(圖9(b)，圖10(b))對(duì)比度進(jìn)行比較，同時(shí)給出了信息熵、平均梯度、標(biāo)準(zhǔn)差、交互信息量和相關(guān)系數(shù)等客觀評(píng)價(jià)因子的評(píng)價(jià)結(jié)果，如表2所示。

從表2可以看出本文算法具有一定的優(yōu)越性，無(wú)論是靜態(tài)場(chǎng)景還是相機(jī)微小運(yùn)動(dòng)的動(dòng)態(tài)場(chǎng)景，融合效果接近于S_sigmoid算法，對(duì)比度均大于Mertans EF算法，符合人類(lèi)視覺(jué)特性。

5.2 計(jì)算效率對(duì)比分析

在圖像配準(zhǔn)和噪聲去除的前提下，表3給出了傳統(tǒng)HDR算法(包括HDR圖像重建和色調(diào)映射)、Mertans EF算法和本文算法的計(jì)算時(shí)間。由于本文算法直接從LDR圖像序列中按灰度級(jí)提取有效信息參與融合，對(duì)任意大小的圖像序列僅擬合256條曲線，計(jì)算結(jié)果表明本文算法具有一定的優(yōu)勢(shì)，并適合并行計(jì)算。

表2 圖像質(zhì)量客觀評(píng)價(jià)分析Tab.2 Objective assessment analysis of image quality

表3 算法計(jì)算時(shí)間對(duì)比分析Tab.3 Comparison of computational time for algorithms s

6 結(jié)束語(yǔ)

考慮到基于sigmoid函數(shù)的多曝光圖像融合算法要對(duì)每個(gè)像素序列擬合曲線，很難達(dá)到實(shí)時(shí)融合效果，本文根據(jù)同一灰度的像素點(diǎn)在經(jīng)過(guò)不同曝光時(shí)間后其灰度值仍保持一致的原理，提出了基于灰度級(jí)映射函數(shù)建模的多曝光高動(dòng)態(tài)圖像重建算法。該算法對(duì)同一灰度級(jí)的像素點(diǎn)僅擬合一條曲線，對(duì)于千萬(wàn)級(jí)像素的圖像序列僅需擬合與灰階數(shù)目相同個(gè)數(shù)而不是與相機(jī)分辨率像素個(gè)數(shù)相同的視覺(jué)適應(yīng)的S形曲線，達(dá)到實(shí)時(shí)融合的要求；對(duì)動(dòng)態(tài)場(chǎng)景的融合，利用灰度值比例關(guān)系恢復(fù)理想狀態(tài)的多曝光圖像，利用差分法檢測(cè)運(yùn)動(dòng)目標(biāo)區(qū)域，作鬼影消除處理，融合得到一幅能夠反映真實(shí)場(chǎng)景信息且不受鬼影影響的高動(dòng)態(tài)范圍圖像。