王殿偉，邢質(zhì)斌*，韓鵬飛，劉 穎，姜 靜，任新成

（1.西安郵電大學(xué)通信與信息工程學(xué)院，陜西西安710121；2.西湖大學(xué)工學(xué)院人工智能研究與創(chuàng)新中心，浙江杭州310024；3.延安大學(xué)物理與電子信息學(xué)院，陜西延安716000）

1 引 言

全景圖像是一種采用廣角的表現(xiàn)手段以新視角來(lái)展示周圍世界的全新方式，能夠盡可能多地展示周圍的所有景致，因此受到越來(lái)越多關(guān)注。在夜晚、陰影等光照不良條件下采集的全景圖像質(zhì)量會(huì)變差，主要表現(xiàn)在圖像整體亮度不均勻、對(duì)比度偏低和顏色偏暗等方面，對(duì)于全景圖像的視覺(jué)效果影響嚴(yán)重，并為后續(xù)的計(jì)算機(jī)視覺(jué)處理任務(wù)（比如圖像分割、目標(biāo)跟蹤、目標(biāo)識(shí)別等）帶來(lái)一定難度［1-2］。因此，開(kāi)展低照度全景圖像增強(qiáng)算法研究對(duì)于機(jī)器視覺(jué)領(lǐng)域具有非常重要的意義。

目前低照度圖像增強(qiáng)算法主要有直方圖均衡化類方法、基于Retinex理論的方法、基于深度學(xué)習(xí)的方法以及圖像融合類算法等?；谥狈綀D均衡化類算法［3-5］對(duì)于整體亮度偏低或偏高的圖像具有較好的增強(qiáng)效果，因其具有算法復(fù)雜度低等優(yōu)點(diǎn)得到了廣泛應(yīng)用，但容易出現(xiàn)過(guò)度增強(qiáng)、偏色等現(xiàn)象。Retinex理論把一幅圖像分解為光照分量與反射分量，然后將處理后的光照分量和反射分量相結(jié)合得到增強(qiáng)圖像［6］。例如，Wang等［7］提出了一種光照不均勻圖像自然性保持的增強(qiáng) 算 法（Naturalness Preserved Enhancement，NPE），該算法能夠較好地保持圖像的自然度；Guo等［8］提出了一種基于照度圖估計(jì)的低光照?qǐng)D像增強(qiáng)處理算法（Low-light Image Enhancement，LIME），能夠顯著提高圖像的亮度與對(duì)比度；Fu等［9］提出了一種加權(quán)變分模型，以同時(shí)估計(jì)圖像的光照分量與反射分量，該算法能夠在抑制噪聲的同時(shí)提升圖像亮度；Li等［10］提出了一種新型的基于Rtinex理論的低照度圖像增強(qiáng)算法，該方法在考慮圖像噪聲的同時(shí)，通過(guò)求解一個(gè)最優(yōu)化問(wèn)題估計(jì)光照分量。上述算法均是僅利用單一的低照度圖像作為輸入，雖然能夠取得較好的增強(qiáng)效果，但是單張低照度圖像中所蘊(yùn)涵的有效信息畢竟有限，導(dǎo)致這些算法無(wú)法有效地展示圖像中所有的細(xì)節(jié)。因此，為能充分利用自然圖像中所蘊(yùn)含的先驗(yàn)信息來(lái)提高圖像的增強(qiáng)效果，基于深度學(xué)習(xí)的低照度圖像增強(qiáng)算法成逐漸為熱點(diǎn)，例如，Lore等［11］利用深度堆棧稀疏自編碼器構(gòu)建了一種新的低照度圖像增強(qiáng)網(wǎng)絡(luò)；RetinexNet［12］結(jié)合Retinex理論和卷積神經(jīng)網(wǎng)絡(luò)估計(jì)圖像的光照分量和反射分量，并通過(guò)分別處理照分量和反射分量得到增強(qiáng)圖像；Cai等［13］提出了一種通過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)單幅圖像與高動(dòng)態(tài)范圍圖像之間映射關(guān)系的算法；Wang等［14］提出了一種基于光照分量估計(jì)的低照度圖像增強(qiáng)網(wǎng)絡(luò)；Yang等［15］提出了一種新的半監(jiān)督學(xué)習(xí)方法用于低照度圖像增強(qiáng)。雖然這些基于深度學(xué)習(xí)的方法能夠獲得較好的增強(qiáng)效果，但其性能仍然在一定程度上受到限制，其主要原因是采集用于訓(xùn)練模型的圖像數(shù)據(jù)集比較困難。

近年來(lái)，人們受HDR技術(shù)（將同一場(chǎng)景下拍攝的一組不同曝光率的圖像，通過(guò)圖像融合算法獲得高質(zhì)量輸出圖像）啟發(fā)，基于給定的低照度圖像以及基于它生成的多張不同曝光程度的圖像，通過(guò)將它們之間互補(bǔ)性的圖像信息融合在一起，以獲得更加魯棒的增強(qiáng)效果，是研究低照度圖像增強(qiáng)算法的新方向之一［16-18］。例如，F(xiàn)u等［16］提出了一種基于多個(gè)光照分量融合的低照度圖像增強(qiáng)算法，該算法在提升圖像可視化效果的同時(shí)較好地保持了圖像自然度，但是該算法輸出的增強(qiáng)圖像中某些區(qū)域的可見(jiàn)性仍然不夠高；Liu等［17］提出了一種基于細(xì)節(jié)保持的多曝光圖像融合算法，使增強(qiáng)后的圖像有較好的顏色保真效果，同時(shí)也保留了低曝光圖像中的一些細(xì)節(jié)，但是處理曝光率非常低的圖像仍無(wú)法取得令人滿意的效果；Ying等［18］提出了一種基于多曝光生成再融合框架的低照度圖像增強(qiáng)算法（BIMEF），首先基于圖像信息熵最大化原則，利用相機(jī)響應(yīng)模型處理低照度圖像得到一張適度曝光圖像，然后根據(jù)圖像像素亮度值設(shè)置權(quán)重將低照度圖像和適度曝光圖像兩張圖像在像素級(jí)上完成融合。BIMEF算法實(shí)現(xiàn)效率高且增強(qiáng)效果不錯(cuò)，然而B(niǎo)IMEF算法僅采用一張曝光適度的偽曝光圖像作為低照度圖像的互補(bǔ)圖像，所能提供的有用信息仍然不夠全面，在適度曝光的圖像中，仍然存在曝光不充分的區(qū)域需要增強(qiáng)，故為了更好地提升圖像增強(qiáng)效果，應(yīng)該使用更多圖像參與融合。

為了克服上述方法的不足，本文提出一種基于模擬多曝光融合的低照度全景圖像增強(qiáng)算法，在提升圖像對(duì)比度的同時(shí)能夠有效地恢復(fù)暗區(qū)細(xì)節(jié)，避免圖像顏色失真問(wèn)題。本文主要貢獻(xiàn)包括以下兩方面：（1）在待融合圖像生成階段，為了獲得更好且與低照度全景圖像具有互補(bǔ)性的圖像，采用曝光插值法合成中等曝光圖像參與融合；（2）在融合階段，設(shè)計(jì)了一種新的亮度權(quán)重函數(shù)用于多尺度融合策略。

2 基于融合的低照度圖像增強(qiáng)算法

為提高低照度全景圖像的可視化質(zhì)量，解決低照度條件下采集到的全景圖像亮度弱、低對(duì)比度及細(xì)節(jié)信息不清晰等問(wèn)題，本文提出了一種基于模擬多曝光融合的低照度全景圖像增強(qiáng)算法，算法流程圖如圖1所示。

圖1 本文算法流程Fig.1 Proposed algorithm flow

由圖1可知，本文算法主要包含：過(guò)曝光圖像生成，中等曝光圖像生成，多尺度融合以及多尺度細(xì)節(jié)增強(qiáng)4個(gè)模塊。首先，將低照度全景圖像E1由RGB顏色空間轉(zhuǎn)換到HSV顏色空間；然后采用亮度映射函數(shù)對(duì)V分量進(jìn)行虛擬曝光；最后，將處理后的V分量和保持不變的H和S分量重新合成HSV圖像，并將其轉(zhuǎn)回RGB顏色空間作為過(guò)曝光圖像E3；將低照度圖像E1和生成的過(guò)曝光圖像E3作為輸入，利用曝光插值法生成中等曝光圖像E2參與融合，一方面能夠較好地提升圖像的亮度與對(duì)比度，另一方面可有效地避免由于一對(duì)多映射導(dǎo)致的虛擬曝光圖像中的顏色失真問(wèn)題；為了將低照度全景圖像及生成的多個(gè)不同曝光率圖像中的互補(bǔ)性信息進(jìn)行最佳融合以獲得更為魯棒的視覺(jué)增強(qiáng)效果，本文提出一種新的亮度權(quán)重函數(shù)，并采用多尺度融合策略將低照度圖像E1、中等曝光圖像E2和過(guò)曝光圖像E3進(jìn)行融合；通過(guò)多尺度細(xì)節(jié)增強(qiáng)算法對(duì)融合后的圖像進(jìn)行細(xì)節(jié)增強(qiáng)，得到最終的增強(qiáng)圖像。

2.1 過(guò)曝光圖像生成

為了提高低照度全景圖像的可視化質(zhì)量，需要生成不同的虛擬曝光圖像并進(jìn)行曝光融合。首先，將圖像質(zhì)量指標(biāo)（信息熵）作為度量確定低照度圖像的最佳曝光率δopt，通過(guò)最佳曝光率［18］提高曝光不足的像素亮度，本文利用式（1）過(guò)濾得到曝光不足的像素灰度值集合：

其中：V(x)表示低照度圖像E1的亮度分量V；τ為區(qū)分曝光不足像素的灰度閾值，本文中取值為0.5。則曝光不足的像素點(diǎn)的信息熵為：

式中pi為Q中每個(gè)灰度等級(jí)i出現(xiàn)的概率。

接著，利用圖像信息熵最大化原則求解出的最佳曝光率可表示為：

式中g(shù)(·)為亮度映射函數(shù)，其表達(dá)式為：

式中δ是曝光率，根據(jù)文獻(xiàn)［17］，a和b是常數(shù)，a=-0.329 3，b=1.152 8。

然后，基于得到的最佳曝光率δopt，利用亮度映射函數(shù)對(duì)低照度圖像E1的亮度分量V進(jìn)行虛擬曝光處理，得到處理后的V分量：

式中：g(·)為亮度映射函數(shù)，Δδ為曝光率變化量（本文Δδ取值為1）。

最后，將處理后的V分量和保持不變的H和S分量重新合成HSV圖像，并將其轉(zhuǎn)回RGB顏色空間作為過(guò)曝光圖像E3。

2.2 中等曝光圖像生成

如果僅采用一張過(guò)曝光圖像作為低照度圖像的互補(bǔ)圖像用于圖像融合，所能提供的有效信息十分受限，難以獲得較為理想的增強(qiáng)效果，比如當(dāng)?shù)驼斩葓D像中的明亮區(qū)域比過(guò)曝光圖像中的陰影區(qū)域暗時(shí)，很難對(duì)所有像素適當(dāng)?shù)囟x權(quán)重來(lái)保持相對(duì)亮度。為解決這一問(wèn)題，Yang等［19］提出一種新的圖像融合算法（MSF），通過(guò)對(duì)不同曝光程度的圖像進(jìn)行融合，有效避免了由于一對(duì)多映射而導(dǎo)致的虛擬曝光圖像中可能出現(xiàn)的顏色失真問(wèn)題。

受MSF算法啟發(fā)，本文以低照度圖像和生成的過(guò)曝光圖像為輸入，采用曝光插值法生成中等曝光圖像參與融合。

首先，利用式（6）計(jì)算中等曝光圖像的曝光時(shí)間，假設(shè)同一場(chǎng)景的低照度圖像E1(p)和過(guò)曝光圖像E3(p)的曝光時(shí)間分別為Δt1和Δt3（Δt3＞Δt1），則中等曝光圖像的曝光時(shí)間Δt2定義式如下：

然后，需要確定中等曝光圖像與兩個(gè)不同曝光圖像之間的關(guān)系。假設(shè)g32(·)表示過(guò)曝光圖像E3(p)與中等曝光圖像E2(p)之間的亮度映射函數(shù)，g12(·)表示低照度圖像E1(p)與中等曝光圖像E2(p)之間的亮度映射函數(shù)，則g32(·)和g12(·)定義為：

式中F(·)表示相機(jī)響應(yīng)函數(shù)。

在確定了中等曝光圖像與兩個(gè)不同曝光圖像之間的關(guān)系之后，以低照度圖像和過(guò)曝光圖像作為輸入數(shù)據(jù)，利用式（7）生成兩個(gè)具有相同曝光時(shí)間的中間虛擬圖像：

最后，通過(guò)加權(quán)融合算法將生成的兩個(gè)中間虛擬圖像進(jìn)行融合得到中等曝光圖像：

這里權(quán)重函數(shù)w1和w2分別定義為：

其中：ξL和ξU為常數(shù)，h1(z)和h2(z)定義為：

2.3 多尺度融合

為了獲得更好的圖像增強(qiáng)效果，本文采用多尺度融合策略對(duì)低照度圖像、中等曝光圖像和過(guò)曝光圖像進(jìn)行融合，融合框架可表示為：

式中：Yl和Ll分別表示第l層的高斯金字塔與第l層的拉普拉斯/金字塔為歸一化權(quán)重，E1，E2和E3分別為低照度圖像、中等曝光圖像和過(guò)度曝光圖像，經(jīng)過(guò)大量不同場(chǎng)景的實(shí)驗(yàn)表明，5層金字塔分解通常會(huì)取得最好的效果，因此本文l取值為5。本文用上述方法，對(duì)一幅低照度圖像生成了中等曝光和過(guò)曝光圖像，結(jié)果如圖2所示。

圖2 本文方法生成的多曝光圖像Fig.2 Multi-exposure images generated by the proposed method

如圖2（a）～（c）所示，E1，E2和E3分別是低照度圖像，以及本文方法生成的中等曝光圖像和過(guò)度曝光圖像。對(duì)于低照度圖像E1而言，希望其能在保留圖像中曝光良好區(qū)域的同時(shí)，有效地增強(qiáng)圖像中曝光不良的區(qū)域；而相比于E1和E2，過(guò)曝光圖像E3在損失了圖像細(xì)節(jié)的同時(shí)卻能展示更多有效的圖像內(nèi)容信息，為此，本文采用基于光照分量的Sigmoid函數(shù)對(duì)E1和E3進(jìn)行權(quán)重設(shè)置。由大量的統(tǒng)計(jì)數(shù)據(jù)可知，曝光良好圖像的像素值分布近似滿足均值為0.5，方差為0.25的高斯分布，因此我們利用高斯分布函數(shù)設(shè)置中等曝光圖像E2的權(quán)重。為了平衡高斯分布函數(shù)和Sigmoid函數(shù)，本文提出了一種的改進(jìn)的亮度權(quán)重函數(shù)，其定義式如下：

式中L1，L2和L3分別表示E1，E2和E3的光照分量。為了得到光照分量，本文將圖像E1，Ε2，E3從RGB色彩空間轉(zhuǎn)到HSV顏色空間，并獲取圖像的亮度分量V，然后采用可以保持圖像邊緣的加權(quán)最小二乘濾波器（Weighted Least Square，WLS）［20］對(duì)V分量進(jìn)行平滑濾波處理以獲得光照分量。本文構(gòu)建的三個(gè)亮度權(quán)重函數(shù)的曲線如圖3所示（彩圖見(jiàn)期刊電子版）。

圖3 亮度權(quán)重函數(shù)Fig.3 Weight function

在圖3中，橫坐標(biāo)為圖像的光照分量，縱坐標(biāo)為權(quán)重，紅、綠、藍(lán)三條曲線分別代表低照度圖像、中等曝光圖像和過(guò)曝光圖像的亮度權(quán)重函數(shù)（彩圖見(jiàn)期刊電子版）。通過(guò)為三個(gè)不同曝光程度圖像的像素值合理地分配權(quán)重，使融合后的圖像在增強(qiáng)亮度和避免過(guò)度曝光之間達(dá)到了很好的平衡。

2.4 多尺度細(xì)節(jié)增強(qiáng)

在對(duì)圖像進(jìn)行高斯-拉普拉斯金字塔分解和重建的過(guò)程中，隨著金字塔層數(shù)的增加，會(huì)丟失部分圖像細(xì)節(jié)，而減少金字塔的層數(shù)會(huì)導(dǎo)致在融合結(jié)果中產(chǎn)生光暈偽影［21］。為使圖像細(xì)節(jié)信息更加豐富，本文采用一種多尺度高斯濾波算法，在增強(qiáng)圖像細(xì)節(jié)的同時(shí)避免產(chǎn)生光暈偽影。

首先采用多尺度高斯濾波器對(duì)融合后的圖像進(jìn)行平滑濾波，獲得3個(gè)不同的高斯模糊圖像，如式（17）所示：

其中：G1，G2和G3分別是標(biāo)準(zhǔn)差為σ1=1.0，σ2=2.0 和σ3=4.0的高斯核。

其次針對(duì)圖像提取精細(xì)細(xì)節(jié)D1，中間細(xì)節(jié)D2和粗細(xì)節(jié)D3，如式（18）所示：

圖4 多尺度細(xì)節(jié)增強(qiáng)的對(duì)比Fig.4 Comparison of multi-scale detail enhancement

然后將D1，D2和D3進(jìn)行加權(quán)融合得到細(xì)節(jié)圖像D*，如式（19）所示：

其中：w1，w2和w3為權(quán)重系數(shù)，取值分別為0.5，0.5和0.25。最后，將細(xì)節(jié)圖像D*與融合后的圖像I*結(jié)合在一起，得到最終的增強(qiáng)圖像。細(xì)節(jié)增強(qiáng)前后的實(shí)驗(yàn)結(jié)果如圖4所示（彩圖見(jiàn)期刊電子版）。

由圖4（b）和圖4（c）中紅色框區(qū)域可以看出，經(jīng)過(guò)多尺度細(xì)節(jié)增強(qiáng)處理后的圖像中地面防滑紋以及樹(shù)枝的紋理細(xì)節(jié)比處理前的圖像更加清晰。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法在低照度全景圖像增強(qiáng)上的效果，本文選取6種不同場(chǎng)景下的低照度全景圖像進(jìn)行實(shí)驗(yàn)，分別使用NPE算法［7］、LIME算法［8］、SRIE算法［9］、Li算法［10］、BIMEF算法［18］、RetinexNet算法［12］以及本文算法分別進(jìn)行處理，對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比與分析，如圖5～圖12所示。

圖5 傍晚時(shí)分實(shí)驗(yàn)樓全景圖像不同增強(qiáng)算法處理結(jié)果Fig.5 Results of different enhancement algorithms for the panoramic image

由圖5可知，相比于原圖像，NPE算法和SRIE算法處理后的全景圖像達(dá)到了一定的增強(qiáng)效果，但對(duì)于整體亮度很低的圖像，它們的恢復(fù)效果仍然不夠明顯，如圖5（b）和圖5（d）中紅色框區(qū)域，增強(qiáng)后圖像的部分區(qū)域仍存在亮度偏低的問(wèn)題；由圖5（c）中紅色框區(qū)可知，對(duì)于燈光區(qū)域，LIME算法處理后的結(jié)果存在亮度和顏色失真現(xiàn)象；而通過(guò)觀察圖5（e）中紅色框區(qū)域可以現(xiàn)，對(duì)于較暗區(qū)域（窗戶與墻壁），Li算法處理后結(jié)果的圖像細(xì)節(jié)不夠清晰；BIMEF算法對(duì)圖像的亮度提升效果較好，但是處理后圖像的顏色不夠自然，如圖5（f）紅色框區(qū)域中墻壁顏色偏灰暗；而圖5（g）所示方法結(jié)果圖像的視覺(jué)效果較差，如圖5（g）紅色框區(qū)域中樹(shù)枝與地面的光暈偽影比較嚴(yán)重，而本文算法處理后的圖像在提升了亮度的同時(shí)保留了更多的細(xì)節(jié)信息，具有更好的視覺(jué)效果（彩圖見(jiàn)期刊電子版）。

圖6 傍晚時(shí)分路邊全景圖像不同增強(qiáng)算法處理結(jié)果Fig.6 Results of different enhancement algorithms for the panoramic image

由圖6可知，NPE算法和SIRE算法雖可以改善圖像的質(zhì)量，但對(duì)于暗區(qū)細(xì)節(jié)恢復(fù)地仍不夠好，如由圖6（b）和（d）紅框區(qū)域中樹(shù)木和大樓的亮度仍然偏暗；通過(guò)觀察圖6（c）中紅色框區(qū)域可以發(fā)現(xiàn)，經(jīng)LIME算法處理后，由于過(guò)度增強(qiáng)，導(dǎo)致圖像的細(xì)節(jié)信息不夠清楚，亮度有所失真；由圖6（e）中紅色框區(qū)域可以看出，Li算法提高了圖像對(duì)比度，但存在圖像細(xì)節(jié)信息保持不好的問(wèn)題；由圖6（f）中紅色框區(qū)域可以看出，BIMEF算法雖能有效提升圖像亮度，保持圖像細(xì)節(jié)信息，但增強(qiáng)后圖像的整體灰度變化較小，且存在色偏問(wèn)題；而圖6（g）中，RetinexNet算法處理后的圖像出現(xiàn)亮度和顏色發(fā)生失真，如圖6（g）紅色框區(qū)域中地面出現(xiàn)偽影。而本文算法可以很好地保持圖像的細(xì)節(jié)信息，具有較高的對(duì)比度，更加符合人眼特性（彩圖見(jiàn)期刊電子版）。

圖7 傍晚時(shí)分圖書(shū)館全景圖像不同增強(qiáng)算法處理結(jié)果Fig.7 Results of different enhancement algorithms for the panoramic image

由圖7可以看出，NPE算法、SIRE算法較好地提升了圖像的視覺(jué)效果，但仍存在部分圖像區(qū)域增強(qiáng)不足的問(wèn)題，如圖7（b）和（d）紅色框區(qū)域中圖像的亮度偏低，視覺(jué)效果欠佳；通過(guò)觀察圖7（c）中紅色框區(qū)域可以發(fā)現(xiàn)，圖7（c）所示方法存在增強(qiáng)過(guò)度的問(wèn)題，增強(qiáng)后圖像的亮度不自然，天空區(qū)域存在過(guò)度增強(qiáng)的問(wèn)題；由圖7（f）可以看出，BIMEF算法的結(jié)果圖像整體偏灰暗，如圖7（f）紅色框區(qū)域圖像存在增強(qiáng)不足的問(wèn)題；由圖7（g）中紅色框區(qū)域可知，圖7（g）所示方法亮度增強(qiáng)效果較好，但圖像的顏色仍然不夠自然。而本文算法在一定程度上很好地解決了上述算法的缺點(diǎn)，使得增強(qiáng)后的圖像更加清晰，圖像的顏色更加自然（彩圖見(jiàn)期刊電子版）。

圖8 傍晚時(shí)分校園廣場(chǎng)全景圖像不同增強(qiáng)算法處理結(jié)果Fig.8 Results of different enhancement algorithms for the panoramic image

通過(guò)觀察圖8可以發(fā)現(xiàn)，NPE算法和SIRE算法雖然能夠有效地提高圖像質(zhì)量，但仍存在部分圖像區(qū)域亮度偏低的問(wèn)題，例如圖8（b）和（d）的紅框區(qū)域中近景地面與遠(yuǎn)景樹(shù)木的視覺(jué)效果欠佳；通過(guò)觀察圖8（c）中紅色框區(qū)域可以發(fā)現(xiàn)，圖8（c）所示方法增強(qiáng)后的圖像存在亮度失真問(wèn)題，圖像中部分天空區(qū)域過(guò)于明亮；由圖8（f）中紅色框區(qū)域可知，BIMEF算法的結(jié)果圖像顏色不夠自然；由圖8（g）中紅色框區(qū)域可知，圖8（g）所示方法雖然可以較好地提升圖像亮度，但顏色失真明顯，遠(yuǎn)景樹(shù)木與房屋的輪廓出現(xiàn)偽影現(xiàn)象。本文算法使處理后圖像具有較高的對(duì)比度與清晰度的同時(shí)有效避免了亮度與顏色的失真問(wèn)題（彩圖見(jiàn)期刊電子版）。

由圖9（b）和圖9（d）中紅色框區(qū)域可以看出，對(duì)于較暗區(qū)域（如大樓墻壁、湖面），NPE算法和SIRE算法處理后的結(jié)果中墻體的亮度依然偏暗，視覺(jué)效果欠佳；通過(guò)觀察圖9（c）中紅框區(qū)域可以發(fā)現(xiàn)，LIME算法對(duì)于低照度圖像的亮度提升較為顯著，但存在增強(qiáng)過(guò)度與圖像部分區(qū)域失真問(wèn)題；由圖9（c）中紅色框區(qū)可知，對(duì)于遠(yuǎn)景中的樹(shù)木，Li算法的增強(qiáng)結(jié)果存在一定程度的模糊現(xiàn)象，而本文算法的處理結(jié)果則顯得更加清晰；BIMEF算法處理后的結(jié)果整體色調(diào)偏灰，圖像顏色有些失真，如圖9（f）中的紅框區(qū)域，地面顏色偏灰暗；而圖9（g）所示方法的增強(qiáng)結(jié)果圖像存在較為嚴(yán)重的顏色失真，如圖9（g）中的紅框區(qū)域，樹(shù)木輪廓區(qū)域出現(xiàn)偽影，視覺(jué)效果不好（彩圖見(jiàn)期刊電子版）。

圖9 傍晚時(shí)分湖邊全景圖像不同增強(qiáng)算法處理結(jié)果Fig.9 Results of different enhancement algorithms for the panoramic image

由圖10可知，NPE算法和SIRE算法處理后的全景圖像中遠(yuǎn)景區(qū)域的細(xì)節(jié)不夠清晰，且色彩飽和度較弱，如圖10（d）紅色框區(qū)域中遠(yuǎn)景樹(shù)木的亮度偏暗；經(jīng)LIME算法處理后的圖像亮度有明顯的改善，但存在圖像細(xì)節(jié)丟失嚴(yán)重的問(wèn)題，如圖10（c）中紅色框區(qū)域，由于過(guò)度增強(qiáng)，天空區(qū)域過(guò)于明亮，樹(shù)枝的細(xì)節(jié)丟失嚴(yán)重；從圖10（e）與圖（f）中紅色框區(qū)域可以看出，Li算法和BIMEF算法處理后的結(jié)果圖像中路面的紋理細(xì)節(jié)信息丟失嚴(yán)重；圖10（g）所示方法的增強(qiáng)結(jié)果偏“油畫(huà)”風(fēng)格，不符合人們對(duì)全景圖像的視覺(jué)要求，如圖10（c）紅框區(qū)域中樹(shù)木顏色失真，細(xì)節(jié)信息丟失嚴(yán)重。而我們所提算法處理后的全景圖像，可以較好解決低照度全景圖像的降質(zhì)問(wèn)題，避免圖像失真、細(xì)節(jié)丟失等現(xiàn)象的發(fā)生（彩圖見(jiàn)期刊電子版）。

圖10 午后教學(xué)樓全景圖像不同增強(qiáng)算法處理結(jié)果Fig.10 Results of different enhancement algorithms for the panoramic image

如圖11所示，對(duì)于不同場(chǎng)景不同時(shí)刻的灰度全景圖像，NPE算法和SRIE算法雖然能夠較好地保持圖像自然，但圖像整體偏暗，圖像暗區(qū)細(xì)節(jié)仍然不夠清晰；LIME算法可以在提高對(duì)比度和亮度的同時(shí)增強(qiáng)局部細(xì)節(jié)信息，但是圖像整體會(huì)出現(xiàn)過(guò)增強(qiáng)現(xiàn)象，視覺(jué)效果不夠自然；Li算法較好地增強(qiáng)了圖像亮度與對(duì)比度，但圖像的原始結(jié)構(gòu)信息有所丟失；基于互信息最優(yōu)偽曝光技術(shù)的Ying算法增強(qiáng)后的圖像，整體增強(qiáng)效果較佳，但部分圖像區(qū)域仍然不夠清晰；RetinexNet算法雖然能較好地恢復(fù)圖像亮度，但增強(qiáng)后的圖像存在光暈偽影現(xiàn)象，許多區(qū)域細(xì)節(jié)不夠清晰；本文所提出的算法可以較好地保持圖像的細(xì)節(jié)信息，具有較高的亮度對(duì)比度，更加符合人眼視覺(jué)特性。

圖11 傍晚時(shí)分實(shí)驗(yàn)樓灰度圖像不同增強(qiáng)算法處理結(jié)果Fig.11 Results of different enhancement algorithms for the grayscale image

圖12 傍晚時(shí)分路邊灰度圖像不同增強(qiáng)算法處理結(jié)果Fig.12 Results of different enhancement algorithms for the grayscale image

如圖12所示，NPE算法和SIRE算法雖可以改善圖像的質(zhì)量，但處理后的灰度圖像中遠(yuǎn)景區(qū)域的細(xì)節(jié)仍然不夠清晰；經(jīng)LIME算法處理后的圖像亮度有所失真，存在過(guò)增強(qiáng)現(xiàn)象，如圖12（c）中的部分天空區(qū)域過(guò)于明亮；Li算法提高了圖像對(duì)比度，但存在圖像細(xì)節(jié)信息保持不好的問(wèn)題；BIMEF算法雖能有效提升圖像質(zhì)量，但增強(qiáng)后圖像的整體灰度變化較?。籖etinexNet算法處理后的圖像存在亮度失真現(xiàn)象，本文算法可以很好地保持圖像的細(xì)節(jié)信息，具有較高的對(duì)比度，更加符合人眼特性。本文算法使處理后圖像具有較高的對(duì)比度與清晰度的同時(shí)有效地保留了圖像細(xì)節(jié)信息。

為了對(duì)不同算法的處理結(jié)果進(jìn)行客觀評(píng)價(jià)，本文將亮度失真（Lightness Order Error，LOE）［7］及結(jié)構(gòu)相似性（Structure Similarity Index，SSIM）［22］作為客觀評(píng)價(jià)指標(biāo)，對(duì)本文所提方法的處理結(jié)果進(jìn)行評(píng)估。圖像亮度失真定義為：

式中：RD(x)表示的原圖像與增強(qiáng)結(jié)果的相對(duì)階差分，x表示圖像像素。RD(x)定義為：

其中：m為像素個(gè)數(shù)，⊕為異或操作，L(x)和L′(x)分別表示的是像素x在原始圖像和增強(qiáng)結(jié)果圖像中的最大值。對(duì)于U(x，y)，默認(rèn)返回值為1；如果x≥y，則返回值為0。根據(jù)文獻(xiàn)［7］，對(duì)于增強(qiáng)結(jié)果，LOE值越小的圖像，亮度自然性就保持地越好，亮度失真率就越低。不同算法的LOE客觀評(píng)價(jià)結(jié)果如表1和表2所示。

表1 不同算法的LOE客觀評(píng)價(jià)結(jié)果對(duì)比Tab.1 LOE objective evaluation results comparison of different algorithms

從表1可以看出，相較于大部分的比較算法，對(duì)于不同場(chǎng)景下的低照度全景圖像，本文算法的LOE指標(biāo)較小，表明本文算法增強(qiáng)后圖像的亮度自然性較好，亮度失真率較低。

表2 不同算法的LOE客觀評(píng)價(jià)結(jié)果對(duì)比Tab.2 LOE objective evaluation results comparison of different algorithms

從表2可以看出，對(duì)于不同場(chǎng)景下的灰度全景圖像，本文算法增強(qiáng)圖像的LOE指標(biāo)低于其他比較算法，亮度失真率結(jié)果較優(yōu)，表明本文算法在增強(qiáng)灰度圖像的自然性和魯棒性方面較好。

結(jié)構(gòu)相似性（SSIM）作為衡量圖像結(jié)構(gòu)是否失真的重要指標(biāo)，其數(shù)值越大，則表明處理后的圖像與原圖像越相似。不同算法的SSIM客觀評(píng)價(jià)結(jié)果如表3和表4所示。

從表3可以看出，對(duì)于不同場(chǎng)景下的低照度全景圖像，本文所提算法增強(qiáng)后圖像的SSIM指標(biāo)高于其它大部分的比較算法，表明本文算法可以在提升圖像亮度的同時(shí)也能較好地保持圖像的原有結(jié)構(gòu)。由表4可知，對(duì)于不同場(chǎng)景下的灰度全景圖像，本文所提算法結(jié)果的SSIM指標(biāo)較優(yōu)，表明本文算法可以在提升圖像對(duì)比度的同時(shí)能夠較好地保持圖像的原有結(jié)構(gòu)。

表3 不同算法的SSIM客觀評(píng)價(jià)結(jié)果對(duì)比Tab.3 SSIM objective evaluation results comparison of different algorithms

表4 不同算法的SSIM客觀評(píng)價(jià)結(jié)果對(duì)比Tab.4 SSIM objective evaluation results comparison of different algorithms

為了更加全面地對(duì)不同算法的處理結(jié)果進(jìn)行客觀評(píng)價(jià)，本文將自然圖像質(zhì)量評(píng)估器（Natural Image Quality Evaluator，NIQE）［23］及無(wú)參考空間域圖像質(zhì)量評(píng)估器（Blind/Referenceless Image Spatial Quality Evaluator，BRISQUE）［24］作為客觀評(píng)價(jià)指標(biāo)，客觀評(píng)價(jià)結(jié)果如表5和表6所示。

從表5可以看出，對(duì)于不同場(chǎng)景下的低照度全景圖像，本文算法的NIQE指標(biāo)與BRISQUE指標(biāo)高于其他大部分的比較算法，表明本文算法增強(qiáng)后的圖像比其他方法的更加清晰，圖像質(zhì)量也更高，信息量也更豐富。

由表6可知，相較于其他比較算法，對(duì)于不同場(chǎng)景下的灰度全景圖像，本文算法的NIQE指標(biāo)與BRISQUE指標(biāo)較優(yōu)，表明本文算法的增強(qiáng)效果更好，增強(qiáng)后圖像的質(zhì)量更高。

表5 不同算法的NIQE/BRISQUE客觀評(píng)價(jià)結(jié)果對(duì)比Tab.5 NIQE/BRISQUE objective evaluation results comparison of different algorithms

表6 不同算法的NIQE/BRISQUE客觀評(píng)價(jià)結(jié)果對(duì)比Tab.6 NIQE/BRISQUE objective evaluation results comparison of different algorithms

通過(guò)對(duì)四個(gè)客觀評(píng)價(jià)指標(biāo)的綜合比較可以發(fā)現(xiàn)，本文方法在各個(gè)性能指標(biāo)上表現(xiàn)良好，盡管不是所有的客觀評(píng)價(jià)指標(biāo)都是最高值，但是指標(biāo)的數(shù)值都在正常范圍內(nèi)，表明本文所提算法可以在保持圖像結(jié)構(gòu)的同時(shí)增強(qiáng)圖像的亮度、對(duì)比度以及細(xì)節(jié)信息，且增強(qiáng)后圖像的顏色更加自然。

4 結(jié) 論

為解決低照度全景圖像增強(qiáng)問(wèn)題，本文提出了一種基于模擬多曝光融合的低照度全景圖像增強(qiáng)算法，并通過(guò)主觀視覺(jué)感受和客觀指標(biāo)評(píng)價(jià)驗(yàn)證了本文算法的有效性，實(shí)驗(yàn)結(jié)果表明本文算法在增強(qiáng)圖像亮度對(duì)比度的同時(shí)有效避免了顏色失真，也使增強(qiáng)后圖像的紋理細(xì)節(jié)更清晰。

雖然本文算法處理結(jié)果較優(yōu)，但算法復(fù)雜度較高，限制了當(dāng)前算法向工程應(yīng)用領(lǐng)域的推廣。未來(lái)研究可以著重于模型優(yōu)化，并在圖像權(quán)重的設(shè)計(jì)這部分開(kāi)展進(jìn)一步的研究。