季 淵，李星儀，馬新德，廖 亮

（1.上海大學(xué) 微電子研究與開發(fā)中心，上海 200444；2.上海大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院，上海 200444；3.上海大學(xué) 上海電影學(xué)院，上海 200072）

1 引言

近眼顯示設(shè)備［1］是人們感知元宇宙的主要入口之一，人們通過(guò)近眼顯示設(shè)備觀看由計(jì)算機(jī)構(gòu)建而成的三維數(shù)字世界。娛樂(lè)沉浸式體驗(yàn)是元宇宙的典型應(yīng)用，其中舞臺(tái)是常見(jiàn)場(chǎng)景之一，舞臺(tái)表演中通常采用燈光設(shè)備集中照射來(lái)突出環(huán)境或者渲染氣氛，而沒(méi)有被燈光照射的地方則是一片漆黑，強(qiáng)烈的對(duì)比使得舞臺(tái)場(chǎng)景的亮度范圍非常廣闊。但是，目前成像設(shè)備單次拍攝的亮度動(dòng)態(tài)范圍最大不超過(guò)3 個(gè)數(shù)量級(jí)，容易出現(xiàn)過(guò)曝光或者欠曝光的情況，不能反映真實(shí)舞臺(tái)場(chǎng)景。由此可見(jiàn)，舞臺(tái)場(chǎng)景拍攝需要對(duì)圖像進(jìn)行動(dòng)態(tài)范圍擴(kuò)展，增強(qiáng)圖像的明暗對(duì)比度，還原舞臺(tái)真實(shí)場(chǎng)景。此外，使用虛擬現(xiàn)實(shí)（Virtual Reality，VR）設(shè)備觀看直播時(shí)，圖像處理的實(shí)時(shí)性尤為重要。

Land 等［2］基于人類視覺(jué)感知模型提出了Retinex 理論，該理論是經(jīng)典的圖像增強(qiáng)算法，也常應(yīng)用于低照度圖像的增強(qiáng)。Retinx 理論將圖像分為光照和反射兩部分，其中光照部分對(duì)應(yīng)圖像的低頻信號(hào)部分，反射分量對(duì)應(yīng)著圖像的高頻信號(hào)部分?；赗etinex 理論，Jobson 等［3］提出單尺度Retinex（Single Scale Retinex，SSR）算法，采用高斯低通濾波估計(jì)光照分量，但該算法存在增強(qiáng)后顏色嚴(yán)重失真，圖像整體泛白的問(wèn)題。針對(duì)顏色失真的問(wèn)題，Jobson 等［4］隨后提出多尺度Retinex（Multiscale Retinex，MSR）算法，采用多個(gè)不同高斯核的低通濾波估計(jì)光照分量，但是該算法并未解決顏色失真的問(wèn)題，并且圖像伴有光暈現(xiàn)象。Rahman 等［5］提出帶色彩恢復(fù)的Retinex（Multi Scale Retinex with Color Restoration，MSRCR）算法，該算法用了色彩因子C 來(lái)調(diào)節(jié)RGB三通道的比例關(guān)系，一定程度上改善了顏色失真的情況，但仍然存在失真問(wèn)題。Wang 等［6］提出采用雙邊濾波估計(jì)光照分量，可以較好地改善光暈現(xiàn)象，但是顏色失真問(wèn)題仍然沒(méi)有解決，還提高了計(jì)算的復(fù)雜度。Shin 等［7］提出 將RGB 通道轉(zhuǎn)換到HSV 通道，對(duì)V 通道進(jìn)行Retinex 算法處理，用高斯低通濾波估計(jì)光照，該方法可以有效地解決顏色失真的問(wèn)題，但是由于采用的是高斯濾波估計(jì)光照分量，所以光暈現(xiàn)象仍然存在。Chen 等［8］提出拍攝多幀圖像，將低照度圖像轉(zhuǎn)換到Y(jié)UV 色彩空間，采用降噪和選取最佳Y 通道分量的方法。Huang 等［9］提出結(jié)合平滑聚類和改進(jìn)的Retinex 算法估計(jì)照明的低照度全景圖像增強(qiáng)算法。目前，將深度學(xué)習(xí)與低照度圖像結(jié)合起來(lái)的方法還有很多。Wang 等［10］提出基于模擬多曝光融合的低照度增強(qiáng)算法。Lore 等［11］將深度學(xué)習(xí)與低照度圖像增強(qiáng)結(jié)合起來(lái)，證明了采用深度學(xué)習(xí)可以同時(shí)實(shí)現(xiàn)低照度圖像的增強(qiáng)和去噪。Chen 等［12］設(shè)計(jì)了Retinex-Net，包括Decom-Net和Enhance-Net 兩部分。Jiang 等［13］提出一種高效無(wú)監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)，包括全局-局部鑒別器結(jié)構(gòu)，自正規(guī)化感知損失融合和注意機(jī)制。但是，深度學(xué)習(xí)計(jì)算量復(fù)雜，硬件實(shí)現(xiàn)困難，很難達(dá)到實(shí)時(shí)的要求。

傳統(tǒng)的SSR 算法采用高斯低通濾波進(jìn)行光照估計(jì)，雖然可以一定程度增強(qiáng)圖像，但未考慮實(shí)際場(chǎng)景中光照非均勻變化的情況，尤其舞臺(tái)場(chǎng)景中常會(huì)有燈光劇變的情況。選擇合適的低通濾波估計(jì)光照分量顯得至關(guān)重要，大部分改進(jìn)的Retinex 算法采用可以保留更多細(xì)節(jié)的低通濾波，增加了算法計(jì)算量，并且采用不同濾波估計(jì)光照都是基于理想狀態(tài)，認(rèn)為低通濾波可以很好地估計(jì)光照分量，再由光照分量計(jì)算出反射分量，這樣計(jì)算出的反射分量很容易出現(xiàn)細(xì)節(jié)數(shù)據(jù)丟失的問(wèn)題［14］，而反射分量是圖像細(xì)節(jié)的主要部分。

針對(duì)舞臺(tái)場(chǎng)景，為了解決顏色失真和光暈現(xiàn)象的問(wèn)題，綜合考慮計(jì)算復(fù)雜度以及運(yùn)行速度，本文提出一種低照度增強(qiáng)融合算法（Low-Light Enhancement Fusion，LLEF），它包括低照度增強(qiáng)和圖像融合兩部分。其中，低照度增強(qiáng)部分采用改進(jìn)的基于高斯-拉普拉斯的Retinex 算法。相較于傳統(tǒng)算法，LLEF 算法在提高圖像亮度的同時(shí)，保證了圖像較好的色彩和細(xì)節(jié)質(zhì)量，保留了原圖的明暗對(duì)比度，可以廣泛應(yīng)用在舞臺(tái)場(chǎng)景中。

2 原理

2.1 Retinex 算法原理

Retinex 理論認(rèn)為人眼觀察到的物體顏色與光照強(qiáng)度無(wú)關(guān)，與物體本身反射不同頻率光線的能力有關(guān)，其表達(dá)式為：

其中：S為觀測(cè)圖像，R為圖像的反射部分，L為圖像的光照部分，即整體的最終成像為反射部分與光照部分的乘積。SSR 算法將反射分量作為增強(qiáng)后的最終結(jié)果，采用高斯低通濾波估計(jì)光照分量，并且將式（1）轉(zhuǎn)換到對(duì)數(shù)域進(jìn)行算術(shù)運(yùn)算。其表達(dá)式為：

將式（2）結(jié)果量化到0～255 的像素空間，該結(jié)果即為增強(qiáng)后的圖像。

2.2 LoGR（LoG-Retinex）算法

LLEF 算法分成低照度增強(qiáng)和圖像融合兩部分，整體流程如圖1 所示。其中，低照度增強(qiáng)部分采用改進(jìn)Retinex 算法，圖像融合部分采用改進(jìn)的金字塔融合方法。

圖1 LLEF 算法流程Fig.1 Flow chart of LLEF algorithm

2.2.1 顏色空間

HSV 色彩空間中，H 通道代表色度，S 通道代表色調(diào)的飽和度，V 通道代表亮度［15］。其亮度獨(dú)立于色調(diào)和飽和度，分割魯棒性更好。LLEF算法將圖像轉(zhuǎn)換到HSV 色彩空間，單獨(dú)對(duì)V 通道進(jìn)行處理，不會(huì)出現(xiàn)顏色失真問(wèn)題，并且有效加快圖像運(yùn)算速度。

2.2.2 圖像預(yù)處理

Canny 算子是典型的邊緣檢測(cè)算子［16］，在提取邊緣前會(huì)對(duì)圖像進(jìn)行高斯濾波處理，有較好的噪聲容忍度，非常適合低照度圖像的邊緣提取。在圖像增強(qiáng)之前，可先對(duì)V 通道用Canny 算子進(jìn)行邊緣提取，然后將提取出的邊緣細(xì)節(jié)添加到原圖像上，增強(qiáng)邊緣，避免圖像邊緣細(xì)節(jié)丟失。未經(jīng)過(guò)Canny 算子處理與經(jīng)過(guò)Canny 算子處理的細(xì)節(jié)對(duì)比如圖2 所示?？梢钥闯?，圖2（a）中右下角地面紋理擴(kuò)散不清晰，圖2（b）中地面紋理清晰，未出現(xiàn)光暈?zāi)：那闆r。

圖2 Canny 算子效果對(duì)比Fig.2 Comparison of Canny operator results

Gamma 校正廣泛應(yīng)用于圖像處理領(lǐng)域［17-19］，通過(guò)調(diào)整圖像的Gamma 曲線，對(duì)圖像進(jìn)行非線性拉伸，增強(qiáng)圖像的明暗對(duì)比度，使圖像獲得較好的動(dòng)態(tài)范圍。完成邊緣提取后，進(jìn)一步進(jìn)行Gamma 校正，增強(qiáng)圖像對(duì)比度。

Gamma 算子的表達(dá)式為：

式中：γ為常量，參數(shù)γ對(duì)應(yīng)拉伸效果。當(dāng)γ=1時(shí)，圖像保持原來(lái)的動(dòng)態(tài)范圍不變；當(dāng)γ＞1 時(shí)，高灰度區(qū)域圖像的對(duì)比度增強(qiáng)；當(dāng)γ＜1 時(shí)，低灰度圖像的動(dòng)態(tài)范圍增強(qiáng)。為了獲得較高的灰度級(jí)，γ參數(shù)選在［0，1］內(nèi)。在［0，1］內(nèi)，增強(qiáng)的灰度級(jí)隨著參數(shù)的增加而單調(diào)減小，但是γ值越小，引入的噪聲越多。經(jīng)過(guò)實(shí)驗(yàn)，選取γ=0.7 時(shí)可以較好拉伸動(dòng)態(tài)范圍又不會(huì)引入過(guò)多的噪聲。

低照度圖像由于整體圖像偏暗，在圖像采集和增強(qiáng)時(shí)很容易出現(xiàn)噪聲。中值濾波在去除噪聲時(shí)能較好地保持圖像邊緣性，模糊效應(yīng)較低，可以去除一些隨機(jī)噪聲。因此，在進(jìn)行圖像增強(qiáng)算法前進(jìn)行中值濾波，可去除圖像中本來(lái)存在的噪聲和Gamma 校正中出現(xiàn)的噪聲。

2.2.3 反射分量估計(jì)

為了減少圖像細(xì)節(jié)丟失，LLEF 算法采用高斯-拉普拉斯高通濾波代替高斯低通濾波，先求出反射分量。根據(jù)文獻(xiàn)［20］，高斯濾波之所以能夠估計(jì)光照的原因在于采用了拉普拉斯算法，根據(jù)Retinex 理論，進(jìn)一步可采用高斯-拉普拉斯濾波（Laplace of Gaussian，LoG），將圖像反射分量直接提取出來(lái)，可解決圖像相減過(guò)程中細(xì)節(jié)數(shù)據(jù)丟失的問(wèn)題，并進(jìn)行增強(qiáng)處理，然后通過(guò)反射分量反向求得光照分量，最后將處理后的反射分量與光照分量相結(jié)合得出最終成像。

在數(shù)字圖像處理中，圖像一階導(dǎo)數(shù)的極大值往往對(duì)應(yīng)著圖像的邊緣區(qū)域，而二階導(dǎo)數(shù)的邊緣定位能力更強(qiáng)，可以確定邊緣是否存在。拉普拉斯算子就是一個(gè)二階微分線性算子，它通過(guò)二階微分特性來(lái)判斷圖像的邊緣位置。圖像I(x，y)進(jìn)行拉普拉斯變換的數(shù)學(xué)表達(dá)式為：

用卷積模板形式表示，如圖3 所示。模板可以直觀地看出拉普拉斯算子能夠增強(qiáng)圖像中的亮點(diǎn)，但是噪聲也會(huì)在圖像中以突然的亮點(diǎn)或者其他形式出現(xiàn)，拉普拉斯算子無(wú)法判斷該點(diǎn)是邊緣還是噪聲，有時(shí)還會(huì)增強(qiáng)圖像中的噪聲，所以在進(jìn)行拉普拉斯邊緣檢測(cè)前，先進(jìn)行高斯濾波，這樣就形成了高斯-拉普拉斯算子。

圖3 拉普拉斯卷積模板Fig.3 Laplace convolution template

高斯是圖像處理中常用的濾波，二維的高斯平滑卷積核表達(dá)式為：

式中：Gσ（x，y）為高斯平滑后的圖像，σ是標(biāo)準(zhǔn)差，表示周圍像素對(duì)當(dāng)前像素的影響程度。σ越大，表示影響程度越大；σ越小，表示影響程度越小。高斯-拉普拉斯算子在高斯平滑后進(jìn)行二階求導(dǎo)提取邊緣，采用高斯標(biāo)準(zhǔn)差為σ的二維高斯-拉普拉斯的數(shù)學(xué)表達(dá)式為：

式中LoG（x，y）為高斯-拉普拉斯算子運(yùn)算后的圖像。LLEF 算法提出的改進(jìn)的Retinex 中，反射分量由高斯-拉普拉斯高通濾波對(duì)圖像進(jìn)行濾波得到，即：

式中：V（x，y）為預(yù)處理后圖像在HSV 色彩空間中的V 通道分量；*表示卷積操作；F（x，y）為高斯-拉普拉斯高通濾波；R（x，y）為求出的反射分量。

得出反射分量后，采用限制對(duì)比度自適應(yīng)直方圖的方法（Contrast Limited Adaptive Histogram Equalizatin，CLAHE）［21］對(duì)反射分量進(jìn)行對(duì)比度拉伸，增強(qiáng)圖像對(duì)比度，使圖像更加清晰。表達(dá)式為：

根據(jù)Retinex 理論，得出圖像的光照分量，表達(dá)式為：

最終V 通道分量V＇（x，y）由增強(qiáng)后的反射分量與光照分量相乘得到，表達(dá)式為：

用增強(qiáng)后的V 通道分量代替原來(lái)的V 通道分量，與H 通道、S 通道融合，然后轉(zhuǎn)換到RGB 色彩空間，整體流程如圖4 所示。

圖4 低照度增強(qiáng)算法流程Fig.4 Flow chart of low illumination enhancement algorithm

2.3 圖像融合

由于舞臺(tái)場(chǎng)景中有燈光，相機(jī)拍攝過(guò)程中容易出現(xiàn)過(guò)曝的情況，進(jìn)行低照度增強(qiáng)之后，原本燈光部分可能出現(xiàn)過(guò)度增強(qiáng)的問(wèn)題。采用圖像融合的方式，將增強(qiáng)后的圖像與原始圖像進(jìn)行融合，消除過(guò)度增強(qiáng)的部分。

為了達(dá)到實(shí)時(shí)處理效果，這里采用速度較快的Mertens［22］融合方法。該方法將原圖與增強(qiáng)后圖像的權(quán)重圖與殘差圖分別構(gòu)建高斯金字塔與拉普拉斯金字塔，然后將兩個(gè)金字塔進(jìn)行融合和反向求解得出最終圖像。其中，圖像質(zhì)量的權(quán)重圖采用對(duì)比度、飽和度和曝光度3 個(gè)指標(biāo)。LLEF 算法采用改進(jìn)后的融合方法，將原算法中的5×5 的卷積核改為3×3 的卷積核。根據(jù)文獻(xiàn)［23］，該改進(jìn)可以大量減少每個(gè)像素點(diǎn)的計(jì)算次數(shù)，減少了48 次卷積計(jì)算。卷積核由式（11）改為式（12）：

原算法中權(quán)重圖采用了3 個(gè)指標(biāo)，由于融合是為了消除過(guò)度增強(qiáng)的部分，并且融合之前進(jìn)行了對(duì)比度增強(qiáng)，故只選取曝光這個(gè)指標(biāo)作為權(quán)重。燈光部分過(guò)度增強(qiáng)后灰度值接近1，而曝光度接近0.5 是比較好的曝光度。根據(jù)高斯曲線判斷像素點(diǎn)的曝光度的好壞，高斯曲線可以表示為：

式中：高斯標(biāo)準(zhǔn)差σ設(shè)為0.2，i為像素點(diǎn)的灰度值。融合后舞臺(tái)場(chǎng)景灰度值對(duì)比如圖5 所示?；叶戎禐閳D中方框區(qū)域的灰度值，可以看出，融合后圖像消除了背景中過(guò)度增強(qiáng)而導(dǎo)致的條紋，背景區(qū)域灰度值整體降低，保留了舞臺(tái)上演員區(qū)域增強(qiáng)的部分，使整體圖像更加清晰自然，更接近真實(shí)舞臺(tái)場(chǎng)景的亮度動(dòng)態(tài)范圍。

圖5 圖像融合前后灰度值對(duì)比Fig.5 Comparison of grayscale before and after image fusion

圖6 為原圖、增強(qiáng)后圖像和融合后圖像的直方圖對(duì)比?？梢钥闯?，增強(qiáng)后圖像灰度級(jí)拉伸，色彩明亮，細(xì)節(jié)清晰，明暗對(duì)比度增強(qiáng)。原圖灰度級(jí)集中在0～100 低灰度級(jí)區(qū)域，增強(qiáng)后圖像灰度級(jí)集中在50～150 較高灰度級(jí)區(qū)域，圖像灰度級(jí)整體向右移，并且保留了原圖的灰度結(jié)構(gòu)。LoGR 算法在不改變圖像灰度級(jí)結(jié)構(gòu)的前提下，增強(qiáng)圖像亮度動(dòng)態(tài)范圍效果明顯，較好保留了圖像亮度細(xì)節(jié)。但是增強(qiáng)后圖像灰度級(jí)分散，從圖6（d）可以看出，不同灰度級(jí)像素點(diǎn)數(shù)量差距很大，圖像質(zhì)量較差。從圖6（f）可以看出，融合后圖像不同灰度級(jí)像素點(diǎn)數(shù)量變化較為平緩，解決了大量灰度級(jí)突變的問(wèn)題，圖像的整體視覺(jué)效果很好。

圖6 原圖與圖像增強(qiáng)和圖像融合后圖像的直方圖對(duì)比Fig.6 Histogram comparison of original image with image after enhancement and fusion

3 FPGA 驗(yàn)證平臺(tái)

3.1 硬件整體框架

軟件平臺(tái)難以達(dá)到實(shí)時(shí)要求，而現(xiàn)場(chǎng)可編程門陣列（Field-Programmable Gate Array，F(xiàn)PGA）硬件平臺(tái)可以對(duì)圖像進(jìn)行流水線處理，合理的流水線填充和清空時(shí)間可以使算法達(dá)到實(shí)時(shí)效果。因此，本實(shí)驗(yàn)在FPGA 上對(duì)LLEF 算法進(jìn)行驗(yàn)證，整體框圖如圖7 所示，主要分為視頻采集模塊、圖像處理模塊和掃描控制模塊。

圖7 LLEF 算法的FPGA 實(shí)現(xiàn)框架Fig.7 Framework for FPGA implementation of LLEF algorithm

視頻源由雙目相機(jī)傳入PC（Personal Computer）端，通過(guò)高清多媒體接口（High Definition Multimedia Interface，HDMI）傳入FPGA。首先，視頻數(shù)據(jù)經(jīng)過(guò)視頻采集模塊處理后傳入圖像處理模塊和雙倍數(shù)據(jù)率同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器（Double Data Rate Synchronous Dynamic Random Access Memory，DDRSDRAM，DDR3）。其次，圖像進(jìn)行LoGR 算法增強(qiáng)和金字塔融合后獲得最終圖像。最后，圖像數(shù)據(jù)傳入掃描控制模塊，以低壓差分信號(hào)（Low Voltage Differential Signaling，LVDS）方式將同步信號(hào)和數(shù)據(jù)信號(hào)傳輸?shù)斤@示器接收端中。

3.2 圖像處理模塊

圖像處理模塊主要包括RGB-HSV 轉(zhuǎn)換模塊、HSV-RGB 轉(zhuǎn)換模塊、預(yù)處理模塊、LoGR 算法模塊和金字塔融合模塊。首先，對(duì)數(shù)據(jù)進(jìn)行色彩空間轉(zhuǎn)換，提取V 通道數(shù)據(jù)，將S，H 通道數(shù)據(jù)存入同步DDR3 中。其次，對(duì)V 通道數(shù)據(jù)采用FIFO（First Input First Output）緩存器和D 觸發(fā)器構(gòu)建3×3 窗口的方式進(jìn)行邊緣提取，用查找表法進(jìn)行Gamma 校正和對(duì)數(shù)轉(zhuǎn)換。再次，金字塔分解時(shí)不同的圖層依次存放進(jìn)Frame Buffer 中，融合時(shí)按照空間地址依次取出。最后，融合后圖像通過(guò)掃描模塊驅(qū)動(dòng)顯示器顯示最終視頻。掃描模塊采用數(shù)字脈寬調(diào)制（Pulse Width Modulation，PWM）的方式對(duì)顯示器進(jìn)行掃描驅(qū)動(dòng)，對(duì)需要顯示的一幀圖像進(jìn)行接收，采用尋址的方式輸出圖像數(shù)據(jù)，通過(guò)控制信號(hào)進(jìn)行圖像顯示。

圖8 為實(shí)驗(yàn)硬件平臺(tái)，紅線框圖為FPGA 芯片，型號(hào)為Altera Arria 10 GX 270。

圖8 硬件測(cè)試平臺(tái)Fig.8 Hardware test platform

4 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證LLEF 算法的有效性，實(shí)驗(yàn)從主觀和客觀兩個(gè)方面進(jìn)行對(duì)比分析，采用5 種低照度圖像增強(qiáng)算法、6 組尺寸不同的圖像進(jìn)行對(duì)比實(shí)驗(yàn)，所采用的對(duì)比算法分別為：基于BIMEF 的多曝光融合框架實(shí)現(xiàn)微光圖像增強(qiáng)（A Bio-Inspired Multi-Exposure Fusion Framework for Low-light Image Enhancement，BIMEF）［24］、通過(guò)結(jié)構(gòu)先驗(yàn)細(xì)化初始光照的方法（Low-light image enhancement via Illumination Map Estimation，LIME）［25］、帶色彩恢復(fù)的MSRCR、利用相機(jī)相應(yīng)模型局部調(diào)整曝光的低照度圖像增強(qiáng)方法（Low-Light Image Enhancement Using the Camera Response Model，LECARM）［26］。實(shí)驗(yàn)運(yùn)行的環(huán)境配置是Intel（R）Core（TM）i7-1065G7 CPU 1.50 GHz處理器，軟件平臺(tái)為Matlab2020b。

4.1 主觀評(píng)價(jià)

主觀效果如圖9～圖10 所示，圖9 是尺寸為5 500×3 500 左右的房子和鄉(xiāng)村圖像，圖10 為用雙目相機(jī)實(shí)拍的舞臺(tái)1～4 表演場(chǎng)景，圖像形式為雙目相機(jī)拍攝拼接成尺寸為7 500×2 000 左右的圖像。

圖9 不同算法對(duì)于低照度圖像的處理結(jié)果Fig.9 Results of low-light images processed with different algorithms

圖10 不同算法對(duì)于雙目相機(jī)拍攝的舞臺(tái)場(chǎng)景的處理結(jié)果Fig.10 Processed results of different algorithms for stage scenes taken by binocular cameras

從圖9 和圖10 可以看出，BIMEF 算法的增強(qiáng)效果不錯(cuò)，但弱化了圖像對(duì)比度，圖像整體色彩飽和度較低。LIME 算法在亮度和色彩上都容易出現(xiàn)過(guò)度增強(qiáng)問(wèn)題，并且會(huì)增強(qiáng)噪聲，圖像嚴(yán)重失真。MSRCR 算法增強(qiáng)圖像清晰度較低，并且圖像色彩失真，整體呈現(xiàn)泛白的問(wèn)題，部分區(qū)域變?yōu)榘咨?，圖像細(xì)節(jié)丟失嚴(yán)重。LECARM 算法雖然整體效果不錯(cuò)，但從圖9（e）和9（f）對(duì)比可以，看出該算法弱化了天空明暗對(duì)比度，橋和墻區(qū)域的噪聲明顯。LLEF 算法有較高的清晰度，低照度增強(qiáng)效果明顯，并且保留了原圖的對(duì)比度，沒(méi)有色彩偏移和色差的問(wèn)題，整體視覺(jué)效果更加自然。在雙目相機(jī)拍攝的圖10 中可以看出，LLEF 算法明顯優(yōu)于另外4 種算法，BIMEF，LIME，MSRCR 算法的增強(qiáng)效果欠佳，人物區(qū)域增強(qiáng)過(guò)度，丟失細(xì)節(jié)，舞臺(tái)背景區(qū)域噪聲嚴(yán)重。LECARM 算法的增強(qiáng)效果較好，但是舞臺(tái)地面部分也存在過(guò)度增強(qiáng)的問(wèn)題，降低了舞臺(tái)的明暗對(duì)比度，不適用于舞臺(tái)場(chǎng)景。LLEF 算法在保證圖像質(zhì)量的同時(shí)，增強(qiáng)了舞臺(tái)場(chǎng)景中人物和道具區(qū)域的亮度范圍，并且保持背景亮度范圍不變，突出舞臺(tái)人物表演區(qū)域。

4.2 客觀評(píng)價(jià)

客觀評(píng)價(jià)結(jié)果如表1 和表2 所示，實(shí)驗(yàn)采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為圖像質(zhì)量客觀評(píng)價(jià)的標(biāo)準(zhǔn)。PSNR 表示圖像重構(gòu)質(zhì)量，PSNR 越大，圖像質(zhì)量越好。SSIM 將圖像的結(jié)構(gòu)信息定義為獨(dú)立于亮度、對(duì)比度反映場(chǎng)景中物體結(jié)構(gòu)的屬性，并將失真建模為亮度、對(duì)比度和結(jié)構(gòu)3 個(gè)不同因素的組合，SSIM 值越大表示圖像質(zhì)量越好。

表1 不同算法的峰值信噪比指標(biāo)比較Tab.1 Comparison of peak signal-to-noise ratio metrics of different algorithms

表2 不同算法的結(jié)構(gòu)相似性指標(biāo)比較Tab.2 Comparison of structural similarity metrics of different algorithms

由表1 和表2 可以看出，在前兩組自然風(fēng)景圖像中LLEF 算法在PSNR 和SSIM 兩方面優(yōu)于BIMEF，明顯優(yōu)于其他3 種算法。從后四組雙目相機(jī)拍攝的舞臺(tái)圖像可以看出，LLEF 算法處理舞臺(tái)場(chǎng)景效果最好，PSNR 和SSIM 都遠(yuǎn)高于其他4 種經(jīng)典算法，最適合應(yīng)用于舞臺(tái)場(chǎng)景的低照度增強(qiáng)。由此表明，LLEF 算法的增強(qiáng)效果最好，相較于其他4 種經(jīng)典算法，PSNR 最高可提高2倍，平均提高了57.06%；SSIM 最高可提高1.6倍，平均提高了27.34%。

5 結(jié)論

由于相機(jī)拍攝亮度的動(dòng)態(tài)范圍受限，影響VR 觀感，本文研究了面向雙目相機(jī)圖像亮度動(dòng)態(tài)范圍擴(kuò)展的方法，根據(jù)雙目相機(jī)舞臺(tái)拍攝特性，提出了一種改進(jìn)的Retinex 低照度圖像增強(qiáng)融合算法，通過(guò)Matlab 平臺(tái)對(duì)設(shè)計(jì)方案進(jìn)行理論仿真，并在FPGA 上對(duì)該設(shè)計(jì)方案進(jìn)行硬件實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，在保證圖像質(zhì)量的前提下，亮度動(dòng)態(tài)范圍有明顯的提升，并且速度可以達(dá)到實(shí)時(shí)效果。該方法為VR 直播互動(dòng)舞臺(tái)劇院等低照度場(chǎng)景圖像動(dòng)態(tài)范圍受限問(wèn)題提供了一個(gè)較好的解決方案。