季 淵，李星儀，馬新德，廖 亮

（1.上海大學 微電子研究與開發(fā)中心，上海 200444；2.上海大學 機電工程與自動化學院，上海 200444；3.上海大學 上海電影學院，上海 200072）

1 引言

近眼顯示設備［1］是人們感知元宇宙的主要入口之一，人們通過近眼顯示設備觀看由計算機構(gòu)建而成的三維數(shù)字世界。娛樂沉浸式體驗是元宇宙的典型應用，其中舞臺是常見場景之一，舞臺表演中通常采用燈光設備集中照射來突出環(huán)境或者渲染氣氛，而沒有被燈光照射的地方則是一片漆黑，強烈的對比使得舞臺場景的亮度范圍非常廣闊。但是，目前成像設備單次拍攝的亮度動態(tài)范圍最大不超過3 個數(shù)量級，容易出現(xiàn)過曝光或者欠曝光的情況，不能反映真實舞臺場景。由此可見，舞臺場景拍攝需要對圖像進行動態(tài)范圍擴展，增強圖像的明暗對比度，還原舞臺真實場景。此外，使用虛擬現(xiàn)實（Virtual Reality，VR）設備觀看直播時，圖像處理的實時性尤為重要。

Land 等［2］基于人類視覺感知模型提出了Retinex 理論，該理論是經(jīng)典的圖像增強算法，也常應用于低照度圖像的增強。Retinx 理論將圖像分為光照和反射兩部分，其中光照部分對應圖像的低頻信號部分，反射分量對應著圖像的高頻信號部分?；赗etinex 理論，Jobson 等［3］提出單尺度Retinex（Single Scale Retinex，SSR）算法，采用高斯低通濾波估計光照分量，但該算法存在增強后顏色嚴重失真，圖像整體泛白的問題。針對顏色失真的問題，Jobson 等［4］隨后提出多尺度Retinex（Multiscale Retinex，MSR）算法，采用多個不同高斯核的低通濾波估計光照分量，但是該算法并未解決顏色失真的問題，并且圖像伴有光暈現(xiàn)象。Rahman 等［5］提出帶色彩恢復的Retinex（Multi Scale Retinex with Color Restoration，MSRCR）算法，該算法用了色彩因子C 來調(diào)節(jié)RGB三通道的比例關系，一定程度上改善了顏色失真的情況，但仍然存在失真問題。Wang 等［6］提出采用雙邊濾波估計光照分量，可以較好地改善光暈現(xiàn)象，但是顏色失真問題仍然沒有解決，還提高了計算的復雜度。Shin 等［7］提出 將RGB 通道轉(zhuǎn)換到HSV 通道，對V 通道進行Retinex 算法處理，用高斯低通濾波估計光照，該方法可以有效地解決顏色失真的問題，但是由于采用的是高斯濾波估計光照分量，所以光暈現(xiàn)象仍然存在。Chen 等［8］提出拍攝多幀圖像，將低照度圖像轉(zhuǎn)換到Y(jié)UV 色彩空間，采用降噪和選取最佳Y 通道分量的方法。Huang 等［9］提出結(jié)合平滑聚類和改進的Retinex 算法估計照明的低照度全景圖像增強算法。目前，將深度學習與低照度圖像結(jié)合起來的方法還有很多。Wang 等［10］提出基于模擬多曝光融合的低照度增強算法。Lore 等［11］將深度學習與低照度圖像增強結(jié)合起來，證明了采用深度學習可以同時實現(xiàn)低照度圖像的增強和去噪。Chen 等［12］設計了Retinex-Net，包括Decom-Net和Enhance-Net 兩部分。Jiang 等［13］提出一種高效無監(jiān)督的生成對抗網(wǎng)絡，包括全局-局部鑒別器結(jié)構(gòu)，自正規(guī)化感知損失融合和注意機制。但是，深度學習計算量復雜，硬件實現(xiàn)困難，很難達到實時的要求。

傳統(tǒng)的SSR 算法采用高斯低通濾波進行光照估計，雖然可以一定程度增強圖像，但未考慮實際場景中光照非均勻變化的情況，尤其舞臺場景中常會有燈光劇變的情況。選擇合適的低通濾波估計光照分量顯得至關重要，大部分改進的Retinex 算法采用可以保留更多細節(jié)的低通濾波，增加了算法計算量，并且采用不同濾波估計光照都是基于理想狀態(tài)，認為低通濾波可以很好地估計光照分量，再由光照分量計算出反射分量，這樣計算出的反射分量很容易出現(xiàn)細節(jié)數(shù)據(jù)丟失的問題［14］，而反射分量是圖像細節(jié)的主要部分。

針對舞臺場景，為了解決顏色失真和光暈現(xiàn)象的問題，綜合考慮計算復雜度以及運行速度，本文提出一種低照度增強融合算法（Low-Light Enhancement Fusion，LLEF），它包括低照度增強和圖像融合兩部分。其中，低照度增強部分采用改進的基于高斯-拉普拉斯的Retinex 算法。相較于傳統(tǒng)算法，LLEF 算法在提高圖像亮度的同時，保證了圖像較好的色彩和細節(jié)質(zhì)量，保留了原圖的明暗對比度，可以廣泛應用在舞臺場景中。

2 原理

2.1 Retinex 算法原理

Retinex 理論認為人眼觀察到的物體顏色與光照強度無關，與物體本身反射不同頻率光線的能力有關，其表達式為：

其中：S為觀測圖像，R為圖像的反射部分，L為圖像的光照部分，即整體的最終成像為反射部分與光照部分的乘積。SSR 算法將反射分量作為增強后的最終結(jié)果，采用高斯低通濾波估計光照分量，并且將式（1）轉(zhuǎn)換到對數(shù)域進行算術運算。其表達式為：

將式（2）結(jié)果量化到0～255 的像素空間，該結(jié)果即為增強后的圖像。

2.2 LoGR（LoG-Retinex）算法

LLEF 算法分成低照度增強和圖像融合兩部分，整體流程如圖1 所示。其中，低照度增強部分采用改進Retinex 算法，圖像融合部分采用改進的金字塔融合方法。

圖1 LLEF 算法流程Fig.1 Flow chart of LLEF algorithm

2.2.1 顏色空間

HSV 色彩空間中，H 通道代表色度，S 通道代表色調(diào)的飽和度，V 通道代表亮度［15］。其亮度獨立于色調(diào)和飽和度，分割魯棒性更好。LLEF算法將圖像轉(zhuǎn)換到HSV 色彩空間，單獨對V 通道進行處理，不會出現(xiàn)顏色失真問題，并且有效加快圖像運算速度。

2.2.2 圖像預處理

Canny 算子是典型的邊緣檢測算子［16］，在提取邊緣前會對圖像進行高斯濾波處理，有較好的噪聲容忍度，非常適合低照度圖像的邊緣提取。在圖像增強之前，可先對V 通道用Canny 算子進行邊緣提取，然后將提取出的邊緣細節(jié)添加到原圖像上，增強邊緣，避免圖像邊緣細節(jié)丟失。未經(jīng)過Canny 算子處理與經(jīng)過Canny 算子處理的細節(jié)對比如圖2 所示?？梢钥闯?，圖2（a）中右下角地面紋理擴散不清晰，圖2（b）中地面紋理清晰，未出現(xiàn)光暈模糊的情況。

圖2 Canny 算子效果對比Fig.2 Comparison of Canny operator results

Gamma 校正廣泛應用于圖像處理領域［17-19］，通過調(diào)整圖像的Gamma 曲線，對圖像進行非線性拉伸，增強圖像的明暗對比度，使圖像獲得較好的動態(tài)范圍。完成邊緣提取后，進一步進行Gamma 校正，增強圖像對比度。

Gamma 算子的表達式為：

式中：γ為常量，參數(shù)γ對應拉伸效果。當γ=1時，圖像保持原來的動態(tài)范圍不變；當γ＞1 時，高灰度區(qū)域圖像的對比度增強；當γ＜1 時，低灰度圖像的動態(tài)范圍增強。為了獲得較高的灰度級，γ參數(shù)選在［0，1］內(nèi)。在［0，1］內(nèi)，增強的灰度級隨著參數(shù)的增加而單調(diào)減小，但是γ值越小，引入的噪聲越多。經(jīng)過實驗，選取γ=0.7 時可以較好拉伸動態(tài)范圍又不會引入過多的噪聲。

低照度圖像由于整體圖像偏暗，在圖像采集和增強時很容易出現(xiàn)噪聲。中值濾波在去除噪聲時能較好地保持圖像邊緣性，模糊效應較低，可以去除一些隨機噪聲。因此，在進行圖像增強算法前進行中值濾波，可去除圖像中本來存在的噪聲和Gamma 校正中出現(xiàn)的噪聲。

2.2.3 反射分量估計

為了減少圖像細節(jié)丟失，LLEF 算法采用高斯-拉普拉斯高通濾波代替高斯低通濾波，先求出反射分量。根據(jù)文獻［20］，高斯濾波之所以能夠估計光照的原因在于采用了拉普拉斯算法，根據(jù)Retinex 理論，進一步可采用高斯-拉普拉斯濾波（Laplace of Gaussian，LoG），將圖像反射分量直接提取出來，可解決圖像相減過程中細節(jié)數(shù)據(jù)丟失的問題，并進行增強處理，然后通過反射分量反向求得光照分量，最后將處理后的反射分量與光照分量相結(jié)合得出最終成像。

在數(shù)字圖像處理中，圖像一階導數(shù)的極大值往往對應著圖像的邊緣區(qū)域，而二階導數(shù)的邊緣定位能力更強，可以確定邊緣是否存在。拉普拉斯算子就是一個二階微分線性算子，它通過二階微分特性來判斷圖像的邊緣位置。圖像I(x，y)進行拉普拉斯變換的數(shù)學表達式為：

用卷積模板形式表示，如圖3 所示。模板可以直觀地看出拉普拉斯算子能夠增強圖像中的亮點，但是噪聲也會在圖像中以突然的亮點或者其他形式出現(xiàn)，拉普拉斯算子無法判斷該點是邊緣還是噪聲，有時還會增強圖像中的噪聲，所以在進行拉普拉斯邊緣檢測前，先進行高斯濾波，這樣就形成了高斯-拉普拉斯算子。

圖3 拉普拉斯卷積模板Fig.3 Laplace convolution template

高斯是圖像處理中常用的濾波，二維的高斯平滑卷積核表達式為：

式中：Gσ（x，y）為高斯平滑后的圖像，σ是標準差，表示周圍像素對當前像素的影響程度。σ越大，表示影響程度越大；σ越小，表示影響程度越小。高斯-拉普拉斯算子在高斯平滑后進行二階求導提取邊緣，采用高斯標準差為σ的二維高斯-拉普拉斯的數(shù)學表達式為：

式中LoG（x，y）為高斯-拉普拉斯算子運算后的圖像。LLEF 算法提出的改進的Retinex 中，反射分量由高斯-拉普拉斯高通濾波對圖像進行濾波得到，即：

式中：V（x，y）為預處理后圖像在HSV 色彩空間中的V 通道分量；*表示卷積操作；F（x，y）為高斯-拉普拉斯高通濾波；R（x，y）為求出的反射分量。

得出反射分量后，采用限制對比度自適應直方圖的方法（Contrast Limited Adaptive Histogram Equalizatin，CLAHE）［21］對反射分量進行對比度拉伸，增強圖像對比度，使圖像更加清晰。表達式為：

根據(jù)Retinex 理論，得出圖像的光照分量，表達式為：

最終V 通道分量V＇（x，y）由增強后的反射分量與光照分量相乘得到，表達式為：

用增強后的V 通道分量代替原來的V 通道分量，與H 通道、S 通道融合，然后轉(zhuǎn)換到RGB 色彩空間，整體流程如圖4 所示。

圖4 低照度增強算法流程Fig.4 Flow chart of low illumination enhancement algorithm

2.3 圖像融合

由于舞臺場景中有燈光，相機拍攝過程中容易出現(xiàn)過曝的情況，進行低照度增強之后，原本燈光部分可能出現(xiàn)過度增強的問題。采用圖像融合的方式，將增強后的圖像與原始圖像進行融合，消除過度增強的部分。

為了達到實時處理效果，這里采用速度較快的Mertens［22］融合方法。該方法將原圖與增強后圖像的權重圖與殘差圖分別構(gòu)建高斯金字塔與拉普拉斯金字塔，然后將兩個金字塔進行融合和反向求解得出最終圖像。其中，圖像質(zhì)量的權重圖采用對比度、飽和度和曝光度3 個指標。LLEF 算法采用改進后的融合方法，將原算法中的5×5 的卷積核改為3×3 的卷積核。根據(jù)文獻［23］，該改進可以大量減少每個像素點的計算次數(shù)，減少了48 次卷積計算。卷積核由式（11）改為式（12）：

原算法中權重圖采用了3 個指標，由于融合是為了消除過度增強的部分，并且融合之前進行了對比度增強，故只選取曝光這個指標作為權重。燈光部分過度增強后灰度值接近1，而曝光度接近0.5 是比較好的曝光度。根據(jù)高斯曲線判斷像素點的曝光度的好壞，高斯曲線可以表示為：

式中：高斯標準差σ設為0.2，i為像素點的灰度值。融合后舞臺場景灰度值對比如圖5 所示?；叶戎禐閳D中方框區(qū)域的灰度值，可以看出，融合后圖像消除了背景中過度增強而導致的條紋，背景區(qū)域灰度值整體降低，保留了舞臺上演員區(qū)域增強的部分，使整體圖像更加清晰自然，更接近真實舞臺場景的亮度動態(tài)范圍。

圖5 圖像融合前后灰度值對比Fig.5 Comparison of grayscale before and after image fusion

圖6 為原圖、增強后圖像和融合后圖像的直方圖對比。可以看出，增強后圖像灰度級拉伸，色彩明亮，細節(jié)清晰，明暗對比度增強。原圖灰度級集中在0～100 低灰度級區(qū)域，增強后圖像灰度級集中在50～150 較高灰度級區(qū)域，圖像灰度級整體向右移，并且保留了原圖的灰度結(jié)構(gòu)。LoGR 算法在不改變圖像灰度級結(jié)構(gòu)的前提下，增強圖像亮度動態(tài)范圍效果明顯，較好保留了圖像亮度細節(jié)。但是增強后圖像灰度級分散，從圖6（d）可以看出，不同灰度級像素點數(shù)量差距很大，圖像質(zhì)量較差。從圖6（f）可以看出，融合后圖像不同灰度級像素點數(shù)量變化較為平緩，解決了大量灰度級突變的問題，圖像的整體視覺效果很好。

圖6 原圖與圖像增強和圖像融合后圖像的直方圖對比Fig.6 Histogram comparison of original image with image after enhancement and fusion

3 FPGA 驗證平臺

3.1 硬件整體框架

軟件平臺難以達到實時要求，而現(xiàn)場可編程門陣列（Field-Programmable Gate Array，F(xiàn)PGA）硬件平臺可以對圖像進行流水線處理，合理的流水線填充和清空時間可以使算法達到實時效果。因此，本實驗在FPGA 上對LLEF 算法進行驗證，整體框圖如圖7 所示，主要分為視頻采集模塊、圖像處理模塊和掃描控制模塊。

圖7 LLEF 算法的FPGA 實現(xiàn)框架Fig.7 Framework for FPGA implementation of LLEF algorithm

視頻源由雙目相機傳入PC（Personal Computer）端，通過高清多媒體接口（High Definition Multimedia Interface，HDMI）傳入FPGA。首先，視頻數(shù)據(jù)經(jīng)過視頻采集模塊處理后傳入圖像處理模塊和雙倍數(shù)據(jù)率同步動態(tài)隨機存取存儲器（Double Data Rate Synchronous Dynamic Random Access Memory，DDRSDRAM，DDR3）。其次，圖像進行LoGR 算法增強和金字塔融合后獲得最終圖像。最后，圖像數(shù)據(jù)傳入掃描控制模塊，以低壓差分信號（Low Voltage Differential Signaling，LVDS）方式將同步信號和數(shù)據(jù)信號傳輸?shù)斤@示器接收端中。

3.2 圖像處理模塊

圖像處理模塊主要包括RGB-HSV 轉(zhuǎn)換模塊、HSV-RGB 轉(zhuǎn)換模塊、預處理模塊、LoGR 算法模塊和金字塔融合模塊。首先，對數(shù)據(jù)進行色彩空間轉(zhuǎn)換，提取V 通道數(shù)據(jù)，將S，H 通道數(shù)據(jù)存入同步DDR3 中。其次，對V 通道數(shù)據(jù)采用FIFO（First Input First Output）緩存器和D 觸發(fā)器構(gòu)建3×3 窗口的方式進行邊緣提取，用查找表法進行Gamma 校正和對數(shù)轉(zhuǎn)換。再次，金字塔分解時不同的圖層依次存放進Frame Buffer 中，融合時按照空間地址依次取出。最后，融合后圖像通過掃描模塊驅(qū)動顯示器顯示最終視頻。掃描模塊采用數(shù)字脈寬調(diào)制（Pulse Width Modulation，PWM）的方式對顯示器進行掃描驅(qū)動，對需要顯示的一幀圖像進行接收，采用尋址的方式輸出圖像數(shù)據(jù)，通過控制信號進行圖像顯示。

圖8 為實驗硬件平臺，紅線框圖為FPGA 芯片，型號為Altera Arria 10 GX 270。

圖8 硬件測試平臺Fig.8 Hardware test platform

4 實驗與結(jié)果分析

為了驗證LLEF 算法的有效性，實驗從主觀和客觀兩個方面進行對比分析，采用5 種低照度圖像增強算法、6 組尺寸不同的圖像進行對比實驗，所采用的對比算法分別為：基于BIMEF 的多曝光融合框架實現(xiàn)微光圖像增強（A Bio-Inspired Multi-Exposure Fusion Framework for Low-light Image Enhancement，BIMEF）［24］、通過結(jié)構(gòu)先驗細化初始光照的方法（Low-light image enhancement via Illumination Map Estimation，LIME）［25］、帶色彩恢復的MSRCR、利用相機相應模型局部調(diào)整曝光的低照度圖像增強方法（Low-Light Image Enhancement Using the Camera Response Model，LECARM）［26］。實驗運行的環(huán)境配置是Intel（R）Core（TM）i7-1065G7 CPU 1.50 GHz處理器，軟件平臺為Matlab2020b。

4.1 主觀評價

主觀效果如圖9～圖10 所示，圖9 是尺寸為5 500×3 500 左右的房子和鄉(xiāng)村圖像，圖10 為用雙目相機實拍的舞臺1～4 表演場景，圖像形式為雙目相機拍攝拼接成尺寸為7 500×2 000 左右的圖像。

圖9 不同算法對于低照度圖像的處理結(jié)果Fig.9 Results of low-light images processed with different algorithms

圖10 不同算法對于雙目相機拍攝的舞臺場景的處理結(jié)果Fig.10 Processed results of different algorithms for stage scenes taken by binocular cameras

從圖9 和圖10 可以看出，BIMEF 算法的增強效果不錯，但弱化了圖像對比度，圖像整體色彩飽和度較低。LIME 算法在亮度和色彩上都容易出現(xiàn)過度增強問題，并且會增強噪聲，圖像嚴重失真。MSRCR 算法增強圖像清晰度較低，并且圖像色彩失真，整體呈現(xiàn)泛白的問題，部分區(qū)域變?yōu)榘咨瑘D像細節(jié)丟失嚴重。LECARM 算法雖然整體效果不錯，但從圖9（e）和9（f）對比可以，看出該算法弱化了天空明暗對比度，橋和墻區(qū)域的噪聲明顯。LLEF 算法有較高的清晰度，低照度增強效果明顯，并且保留了原圖的對比度，沒有色彩偏移和色差的問題，整體視覺效果更加自然。在雙目相機拍攝的圖10 中可以看出，LLEF 算法明顯優(yōu)于另外4 種算法，BIMEF，LIME，MSRCR 算法的增強效果欠佳，人物區(qū)域增強過度，丟失細節(jié)，舞臺背景區(qū)域噪聲嚴重。LECARM 算法的增強效果較好，但是舞臺地面部分也存在過度增強的問題，降低了舞臺的明暗對比度，不適用于舞臺場景。LLEF 算法在保證圖像質(zhì)量的同時，增強了舞臺場景中人物和道具區(qū)域的亮度范圍，并且保持背景亮度范圍不變，突出舞臺人物表演區(qū)域。

4.2 客觀評價

客觀評價結(jié)果如表1 和表2 所示，實驗采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為圖像質(zhì)量客觀評價的標準。PSNR 表示圖像重構(gòu)質(zhì)量，PSNR 越大，圖像質(zhì)量越好。SSIM 將圖像的結(jié)構(gòu)信息定義為獨立于亮度、對比度反映場景中物體結(jié)構(gòu)的屬性，并將失真建模為亮度、對比度和結(jié)構(gòu)3 個不同因素的組合，SSIM 值越大表示圖像質(zhì)量越好。

表1 不同算法的峰值信噪比指標比較Tab.1 Comparison of peak signal-to-noise ratio metrics of different algorithms

表2 不同算法的結(jié)構(gòu)相似性指標比較Tab.2 Comparison of structural similarity metrics of different algorithms

由表1 和表2 可以看出，在前兩組自然風景圖像中LLEF 算法在PSNR 和SSIM 兩方面優(yōu)于BIMEF，明顯優(yōu)于其他3 種算法。從后四組雙目相機拍攝的舞臺圖像可以看出，LLEF 算法處理舞臺場景效果最好，PSNR 和SSIM 都遠高于其他4 種經(jīng)典算法，最適合應用于舞臺場景的低照度增強。由此表明，LLEF 算法的增強效果最好，相較于其他4 種經(jīng)典算法，PSNR 最高可提高2倍，平均提高了57.06%；SSIM 最高可提高1.6倍，平均提高了27.34%。

5 結(jié)論

由于相機拍攝亮度的動態(tài)范圍受限，影響VR 觀感，本文研究了面向雙目相機圖像亮度動態(tài)范圍擴展的方法，根據(jù)雙目相機舞臺拍攝特性，提出了一種改進的Retinex 低照度圖像增強融合算法，通過Matlab 平臺對設計方案進行理論仿真，并在FPGA 上對該設計方案進行硬件實現(xiàn)。實驗結(jié)果表明，在保證圖像質(zhì)量的前提下，亮度動態(tài)范圍有明顯的提升，并且速度可以達到實時效果。該方法為VR 直播互動舞臺劇院等低照度場景圖像動態(tài)范圍受限問題提供了一個較好的解決方案。