陳迎春

武漢大學(xué) 數(shù)學(xué)與統(tǒng)計學(xué)院，武漢430072

1 引言

計算機(jī)視覺和多媒體算法需要高可見性的輸入圖像[1]。然而，在弱光條件下拍攝的圖像通常能見度較低。一般來說，圖像增強(qiáng)技術(shù)可以使輸入圖像看起來更好，更適合于特定的算法[2-3]?，F(xiàn)有的圖像增強(qiáng)技術(shù)可分為兩大類：全局增強(qiáng)[3-12]和局部增強(qiáng)[1-2，13-15]。全局增強(qiáng)對所有圖像像素執(zhí)行相同的處理，而不考慮它們的空間分布。然而，全局增強(qiáng)可能會使明亮的區(qū)域飽和，導(dǎo)致細(xì)節(jié)損失。為了避免這個問題，一些圖像增強(qiáng)方法采用非線性單調(diào)函數(shù)（如冪律[16]、對數(shù)[17]和函數(shù)[18]）進(jìn)行增強(qiáng)。直方圖均衡化（Histogram Equalization，HE）[19]是另一種避免飽和的方法，它可以有效地提高對比度，成為一種應(yīng)用廣泛的技術(shù)。HE 的許多擴(kuò)展考慮了一些限制，如亮度保持[3-4，20]和對比度限制[5]。然而，全局增強(qiáng)可能會導(dǎo)致局部區(qū)域的細(xì)節(jié)丟失，因為全局處理不能確保所有局部區(qū)域都得到很好的增強(qiáng)。

考慮到像素的空間分布，局部增強(qiáng)可以獲得更好的效果，成為當(dāng)前技術(shù)的主流。局部直方圖均衡化[8，21]采用滑動窗口策略局部執(zhí)行HE。在觀察到反向的弱光圖像接近于煙霧圖像的基礎(chǔ)上，借鑒去霧技術(shù)解決了低光圖像的增強(qiáng)問題[22-23]。然而，上述方法的基本模型在物理解釋[1]中存在不足。為了給圖像增強(qiáng)提供一個有物理意義的模型，Retinex 理論假設(shè)到達(dá)觀察者的光量可以分解為兩部分：亮度光照和反射光照。大多數(shù)基于視網(wǎng)膜的方法通過去除亮度光照部分[13]得到增強(qiáng)效果，而其他方法[1-2，14]保留一部分亮度光照以保持自然性。然而，這些方法可能會受到過增強(qiáng)和增強(qiáng)不足的影響。

為了避免增強(qiáng)過程中丟失細(xì)節(jié)，文獻(xiàn)[24]提出一種基于最優(yōu)加權(quán)多曝光融合機(jī)制的保細(xì)節(jié)欠曝光圖像增強(qiáng)方法，通過求解能量函數(shù)獲得局部對比度、飽和度和曝光度的最優(yōu)權(quán)值。

除了單一的圖像增強(qiáng)之外，目前還有很多針對低亮度視頻的增強(qiáng)算法，如文獻(xiàn)[25]提出一種基于分區(qū)曝光融合的不均勻亮度視頻增強(qiáng)方法。文獻(xiàn)[26]提出一種基于區(qū)域系統(tǒng)和圖像融合的視頻增強(qiáng)方法。

為了更快地實現(xiàn)增強(qiáng)，并獲得更好的增強(qiáng)效果，本文受到HDR（High-Dynamic Range，高動態(tài)范圍圖像）色調(diào)映射技術(shù)[27]的啟發(fā)，結(jié)合圖像分解和雙邊濾波，自適應(yīng)地對圖像進(jìn)行全局色調(diào)映射處理以及恢復(fù)色彩飽和度，提出一種新的快速低照度圖像增強(qiáng)算法。實驗結(jié)果表明，與現(xiàn)有的幾種低照度圖像增強(qiáng)算法相比，該算法的增強(qiáng)效果顯著，運行時間更短。

2 本文算法

整個算法的流程為：

（1）將圖像從RGB 顏色空間變換到Y(jié)UV 顏色空間，對亮度通道進(jìn)行雙邊濾波，得到基本層和細(xì)節(jié)層。

（2）對基本層圖像進(jìn)行自適應(yīng)全局色調(diào)映射，再疊加細(xì)節(jié)層圖像信息。

（3）恢復(fù)圖像色彩飽和度，并重新變換到RGB空間。

2.1 雙邊濾波

為了達(dá)到降噪平滑、保持邊緣的效果，文獻(xiàn)[28]提出了一種新的非線性濾波器，即雙邊濾波。雙邊濾波的權(quán)重不僅考慮了像素的空間距離，還考慮了像素間的相似程度，對于圖像I，雙邊濾波定義為：

其中，J 是濾波后的圖像，BF 為雙邊濾波器，f 是空間距離項相關(guān)的光滑函數(shù)，g 是亮度項相關(guān)的光滑函數(shù)，k(x)是歸一化項，設(shè)為：

與高斯濾波相比，雙邊濾波在構(gòu)造過程中，增加了一個基于像素的高斯濾波函數(shù)，可以根據(jù)像素值相似性自動調(diào)節(jié)權(quán)重，這種差異化的權(quán)重處理方式確保邊緣附近像素值得到較好的保持。

在增強(qiáng)低照度圖像時，圖像的邊緣部分有時會出現(xiàn)光暈和偽影，雙邊濾波可以保持圖像邊緣[29]，有效避免圖像增強(qiáng)后的光暈和偽影現(xiàn)象。對圖像亮度數(shù)據(jù)進(jìn)行濾波處理，得到圖像的基本層和細(xì)節(jié)層：

其中，Lbase為圖像的基本層，Ldetail為圖像的細(xì)節(jié)層。

2.2 自適應(yīng)色調(diào)映射

受文獻(xiàn)[27]啟發(fā)，對圖像基本層進(jìn)行全局映射。根據(jù)韋伯-費希納定律[30]，人類視覺系統(tǒng)感知亮度近似為對數(shù)函數(shù)。使用文獻(xiàn)[30]中給出的映射函數(shù)：

其中，Lp為全局自適應(yīng)輸出，Lbase為圖像基本層，Lbasemax為圖像基本層數(shù)據(jù)的最大值，Lˉbase為文獻(xiàn)[31]中的對數(shù)平均亮度，設(shè)為：

其中，N 是圖像中像素的總個數(shù)，δ 是個很小的值，以避免圖像中有像素為零的點而產(chǎn)生奇點。

利用式（6），充分壓縮了整個場景的亮度值，對低照度圖像有著明顯的調(diào)節(jié)作用。圖像基本層信息和其最大亮度值除以對數(shù)平均亮度，這使得式（5）具有一定的適應(yīng)性。

采用式（5）和（6），對基本層進(jìn)行映射壓縮后，利用細(xì)節(jié)層中的信息進(jìn)行細(xì)節(jié)補償：

其中，α 為細(xì)節(jié)調(diào)整參數(shù)，α ＞1時為細(xì)節(jié)增強(qiáng)，本文取α=1.2，Lg為映射后的亮度分量圖像。

另外，若直接對輸入圖像做全局映射而不是先對亮度圖像進(jìn)行雙邊濾波處理，輸出圖像會產(chǎn)生光暈和偽影，丟失細(xì)節(jié)信息，如圖1所示。

圖1 有無雙邊濾波的對比結(jié)果

2.3 恢復(fù)色彩飽和度

一般來說，對亮度分量處理之后，再轉(zhuǎn)換到RGB 空間，圖像會出現(xiàn)飽和度一定程度丟失的現(xiàn)象。為了盡量減少輸入圖像和輸出圖像之間的顏色飽和度變化，根據(jù)文獻(xiàn)[32]對R、G、B通道應(yīng)用如下修正公式：

其中，Y′為映射后的亮度分量，Y 為輸入的亮度分量。將分量R′、G′、B′連接，即得到最終的增強(qiáng)圖像。

3 實驗結(jié)果與分析

3.1 實驗結(jié)果

將本文算法與近三年來的主流算法進(jìn)行比較，包括LIME[33]、CRM[34]、BIMEF[35]、RRM[36]。所 有 代 碼 都 在Matlab R2016a 中，保證了時間比較的公平性。所有的實驗都是在一臺運行Windows 10操作系統(tǒng)的機(jī)器上進(jìn)行的，機(jī)器的內(nèi)存為64 GB，CPU為2.4 GHz。

本文共做了三組實驗，如圖2～圖4所示。其中圖（a）為輸入圖像，圖（b）～圖（e）為其他算法，圖（f）為本文算法。

與圖2（f）相比，圖2（b）增強(qiáng)效果不明顯，其他算法產(chǎn)生了肉眼可見的光暈偽影，如男人肩膀處，圖（e）還會產(chǎn)生過度平滑。

與圖3（f）相比，圖3（b）增強(qiáng)效果不明顯，其他算法雖然圖像亮度提升得更好，但在邊緣處效果失真，對天空白云的恢復(fù)也出現(xiàn)失真。

與圖4（f）相比，圖4（b）增強(qiáng)效果不明顯，圖4（c）、（d）產(chǎn)生大量噪聲，圖（e）增強(qiáng)效果明顯，對大面積低像素圖像也具有魯棒性，但運行速度非常慢，由表1 可知。綜合來看，本文算法對大面積低像素圖像增強(qiáng)效果更好。

3.2 客觀評價

對于低照度圖像增強(qiáng)算法，不僅要根據(jù)圖像的直觀評價來進(jìn)行對比，還要使用客觀評價值，使實驗結(jié)果更加精確，有說服力。

目前，對于弱光圖像的增強(qiáng)評價還沒有提出標(biāo)準(zhǔn)的客觀指標(biāo)。在本研究中，使用Entropy（信息熵）、NIQE（Natural Image Quality Evaluator，自然圖像質(zhì)量評價）[37]、LOE（Lightness Order Error，亮度階誤差）[38]、運行時間這四個評價標(biāo)準(zhǔn)。

Entropy 作為常用的圖像增強(qiáng)質(zhì)量評價指標(biāo)，用于衡量增強(qiáng)圖像中信息豐富程度，信息熵越大，表明圖像中包含的細(xì)節(jié)信息越多。

NIQE是基于自然圖像統(tǒng)計模型的圖像質(zhì)量評價指標(biāo)，與人眼主觀質(zhì)量評價有著很好的一致性，評價過程中利用待評價圖像特征模型參數(shù)與預(yù)先建立的模型參數(shù)之間的距離來確定圖像質(zhì)量。

圖2 第一組實驗的結(jié)果對比

圖3 第二組實驗的結(jié)果對比

圖4 第三組實驗的結(jié)果對比

根據(jù)NIQE模型，NIQE值越小，圖像失真度越低。

LOE 可以客觀測量增強(qiáng)圖像的亮度失真。LOE 定義為：

其中，RD(x)是原始圖像P 與增強(qiáng)后圖像P′的亮度相對階差，定義如下：

其中，m 為像素數(shù)量，⊕代表異算子，L(x)和L′(x)分別為輸入圖像與增強(qiáng)圖像在x 處的三個顏色通道之間的最大值，如果p ≥q，函數(shù)U(p,q)返回1，否則返回0。

根據(jù)LOE模型，LOE值越小，圖像自然性保持得越好。用40 張低照度圖像進(jìn)行增強(qiáng)處理，最后結(jié)果取40張圖像的指標(biāo)結(jié)果平均值。表1 給出了不同增強(qiáng)算法的評價結(jié)果。

表1 多組實驗的客觀評價對比

由表1 可以看出，本文算法信息熵和NIQE 數(shù)值與其他算法相比相差不大，處于中等水平。除了算法LIME，本文算法的LOE值遠(yuǎn)小于其他算法，亮度失真度小。從表中時間一列可知，本文算法運行時間最短，特別的，比RRM 算法快了將近400 倍，能快速實現(xiàn)增強(qiáng)效果。所以，本文算法既能提升速度又能保證增強(qiáng)后的圖像自然不失真，增強(qiáng)效果有了很大的提升。

3.3 算法局限性

雖然本算法可以快速實現(xiàn)增強(qiáng)，但也存在一定的局限性，對于單一強(qiáng)光源圖像，強(qiáng)光源區(qū)域可能會曝光過度，處理效果不夠好。

4 結(jié)論

本文提出了一種新的低照度圖像增強(qiáng)方法，即結(jié)合雙邊濾波的自適應(yīng)全局映射圖像增強(qiáng)算法。首先為了克服由于映射而產(chǎn)生的光暈現(xiàn)象，在映射操作之前，對圖像的亮度信息進(jìn)行雙邊濾波處理，使得邊緣的處理效果更加明顯。其次利用映射公式，在全局范圍內(nèi)改變圖像亮度，同時為了使圖像更加清晰，對細(xì)節(jié)進(jìn)行增強(qiáng)處理，使得增強(qiáng)后的圖像質(zhì)量更好。最后為了使圖像更具有色彩飽和度，對R、G、B 三通道分別運用修正公式，增強(qiáng)后的圖像顏色飽和度得到保持。經(jīng)過實驗對比后發(fā)現(xiàn)，本文算法可以快速實現(xiàn)圖像增強(qiáng)，增強(qiáng)效果明顯，且對有大面積低像素的圖像處理得更好，算法的綜合結(jié)果明顯優(yōu)于其他主流算法。