劉壽鑫，龍 偉，李炎炎，程 鴻

(四川大學(xué) 機(jī)械工程學(xué)院，四川 成都 610065)

0 引 言

在攝像設(shè)備進(jìn)行圖像采取的過程中，會(huì)因?yàn)橹車h(huán)境光照不足、光源不單一等環(huán)境因素導(dǎo)致所采集到的圖像存在亮度低、色彩偏暗等問題。

對此，有不少的低照度圖像增強(qiáng)算法被提出。從總體上來說，低照度圖像增強(qiáng)算法分為基于物理模型的增強(qiáng)算法和非物理模型增強(qiáng)算法兩大類[1,2]。Retinex算法[3]是使用最為廣泛的物理模型增強(qiáng)算法，該算法由Land等于1971年提出，后來以Retinex理論為基礎(chǔ)又有不少的改進(jìn)算法被提出[3,4]，如多尺度Retinex算法MSR以及針對MSR算法易出現(xiàn)色彩失真的問題又提出了帶色彩恢復(fù)的多尺度Re-tinex算法MSRCR和自動(dòng)色階調(diào)整的MSR算法[5]、融合暗通道先驗(yàn)理論的MSRCR算法[6]，但是此類算法的光照估計(jì)基礎(chǔ)是光照緩慢變化的，而并不是所有低照度圖像都滿足此假設(shè)。非物理模型算法主要有空域增強(qiáng)算法和濾波增強(qiáng)算法兩大類，空域增強(qiáng)算法以直方圖均衡化算法及改進(jìn)算法[7]為代表，如雙邊直方圖均衡化算法[8]，限制對比度的直方圖均衡化算法，此外還有不少學(xué)者將冪律函數(shù)融入其中，提出了很多自適應(yīng)伽馬矯正增強(qiáng)算法[9-11]，但是經(jīng)該類算法處理后的圖像色彩飽和度較低。而濾波類的增強(qiáng)算法處理結(jié)果往往會(huì)導(dǎo)致圖像發(fā)生色彩失真和丟失細(xì)節(jié)特征[12,13]，此外，傳統(tǒng)的濾波函數(shù)還存在對圖像亮度的提升上限較低的缺陷。

對此，本文提出了一種基于HSV色彩空間的非物理模型低照度圖像增強(qiáng)算法，首先利用低照度圖像增強(qiáng)的重點(diǎn)區(qū)域?yàn)閳D像中較暗區(qū)域?yàn)橐罁?jù)，對亮度V分量進(jìn)行分層預(yù)處理，將其分為高亮度層和低亮度層；然后再使用引入自適應(yīng)權(quán)重值的巴特沃斯濾波器進(jìn)行灰度等級的拉伸，并利用本文所提出的亮度控制方法對拉伸范圍過大的灰度等級區(qū)域進(jìn)行等級重新映射，以此來防止圖像出現(xiàn)過度增強(qiáng)區(qū)域；其次對V分量的融合結(jié)果進(jìn)行卷積平滑操作；最后提出了基于權(quán)重值和映射調(diào)節(jié)系數(shù)的色彩飽和度自適應(yīng)調(diào)整函數(shù)對圖像色彩飽和度進(jìn)行調(diào)整。最終的實(shí)驗(yàn)結(jié)果表明，經(jīng)本文算法處理后的圖像亮度提升大、色彩逼真無光暈現(xiàn)象且未出現(xiàn)過度增強(qiáng)區(qū)域，圖像增強(qiáng)結(jié)果符合主觀視覺感受。

1 本文算法

HSV色彩空間的色彩三分量相互獨(dú)立，對其中任意的一個(gè)色彩分量進(jìn)行增強(qiáng)處理都不會(huì)對其它兩個(gè)分量造成任何影響[14,15]，因此相較于直接在RGB三原色色彩空間進(jìn)行低照度圖像增強(qiáng)獲得的增強(qiáng)結(jié)果圖像，經(jīng)HSV色彩空間處理后的結(jié)果圖像具有色彩失真度小、顏色更加逼真的特點(diǎn)從而更易于獲得研究人員所預(yù)期的圖像增強(qiáng)效果。故以此為基礎(chǔ)提出了一種基于HSV色彩空間的低照度圖像增強(qiáng)算法，實(shí)現(xiàn)該算法的具體流程如圖1所示。

圖1 算法流程

1.1 HSV色彩空間

H、S、V分別是色調(diào)(Hue)、飽和度(Saturation)以及亮度(Value)3個(gè)單詞的縮寫，即HSV色彩空間是一種通過色調(diào)、飽和度以及亮度3種色彩分量來表示彩色圖像的色彩空間，它是由RGB三原色色彩模型空間衍生而來的一種面向?qū)ο蟮闹饔^色彩模型空間，因?yàn)槠渖时憩F(xiàn)比三原色色彩表現(xiàn)更加符合人眼視覺特性，近年來得到了較為廣泛的關(guān)注，HSV色彩空間的3個(gè)色彩分量與RGB三原色色彩空間的3個(gè)色彩分量的轉(zhuǎn)換關(guān)系如式(1)～式(3)所示

(1)

(2)

(3)

1.2 V分量的分層處理

相對于正常清晰的圖像灰度等級分布而言，低照度圖像的灰度等級分布主要集中分布于灰度級較低的區(qū)域，且灰度等級動(dòng)態(tài)范圍較小，因此低照度圖像增強(qiáng)算法的重點(diǎn)在于圖像中的低灰度等級區(qū)域，并使用有效的方法對灰度等級動(dòng)態(tài)范圍進(jìn)行擴(kuò)展。而利用全局增強(qiáng)算法的策略在對低灰度等級區(qū)域增強(qiáng)的同時(shí)也會(huì)對高灰度等級區(qū)域進(jìn)行增強(qiáng)處理，則易導(dǎo)致原有的高灰度等級區(qū)域出現(xiàn)過度增強(qiáng)的情況。本文算法以這一特點(diǎn)為依據(jù)，為避免原圖像的高灰度等級區(qū)域出現(xiàn)過度增強(qiáng)，在進(jìn)行V分量的增強(qiáng)處理之前，以非全局圖像增強(qiáng)處理的方式，首先對亮度V分量進(jìn)行分層預(yù)處理。以灰度值0.8為V分量分割閾值點(diǎn)，利用單次分層將V分量分為低灰度等級層VL和高灰度等級層VH兩層，V分量的分層表達(dá)式如式(4)所示

(4)

式中：VL表示低灰度等級區(qū)域，VH表示高灰度等級區(qū)域，V(i,j)表示在圖像中位于位置(i,j)處的灰度等級大小。

現(xiàn)以“Campus”圖的V分量為例來說明本文所提算法對V分量的預(yù)處理結(jié)果，V分量分層結(jié)果如圖2所示。

圖2 V分量預(yù)處理

1.3 引入權(quán)重值的巴特沃斯低通濾波

低照度圖像的低照度區(qū)域會(huì)導(dǎo)致大量的圖像信息被黑暗所掩蓋，從而丟失實(shí)際拍攝的物體信息，低照度圖像增強(qiáng)的主要目的便在于提高低照度區(qū)域的亮度，從未使被掩蓋的圖像信息暴露。將巴特沃斯低通濾波器應(yīng)用于圖像低照度VL分量中，以此來提高圖像的灰度等級，達(dá)到圖像亮度提高的目的，但是由于傳統(tǒng)的巴特沃斯低通濾波器的增強(qiáng)上限較低，從而易導(dǎo)致增強(qiáng)效果較差。針對此問題，本文算法基于不同低照度圖像存在灰度等級最大值與最小值互不相同以及灰度均值與梯度值大小亦不相同的思想，在傳統(tǒng)的巴特沃斯低通濾波器中引入了自適應(yīng)權(quán)重值w，以此來解決傳統(tǒng)巴特沃斯濾波器增強(qiáng)上限較低的問題。引入權(quán)重值后的巴特沃斯低通濾波器表達(dá)式如式(5)所示

(5)

式中：符號“·”表示取乘積操作，D0為改進(jìn)后巴特沃斯低通濾波器的截止頻率，D(u,v)表示在大小為M×N的圖像中，頻率點(diǎn)(u,v)與頻域中心之間的距離，其表達(dá)式如式(6)所示，w為本文算法為解決傳統(tǒng)巴特沃斯低通濾波器存在對圖像亮度V分量提升上限較低問題所設(shè)計(jì)的自適應(yīng)權(quán)重值，其表達(dá)式如式(7)所示

(6)

(7)

其中，Vmax表示圖像V分量中的最大灰度，Vmean表示圖像V分量的平均值，VGmax和VGmin分別表示圖像V分量的梯度最大值和最小值，VGmean表示圖像V分量的梯度平均值，b為權(quán)重值微調(diào)因子，本文此處取該因子的大小為0.085，VG表達(dá)式如式(8)所示

(8)

1.4 亮度抑制

在利用巴特沃斯濾波器對低灰度等級層VL分量進(jìn)行亮度增強(qiáng)處理時(shí)，無可避免的會(huì)造成原來的低灰度等級區(qū)域出現(xiàn)部分過度增強(qiáng)，為解決在整個(gè)算法流程中出現(xiàn)的這種局部過度增強(qiáng)的情況，提出了一種如下所述的亮度控制辦法。首先利用正弦函數(shù)的周期性，對VL增強(qiáng)結(jié)果中出現(xiàn)過度增強(qiáng)的灰度等級進(jìn)行壓縮，(若圖像VL分量中的某一像素灰度等級大于0.8，本文則認(rèn)為該點(diǎn)像素已經(jīng)出現(xiàn)了過度增強(qiáng))，經(jīng)灰度等級壓縮后的VL分量灰度等級范圍變小，有利于之后的灰度等級重新映射，此步驟中，對灰度等級的壓縮操作表達(dá)式如式(9)所示。在灰度等級壓縮之后，再利用式(10)所示的灰度等級映射函數(shù)對其進(jìn)行重新映射，由于此步驟的主要作用在于過亮抑制，即新的圖像灰度等級不能超過V分量的最大值，故新的映射函數(shù)的取值上限不能超過1。此方法的優(yōu)勢在于：在對亮度增強(qiáng)處理后的分量層實(shí)施亮度抑制操作時(shí)，能夠僅對圖像的過度增強(qiáng)區(qū)域進(jìn)行操作，不會(huì)對非過度增強(qiáng)區(qū)域產(chǎn)生任何影響，從而不會(huì)降低圖像整體的亮度

(9)

式中：VC(i,j)表示位于圖像上的位置點(diǎn)處(i,j)的灰度級壓縮結(jié)果，Vw(i,j)表示VL分量中出現(xiàn)過度增強(qiáng)像素點(diǎn)的值大小，N表示出現(xiàn)過度增強(qiáng)像素點(diǎn)的總和，當(dāng)n的取值為0時(shí)，S0=0

(10)

式中：VM表示新的灰度等級映射結(jié)果，α為灰度等級映射范圍調(diào)節(jié)系數(shù)，本文在此處取調(diào)節(jié)系數(shù)α的值為2.73。

以“Campus”圖為例，該圖像的過度增強(qiáng)區(qū)域控制對比如圖3所示，圖3(a)為出現(xiàn)過度增強(qiáng)的圖像，圖3(b)為使用所提亮度控制方法對圖像過度增強(qiáng)區(qū)域進(jìn)行亮度控制后的結(jié)果圖像，結(jié)合兩對比圖可以看出，該方法對于圖像中過度增強(qiáng)區(qū)域的處理效果較為理想，不僅能夠?qū)崿F(xiàn)對過度增強(qiáng)區(qū)域進(jìn)行有效的亮度控制而且還保持了非過度增強(qiáng)區(qū)域的原有亮度。

圖3 對過度增強(qiáng)區(qū)域的處理

1.5 平滑卷積算子

在對V分量進(jìn)行全局卷積濾波處理之前，首先利用下式，將低灰度等級VL分量的最終處理結(jié)果與原高灰度等級VH分量進(jìn)行融合，得到V分量的最終增強(qiáng)結(jié)果圖像，分量融合表達(dá)式如式(11)所示

(11)

(12)

VR=V1?H

(13)

其中，H表示卷積濾波器的卷積核，VR表示V1分量的卷積結(jié)果，符號“?”表示卷積操作。

以“Campus”圖為例，V分量的對比如圖4所示，其中圖4(a)為未處理的原始V分量，圖4(b)為V分量的最終增強(qiáng)處理結(jié)果，對比圖4(a)以及圖4(b)可以看出該低照度圖像的亮度得到了較好的改善，視覺效果提升明顯，被原較低灰度等級區(qū)域所掩蓋的圖像信息得以暴露。從圖像亮度V分量的對比圖4(c)可以看出，原V分量的灰度等級主要集中于低灰度等級，經(jīng)過本文所提算法處理后的V分量亮度有了非常明顯的提升，如圖4(d)所示，其灰度的等級分布主要集中于較高灰度等級。

圖4 初始V分量與結(jié)果V分量

1.6 色彩飽和度S分量的自適應(yīng)調(diào)整

低照度圖像除了存在整體灰度等級較低和光照不均等問題以外，還存在其色彩飽和度值也較低的問題，而較低的色彩飽和度值會(huì)造成圖像的色彩暗淡，逼真度較差，不符合主觀視覺感受。針對此問題，本文設(shè)計(jì)了一種基于表達(dá)式(7)中引入的權(quán)重值w和表達(dá)式(10)中的灰度級映射調(diào)節(jié)系數(shù)α的自適應(yīng)圖像色彩飽和度值拉伸函數(shù)，該函數(shù)的表達(dá)式如式(14)所示，通過對色彩飽和度S分量進(jìn)行自適應(yīng)非線性拉伸來解決低照度圖像色彩飽和度較低的問題

(14)

式中：S1表示拉伸后的圖像色彩飽和度分量，S表示原圖像色彩飽和度分量。

同樣以“Campus”圖為例來進(jìn)一步說明該函數(shù)對S分量的作用結(jié)果，“Campus”圖的S分量拉伸結(jié)果統(tǒng)計(jì)直方圖對比如圖5所示，對比圖5(a)和圖5(b)可以看出，相較于未拉伸的原S分量，經(jīng)過自適應(yīng)函數(shù)調(diào)整后的S分量表現(xiàn)出了明顯的拉伸效果，“Campus”圖像的最終增強(qiáng)結(jié)果原始輸入圖像的對比如圖6所示，其中，圖6(a)原始輸入圖像，圖6(b)為最終的增強(qiáng)結(jié)果圖像。

圖5 初始S分量與結(jié)果S分量

圖6 輸入圖像與最終增強(qiáng)結(jié)果

2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提算法的有效性與先進(jìn)性，采用了4種圖像增強(qiáng)對比算法進(jìn)行對比實(shí)驗(yàn)，所采用的4種算法分別為：具有代表性的基于冪律函數(shù)的自適應(yīng)Gamma矯正圖像增強(qiáng)算法AGCWD，位于空域直接對圖像進(jìn)行處理的基于直方圖均衡化的經(jīng)典改進(jìn)算法CLAHE，最近受到廣泛關(guān)注的新型曝光圖融合框架EFF算法以及采用了子圖像多曝光直方圖均衡化ESIHE算法[16,17]，4種對比算法與本文所提算法的最終實(shí)驗(yàn)結(jié)果對比如圖7～圖12所示。本文所提算法以及所有對比實(shí)驗(yàn)算法的實(shí)現(xiàn)均在MATLAB 2018b軟件環(huán)境下完成，實(shí)驗(yàn)平臺的操作系統(tǒng)為Windows 10，硬件系統(tǒng)運(yùn)行內(nèi)存為8 GB RAM，處理器型號為Intel(R)Core(TM)i5-5200U CPU@2.20 GHz。

圖7 Square圖增強(qiáng)結(jié)果對比

圖8 Street圖增強(qiáng)結(jié)果對比

圖9 Ornament圖增強(qiáng)結(jié)果對比

圖10 Interior圖增強(qiáng)結(jié)果對比

圖11 Coastline圖增強(qiáng)結(jié)果對比

圖12 Capmus圖增強(qiáng)結(jié)果對比

2.1 主觀評價(jià)

就所有算法的增強(qiáng)結(jié)果對比圖而言，4種對比算法和本文所提算法均取得了較好的增強(qiáng)結(jié)果，然而相較之下，AGCWD算法、CLAHE算法和ESIHE算法的亮度提升效果相對較低，其中AGCWD算法在色彩飽和度的控制方面表現(xiàn)較好，色彩失真度小，圖像增強(qiáng)結(jié)果符合第一主觀視覺感受，但是該算法對近景處的亮度提升效果不佳，經(jīng)其處理后的圖像近景處依舊存在大量的低亮度區(qū)域，該現(xiàn)象在圖7以及圖8的底部區(qū)域表現(xiàn)明顯；CLAHE算法對圖像色彩的處理效果較差，導(dǎo)致結(jié)果圖中部分色彩出現(xiàn)了少許的色差，有色彩過于濃重的視覺感受，尤其是在圖7、圖11以及圖12的天空區(qū)域，除此不足之外，在圖7和圖8的天空與建筑的相鄰部分還出現(xiàn)了光暈現(xiàn)象；而ESIHE算法在近景處的提升效果大于遠(yuǎn)景處的提升效果，但是圖像整體色彩偏灰，色調(diào)飽和度較差，圖7、圖8以及圖12的天空區(qū)域色彩失真嚴(yán)重，與原圖色彩具有較大偏差，且位于圖11右上角的天空區(qū)域還出現(xiàn)了亮度不均的現(xiàn)象。相對來說，EFF算法與本文算法在圖像的亮度提升方面總體表現(xiàn)較好，亮度提升幅度大，將兩種算法的增強(qiáng)結(jié)果圖進(jìn)行對比可以看出，由于本文單獨(dú)對圖像的色彩飽和度進(jìn)行了調(diào)整，故經(jīng)本文所提算法處理后的圖像色彩更加飽滿，逼真度較高，更加貼合于圖像中所表現(xiàn)物體的原有色彩，而EFF算法的整體色彩風(fēng)格偏冷色調(diào)，色彩對比度較低。就主觀評價(jià)來說，本文算法總體表現(xiàn)較好，其增強(qiáng)結(jié)果符合主觀視覺感受。

2.2 客觀評價(jià)

為從客觀方面進(jìn)一步驗(yàn)證本文所提算法的有效性，選取了兩種基于無參考圖像的圖像質(zhì)量評價(jià)指標(biāo)PIQE、NIQE以及圖像信息熵值ENT[18-20]共3種客觀評價(jià)指標(biāo)對本文的所有實(shí)驗(yàn)對比圖進(jìn)行質(zhì)量評價(jià)，其中，評價(jià)指標(biāo)PIQE、NIQE的測定結(jié)果值與圖像質(zhì)量成反比，即無參考圖像質(zhì)量評價(jià)指標(biāo)PIQE、NIQE的測定結(jié)果值越小，圖像質(zhì)量越高，此兩種無參考圖像評價(jià)指標(biāo)的測定值范圍均在0～100之間；而信息熵值ENT的數(shù)值大小則與圖像質(zhì)量成正比，單幅圖像的信息熵值測定值越大，表明該圖像所包含的信息量越多，圖像質(zhì)量越高。3種圖像質(zhì)量評價(jià)指標(biāo)的測定結(jié)果見表1(測定結(jié)果值均保留兩位有效數(shù)字)，無參考圖像質(zhì)量評價(jià)標(biāo)準(zhǔn)PIQE和NIQE的折線圖統(tǒng)計(jì)如圖13、圖14所示。

表1 客觀評價(jià)結(jié)果

圖13 NIQE折線圖

圖14 PIQE折線圖

從表1中的數(shù)據(jù)統(tǒng)計(jì)結(jié)果可以看出，本文算法增強(qiáng)結(jié)果圖像的3種評價(jià)指標(biāo)值均取得了較好的測定結(jié)果值。兩種無參考圖像質(zhì)量評價(jià)指標(biāo)PIQE和NIQE的測定結(jié)果值表明，本文算法的圖像處理結(jié)果相對4種比較算法的處理結(jié)果來說具有更好的數(shù)值測定結(jié)果，即本文算法的圖像增強(qiáng)結(jié)果具有更好的色彩效果和較高的亮度，圖像整體表現(xiàn)自然，更加符合人眼主觀視覺感受；結(jié)合二者的折線統(tǒng)計(jì)圖看來，本文所提算法結(jié)果圖像的PIQE、NIQE測定值相對波動(dòng)最小，說明該算法對低照度圖像的增強(qiáng)效果較穩(wěn)定。除此之外，綜合所有增強(qiáng)結(jié)果圖的ENT測定值可知，本文算法的最終測定結(jié)果值相對較高，沒有位于測定結(jié)果值末尾的數(shù)據(jù)出現(xiàn)，該結(jié)果表明經(jīng)本文算法處理后的圖像相較于其它4種對比算法保有更多的圖像信息。就客觀評價(jià)而言，本文算法是一種較好的、有效的算法。

3 結(jié)束語

本文提出了一種類屬于非物理模型的低照度圖像增強(qiáng)算法，并采用了4種低照度圖像增強(qiáng)算法與所提算法進(jìn)行對比實(shí)驗(yàn)，以此來驗(yàn)證所提算法的有效性。最終，對比實(shí)驗(yàn)的主觀評價(jià)結(jié)果和客觀評價(jià)結(jié)果均表明本文算法是一種對低照度圖像進(jìn)行增強(qiáng)處理行之有效的方法，經(jīng)本文算法增強(qiáng)處理后的圖像色彩逼真、亮度提升幅度大、客觀評價(jià)指標(biāo)測定值較好，增強(qiáng)結(jié)果符合人眼主觀視覺感受。相較于4種比較算法的增強(qiáng)結(jié)果，本文算法增強(qiáng)結(jié)果綜合表現(xiàn)最優(yōu)，能夠滿足低照度圖像的增強(qiáng)要求。