安芷楠,魏 赟

(上海理工大學 光電信息與計算機工程學院,上海 200093)

0 引 言

由于存在光源復雜、光照分布不均勻等客觀條件,采集到的低照度圖像通常伴隨著亮度較低、細節(jié)模糊、色彩失真等問題,嚴重損壞了圖像質量并對后期處理造成影響.因此借助圖像增強技術來解決該問題,以提高圖像信噪比獲得清晰的圖像信息,目前主流的圖像增強算法有:直方圖均衡化算法、小波變換算法和基于Retinex理論算法.

直方圖均衡化是一種根據(jù)像素灰度值進行動態(tài)調整,使其更加符合均勻分布的方法.W.Zhang等人[1]將最優(yōu)均衡閾值策略應用到雙區(qū)間直方圖,采用顏色校正來避免失真,提高了圖像的整體對比度;文獻[2]利用高斯低通濾波器進行分解,并采用次區(qū)間線性變換和S形函數(shù)增強圖像對比度和高光細節(jié).以上方法由于只考慮擴大對比度,容易出現(xiàn)欠曝光和過增強的現(xiàn)象.

小波變換算法利用小波分解得到低頻和高頻分量并對其各自進行處理,再通過重構得到結果.H.Ye等人[3]在使用小波變換的基礎上,引入了雙線性插值的方法,提高了圖像分辨率和整體亮度;文獻[4]將小波變換和直方圖結合,通過對比處理前后圖像得到增強因子突出了細節(jié)信息,也保持色調不變.但由于高頻分量中包含著大量噪聲,所以小波變換易放大噪聲使信噪比偏低.

基于Retinex理論認為觀察到的圖像是由照度分量與物體本身的反射屬性共同決定的.S.Wang等人[5]將融合引導濾波器作為邊緣檢測算子并分解反射圖像,利用低秩特性避免了“光暈偽影”的現(xiàn)象;文獻[6]將改進的高斯同態(tài)濾波器作為SSR中心環(huán)繞函數(shù)并結合CLAHE算法,可以極好地保持圖像的色彩度和邊緣細節(jié);文獻[7]利用高斯金字塔和雙邊濾波的Retinex算法以提高圖像對比度,使用拉普拉斯算法重建有效恢復了顏色;Z.Guo等人[8]結合暗通道先驗理論得到新模型DeRetinex,能夠更好地保留細節(jié),避免過度曝光;文獻[9]提出均值預置MPR算法,能夠保持圖像顏色柔和度并具有更強的魯棒性;Q.Mu等人[10]使用梯度域引導濾波進行亮度增強和去噪,利用多尺度融合來突出暗區(qū)的紋理細節(jié);文獻[11]利用伽瑪變換和銳化結合Retinex模型以提高圖像清晰度,最后利用小波融合獲得清晰的邊緣輪廓;文獻[12]將幀累積和雙邊濾波的MSR結合,使圖像增強后具有較高分辨率和信噪比.許多學者近年來將Retinex理論和深度學習結合,J.Yang等人[13]采用多尺度網絡來獲得分解結果,并對分解后的反射率使用細化恢復網絡,通過像素級伽馬校正矩陣來調整,產生了良好的視覺效果;文獻[14]利用新隨機亮度干擾方法得到的異常亮度與原亮度在CNN中結合來估計反射率,有效地保存了亮度和顏色;文獻[15]采用深度神經網絡Saliency attention模型檢測顯著區(qū)域,再利用Retinex模型進行融合增強;Z.Gao等人[16]將Retinex理論結合脈沖耦合神經網絡,并采用多尺度融合突出圖像的細節(jié)和紋理;文獻[17]使用Decom-RNet將圖像分解,再利用Enhance-RNet增強光照,并引入注意模塊提高了學習的準確性.但以上算法無法同時兼顧到亮度偏低、細節(jié)模糊和色彩失真等問題,且訓練網絡需要大量的數(shù)據(jù),不利于操作和實時性.

基于此,本文提出了一種新的Retinex圖像增強算法GMSR-AcGW,其創(chuàng)新點如下:

1)首先采用雙伽馬函數(shù)預處理原圖像,均衡化各個區(qū)域像素達到視覺平衡,解決了像素過低或過高的問題.

2)利用Gabor濾波對邊緣細節(jié)紋理特征的高敏感度的特性,將其替換MSR算法的高斯濾波作為中心環(huán)繞函數(shù)來增強亮度分量,在亮度提升的同時細節(jié)也更加突出.

3)選擇用雙曲正切函數(shù)來替換對數(shù)函數(shù),壓縮高值像素并擴展低值像素,實現(xiàn)二次均衡化的同時防止了卷積引起的過增強,并引入增益偏移算子來動態(tài)調整反射分量.

4)考慮到亮度處理對彩色信息的影響,使用改進的灰度世界算法對損失程度不同的顏色通道進行自適應的補償,避免了多數(shù)算法在亮度提升時出現(xiàn)的色彩失真問題.

1 結合灰度世界和Retinex的低照度圖像增強算法

1.1 算法介紹

該算法的流程如圖1所示,先引入雙伽馬函數(shù)對低照度圖像進行預處理,包括提升暗區(qū)域的對比度與抑制亮區(qū)域的過增強;在進行Lab空間轉換后對亮度分量L使用基于Gabor濾波的改進MSR算法突出了細節(jié)紋理;然后利用雙曲正切函數(shù)替換對數(shù)函數(shù)并添加增益偏移算子動態(tài)調整反射分量的亮度與對比度;將上步結果與色彩分量融合后逆轉化到原有空間;根據(jù)不同的色彩損失,使用自適應的灰度世界算法補償對應的通道來保持圖像的色彩度避免顏色失真.

圖1 本文算法流程圖Fig.1 Flowchart of the proposed algorithm

1.2 雙伽馬函數(shù)與Lab色彩空間

首先對原始的輸入圖像,引入雙伽馬函數(shù)不僅可以改善圖像中暗區(qū)域的對比度也可以抑制圖像的亮區(qū)域部分,方便進行后續(xù)操作.其定義如下:

S(x,y)=?φ+(1-?)θS

(1)

其中,?代表調節(jié)系數(shù),位于0～1之間.

φ=h(x,y)γθ=1-[1-h(x,y)]γ

(2)

這里h(x,y)為待增強圖像;φ、θ分別代表凸函數(shù)與凹函數(shù),作用為提高暗區(qū)域的亮度和降低亮區(qū)域的亮度;伽馬值γ位于范圍0～1之間并取決于低照度圖像的整體閾值.具體計算公式如下:

(3)

(4)

當前,圖像增強算法的主要趨勢是將RGB色彩空間轉換到HSI[18]、HSV[19]、YCbCr[20]等其他顏色空間上進行,但存在著一定的缺陷,即在進行亮度分量處理的同時會或多或少的影響到色彩分量,且處理后的圖像往往與人類視覺系統(tǒng)感知存在偏差.

Lab色彩空間根據(jù)生理特征模擬了人眼對色彩的感受,具有感知均勻的特性,并且其色域寬闊能夠覆蓋人類視覺系統(tǒng)接收到的全部顏色.在該空間中L指亮度分量,a、b均指色彩分量,且Lab色彩空間中亮度分量L與色彩分量a、b之間彼此獨立且?guī)缀醪淮嬖谟绊?基于這些優(yōu)點,本文將在此空間上對亮度分量L進行操作.

1.3 基于Gabor濾波的改進MSR算法

Retinex是Land等人受到人眼對顏色和亮度感知的啟發(fā)所提出的,利用Retinex理論進行圖像增強指將觀察到的圖像S(x,y)中的照度分量L(x,y)進行極大程度的減輕或消除,較好地還原出被觀測物體的反射屬性R(x,y).通常情況下,利用對數(shù)域進行變換,能夠大幅度的降低計算量.具體過程如下:

S(x,y)=R(x,y)·L(x,y)

(5)

logR(x,y)=logS(x,y)-logL(x,y)

(6)

多尺度Retinex算法(MSR)為該理論的經典算法并可看做是根據(jù)權重值將多個單尺度Retinex算法(SSR)累加所得,即利用不同尺度的高斯卷積核并線性加權,能夠在維持色彩信息的情況下提高清晰度,具體表示如下:

(7)

Gabor函數(shù)是通過高斯函數(shù)經調制后所得到的,對圖像的邊緣信息較為敏感,可以準確地識別和突出圖中某部分的特征.利用Gabor濾波器可同時提供信號局部信息和系統(tǒng)整體信息的特性,將Gabor濾波替代高斯濾波成為MSR中的中心環(huán)繞函數(shù),克服了紋理細節(jié)丟失的缺點[21],且具有更佳的增強效果,公式(7)被改進為:

(8)

其中SL(x,y)代表L分量圖像并與Gabor濾波進行卷積來替代L分量上的照度分量;RL(x,y)為L分量上的反射分量即處理后的最終結果,G(x,y)代表Gabor濾波,如下:

G(x,y)=g(x,y)·exp(2πjFx′)

(9)

(10)

(11)

這里用g(x,y)表示將要進行調制的高斯函數(shù);σx和σy為濾波器的縮放參數(shù)來確定像素鄰域的有效大小,分別對應著X、Y軸標準差;F代表Gabor濾波的頻率,而θ代表Gabor濾波的方向;x′和y′為x和y經過θ旋轉后的坐標.

1.4 雙曲正切函數(shù)與增益偏移算子

經上一步處理后的圖像,由于暗區(qū)域與亮區(qū)域的像素值仍存在差異通常會造成部分區(qū)域出現(xiàn)過增強的現(xiàn)象.而雙曲正切函數(shù)在神經網絡中作為激活函數(shù),可以壓縮低照度圖像像素值的范圍使其均衡化,將圖像中高值像素無限壓縮接近1,并把眾多的低值像素擴展到一個較大空間.與對數(shù)函數(shù)相比,雙曲正切函數(shù)通過改變像素值的映射范圍,以抑制圖像的過度增強,即選擇用該函數(shù)來替換公式(8)中的對數(shù)函數(shù),可獲得如下公式:

本研究中的所有手術均由一名高年資醫(yī)生主刀完成。采用全身麻醉，麻醉成功后先取一側側臥位，標記出股骨、攣縮帶的位置及兩個入路的位置（見圖1）。

(12)

下面又定義了一個增益偏移算子K,用來動態(tài)的調整反射分量RL的整體對比度與亮度,進一步抑制圖像過增強的現(xiàn)象.具體定義如下:

(13)

(14)

這里,MaxSL為Lab色彩空間的L分量的最大值,φ為校正系數(shù)用來動態(tài)的調整兩者的比例.將最終得到的反射圖像與Lab色彩空間中的色彩分量進行融合并逆轉換到RGB色彩空間中.

1.5 自適應補償?shù)幕叶仁澜缢惴?/h3>

在增強低照度圖像的過程中通常會出現(xiàn)色彩失真問題,本文對白平衡理論中的灰度世界算法進行改進,利用自適應補償?shù)臋C制來對融合后的圖像進行校正,維持了圖像的色彩度.

白平衡理論普遍用在電子設備方面如家用電視、數(shù)碼相機等,可作為衡量三基色混合生成白色精度的指標,也能夠通過結合光源的色溫,實現(xiàn)色調控制、色彩處理等功能.白平衡算法中包含了基于動態(tài)閾值分割方法、完美反射方法等,其中應用廣泛且計算簡單高效的是灰度世界算法[22].

灰度世界算法根據(jù)灰度世界理論,指出一幅圖像在RGB色彩空間中各個通道的均值都應趨近于相同的灰度值,可由如下公式表示:

(15)

(16)

(17)

(18)

這里,Iifinal和Ii分別是各通道進行自適應補償后的最終結果與各通道的像素值,i∈(R,G,B);依次比較每個通道的均值來找到最小值,其對應的就是需要進行最大增益補償?shù)耐ǖ?用較大的算術平均值與該均值進行比較以提高增益參數(shù)來進行補償,使用較小的幾何平均值與其他通道的均值進行比較以縮小對應的增益參數(shù),使各個通道的像素值達到平衡,得到最終的顏色校正的圖像.

2 實驗結果及其評價

本實驗所采用的計算機的配置為:Inter(R)Core(TM)i7-6700HQ CPU@2.60 GHz,2.60 GHz,8.00 GB內存;實驗所采用的軟件環(huán)境為:VS2017;以下采用的5組對照算法的參數(shù)均為各文獻推薦數(shù)值;本實驗共測試了3種經典類型低照度圖片:圖2為無光源下的圖像(整體極暗,人群和道路區(qū)域處于陰影部分無法捕捉到細節(jié)信息);圖3為戶外光源較低時的圖像(山川邊緣輪廓模糊且顏色較為暗淡);圖4為室內光線較弱時的圖像(無法區(qū)分書桌上的各個部分,整體圖像色彩略微失真).

圖2 無光源圖像Fig.2 Image without light source

圖3 戶外光源較低圖像Fig.3 Lower image of outdoor light source

圖4 室內光線較弱圖像Fig.4 Image of weak indoor light

2.1 主觀評價

主觀評價通常指人類視覺系統(tǒng)對圖像作出的直接判斷,能夠快速有效的對圖片做出判斷.本文利用GMSR-AcGW算法與CLAHE算法、經典的Retinex算法(MSR、MSRCR)、LIME算法、文獻[23]分別對圖2、圖3、圖4進行增強,通過圖像的整體亮度、輪廓紋理細節(jié)和顏色等3個方面對處理結果圖5、圖6、圖7進行主觀評價,其結果如表1所示.

表1 各算法主觀評價表Table 1 Subjective evaluation of each algorithm

圖5 對無光源圖像增強效果圖Fig.5 Effect diagram of image enhancement without light source

圖6 對戶外自然光源較低圖像增強效果圖Fig.6 Image enhancement effect of low outdoor natural light source

圖7 對室內照明條件較差光線弱圖像增強效果圖Fig.7 Image enhancement effect of poor indoor lighting conditions and weak light

2.2 客觀評價

主觀評價雖然可以快速有效地辨別出圖像質量的高低,但由于存在觀察者的主觀判斷不同、視覺誤差等因素,導致對結果的評價不夠準確.因此,本文以客觀評價為主,利用以下5個標準對實驗結果進行對比和判斷.

2.2.1 峰值信噪比(PSNR)

通常情況下客觀評價中被采取次數(shù)最多的方法為峰值信噪比.若該值越大,表示圖像的噪聲越低、失真越少且越容易分辨.表達式如下:

(19)

(20)

這里,H×W代表兩幅圖像大小;X指測試的圖像,Y指參考的圖像,兩者的均方誤差為MSE;n通常為8,表示各個像素的比特數(shù).

2.2.2 結構相似性(SSIM)

結構相似性需要對比當前測試圖像和參考圖像的差異,其結果通常反映了兩者相似度,更加貼近人眼對圖像質量的評價,取值區(qū)間為[0,1].若當前測試的圖像質量較好,兩張圖片較為接近,則該值越高.其表達式為:

(21)

式中,x是當前測試的圖像,y是之前參考的圖像;μx、μy與σx、σy各自是圖像x與y的平均值和標準差;兩圖之間的協(xié)方差用σxy表示;c1、c2、c3代表常數(shù).

2.2.3 標準差

標準差可以用來體現(xiàn)低照度圖像對比度的高低,測試圖像的清晰度越高,該數(shù)值越大.可通過計算圖中像素和平均值之間的離散程度得到.表達式如下:

(22)

2.2.4 平均梯度

平均梯度是利用圖中的邊緣細節(jié)特征來描述清晰程度的客觀評價標準.該值越高,則圖中輪廓紋理越明顯,視覺效果越好.表達式為:

(23)

2.2.5 運行時間

運行時間反映了該算法的執(zhí)行效率和復雜度,其值越小,則算法越高效性能越佳.

表2、表3和表4分別代表圖2、圖3和圖4經過各個算法處理后的圖像質量指標的對比結果.在表2中,相比另外5種算法,本文算法在峰值信噪比、結構相似性、標準差和平均梯度上全面占據(jù)首位,優(yōu)勢十分明顯;在表3中,除了在峰值信噪比(PSNR)方面略低于CLAHE算法而排在第2,該算法在其他指標上仍然顯著優(yōu)于另外5種;在表4中,本文算法在峰值信噪比、結構相似性、標準差和平均梯度上所有結果均是最高值;該算法由于存在預處理和自適應補償?shù)冗^程,在運行時間上略高于CLAHE算法和MSR算法并與MSRCR算法基本持平,但在其他4個指標上明顯優(yōu)于以上3種算法,即能在較短的時間內達到圖像增強的目的,保證增強后的效果.

表2 圖5中各算法的客觀評價指標表Table 2 Objective evaluation indexes of algorithms in fig.5

表3 圖6中各算法的客觀評價指標表Table 3 Objective evaluation indexes of algorithms in fig.6

表4 圖7中各算法的客觀評價指標表Table 4 Objective evaluation indexes of algorithms in fig.7

綜上可得,本文算法在客觀評價上表現(xiàn)符合主觀評價的結果,證明了該算法的有效性.

3 總 結

本文提出了一種新的圖像增強算法GMSR-AcGW.首先將待增強圖像在RGB空間中利用雙伽馬函數(shù)來提高暗區(qū)域的對比度并抑制亮區(qū)域的過增強再轉換到Lab色彩空間;為了克服細節(jié)模糊和亮度較低的缺陷,該算法采用Gabor濾波替換經典MSR算法中的高斯濾波作為中心函數(shù)對亮度分量L進行卷積,然后利用雙曲正切域替換對數(shù)域以防止過增強,并引用了一個增益偏移算子來動態(tài)調整反射分量;最后針對增強后的圖像各色彩通道損失程度的不同,對圖像使用了自適應補償?shù)幕叶仁澜缢惴ū３至藞D像的色彩度.通過與另外五種不同類型算法的實驗,本文算法在主觀感受和客觀數(shù)據(jù)上優(yōu)勢較為明顯,具有較高的可靠性.其不足之處在于處理圖像中部分過高噪聲區(qū)域時效果不明顯,如圖7左上角部分.如何解決該問題也成為了下一步的研究方向.