于天河,李昱祚,蘭朝鳳
(哈爾濱理工大學(xué)電氣與電子工程學(xué)院,哈爾濱150080)
(?通信作者電子郵箱2045227040@qq.com)
圖像增強(qiáng)技術(shù)在圖像研究領(lǐng)域一直占據(jù)了舉足輕重的作用,近年來(lái),人們提出了許多有效的圖像增強(qiáng)方法,如小波變換法[1]等取得了顯著的增強(qiáng)效果[2-5],但是這些增強(qiáng)方法因?yàn)閱渭兊匾霐?shù)學(xué)方法到圖像增強(qiáng)領(lǐng)域中,沒(méi)有考慮到人類的視覺(jué)感官特性,存在很嚴(yán)重的增強(qiáng)后表現(xiàn)結(jié)果失真、圖像輪廓模糊、色彩飽和度低的問(wèn)題。對(duì)于低照度圖像的增強(qiáng)處理往往分為兩個(gè)方面:物理模型法和非物理模型法。物理模型法中,一般是使用直方圖均衡化、色調(diào)映射以及Retinex等方法。直方圖均衡化可以明顯增加低照度圖像的對(duì)比度,但是增強(qiáng)結(jié)果總是存在著細(xì)節(jié)模糊、色彩失真等問(wèn)題。而Retinex方法是基于人眼視覺(jué)系統(tǒng)角度而提出的,該方法闡述了物體本身的色彩是表征物體本身的固有屬性,不會(huì)因?yàn)楣庹盏牟煌l(fā)生突變。Retinex算法把物體假設(shè)為由光照?qǐng)D像與反射圖像相乘得到,但是Retinex算法應(yīng)用于低照度圖像增強(qiáng)的操作往往需要對(duì)圖像RGB(Red,Green,Blue)色彩空間的三個(gè)分量進(jìn)行處理,容易在圖像增強(qiáng)過(guò)程中出現(xiàn)色彩失真以及過(guò)度增強(qiáng)的問(wèn)題。本文研究仿生彩色圖像增強(qiáng)方法[6],該圖像增強(qiáng)方法具有較好的視覺(jué)效果,圖像的色彩得到了較好的保持,但是圖像中的邊界范圍存在著一定的模糊,導(dǎo)致圖像顯得輪廓模糊,同時(shí)圖像的色彩飽和度低。通過(guò)研究頂帽變換和底帽變換,發(fā)現(xiàn)了它們對(duì)于細(xì)節(jié)和背景的明暗提取功能效果十分明顯,于是在此基礎(chǔ)上,提出了一種頂帽和底帽變換相結(jié)合的仿生圖像增強(qiáng)算法。
Rodieck曾提出過(guò)一種雙高斯差(Difference Of Gaussian,DOG)模型[7-8],該模型準(zhǔn)確地描述了視網(wǎng)膜神經(jīng)節(jié)細(xì)胞感受野的輸入-輸出功能特性。以大小各異、同心重疊的圓形區(qū)來(lái)表現(xiàn)出神經(jīng)節(jié)細(xì)胞中的傳統(tǒng)感受野的中心區(qū)域和外周區(qū)域的分布情況。然而該模型忽略了傳統(tǒng)感受野的外部區(qū)域中還存在著大范圍的去抑制區(qū)域,研究學(xué)者L i在雙高斯模型的基礎(chǔ)上分析了其中的原因,并以此基礎(chǔ)上提出了三高斯模型[3-4]。在DOG模型的基礎(chǔ)上,通過(guò)添加第3個(gè)高斯核代表去抑制區(qū)。三高斯模型為:
其中:A1、A2、A3分別表示出中央、四周和邊緣三個(gè)范圍內(nèi)的興奮強(qiáng)度;σ1、σ2、σ3三個(gè)參數(shù)分別表示中央、四周和邊緣三個(gè)范圍內(nèi)的區(qū)域半徑。使用這一模型來(lái)處理圖像,不僅能很好地增強(qiáng)圖像的邊緣,同時(shí)還能高效提升暗光圖像中低空間頻率的成分,最終滿足傳遞亮度梯度緩慢變化信息的需要。三高斯模型在空間域上用Matlab仿真結(jié)果如圖1所示。三維圖體現(xiàn)了中央部分刺激興奮突出、四周部分抑制和邊緣部分興奮的特性。該模型用于暗光圖像的增強(qiáng)邊緣對(duì)比度方面有著顯著的效果。
圖1 三高斯模型的空間結(jié)構(gòu)Fig.1 Spatial structureof tri-Gaussian model
頂帽變換是圖像分析處理中形態(tài)學(xué)變換的一種重要方法,能夠完成對(duì)大面積范圍內(nèi)單一較暗背景的提取,從而進(jìn)一步實(shí)現(xiàn)從背景中提取局部較亮區(qū)域的功能。而底帽變換的作用則恰恰相反[9-10]。頂帽變換和底帽變換分別定義為:
其中:I為原始圖像;I'為頂帽變換后圖像,I"為底帽變換后的圖像;B為結(jié)構(gòu)元素;I°B表示原始暗光圖像與結(jié)構(gòu)元素B進(jìn)行開(kāi)運(yùn)算最后得到的結(jié)果,即可以精細(xì)地得到背景圖像;I?B表示原始暗光圖像與結(jié)構(gòu)元素B進(jìn)行閉運(yùn)算得到的結(jié)果。開(kāi)運(yùn)算和閉運(yùn)算的過(guò)程如圖2所示。
B的選取對(duì)圖像增強(qiáng)工作產(chǎn)生很重要的作用。頂帽變換具有類似高通濾波的作用,可以突顯出圖像細(xì)節(jié)部分;而底帽變換則具備低通濾波的特色,突出圖像相連接目標(biāo)部位間的邊界。將頂?shù)酌弊儞Q之間這種特性進(jìn)行相結(jié)合用于暗光圖像增強(qiáng)研究中,可以將暗光圖像的目標(biāo)與背景得到一定的拉伸,突顯出目標(biāo)與細(xì)節(jié)部位的信息。
結(jié)構(gòu)元素B有不同的形狀,有圓盤形、六邊形等,構(gòu)造不同的結(jié)構(gòu)元素,得到的暗光增強(qiáng)圖像的效果也不同。結(jié)構(gòu)元素形狀b與膨脹運(yùn)算bn如式(4)所示:
圖2 開(kāi)運(yùn)算與閉運(yùn)算Fig.2 Open operation and closeoperation
對(duì)于圓盤形結(jié)構(gòu)元素,其具有各向?qū)ΨQ性,尤其3×3結(jié)構(gòu)元素的結(jié)構(gòu)形狀,運(yùn)算速度快,檢測(cè)結(jié)果精細(xì),本文選擇以該結(jié)構(gòu)為實(shí)驗(yàn)選擇對(duì)象。對(duì)于B的尺寸的選擇在圖像增強(qiáng)結(jié)果起到更重要作用:大尺寸的結(jié)構(gòu)元素圖像去噪能力強(qiáng),缺點(diǎn)是圖像邊緣顯得較粗;而小尺寸的結(jié)構(gòu)元素能較好地檢測(cè)圖像的邊緣細(xì)節(jié),缺點(diǎn)是去噪能力弱。
本文改進(jìn)的仿生圖像增強(qiáng)算法,主要包括神經(jīng)元感受野三高斯模型和頂?shù)酌弊儞Q對(duì)低照度圖像細(xì)節(jié)和背景較亮部分的提取。由于彩色圖像RGB(Red,Green,Blue)顏色空間具有很高的色彩相關(guān)性,沒(méi)有將RGB三個(gè)色彩通道進(jìn)行各通道的單一處理,而是將RGB色彩空間轉(zhuǎn)化為HSV(Hue,Saturation,Value)空間[11],得到三個(gè)分量,分別是亮度分量V、色調(diào)分量H和飽和度分量S,然后對(duì)后兩個(gè)分量保持不變,對(duì)所要研究的V分量進(jìn)行處理,利用式(5)~(7)完成色彩空間之間的轉(zhuǎn)化:
式中:R、G、B分別代表原始暗光彩色圖像的空間的像素值,max{R,G,B}表示R、G、B中最大的值,min{R,G,B}表示R、G、B中最小的值。
生物學(xué)研究表明,人眼視覺(jué)對(duì)亮度的反應(yīng)具有對(duì)數(shù)非線性這一特殊性[12]。人眼的視覺(jué)掩蓋效應(yīng)是一種局部效應(yīng),受背景照度、紋理復(fù)雜性和信號(hào)頻率的影響,具有不同局部特性的區(qū)域,在保證不被人眼察覺(jué)的前提下,允許改變的信號(hào)強(qiáng)度不同。人眼的視覺(jué)特性是一個(gè)多信道(Multichannel)模型?;蛘哒f(shuō),它具有多頻信道分解特性。例如,對(duì)人眼給定一個(gè)較長(zhǎng)時(shí)間的光刺激后,其刺激靈敏度對(duì)同樣的刺激就降低,但對(duì)其他不同頻率段的刺激靈敏度卻不受影響。人眼會(huì)根據(jù)周圍環(huán)境中光照強(qiáng)度的變化做出調(diào)整,不能同時(shí)在一個(gè)范圍內(nèi)工作的,當(dāng)人眼在當(dāng)前的平均亮度下適應(yīng)后,視覺(jué)的感受范圍會(huì)有限制。比如在一個(gè)黑暗的屋子里中點(diǎn)亮一盞燈,在該環(huán)境下比再點(diǎn)亮十盞燈對(duì)人眼的刺激還大,所以在圖像中,平均亮度大的區(qū)域范圍內(nèi)的灰度誤差,人眼的視覺(jué)感受并不敏感。人眼會(huì)在當(dāng)前的這一光照強(qiáng)度上適應(yīng)該強(qiáng)度的主觀亮度的范圍。但是在這種光照強(qiáng)度下,人眼對(duì)該范圍具有限制作用,使其在一定的亮度范圍以下,導(dǎo)致對(duì)所有的刺激亮度都用不可辨別的黑色來(lái)理解[7-8]。
暗光彩色圖像整體的暗度較低,圖像中的物體大部分被陰暗遮蔽,人眼主觀無(wú)法看出物體的輪廓。對(duì)亮度分量V進(jìn)行對(duì)數(shù)變換,可以滿足人眼視覺(jué)對(duì)光照強(qiáng)度的主觀感受,同時(shí)完成對(duì)圖像明暗的調(diào)整、動(dòng)態(tài)范圍的壓縮。其公式如下:
其中:I(x,y)為亮度分量V的值,M為圖像動(dòng)態(tài)范圍最大值256,Ig(x,y)是對(duì)該亮度分量進(jìn)行歸一化處理。
全局處理圖像的亮度后,圖像的對(duì)比度仍然很差,圖像邊緣輪廓不清。再由當(dāng)前的像素亮度值與其鄰域范圍的平均亮度的關(guān)系,進(jìn)行圖像的局部的對(duì)比度增強(qiáng)。公式如下:
其中:Ig(x,y)為圖像全局對(duì)數(shù)變換;Ib(x,y)為當(dāng)前像素點(diǎn)的鄰域平均亮度,由三高斯模型雙邊濾波獲得;K為比例系數(shù)。
雙邊濾波具有很強(qiáng)的對(duì)圖像邊緣保持的性能,同時(shí)還有去噪的能力,該方法是空間權(quán)值和相似權(quán)值都考慮的一種非線性濾波方法。由于考慮了像素點(diǎn)的數(shù)值及其位置上兩方面的原因:像素間的歐氏距離和相似程度,選擇三高斯模型下的雙邊濾波,可以充分體現(xiàn)出物體邊緣部位的信息情況。該方法下獲得圖像的平均亮度公式如下:
式中:GR與GV為空間和數(shù)值兩方面相似的高斯核函數(shù)。
暗光彩色圖像RGB轉(zhuǎn)化HSV色彩空間后對(duì)V亮度分量處理后,經(jīng)過(guò)全局亮度增強(qiáng)和局部亮度增強(qiáng)后,圖像的顏色沒(méi)有復(fù)原。顏色復(fù)元的方法如式(14)所示:
其中:Ij(x,y)分別對(duì)應(yīng)原始暗光圖像中的r、g、b三原色分量;Sj(x,y)是增強(qiáng)后彩色圖像對(duì)應(yīng)的r、g、b三原色分量。
本文的研究算法整個(gè)步驟過(guò)程分為以下3個(gè)部分:
步驟1 提取暗光圖像中HSV空間中的亮度分量V,進(jìn)行全局亮度的對(duì)數(shù)變換,來(lái)滿足視覺(jué)特性的主觀感受,將暗光圖像中低照度區(qū)域進(jìn)行亮度提升。
步驟2 利用視網(wǎng)膜神經(jīng)元的感受野三高斯模型的雙邊濾波處理,獲取暗光圖像中各個(gè)像素點(diǎn)的鄰域平均亮度。再由當(dāng)前圖像中每個(gè)像素值與其鄰域的平均亮度之間的線性關(guān)系,來(lái)實(shí)現(xiàn)步驟1中對(duì)整體亮度增強(qiáng)圖像的局部對(duì)比度增強(qiáng)。
步驟3 前兩部分的處理使暗光圖像得到了較好的增強(qiáng)效果,但是圖像的背景明暗度較差,色彩飽和度低。利用頂帽底帽變換進(jìn)一步實(shí)現(xiàn)從前圖像背景中提取局部較亮部分的功能,使用該方法再對(duì)圖像進(jìn)行明暗提取和降噪,最后得到本文算法最終的暗光增強(qiáng)圖像。
本文的整個(gè)算法流程如圖3。
圖3 本文算法流程Fig.3 Flowchart of theproposed algorithm
經(jīng)過(guò)大量的仿真實(shí)驗(yàn),選取了4組實(shí)驗(yàn)圖片作對(duì)比,選取的照片是暗光條件下拍攝的。對(duì)比的實(shí)驗(yàn)方法分別是直方圖均 衡[13]和 Retinex 算 法 中 的 SSR(Single-Scale Retinx)和MSRCR(Multi-Scale Retinex with Color Restoration)[14-16]三種方法。4組實(shí)驗(yàn)中所采用的原圖像為700×500、950×700、400×700、600×900彩色的jpg格式。圖4為實(shí)驗(yàn)原圖像。圖5~8為實(shí)驗(yàn)結(jié)果對(duì)比。
從圖4~8原圖像和各種增強(qiáng)方法增強(qiáng)效果可以看出,圖4中原圖像整體偏暗,圖中物體輪廓不清,局部細(xì)節(jié)無(wú)法觀察到,圖像色彩飽和度低,視覺(jué)效果較差。直方圖均衡提高了圖像的整體對(duì)比度,但是圖像的細(xì)節(jié)部分沒(méi)有表現(xiàn)出來(lái),圖像存在較大噪聲、顏色失真、圖像飽和度差。SSR算法提高了圖像亮度,但是圖像整體偏白,存在過(guò)度增強(qiáng)的現(xiàn)象,主觀視覺(jué)效果差,細(xì)節(jié)層次不分明,圖像色彩失真。MSRCR算法對(duì)增強(qiáng)圖像的色彩有了較好的保持,圖像視覺(jué)效果較好,但圖片飽和度低,導(dǎo)致圖像景深變差,光源方向感消失,圖像看起來(lái)不自然,感知效果比較差。本文算法增強(qiáng)的低照度圖像,圖像對(duì)比度較高,樹葉、貓、椅子等景物的細(xì)節(jié)清楚,輪廓分明,色彩豐富,圖像更生動(dòng),清晰度更高。本文算法得到的低照度增強(qiáng)圖像與人眼所能感受到的實(shí)景更接近,實(shí)物的細(xì)節(jié)更突出,圖片更清楚,圖像生動(dòng)色彩豐富,圖片的質(zhì)量更好。
由灰度直方圖可以清晰地看出,直方圖均衡算法對(duì)圖像灰度拉伸比較明顯,灰度分布覆蓋0~255范圍,可以使圖像灰度級(jí)的概率密度分布近似于均勻分布,從而提高圖像整體對(duì)比度并增強(qiáng)細(xì)節(jié)。SSR、MSRCR算法將灰度值較低的像素增強(qiáng),增強(qiáng)之后灰度值變大,使得圖像低灰度的像素?cái)?shù)量變少。從本文算法的直方圖可以看出,對(duì)灰度拉伸比較明顯,原直方圖中的三個(gè)峰保留明顯,對(duì)一些灰度的信息保留較好。
圖4 原圖像及其直方圖Fig.4 Original imagesand their histograms
圖5 植物的實(shí)驗(yàn)效果對(duì)比Fig.5 Comparison of experimental results of plant
圖6 貓的實(shí)驗(yàn)效果對(duì)比Fig.6 Comparison of experimental results of cat
為了更好地客觀評(píng)價(jià)本文低照度圖像增強(qiáng)算法的有效性,選用亮度均值、對(duì)比度提升指數(shù)、峰值信噪比(Peak Signalto-Noise Ratio,PSNR)3個(gè)指標(biāo)[17]來(lái)作為本次的評(píng)價(jià)標(biāo)準(zhǔn)。本文的亮度均值指標(biāo)定義為將RGB圖像變換到HIS色彩空間,對(duì)其中的亮度分量I進(jìn)行取均值的操作。
1)對(duì)比度提升指數(shù)的定義。
將圖像分為3×3的圖像塊,C表示為全部的3×3圖像塊對(duì)比度的均值,圖像塊對(duì)比度定義為:
式中:max為圖像塊灰度值的最大值;min為圖像塊灰度值的最小值。式(15)中original和proposed符號(hào)分別表示原始低照度圖像與其增強(qiáng)后的圖像。
2)基于像素差異的評(píng)價(jià)標(biāo)準(zhǔn)。
MSE(Mean Squared Error)表示增強(qiáng)的低照度圖像X與輸入的原始低照度圖像Y的均方誤差,MSE的計(jì)算見(jiàn)式(17),其中H和W分別表示為圖像中的高和寬。峰值信噪比(PSNR)是由MSE計(jì)算而來(lái),用來(lái)一個(gè)衡量圖像失真或是噪聲水平,PSNR越大,表示圖像失真和噪聲越小。PSNR的計(jì)算見(jiàn)式(18)。PSNR指標(biāo)是最普遍使用的評(píng)鑒畫質(zhì)的一種客觀量測(cè)方法。
表1是原始圖像和4種方法增強(qiáng)處理后圖像性能的客觀評(píng)價(jià)標(biāo)準(zhǔn)。
圖7 河水的實(shí)驗(yàn)效果對(duì)比Fig.7 Comparison of experimental resultsof river
圖8 游樂(lè)場(chǎng)的實(shí)驗(yàn)效果對(duì)比Fig.8 Comparison of experimental results of playground
表1 實(shí)驗(yàn)數(shù)據(jù)比較Tab.1 Experimental data comparison
從亮度均值角度來(lái)看,4種方法對(duì)原始低照度圖像都有顯著的增強(qiáng)效果,提升了圖像的亮度,本文算法亮度均值數(shù)值上低于其他增強(qiáng)算法。
從對(duì)比度提升指數(shù)方面來(lái)看,直方圖均衡化和本文算法的對(duì)比度提升指數(shù)最大,但是直方圖均衡直觀反映的圖像效果并不好,不適合暗光的增強(qiáng)效果,因?yàn)樵撍惴ú](méi)有從物體成像的機(jī)制和人眼的視覺(jué)特性去考慮,而本文算法的對(duì)比度提升指數(shù)比起SSR和MSRCR算法,其數(shù)值較高,有良好的對(duì)比度增強(qiáng)效果。
從峰值信噪比PSNR指標(biāo)來(lái)看,本文的數(shù)值較大,圖像的失真和噪聲相比其他3種算法來(lái)說(shuō)較小。綜上對(duì)暗光增強(qiáng)的主觀評(píng)價(jià)和對(duì)4組實(shí)驗(yàn)中的數(shù)據(jù)客觀對(duì)比來(lái)說(shuō),本文算法優(yōu)于其他幾類熱門的圖像增強(qiáng)方法。
低照度圖像存在對(duì)比度低,圖像細(xì)節(jié)模糊,色彩飽和度低的問(wèn)題,本文提出了頂?shù)酌弊儞Q的仿生圖像增強(qiáng)算法有效地改良了這些問(wèn)題。前人使用神經(jīng)元感受野三高斯模型有效提升了低照度圖像的局部對(duì)比度,但是實(shí)驗(yàn)發(fā)現(xiàn)增強(qiáng)的圖像存在著過(guò)增強(qiáng)現(xiàn)象以及圖像色彩飽和度低的問(wèn)題。而本文引入了頂?shù)酌弊儞Q相結(jié)合的方法改進(jìn)圖像的視覺(jué)效果。該方法提取圖像的光照背景并且解決了圖像景深的問(wèn)題,使改進(jìn)后的仿生圖像方法增強(qiáng)的圖像對(duì)比度高,細(xì)節(jié)清楚,色彩飽和度高。
本文算法通過(guò)與直方圖均衡、SSR、MSRCR算法進(jìn)行實(shí)驗(yàn)對(duì)比,從客觀評(píng)價(jià)指標(biāo)亮度均值、對(duì)比度提升指數(shù)、峰值信噪比以及主觀視覺(jué)感受來(lái)評(píng)價(jià)實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果證明,本文的低照度圖像增強(qiáng)方法對(duì)圖像的對(duì)比度提升有更好的效果,圖像灰度范圍被拉伸,圖像輪廓更清楚,色彩更豐富,在實(shí)際應(yīng)用中有很強(qiáng)的研究?jī)r(jià)值。