于天河，李昱祚，蘭朝鳳

（哈爾濱理工大學(xué)電氣與電子工程學(xué)院，哈爾濱150080）

（?通信作者電子郵箱2045227040@qq.com）

0 引言

圖像增強(qiáng)技術(shù)在圖像研究領(lǐng)域一直占據(jù)了舉足輕重的作用，近年來(lái)，人們提出了許多有效的圖像增強(qiáng)方法，如小波變換法［1］等取得了顯著的增強(qiáng)效果［2-5］，但是這些增強(qiáng)方法因?yàn)閱渭兊匾霐?shù)學(xué)方法到圖像增強(qiáng)領(lǐng)域中，沒(méi)有考慮到人類的視覺(jué)感官特性，存在很嚴(yán)重的增強(qiáng)后表現(xiàn)結(jié)果失真、圖像輪廓模糊、色彩飽和度低的問(wèn)題。對(duì)于低照度圖像的增強(qiáng)處理往往分為兩個(gè)方面：物理模型法和非物理模型法。物理模型法中，一般是使用直方圖均衡化、色調(diào)映射以及Retinex等方法。直方圖均衡化可以明顯增加低照度圖像的對(duì)比度，但是增強(qiáng)結(jié)果總是存在著細(xì)節(jié)模糊、色彩失真等問(wèn)題。而Retinex方法是基于人眼視覺(jué)系統(tǒng)角度而提出的，該方法闡述了物體本身的色彩是表征物體本身的固有屬性，不會(huì)因?yàn)楣庹盏牟煌l(fā)生突變。Retinex算法把物體假設(shè)為由光照?qǐng)D像與反射圖像相乘得到，但是Retinex算法應(yīng)用于低照度圖像增強(qiáng)的操作往往需要對(duì)圖像RGB（Red，Green，Blue）色彩空間的三個(gè)分量進(jìn)行處理，容易在圖像增強(qiáng)過(guò)程中出現(xiàn)色彩失真以及過(guò)度增強(qiáng)的問(wèn)題。本文研究仿生彩色圖像增強(qiáng)方法［6］，該圖像增強(qiáng)方法具有較好的視覺(jué)效果，圖像的色彩得到了較好的保持，但是圖像中的邊界范圍存在著一定的模糊，導(dǎo)致圖像顯得輪廓模糊，同時(shí)圖像的色彩飽和度低。通過(guò)研究頂帽變換和底帽變換，發(fā)現(xiàn)了它們對(duì)于細(xì)節(jié)和背景的明暗提取功能效果十分明顯，于是在此基礎(chǔ)上，提出了一種頂帽和底帽變換相結(jié)合的仿生圖像增強(qiáng)算法。

1 三高斯和頂?shù)酌彼惴ɑ驹?/h2>

1.1 神經(jīng)元感受野三高斯模型

Rodieck曾提出過(guò)一種雙高斯差（Difference Of Gaussian，DOG）模型［7-8］，該模型準(zhǔn)確地描述了視網(wǎng)膜神經(jīng)節(jié)細(xì)胞感受野的輸入-輸出功能特性。以大小各異、同心重疊的圓形區(qū)來(lái)表現(xiàn)出神經(jīng)節(jié)細(xì)胞中的傳統(tǒng)感受野的中心區(qū)域和外周區(qū)域的分布情況。然而該模型忽略了傳統(tǒng)感受野的外部區(qū)域中還存在著大范圍的去抑制區(qū)域，研究學(xué)者L i在雙高斯模型的基礎(chǔ)上分析了其中的原因，并以此基礎(chǔ)上提出了三高斯模型［3-4］。在DOG模型的基礎(chǔ)上，通過(guò)添加第3個(gè)高斯核代表去抑制區(qū)。三高斯模型為：

其中：A1、A2、A3分別表示出中央、四周和邊緣三個(gè)范圍內(nèi)的興奮強(qiáng)度；σ1、σ2、σ3三個(gè)參數(shù)分別表示中央、四周和邊緣三個(gè)范圍內(nèi)的區(qū)域半徑。使用這一模型來(lái)處理圖像，不僅能很好地增強(qiáng)圖像的邊緣，同時(shí)還能高效提升暗光圖像中低空間頻率的成分，最終滿足傳遞亮度梯度緩慢變化信息的需要。三高斯模型在空間域上用Matlab仿真結(jié)果如圖1所示。三維圖體現(xiàn)了中央部分刺激興奮突出、四周部分抑制和邊緣部分興奮的特性。該模型用于暗光圖像的增強(qiáng)邊緣對(duì)比度方面有著顯著的效果。

圖1 三高斯模型的空間結(jié)構(gòu)Fig.1 Spatial structureof tri-Gaussian model

1.2 頂帽變換和底帽變換

頂帽變換是圖像分析處理中形態(tài)學(xué)變換的一種重要方法，能夠完成對(duì)大面積范圍內(nèi)單一較暗背景的提取，從而進(jìn)一步實(shí)現(xiàn)從背景中提取局部較亮區(qū)域的功能。而底帽變換的作用則恰恰相反［9-10］。頂帽變換和底帽變換分別定義為：

其中：I為原始圖像；I'為頂帽變換后圖像，I"為底帽變換后的圖像；B為結(jié)構(gòu)元素；I°B表示原始暗光圖像與結(jié)構(gòu)元素B進(jìn)行開(kāi)運(yùn)算最后得到的結(jié)果，即可以精細(xì)地得到背景圖像；I?B表示原始暗光圖像與結(jié)構(gòu)元素B進(jìn)行閉運(yùn)算得到的結(jié)果。開(kāi)運(yùn)算和閉運(yùn)算的過(guò)程如圖2所示。

B的選取對(duì)圖像增強(qiáng)工作產(chǎn)生很重要的作用。頂帽變換具有類似高通濾波的作用，可以突顯出圖像細(xì)節(jié)部分；而底帽變換則具備低通濾波的特色，突出圖像相連接目標(biāo)部位間的邊界。將頂?shù)酌弊儞Q之間這種特性進(jìn)行相結(jié)合用于暗光圖像增強(qiáng)研究中，可以將暗光圖像的目標(biāo)與背景得到一定的拉伸，突顯出目標(biāo)與細(xì)節(jié)部位的信息。

結(jié)構(gòu)元素B有不同的形狀，有圓盤形、六邊形等，構(gòu)造不同的結(jié)構(gòu)元素，得到的暗光增強(qiáng)圖像的效果也不同。結(jié)構(gòu)元素形狀b與膨脹運(yùn)算bn如式（4）所示：

圖2 開(kāi)運(yùn)算與閉運(yùn)算Fig.2 Open operation and closeoperation

對(duì)于圓盤形結(jié)構(gòu)元素，其具有各向?qū)ΨQ性，尤其3×3結(jié)構(gòu)元素的結(jié)構(gòu)形狀，運(yùn)算速度快，檢測(cè)結(jié)果精細(xì)，本文選擇以該結(jié)構(gòu)為實(shí)驗(yàn)選擇對(duì)象。對(duì)于B的尺寸的選擇在圖像增強(qiáng)結(jié)果起到更重要作用：大尺寸的結(jié)構(gòu)元素圖像去噪能力強(qiáng)，缺點(diǎn)是圖像邊緣顯得較粗；而小尺寸的結(jié)構(gòu)元素能較好地檢測(cè)圖像的邊緣細(xì)節(jié)，缺點(diǎn)是去噪能力弱。

2 頂?shù)酌钡姆律鷪D像增強(qiáng)算法

2.1 暗光條件下的彩色圖像增強(qiáng)算法

本文改進(jìn)的仿生圖像增強(qiáng)算法，主要包括神經(jīng)元感受野三高斯模型和頂?shù)酌弊儞Q對(duì)低照度圖像細(xì)節(jié)和背景較亮部分的提取。由于彩色圖像RGB（Red，Green，Blue）顏色空間具有很高的色彩相關(guān)性，沒(méi)有將RGB三個(gè)色彩通道進(jìn)行各通道的單一處理，而是將RGB色彩空間轉(zhuǎn)化為HSV（Hue，Saturation，Value）空間［11］，得到三個(gè)分量，分別是亮度分量V、色調(diào)分量H和飽和度分量S，然后對(duì)后兩個(gè)分量保持不變，對(duì)所要研究的V分量進(jìn)行處理，利用式（5）～（7）完成色彩空間之間的轉(zhuǎn)化：

式中：R、G、B分別代表原始暗光彩色圖像的空間的像素值，max｛R，G，B｝表示R、G、B中最大的值，min｛R，G，B｝表示R、G、B中最小的值。

2.2 人眼視覺(jué)對(duì)光照強(qiáng)度的限制

生物學(xué)研究表明，人眼視覺(jué)對(duì)亮度的反應(yīng)具有對(duì)數(shù)非線性這一特殊性［12］。人眼的視覺(jué)掩蓋效應(yīng)是一種局部效應(yīng)，受背景照度、紋理復(fù)雜性和信號(hào)頻率的影響，具有不同局部特性的區(qū)域，在保證不被人眼察覺(jué)的前提下，允許改變的信號(hào)強(qiáng)度不同。人眼的視覺(jué)特性是一個(gè)多信道（Multichannel）模型?；蛘哒f(shuō)，它具有多頻信道分解特性。例如，對(duì)人眼給定一個(gè)較長(zhǎng)時(shí)間的光刺激后，其刺激靈敏度對(duì)同樣的刺激就降低，但對(duì)其他不同頻率段的刺激靈敏度卻不受影響。人眼會(huì)根據(jù)周圍環(huán)境中光照強(qiáng)度的變化做出調(diào)整，不能同時(shí)在一個(gè)范圍內(nèi)工作的，當(dāng)人眼在當(dāng)前的平均亮度下適應(yīng)后，視覺(jué)的感受范圍會(huì)有限制。比如在一個(gè)黑暗的屋子里中點(diǎn)亮一盞燈，在該環(huán)境下比再點(diǎn)亮十盞燈對(duì)人眼的刺激還大，所以在圖像中，平均亮度大的區(qū)域范圍內(nèi)的灰度誤差，人眼的視覺(jué)感受并不敏感。人眼會(huì)在當(dāng)前的這一光照強(qiáng)度上適應(yīng)該強(qiáng)度的主觀亮度的范圍。但是在這種光照強(qiáng)度下，人眼對(duì)該范圍具有限制作用，使其在一定的亮度范圍以下，導(dǎo)致對(duì)所有的刺激亮度都用不可辨別的黑色來(lái)理解［7-8］。

2.3 全局亮度對(duì)數(shù)變換

暗光彩色圖像整體的暗度較低，圖像中的物體大部分被陰暗遮蔽，人眼主觀無(wú)法看出物體的輪廓。對(duì)亮度分量V進(jìn)行對(duì)數(shù)變換，可以滿足人眼視覺(jué)對(duì)光照強(qiáng)度的主觀感受，同時(shí)完成對(duì)圖像明暗的調(diào)整、動(dòng)態(tài)范圍的壓縮。其公式如下：

其中：I(x，y)為亮度分量V的值，M為圖像動(dòng)態(tài)范圍最大值256，Ig(x，y)是對(duì)該亮度分量進(jìn)行歸一化處理。

2.4 局部邊緣的對(duì)比度增強(qiáng)

全局處理圖像的亮度后，圖像的對(duì)比度仍然很差，圖像邊緣輪廓不清。再由當(dāng)前的像素亮度值與其鄰域范圍的平均亮度的關(guān)系，進(jìn)行圖像的局部的對(duì)比度增強(qiáng)。公式如下：

其中：Ig(x，y)為圖像全局對(duì)數(shù)變換；Ib(x，y)為當(dāng)前像素點(diǎn)的鄰域平均亮度，由三高斯模型雙邊濾波獲得；K為比例系數(shù)。

雙邊濾波具有很強(qiáng)的對(duì)圖像邊緣保持的性能，同時(shí)還有去噪的能力，該方法是空間權(quán)值和相似權(quán)值都考慮的一種非線性濾波方法。由于考慮了像素點(diǎn)的數(shù)值及其位置上兩方面的原因：像素間的歐氏距離和相似程度，選擇三高斯模型下的雙邊濾波，可以充分體現(xiàn)出物體邊緣部位的信息情況。該方法下獲得圖像的平均亮度公式如下：

式中：GR與GV為空間和數(shù)值兩方面相似的高斯核函數(shù)。

2.5 色彩恢復(fù)

暗光彩色圖像RGB轉(zhuǎn)化HSV色彩空間后對(duì)V亮度分量處理后，經(jīng)過(guò)全局亮度增強(qiáng)和局部亮度增強(qiáng)后，圖像的顏色沒(méi)有復(fù)原。顏色復(fù)元的方法如式（14）所示：

其中：Ij（x，y）分別對(duì)應(yīng)原始暗光圖像中的r、g、b三原色分量；Sj（x，y）是增強(qiáng)后彩色圖像對(duì)應(yīng)的r、g、b三原色分量。

本文的研究算法整個(gè)步驟過(guò)程分為以下3個(gè)部分：

步驟1 提取暗光圖像中HSV空間中的亮度分量V，進(jìn)行全局亮度的對(duì)數(shù)變換，來(lái)滿足視覺(jué)特性的主觀感受，將暗光圖像中低照度區(qū)域進(jìn)行亮度提升。

步驟2 利用視網(wǎng)膜神經(jīng)元的感受野三高斯模型的雙邊濾波處理，獲取暗光圖像中各個(gè)像素點(diǎn)的鄰域平均亮度。再由當(dāng)前圖像中每個(gè)像素值與其鄰域的平均亮度之間的線性關(guān)系，來(lái)實(shí)現(xiàn)步驟1中對(duì)整體亮度增強(qiáng)圖像的局部對(duì)比度增強(qiáng)。

步驟3 前兩部分的處理使暗光圖像得到了較好的增強(qiáng)效果，但是圖像的背景明暗度較差，色彩飽和度低。利用頂帽底帽變換進(jìn)一步實(shí)現(xiàn)從前圖像背景中提取局部較亮部分的功能，使用該方法再對(duì)圖像進(jìn)行明暗提取和降噪，最后得到本文算法最終的暗光增強(qiáng)圖像。

本文的整個(gè)算法流程如圖3。

圖3 本文算法流程Fig.3 Flowchart of theproposed algorithm

3 實(shí)驗(yàn)結(jié)果與分析

經(jīng)過(guò)大量的仿真實(shí)驗(yàn)，選取了4組實(shí)驗(yàn)圖片作對(duì)比，選取的照片是暗光條件下拍攝的。對(duì)比的實(shí)驗(yàn)方法分別是直方圖均 衡［13］和 Retinex 算 法 中 的 SSR（Single-Scale Retinx）和MSRCR（Multi-Scale Retinex with Color Restoration）［14-16］三種方法。4組實(shí)驗(yàn)中所采用的原圖像為700×500、950×700、400×700、600×900彩色的jpg格式。圖4為實(shí)驗(yàn)原圖像。圖5～8為實(shí)驗(yàn)結(jié)果對(duì)比。

3.1 主觀分析

從圖4～8原圖像和各種增強(qiáng)方法增強(qiáng)效果可以看出，圖4中原圖像整體偏暗，圖中物體輪廓不清，局部細(xì)節(jié)無(wú)法觀察到，圖像色彩飽和度低，視覺(jué)效果較差。直方圖均衡提高了圖像的整體對(duì)比度，但是圖像的細(xì)節(jié)部分沒(méi)有表現(xiàn)出來(lái)，圖像存在較大噪聲、顏色失真、圖像飽和度差。SSR算法提高了圖像亮度，但是圖像整體偏白，存在過(guò)度增強(qiáng)的現(xiàn)象，主觀視覺(jué)效果差，細(xì)節(jié)層次不分明，圖像色彩失真。MSRCR算法對(duì)增強(qiáng)圖像的色彩有了較好的保持，圖像視覺(jué)效果較好，但圖片飽和度低，導(dǎo)致圖像景深變差，光源方向感消失，圖像看起來(lái)不自然，感知效果比較差。本文算法增強(qiáng)的低照度圖像，圖像對(duì)比度較高，樹葉、貓、椅子等景物的細(xì)節(jié)清楚，輪廓分明，色彩豐富，圖像更生動(dòng)，清晰度更高。本文算法得到的低照度增強(qiáng)圖像與人眼所能感受到的實(shí)景更接近，實(shí)物的細(xì)節(jié)更突出，圖片更清楚，圖像生動(dòng)色彩豐富，圖片的質(zhì)量更好。

由灰度直方圖可以清晰地看出，直方圖均衡算法對(duì)圖像灰度拉伸比較明顯，灰度分布覆蓋0～255范圍，可以使圖像灰度級(jí)的概率密度分布近似于均勻分布，從而提高圖像整體對(duì)比度并增強(qiáng)細(xì)節(jié)。SSR、MSRCR算法將灰度值較低的像素增強(qiáng)，增強(qiáng)之后灰度值變大，使得圖像低灰度的像素?cái)?shù)量變少。從本文算法的直方圖可以看出，對(duì)灰度拉伸比較明顯，原直方圖中的三個(gè)峰保留明顯，對(duì)一些灰度的信息保留較好。

圖4 原圖像及其直方圖Fig.4 Original imagesand their histograms

圖5 植物的實(shí)驗(yàn)效果對(duì)比Fig.5 Comparison of experimental results of plant

圖6 貓的實(shí)驗(yàn)效果對(duì)比Fig.6 Comparison of experimental results of cat

3.2 客觀評(píng)價(jià)

為了更好地客觀評(píng)價(jià)本文低照度圖像增強(qiáng)算法的有效性，選用亮度均值、對(duì)比度提升指數(shù)、峰值信噪比（Peak Signalto-Noise Ratio，PSNR）3個(gè)指標(biāo)［17］來(lái)作為本次的評(píng)價(jià)標(biāo)準(zhǔn)。本文的亮度均值指標(biāo)定義為將RGB圖像變換到HIS色彩空間，對(duì)其中的亮度分量I進(jìn)行取均值的操作。

1）對(duì)比度提升指數(shù)的定義。

將圖像分為3×3的圖像塊，C表示為全部的3×3圖像塊對(duì)比度的均值，圖像塊對(duì)比度定義為：

式中：max為圖像塊灰度值的最大值；min為圖像塊灰度值的最小值。式（15）中original和proposed符號(hào)分別表示原始低照度圖像與其增強(qiáng)后的圖像。

2）基于像素差異的評(píng)價(jià)標(biāo)準(zhǔn)。

MSE（Mean Squared Error）表示增強(qiáng)的低照度圖像X與輸入的原始低照度圖像Y的均方誤差，MSE的計(jì)算見(jiàn)式（17），其中H和W分別表示為圖像中的高和寬。峰值信噪比（PSNR）是由MSE計(jì)算而來(lái)，用來(lái)一個(gè)衡量圖像失真或是噪聲水平，PSNR越大，表示圖像失真和噪聲越小。PSNR的計(jì)算見(jiàn)式（18）。PSNR指標(biāo)是最普遍使用的評(píng)鑒畫質(zhì)的一種客觀量測(cè)方法。

表1是原始圖像和4種方法增強(qiáng)處理后圖像性能的客觀評(píng)價(jià)標(biāo)準(zhǔn)。

圖7 河水的實(shí)驗(yàn)效果對(duì)比Fig.7 Comparison of experimental resultsof river

圖8 游樂(lè)場(chǎng)的實(shí)驗(yàn)效果對(duì)比Fig.8 Comparison of experimental results of playground

表1 實(shí)驗(yàn)數(shù)據(jù)比較Tab.1 Experimental data comparison

從亮度均值角度來(lái)看，4種方法對(duì)原始低照度圖像都有顯著的增強(qiáng)效果，提升了圖像的亮度，本文算法亮度均值數(shù)值上低于其他增強(qiáng)算法。

從對(duì)比度提升指數(shù)方面來(lái)看，直方圖均衡化和本文算法的對(duì)比度提升指數(shù)最大，但是直方圖均衡直觀反映的圖像效果并不好，不適合暗光的增強(qiáng)效果，因?yàn)樵撍惴ú](méi)有從物體成像的機(jī)制和人眼的視覺(jué)特性去考慮，而本文算法的對(duì)比度提升指數(shù)比起SSR和MSRCR算法，其數(shù)值較高，有良好的對(duì)比度增強(qiáng)效果。

從峰值信噪比PSNR指標(biāo)來(lái)看，本文的數(shù)值較大，圖像的失真和噪聲相比其他3種算法來(lái)說(shuō)較小。綜上對(duì)暗光增強(qiáng)的主觀評(píng)價(jià)和對(duì)4組實(shí)驗(yàn)中的數(shù)據(jù)客觀對(duì)比來(lái)說(shuō)，本文算法優(yōu)于其他幾類熱門的圖像增強(qiáng)方法。

4 結(jié)語(yǔ)

低照度圖像存在對(duì)比度低，圖像細(xì)節(jié)模糊，色彩飽和度低的問(wèn)題，本文提出了頂?shù)酌弊儞Q的仿生圖像增強(qiáng)算法有效地改良了這些問(wèn)題。前人使用神經(jīng)元感受野三高斯模型有效提升了低照度圖像的局部對(duì)比度，但是實(shí)驗(yàn)發(fā)現(xiàn)增強(qiáng)的圖像存在著過(guò)增強(qiáng)現(xiàn)象以及圖像色彩飽和度低的問(wèn)題。而本文引入了頂?shù)酌弊儞Q相結(jié)合的方法改進(jìn)圖像的視覺(jué)效果。該方法提取圖像的光照背景并且解決了圖像景深的問(wèn)題，使改進(jìn)后的仿生圖像方法增強(qiáng)的圖像對(duì)比度高，細(xì)節(jié)清楚，色彩飽和度高。

本文算法通過(guò)與直方圖均衡、SSR、MSRCR算法進(jìn)行實(shí)驗(yàn)對(duì)比，從客觀評(píng)價(jià)指標(biāo)亮度均值、對(duì)比度提升指數(shù)、峰值信噪比以及主觀視覺(jué)感受來(lái)評(píng)價(jià)實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果證明，本文的低照度圖像增強(qiáng)方法對(duì)圖像的對(duì)比度提升有更好的效果，圖像灰度范圍被拉伸，圖像輪廓更清楚，色彩更豐富，在實(shí)際應(yīng)用中有很強(qiáng)的研究?jī)r(jià)值。