徐子恒 何玉珠 康艷梅

(西安交通大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,西安 710049)

本文基于隨機(jī)共振原理和人腦感知物體色彩的基本生物物理過(guò)程,提出了一種低照度彩色圖像增強(qiáng)的可解釋算法.我們首先研究了電導(dǎo)基積分放電神經(jīng)元網(wǎng)絡(luò)中的隨機(jī)共振現(xiàn)象,揭示了放電閾值、突觸權(quán)重和集群規(guī)模對(duì)輸出響應(yīng)信噪比的影響,并識(shí)別出放電閾值是影響隨機(jī)共振效應(yīng)的關(guān)鍵參數(shù).然后,在結(jié)合彩色圖像視覺(jué)感知的生理過(guò)程的基礎(chǔ)上,給出了一種基于隨機(jī)放電神經(jīng)元網(wǎng)絡(luò)的彩色圖像增強(qiáng)算法,并以峰值信噪比(PSNR)和自然圖像質(zhì)量評(píng)估(NIQE)作為提取最優(yōu)增強(qiáng)圖像的度量指標(biāo).注意到待增強(qiáng)的圖像是非周期信號(hào),因此,為了優(yōu)化算法的性能,首次提出了一種基于亮度分布的分位數(shù)的閾值選取策略.數(shù)值實(shí)驗(yàn)結(jié)果表明,該算法的增強(qiáng)效果良好且性能穩(wěn)定,并可用于軍事探測(cè)和醫(yī)學(xué)圖像預(yù)處理等信號(hào)處理領(lǐng)域.

1 引言

圖像感知又稱為視覺(jué)感知或圖像對(duì)比度增強(qiáng),是圖像處理領(lǐng)域的重要研究課題,其應(yīng)用涉及軍事夜視、道路交通、視頻監(jiān)控、生物醫(yī)學(xué)等方面.常規(guī)的圖像增強(qiáng)方法或者基于“降噪”處理,例如直方圖均衡化方法[1]、自適應(yīng)濾波器的增強(qiáng)算法[2],或者基于反射光線對(duì)波長(zhǎng)的依賴性,例如基于Retinex理論的融合算法[3].然而,這些方法的生物學(xué)可解釋性還有待加強(qiáng).

一般來(lái)說(shuō),在線性系統(tǒng)或者近平衡系統(tǒng)中,系統(tǒng)響應(yīng)的信噪比總是噪聲強(qiáng)度的減函數(shù),此時(shí)噪聲的干擾只會(huì)產(chǎn)生負(fù)面作用,但在遠(yuǎn)離平衡的非線性系統(tǒng)例如隨機(jī)共振系統(tǒng),適量的噪聲卻具有放大弱信號(hào)的有益作用.所謂的隨機(jī)共振,是指在一定的非線性多穩(wěn)系統(tǒng)或可興奮系統(tǒng)中,由于能量轉(zhuǎn)換作用,適量的噪聲能夠最優(yōu)地放大微弱的輸入信號(hào),使得系統(tǒng)響應(yīng)的信噪比或譜放大因子隨噪聲強(qiáng)度的變化呈現(xiàn)出先增大后減小的類似于“共振”的反常規(guī)效應(yīng).該現(xiàn)象是意大利科學(xué)家為解釋古氣象學(xué)中冷氣候期和暖氣候期的周期性交替所提出[4],已在模型和實(shí)驗(yàn)方面得到了廣泛的例證和揭示[5].

隨機(jī)共振原理的一個(gè)重要應(yīng)用是圖像處理[6-10].就我們所知,文獻(xiàn)[6]是隨機(jī)共振原理在視覺(jué)感知和圖像增強(qiáng)中的最早應(yīng)用;隨后的典型研究包括隱藏目標(biāo)提取[11]、水印解碼[12]、受損視覺(jué)改進(jìn)[13]、腦機(jī)接口[14]以及圖像去霧[15]等.這些研究結(jié)合不同的應(yīng)用例證了噪聲在圖像增強(qiáng)與圖像恢復(fù)中產(chǎn)生的積極作用.特別地,基于隨機(jī)共振原理的圖像增強(qiáng)算法,不同于傳統(tǒng)的降噪方法,它不是通過(guò)抑制或消除噪聲而是通過(guò)利用噪聲來(lái)實(shí)現(xiàn)圖像的增強(qiáng).由于現(xiàn)有文獻(xiàn)中基于隨機(jī)共振原理的圖像增強(qiáng)算法大多缺乏算法實(shí)現(xiàn)的細(xì)節(jié),而且既沒(méi)能和視覺(jué)感知的基本過(guò)程相結(jié)合，也沒(méi)能與隨機(jī)共振的基本原理完全貼合，因而同樣缺乏可解釋性.

包括隨機(jī)共振現(xiàn)象在內(nèi)的大量研究表明,噪聲普遍存在于神經(jīng)系統(tǒng)并且在神經(jīng)信息的編碼和傳遞中能夠發(fā)揮積極作用[16-18].為了提出一種具有生物可解釋性的視覺(jué)感知算法,最近我們課題組在了解人腦視覺(jué)感知物體輪廓的基本生物物理過(guò)程[19,20]的基礎(chǔ)上,基于放電神經(jīng)元網(wǎng)絡(luò)中的隨機(jī)共振效應(yīng)提出了一種增強(qiáng)黑白圖像的視覺(jué)感知算法[21].為了得到更為一般的具有生物可解釋性的視覺(jué)感知算法,本文希望把該視覺(jué)感知算法加以推廣,以便得到適用于低亮度的彩色圖像增強(qiáng)的視覺(jué)感知算法.

本文分為五部分.第二部分,借助數(shù)值模擬研究放電神經(jīng)元網(wǎng)絡(luò)的隨機(jī)共振現(xiàn)象及其對(duì)模型參數(shù)的依賴性,以便為彩色圖像增強(qiáng)算法的設(shè)計(jì)提供理論指導(dǎo).第三部分,結(jié)合視覺(jué)感知的一般生理過(guò)程,給出適用于低亮度彩色圖像增強(qiáng)的隨機(jī)動(dòng)力系統(tǒng)算法.第四部分給出了相關(guān)的數(shù)值試驗(yàn)結(jié)果及進(jìn)一步的討論.最后是研究結(jié)論和展望.

2 積分放電神經(jīng)元網(wǎng)絡(luò)與隨機(jī)共振現(xiàn)象

考慮由N個(gè)突觸電導(dǎo)積分放電神經(jīng)元組成的神經(jīng)元網(wǎng)絡(luò)[22],每個(gè)神經(jīng)元模型的Langevin 控制方程為

其中Vi(t)表示第i個(gè)神經(jīng)元在時(shí)刻t的膜電位;Isyn,i(t)代表第i個(gè)神經(jīng)元在t時(shí)刻接收到的來(lái)自其他神經(jīng)元的電導(dǎo)突觸電流;sj(t)代表第j個(gè)神經(jīng)元的突觸離子通道門在時(shí)刻t的開(kāi)放比例,其中δ(·)表示狄拉克δ函數(shù);Iext(t)εcos(Ωt)+代表第i個(gè)神經(jīng)元接收到的含有皮層活動(dòng)噪聲的外部輸入電流,其中ξi(t) 是均值為零、方差為1 的高斯白噪聲,D是噪聲強(qiáng)度參數(shù).相關(guān)參數(shù)含義如下:在方程(1a)中,Cm代表膜電容,gl代表漏電導(dǎo),VL是漏電流,Vth是放電閾值電位;在方程(1b)中,gs代表突觸電導(dǎo),Esyn代表突觸反轉(zhuǎn)電位,wij表示突觸權(quán)重;在方程(1c)中,τl代表突觸時(shí)延,τd代表突觸時(shí)間常數(shù),tj,k代表第j個(gè)神經(jīng)元的第i個(gè)放電時(shí)刻.膜電位Vi(t)一旦到達(dá)閾值電位Vth,即刻釋放動(dòng)作電位,并且立即被重置到靜息電位Vre,并在短暫的不應(yīng)期τref之后重新按方程(1a)進(jìn)行演化.為了簡(jiǎn)便起見(jiàn),本文忽略了不應(yīng)期的影響即令τref0.設(shè)ti,k表示第i個(gè)神經(jīng)元的第k個(gè)放電時(shí)刻,則第i個(gè)神經(jīng)元以及神經(jīng)元網(wǎng)絡(luò)的輸出響應(yīng)可分別表示為

注意到模型(1)的隨機(jī)解可由Euler-Maruyama算法即

模擬得到.這里=Vi(tn),Δ=Vi(tn+1)-Vi(tn),Δtntn+1-tn,Isig(tn)εcos(Ωtn)是相干信號(hào)的離散形式,ri是標(biāo)準(zhǔn)正態(tài)分布的偽隨機(jī)數(shù).

圖1 給出了單個(gè)神經(jīng)元及神經(jīng)元種群放電行為的演化示例.圖1(a)是沒(méi)有外部電流時(shí)的膜電位變化圖,膜電位的初值為0,靜息電位設(shè)為Vre-0.3,可以觀察到在開(kāi)始放電后膜電位從0 迅速變?yōu)椤?.3,隨后便一直處在靜息電位不再產(chǎn)生變化.我們知道動(dòng)作電位是神經(jīng)元之間的基本通訊形式,然而,由圖1(b)可見(jiàn),當(dāng)電流輸入中僅有閾下的余弦信號(hào)時(shí),膜電位始終在閾下演化區(qū)域演化,不會(huì)產(chǎn)生動(dòng)作電位,此時(shí)由余弦信號(hào)所攜帶的激勵(lì)信息就無(wú)法傳遞給其他神經(jīng)元.當(dāng)輸入電流中既含閾下的余弦信號(hào)又含有適量噪聲時(shí),由于噪聲與信號(hào)之間的協(xié)作作用,膜電位能夠上穿閾值從而產(chǎn)生動(dòng)作電位,此時(shí)動(dòng)作電位序列既有一定的隨機(jī)性又有一定的相干性(如圖1(c)).顯然,圖1(c)及圖1(d)中單個(gè)神經(jīng)元所呈現(xiàn)出的噪聲增強(qiáng)的相干性在神經(jīng)元種群的柵格圖(圖1(e))中體現(xiàn)得更為明顯.這里的噪聲增強(qiáng)的相干性其實(shí)就是所謂的隨機(jī)共振現(xiàn)象,其典型特征是系統(tǒng)輸出響應(yīng)的信噪比是噪聲強(qiáng)度的非單調(diào)函數(shù),即信噪比隨噪聲強(qiáng)度的變化曲線會(huì)呈現(xiàn)出先增大后減小的單峰結(jié)構(gòu).除此之外,通過(guò)觀察圖1(e)發(fā)現(xiàn),神經(jīng)元集群的放電時(shí)間均集中在周期2π 的整數(shù)倍處,這正是隨機(jī)共振的另一特性.同時(shí),對(duì)應(yīng)于圖1(c),圖1(e)中神經(jīng)元較為集中的時(shí)刻也可以間接地反映出在此時(shí)神經(jīng)元膜電位較大.

圖1 模型(1)的時(shí)間歷程圖 (a)僅含漏電項(xiàng)的單個(gè)神經(jīng)元膜電位示意圖,Vre=-0.3 ;(b)無(wú)噪聲時(shí)單個(gè)神經(jīng)元的膜電位演化;(c)有噪聲時(shí)單個(gè)神經(jīng)元的膜電位演化;(d)有噪聲的單個(gè)神經(jīng)元的放電序列串;(e)有噪聲神經(jīng)元集群的放電格柵圖,其中實(shí)心點(diǎn)代表當(dāng)前時(shí)刻所對(duì)應(yīng)的神經(jīng)元有動(dòng)作電位產(chǎn)生.圖(b)至圖(e)參數(shù):Vth=0.3 ,Vre=0,gl=gs=1,Cm=1 ,Esyn=0,ε=0.1,Ω=1,τs=1,τd=0.5,N=50,t=100;(b) D=0;(c),(e)D=0.025Fig.1.The evolution diagram of model (1):(a)Single neuron’s potential only with leaky term,Vre=-0.3 ;(b) single neuron’s membrane potential evolution without noise;(c)single Neuron’s membrane potential evolution with noise;(d) single neuron’s spike train with noise;(e) raster plot of the network where every node denotes a spike at a corresponding time and neuron.Parameters from picture (b) to(e) are set as Vth=0.3 ,Vre=0,gl=gs=1,Cm=1,Esyn=0,ε=0.1,Ω=1,τs=1 ,τd=0.5,N=50,t=100;(b) D=0;(c),(e) D=0.025 .

根據(jù)文獻(xiàn)[16],可用信噪比刻畫輸出響應(yīng)的相干程度,其定義為

其中S(ω)是所考慮的神經(jīng)元網(wǎng)絡(luò)的輸出響應(yīng)y(t)的平均功率譜密度,S(Ω)是信號(hào)成分的平均譜密度,N(Ω)表示噪聲在信號(hào)頻率ω=Ω處的平均譜密度.圖2 給出了神經(jīng)元集群輸出響應(yīng)的信噪比隨噪聲強(qiáng)度D、閾值Vth及權(quán)重w的變化情況.由圖2(a)可知,該集群響應(yīng)的信噪比總體上是先隨噪聲強(qiáng)度的增加而增加后隨噪聲強(qiáng)度的變化而減小,這種非單調(diào)變化趨勢(shì)恰好說(shuō)明了模型(1)在突觸噪聲和弱余弦信號(hào)的驅(qū)動(dòng)下發(fā)生了隨機(jī)共振現(xiàn)象.由圖2(a)和圖2(c)可以看出,突觸權(quán)重的改變對(duì)信噪比的影響并不明顯.由于本文選取的Isyn,i(t)為抑制性突觸電流[22],由此推測(cè),信噪比隨突觸權(quán)重的變化沒(méi)有明顯改變這一性質(zhì),應(yīng)該與突觸電流的抑制性有關(guān).由圖2(a)和圖2(b)還可看到,放電閾值的大小明顯影響著隨機(jī)共振曲線的峰高:放電閾值與弱信號(hào)的幅值越接近,隨機(jī)共振效應(yīng)越顯著.這一觀察告訴我們:在基于模型(1)的隨機(jī)共振效應(yīng)設(shè)計(jì)弱信號(hào),例如低照度彩色圖像的增強(qiáng)算法中,應(yīng)當(dāng)使圖像信號(hào)的某種幅值盡可能地靠近動(dòng)作電位發(fā)放的臨界閾值.

圖2 (a)信噪比隨閾值 Vth,突觸權(quán)重 w 變化圖;(b)不同閾值信噪比變化情況;(c)不同突觸權(quán)重信噪比變化情況.參數(shù)Vre=0,gl=gs=1,Cm=1,Esyn=0,ε=0.1,Ω=1,τs=1 ,τd=0.5,N=5,t=100Fig.2.(a) Signal-to-noise ratio for different threshold Vth and synaptic weight w;(b) signal-to-noise ratio for different threshold Vth;(c) signal-to-noise ratio for different synaptic weight w.Parameters are set as Vre=0,gl=gs=1,Cm=1,Esyn=0,ε=0.1,Ω=1,τs=1 ,τd=0.5,N=5,t=100 .

考慮到大腦對(duì)彩色圖像的感知要通過(guò)大量視錐神經(jīng)元的協(xié)同作用來(lái)實(shí)現(xiàn),從而在設(shè)計(jì)圖像增強(qiáng)算法時(shí),還應(yīng)當(dāng)選取適當(dāng)?shù)募阂?guī)模以便得到更好的圖像增強(qiáng)效果.為此,需要討論模型(1)的規(guī)模即神經(jīng)元個(gè)數(shù)對(duì)隨機(jī)共振效應(yīng)的影響.如圖3 所示,當(dāng)集群的規(guī)模小于50 時(shí),隨機(jī)共振效應(yīng)對(duì)規(guī)模較為敏感,即規(guī)模越大,隨機(jī)共振效果愈顯著,但當(dāng)集群的規(guī)模大于50 時(shí),隨機(jī)共振效應(yīng)對(duì)規(guī)模則不再敏感,例如當(dāng)集群規(guī)模由50 增大到100 時(shí),信噪比的峰值幾乎不再增加.通過(guò)以上現(xiàn)象可以推斷出,基于隨機(jī)共振原理的彩色圖像增強(qiáng)算法對(duì)于圖像的增強(qiáng)效果,應(yīng)該不會(huì)隨著神經(jīng)元集群規(guī)模的增長(zhǎng)而無(wú)限增長(zhǎng),因而在設(shè)計(jì)算法的時(shí)候,選取一個(gè)足夠大的集群規(guī)模即可.

圖3 信噪比隨神經(jīng)元集群尺寸變化圖,參數(shù)Vth=0.3,w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,ε=0.1,Ω=1,τs=1 ,τd=0.5,t=100Fig.3.Signal-to-noise ratio for different quantity of neurons with Vth=0.3,w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,ε=0.1,Ω=1,τs=1 ,τd=0.5,t=100.

3 基于隨機(jī)共振原理的彩色圖像增強(qiáng)算法

隨機(jī)共振的發(fā)生需要三個(gè)要素:一定的非線性條件、適量的噪聲和某種形式的弱信號(hào)輸入.神經(jīng)元本身就是非線性的信息處理單元,神經(jīng)系統(tǒng)內(nèi)部存在著各種噪聲源,而來(lái)自外界的低對(duì)照度圖像則是對(duì)應(yīng)的弱信號(hào)輸入.為了給出具有生物可解釋性的彩色圖像的感知算法,首先要解決的問(wèn)題是選擇合適的顏色空間,以便為隨機(jī)共振效應(yīng)的發(fā)生創(chuàng)造條件.需要解決的第二個(gè)問(wèn)題則是如何把基于模型(1)的圖像增強(qiáng)算法與人類視覺(jué)感知的基本生物物理過(guò)程相結(jié)合.如何找到合適的度量指標(biāo)以便挑選出最佳的目標(biāo)圖像,則是該算法設(shè)計(jì)中的另一個(gè)關(guān)鍵問(wèn)題.

3.1 色彩空間理論

計(jì)算機(jī)是以RGB 格式對(duì)彩色圖像進(jìn)行存儲(chǔ)的,即任意一種色彩都可由紅、綠、藍(lán)三原色的疊加而成.注意到在RGB 色彩空間中,笛卡爾坐標(biāo)系的原點(diǎn)對(duì)應(yīng)的是黑色,從而對(duì)于低亮度的彩色圖像,它的每個(gè)原色分量都有可能是低于閾值的弱信號(hào).因此,基于RGB 空間和隨機(jī)共振原理的感知算法設(shè)計(jì),往往需要對(duì)紅、綠、藍(lán)三個(gè)原色分量分別處理,而且還要考慮人眼對(duì)不同波長(zhǎng)光線的敏感性差異.顯然,這樣的算法設(shè)計(jì)過(guò)于復(fù)雜且容易造成圖像信息的丟失.

相較于RGB 顏色空間,HSV 色彩空間模型與人類視覺(jué)系統(tǒng)感知顏色的方式更加相似,其中HSV 分別代表hue(色調(diào)),saturation (飽和度),value (亮度).色調(diào)指圖像的顏色,因此調(diào)節(jié)色調(diào)也就意味著改變顏色,其取值范圍為0°到360°;飽和度是指顏色接近光譜色的程度,其值在0% (白色)到100% (光譜色)之間,飽和度越高,顏色越深而艷.亮度表示圖像的明亮程度,取值在0%(黑)到100% (白)之間.在HSV 色彩空間中,人眼對(duì)色差的感知更加均勻并且消除了圖像中亮度分量與色彩分量的聯(lián)系,因此對(duì)亮度分量增強(qiáng)即能在一定的意義上實(shí)現(xiàn)對(duì)低亮度圖像的增強(qiáng).

由上面的分析可知,設(shè)計(jì)彩色圖像感知算法的第一步是通過(guò)下面的非線性變換[23],將RGB圖像變?yōu)镠SV圖像:

其中(r,g,b)分別是像素顏色的紅、綠和藍(lán)坐標(biāo),其值是在0到1 之間,max 是r,g,b 中的最大者,min 為r,g,b 中的最小者.

又由于計(jì)算機(jī)是以RGB 格式對(duì)彩色圖像進(jìn)行存儲(chǔ)的,因而設(shè)計(jì)彩色圖像感知算法的最后一步需要把HSV 空間的圖像轉(zhuǎn)化為RGB 空間中的圖像,從而就要進(jìn)行借助(5a)式—(5c)式的逆變換:

式中,hi[H/60]mod 6 ,qV×(1-f×S),f(H/60)-hi,pV×(1-S),tV×(1-(1-f)×S).

3.2 視覺(jué)感知算法的主要步驟與流程

圖像增強(qiáng)的目的是為了幫助人們更容易地感知圖像所包含的重要信息,因此,在設(shè)計(jì)圖像增強(qiáng)算法時(shí),不僅要考慮到低亮度圖像本身的性質(zhì),也應(yīng)當(dāng)充分考慮人眼成像的生物物理過(guò)程.根據(jù)文獻(xiàn)[24],當(dāng)人眼視物時(shí),物體圖像的反射光線通過(guò)屈光系統(tǒng)進(jìn)入視網(wǎng)膜,視網(wǎng)膜中的感光細(xì)胞吸收光線并進(jìn)而將光信號(hào)轉(zhuǎn)換為電信號(hào),然后通過(guò)神經(jīng)束傳送到視覺(jué)皮層中產(chǎn)生圖像.由此可見(jiàn),為了完善算法的生物學(xué)可解釋性,有必要對(duì)視網(wǎng)膜的結(jié)構(gòu)和功能進(jìn)行了解.視網(wǎng)膜上主要有兩種感光細(xì)胞:視桿細(xì)胞和視錐細(xì)胞.視桿細(xì)胞主要分布在視網(wǎng)膜的周邊,光敏度較高,但分辨率很差,在低亮度環(huán)境下只能分辨出物體的大致輪廓但無(wú)法分辨顏色,而視錐細(xì)胞分布在視網(wǎng)膜中央的黃斑區(qū),對(duì)亮光較為敏感且具有高分辨率和顏色辨別能力.鑒于上面的分析,本文基于人眼視覺(jué)感知框架的低亮度彩色圖像增強(qiáng)算法分為三個(gè)主要步驟.首先,通過(guò)視網(wǎng)膜中的感光器接收光信號(hào)并將其轉(zhuǎn)換為電脈沖信號(hào),這一過(guò)程稱為編碼過(guò)程;然后,在視覺(jué)皮層中對(duì)電脈沖信號(hào)進(jìn)行處理,稱為解碼和整合的過(guò)程;最后,調(diào)節(jié)噪聲強(qiáng)度,得到利用隨機(jī)共振原理對(duì)低亮度圖像進(jìn)行增強(qiáng)后的最優(yōu)解,總體流程圖如圖4 所示.

圖4 圖像增強(qiáng)流程圖Fig.4.The flow chart of dark image enhancement algorithm.

下面介紹算法步驟的細(xì)節(jié):

I) 編碼過(guò)程

當(dāng)光線進(jìn)入眼睛,視網(wǎng)膜首先將HSV 顏色空間的圖像信號(hào)轉(zhuǎn)換成神經(jīng)電脈沖.考慮到負(fù)責(zé)顏色感知的主要是視錐細(xì)胞,而視網(wǎng)膜中約有數(shù)百萬(wàn)的視錐細(xì)胞,所以用積分放電神經(jīng)元網(wǎng)絡(luò)描述視網(wǎng)膜對(duì)彩色圖像的編碼過(guò)程,其中每個(gè)神經(jīng)元對(duì)應(yīng)一個(gè)視錐細(xì)胞.與此同時(shí),考慮到HSV 色彩模型有三個(gè)分量,而圖像的亮度對(duì)應(yīng)于其亮度分量V,因此將HSV 空間中的亮度分量V作為每個(gè)視錐細(xì)胞的確定性輸入信號(hào),相應(yīng)的輸出信號(hào)為向視覺(jué)皮層傳遞的動(dòng)作電位.

設(shè)為第i個(gè)神經(jīng)元在t時(shí)刻感知像素(m,n)的亮度的膜電位,PM×N為待增強(qiáng)圖像的亮度矩陣,其中P(m,n)∈(0,1)表示像素 (m,n) 的亮度,則模擬編碼過(guò)程的積分放電神經(jīng)元網(wǎng)絡(luò)可由下面的Langevin 方程描述:

圖5 編碼過(guò)程流程圖Fig.5.The flow chart of encoding part.

II) 解碼與整合過(guò)程

通過(guò)視網(wǎng)膜的視錐細(xì)胞傳遞來(lái)的圖像亮度信息在視覺(jué)皮層可被解碼為二值圖像.神經(jīng)信息傳輸?shù)妮d體是電脈沖,因此編碼的信息應(yīng)以尖峰序列的形式存在而不是連續(xù)的膜電位.由此,令矩陣(Imagei)M×N為在編碼階段所記錄的第i個(gè)神經(jīng)元的放電信息,其元素為1 或0,分別表示在相應(yīng)的亮度P(m,n)輸入下該神經(jīng)元有無(wú)放電,則由第i個(gè)神經(jīng)元所編碼的信息經(jīng)解碼后得到下面的亮度矩陣:

假定視覺(jué)皮層是先解碼每個(gè)神經(jīng)元所感知的信息,然后再整合由所有神經(jīng)元得到的解碼信息,那么根據(jù)(8)式,對(duì)所有的神經(jīng)元取算數(shù)平均,則得到一個(gè)整體的圖像亮度矩陣:

注意到 (pic)M×N代表整合后的圖像亮度信息,將該亮度信息與色調(diào)信息和飽和度信息相融合即得到一幅完整的彩色圖像.由于輸入了長(zhǎng)度為L(zhǎng)的噪聲強(qiáng)度向量,因此最后應(yīng)得到L幅彩色圖像,通過(guò)3.3 節(jié)將要介紹的圖像質(zhì)量評(píng)價(jià)指標(biāo)選取出L幅彩色圖像中質(zhì)量最高的作為最終的輸出圖像,這也是調(diào)節(jié)噪聲強(qiáng)度思想的具體實(shí)現(xiàn).

3.3 圖像質(zhì)量評(píng)價(jià)指標(biāo)

在第3.1 節(jié),在固定的噪聲水平下,說(shuō)明了如何在視覺(jué)感知框架下通過(guò)放電神經(jīng)元網(wǎng)絡(luò)增強(qiáng)低亮度的彩色圖像,但并沒(méi)有闡述如何通過(guò)調(diào)節(jié)噪聲強(qiáng)度來(lái)達(dá)到最優(yōu)的增強(qiáng)效果.在上文中,我們已經(jīng)說(shuō)明可以通過(guò)調(diào)節(jié)背景噪聲的強(qiáng)度使其處在適當(dāng)?shù)脑肼曀缴?使輸出響應(yīng)的相干性達(dá)到最大.因而,尋找最優(yōu)噪聲水平和最優(yōu)的增強(qiáng)圖像應(yīng)該是隨機(jī)共振類圖像增強(qiáng)算法的核心.為此,需要選用一個(gè)合適的圖像質(zhì)量評(píng)價(jià)指標(biāo)來(lái)挑選出最佳的增強(qiáng)圖像.

許多研究表明,適量的噪聲不僅有助于放大弱的諧波信號(hào),而且有助于放大弱的非周期信號(hào)[25,26].通常,前者稱為隨機(jī)共振,后者稱為非周期隨機(jī)共振,而且可以認(rèn)為發(fā)生隨機(jī)共振的系統(tǒng)都能發(fā)生非周期隨機(jī)共振.注意到低亮度圖像的亮度信號(hào)是弱的非周期信號(hào),因而它也能夠被模型(1)通過(guò)非周期隨機(jī)共振原理增強(qiáng).然而,在上文的模型研究中,由于弱的輸入信號(hào)是諧波信號(hào),隨機(jī)共振的增強(qiáng)效果可通過(guò)單頻信號(hào)的輸出信噪比(3)式來(lái)量化隨機(jī)共振的效果,但是在非周期隨機(jī)共振中,由于弱信號(hào)的頻譜圖是連續(xù)的,從而通過(guò)(3)式所定義的信噪比不再適用,必須使用不同的度量指標(biāo)以描述其中涉及的形狀匹配程度或結(jié)構(gòu)相似性,以便找出最優(yōu)噪聲強(qiáng)度及其所對(duì)應(yīng)的最優(yōu)增強(qiáng)圖像.需要指出的是,雖然文獻(xiàn)[21]所給出的圖像方差作為增強(qiáng)低對(duì)照度黑白圖像的量化指標(biāo)非常有效,但我們的數(shù)值實(shí)驗(yàn)卻表明它并不適合于度量低照度彩色圖像的增強(qiáng).因此,為了挑選出最優(yōu)噪聲強(qiáng)度及其對(duì)應(yīng)的最優(yōu)增強(qiáng)圖像,將采用圖像處理領(lǐng)域中更加常用評(píng)價(jià)指標(biāo):峰值信噪比(peak signal-to-noise ratio,PSNR)和自然圖像質(zhì)量評(píng)估(natural image quality evaluation,NIQE)[27],前者適合于有參考圖像的情形,而后者適合于無(wú)參考圖像的情形.

峰值信噪比是基于圖像方差的一種評(píng)價(jià)圖像質(zhì)量的客觀標(biāo)準(zhǔn),通常用于客觀評(píng)估圖像處理前后圖像的優(yōu)劣程度.定義如下:

其中X和Y分別是增強(qiáng)圖像和參考圖像的亮度矩陣;H和W是亮度矩陣的行數(shù)和列數(shù),其值由圖片的分辨率決定;MSE 通常稱為均方誤差.

自然圖像質(zhì)量評(píng)估既不需要曝光圖像的先驗(yàn)條件,也不需要在失真圖像的訓(xùn)練集進(jìn)行訓(xùn)練獲得意見(jiàn),是一種全新的無(wú)參考-無(wú)感知意見(jiàn)的圖像評(píng)價(jià)指標(biāo).其方法的思想是,利用失真圖像與高質(zhì)量圖像在結(jié)構(gòu)上的不同來(lái)評(píng)價(jià)待評(píng)估圖像的質(zhì)量.研究表明,高質(zhì)量圖像的特征更貼合于多維高斯分布[27],因此可以利用多維高斯分布對(duì)待評(píng)估圖像的特征進(jìn)行擬合,將其與高質(zhì)量圖像擬合后的多維高斯分布之間的距離作為待評(píng)估圖像的失真程度,公式如下:

3.4 神經(jīng)元種群規(guī)模的影響

在人眼視覺(jué)感知過(guò)程中,神經(jīng)元種群規(guī)模具體表現(xiàn)為神經(jīng)系統(tǒng)在人眼成像活動(dòng)中的參與程度,在一定范圍內(nèi),參與程度越高,成像越清晰,這與我們從圖3 中得到的結(jié)論完全吻合.同時(shí),根據(jù)圖4及圖5 可以看出,在本文的算法中,神經(jīng)系統(tǒng)中噪聲的優(yōu)化程度對(duì)神經(jīng)元種群規(guī)模具有很高的依賴性.以上結(jié)論啟示我們可以通過(guò)改變神經(jīng)元網(wǎng)絡(luò)的規(guī)模進(jìn)一步優(yōu)化圖像增強(qiáng)算法的性能.在積分放電神經(jīng)元模型中,神經(jīng)元個(gè)數(shù)取為N=50 就可以較好地優(yōu)化噪聲,又根據(jù)圖3 可知,模型(1)在神經(jīng)元個(gè)數(shù)超過(guò)50 時(shí),信噪比峰值增加的較為平緩,因此,在本文圖像增強(qiáng)算法的實(shí)現(xiàn)過(guò)程中,初步考慮神經(jīng)元種群規(guī)模取為N=50.為了保險(xiǎn)起見(jiàn),另取N=300 進(jìn)行對(duì)照實(shí)驗(yàn).由圖6 可知,當(dāng)神經(jīng)元個(gè)數(shù)較少(N=50)時(shí)(圖6(a)),增強(qiáng)后的最優(yōu)圖像中仍然分散著密密麻麻的噪點(diǎn),并且分辨率較低,但當(dāng)神經(jīng)元個(gè)數(shù)足夠多(N=300)時(shí)(圖6(b)),增強(qiáng)后的最優(yōu)圖像中噪點(diǎn)基本消失,并且圖像清晰度有了很大的改善.注意到人類的視覺(jué)活動(dòng)是大量的神經(jīng)元參與進(jìn)行感知的結(jié)果,因而圖6 中所體現(xiàn)出的神經(jīng)元種群規(guī)模的正面作用在一定意義上支持了本文的彩色圖像增強(qiáng)算法的生物學(xué)可解釋性.

圖6 不同神經(jīng)元個(gè)數(shù)對(duì)最優(yōu)增強(qiáng)圖像質(zhì)量的影響 (a)神經(jīng)元個(gè)數(shù)N=50;(b)神經(jīng)元個(gè)數(shù)N=300;(c)峰值信噪比(PSNR)變化曲線,虛線代表在此噪聲強(qiáng)度取得最優(yōu)圖像.參數(shù)Vth=0.0667,w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,τs=1,τd=0.5,t=100Fig.6.Difference caused by the size of neuron population:(a) N=50;(b) N=300;(c) peak signal-to-noise ratio(PSNR) curve,the dotted line reflects the noise density corresponds to the best enhanced picture.Parameters are set as Vth=0.0667,w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,τs=1 ,τd=0.5,t=100 .

3.5 閾值的最佳選取策略

在視網(wǎng)膜活動(dòng)中,閾值是視覺(jué)神經(jīng)元在應(yīng)對(duì)劇烈變化的環(huán)境時(shí)自我調(diào)節(jié)機(jī)制的重要體現(xiàn).而且,由上文的模型研究知,神經(jīng)元集群輸出響應(yīng)的信噪比基本不受突觸權(quán)重的影響,但卻明顯地依賴于閾值的大小,不同的閾值設(shè)定會(huì)導(dǎo)致顯著不同的隨機(jī)共振效果.這些現(xiàn)象均表明,為了得到最優(yōu)增強(qiáng)圖像,有必要討論放電閾值的最佳選取策略.

在圖像處理算法中,像素分布直方圖常被用來(lái)設(shè)計(jì)閾值選取策略,例如在增強(qiáng)灰度圖像時(shí),一般把閾值取為最大灰度[21].如果遵循這樣的做法,應(yīng)該把放電閾值取為低亮度彩色圖像的最大亮度值.然而,大量的數(shù)值試驗(yàn)顯示,把閾值取為最大亮度值,在本文的彩色圖像增強(qiáng)算法中并不會(huì)有很好的增強(qiáng)效果.相反地,由待增強(qiáng)圖像亮度矩陣的分位點(diǎn)給出的閾值策略卻更能夠得到較好的實(shí)驗(yàn)結(jié)果(圖7).為了說(shuō)明這一點(diǎn),分別在圖8(a)和圖8(b)中給出了放電閾值為頻數(shù)分布的0.6 分位點(diǎn)和0.95 分位點(diǎn)的最優(yōu)增強(qiáng)圖像.顯然,由圖7(b)及圖8(a)可知,當(dāng)放電閾值為頻數(shù)分布的0.6 分位點(diǎn)時(shí),最優(yōu)圖像對(duì)應(yīng)的亮度值分布均勻,層次分明,代表圖像對(duì)比度較高,圖像的增強(qiáng)效果更好,而且所對(duì)應(yīng)的最優(yōu)噪聲強(qiáng)度更低;當(dāng)放電閾值為頻數(shù)分布的0.95 分位點(diǎn)時(shí),最優(yōu)圖像的亮度值分布較為集中,說(shuō)明圖像沒(méi)有層次感,并且噪點(diǎn)較多.由此可見(jiàn),基于亮度分布的分位數(shù)閾值策略明顯優(yōu)于基于最大亮度的閾值策略,這是本文的重要改進(jìn).

圖7 亮度的頻數(shù)分布直方圖 (a) 原始黑暗圖像;(b) 0.6 分位點(diǎn)最優(yōu)圖像;(c) 0.95 分位點(diǎn)最優(yōu)圖像Fig.7.Frequency histogram of brightness:(a) The origin dark image;(b) best image corresponding to 60 percent quantile;(c) best image corresponding to 95 percent quantile.

需要強(qiáng)調(diào)的是,當(dāng)放電閾值為頻數(shù)分布的0.6分位點(diǎn)時(shí),原始黑暗圖像的亮度不再全是微弱的閾下信號(hào),但這與前面的模型結(jié)果并不矛盾.首先,因?yàn)殡S機(jī)共振效應(yīng)不僅能夠放大微弱的閾下信號(hào),它也能夠放大在閾值附近波動(dòng)的弱的閾上信號(hào)[28].其次,由于原始圖像的亮度分布直方圖的峰值要與最大亮度值相距甚遠(yuǎn)(圖7(a)),把閾值取為0.6 分位點(diǎn)(即0.0667),才會(huì)有較大可能保證在較低的噪聲水平上使微弱的圖像信息能夠通過(guò)隨機(jī)共振效應(yīng)得以放大,圖8 也的確證實(shí)了也這一點(diǎn).另外,通過(guò)對(duì)比圖7 中的各個(gè)直方圖,還可以發(fā)現(xiàn),把閾值取為0.6 分位點(diǎn)所給出的最優(yōu)圖像的亮度分布更加平坦,而把閾值取為0.95 分位點(diǎn)(即0.2549)所給出的最優(yōu)圖像的亮度分布仍然比較集中,因而圖像的亮度只在較小范圍內(nèi)得到了增強(qiáng),總體的增強(qiáng)效果仍然較弱.

圖8 不同閾值下對(duì)應(yīng)的最優(yōu)增強(qiáng)圖像 (a) 0.6 分位點(diǎn);(b) 0.95 分位點(diǎn);(c) 峰值信噪比變化曲線,虛線處表示最優(yōu)噪聲強(qiáng)度.參數(shù)w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,τs=1 ,τd=0.5,N=300,t=100Fig.8.Best enhanced images with different membrane potential thresholds:(a) 60 percent quantile;(b) 95 percent quantile;(c) peak signal-to-noise ratio(PSNR) curves,the dotted line reflects the noise density corresponds to the best enhanced picture.Parameters are set as w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,τs=1 ,τd=0.5,N=300,t=100 .

這里以圖8 為例,詳細(xì)闡述本文的閾值選取策略.首先,觀察圖7(a)頻數(shù)分布直方圖的均值為0.0847,中位數(shù)為0.0549 小于均值,因此考慮閾值選擇在中位數(shù)后(反之,若圖像亮度均值小于中位數(shù),則應(yīng)在中位數(shù)前考慮最優(yōu)閾值,例如圖10 的最優(yōu)閾值為0.2 分位點(diǎn)).然后,按順序排列0.6,0.7,0.8,0.9 以及0.95 分位點(diǎn),則其值依次為0.0667,0.0824,0.1059,0.1608,0.2549.最后,考慮到如果閾值取為0.7,0.8,0.9和0.95 分位點(diǎn),需要較大強(qiáng)度的噪聲去激活亮度值較低的像素點(diǎn),而當(dāng)閾值取為中位數(shù)時(shí),又會(huì)出現(xiàn)像素點(diǎn)過(guò)度激活導(dǎo)致圖像色彩失真的情況,因此,對(duì)于圖8 的待增強(qiáng)的低對(duì)照度圖像,我們選取0.6 分位點(diǎn)作為最佳閾值.

4 數(shù)值實(shí)驗(yàn)結(jié)果與分析

為了檢驗(yàn)本文所給新算法的可靠性,將該方法和經(jīng)典的single scale Retinex (SSR)[3]算法和HE[1]算法進(jìn)行了對(duì)比,并與現(xiàn)有的隨機(jī)共振類算法—SVD-DSR[10]加以對(duì)比.在固定參數(shù)Vre0,glgs1,Cm1 ,Esyn0,τs1,τd0.5,w=0.1及N=300的前提下,進(jìn)行了兩組仿真試驗(yàn),相關(guān)結(jié)果分別如圖9和圖10 所示,其對(duì)應(yīng)的評(píng)價(jià)指標(biāo)見(jiàn)表1和表2.

表1 四種算法的PSNR和NIQETable 1.PSNR and NIQE of these four algorithms.

表2 四種算法的PSNR和NIQETable 2.PSNR and NIQE of these four algorithms.

由圖9 可知,原始低照度彩色圖像,即圖9(a)的亮度很低,圖9(b)是本文提出的圖像增強(qiáng)算法,圖9(c)和圖9(e)分別為SVD-DSR 算法和HE 算法的效果圖,圖9(d)是經(jīng)典的單尺度Retinex 方法.對(duì)圖 9(a) 增強(qiáng)的結(jié)果表明單尺度 Retinex 方法處理圖像時(shí)成功地壓縮了圖像,色感較好,但是還有部分黑暗區(qū)域的細(xì)節(jié)不夠清楚,而SVD-DSR 算法結(jié)果色彩過(guò)于飽和,HE 算法增強(qiáng)結(jié)果則有點(diǎn)失真,只有本文提出的隨機(jī)共振的算法在保證了圖像亮度的同時(shí)兼顧了圖像質(zhì)量.

圖9 圖像增強(qiáng)結(jié)果 (a) 原始黑暗圖像;(b) 原始清晰圖像;(c) 本文提出的隨機(jī)共振方法,D=0.0035,Vth=0.0667 ;(d) SSR算法;(e) HE 算法;(f) SVD-DSR算法Fig.9.(a) The origin dark image;(b) the origin bright image;(c) our stochastic-resonance algorithm with D=0.0035 and Vth=0.0667;(d) SSR algorithm;(e) HE algorithm;(f) SVD-DSR algorithm.

圖10(a)為原始黑暗圖像,根據(jù)本文的閾值選取策略以及圖10(a)亮度矩陣的統(tǒng)計(jì)特性,選取0.2 分位點(diǎn)作為放電閾值.圖10(b)為使用本文提出的隨機(jī)共振增強(qiáng)算法增強(qiáng)后的圖像,圖10(c)—10(e)分別為經(jīng)過(guò)單尺度Retinex 方法、HE 算法和 SVD-DSR 算法處理過(guò)的圖像.從圖10(c)—10(e)— 可以看出,單尺度Retinex 方法處理后的圖像布滿了像素塊,并且出現(xiàn)了色彩失真的情況,HE 算法增強(qiáng)后的圖像雖然像素塊有所減少,但仍未采集到圖像正確的顏色,經(jīng)過(guò)本文提出的隨機(jī)共振算法以及SVD-DSR 算法增強(qiáng)后的圖像從主觀來(lái)看效果較好,能很好地還原黑暗圖像的原本色彩.因此,為了進(jìn)一步說(shuō)明圖10(b)優(yōu)于圖10(e),還需要借助客觀評(píng)價(jià)指標(biāo).

圖10 圖像增強(qiáng)結(jié)果 (a) 原始黑暗圖像;(b) 本文提出的隨機(jī)共振方法 D=0.0035,Vth=0.11 ;(c) SSR 算法;(d) HE 算法;(e) SVD-DSR 算法;(f) NIQE 變化圖Fig.10.(a) The origin dark image;(b) our stochastic-resonance algorithm with D=0.0035and Vth=0.11 ;(c) SSR algorithm;(d) HE algorithm;(e) SVD-DSR algorithm;(f) NIQE under different noise densities.

除了從主觀上觀察圖像增強(qiáng)算法的效果,還通過(guò)計(jì)算不同圖像增強(qiáng)算法的峰值信噪比以及自然圖像質(zhì)量評(píng)估值,以便從較為客觀的角度來(lái)定量地分析算法的性能.對(duì)于有參考圖像的評(píng)價(jià)指標(biāo)峰值信噪比,其值越大表示圖像質(zhì)量越高,而無(wú)參考圖像的評(píng)價(jià)指標(biāo)自然圖像質(zhì)量評(píng)估則正好相反.表1和表2 列出了低照度彩色圖像增強(qiáng)結(jié)果的指標(biāo).由表1 及表2 可知,本文提出的基于隨機(jī)共振的圖像增強(qiáng)算法兼顧了圖像對(duì)比度、亮度、細(xì)節(jié)等,圖像視覺(jué)效果較好.

由于SVD-DSR 算法也是隨機(jī)共振類低照度圖像增強(qiáng)算法,所以在此有必要強(qiáng)調(diào)一下本文提出算法的優(yōu)勢(shì).首先,在算法實(shí)現(xiàn)環(huán)節(jié),SVD-DSR 算法缺少參數(shù)選取的操作細(xì)節(jié),雖然在增強(qiáng)圖 9 及圖 10 時(shí),經(jīng)過(guò)大量試驗(yàn)確定了SVD-DSR 算法的最優(yōu)參數(shù),但仍然無(wú)法得到較好的增強(qiáng)結(jié)果,而本文提出的算法僅需根據(jù)待增強(qiáng)圖像的亮度矩陣特性計(jì)算出閾值這一關(guān)鍵參數(shù),便能得到高質(zhì)量的圖像增強(qiáng)結(jié)果.其次,在物理意義方面,SVD-DSR 算法并未和隨機(jī)共振原理完全貼合，缺少了隨機(jī)共振中重要的噪聲因素，而本文提出的算法通過(guò)調(diào)節(jié)噪聲水平取得了最優(yōu)的增強(qiáng)圖像，符合了適量噪聲可以幫助弱信號(hào)提取這一隨機(jī)共振的基本原理.最后,在生物學(xué)意義上,本文提出的算法更貼合于人眼的視覺(jué)感知過(guò)程,有助于揭示在黑暗空間內(nèi)人眼視物的機(jī)理.

5 結(jié)論

在研究電導(dǎo)基神經(jīng)元網(wǎng)絡(luò)的隨機(jī)共振現(xiàn)象和了解人眼視覺(jué)感知的基本生物物理過(guò)程的基礎(chǔ)上,我們提出了一種具有一定生物可解釋性的彩色圖像增強(qiáng)算法.我們?cè)敿?xì)揭示了該算法中神經(jīng)元的個(gè)數(shù)以及神經(jīng)元的放電閾值對(duì)圖像增強(qiáng)效果的影響,并首次提出了基于亮度分布分位數(shù)的閾值選取方案.為了挑選出最優(yōu)的增強(qiáng)圖像,采用了如下方法:對(duì)于參考圖像存在的低對(duì)比度圖像增強(qiáng),采用峰值信噪比作為量化指標(biāo),而對(duì)于參考圖像不存在的低對(duì)比度圖像,采用自然圖像質(zhì)量評(píng)價(jià)作為量化指標(biāo).這些指標(biāo)的選取使得本文的圖像增強(qiáng)算法更加具有普適性.特別地,由于本文的算法在一定程度上模擬了視錐細(xì)胞集群如何在微弱光照環(huán)境下,通過(guò)調(diào)節(jié)所處環(huán)境的噪聲以實(shí)現(xiàn)視覺(jué)感知功能的基本過(guò)程,因而具有某種程度的生物學(xué)合理性.

注意到大量的研究已經(jīng)表明,噪聲普遍存在于細(xì)胞水平,并且神經(jīng)系統(tǒng)能夠通過(guò)調(diào)節(jié)權(quán)重實(shí)現(xiàn)內(nèi)部噪聲水平的調(diào)節(jié)[29,30],而且,大量的生物物理實(shí)驗(yàn)也已表明,噪聲的益處可以被生物[31,32]或神經(jīng)系統(tǒng)利用[33].大腦的視覺(jué)感知功能的實(shí)現(xiàn)離不開(kāi)神經(jīng)元集群的協(xié)同作用,而視覺(jué)感知過(guò)程中的噪聲可以通過(guò)神經(jīng)系統(tǒng)自我調(diào)節(jié),因此,我們有充分的理由推測(cè),人腦在微弱的光照環(huán)境下可以利用隨機(jī)共振原理選擇清晰度最好的圖像,這就是本文基于此發(fā)展圖像增強(qiáng)算法的初衷.同時(shí)本文提出的算法在很多弱信號(hào)相關(guān)的信號(hào)處理領(lǐng)域都有著重要的潛在應(yīng)用價(jià)值,例如生物醫(yī)學(xué)領(lǐng)域中X 射線圖像的清晰度提高,公共安全領(lǐng)域中低照度環(huán)境中的人臉辨識(shí)以及腦機(jī)接口的視覺(jué)感知修復(fù)等等.