劉 穎,劉佳琳,劉衛(wèi)華,陳煥平
(1.西安郵電大學(xué)圖像與信息處理研究所,陜西 西安 710121;2.西安郵電大學(xué)通信與信息工程學(xué)院,陜西 西安 710121;3.電子信息現(xiàn)場勘驗應(yīng)用技術(shù)公安部重點實驗室,陜西 西安 710121;4.陜西省無線通信與信息處理技術(shù)國際合作研究中心,陜西 西安 710121;5.山西省長治市92925部隊,山西 長治 046011)
在獲取刑事偵查(以下簡稱刑偵)圖像時,由于光線、天氣等因素的影響,致使拍攝出來的圖像質(zhì)量下降或退化,給后續(xù)很多工作帶來不便,必須采用圖像增強技術(shù)對采集的刑偵圖像做一定的處理。
常見的圖像增強技術(shù)有空域圖像增強和頻域圖像增強兩類。前者例如直方圖均衡化算法[1]和線性變換算法[2],這類算法復(fù)雜度低,計算簡單,但存在細(xì)節(jié)信息丟失現(xiàn)象,不符合實際場景。后者最常見的方法為Retinex圖像增強算法[3]和小波變換圖像增強算法[4],這類算法復(fù)雜度高,但是增強效果好,一般能滿足人們對圖像質(zhì)量的要求。
在單尺度Retinex(single scale Retinex, SSR)算法和多尺度Retinex(multi-scale Retinex, MSR)算法[5]中,照度分量由圖像高斯函數(shù)卷積得到,雖能達(dá)到增強圖像質(zhì)量的目的,但處理后的圖像邊緣有明顯光暈[6-7];如果采用雙邊濾波[6]和具有邊緣保持特性的引導(dǎo)濾波[7]代替高斯濾波對圖像進(jìn)行增強,可以有效避免Retinex圖像增強技術(shù)在高光區(qū)邊界存在的“光暈偽影”問題,但增強后圖像色彩出現(xiàn)偏差[8-9];針對增強后圖像的顏色偏差問題,后續(xù)研究分別提出了一種線性引導(dǎo)濾波的Retinex夜間圖像增強算法[8]和基于加權(quán)引導(dǎo)濾波的水下圖像增強算法[9],這兩類算法雖然能還原圖像彩色、抑制過增強,但增強后圖像的細(xì)節(jié)丟失[10];文[10]用對數(shù)圖像處理模型來實現(xiàn)低照度圖像增強,該算法可以提高圖像亮度和對比度,視覺效果良好,但算法復(fù)雜度高,運算時間長[11];文[12]對Retinex算法進(jìn)行了相應(yīng)的改進(jìn),該算法可以提高圖像亮度和對比度,避免光暈現(xiàn)象,但是增強后圖像出現(xiàn)少量的噪聲,部分細(xì)節(jié)丟失,整體效果偏差[13]。
為減少增強后圖像出現(xiàn)的光暈現(xiàn)象和細(xì)節(jié)丟失問題,提高刑偵圖像質(zhì)量,本文擬選用自適應(yīng)權(quán)重提高引導(dǎo)濾波的邊緣保持特性,進(jìn)而估計出圖像光照分量,并采用對數(shù)處理模型對光照分量進(jìn)行增強,得到準(zhǔn)確的反射分量。
Retinex理論[14]是一種基于人眼感知和色度特征的視覺模型,其指出人眼對物體本身的反射能力決定物體的顏色,而入射光的強度對物體顏色影響不大。根據(jù)Retinex理論,一幅圖像可認(rèn)為它是入射部分乘以其反射部分得到[14],即圖像
I(x,y)=L(x,y)R(x,y)。
(1)
其中,L(x,y)為圖像的入射部分,R(x,y)為圖像的反射部分。
根據(jù)對人類視覺特性的研究,人眼對亮度的變化近似于對數(shù)變化模式[14],對公式(1)兩邊同時取對數(shù),得
logI(x,y)=logL(x,y) + logR(x,y)。
(2)
通過高斯環(huán)繞函數(shù)與原圖像進(jìn)行卷積,估計出光照分量,用原始圖像減去光照分量,即為反射圖像,對應(yīng)的公式[14]為
logR(x,y)=logI(x,y) -
log[L(x,y) ?G(x,y)]。
(3)
其中,I(x,y)為原始圖像,logR(x,y)為反射圖像,“?”是卷積運算,G(x,y)是高斯函數(shù),定義為[15]
(4)
其中,λ為使得?G(x,y)dxdy=1的歸一化系數(shù),σ為高斯標(biāo)準(zhǔn)差,也稱環(huán)繞尺度。
對反射圖像取指數(shù),得到最終增強圖像[15]
R′(x,y)=exp[logR(x,y)]。
(5)
上述計算過程即為SSR算法,若將不同Retinex算法的輸出結(jié)果進(jìn)行加權(quán)合并,即為MSR算法,此時的輸出圖像[15]
(6)
其中,z表示圖像R(紅)、G(綠)、B(藍(lán))3個通道,z=1時為灰度圖像,z=3時為彩色圖像;Wn(n=1,2,…,N)是權(quán)重因子,N為尺度總數(shù)。
由于SSR算法和MSR算法使用不具有保邊平滑能力的高斯環(huán)繞函數(shù)來估計光照圖像,致使估計出的光照圖像存在一定的偏差。為了更好地估計光照圖像,本文選用加權(quán)引導(dǎo)濾波取代高斯濾波。
針對經(jīng)典Retinex算法中存在的顏色偏差問題,采用加權(quán)引導(dǎo)濾波的Retinex圖像增強算法。算法流程如圖1所示。
圖1 加權(quán)引導(dǎo)濾波的Retinex圖像增強算法原理
如圖1所示,首先,輸入一幅低照度刑偵圖像,提取其亮度分量;其次,采用加權(quán)引導(dǎo)濾波估計出光照層,并用對數(shù)圖像增強處理模型對光照信息進(jìn)行增強,得到處理后的光照層;再次,在對數(shù)域計算圖像的反射層;最后,恢復(fù)圖像的色彩信息,得到最終輸出圖像。
刑偵圖像中的細(xì)節(jié)信息十分重要,將具有保邊平滑特性的引導(dǎo)濾波應(yīng)用在刑偵圖像增強算法中,既可降低噪聲干擾又可保留細(xì)節(jié)。設(shè)經(jīng)過線性轉(zhuǎn)化[7]后,第i個像素處的輸出圖像
Qi=cjPi+dj, ?i∈wj。
(7)
式中,Pi為第i個像素處的引導(dǎo)圖像;wj為Pi與Qi之間以第j個像素為焦點,半徑為r的方形窗;cj和dj是wj中固定的系數(shù)。
引導(dǎo)濾波中的所有窗口均采取相同的權(quán)重因子,并未考慮窗內(nèi)像素差異。針對引導(dǎo)濾波應(yīng)用在刑偵圖像中的不足,改進(jìn)算法采用像素的局部特征來衡量圖像質(zhì)量的好壞和細(xì)節(jié)信息的豐富程度,從而確定引導(dǎo)濾波的權(quán)重。實驗中,對于每個像素點(i,j),取其為中心的一個(2k+1)×(2k+1)的正方形窗,統(tǒng)計窗內(nèi)的方差、均值、梯度等圖像特性作為該像素點的特征,繼而根據(jù)該像素點所屬第p次引導(dǎo)輸出的局部特征來確定對應(yīng)的權(quán)重,最后按照像素融合的方法對3次引導(dǎo)濾波圖像進(jìn)行融合。圖像像素點(i,j)的方差、均值、梯度的計算公式分別為
(8)
(9)
(10)
圖像像素點(i,j)的聯(lián)合質(zhì)量測度是由上述方差、均值、梯度的一種或多種構(gòu)成,對應(yīng)的質(zhì)量測度
(11)
其中,α,β,γ分別為聯(lián)合質(zhì)量測度取方差、均值和梯度時對應(yīng)的取值。由于圖像拍攝特性的差別,使得每幅圖像的側(cè)重信息不一樣。α,β,γ取值可以為0或1。當(dāng)α,β,γ其中一項或者兩項取值為0時,說明圖像的聯(lián)合質(zhì)量測度不采用此特性,相反,當(dāng)α,β,γ其中一項取值或者全部取值為1時,說明此特性占據(jù)的權(quán)值比較大,采取此特性作為圖像的聯(lián)合質(zhì)量測度。
權(quán)重系數(shù)
(12)
其中,Qp(i,j)分別是進(jìn)行3次引導(dǎo)濾波后圖像的質(zhì)量測度,且權(quán)重系數(shù)滿足0≤wp(i,j)≤1,ξ是一個很小的正數(shù),目的是使分母不為零。則融合后的引導(dǎo)輸出圖像可由以下公式得出
(13)
其中,G(i,j)為融合后的引導(dǎo)濾波輸出圖像;Gp(i,j)為3次引導(dǎo)濾波對應(yīng)的輸出圖像。
通過上述加權(quán)引導(dǎo)濾波取代傳統(tǒng)的高斯濾波對光照分量進(jìn)行估計,這樣不僅可反映圖像整體情況,而且能夠避免傳統(tǒng)Retinex算法中帶來的“光暈”現(xiàn)象。實驗中,將亮度圖像Il進(jìn)行歸一化,引導(dǎo)圖像與輸入圖像采取相同的圖像,即P=Il,I=Il,將輸入圖像I和引導(dǎo)圖像P作為引導(dǎo)濾波的輸入,采用加權(quán)引導(dǎo)濾波處理,如下式
Q=fguide(I,P)。
(14)
其中,Q是加權(quán)引導(dǎo)濾波后的輸出圖像;fguide(·)是加權(quán)引導(dǎo)濾波操作。
對數(shù)圖像處理模型是基于人類視覺系統(tǒng)特性的數(shù)學(xué)模型[16]。假設(shè)圖像的2個灰度色調(diào)函數(shù)分別為f(x,y)和g(x,y),對數(shù)圖像處理模型中的部分運算公式為
(15)
(16)
(17)
其中,?、?、?分別表示對數(shù)圖像處理模型下的加法運算、數(shù)乘運算和減法運算。M為圖像的灰度級總數(shù),對于8 bit圖像,令M=255[16]。ζ是大于零的常數(shù),用來放大或縮小圖像。
為改善光照分量的質(zhì)量,獲取更準(zhǔn)確的反射分量,對加權(quán)引導(dǎo)濾波的輸出圖像采用對數(shù)模型進(jìn)行增強,增強后的圖像
f′=c?A?d(Q?A)。
(18)
其中,c和d為常數(shù),A是以(x,y)為中心,n×n為窗口的灰度值的平均值,Q為引導(dǎo)濾波的輸出圖像,式中c?A用于拉伸圖像灰度區(qū)域的范圍,而d(Q?A)用于銳化圖像的邊緣,實驗中,c取值為10,d取值為2[17]。
通過以上加權(quán)引導(dǎo)濾波器估計出準(zhǔn)確的光照分量后,將其轉(zhuǎn)換到對數(shù)域,將原始亮度與光照分量相減,可得到相應(yīng)的反射分量
logR(x,y)=
logIl(x,y) - logf′(x,y)。
(19)
其中,Il(x,y)代表原始亮度圖像,f′(x,y)表示處理后的光照分量,進(jìn)行以上操作后,需要將計算結(jié)果代入式(5)中,得到最終的反射分量,再恢復(fù)圖像顏色,便可計算出最終的增強圖像。
為驗證改進(jìn)算法的有效性,采用Matlab R2016a軟件作為編程工具,在Windows 10系統(tǒng)下對SSR算法、MSR算法、直方圖均衡化算法、引導(dǎo)濾波算法[7]和本文改進(jìn)算法分別進(jìn)行測試,并通過主觀評價和客觀評價分別對實驗仿真結(jié)果進(jìn)行分析。實驗選取不同場景下的低照度刑偵圖像,如圖2 所示。
圖2 實驗測試低照度刑偵圖像
對場景1下的低照度刑偵圖像,分別利用不同算法進(jìn)行仿真。不同算法的仿真結(jié)果,如圖3所示。
從圖3可以看出,圖3(a)中整體效果較差,圖像暗淡不清;圖3(b)雖能看見車輛的邊緣信息,但是整體顏色偏白,增強后引入較多的噪聲;圖3(c)和圖3(d)雖然能看見車輛整體輪廓,但圖像存在一定的噪聲;3(e)中圖像細(xì)節(jié)清晰可見,層次感較強,如車燈的邊緣部分和車牌號碼信息都可清晰地被感知。
圖3 不同算法對場景1的仿真結(jié)果
對場景2下的低照度刑偵圖像,分別利用不同算法進(jìn)行仿真。不同算法的仿真結(jié)果,如圖4所示。
從圖4可以看出,圖4(a)中圖像模糊不清,車牌信息無法被感知;圖4(b)中圖像顏色出現(xiàn)偏差;圖4(c)中雖然圖像整體效果較好,但是車牌信息不可清晰地被感知;圖4(d)中圖像局部信息丟失,不能達(dá)到人類視覺要求標(biāo)準(zhǔn);圖4(e)改進(jìn)算法得到的結(jié)果能清楚地看到車身的輪廓,圖像整體和局部對比度都較高,增強后圖像貼近真實場景。
對場景3下的低照度刑偵圖像,分別利用不同算法進(jìn)行仿真。不同算法的仿真結(jié)果,如圖5所示。
圖5 不同算法對場景3的仿真結(jié)果
從圖5可以看出,SSR算法增強后圖像質(zhì)量模糊,視覺效果差;MSR算法增強后圖像存在大量的噪聲,圖像邊緣信息丟失,車牌信息完全看不清;直方圖均衡化算法處理的結(jié)果圖像整體偏暗,車輛信息不能被清晰地感知;引導(dǎo)濾波算法增強后整體效果較好,但引入大量的噪聲;本文算法處理后的圖像局部細(xì)節(jié)信息清晰可見,在保證車牌號碼被感知的同時,也可以看到車輛頭部的輪廓。
通過不同算法對3種不同場景進(jìn)行測試,可以看出本文算法能夠有效避免SSR算法和MSR算法帶來的“光暈”現(xiàn)象,相比直方圖均衡化算法和引導(dǎo)濾波算法,本文算法能夠在一定程度上克服增強圖像細(xì)節(jié)信息丟失和色彩偏差問題,處理后圖像局部信息清晰可見。
利用信息熵[9](information entropy, IE)、結(jié)構(gòu)相似性[9](structural similarity index, SSIM)和平均梯度[12](mean gradient, MG)3項評價指標(biāo)對SSR算法、MSR算法、直方圖均衡化算法、引導(dǎo)濾波算法和改進(jìn)算法的性能進(jìn)行評估。其中,信息熵可表示圖像所含信息量的多少,其值越大,說明圖像所含信息成分越高;結(jié)構(gòu)相似性用于表示相鄰像素之間的關(guān)聯(lián)程度,進(jìn)而用來代表圖像的結(jié)構(gòu)失真程度,其值越高,說明兩者結(jié)構(gòu)相似性越高;平均梯度代表圖像細(xì)節(jié)信息,其值越大,說明圖像細(xì)節(jié)越清楚。
對圖2所示的低照度刑偵圖像進(jìn)行測試,不同算法的客觀評價結(jié)果,如表1所示。
表1 不同算法的客觀評價結(jié)果
從表1可以看出,由于各個場景的光照、圖像紋理和算法本身的差別,致使客觀評價指標(biāo)各有優(yōu)劣,但改進(jìn)算法在信息熵、結(jié)構(gòu)相似性和平均梯度上基本都有所提高。
針對低照度刑偵圖像,提出一種加權(quán)引導(dǎo)濾波的Retinex圖像增強算法。采用加權(quán)引導(dǎo)濾波估計光照分量,并利用對數(shù)模型對光照層進(jìn)行增強,從而得到準(zhǔn)確的反射層。實驗結(jié)果表明,與單尺度Retinex算法、多尺度Retinex算法、直方圖均衡化算法和引導(dǎo)濾波算法相比,從主觀方面來看,本文算法能夠有效避免SSR算法和MSR算法帶來的“光暈”現(xiàn)象,相比直方圖均衡化算法和引導(dǎo)濾波算法,本文算法能夠在一定程度上克服增強圖像細(xì)節(jié)信息丟失和色彩偏差問題,處理后圖像局部信息清晰可見;從客觀評價方面來看,本文算法的信息熵、結(jié)構(gòu)相似性和平均梯度3個指標(biāo)都比較高。此外,雖然算法在圖像增強方面達(dá)到了一定的效果,但針對去除噪聲的研究還有待進(jìn)一步深入。