張 遼,趙金宇,曹景太,吳慶林,崔博川
(1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所,吉林 長春130033;2.中國科學(xué)院大學(xué),北京100049)
在實(shí)時監(jiān)控、觀測中,為了得到質(zhì)量良好的圖像,必須對采集到的圖像進(jìn)行增強(qiáng)處理。增強(qiáng)處理有兩個作用:第一,圖像在采集過程中會受到噪聲干擾而使圖像質(zhì)量下降[1],增強(qiáng)后,會使噪聲變小,圖像的質(zhì)量得到改善;第二,圖像增強(qiáng)后會變得更符合計算機(jī)的識別和系統(tǒng)應(yīng)用的要求[2],視覺特性也會得到改善。圖像增強(qiáng)算法主要有頻率域法和空間域法[3],前者主要變換到頻率域處理,后者是對每個像素的灰度值直接處理[4]。
實(shí)時性是圖像增強(qiáng)非常重要的指標(biāo)。近年來關(guān)于圖像去噪,國內(nèi)外許多學(xué)者提出了很多效果較好的算法[5-9],但是大都不滿足工程應(yīng)用的實(shí)時性要求。因此,目前的實(shí)時性算法大都比較簡單,算法效果有待提高[10-11]。主流的增強(qiáng)方法是利用直方圖均衡化理論,其核心思想是減少圖像的灰度級,來使圖像對比度變大。此方法的優(yōu)點(diǎn)是簡單、有效且易于實(shí)現(xiàn)。但是,過度增強(qiáng)像素點(diǎn)、放大噪聲、圖像細(xì)節(jié)丟失等缺點(diǎn)也限制了它的廣泛應(yīng)用[12]。
本文提出了一種改進(jìn)的基于局部統(tǒng)計特性的增強(qiáng)算法。在傳統(tǒng)的局部增強(qiáng)算法之前,使用超限鄰域法對原始圖像進(jìn)行去噪處理:通過設(shè)置閾值判斷像素點(diǎn)是否為噪聲點(diǎn)以及是否需要增強(qiáng)。由算法的仿真可得出,改進(jìn)算法的抗噪能力得到增強(qiáng);硬件測試后,實(shí)時性能也符合工程應(yīng)用要求。
基于局部統(tǒng)計的增強(qiáng)算法[13]是基于圖像鄰域的數(shù)字特征的算法,它以局部區(qū)域統(tǒng)計特征(方差、均值)為依據(jù),在一定指標(biāo)下,判斷某一區(qū)域像素點(diǎn)是否需要進(jìn)行增強(qiáng)。主要步驟如下:
1)相關(guān)數(shù)字特征的計算
對數(shù)字圖像的處理,實(shí)質(zhì)上是對灰度矩陣的處理。假設(shè)1 個m×n 像素矩陣,它的所有像素的平均值(全局灰度)是MG,標(biāo)準(zhǔn)差是DG。它們分別度量了圖像的強(qiáng)度和對比度。
假設(shè)一像素點(diǎn)(x,y),Sxy是以它為中心的確定大小的鄰域,(s,t)是鄰域內(nèi)像素點(diǎn),mSxy表示領(lǐng)域的平均像素灰度值,δSxy表示鄰域的標(biāo)準(zhǔn)差。計算公式如下
式中:鄰域內(nèi)(s,t)坐標(biāo)處的灰度值用rs,t表示,對應(yīng)灰度值的鄰域歸一化直方圖分量由p(rs,t)表示,它代表了灰度值rs,t在鄰域內(nèi)出現(xiàn)的概率。rs,t和p(rs,t)分別度量了鄰域強(qiáng)度和對比度。由公式(1)和(2)可得出,當(dāng)鄰域擴(kuò)大為整幅圖時,MG變?yōu)閙Sxy,DG變?yōu)棣腟xy。
2)增強(qiáng)條件的判斷
首先要選擇需要增強(qiáng)的是暗區(qū)還是亮區(qū),不同的區(qū)域會導(dǎo)致參數(shù)不同。如增強(qiáng)亮區(qū)域則應(yīng)有:待增強(qiáng)區(qū)域均值大于全局均值,即mSxy≥k0MG,k0>1,反之同理。其次,所需增強(qiáng)區(qū)域一般具有較低的對比度,故還需進(jìn)行對比度限制:δSxy≤k2DG,0 <k2<1,表明局部對比度小于全局對比度;此外,為了不對標(biāo)準(zhǔn)差為0 的恒定區(qū)域進(jìn)行增強(qiáng),對δSxy還應(yīng)有δSxy≥k1DG,其中k0,k1和k2是系數(shù),都為正,且存在k1<k2。符合以上所有條件的像素點(diǎn)才是增強(qiáng)目標(biāo)。
3)增強(qiáng)公式
對待增強(qiáng)像素點(diǎn)進(jìn)行如下處理
式中:f(x,y)是(x,y)點(diǎn)處原有的像素值;g(x,y)是處理后該點(diǎn)的像素值;E 是增強(qiáng)的倍數(shù);k0,k1,k2是相關(guān)參數(shù)。
4)確定各相關(guān)參數(shù)的取值。
對某些特定圖像比如暗背景圖像,此算法具有較好的增強(qiáng)效果。但由于只是簡單地將灰度增強(qiáng)了E 倍,導(dǎo)致某些區(qū)域?qū)Ρ榷炔粔蛎黠@。另外,由于未對噪聲進(jìn)行處理,該算法很容易把噪聲點(diǎn)誤判為需要增強(qiáng)的像素點(diǎn),對噪聲的灰度進(jìn)行放大,影響圖像質(zhì)量??乖肽芰Σ?,成為了它被廣泛應(yīng)用的最大限制之一。
鄰域均值法是一種基于空間的局部處理算法,即將一個像元為中心的整個鄰域的均值賦給輸出圖像相應(yīng)的像元,從而達(dá)到圖像平滑去噪。用公式表達(dá)為
鄰域均值法算法簡單,處理速度快,但是在降低噪聲的同時使圖像產(chǎn)生模糊,邊緣和細(xì)節(jié)退化,退化程度和鄰域半徑成正比。
超限鄰域法是在鄰域均值法的基礎(chǔ)上改進(jìn)得到,它對鄰域均值法的模糊作用進(jìn)行了抑制,同時保留了其算法簡單、快速的優(yōu)點(diǎn)。
如果鄰域A(N×N)內(nèi)某點(diǎn)像素值大于相應(yīng)鄰域像素的均值,且達(dá)到了一定水平(閾值T),則判斷它是噪聲,就用鄰域均值替代該點(diǎn)像素值
大量實(shí)驗(yàn)證明,閾值T 選擇太大會使噪聲消除不干凈,太小則會降低處理速度以及使圖像模糊,一般T 的取值在10~30 范圍。實(shí)際應(yīng)用中,由于計算量限制,窗口大小一般選3×3。
在圖像采集的過程中,由于外界條件的干擾經(jīng)常會出現(xiàn)毛刺等噪聲,使得某一像素點(diǎn)的值與周圍相差較大。在用局部增強(qiáng)算法增強(qiáng)時,有時會把該噪聲點(diǎn)錯誤增強(qiáng)。為了將噪聲去除,在判斷一個像素點(diǎn)是否需要增強(qiáng)之前,先判斷它是否是噪聲,如式(5)。算法的流程如圖1 所示。
圖1 改進(jìn)算法的流程
設(shè)置一個閾值,如果該點(diǎn)像素值與鄰域均值的差的絕對值大于閾值T,就判斷它是噪聲點(diǎn),進(jìn)行去噪;不是噪聲的像素點(diǎn),再進(jìn)行局部統(tǒng)計增強(qiáng)判斷,進(jìn)行增強(qiáng)。
相比原算法,它增加了一個去噪過程,對噪聲特別是孤點(diǎn)噪聲的抑制效果得到提高。在此基礎(chǔ)上,鄰域均值不需要額外計算,增加的計算量很小,可滿足實(shí)時性要求。
本文的仿真實(shí)驗(yàn)是用MATLAB R2013a 完成的。仿真所得的實(shí)驗(yàn)圖如圖2 ~圖4 所示。
2 原圖及其經(jīng)過不同算法處理后的增強(qiáng)圖
圖3 加椒鹽噪聲后原圖及其經(jīng)過不同算法處理后的增強(qiáng)圖
圖2a 是一根支架上纏繞的鎢絲圖像,其背景右側(cè)中還存在一根鎢絲,但是很暗,要使右側(cè)的鎢絲特征顯現(xiàn)出來,現(xiàn)用傳統(tǒng)算法和改進(jìn)算法分別進(jìn)行暗區(qū)增強(qiáng)處理。本文選擇k0=0.4,k1=0.01,k2=0.4,E=4,鄰域大小選擇3×3(圖2、圖3均如此選擇參數(shù))。圖2b 是使用傳統(tǒng)的局部增強(qiáng)算法增強(qiáng)后的圖像,可以看到,右側(cè)陰暗部分的細(xì)節(jié)已經(jīng)被顯示出來,明亮區(qū)域也得到了保留,但產(chǎn)生了一些過亮點(diǎn)。圖2c 是使用本文改進(jìn)算法得到的,可以看到效果和傳統(tǒng)算法相差不大。
為了校驗(yàn)改進(jìn)后的去噪性能,在原圖的基礎(chǔ)上加上噪聲,比較不同算法的處理結(jié)果,并用峰值信噪比(PSNR)來作為去噪客觀標(biāo)準(zhǔn)。結(jié)果如表1 示。
圖3a 是引入了噪聲比例為0.01 的椒鹽噪聲的鎢絲原圖。圖3b 是傳統(tǒng)局部增強(qiáng)算法處理后的圖像,可以看到雖然背景鎢絲被增強(qiáng),但是椒鹽噪聲卻充斥整幅圖像,說明原算法對椒鹽噪聲的抵抗力很低。圖3c 是經(jīng)過本文改進(jìn)算法處理后得到的圖像,閾值T=30,可以看到,椒鹽噪聲得到了較大地抑制。
表1 不同算法處理后的PSNR 值 dB
圖4a 是在原圖基礎(chǔ)上加入了均值為0,方差為0.01 的高斯噪聲得到的。圖4b 可看出,經(jīng)過傳統(tǒng)算法處理后,背景鎢絲幾乎被噪聲淹沒,較難分辨出增強(qiáng)后的背景。選取閾值T=10 后,圖4c 的視覺效果比圖4b 有所提高,高斯噪聲得到了較大的抑制,背景鎢絲已經(jīng)可以分辨出來。
圖4 加高斯噪聲后原圖及其經(jīng)過不同算法處理后的增強(qiáng)圖
可以看出,改進(jìn)算法較好地解決了原算法抗噪性差的缺點(diǎn),對比表1 的峰值信噪比可以看出,改進(jìn)算法在椒鹽噪聲和高斯噪聲的影響下,相比改進(jìn)前PSNR 值提高了約有3~4 dB。
硬件平臺是采用DSP+FPGA 架構(gòu)實(shí)現(xiàn)的,具有較好的靈活性和通用性[14-15]。用相機(jī)采集圖像后,經(jīng)過DSP 板卡編程處理,在顯示器上顯示出圖像。板卡是以FPGA Xilinx VIRTEX-4 和DSP C6000 芯片為核心,包含了各種接口、存儲器。圖5 是板卡的內(nèi)部邏輯原理圖,圖6 則是板卡的實(shí)物圖。
圖7a 所示是一個印有白色小樹圖案的灰色水杯,在白色小樹周圍還有一些小的白色圖案?,F(xiàn)要實(shí)現(xiàn)把中央?yún)^(qū)域的白色小樹灰度增強(qiáng),而暗區(qū)不動。圖像大小為720×576,對中心250×250 大小區(qū)域采用本文算法,閾值選取T=20,參數(shù)選取k0=1.5,k1=0.01,k2=0.4,E=2,鄰域大小選擇3×3。局部增強(qiáng)后得到圖7b,可以看到,白色小樹以及周圍白色圖案的亮度得到增強(qiáng),而暗區(qū)基本不變化,邊界未出現(xiàn)明顯輪廓,對噪聲的抑制效果也有體現(xiàn)。在實(shí)驗(yàn)過程中,圖像一秒幀數(shù)大于25 幀,滿足實(shí)時性要求。
圖5 板卡的內(nèi)部原理圖
圖6 板卡的實(shí)物圖
圖7 實(shí)時性硬件驗(yàn)證實(shí)驗(yàn)圖
為了滿足工程應(yīng)用的要求,針對傳統(tǒng)局部增強(qiáng)算法抗噪性差的缺點(diǎn),提出了一種局部區(qū)域增強(qiáng)的改進(jìn)算法,且復(fù)雜度的增加有限。該算法對椒鹽噪聲、高斯噪聲具有較好的抑制效果,同時具有較好的增強(qiáng)效果;局部區(qū)域增強(qiáng)后,邊界較為平滑,無明顯的假輪廓,保證了視覺效果。仿真實(shí)驗(yàn)證明,在高斯、椒鹽噪聲干擾下改進(jìn)算法的PSNR 值提高約3~4 dB;硬件實(shí)驗(yàn)表明,算法在實(shí)時應(yīng)用中具有較好的增強(qiáng)效果,實(shí)時處理每幀延時約20 ms,可滿足實(shí)時圖像處理領(lǐng)域中噪聲抑制和處理速度的要求。它是一種具有實(shí)用意義的圖像增強(qiáng)算法。
[1]張達(dá)奇,胡劍凌.基于人眼失真敏感度的圖像質(zhì)量評價算法研究[J].電視技術(shù),2014,38(19):28-31.
[2]魯業(yè)頻,陳兆龍,李素平.圖像質(zhì)量評價的研究現(xiàn)狀與發(fā)展[J].電視技術(shù),2014,38(19):23-27.
[3]劉春香,李洪祚.實(shí)時圖像增強(qiáng)算法研究[J]. 中國光學(xué)與應(yīng)用光學(xué),2009(5):395-401.
[4]張穎穎,張帥,張萍,等. 融合對比度和分布性的圖像顯著性區(qū)域檢測[J].光學(xué)精密工程,2014(4):1012-1019.
[5]NERCESSIAN S C,PANETTA K A,AGAIAN S S.Non-linear direct multi-scale image enhancement based on the luminance and contrast masking characteristics of the human visual system[J].IEEE Trans.Image Process,2013,22(9):3549-3561.
[6]XIE X,WANG C,ZHANG A,et al. A robust level set method based on local statistical information for noisy image segmentation[J]. Optik-International Journal for Light and Electron Optics,2014,125(9):2199–2204.
[7]YS C.A robust approach to image enhancement based on fuzzy logic[J].IEEE Trans.Image Process,1997(5):14-19.
[8]吳俊,汪源源,陳悅,等. 基于同質(zhì)區(qū)域自動選取的各向異性擴(kuò)散超聲圖像去噪[J].光學(xué)精密工程,2014(5):1312-1321.
[9]LEE K S,DOH W,PARK K J,et al.Image enhancement based on signal subspace approach[J]. International Conference on Image Processing,1996(8):777-780.
[10]黃梅,吳志勇,梁敏華,等. 暗背景下低灰度圖像的實(shí)時增強(qiáng)[J].液晶與顯示,2011(3):374-378.
[11]魏朝龍,滕少華.基于改進(jìn)ILAE 算法的圖像局部自適應(yīng)增強(qiáng)研究[J].計算機(jī)應(yīng)用與軟件,2011(2):111-113.
[12]陳瑩,朱明.多子直方圖均衡微光圖像增強(qiáng)及FPGA 實(shí)現(xiàn)[J].中國光學(xué),2014(2):225-233.
[13]RAFAEL C G,RICHARD E W.數(shù)字圖像處理[M].北京:電子工業(yè)出版社,2001.
[14]趙建,趙凡,曲鋒. 彩色圖像的FPGA 實(shí)時增強(qiáng)系統(tǒng)實(shí)現(xiàn)[J].液晶與顯示,2014(4):629-636.
[15]王德勝,康令州.基于FPGA 的實(shí)時圖像采集與預(yù)處理[J].電視技術(shù),2011,35(3):32-35.