劉磊磊，蔣榮欣

低照度視頻監(jiān)控圖像降噪算法設(shè)計(jì)與實(shí)現(xiàn)

劉磊磊，蔣榮欣

(浙江大學(xué)浙江省網(wǎng)絡(luò)多媒體技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，杭州 310027)

針對(duì)低照度環(huán)境下視頻監(jiān)控圖像噪點(diǎn)較多的問(wèn)題，提出一種基于運(yùn)動(dòng)檢測(cè)的低照度視頻監(jiān)控圖像降噪算法。在研究低照度視頻監(jiān)控圖像噪聲特點(diǎn)的基礎(chǔ)上，通過(guò)一種閾值運(yùn)動(dòng)檢測(cè)算法將圖像幀劃分成8×8的運(yùn)動(dòng)像素宏塊和靜止像素宏塊，對(duì)運(yùn)動(dòng)像素宏塊采用改進(jìn)的維納濾波算法進(jìn)行降噪，對(duì)靜止像素宏塊采用數(shù)學(xué)形態(tài)學(xué)和中值濾波相結(jié)合的算法進(jìn)行降噪。實(shí)驗(yàn)數(shù)據(jù)顯示，該算法總體時(shí)間復(fù)雜度接近()，使用該算法降噪后的圖像的PSNR值和DV/BV值均高于經(jīng)典降噪算法，證明了該算法在降低時(shí)間復(fù)雜度的同時(shí)，能有效降低圖像噪聲，并較好地保持圖像的解析度。

低照度；圖像降噪；運(yùn)動(dòng)檢測(cè)；數(shù)學(xué)形態(tài)學(xué)；中值濾波；維納濾波

1 概述

目前，視頻監(jiān)控系統(tǒng)對(duì)圖像低噪聲、高解析度和高實(shí)時(shí)性提出了更高的要求。然而，在低照度(照度<1.0Lux)環(huán)境下，電荷耦合器件(Charge Coupled Device, CCD)攝像機(jī)在提高傳感器增益以增強(qiáng)光信號(hào)強(qiáng)度的同時(shí)也放大了噪聲，所以采集到的圖像往往噪點(diǎn)很多[1]。

傳統(tǒng)的頻域降噪算法復(fù)雜度很高，空域降噪算法存在降噪效果不佳或者容易引起圖像模糊的問(wèn)題?；谛〔ㄗ儞Q和偏微分方程理論的降噪算法的研究是近年來(lái)的熱點(diǎn)。文獻(xiàn)[2]提出的鄰域閾值萎縮(NeighShrink)法以及文獻(xiàn)[3]方法都是對(duì)小波軟硬閾值降噪法的改進(jìn)，其核心問(wèn)題是選取合適的閾值函數(shù)。文獻(xiàn)[4]提出的基于對(duì)數(shù)圖像處理(Logar- ithmic Image Processing, LIP)的偏微分方程降噪模型結(jié)合了LIP模型[5]和全變分(Total Variation, TV)模型。這些算法在降噪效果上有很大改進(jìn)，但是復(fù)雜度都較高，不能滿足監(jiān)控系統(tǒng)高實(shí)時(shí)性的要求。

本文在研究低照度視頻監(jiān)控圖像噪聲特點(diǎn)的基礎(chǔ)上，綜合考慮圖像降噪效果、圖像解析度和算法復(fù)雜度，提出一種基于運(yùn)動(dòng)檢測(cè)的降噪算法。該算法通過(guò)運(yùn)動(dòng)檢測(cè)，對(duì)運(yùn)動(dòng)像素宏塊使用改進(jìn)的維納濾波降噪算法，并對(duì)靜止像素宏塊使用數(shù)學(xué)形態(tài)學(xué)和中值濾波法相結(jié)合的降噪算法。

2 低照度視頻監(jiān)控圖像噪聲特點(diǎn)分析

圖像中的噪聲主要有以下3類[6]，在不同環(huán)境下都有可能成為影響圖像質(zhì)量的主導(dǎo)噪聲。

(1)脈沖噪聲：該類噪聲主要是圖像傳輸和存儲(chǔ)過(guò)程中產(chǎn)生的。脈沖噪聲主要由電路中電荷活動(dòng)情況決定，與客觀環(huán)境的照度無(wú)關(guān)。

(2)量化噪聲：該類噪聲是攝像機(jī)使用放大和處理電路對(duì)信號(hào)進(jìn)行采樣和量化處理時(shí)產(chǎn)生的。放大電路輸出信號(hào)信噪比公式如下：

其中，是數(shù)模轉(zhuǎn)換器的分辨率；f為采樣速率；max是最高的輸入信號(hào)頻率。由式(1)可知，量化噪聲與客觀環(huán)境照度無(wú)關(guān)。

(3)隨機(jī)噪聲：該類噪聲主要是CCD攝像管的讀出噪聲。讀出噪聲是一種加性噪聲，主要是在圖像傳感器光電轉(zhuǎn)換中產(chǎn)生的。在低照度情況下，讀出噪聲模型服從泊松密度分布。

CCD攝像管的讀出噪聲輸出信噪比公式如下：

其中，是一個(gè)光敏單元存儲(chǔ)的電荷量；是輸入電容；表示絕對(duì)溫度。與客觀環(huán)境光線強(qiáng)度相關(guān)，光線充足時(shí)會(huì)相應(yīng)增大，所以在低照度環(huán)境下圖像的信噪比會(huì)降低，圖像的讀出噪聲比較嚴(yán)重。

由此可見(jiàn)，低照度視頻監(jiān)控圖像中的主導(dǎo)噪聲是CCD攝像管攝像產(chǎn)生的讀出噪聲。

3 低照度視頻監(jiān)控圖像降噪算法

3.1 算法整體框架

本文設(shè)計(jì)的低照度視頻監(jiān)控圖像降噪算法流程如圖1所示。

圖1 低照度降噪算法流程

輸入圖像被劃分成8×8的像素宏塊，與緩存的參考幀(上一幀)一起經(jīng)過(guò)運(yùn)動(dòng)檢測(cè)算法被判定為運(yùn)動(dòng)宏塊或者是靜止宏塊。

空域降噪算法應(yīng)用于運(yùn)動(dòng)圖像時(shí)，或是對(duì)攝像管的讀出噪聲降噪效果很差，或是容易引起圖像模糊，所以，本文對(duì)運(yùn)動(dòng)宏塊使用了改進(jìn)的維納濾波法進(jìn)行降噪。維納濾波可以很好地保留圖像高頻部分的圖像細(xì)節(jié)信息。本文對(duì)維納濾波進(jìn)行了改進(jìn)，對(duì)圖像的高頻部分進(jìn)行了屏蔽，然后再進(jìn)行濾波，更好地保留了圖像的細(xì)節(jié)信息。

對(duì)靜止宏塊使用數(shù)學(xué)形態(tài)學(xué)和中值濾波法相結(jié)合的方法進(jìn)行降噪。數(shù)學(xué)形態(tài)學(xué)降噪效果較差，但是由于開(kāi)/閉運(yùn)算具有聚類功能，圖像信息不易丟失；中值濾波法降噪效果較好，但是由于低照度圖像中噪聲與圖像信息亮度值差別很小，降噪同時(shí)會(huì)丟失較多的圖像信息。所以，先使用數(shù)學(xué)形態(tài)學(xué)去除部分噪聲，并將圖像細(xì)節(jié)信息聚集；再使用中值濾波法濾除剩余噪聲，這時(shí)由于圖像信息相對(duì)集中，去除噪聲時(shí)可以避免丟失大量圖像信息。

維納濾波法的時(shí)間復(fù)雜度為(lb)，在頻域算法中是比較低的[7]；數(shù)學(xué)形態(tài)學(xué)和中值濾波法相結(jié)合的算法的時(shí)間復(fù)雜度為()。由于運(yùn)動(dòng)宏塊在監(jiān)控圖像中相對(duì)很少，因此該算法總體時(shí)間度接近()。

3.2 運(yùn)動(dòng)檢測(cè)

本文設(shè)計(jì)的運(yùn)動(dòng)檢測(cè)算法如下：將當(dāng)前幀劃分為8×8的像素宏塊，像素宏塊中每一個(gè)像素與參考幀(上一幀)相應(yīng)位置像素的值做差，并得到所有像素處理后的差方和。設(shè)置一個(gè)閾值，若差方和大于閾值認(rèn)為該像素宏塊是運(yùn)動(dòng)宏塊，否則認(rèn)為是靜止宏塊。閾值的選擇是該算法的核心問(wèn)題[8]。

差方和表達(dá)式如下：

其中，表示差方和；表示8×8像素塊；表示灰度值。

對(duì)大量視頻監(jiān)控圖像分析發(fā)現(xiàn)，由于相鄰兩幀圖像之間背景相同，其大部分像素宏塊是靜止宏塊。靜止像素宏塊的比例一般都在80%以上，只有少數(shù)場(chǎng)景(如繁忙的高速)運(yùn)動(dòng)像素宏塊的比例會(huì)接近30%，很多場(chǎng)景(如深夜的街道)靜止像素宏塊的比例高達(dá)95%以上。大量實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)運(yùn)動(dòng)閾值為15時(shí)，運(yùn)動(dòng)判定效果較好。

3.3 改進(jìn)的維納濾波降噪

一般用統(tǒng)計(jì)學(xué)上的均值和方差來(lái)描述噪聲。噪聲的均值體現(xiàn)了噪聲的總強(qiáng)度，噪聲的方差體現(xiàn)了噪聲的分布情況。若(,)表示圖像信號(hào)的二維灰度分布，(,)表示噪聲，、表示圖像的行列數(shù)，其噪聲的均值和方差表達(dá)式如 式(4)和式(5)所示。

降噪后圖像(,)與(,)的方差最小是維納濾波的基本思想[9]。本文對(duì)維納濾波法進(jìn)行了改進(jìn)，先對(duì)圖像邊緣細(xì)節(jié)相對(duì)集中的高頻部分進(jìn)行屏蔽，避開(kāi)了對(duì)圖像物體邊緣的平滑處理，然后再進(jìn)行降噪濾波處理，從而減少了圖像物體邊緣模糊的現(xiàn)象。

由于圖像的不規(guī)則性，本文對(duì)圖2所示的9個(gè)模板覆蓋的像素進(jìn)行處理，其中圖2(a)包含了4個(gè)對(duì)稱的屋形模板，圖2(b)包含了4個(gè)對(duì)稱六邊形的模板，圖2(c)包含了1個(gè)正方形的模板，黑色像素點(diǎn)是9個(gè)模板覆蓋的所有像素的中心像素點(diǎn)。先計(jì)算每個(gè)模板方差以及9個(gè)模板的方差均值，并得到其比值，再用該比值、模板的平均灰度以及當(dāng)前像素的灰度一起求出一個(gè)新的像素值，最后對(duì)含有噪聲的像素點(diǎn)用該新的像素值進(jìn)行修正。

圖2 9種不同形狀模板

算法具體設(shè)計(jì)如下：

(1)計(jì)算圖2所示9個(gè)模板包含的所有像素點(diǎn)的灰度值的平均值、9個(gè)模板各自包含的像素點(diǎn)的灰度值均值和方差。然后對(duì)像素值和模板方差進(jìn)行修正：當(dāng)前模板像素修正值=當(dāng)前像素值–當(dāng)前模板像素的灰度均值；當(dāng)前模板方差修正值=當(dāng)前模板方差–所有模板方差的平均值。

(2)計(jì)算各個(gè)模板噪聲功率系數(shù)。其計(jì)算公式如下：

(3)對(duì)所有需要進(jìn)行降噪的像素點(diǎn)進(jìn)行相同的處理。

3.4 數(shù)學(xué)形態(tài)學(xué)和中值濾波法相結(jié)合的降噪

數(shù)學(xué)形態(tài)學(xué)和中值濾波法相結(jié)合的降噪過(guò)程如下：

(1)對(duì)YUV圖像的灰度值(即分量)進(jìn)行數(shù)學(xué)形態(tài)學(xué)濾波。

若給定數(shù)學(xué)形態(tài)學(xué)結(jié)構(gòu)元素的二值模板(,)和二值圖像(,)，那么腐蝕和膨脹運(yùn)算表達(dá)式[10]如下：

在此基礎(chǔ)上，開(kāi)運(yùn)算和閉運(yùn)算定義如下：讓結(jié)構(gòu)元素沿著(,)滾動(dòng)，開(kāi)運(yùn)算沿著(,)的下沿滾動(dòng)，閉運(yùn)算沿上沿滾動(dòng)。經(jīng)過(guò)開(kāi)閉運(yùn)算之后，可以去除所有直徑小于結(jié)構(gòu)元素的灰度階越點(diǎn)。

低照度視頻監(jiān)控圖像主要是隨機(jī)的細(xì)小亮點(diǎn)和毛刺，可以使用開(kāi)運(yùn)算進(jìn)行處理，即選擇直徑略大于噪聲的結(jié)構(gòu)元素，先對(duì)圖像進(jìn)行腐蝕運(yùn)算來(lái)去除亮點(diǎn)和毛刺，再進(jìn)行膨脹運(yùn)算增加圖像的亮度。噪聲的直徑是比較小的，所以本文選擇3×3結(jié)構(gòu)元素窗口。

(2)對(duì)分量進(jìn)行中值濾波。

若有一個(gè)序列1,2,···,f，滑動(dòng)窗口長(zhǎng)度為(取奇數(shù))，中值濾波時(shí)就是從序列中選擇f–t,···,f–1,f,f1,···,f；f是窗口中心的值，其中=(–1)/2。那么濾波輸出就是該個(gè)值的中值。中值濾波的表達(dá)式[11]如下：

由于數(shù)學(xué)形態(tài)學(xué)濾波把圖像信息聚集到了一起，再使用中值濾波去除噪聲時(shí)避免了大量圖像細(xì)節(jié)的損失。為了保證降噪效果，本文選擇了3×3滑動(dòng)窗口。

4 實(shí)驗(yàn)結(jié)果與分析

該算法已經(jīng)使用在作者所在視頻監(jiān)控項(xiàng)目中，用于解碼之后圖像的降噪。本文選擇了視頻監(jiān)控系統(tǒng)在低照度環(huán)境下的2段具有代表性的監(jiān)控錄像進(jìn)行實(shí)驗(yàn)分析。監(jiān)控圖像1和監(jiān)控圖像2分別是深夜安靜的馬路(沒(méi)有運(yùn)動(dòng)物體)和夜晚城市高架(有較多運(yùn)動(dòng)的行人和車輛)。

實(shí)驗(yàn)時(shí)各參數(shù)的選擇如表1所示。

表1 實(shí)驗(yàn)參數(shù)

同時(shí)實(shí)驗(yàn)對(duì)比了數(shù)學(xué)形態(tài)學(xué)、中值濾波法和維納濾波法降噪效果、圖像解析度和時(shí)間復(fù)雜度。實(shí)驗(yàn)結(jié)果如圖3和圖4所示。

從實(shí)驗(yàn)結(jié)果可以看到數(shù)學(xué)形態(tài)學(xué)法雖然保持了較好的圖像解析度，但是降噪效果不明顯；中值濾波法降噪效果較好，但是會(huì)引起運(yùn)動(dòng)物體邊緣模糊；維納濾波法降噪效果和保持圖像解析度方面表現(xiàn)都不錯(cuò)；本文方法降噪效果明顯且保持了圖像具有較高的解析度。

圖3 監(jiān)控圖像1實(shí)驗(yàn)結(jié)果

圖4 監(jiān)控圖像2實(shí)驗(yàn)結(jié)果

在圖像客觀評(píng)價(jià)中，峰值信噪比(Peak Signal to Noise Ratio, PSNR)用來(lái)評(píng)價(jià)降噪效果好壞，細(xì)節(jié)方差(Detail Variance, DV)-背景方差(Background Variance, BV)比[12]常用來(lái)評(píng)價(jià)圖像邊緣和細(xì)節(jié)是否豐富。PSNR越高，說(shuō)明圖像噪聲越少，DV/BV越高說(shuō)明圖像解析度越高。針對(duì)圖3和圖4的客觀評(píng)價(jià)結(jié)果如表2和表3所示。

表2 監(jiān)控圖像1實(shí)驗(yàn)結(jié)果客觀評(píng)價(jià)

表3 監(jiān)控圖像2實(shí)驗(yàn)結(jié)果客觀評(píng)價(jià)

根據(jù)運(yùn)動(dòng)檢測(cè)算法，可以計(jì)算出圖3中各圖運(yùn)動(dòng)像素宏塊比例為1.3%；圖4中運(yùn)動(dòng)像素宏塊比例為7.6%，所以，本文算法的復(fù)雜度接近于()。由客觀評(píng)價(jià)結(jié)果可知本文方法無(wú)論是在降噪效果(PSNR值)和保持解析度方面(DV/ BV值)都要優(yōu)于其他降噪方法。此外，時(shí)間復(fù)雜度比起一般空域?yàn)V波降噪算法提高不多，比較適合用于視頻監(jiān)控圖像的實(shí)時(shí)降噪處理。

5 結(jié)束語(yǔ)

本文設(shè)計(jì)并實(shí)現(xiàn)了一種適用于低照度視頻監(jiān)控圖像的降噪算法。該算法兼顧了降噪效果、圖像解析度以及算法時(shí)間復(fù)雜度。實(shí)驗(yàn)表明經(jīng)過(guò)該算法降噪的低照度視頻監(jiān)控圖像的PSNR和DV/BV值都較高，說(shuō)明降噪之后圖像噪聲低，解析度高；由于只有少數(shù)運(yùn)動(dòng)像素宏塊使用了復(fù)雜度較高的改進(jìn)的維納濾波算法，因此該算法復(fù)雜度較低，符合監(jiān)控系統(tǒng)實(shí)時(shí)性高的要求。今后主要改進(jìn)工作是針對(duì)運(yùn)動(dòng)宏塊設(shè)計(jì)復(fù)雜度較低的降噪算法，以降低算法的整體復(fù)雜度，更好地達(dá)到監(jiān)控系統(tǒng)高實(shí)時(shí)性的要求。

[1] Liu Xiuping. Impulsive Noise Removal by Nonlocal Fuzzy Diffusion[C]//Proc. of the 4th International Conference of Image and Graphics. Chengdu, China, [s. n.], 2007: 155-159.

[2] Chen Guangyi, Bui T D, Krzyzak A. Image Denoising Using Neighbouring Wavelet Coefficients[J]. Integrated Computer- Aided Engineering, 2005, 12(1): 99-107.

[3] 王傳鑫, 邵 誠(chéng), 韓 瑜. 基于蟻群算法的小波降噪雙閾值優(yōu)選方法[J]. 控制與決策, 2011, 17(1): 163-165.

[4]Collins R T. Mean-shift Blob Tracking Through Scale Space[C]//Proc. of Conference on Computer Vision and Pattern Recognition. Washington D. C, USA: IEEE Computer Society, 2003: 18-20.

[5] 彭寧嵩, 楊 杰, 劉 志, 等. Mean-Shift跟蹤算法中核函數(shù)窗寬的自動(dòng)選取[J]. 軟件學(xué)報(bào), 2005, 16(9): 1542-1550.

[6] 彭 波, 王一鳴. 低照度圖像去噪算法的研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)應(yīng)用, 2007, 27(2): 17-21.

[7] Adikari A, Fernando W, Weerakkody W. Side Information Improvement in DVC with Two Side Information Streams and 3D Motion Refinement[C]//Proc. of Canadian Conference on Electrical and Computer Engineering. Vancouver, Canada: Electrical and Computer Engineering, 2007: 32-35.

[8] Zhai Jiefu, Yu Keman, Li Shipeng. A Low Complexity Motion Compensated Frame Interpolation Method[C]//Proc. of IEEE International Symposium on Circuits and Systems. Kobe, Japan: IEEE Press, 2005: 4927-4930.

[9] Wang Lipo, Rajapaksej C, Fukushima K. Speckle Reduction Using Wiener Filtering in Wavelet Domain[C]//Proc. of the 9th International Conference on Neural Information Processing. Singapore: IEEE Computer Society, 2007: 792-795.

[10] 蔡 超, 劉買利, 丁明躍, 等. 一種基于偏微分方程的形態(tài)學(xué)邊緣檢測(cè)新方法[J]. 華中科技大學(xué)學(xué)報(bào): 自然科學(xué)版, 2003, 34(10): 36-39.

[11] Award M, Chehdi K, Nasri A. Multi-component Image Segmentation Using a Hybrid Dynamic Genetic Algorithm and Fuzzy C-means[J]. IET Image Processing, 2009, 3(2): 52-62.

[12] Xu Zhiyuan, Liu Xiaoming. Fog Removal from Color Images Using Contrast Limited Adaptive Histogram Equalization[C]// Proc. of Image and Signal Processing. Dalian, China: [s. n.], 2009: 1-5.

編輯 金胡考

Design and Implementation of Noise Reduction Algorithm for Low-light Video Surveillance Image

LIU Lei-lei, JIANG Rong-xin

(Key Laboratory of Network Multimedia Technology of Zhejiang Province, Zhejiang University, Hangzhou 310027, China)

For strong noise of low-light video surveillance image, a new image noise reduction algorithm based on motion detection is proposed. The property of the noise of low-light video surveillance image is studied and the image is divided into 8×8 motion pixels blocks and still pixels blocks by a kind of threshold motion detection algorithm. An improved Wiener filter is designed and implemented for noise reduction of motion pixels blocks. The compact algorithm of mathematical morphology and median filtering for noise reduction of still pixels blocks is designed. Experimental results show that the time complexity of the algorithm is about() and the value of PSNR and DV/BV of image after noise reduction is higher than other algorithms. This proves the time complexity of the image noise reduction algorithm is low, while the image noises are well reduced and there is little loss in the resolution of image.

low-light; image noise reduction; motion detection; mathematical morphology; median filtering; Wiener filtering

1000-3428(2014)03-0266-04

A

TP391

國(guó)家“863”計(jì)劃基金資助項(xiàng)目“相控陣三維聲學(xué)攝像聲納信號(hào)處理系統(tǒng)”(2010AA09Z104)

劉磊磊(1988－)，男，碩士研究生，主研方向：網(wǎng)絡(luò)多媒體技術(shù)；蔣榮欣，副研究員

2013-03-05

2013-04-10 E-mail：zjuliull@163.com

10.3969/j.issn.1000-3428.2014.03.056