劉磊磊，蔣榮欣

低照度視頻監(jiān)控圖像降噪算法設(shè)計與實現(xiàn)

劉磊磊，蔣榮欣

(浙江大學(xué)浙江省網(wǎng)絡(luò)多媒體技術(shù)研究重點實驗室，杭州 310027)

針對低照度環(huán)境下視頻監(jiān)控圖像噪點較多的問題，提出一種基于運動檢測的低照度視頻監(jiān)控圖像降噪算法。在研究低照度視頻監(jiān)控圖像噪聲特點的基礎(chǔ)上，通過一種閾值運動檢測算法將圖像幀劃分成8×8的運動像素宏塊和靜止像素宏塊，對運動像素宏塊采用改進的維納濾波算法進行降噪，對靜止像素宏塊采用數(shù)學(xué)形態(tài)學(xué)和中值濾波相結(jié)合的算法進行降噪。實驗數(shù)據(jù)顯示，該算法總體時間復(fù)雜度接近()，使用該算法降噪后的圖像的PSNR值和DV/BV值均高于經(jīng)典降噪算法，證明了該算法在降低時間復(fù)雜度的同時，能有效降低圖像噪聲，并較好地保持圖像的解析度。

低照度；圖像降噪；運動檢測；數(shù)學(xué)形態(tài)學(xué)；中值濾波；維納濾波

1 概述

目前，視頻監(jiān)控系統(tǒng)對圖像低噪聲、高解析度和高實時性提出了更高的要求。然而，在低照度(照度<1.0Lux)環(huán)境下，電荷耦合器件(Charge Coupled Device, CCD)攝像機在提高傳感器增益以增強光信號強度的同時也放大了噪聲，所以采集到的圖像往往噪點很多[1]。

傳統(tǒng)的頻域降噪算法復(fù)雜度很高，空域降噪算法存在降噪效果不佳或者容易引起圖像模糊的問題?；谛〔ㄗ儞Q和偏微分方程理論的降噪算法的研究是近年來的熱點。文獻[2]提出的鄰域閾值萎縮(NeighShrink)法以及文獻[3]方法都是對小波軟硬閾值降噪法的改進，其核心問題是選取合適的閾值函數(shù)。文獻[4]提出的基于對數(shù)圖像處理(Logar- ithmic Image Processing, LIP)的偏微分方程降噪模型結(jié)合了LIP模型[5]和全變分(Total Variation, TV)模型。這些算法在降噪效果上有很大改進，但是復(fù)雜度都較高，不能滿足監(jiān)控系統(tǒng)高實時性的要求。

本文在研究低照度視頻監(jiān)控圖像噪聲特點的基礎(chǔ)上，綜合考慮圖像降噪效果、圖像解析度和算法復(fù)雜度，提出一種基于運動檢測的降噪算法。該算法通過運動檢測，對運動像素宏塊使用改進的維納濾波降噪算法，并對靜止像素宏塊使用數(shù)學(xué)形態(tài)學(xué)和中值濾波法相結(jié)合的降噪算法。

2 低照度視頻監(jiān)控圖像噪聲特點分析

圖像中的噪聲主要有以下3類[6]，在不同環(huán)境下都有可能成為影響圖像質(zhì)量的主導(dǎo)噪聲。

(1)脈沖噪聲：該類噪聲主要是圖像傳輸和存儲過程中產(chǎn)生的。脈沖噪聲主要由電路中電荷活動情況決定，與客觀環(huán)境的照度無關(guān)。

(2)量化噪聲：該類噪聲是攝像機使用放大和處理電路對信號進行采樣和量化處理時產(chǎn)生的。放大電路輸出信號信噪比公式如下：

其中，是數(shù)模轉(zhuǎn)換器的分辨率；f為采樣速率；max是最高的輸入信號頻率。由式(1)可知，量化噪聲與客觀環(huán)境照度無關(guān)。

(3)隨機噪聲：該類噪聲主要是CCD攝像管的讀出噪聲。讀出噪聲是一種加性噪聲，主要是在圖像傳感器光電轉(zhuǎn)換中產(chǎn)生的。在低照度情況下，讀出噪聲模型服從泊松密度分布。

CCD攝像管的讀出噪聲輸出信噪比公式如下：

其中，是一個光敏單元存儲的電荷量；是輸入電容；表示絕對溫度。與客觀環(huán)境光線強度相關(guān)，光線充足時會相應(yīng)增大，所以在低照度環(huán)境下圖像的信噪比會降低，圖像的讀出噪聲比較嚴重。

由此可見，低照度視頻監(jiān)控圖像中的主導(dǎo)噪聲是CCD攝像管攝像產(chǎn)生的讀出噪聲。

3 低照度視頻監(jiān)控圖像降噪算法

3.1 算法整體框架

本文設(shè)計的低照度視頻監(jiān)控圖像降噪算法流程如圖1所示。

圖1 低照度降噪算法流程

輸入圖像被劃分成8×8的像素宏塊，與緩存的參考幀(上一幀)一起經(jīng)過運動檢測算法被判定為運動宏塊或者是靜止宏塊。

空域降噪算法應(yīng)用于運動圖像時，或是對攝像管的讀出噪聲降噪效果很差，或是容易引起圖像模糊，所以，本文對運動宏塊使用了改進的維納濾波法進行降噪。維納濾波可以很好地保留圖像高頻部分的圖像細節(jié)信息。本文對維納濾波進行了改進，對圖像的高頻部分進行了屏蔽，然后再進行濾波，更好地保留了圖像的細節(jié)信息。

對靜止宏塊使用數(shù)學(xué)形態(tài)學(xué)和中值濾波法相結(jié)合的方法進行降噪。數(shù)學(xué)形態(tài)學(xué)降噪效果較差，但是由于開/閉運算具有聚類功能，圖像信息不易丟失；中值濾波法降噪效果較好，但是由于低照度圖像中噪聲與圖像信息亮度值差別很小，降噪同時會丟失較多的圖像信息。所以，先使用數(shù)學(xué)形態(tài)學(xué)去除部分噪聲，并將圖像細節(jié)信息聚集；再使用中值濾波法濾除剩余噪聲，這時由于圖像信息相對集中，去除噪聲時可以避免丟失大量圖像信息。

維納濾波法的時間復(fù)雜度為(lb)，在頻域算法中是比較低的[7]；數(shù)學(xué)形態(tài)學(xué)和中值濾波法相結(jié)合的算法的時間復(fù)雜度為()。由于運動宏塊在監(jiān)控圖像中相對很少，因此該算法總體時間度接近()。

3.2 運動檢測

本文設(shè)計的運動檢測算法如下：將當前幀劃分為8×8的像素宏塊，像素宏塊中每一個像素與參考幀(上一幀)相應(yīng)位置像素的值做差，并得到所有像素處理后的差方和。設(shè)置一個閾值，若差方和大于閾值認為該像素宏塊是運動宏塊，否則認為是靜止宏塊。閾值的選擇是該算法的核心問題[8]。

差方和表達式如下：

其中，表示差方和；表示8×8像素塊；表示灰度值。

對大量視頻監(jiān)控圖像分析發(fā)現(xiàn)，由于相鄰兩幀圖像之間背景相同，其大部分像素宏塊是靜止宏塊。靜止像素宏塊的比例一般都在80%以上，只有少數(shù)場景(如繁忙的高速)運動像素宏塊的比例會接近30%，很多場景(如深夜的街道)靜止像素宏塊的比例高達95%以上。大量實驗發(fā)現(xiàn)當運動閾值為15時，運動判定效果較好。

3.3 改進的維納濾波降噪

一般用統(tǒng)計學(xué)上的均值和方差來描述噪聲。噪聲的均值體現(xiàn)了噪聲的總強度，噪聲的方差體現(xiàn)了噪聲的分布情況。若(,)表示圖像信號的二維灰度分布，(,)表示噪聲，、表示圖像的行列數(shù)，其噪聲的均值和方差表達式如 式(4)和式(5)所示。

降噪后圖像(,)與(,)的方差最小是維納濾波的基本思想[9]。本文對維納濾波法進行了改進，先對圖像邊緣細節(jié)相對集中的高頻部分進行屏蔽，避開了對圖像物體邊緣的平滑處理，然后再進行降噪濾波處理，從而減少了圖像物體邊緣模糊的現(xiàn)象。

由于圖像的不規(guī)則性，本文對圖2所示的9個模板覆蓋的像素進行處理，其中圖2(a)包含了4個對稱的屋形模板，圖2(b)包含了4個對稱六邊形的模板，圖2(c)包含了1個正方形的模板，黑色像素點是9個模板覆蓋的所有像素的中心像素點。先計算每個模板方差以及9個模板的方差均值，并得到其比值，再用該比值、模板的平均灰度以及當前像素的灰度一起求出一個新的像素值，最后對含有噪聲的像素點用該新的像素值進行修正。

圖2 9種不同形狀模板

算法具體設(shè)計如下：

(1)計算圖2所示9個模板包含的所有像素點的灰度值的平均值、9個模板各自包含的像素點的灰度值均值和方差。然后對像素值和模板方差進行修正：當前模板像素修正值=當前像素值–當前模板像素的灰度均值；當前模板方差修正值=當前模板方差–所有模板方差的平均值。

(2)計算各個模板噪聲功率系數(shù)。其計算公式如下：

(3)對所有需要進行降噪的像素點進行相同的處理。

3.4 數(shù)學(xué)形態(tài)學(xué)和中值濾波法相結(jié)合的降噪

數(shù)學(xué)形態(tài)學(xué)和中值濾波法相結(jié)合的降噪過程如下：

(1)對YUV圖像的灰度值(即分量)進行數(shù)學(xué)形態(tài)學(xué)濾波。

若給定數(shù)學(xué)形態(tài)學(xué)結(jié)構(gòu)元素的二值模板(,)和二值圖像(,)，那么腐蝕和膨脹運算表達式[10]如下：

在此基礎(chǔ)上，開運算和閉運算定義如下：讓結(jié)構(gòu)元素沿著(,)滾動，開運算沿著(,)的下沿滾動，閉運算沿上沿滾動。經(jīng)過開閉運算之后，可以去除所有直徑小于結(jié)構(gòu)元素的灰度階越點。

低照度視頻監(jiān)控圖像主要是隨機的細小亮點和毛刺，可以使用開運算進行處理，即選擇直徑略大于噪聲的結(jié)構(gòu)元素，先對圖像進行腐蝕運算來去除亮點和毛刺，再進行膨脹運算增加圖像的亮度。噪聲的直徑是比較小的，所以本文選擇3×3結(jié)構(gòu)元素窗口。

(2)對分量進行中值濾波。

若有一個序列1,2,···,f，滑動窗口長度為(取奇數(shù))，中值濾波時就是從序列中選擇f–t,···,f–1,f,f1,···,f；f是窗口中心的值，其中=(–1)/2。那么濾波輸出就是該個值的中值。中值濾波的表達式[11]如下：

由于數(shù)學(xué)形態(tài)學(xué)濾波把圖像信息聚集到了一起，再使用中值濾波去除噪聲時避免了大量圖像細節(jié)的損失。為了保證降噪效果，本文選擇了3×3滑動窗口。

4 實驗結(jié)果與分析

該算法已經(jīng)使用在作者所在視頻監(jiān)控項目中，用于解碼之后圖像的降噪。本文選擇了視頻監(jiān)控系統(tǒng)在低照度環(huán)境下的2段具有代表性的監(jiān)控錄像進行實驗分析。監(jiān)控圖像1和監(jiān)控圖像2分別是深夜安靜的馬路(沒有運動物體)和夜晚城市高架(有較多運動的行人和車輛)。

實驗時各參數(shù)的選擇如表1所示。

表1 實驗參數(shù)

同時實驗對比了數(shù)學(xué)形態(tài)學(xué)、中值濾波法和維納濾波法降噪效果、圖像解析度和時間復(fù)雜度。實驗結(jié)果如圖3和圖4所示。

從實驗結(jié)果可以看到數(shù)學(xué)形態(tài)學(xué)法雖然保持了較好的圖像解析度，但是降噪效果不明顯；中值濾波法降噪效果較好，但是會引起運動物體邊緣模糊；維納濾波法降噪效果和保持圖像解析度方面表現(xiàn)都不錯；本文方法降噪效果明顯且保持了圖像具有較高的解析度。

圖3 監(jiān)控圖像1實驗結(jié)果

圖4 監(jiān)控圖像2實驗結(jié)果

在圖像客觀評價中，峰值信噪比(Peak Signal to Noise Ratio, PSNR)用來評價降噪效果好壞，細節(jié)方差(Detail Variance, DV)-背景方差(Background Variance, BV)比[12]常用來評價圖像邊緣和細節(jié)是否豐富。PSNR越高，說明圖像噪聲越少，DV/BV越高說明圖像解析度越高。針對圖3和圖4的客觀評價結(jié)果如表2和表3所示。

表2 監(jiān)控圖像1實驗結(jié)果客觀評價

表3 監(jiān)控圖像2實驗結(jié)果客觀評價

根據(jù)運動檢測算法，可以計算出圖3中各圖運動像素宏塊比例為1.3%；圖4中運動像素宏塊比例為7.6%，所以，本文算法的復(fù)雜度接近于()。由客觀評價結(jié)果可知本文方法無論是在降噪效果(PSNR值)和保持解析度方面(DV/ BV值)都要優(yōu)于其他降噪方法。此外，時間復(fù)雜度比起一般空域濾波降噪算法提高不多，比較適合用于視頻監(jiān)控圖像的實時降噪處理。

5 結(jié)束語

本文設(shè)計并實現(xiàn)了一種適用于低照度視頻監(jiān)控圖像的降噪算法。該算法兼顧了降噪效果、圖像解析度以及算法時間復(fù)雜度。實驗表明經(jīng)過該算法降噪的低照度視頻監(jiān)控圖像的PSNR和DV/BV值都較高，說明降噪之后圖像噪聲低，解析度高；由于只有少數(shù)運動像素宏塊使用了復(fù)雜度較高的改進的維納濾波算法，因此該算法復(fù)雜度較低，符合監(jiān)控系統(tǒng)實時性高的要求。今后主要改進工作是針對運動宏塊設(shè)計復(fù)雜度較低的降噪算法，以降低算法的整體復(fù)雜度，更好地達到監(jiān)控系統(tǒng)高實時性的要求。

[1] Liu Xiuping. Impulsive Noise Removal by Nonlocal Fuzzy Diffusion[C]//Proc. of the 4th International Conference of Image and Graphics. Chengdu, China, [s. n.], 2007: 155-159.

[2] Chen Guangyi, Bui T D, Krzyzak A. Image Denoising Using Neighbouring Wavelet Coefficients[J]. Integrated Computer- Aided Engineering, 2005, 12(1): 99-107.

[3] 王傳鑫, 邵 誠, 韓 瑜. 基于蟻群算法的小波降噪雙閾值優(yōu)選方法[J]. 控制與決策, 2011, 17(1): 163-165.

[4]Collins R T. Mean-shift Blob Tracking Through Scale Space[C]//Proc. of Conference on Computer Vision and Pattern Recognition. Washington D. C, USA: IEEE Computer Society, 2003: 18-20.

[5] 彭寧嵩, 楊 杰, 劉 志, 等. Mean-Shift跟蹤算法中核函數(shù)窗寬的自動選取[J]. 軟件學(xué)報, 2005, 16(9): 1542-1550.

[6] 彭 波, 王一鳴. 低照度圖像去噪算法的研究與實現(xiàn)[J]. 計算機應(yīng)用, 2007, 27(2): 17-21.

[7] Adikari A, Fernando W, Weerakkody W. Side Information Improvement in DVC with Two Side Information Streams and 3D Motion Refinement[C]//Proc. of Canadian Conference on Electrical and Computer Engineering. Vancouver, Canada: Electrical and Computer Engineering, 2007: 32-35.

[8] Zhai Jiefu, Yu Keman, Li Shipeng. A Low Complexity Motion Compensated Frame Interpolation Method[C]//Proc. of IEEE International Symposium on Circuits and Systems. Kobe, Japan: IEEE Press, 2005: 4927-4930.

[9] Wang Lipo, Rajapaksej C, Fukushima K. Speckle Reduction Using Wiener Filtering in Wavelet Domain[C]//Proc. of the 9th International Conference on Neural Information Processing. Singapore: IEEE Computer Society, 2007: 792-795.

[10] 蔡 超, 劉買利, 丁明躍, 等. 一種基于偏微分方程的形態(tài)學(xué)邊緣檢測新方法[J]. 華中科技大學(xué)學(xué)報: 自然科學(xué)版, 2003, 34(10): 36-39.

[11] Award M, Chehdi K, Nasri A. Multi-component Image Segmentation Using a Hybrid Dynamic Genetic Algorithm and Fuzzy C-means[J]. IET Image Processing, 2009, 3(2): 52-62.

[12] Xu Zhiyuan, Liu Xiaoming. Fog Removal from Color Images Using Contrast Limited Adaptive Histogram Equalization[C]// Proc. of Image and Signal Processing. Dalian, China: [s. n.], 2009: 1-5.

編輯 金胡考

Design and Implementation of Noise Reduction Algorithm for Low-light Video Surveillance Image

LIU Lei-lei, JIANG Rong-xin

(Key Laboratory of Network Multimedia Technology of Zhejiang Province, Zhejiang University, Hangzhou 310027, China)

For strong noise of low-light video surveillance image, a new image noise reduction algorithm based on motion detection is proposed. The property of the noise of low-light video surveillance image is studied and the image is divided into 8×8 motion pixels blocks and still pixels blocks by a kind of threshold motion detection algorithm. An improved Wiener filter is designed and implemented for noise reduction of motion pixels blocks. The compact algorithm of mathematical morphology and median filtering for noise reduction of still pixels blocks is designed. Experimental results show that the time complexity of the algorithm is about() and the value of PSNR and DV/BV of image after noise reduction is higher than other algorithms. This proves the time complexity of the image noise reduction algorithm is low, while the image noises are well reduced and there is little loss in the resolution of image.

low-light; image noise reduction; motion detection; mathematical morphology; median filtering; Wiener filtering

1000-3428(2014)03-0266-04

A

TP391

國家“863”計劃基金資助項目“相控陣三維聲學(xué)攝像聲納信號處理系統(tǒng)”(2010AA09Z104)

劉磊磊(1988－)，男，碩士研究生，主研方向：網(wǎng)絡(luò)多媒體技術(shù)；蔣榮欣，副研究員

2013-03-05

2013-04-10 E-mail：zjuliull@163.com

10.3969/j.issn.1000-3428.2014.03.056