文/張榮祥 鄧志輝

隨著視頻監(jiān)控的普及和人們安防意識的提高，人們對安防視頻監(jiān)控圖像質(zhì)量的要求也日益精益求精。低照度環(huán)境是安防視頻監(jiān)控系統(tǒng)一個重要的應(yīng)用場合。由于環(huán)境光照的變化，低照度環(huán)境下圖像質(zhì)量會明顯變差；主要表現(xiàn)在，為了獲得合適的圖像亮度，必須提高增益，從而導(dǎo)致噪聲劇烈增大，信噪比降低，甚至淹沒圖像中物體的紋理細(xì)節(jié)。為了能使安防視頻監(jiān)控技術(shù)在夜晚和低照度環(huán)境下，確實發(fā)揮有效的防范監(jiān)控和報警作用，比如車牌識別、入侵檢測等，實時視頻圖像噪聲抑制和細(xì)節(jié)恢復(fù)就成為了關(guān)鍵所在。

安防視頻監(jiān)控系統(tǒng)中的噪聲模型

安防視頻監(jiān)控系統(tǒng)中，圖像傳感器是實現(xiàn)光電轉(zhuǎn)換獲取環(huán)境圖像的關(guān)鍵器件，也是引入噪聲的源頭。圖像傳感器按照采用的感光源器件的不同可以分為CCD和CMOS兩種。由于電荷轉(zhuǎn)移方式的不同，以及光電轉(zhuǎn)換方式的不同，導(dǎo)致了這兩種圖像傳感器的噪聲特性也略有不同，主要體現(xiàn)在CCD的噪聲比較細(xì)膩，不同顏色通道間串?dāng)_較少；而CMOS的噪聲比較嚴(yán)重，并帶有明顯的色塊，不同顏色通道間串?dāng)_較多，但是兩者的噪聲分布形態(tài)基本一致。

安防視頻監(jiān)控系統(tǒng)的噪聲可以分為器件電子噪聲和環(huán)境噪聲。其中環(huán)境噪聲是指安防視頻監(jiān)控的電路受到電源、地線、襯底等的隨機(jī)干擾，或者監(jiān)控場合環(huán)境溫度變化、時鐘抖動、電磁干擾等，通過外圍電路的耦合對圖像傳感器造成影響；而電子噪聲是器件固有的噪聲，一般包括：熱噪聲、散粒噪聲、閃爍噪聲、暗電流、量化噪聲等。這些噪聲經(jīng)過攝像機(jī)中的模擬增益和數(shù)字增益放大后，就會影響視頻圖像的可觀性，降低信噪比，并且嚴(yán)重降低后續(xù)圖像處理的效果。

通常，噪聲圖像Y(i,j)可以采用如下模型表示：

其中，X(i,j)是無噪聲圖像，n(i,j)是高斯噪聲。根據(jù)γ值的不同，該噪聲模型可分為高斯白噪聲模型、椒鹽噪聲模型以及泊松噪聲模型。下文重點(diǎn)闡述高斯白噪聲模型下安防視頻監(jiān)控領(lǐng)域?qū)崟r視頻降噪增強(qiáng)技術(shù)。

實時視頻圖像降噪增強(qiáng)技術(shù)

安防視頻監(jiān)控系統(tǒng)中，噪聲的存在會造成圖像看不清楚，編碼壓縮碼率大幅升高，壓縮后的圖像容易出現(xiàn)閃爍、蠕動和塊效應(yīng)等瑕疵。引入降噪增強(qiáng)技術(shù)，可以帶來圖像干凈，可判別細(xì)節(jié)增加，碼率降低，呼吸效應(yīng)減少等益處。

面向安防監(jiān)控攝像機(jī)的數(shù)字視頻圖像降噪增強(qiáng)方法的基本思路，是結(jié)合攝像機(jī)視頻流輸出幀的幀內(nèi)信息和幀間信息，輔以適當(dāng)?shù)男盘柼幚砑夹g(shù)，抑制視頻流中的噪聲，恢復(fù)真實有用的圖像信息。

目前，主流的視頻圖像降噪增強(qiáng)技術(shù)大多基于圖像的兩個先驗知識而衍生出來：圖像自相似性（Self-Similarity）和稀疏性（Sparseness）。這是視頻圖像降噪增強(qiáng)技術(shù)領(lǐng)域最大的兩個分支，衍生出來的算法也很多，本文僅以圖像自相似特性為例，闡述安防監(jiān)控視頻圖像降噪增強(qiáng)技術(shù)中空域降噪和時域降噪增強(qiáng)的解決方案。

如圖1所示，圖像自相似性可以分為局部自相似性和非局部自相似性。局部自相似性是指某像素所在鄰域內(nèi)會存在許多和該參考像素灰度級相似的像素；非局部自相似性是指圖像中會存在與參考圖像塊相似的局部圖像塊。

圖1：圖像自相似性示意圖

經(jīng)典的雙邊濾波器(bilateral filter)就是一種基于圖像自相似先驗知識而發(fā)展起來的降噪方法；當(dāng)前像素的降噪結(jié)果是該像素領(lǐng)域內(nèi)所有像素值的加權(quán)平均值，其權(quán)重由空域權(quán)重和值域權(quán)重組成?？沼驒?quán)重的大小反比于鄰域像素至當(dāng)前像素的空間距離；值域權(quán)重的大小正比于鄰域像素和當(dāng)前像素的相似程度。

雙邊濾波器具有形式簡單、易于理解，參數(shù)少、方便控制，適合硬件實現(xiàn)等特點(diǎn)；最重要的是，雙邊濾波器剔除或減小了不相似像素參與加權(quán)平均的權(quán)重，從而減少了邊緣平滑的風(fēng)險，較好地保持了圖像邊緣和細(xì)節(jié)紋理。

也正因為雙邊濾波器的這些優(yōu)點(diǎn)，眾多ASIC廠家通常采用類似于雙邊濾波器的原理設(shè)計降噪模塊，比如TI公司的Bayer域空域降噪模塊，Ambarella公司設(shè)計的CFA Noise Filtering模塊和YUV域的Spatial Noise Filtering大都采用了類似的設(shè)計原則。

然而，雙邊濾波器也存在缺點(diǎn)，如圖2所示，噪聲較大或者參數(shù)控制不合理時，像素間自相似性的判斷誤差會急劇變大，從而導(dǎo)致降噪能力嚴(yán)重下降，甚至損失圖像邊緣和細(xì)節(jié)紋理。實際使用中，需要根據(jù)視頻監(jiān)控場合以及環(huán)境光照情況適當(dāng)調(diào)整相關(guān)控制參數(shù)。一般來說，在銀行柜臺、智能交通車牌分析等應(yīng)用場合應(yīng)盡量避免邊緣過度平滑，保留較多細(xì)節(jié)。

圖2：雙邊濾波器降噪效果示意圖

上述主要闡述了圖像自相似先驗知識在空域降噪中的應(yīng)用，其實圖像自相似特性不僅存在于圖像幀內(nèi)，也存在于視頻幀間。

時域降噪增強(qiáng)技術(shù)中，基于運(yùn)動補(bǔ)償?shù)臅r域降噪方法就是圖像自相似特性的最好應(yīng)用。25fps幀率的實時視頻監(jiān)控系統(tǒng)，意味著輸出的一幀一幀視頻圖像相對于人眼來說，是連續(xù)的。即使是運(yùn)動的物體，在兩個相鄰視頻幀之間也不會有太大的位移，至少還在視場范圍內(nèi)。換句話說，視頻流中相鄰兩幀具有自相似特性。

不過，和空域雙邊濾波以像素點(diǎn)為自相似判斷元素不同的是，時域基于運(yùn)動補(bǔ)償?shù)淖韵嗨婆袛嘣貫閳D像塊。首先當(dāng)前幀圖像塊和上一幀若干圖像塊計算相似度，找出最相似的圖像塊，根據(jù)最相似圖像塊的相似程度確定加權(quán)平均的權(quán)重，實現(xiàn)對當(dāng)前幀圖像塊或像素進(jìn)行平滑處理，抑制噪聲。然而，運(yùn)動補(bǔ)償?shù)姆椒ㄐ枰闅v或局部遍歷大量的圖像塊，所以，計算量特別大，不利于實時實現(xiàn)，尤其是運(yùn)動估計部分運(yùn)算復(fù)雜；且降噪效果受到運(yùn)動估計精度的影響。Ambarella公司的A5s平臺將編碼模塊估計的運(yùn)動信息用于運(yùn)動補(bǔ)償?shù)臅r域降噪中，帶來了一定的效果；然而，仍然無法克服編碼塊效應(yīng)帶來的運(yùn)動估計精度下降問題。

基于運(yùn)動判決的時域降噪增強(qiáng)方法是一種折中的替代方案。該方案只會將當(dāng)前幀圖像塊和上一幀相同位置的圖像塊做相似度計算，從而可以大大減少運(yùn)算量。不過，當(dāng)圖像塊中的物體運(yùn)動時，基于運(yùn)動判決的時域降噪方法就無法找到最相似的圖像塊，降噪效果就會大打折扣；另外，如果上一幀圖像塊賦予的權(quán)重過大，還會導(dǎo)致拖尾的瑕疵。在實際使用中，需要根據(jù)sensor的噪聲特性以及應(yīng)用場合合理調(diào)配時域降噪增強(qiáng)的相關(guān)參數(shù)，以達(dá)到閃爍噪聲抑制和最少降噪瑕疵的權(quán)衡。

空域降噪增強(qiáng)以是否存在紋理為區(qū)分，紋理區(qū)域和平坦區(qū)域分別采用不同策略的噪聲抑制方法；而時域降噪增強(qiáng)則以是否運(yùn)動為區(qū)分，運(yùn)動區(qū)域噪聲抑制少些，靜止區(qū)域噪聲抑制多些。前者側(cè)重于圖像幀內(nèi)降噪增強(qiáng)，而后者側(cè)重于視頻流幀間降噪增強(qiáng)。為了得到最好的視頻圖像降噪增強(qiáng)效果，一般會將空域降噪和時域降噪混合使用，稱為時空域降噪增強(qiáng)。

雖然時空域降噪增強(qiáng)技術(shù)是由空域降噪和時域降噪結(jié)合而來，但是他們組合或融合的方案有很多，不同的結(jié)合方案都有不同的噪聲抑制效果。比如，獨(dú)立的時域降噪后面接獨(dú)立的空域降噪，可以有效處理運(yùn)動區(qū)域噪聲抑制問題，獨(dú)立的空域降噪后面接獨(dú)立的時域降噪，可以使得運(yùn)動和靜止區(qū)域判決的更準(zhǔn)確等等。

無論是空域降噪增強(qiáng)還是時域降噪增強(qiáng)，都假設(shè)了噪聲水平已知，然而這在實際使用中是無法知道的。?？低暪捐b于不同的時域降噪和空域降噪結(jié)合方式可以帶來不同的視頻圖像降噪增強(qiáng)效果，設(shè)計了一種級聯(lián)濾波器以及噪聲強(qiáng)度傳遞的計算方法。通過對前一級濾波器降噪能力的估計，計算出后一級濾波器的降噪強(qiáng)度，從而可以針對不同的輸入圖像實現(xiàn)后一級濾波器降噪強(qiáng)度的自適應(yīng)調(diào)整，從而均衡級聯(lián)的各級濾波器的降噪強(qiáng)度以獲得更好的整體降噪效果。如圖3所示。降噪增強(qiáng)前后對圖像細(xì)節(jié)處理突出如圖4所示。

圖3：時域降噪效果示意圖

圖4：海康威視時空域降噪效果示意圖

視頻監(jiān)控領(lǐng)域視頻圖像降噪增強(qiáng)的挑戰(zhàn)

噪聲是導(dǎo)致圖像質(zhì)量下降的重要原因。對于面向全天候使用的視頻監(jiān)控產(chǎn)品而言，抑制噪聲的同時保持圖像細(xì)節(jié)，降低編碼碼率，減小呼吸效應(yīng)，改善圖像質(zhì)量，是其可以帶來的好處，也是一個關(guān)鍵的挑戰(zhàn)。

安防視頻監(jiān)控領(lǐng)域中，要設(shè)計出優(yōu)秀的視頻圖像降噪增強(qiáng)技術(shù)方案，必須充分綜合分析圖像傳感器的物理特點(diǎn)和自然場景圖像的內(nèi)在特性，在改善硬件電路設(shè)計性能的同時，依據(jù)人眼視覺觀察特征設(shè)計數(shù)字圖像處理算法，在有效抑制視頻圖像噪聲的同時，盡量保持圖像的細(xì)節(jié)紋理特征，使得視頻圖像效果更加清晰通透，給用戶帶來煥然一新的體驗；并且為后續(xù)編碼壓縮、網(wǎng)絡(luò)傳輸、數(shù)據(jù)存儲、顯示視頻處理以及智能分析等提供有力支持。