陳強(qiáng)

（安康學(xué)院科研處，陜西安康 725000）

近年來，計(jì)算機(jī)視覺在智慧交通、遙感探測、醫(yī)學(xué)儀器等領(lǐng)域都得到了廣泛應(yīng)用。其中機(jī)器視覺技術(shù)用于交通監(jiān)管，例如在路口對車輛速度和駕駛行為進(jìn)行監(jiān)控，對違規(guī)車輛實(shí)現(xiàn)自動識別，節(jié)省了人力資源。但在雨雪天氣下，采集到的圖像不夠清晰、對比度下降、細(xì)節(jié)丟失，在處理過程中容易出現(xiàn)誤判或者延時(shí)過大的情況[1-3]。去雨技術(shù)可以清晰化被雨噪聲污染的退化圖像，有利于圖像后續(xù)處理，提高相關(guān)技術(shù)的性能指標(biāo)[4-6]。

雨滴在空間中的分布是隨機(jī)的，且處于高速自由下落的運(yùn)動狀態(tài)，在圖像中的檢測和去除比較困難，圖像去雨技術(shù)也成為當(dāng)前的研究熱點(diǎn)。Liu比較相鄰各幀的RGB 顏色分量，得到差值圖像，檢測結(jié)果的準(zhǔn)確率較高，但需要增加數(shù)據(jù)量，犧牲了實(shí)時(shí)性[7]。Santhaseelan 設(shè)計(jì)的視頻去雨算法使用局部相位信息完成，去雨效果好，但同樣實(shí)時(shí)性不強(qiáng)[8]。

視頻去雨算法要想提高某一特性就要以犧牲其他性能為代價(jià)，存在計(jì)算量大、造成延時(shí)等問題[9]。該文根據(jù)雨線在頻率域呈現(xiàn)高頻的亮度特性，采用小波分解和融合的方法，從頻域角度對視頻各幀進(jìn)行小波多層分解并計(jì)算出污染度，再根據(jù)污染度加權(quán)的重構(gòu)規(guī)則對各幀進(jìn)行小波重構(gòu)，最后將各幀進(jìn)行融合從而削弱圖像中的大部分雨噪聲。

1 雨滴特性

雨是日常生活中常遇到的天氣現(xiàn)象，在雨天拍攝圖片、視頻時(shí)，由于雨滴在空間中的分布是隨機(jī)的，且雨滴處于高速自由下落的運(yùn)動狀態(tài)，雨滴在視頻成像時(shí)，會形成雨線，影響視頻的質(zhì)量。雨滴為半徑0.05～1.75 mm 的近似球體，當(dāng)雨滴較大時(shí)，近似為橢球體。在無風(fēng)的情況下，雨滴降落受多個(gè)力學(xué)因素的共同影響，最終達(dá)到穩(wěn)定速度，該速度與雨滴直徑有關(guān)。雨滴的降落方向受風(fēng)向影響，在同一圖像中方向基本一致[10]。由于雨滴對光線的折射和反射，所以在圖像中，雨滴對應(yīng)的像素亮度明顯高于背景像素。

另外，由于雨滴的下降速度影響，圖像上會產(chǎn)生模糊的雨線，降低了圖像的質(zhì)量。雨滴的對應(yīng)像素亮度同時(shí)受到雨滴和背景亮度的雙重影響。其亮度變化具有時(shí)間上的對稱性，并且雨滴像素的亮度值隨時(shí)間的波動很小[11]。

RGB 3 個(gè)原色通道的視角范圍遠(yuǎn)小于雨滴視角范圍，所以通道值變化量可近似看成相等[12]。雨滴分布隨機(jī)，近地面速度較快，同一雨滴不可能出現(xiàn)在相鄰幀，任一像素也不會始終被雨滴遮擋。

2 圖像的小波分解與融合

圖像融合是將兩幅或多幅圖像的信息融合到一起，以獲得對同一畫面更為準(zhǔn)確全面的圖像描述。小波分解有明顯的方向性和塔狀結(jié)構(gòu)，對不同頻率的分量、方向、分解層，要用不同規(guī)則進(jìn)行處理，利用冗余和互補(bǔ)信息來提高效果[13]。

對一幅圖像進(jìn)行N層小波分解，然后進(jìn)行融合，步驟如下：

1）對原始圖像（如圖1（a））進(jìn)行小波分解，分解為4 個(gè)圖（圖1（b）、（c）、（d）、（e）），分別對應(yīng)低頻近似系數(shù)、水平細(xì)節(jié)分量、垂直細(xì)節(jié)分量、對角細(xì)節(jié)分量?？筛鶕?jù)實(shí)際需要，對低頻近似系數(shù)分量重復(fù)上述過程，建立小波塔形分解，分解的層數(shù)越高，數(shù)據(jù)的尺寸越小，包含的細(xì)節(jié)信息越少。

圖1 有雨圖像的小波分解

2）融合各分解層，使各層的低頻近似系數(shù)、高頻水平細(xì)節(jié)分量、高頻垂直細(xì)節(jié)分量、高頻對角細(xì)節(jié)分量等可以根據(jù)不同的要求，采用不同規(guī)則進(jìn)行融合。

3）對金字塔進(jìn)行圖像重構(gòu)，得到融合結(jié)果。圖像融合過程如圖2 所示。

圖2 圖像融合過程

3 去雨算法

雨噪聲的頻率與景物信息有較為明顯的區(qū)別，紋理細(xì)節(jié)頻率最高，雨噪聲的頻率次之，顏色信息頻率最低。經(jīng)小波分解，雨噪聲主要在低層高頻系數(shù)中，因此應(yīng)盡量提高分解層數(shù)；然后再確定細(xì)節(jié)信息、雨噪聲等所在層[14]。

對退化圖像進(jìn)行小波融合，根據(jù)頻率結(jié)構(gòu)分別對背景與顏色、雨噪聲、紋理邊緣的細(xì)節(jié)三部分信息進(jìn)行融合，并根據(jù)小波分解后的特點(diǎn)制定融合規(guī)則[15]。

融合雨噪聲就是融合高頻系數(shù)，融合規(guī)則的合理性是決定退化圖像中雨噪聲去除效果的關(guān)鍵。在視頻中觀察雨滴，其因移動而表現(xiàn)為明亮細(xì)線。雨滴呈透明液態(tài)，雨滴亮度均在200 尼特附近，比較一致[15]。

對含有雨噪聲的圖像進(jìn)行小波處理時(shí)，鑒于雨的亮度比背景高得多，因此雨覆蓋的部分與背景部分的灰度相差較大，可以用局部梯度來表示灰度變化的大小，局部梯度如式（1）所示:

其中，Δxf(i,j)和Δyf(i,j)分別表示點(diǎn)(i,j)在水平和垂直方向上的梯度；M、N表示局部區(qū)域邊長。

雨的亮度一致，雨覆蓋部分與背景能量值高且穩(wěn)定，局部能量如式（2）所示：

其中，f(i,j)表示像素灰度值。

局部梯度G和局部能量E兩個(gè)參數(shù)能表征出雨噪聲具有高且一致的亮度。

雨噪聲污染度S=G×E，表示圖像被雨噪聲污染的程度。

基于污染度的小波融合步驟如下：

1）小波分解：進(jìn)行10 層小波分解，得到第2-4 層的高頻系數(shù)（含大部分雨噪聲）。

2）融合含噪高頻系數(shù)：求解2-4 層高頻系數(shù)矩陣及污染度S矩陣，對S矩陣歸一化處理，然后和系數(shù)矩陣逆加權(quán)，得到大幅減噪的新系數(shù)矩陣。

3）融合不含噪系數(shù)：融合5-10 層系數(shù)及第1 層高頻系數(shù)，其中包含了圖像主要細(xì)節(jié)信息，進(jìn)行均值處理后，可突出圖像的顏色域和細(xì)節(jié)。

4）小波重構(gòu)：重構(gòu)融合后的系數(shù)，得到去雨圖像。融合流程如圖3 所示。

圖3 融合流程

4 實(shí)驗(yàn)與驗(yàn)證

為了驗(yàn)證該文方法，使用Matlab 進(jìn)行仿真試驗(yàn)，步驟如下：

第一步，將一段有雨視頻分解成幀圖像，在利用多幅退化幀圖像進(jìn)行融合的過程中，細(xì)節(jié)受損的多幅退化圖像間可以相互彌補(bǔ)，突出細(xì)節(jié)信息。

第二步，對每個(gè)幀畫面進(jìn)行多層小波分解，隨分解層數(shù)的提高，其中的細(xì)節(jié)信息降低，呈現(xiàn)塔狀結(jié)構(gòu)。圖4 為多層小波分解的低頻系數(shù)和分量，從上到下隨分解層數(shù)的提高，圖像中的像素塊增大，整幅圖像包含的細(xì)節(jié)信息減少，這一過程中雨噪聲在層數(shù)較低時(shí)含量較多，尤其雨噪聲在小波分解的第2-4層的含量最大，其他層多為背景信息，可以利用這個(gè)特性，制定融合規(guī)則，針對第2-4 層進(jìn)行去除雨噪聲處理，將其他層進(jìn)行融合，突出背景信息。

圖4 多層小波分解的低頻系數(shù)和分量

第三步，通過各幀根據(jù)污染度反向加權(quán)削減雨噪聲后進(jìn)行小波融合。

第一步將視頻分解得到6 幀圖像，第二步將每一幀進(jìn)行10 層小波分解，雨噪聲明顯比周圍像素亮度大，對其中第2-4 層以局部梯度來度量灰度變化，以確定雨噪聲的量，從而確定每一層的污染度。在進(jìn)行融合時(shí)，根據(jù)污染度的大小反向加權(quán)，即污染度越大，權(quán)重越小，從而削弱第2-4 層的雨噪聲。由于物體邊緣或背景中的一些亮白像素容易誤判為雨噪聲，第2-4 層同樣會被削弱，所以該文對第1、5-10 層（主要含背景信息）加的權(quán)值大于1，進(jìn)行補(bǔ)充。最后將融合好的6 幀圖像再次進(jìn)行圖像融合，最終得到圖5（a）的融合結(jié)果。通過對比，融合后的圖像背景和輪廓更加清晰，雨線明顯減少，雨噪聲得到了極大抑制。

圖5 融合結(jié)果和原圖像的對比

5 結(jié)論

該文采用小波多層分解[16]和融合的方法，將圖像多層分解，確定含雨噪聲比較集中的層，并制定了基于污染度的反向加權(quán)融合規(guī)則（即污染度越大，權(quán)值越?。?，借此來削弱雨噪聲，并對視頻中圖像的特定層進(jìn)行小波融合以去除雨線。實(shí)驗(yàn)證明，該方法去雨效果明顯，具有一定的應(yīng)用價(jià)值。