周克虎，雷 濤，羅 剛

（1.中國(guó)科學(xué)院光電技術(shù)研究所，四川 成都 610209；2.中國(guó)人民解放軍63618部隊(duì)，新疆 庫(kù)爾勒 841000）

引言

光學(xué)設(shè)備廣泛應(yīng)用于偵查、測(cè)量等領(lǐng)域，現(xiàn)代光學(xué)設(shè)備一般配置有可見光、紅外等多種波段的探測(cè)器，其最終的成像效果受光學(xué)系統(tǒng)設(shè)計(jì)、探測(cè)器性能、場(chǎng)景光照條件以及環(huán)境溫度等諸多因素的影響。但對(duì)于用戶或設(shè)備操作人員，其對(duì)于成像效果好壞的感受則直接來源于最終的圖像顯示效果好壞。紅外探測(cè)器在光學(xué)設(shè)備中一般承擔(dān)著目標(biāo)捕獲和高精度位置測(cè)量的功能，其圖像經(jīng)常需回傳指揮中心進(jìn)行實(shí)時(shí)顯示。因此，紅外圖像顯示效果的優(yōu)化對(duì)于提升設(shè)備的成像質(zhì)量以及用戶體驗(yàn)有著重要的意義。

在實(shí)際項(xiàng)目中，探測(cè)器噪聲導(dǎo)致的紅外圖像顯示效果惡化嚴(yán)重影響了設(shè)備的成像質(zhì)量。常見的紅外圖像去噪方法主要分為空域方法和變換域方法?？沼?yàn)V波主要是利用噪聲空間分布的隨機(jī)性，傳統(tǒng)的方法有均值濾波、高斯濾波等。這類空域?yàn)V波算法會(huì)導(dǎo)致圖像中邊緣和紋理的退化，導(dǎo)致表征圖像細(xì)節(jié)信息的關(guān)鍵梯度數(shù)據(jù)丟失，輸出圖像整體表現(xiàn)出模糊感。Tomasi等人提出了一種利用灰度距離進(jìn)行權(quán)值修正的空域高斯濾波算法，稱為雙邊濾波（bilateral filter）[1-4]。該算法不僅能夠去掉噪聲，還能夠保持邊緣，解決了傳統(tǒng)空域?yàn)V波算法導(dǎo)致的圖像模糊，在很多場(chǎng)合下表現(xiàn)出了較好的去噪效果。但是，該算法沒有利用圖像時(shí)域的相關(guān)性，無法去除序列圖像顯示時(shí)噪聲引起的幀間灰度隨機(jī)變化，其時(shí)域去噪效果有待提升。

區(qū)別于直接的空間鄰域?yàn)V波，非局部均值（non-local means，NLM）濾波算法[5-8]通過圖像中多個(gè)相似圖像塊的像素值加權(quán)平均進(jìn)行無噪聲圖像估計(jì)，能較好地去除圖像中的高斯噪聲并且能夠保持邊緣。但是該算法計(jì)算復(fù)雜度高，限制了其在實(shí)時(shí)顯示場(chǎng)合的使用。

基于變換域的紅外圖像去噪方法主要有基于小波變換的方法[9-12]、基于快速傅里葉變換（fast fourier transform, FFT）的方法以及基于離散余弦變換（discrete cosine transform，DCT）的 方 法 等。BM3D（block-matching and 3D filtering）算法[13-14]結(jié)合空域NLM算法和變換域去噪方法，通過塊匹配和三維變換域?yàn)V波進(jìn)行無噪聲圖像估計(jì)，在保持圖像邊緣的前提下，實(shí)現(xiàn)了優(yōu)良的去噪效果。但該計(jì)算復(fù)雜度高，難以實(shí)時(shí)顯示。

此外，隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域不斷取得突破性進(jìn)展，深度學(xué)習(xí)技術(shù)在圖像去噪領(lǐng)域獲得了極大的關(guān)注[15]，同時(shí)也涌現(xiàn)了很多優(yōu)秀的算法[16-18]。

在光學(xué)設(shè)備圖像實(shí)時(shí)顯示等應(yīng)用場(chǎng)景中，圖像去噪算法的實(shí)時(shí)性以及去噪效果均十分重要。本文算法是受雙邊濾波算法的啟發(fā)，將空域雙邊濾波算法的核心思想應(yīng)用至?xí)r域，摒棄了傳統(tǒng)視頻去噪時(shí)的運(yùn)動(dòng)估計(jì)流程[19-20]，不僅具有很高的實(shí)時(shí)性，而且實(shí)現(xiàn)了較好的紅外序列圖像去噪效果。

1 雙邊濾波介紹

雙邊濾波利用鄰域像素點(diǎn)的信息來估計(jì)當(dāng)前像素點(diǎn)的灰度值，以消除噪聲的影響，實(shí)現(xiàn)空域去噪。其核心思想是在分配空間鄰域像素點(diǎn)的濾波權(quán)值時(shí)同時(shí)考慮空間距離和灰度差異，以保證濾波窗口內(nèi)，與待估計(jì)像素點(diǎn)的空間距離越近權(quán)值越高，與待估計(jì)像素點(diǎn)的灰度值差異越小權(quán)值越高。

雙邊濾波定義如下：

雙邊濾波的濾波核權(quán)值由2個(gè)高斯函數(shù)的值ws(i,j)和wr(i,j)相乘得到，這里分別稱為空間距離高斯函數(shù)和灰度距離高斯函數(shù)。對(duì)于 (i,j)∈Sxy，定義如下：

對(duì)于(2)式，像素位置 (i,j)距離當(dāng)前濾波像素位置 (x,y)的距離越近，權(quán)值越大；反之，則權(quán)值越小。而對(duì)于(3)式，鄰域像素位置的灰度值g(i,j)與當(dāng)前濾波像素點(diǎn)的灰度值g(x,y)的差異越小，權(quán)值越大；反之，則權(quán)值越小。

分析可知，當(dāng) σr→∞時(shí)雙邊濾波退化為一般的空域高斯濾波。因此，雙邊濾波的實(shí)質(zhì)是引入了濾波鄰域內(nèi)像素灰度值的影響，對(duì)高斯濾波的權(quán)值進(jìn)行了修正，使得在進(jìn)行當(dāng)前像素點(diǎn)灰度值估計(jì)時(shí)，灰度值差異大的鄰域像素點(diǎn)權(quán)值降低。由于視覺上的圖像邊緣實(shí)質(zhì)為灰度值的較大變化，上述過程在完成了空域去噪的同時(shí)，又很好地保持了邊緣。

2 算法原理

對(duì)于同一個(gè)像素點(diǎn)，其連續(xù)幀間的灰度值受噪聲影響出現(xiàn)隨機(jī)變化，這是導(dǎo)致紅外序列圖像顯示效果惡化的關(guān)鍵因素。因此，本文從時(shí)域?yàn)V波的角度，利用連續(xù)歷史幀像素灰度值對(duì)當(dāng)前像素點(diǎn)的灰度值進(jìn)行估計(jì)，實(shí)現(xiàn)同一像素位置連續(xù)幀間灰度值的平滑。此外，為了解決時(shí)域?yàn)V波導(dǎo)致的運(yùn)動(dòng)目標(biāo)拖尾問題，本文引入歷史幀像素灰度值的影響對(duì)濾波權(quán)值進(jìn)行修正，避免了時(shí)域?yàn)V波導(dǎo)致的運(yùn)動(dòng)目標(biāo)拖尾。

2.1 時(shí)域?yàn)V波去噪

將二維圖像g視為時(shí)間相關(guān)的函數(shù)，記為g(t)，則有：

式中：g(t)表示當(dāng)前時(shí)刻的探測(cè)器輸出圖像；f(t)表示無噪聲影響的原始圖像；n(t)為 噪聲；t為用離散的幀編號(hào)表示的時(shí)間；N為當(dāng)前已經(jīng)采集的圖像總幀數(shù)。

每一個(gè)像素點(diǎn)的時(shí)域高斯濾波估計(jì)值定義如下：

式中：A為 高斯濾波權(quán)值歸一化的系數(shù)；σs為高斯函數(shù)的方差；K為濾波幀數(shù)。典型地，K=5，σs=5.0時(shí)，歸一化的高斯濾波權(quán)值（即歷史5幀的權(quán)值）如下：

此時(shí)的高斯濾波系數(shù)實(shí)際為半寬的一維高斯核，且當(dāng)前幀的權(quán)值最高，距離當(dāng)前幀時(shí)間越長(zhǎng)的幀對(duì)應(yīng)的權(quán)值越小。這個(gè)過程完成了單個(gè)像素點(diǎn)的時(shí)域高斯濾波處理，通過逐像素濾波處理實(shí)現(xiàn)整個(gè)圖像幀的時(shí)域去噪。

2.2 濾波權(quán)值修正

對(duì)于靜態(tài)場(chǎng)景，上述時(shí)域高斯濾波去噪方法已經(jīng)具備使用價(jià)值，但是對(duì)于動(dòng)態(tài)場(chǎng)景，上述方法同一般的視頻去噪方法一樣，會(huì)導(dǎo)致運(yùn)動(dòng)目標(biāo)拖尾的出現(xiàn)，如圖1和圖2所示。

序列1為制冷型紅外相機(jī)拍攝的圖像，圖像的背景主要為天空及部分地面，運(yùn)動(dòng)目標(biāo)為工作中的風(fēng)力發(fā)電設(shè)備，其葉片的幀間運(yùn)動(dòng)明顯。可以看出，經(jīng)過時(shí)域高斯濾波之后，轉(zhuǎn)動(dòng)的葉片邊緣出現(xiàn)了明顯的模糊。序列2中，圖像的背景主要為靜止輸電鐵塔及部分天空，運(yùn)動(dòng)目標(biāo)為飛鳥。運(yùn)動(dòng)目標(biāo)的信噪比為5左右，且在幀間存在明顯的位移。經(jīng)過時(shí)域?yàn)V波后，運(yùn)動(dòng)目標(biāo)不僅形成了明顯的拖尾，而且整體呈現(xiàn)出嚴(yán)重模糊。分析其形成原因發(fā)現(xiàn)，在時(shí)域高斯濾波的過程中，歷史幀相同位置的灰度值會(huì)參與對(duì)當(dāng)前幀像素值的估計(jì)，當(dāng)歷史幀中存在灰度值差異較大的目標(biāo)時(shí)，可能會(huì)導(dǎo)致當(dāng)前幀灰度值估計(jì)值偏差大，在運(yùn)動(dòng)目標(biāo)圖像上表現(xiàn)為目標(biāo)的拖尾。

圖2 紅外序列圖像時(shí)域高斯濾波去噪效果（序列2）Fig.2 Denoising effect of temporal Gaussian filtering for infrared sequence images (sequence 2)

通過對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行分析發(fā)現(xiàn)，運(yùn)動(dòng)目標(biāo)覆蓋的像素點(diǎn)在連續(xù)幀間表現(xiàn)出灰度值突變，與空域上的邊緣、紋理有一定的相似性，均表現(xiàn)出明顯的梯度變化。

受空域雙邊濾波的啟發(fā)，引入連續(xù)幀灰度值的影響對(duì)高斯濾波的權(quán)值進(jìn)行修正。則對(duì)于每一個(gè)像素點(diǎn)，新的時(shí)域高斯濾波估計(jì)值定義如下：

式中:WP為修正后的濾波權(quán)值歸一化系數(shù)；同空域雙邊濾波一樣，最終的濾波權(quán)值由2個(gè)高斯函數(shù)的值相乘得到，這里分別稱為時(shí)間距離高斯函數(shù)ws(j)和 灰度距離高斯函數(shù)wr(j)，定義如下：

式中：σs為時(shí)間距離高斯函數(shù)的方差；σr為灰度距離高斯函數(shù)的方差。

可以看出，當(dāng) σr→∞時(shí)(8)式退化為一般的時(shí)域高斯濾波，即(5)式。通過增加灰度距離影響的權(quán)值修正系數(shù)，避免了灰度差異值過大的歷史幀像素點(diǎn)參與當(dāng)前像素點(diǎn)灰度值的估計(jì)，從而解決了時(shí)域高斯濾波導(dǎo)致的運(yùn)動(dòng)目標(biāo)拖尾問題。

3 實(shí)驗(yàn)分析

3.1 去噪效果

時(shí)域高斯濾波處理后，紅外序列圖像中背景區(qū)域同一個(gè)像素點(diǎn)（取100個(gè)固定像素位置，統(tǒng)計(jì)連續(xù)100幀）連續(xù)幀間的灰度方差變化如圖3所示。

對(duì)于背景區(qū)域的同一個(gè)像素點(diǎn)，其連續(xù)幀間灰度變化越平緩（即均方差越?。﹦t顯示效果越好。通過圖3可以看出，經(jīng)過時(shí)域?yàn)V波后同一像素位置連續(xù)幀間的灰度值均方差降為原來的1/2左右，可見噪聲導(dǎo)致的連續(xù)幀間的灰度隨機(jī)變化被顯著平滑。通過觀察時(shí)域?yàn)V波處理后的顯示圖像發(fā)現(xiàn)，原本幀間動(dòng)態(tài)變化的噪聲被明顯抑制，顯示效果得到了有效提升。

圖3 紅外序列圖像的連續(xù)幀灰度值變化方差對(duì)比圖Fig.3 Comparison diagram of change variance of continuous frame gray values of infrared sequence images

選取有運(yùn)動(dòng)目標(biāo)的場(chǎng)景進(jìn)行實(shí)驗(yàn)，紅外序列圖像去噪后的效果如圖4和圖5所示。

圖4 不同方法去噪結(jié)果對(duì)比（序列1）Fig.4 Comparison of denoising results with different methods (sequence 1)

從圖4和圖5可以看出，使用不同的去噪算法圖像中背景部分的噪聲均被一定程度地抑制；而風(fēng)力發(fā)電機(jī)的葉片邊緣以及天空中的飛鳥在去噪后的圖像中均比較清晰，沒有出現(xiàn)明顯的模糊或者拖尾。這說明雙邊濾波算法、NLM算法、BM3D算法以及本文提出的算法，均有較好的保邊去噪效果。

圖5 不同方法去噪結(jié)果對(duì)比（序列2）Fig.5 Comparison of denoising results with different methods (sequence 2)

3.2 定量評(píng)價(jià)

通過無噪聲紅外圖像疊加零均值高斯噪聲來仿真不同噪聲水平的含噪圖像序列（序列3為室外場(chǎng)景，序列4為室內(nèi)場(chǎng)景，分別如圖6和圖7所示），并利用圖像去噪領(lǐng)域常用的峰值信噪比（peak signal-to-noise ratio, PSNR）和結(jié)構(gòu)相似性（structural similarity, SSIM）指標(biāo)對(duì)去噪效果進(jìn)行定量評(píng)價(jià)。

圖6 序列3疊加不同水平的高斯噪聲Fig.6 Sequence 3 superimposes different levels of Gaussian noise

對(duì)前述的序列3和序列4（圖像大小均為640×480像素）進(jìn)行實(shí)驗(yàn)，統(tǒng)計(jì)了去噪后的PSNR（見表1和表2）和SSIM（見表3和表4）。

表1 序列3不同算法去噪后的PSNRTable 1 PSNR of sequence 3 after denoising with different algorithms dB

表2 序列4不同算法去噪后的PSNRTable 2 PSNR of sequence 4 after denoising with different algorithms dB

表3 序列3不同算法去噪后的SSIMTable 3 SSIM of sequence 3 after denoising with different algorithms

表4 序列4不同算法去噪后的SSIMTable 4 SSIM of sequence 4 after denoising with different algorithms

統(tǒng)計(jì)了不同算法的處理時(shí)間（硬件配置：i5-8250U 4核CPU，主頻1.8 GHz，內(nèi)存16 GB），如表5所示。

表5 不同算法的處理時(shí)間Table 5 Processing time of different algorithms ms

上述實(shí)驗(yàn)中，所有的濾波窗口尺寸均為11×11像素，NLM算法和BM3D算法的模板尺寸為7×7像素，搜索窗口尺寸為21×21像素。

從實(shí)驗(yàn)數(shù)據(jù)中可以看出，對(duì)于不同噪聲水平的圖像序列，4種算法均有效提升了圖像的PSNR和SSIM指標(biāo)，其中NLM算法和BM3D算法的指標(biāo)提升十分顯著。不過對(duì)于去噪后的圖像（參見圖4和圖5），NLM算法和BM3D算法會(huì)導(dǎo)致圖像整體呈現(xiàn)明顯失真。這種失真在圖5中表現(xiàn)的更加突出，其原因是序列2的背景噪聲更加嚴(yán)重。

雙邊濾波算法和本文算法導(dǎo)致的失真均比較輕微，但是實(shí)驗(yàn)發(fā)現(xiàn)：雙邊濾波對(duì)單幀圖像進(jìn)行處理，沒有利用時(shí)域信息，在連續(xù)幀顯示的場(chǎng)合，噪聲導(dǎo)致的連續(xù)幀顯示效果惡化仍然存在；本文提出的算法有效地利用了圖像噪聲幀間分布的隨機(jī)性，通過幀間平滑處理抑制噪聲，在紅外序列圖像顯示時(shí)取得了良好的效果。

隨著噪聲水平的提高，可以看到本文算法的效果有所下降，這說明本文算法更加適合低噪聲水平的序列圖像去噪。此外，NLM算法和BM3D算法的處理時(shí)間均超過了4 s（見表5），難以使用在光電成像設(shè)備圖像顯示等實(shí)時(shí)顯示場(chǎng)合。而本文算法實(shí)時(shí)性高，可以用于序列圖像的實(shí)時(shí)顯示。

4 結(jié)論

針對(duì)噪聲導(dǎo)致的紅外序列圖像顯示效果惡化，本文通過歷史多幀像素值的加權(quán)和對(duì)當(dāng)前幀的像素值進(jìn)行估計(jì)，提出了一種基于時(shí)域?yàn)V波的噪聲抑制方法。進(jìn)一步，為了解決時(shí)域?yàn)V波導(dǎo)致圖像中運(yùn)動(dòng)目標(biāo)產(chǎn)生拖尾和模糊的問題，通過灰度距離高斯函數(shù)對(duì)時(shí)域高斯濾波權(quán)值進(jìn)行修正，避免歷史幀灰度值差異大的像素值參與當(dāng)前灰度值估計(jì)。實(shí)驗(yàn)表明，本文提出的算法有效地抑制了噪聲對(duì)于連續(xù)幀圖像顯示的影響，同時(shí)也解決了時(shí)域?yàn)V波導(dǎo)致場(chǎng)景中的運(yùn)動(dòng)目標(biāo)產(chǎn)生拖尾的問題。通過與圖像去噪領(lǐng)域的優(yōu)秀算法進(jìn)行對(duì)比，表明了本文算法在對(duì)圖像實(shí)時(shí)顯示有需求的光電成像設(shè)備等應(yīng)用場(chǎng)景中，具有較高的實(shí)際應(yīng)用價(jià)值。