李成立,呂俊偉,劉 亮,王佩飛

(海軍航空大學,山東 煙臺 264001)

1 引 言

紅外成像系統(tǒng)因為信噪比高、探測能力強以及結(jié)構(gòu)簡單等因素,被廣泛應用到紅外制導導彈和紅外光電載荷上。但由于焦平面陣列各個探測單元的響應存在非均勻性,所以在相同輻射條件下會產(chǎn)生固定圖案噪聲,嚴重影響紅外成像的質(zhì)量[1]。而且,當溫度或者其他環(huán)境條件改變時,剩余非均勻性會隨著時間發(fā)生緩慢的漂移[2]。所以在紅外制導導彈和紅外光電載荷使用之前要先對其成像系統(tǒng)進行非均勻性校正(nonuniformity correction,NUC)。

基于場景的非均勻性校正可以解決時間漂移的問題[3],但當場景保持靜止或者幀間位移不足時,會把場景當作非均勻性噪聲進行校正,當場景再次運動時,圖像上就會產(chǎn)生“鬼影”。文獻[4]中指出對圖像邊緣像素估計不準確是“鬼影”產(chǎn)生的原因,并根據(jù)該分析提出基于邊緣信息指導的自適應非均勻性校正算法(edge directed neural network nonuniformity correction,ED-NN-NUC),但該方法依賴對邊緣提取的準確性。文獻[5]中提出的空域低通時域高通算法(space low-pass and temporal high-pass filter,SLTH),只對圖像高頻部分進行處理,降低了低頻部分場景信息對校正系數(shù)的影響,有效地抑制了“鬼影”。但是算法對邊緣和非均勻性噪聲的區(qū)分依賴于閾值的大小。文獻[6]中提出基于雙邊濾波器的時域高通濾波算法(bilateral filter-based temporal high-pass filter,BFTH),對“鬼影”的抑制效果較為明顯,但當場景中出現(xiàn)運動速度較慢的高亮度區(qū)域時,校正系數(shù)會出現(xiàn)錯誤的更新,使得“鬼影”現(xiàn)象依然存在,降低了算法的校正精度。

基于相鄰兩幀紅外圖像之間差別較小,結(jié)合幀間配準技術,本文提出了一種基于圖像配準的非均勻性校正算法。與高通濾波類算法相比,本文算法得到的殘差圖像更好地消除圖像中的場景信息,取得更好的非均勻性校正效果,對“鬼影”現(xiàn)象產(chǎn)生很好的抑制作用。

2 高通濾波類算法及其存在問題

在時間域上,非均勻性噪聲屬于低頻成分,而場景屬于高頻成分。時域高通濾波算法(temporal high pass filtering,THPF)通過濾除圖像中的低頻成分,從而實現(xiàn)非均勻校正,整個過程可以看做一個時域上的高通濾波,即:

Yn=Xn-fn

(1)

(2)

式中,Xn表示第n幀非均勻圖像;Yn為校正輸出,fn為校正系數(shù);是第n幀的低通輸出;M是預先設定的時間常數(shù)。THPF算法容易實現(xiàn),其不足之處在于場景存在連續(xù)多幀靜止或者高亮度區(qū)域時會影響校正效果,產(chǎn)生“鬼影”現(xiàn)象。

ZUO在文獻[6]中采用雙邊濾波器進行圖像預處理。雙邊濾波器在處理圖像時具有更好的去噪保邊效果。其算法可表述為：

Yn=Xn-fn

(3)

(4)

(5)

圖1 圖像分離結(jié)果Fig.1 Image separation result

3 基于圖像配準的非均勻性校正算法

3.1 本文算法描述

在計算校正系數(shù)fn的過程中,剩余邊緣及高亮度部分會通過與已有的校正系數(shù)fn-1進行加權平均而得到衰減,但是并不能做到完全消除。圖1(c)為BFTH算法得到的校正系數(shù)fn,身體邊緣和高亮區(qū)域得到了很大的抑制,但是仍有殘余,這些殘留的信息會在校正后的圖像上形成“鬼影”?？梢钥闯?高通濾波類算法產(chǎn)生“鬼影”現(xiàn)象是由于大量不相關的場景信息的存在所導致的,為了克服高通濾波類算法存在的缺陷,本文提出一種基于圖像配準的非均勻性校正算法,算法流程如圖2所示。

圖2 本文算法流程圖Fig.2 Block diagram of the proposed algorithm

算法步驟如下：

圖3 前后兩幀重疊區(qū)域示意圖Fig.3 Overlapped area of two frames

(4)利用式(7)對fn進行迭代更新。

(5)利用式(6)校正當前幀Xn,得到Y(jié)n。

算法可表述為：

Yn=Xn-fn

(6)

(7)

(8)

3.2 初值的選擇

(9)

用均方根誤差RMSE對各種濾波算法的效果進行衡量,X1經(jīng)三種濾波器濾波后的RMSE如表1所示。

表1 首幀圖像濾波后的RMSETab.1 RMSE of first filtered frame

從表1中可以看出,當采用三邊濾波器時得到的殘差圖像的RMSE最低,校正效果最理想。所以算法在實現(xiàn)時,初值f1設置為三邊濾波器得到的殘差圖像。

3.3 M的選擇

在式(7)中,1/M表示的是校正系數(shù)fn的更新速率。隨著M取值的增大,fn受當前幀的影響減小,更新速率變慢。將M設置為20、50、100、200四種情況,并計算校正結(jié)果的RMSE,以便考察其對算法收斂速率和校正能力的影響。將得到的RMSE曲線顯示在圖4中。

圖4 不同M值時校正結(jié)果的RMSEFig.4 RMSE of the correction results with different M

從圖中可以看出,當M取值為10時,雖然曲線收斂的最快,但是收斂后一直處于振蕩狀態(tài)中,校正效果不穩(wěn)定。隨著M取值的增大,曲線收斂速度逐漸變慢,但是曲線收斂后,校正效果趨于穩(wěn)定。在50、100、200三個值中,當M取值為50時,校正結(jié)果的RMSE最小,算法收斂速度也最快。所以在算法實現(xiàn)時,可將M設置為50。更多的實驗證明,M取值只要在30～60范圍內(nèi),算法都可以取得較快的收斂速度和較穩(wěn)定的校正效果。

4 校正實驗及其結(jié)果分析

為了驗證本文算法的校正效果,利用一段真實拍攝的帶有非均勻性的紅外視頻進行測試。視頻使用1161型長波非制冷熱像儀在關掉非均勻性校正的情況下拍攝,幀頻為30 f/s。序列1內(nèi)容為近距離拍攝的人在室內(nèi)行走的視頻,共有450幀。序列2內(nèi)容為在公路上的行駛汽車的視頻序列,共有350幀,分別用SLTH算法、BFTH算法和本文算法對視頻序列進行非均勻性校正。校正時,將M設置為50。

4.1 序列1的實驗驗證

為了直觀地顯示算法的校正結(jié)果,以視頻序列中的第238幀圖像為例,將其校正系數(shù)及校正結(jié)果進行顯示。在第238幀中出現(xiàn)的人體目標運動速度較小,導致其臉部區(qū)域在連續(xù)多幀中表現(xiàn)為高亮度區(qū)域。這些區(qū)域在更新校正系數(shù)時貢獻較大,所以在SLTH算法和BFTH算法生成的校正系數(shù)中包含一部分高亮度信息。另外由于身體邊緣部分在空域上表現(xiàn)為高頻,所以無論是SLTH算法還是BFTH算法,都不可能將邊緣對校正系數(shù)的影響完全消除。如圖5(a)(c)所示,在人的臉部有一片區(qū)域灰度值明顯偏高,而且殘留了身體的邊緣信息,最終在對應的校正圖像上人的頭部和身體邊緣右方出現(xiàn)了亮度較低的鬼影,如圖5(b)(d)所示。本文對場景信息進行配準刪除,消除了場景信息對非均勻性校正的影響,本文得到的校正系數(shù)和校正結(jié)果如圖5(e)(f)所示,其校正結(jié)果中“鬼影”現(xiàn)象得到很好地抑制。

圖5 不同校正算法得到的校正系數(shù)及結(jié)果Fig.5 fn and results obtained with different algorithms

在處理真實的非均勻性圖像時,一般來說不可能獲得理想的圖像來對校正算法進行對比驗證,也不可能得到均方根誤差RMSE。此時,可用粗糙度[10]ρ來對非均勻性進行衡量。粗糙度計算公式為：

(10)

式中,h1、h2為水平和垂直方向的差分濾波器;I為待分析圖像;‖f‖1表示f的l1范數(shù);*表示離散卷積。ρ的值越小,表示非均勻性程度越弱。ρ的值越大,表示非均勻性程度越強。

圖6 序列1校正后圖像的粗糙度曲線Fig.6 Roughness of sequences 1 corrected by three algorithms

統(tǒng)計序列1經(jīng)三種算法校正之后結(jié)果圖像的粗糙度,做出曲線如圖6所示。經(jīng)本文算法校正后的圖像的粗糙度曲線最低,即本文算法在此場景下校正效果良好,可以有效的去除場景中的非均勻性。

表2顯示了三種算法得到的450幀校正后圖像所有的平均粗糙度、總處理時間及處理速度。根據(jù)表2可知,本文算法校正結(jié)果的平均粗糙度是SLTH的78%,處理速度是BFTH算法的1.63倍。所以從校正效果和處理速度兩方面綜合考慮,本文算法要優(yōu)于SLTH和BFTH兩種算法。

表2 三種算法校正能力比較Tab.2 Comparison of the correction ability of three algorithms

4.2 序列2的實驗驗證

以視頻序列2中的第100幀非均勻性圖像為例,如圖7(a)所示,分別利用SLTH、BFTH和本文算法對其進行非均勻性校正,校正結(jié)果圖像如圖7(b)(c)(d)所示?？梢钥闯?本文算法在此種場景下校正效果良好,非均勻性噪聲得到了很好的校正。

圖7 不同校正算法得到的校正結(jié)果Fig.7 Results obtained with different algorithms

統(tǒng)計序列2經(jīng)三種算法校正之后結(jié)果圖像的粗糙度,做出曲線如圖8所示。經(jīng)本文算法校正后的圖像的粗糙度曲線最低,即本文算法在此場景下校正效果良好,可以有效去除場景中的非均勻性。

圖8 序列2校正后圖像的粗糙度曲線Fig.8 Roughness of sequences 2 corrected by three algorithms

5 結(jié) 論

本文針對高通濾波類算法的缺陷,結(jié)合幀間配準技術,提出了一種基于圖像配準的非均勻性校正新算法。與在SLTH算法和BFTH算法中利用經(jīng)過濾波器濾波后得到的殘差圖像迭代更新校正系數(shù)相比,本文算法得到的殘差圖像能更好地消除了圖像中的場景信息,有效的抑制了“鬼影”現(xiàn)象,取得更好的校正效果。

參考文獻：

[1] SHI Haoran,LI Zhaolong,SHEN Tongsheng.Research on nonuniformity correction of inf-rared focal plane array[J].Laser & Infrared,2016,46(2):204-208.(in Chinese)

史浩然,李召龍,沈同圣.紅外焦平面陣列非均勻性的校正方法研究[J].激光與紅外,2016,46(2):204-208.

[2] REN Jianle,CHEN Qian,QIAN Weixian,et al.Multiframe registration based adaptive non-uniformity correction algorithm for infrared focal plane arrays[J].J.Infrared Millim.Waves,2014,33(2):122-128.

[3] LI Zhaolong,HAN Yulong.Blind pixel detection and correction of IR imaging based on scene[J].Laser & Infrared,2017,47(4):465-469.(in Chinese)

李召龍,韓玉龍.基于場景的紅外成像系統(tǒng)盲元檢測及校正[J].激光與紅外,2017,47(4):465-469.

[4] Zhang Tianxu,Shi Yan.Edge-directed adaptive nonuniformity correction for staring infrared focal plane arrays[J].Optical Engineering,2006,45(1):016402.

[5] Qian Weixian,Chen Qian,Gu Guohua.Space low-pass and temporal high-pass nonunifor-mity correction algorithm[J].Optical Review,2010,17(1):24-29.

[6] Zuo Chao,Chen Qian,Gu Guohua,et al.New temporal high-pass filter nonuniformity corre-ction based on bilateral filter [J].Optical Re-view,2011,18(2):197-202.

[7] LIU N,QIU H.A time-domain projection-based registration-scene-based nonuniformity correction technology and its detailed hardw-are realization[J].Optical Review,2014,21(1):17-26.

[8] YU Shikong,Xiang Wei,Zhao Yaohong,et al.An adaptive nonuniformity correction algorithm for infrared focal plane array[J].Journal of Computer-Aided Design & Computer Graphics,2016,28(1):138-145.(in Chinese)

于世孔,向偉,趙耀宏,等.一種自適應非均勻性校正算法[J].計算機輔助設計與圖形學學報,2016,28(1):138-145.

[9] LI Jia,QIN Hanlin,YAN Xiang,et al.Temporal- spatial nonlinear filter based non-uniformity correction method for IR image sequence[J].Acta Photonica Sinica,2015,44(4):0410001-0410001-5.(in Chinese)

李佳,秦翰林,延翔,等.時空域非線性濾波紅外序列圖像非均勻性校正[J].光子學報,2015,44(4):0410001-1-0410001-5.

[10] LI Zhaolong,SHEN Tongsheng,LOU Shu li.Scene-based nonuniformity correction based on bilateral filter with reduced ghosting[J].Infrared Physics & Technology,2016,77:360-365.