彭 勇，徐保樹，張程碩

?

基于輻射-環(huán)溫聯(lián)合曲面的紅外圖像非均勻性校正

彭 勇1,2,3,4，徐保樹2,3,4，張程碩1,2,3,4

( 1. 中國科學(xué)院大學(xué)，北京 100049；2. 中國科學(xué)院沈陽自動化研究所，沈陽 110016；3. 中國科學(xué)院光電信息處理重點實驗室，沈陽 110016；4. 遼寧省圖像理解與視覺計算重點實驗室，沈陽 110016 )

在傳統(tǒng)紅外圖像非均勻性校正方法中，探測器均處在常溫環(huán)境下，當(dāng)探測器的環(huán)溫在一個較寬的范圍內(nèi)變化時，這些方法的校正效果便會惡化、不適應(yīng)。針對此問題，本文在原常溫多點標定法的基礎(chǔ)上提出了一種基于曲面擬合的校正方法，把原先標定曲線加上探測器環(huán)溫維度擴展成標定曲面。隨后的縱向?qū)Ρ葘嶒灪蜋M向?qū)Ρ葘嶒灡砻髟摲椒軌蝻@著降低非均勻性，并能適應(yīng)環(huán)溫變化的情況。

紅外探測器；寬環(huán)溫；非均勻性校正；曲面擬合；紅外焦平面陣列

0 引 言

凝視型紅外焦平面陳列(IRFPA)技術(shù)有著響應(yīng)靈敏和分辨力高、體積小、功耗低等諸多優(yōu)點，已在國防、民用等領(lǐng)域得到廣泛應(yīng)用。但受探測器材料和制造工藝等因素的影響，IRFPA器件各像元的響應(yīng)是有差異的，均勻的光照射過去響應(yīng)并不一致，這種不一致稱為紅外圖像的非均勻性[1]。非均勻性對圖像的觀察和后續(xù)任務(wù)(如識別、跟蹤)的進行產(chǎn)生了嚴重的干擾[2-3]，所以非均勻性校正是紅外圖像處理的第一步。

目前，已有一些常溫下非均勻性校正方法被提出[4-7]，但是當(dāng)探測器的環(huán)境溫度在一個比較寬的范圍內(nèi)變化時，這些方法的校正效果不如常溫時理想，不能達到校正非均勻性的目的。這種情況的一個典型場景是：高速飛行器在飛行過程中，探測器前端的整流罩與空氣摩擦，產(chǎn)生大量熱，接著由于熱傳導(dǎo)效應(yīng)，探測器的環(huán)境溫度會迅速升高。而且整流罩的熱輻射使得探測器在一個比較高的動態(tài)范圍內(nèi)響應(yīng)，此時常溫下的校正方法對這種高動態(tài)寬環(huán)溫的情況不再適用。

本文在原常溫多點標定法的基礎(chǔ)上，提出了一種基于曲面擬合的非均勻性校正方法，把探測器的環(huán)境溫度充分考慮進去。該方法模型簡單、能夠線下學(xué)習(xí)并且校正速度快，克服了傳統(tǒng)方法易漂移和不能適應(yīng)寬環(huán)溫的缺點。本文在分析算法思想之后，給出了該方法的效果圖，并與常溫校正方法進行定性和定量的比較，論證該方法的有效性。

1 傳統(tǒng)校正方法及其常溫特性

目前常用的非均勻性校正方法可分為兩大類：標定法和場景自適應(yīng)法[4-7]。

其中標定法是通過標定探測器像元的響應(yīng)曲線來反向求出像元的實際輸入(也可認為是理想輸出)。而探測器像元的響應(yīng)曲線，即響應(yīng)輸出隨輸入的輻照強度的變化曲線大致為S型曲線[8]。標定法中常用的有兩點校正和多點校正。兩點校正就是用直線替代S型曲線，直線是由低溫本底和高溫本底標定出的兩個點確定的，其中本底圖像是探測器對輻射均勻的黑體所拍攝的圖像，易得出實際響應(yīng)和理想響應(yīng)(整幅圖像的均值)，所以常用于標定。多點校正是用多個標定點來擬合像元響應(yīng)曲線，更加準確地逼近像元響應(yīng)與輻通量的關(guān)系[9]。標定法校正速度快、模型簡單、操作方便，不過缺點也很明顯，容易產(chǎn)生漂移，使用一段時間后標定曲線會偏移實際的響應(yīng)曲線，就得重新標定。標定曲線產(chǎn)生漂移的原因是標定曲線是探測器處在常溫時標定的，工作一段時間后，探測器所處的環(huán)溫發(fā)生變化，標定曲線不再適用。

場景自適應(yīng)法不需要黑體進行標定，而是通過如神經(jīng)網(wǎng)絡(luò)算法等學(xué)習(xí)算法來最小化觀察圖像和估計圖像的差值，從而不斷更新校正參數(shù)來解決漂移問題。但由于估計圖像未必是真實圖像，所以場景自適應(yīng)法會存在很強的鬼影現(xiàn)象和目標景物退化等問題[10]。而且現(xiàn)用的場景自適應(yīng)法的校正參數(shù)更新過程對場景有一定的要求，并且也都是在常溫下進行的，沒有涉及寬環(huán)溫的情況。

圖1(a)顯示了環(huán)溫對探測器的影響，圖1(b)是其局部放大圖，軸為本底溫度代表輻照強度，軸為探測的響應(yīng)值，圖中給出了不同環(huán)境溫度下探測器的響應(yīng)曲線。從中可以看出隨著環(huán)境溫度的變化，響應(yīng)曲線發(fā)生了平移或旋轉(zhuǎn)。這也是常溫下校正方法不適應(yīng)的原因，標定曲線會隨著環(huán)溫發(fā)生漂移。

2 基于曲面擬合的非均勻性校正方法

分析前面的標定法可知，無論是兩點標定還是多點標定，標定曲線的兩個維度分別為實際探測器響應(yīng)值和理想值，而變化的環(huán)境溫度會使標定曲線漂移，使標定法失效。倘若把變化的環(huán)境溫度也作為一個自變量，把標定曲線升維成標定曲面，能否解決標定曲線漂移和標定法適應(yīng)寬環(huán)溫的情況呢？本文方法就是基于這樣的思路擴展的，之后會驗證該方法的有效性?；谇鏀M合的非均勻性校正方法的流程如圖2所示，主要步驟如下。

1) 設(shè)定標定曲面的模型?？筛鶕?jù)探測器型號和使用情況選取合適的曲面模型，由于多項式曲面通用性比較強，所以在通用情況下可選取三次曲面作為標定曲面的模型。選取三次曲面還有如下原因：標定曲面是由原標定曲線加上環(huán)境溫度維度升維而得來的，一個確定的環(huán)境溫度就對應(yīng)一條標定曲線，所以可認為標定曲面就是由無數(shù)條標定曲線組成的。而標定曲線是S型曲線，三次曲線能夠并且足以描述探測器響應(yīng)曲線的曲折變化，所以此處采用一般化的三階多項式擬合模型：

2) 線下采集數(shù)據(jù)完成標定參數(shù)的求解。兩點標定法的線下標定過程是探測器處在常溫下，采集高低溫兩個輻照強度時的響應(yīng)情況；多點標定法則是探測器處在常溫下，采集多個輻照強度時的響應(yīng)情況；本文是在多點標定的數(shù)據(jù)采集基礎(chǔ)上，再變化探測器的環(huán)境溫度，即采集多個環(huán)溫和多個輻照強度時的響應(yīng)情況，此采集過程可在溫箱中用黑體進行。

把每一個確定的環(huán)溫和確定的輻照強度的響應(yīng)情況都帶入式(1)，并寫成矩陣形式：

模型(1)有10個未知數(shù)，所以此方程至少需要10次采集才能有唯一解，而一般情況下′都遠遠大于10，故符合并可采用最小二乘法：

根據(jù)式(4)求出多項式擬合系數(shù)。此處求出的便是該像元的校正系數(shù)，對探測器的每個像元的校正系數(shù)均可通過此法求出，這些校正系數(shù)的標定都可以在線下完成的。

3) 對探測器獲取的圖像進行非均勻性校正。對于像元，校正過程需要傳入兩個參數(shù)：探測器的測量值v和探測器所處的環(huán)境溫度T(可在探測器周圍布置溫度傳感器，由傳感器傳入環(huán)溫)，然后：

由式(5)求出向量，由式(6)即可求出像元的理想值，其中P在標定過程已經(jīng)求出。對每個像元通過這種方式校正即可完成整幅圖像的校正。

3 實驗結(jié)果與分析

為了驗證本文方法的有效性，做了兩組對比實驗：1) 縱向?qū)Ρ?，驗證本文方法可以對紅外圖像的非均勻性進行校正；2) 橫向?qū)Ρ?，與常溫下的非均勻性校正方法對比，驗證對于寬環(huán)溫的特殊情況，本文方法依然能夠校正。

圖3(a)是環(huán)境溫度為20 ℃、本底溫度為25 ℃時探測器獲取的原始圖像，從中可以看出明顯的非均勻性。其中，本底溫度是指黑體的溫度，以此來控制黑體的輻照強度。理想情況圖像應(yīng)該都是均勻的顏色，實際獲取時有了包含固定圖案等的非均勻性，圖3(b)是使用了本文的基于曲面擬合非均勻性校正方法校正之后的圖像，可以看出非均勻性大部分被消除，成為均勻圖像。

為了更加直觀地觀察校正前后的效果，在此引入灰度分布三維圖的概念?；叶确植既S圖是把圖像的灰度信息在一張三維圖上顯示，圖的軸、軸分別是像元點的位置信息即行列值，軸為像元點的灰度值。圖3(c)顯示的是圖3(a)的灰度分布三維圖，其中的曲面表示圖像的非均勻性，即有固定圖案；其中的豎條表示探測器的盲元[11]。由圖可見，灰度分布三維圖能直觀清晰地反映本底圖像的非均勻性和盲元情況。圖3(d)顯示的是圖3(b)的灰度分布三維圖，從中可以看出經(jīng)過本文方法非均勻性校正之后去掉了原圖的非均勻性，恢復(fù)了本底圖像的均勻響應(yīng)。此處顯示的是經(jīng)過盲元檢測、去除和補償處理[12]后的結(jié)果，使用的方法是對校正后的圖像進行曲面擬合，去除偏離曲面3的盲元點，并用均值補償。

保持本底溫度25 ℃不變，變化探測器的環(huán)境溫度，圖4(a)、圖4(b)分別顯示的是本文方法對環(huán)境溫度為0 ℃和環(huán)境溫度為30 ℃時的本底圖像校正后的圖像灰度分布三維圖，均恢復(fù)了本底圖像的均勻特性。由于其原圖、校正效果圖和原圖的灰度分布三維圖與圖3(a)、(b)、(c)類似，所以此處只給出了校正后圖像的灰度分布三維圖以顯示校正效果，并調(diào)整了灰度顯示范圍使顯示效果最佳。上面這些不同環(huán)境溫度的校正過程都是用同一標定參數(shù)校正的，并沒有重新標定。由此組對照實驗可看出本文方法確實能對寬環(huán)溫下的非均勻性起到校正作用。

橫向?qū)Ρ葘嶒炛?，圖5(a)采用常溫多點標定法[5]對圖3(a)校正之后的灰度分布三維圖。從中可看出校正效果也很好，因為此時采用的校正系數(shù)是用環(huán)境溫度為20 ℃時高低溫本底標定的，而圖3(a)恰好是環(huán)溫為20℃的本底圖像，所以能校正得很好。當(dāng)用這個系數(shù)去校正0 ℃和30 ℃的本底時，就逐漸失去校正作用。圖5(b)和圖5(c)是用多點標定法對環(huán)境溫度為0 ℃和環(huán)境溫度為30 ℃的本底圖像校正后圖像灰度三維圖，與圖4(a)和圖4(b)進行對比，可以看出常溫多點標定法對環(huán)溫為常溫的情況校正效果很好，但是對其他環(huán)溫情況卻仍然有很多非均勻性沒有被校正。

為了定量地說明上述過程，對上述圖像進行非均勻性度量[11]。即標準差與均值之比：

其中：、是像元中盲元中死元和過熱元的數(shù)量[11]。

圖6給出了本文方法和多點標定法對不同環(huán)溫和不同本底溫度的本底校正之后殘留的非均勻性，上面曲面為多點標定法，下面曲面為本文方法。從圖中可直觀地看出，常溫多點標定法在常溫(此處為20℃)時校正效果很好，但隨著環(huán)境溫度的變化，多點標定法的校正效果惡化，殘留非均勻性比較高，而本文方法依然可降低非均勻性。

表1給出了縱向和橫向?qū)Ρ葘嶒灥牟糠至炕闆r，表中第2行給出了不同環(huán)溫時校正之前的原圖像的非均勻性，第3行給出了使用本文方法校正之后的圖像的非均勻性，兩行數(shù)據(jù)對比可看出經(jīng)過本文方法校正，非均勻性大大地降低。第4行給出了使用常溫多點標定法校正之后圖像的非均勻性，與使用本文方法的第3行數(shù)據(jù)對比可得出，隨著環(huán)境溫度的變化，多點標定法的校正效果惡化，校正之后多點標定法殘留的非均勻性是本文方法的3倍至20倍，而且本文方法不必重復(fù)標定。兩組對比實驗表明，本文方法能有效地校正非均勻性，并能克服常溫方法不能適應(yīng)環(huán)境溫度變化的缺點。

4 結(jié) 論

傳統(tǒng)的紅外圖像非均勻性校正方法具有常溫屬性，即探測器處在常溫下能把非均勻性校正得非常好，但是探測器所處的環(huán)境溫度一旦發(fā)生變化，校正效果便會惡化，導(dǎo)致校正方法不再適用。本文在傳統(tǒng)多點標定法的基礎(chǔ)上充分考慮探測器所處的環(huán)境溫度的影響，提出了一種基于輻射-環(huán)溫聯(lián)合曲面的非均勻性校正方法，使得標定法在探測器所處環(huán)溫和外界輻射場景劇烈變化時依然能夠適用。

隨后進行的定性和定量對比實驗論證了本文方法的有效性。本文方法克服了傳統(tǒng)非均勻性校正方法容易產(chǎn)生漂移的缺點，能夠適應(yīng)寬環(huán)溫的情況，是寬環(huán)溫情況下的一種可行的非均勻性校正方法。

[1] Scribner D A，Kruer M R，Gridley C J，. Measurement，characterization，and modeling of noise in staring infrared focal plane arrays [J]. Proceedings of SPIE(S0277-786X)，1987，782：147-160.

[2] Milton A F，Barone F R，Kruer M R. Influence of Non-uniformity On Infrared Focal Plane Array Performance [J]. Optical Engineering(S0091-3286)，1985，24(5)：855-862.

[3] 溫佩芝，史澤林，于海斌. 基于小波和形態(tài)學(xué)的自然地面背景紅外目標檢測方法 [J]. 信息與控制，2004，33(1)：107-111.

WEN Peizhi，SHI Zelin，YU Haibin. A Method for Detecting IR Target in Natural Background Based on Wavelet Transform and Morphology [J]. Information and Control，2004，33(1)：107-111.

[4] Torres S N，Hayat M M. Kalman filtering for adaptive non-uniformity correction in infrared focal-plane arrays [J]. Journal of the Optical Society of America A-Optics Image Science and Vision(S1084-7529)，2003，20(3)：470-480.

[5] 殷世民，劉上乾. 基于低次插值的紅外焦平面器件非均勻性多點校正算法 [J]. 光子學(xué)報，2002，31(6)：715-718.

YIN Shimin，LIU Shangqian. The Multi-point Non-uniformity Correction Algorithms For IRFPA Based on Low Order interpolation [J]. Acta Photonica Sinica，2002，31(6)：715-718.

[6] Schulz M，Caldwell L. Non-uniformity Correction and Correctability of Infrared Focal-Plane Arrays [J]. Infrared Physics & Technology(S1350-4495)，1995，36(4)：763-777.

[7] 李曉陽. 基于智能計算的紅外圖像非均勻性校正方法研究 [D]. 成都：電子科技大學(xué)，2013：28-41.

LI Xiaoyang. Study on Non-uniformity Correction of Infrared Image Based on Computational Intelligence Algorithm [D]. Chengdu：University of Electronic Science and Technology of China，2013：28-41.

[8] 趙巖，張焱，沈振康. 改進的探測器S形曲線的非均勻校正算法研究 [J]. 激光與紅外，2008，38(3)：226-229.

ZHAO Yan，ZHANG Yan，SHEN Zhenkang. Improved Detector Non-uniformity Correction Based on S-curve Model [J]. Laser & Infrared，2008，38(3)：226-229.

[9] 張紅輝，羅海波，余新榮，等. 多點標定的自適應(yīng)非均勻性校正方法 [J]. 紅外與激光工程，2014，43(11)：3651-3654.

ZHANG Honghui，LUO Haibo，YU Xinrong，. Adaptive non-uniformity correction algorithm based on multi-point correction [J]. Infrared and Laser Engineering，2014，43(11)：3651-3654.

[10] 劉慧，朱明超，吳澤鵬，等. 紅外焦平面陣列非均勻性自適應(yīng)校正方法 [J]. 紅外與激光工程，2014，43(5)：1364-1369.

LIU Hui，ZHU Mingchao，WU Zepeng，. Adaptive nonuniformity correction method for infrared focal plane arrays [J]. Infrared and Laser Engineering，2014，43(5)：1364-1369.

[11] GB/T 17444-2013. 紅外焦平面陣列參數(shù)測試方法 [S]. 北京：中國標準出版社，2013：2013-11-12.

GB/T 17444-2013. Measuring methods for parameters of infrared focal plane arrays [S]. Beijing：China Standards Press，2013：2013-11-12.

[12] 隋修寶，陳錢，顧國華，等. 紅外焦平面陣列盲元檢測算法 [J]. 光電工程，2008，35(8)：107-111.

SUI Xiubao，CHEN Qian，GU Guohua，. Algorithm of Blind Pixels Detection for IRFPA [J]. Opto-Electronic Engineering，2008，35(8)：107-111.

本期組稿：楊淇名

責(zé)任編輯：謝小平

英文編輯：龐 洪

Infrared Image Non-uniformity Correction Based on Joint Surface of Radiation and Environment Temperature

PENG Yong1,2,3,4，XU Baoshu2,3,4，ZHANG Chengshuo1,2,3,4

( 1. University of Chinese Academy of Sciences, Beijing 100049, China；2. Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China；3. Key Laboratory of Optical-Electronics Information Processing, Chinese Academy of Sciences, Shenyang 110016, China；4. Key Laboratory of Image Understanding and Computer Vision, Shenyang 110016, China )

In the traditional infrared image non-uniformity correction method, detectors are at room temperature environment. When the environment temperature of detector is changing over a wide range, correction effect of these methods will be worse and not suited. To solve this problem, a non-uniformity correction method based on curved surface fitting is proposed on the basis of original multiple points correction method. Fully considering the environment temperature of detector, original correction curve is increased to correction surface. Subsequent longitudinal comparative experiment and horizontal comparative experiment show that proposed method can greatly reduce the non-uniformity and adapt to the case of changing environment temperature.

infrared detector; wide environment temperature; non-uniformity correction; curved surface fitting; IRFPA

1003-501X(2016)08-0089-06

TN215

A

10.3969/j.issn.1003-501X.2016.08.015

2015-11-30；

2016-03-01

中國科學(xué)院國防科技創(chuàng)新基金(CXJJ-14-S116)

彭勇(1991-)，男(漢族)，江西九江人。碩士研究生，主要研究工作是紅外圖像非均勻性校正。E-mail: pengyong@sia.cn。