王 杰，洪聞青，葛 朋，王曉東，潘 超

基于像素級輻射自校準的紅外圖像非均勻性校正改進方法

王 杰，洪聞青，葛 朋，王曉東，潘 超

（昆明物理研究所，云南 昆明 650223）

紅外成像系統(tǒng)中一直存在著非均勻性的問題，針對紅外大動態(tài)范圍成像等任務(wù)對改變成像系統(tǒng)積分時間的需要，提出了一種利用像素級輻射自校正技術(shù)的可變積分時間的非均勻性校正方法。通過輻射自校正為紅外探測器中的每個像元建立輻射響應(yīng)方程以估計出場景的輻射通量圖，利用線性校正模型對輻射通量圖進行校正，實現(xiàn)任意積分時間下的非均勻性校正。該方法的有效性通過高分辨率碲鎘汞紅外探測器進行了驗證。

非均勻性校正；輻射自校準；積分時間

0 引言

為解決紅外成像系統(tǒng)存在的非均勻性問題，研究者們已經(jīng)提出了很多的非均勻性校正方法，例如兩點校正[1]、基于神經(jīng)網(wǎng)絡(luò)的方法和基于時域濾波的方法等[2-3]。然而其中絕大多數(shù)方法在設(shè)計時并未考慮積分時間這一因素，這些方法通常只適用于積分時間固定的應(yīng)用。針對紅外大動態(tài)范圍成像[4]等任務(wù)對改變積分時間的需要，一些可變積分時間的非均勻性校正方法被提出。這類算法主要可分為兩種：一種通過建立精確的含積分時間等變量的紅外成像物理模型并求解模型參數(shù)實現(xiàn)[5-7]，比如Chen等人[5]建立了含有入射照度、積分時間、探測器暗電流和偏置電壓等變量的響應(yīng)模型，提出了可變積分時間的二維定標(biāo)非均勻性校正方法。另一種則不需要建立精確的解析模型，而是利用機器視覺中的輻射校準方法來實現(xiàn)，例如Ochs等人[8]提出了基于像素級輻射自校準的非均勻性校正方法，首先通過輻射自校準來估計場景的輻射通量圖，再對輻射通量圖進行非均勻性校正。

本文在Ochs等人提出的校正方法的基礎(chǔ)上，對該方法中的兩個關(guān)鍵的步驟進行了改進，主要體現(xiàn)在使用多組不同積分時間的黑體圖像序列進行輻射自校準以獲得更準確的輻射響應(yīng)方程，以及利用進行輻射自校準過程所使用的多組圖像序列來計算非均勻性校正參數(shù)。

1 響應(yīng)模型

對于典型紅外成像系統(tǒng)，來自場景的紅外輻射被光學(xué)系統(tǒng)匯聚在紅外焦平面陣列上，經(jīng)過有效的積分（曝光），焦平面的像元中紅外光子經(jīng)由光電轉(zhuǎn)換及一系列電信號處理后被轉(zhuǎn)化為相應(yīng)的灰度值[9]。假設(shè)這些過程均為線性變換，且不考慮暗電流和噪聲等影響時，則對于紅外成像系統(tǒng)中的像元，輸出的灰度值Y與到達成像系統(tǒng)的紅外光的輻射通量F和積分時間int的關(guān)系可以表示為：

Y＝aFtint＋b(1)

式中：a為光學(xué)系統(tǒng)、光電轉(zhuǎn)換和電信號處理等引起的增益；b為電信號處理帶來的偏移。

如公式(1)所示，成像系統(tǒng)輸出的灰度值與積分時間的關(guān)系通常被認為是線性的，因此能夠以較方便的方法估計出場景的輻射通量，通過對輻射通量進行非均勻性校正處理來降低積分時間變化帶來的影響。這也是絕大多數(shù)積分時間可變的非均勻性校正方法[5-8]實現(xiàn)的基礎(chǔ)。雖然實際上在紅外探測器的整個動態(tài)范圍內(nèi)，探測器輸出信號與積分時間是非線性的，如圖1所示。但是在探測器的某段動態(tài)范圍內(nèi)，輸出信號與積分時間之間具有很高的線性度。對于本文所使用的紅外中波碲鎘汞探測器，在其15%～85%的動態(tài)范圍內(nèi)，大多數(shù)像素關(guān)于積分時間的響應(yīng)非線性度[10]小于0.2%，可認為在此范圍內(nèi)該探測器為線性響應(yīng)。

圖1 恒定輻照度時某像素輸出信號與積分時間的關(guān)系

2 基于像素級輻射自校準的校正方法

輻射自校準是一種估計場景輻射能量與場景圖像（歸一化）灰度之間映射關(guān)系＝()的方法，它假設(shè)可以通過階多項式建立的響應(yīng)方程來描述這種關(guān)系[11]。Ochs等人針對紅外成像系統(tǒng)的非均勻性的特點，提出了一種基于像素級輻射自校準的非均勻性校正方法（以下簡稱Ochs方法）。該方法為探測器的每一個像元建立這種映射關(guān)系，考慮到輻射能量與輻射通量的關(guān)系＝×，像素的響應(yīng)方程f可以表示為：

通常紅外成像系統(tǒng)使用固定的F數(shù)，對某一固定溫度的面源黑體采集種不同積分時間的圖像序列，可以得到不同圖像所對應(yīng)的輻射能量與積分時間比值之間的關(guān)系：

式中：和＋是圖像序列的編號，將公式(2)代入，得到：

根據(jù)公式(4)，可以得到像元的誤差方程，如公式(5)。結(jié)合約束f(1)＝1，通過最小化可以計算出響應(yīng)方程f的＋1個多項式系數(shù)a,n。

在獲得每個像素的響應(yīng)方程后，可以估計出場景的輻射能量圖，除以積分時間便能夠得到場景輻射通量圖的估計。由于光學(xué)系統(tǒng)的影響[8]，以及輻射自校準方法計算出響應(yīng)方程所固有的不確定性[11]，還需要對獲得的輻射通量圖進行校正。對輻射通量圖中像素的校正使用公式(6)所示的線性校正模型完成，并使用兩點校正方法計算出校正參數(shù)g和o，式中F*是校正后的輻射通量。

F*＝g×F＋o(6)

3 本文方法

3.1 像素級輻射自校準方法

為了能夠獲得更準確且更穩(wěn)定的結(jié)果，本文提出利用多個溫度點的黑體圖像序列來求解每個像素的響應(yīng)方程的多項式系數(shù)。該方法對種溫度的面源黑體分別采集J種積分時間的圖像（＝1,…,），在誤差方程(5)的基礎(chǔ)之上，可以得到新的誤差方程：

結(jié)合約束f(1)＝1，令誤差方程最小化可求出響應(yīng)方程的系數(shù)a,n。需要注意的是，選取黑體的溫度點時，其范圍最好能夠覆蓋實際觀測場景的溫度范圍。

3.2 校正參數(shù)計算方法

3.3 處理流程

本文提出的方法的處理流程如下：

1）分別對種溫度面源黑體采集J種積分時間的圖像，得到序列{Y,j}并做歸一化處理；

2）使用{Y,j}和積分時間{t,j}利用公式(7)計算出每個像元的響應(yīng)方程f；

3）使用響應(yīng)方程計算{Y,j}對應(yīng)的輻射通量圖序列{F,j}，并通過公式(8)獲得校正參數(shù){g,o}；

4）對于待校正圖像，先計算出待校正的輻射通量圖，再使用公式(6)得到校正后的輻射通量圖；

5）若僅需輸出圖像，將校正后的輻射通量圖乘以積分時間得到校正的圖像。

4 實驗結(jié)果與分析

4.1 實驗設(shè)置及評價方式

實驗采集圖像使用640×512中波紅外碲鎘汞焦平面陣列探測器組件和焦距30mm的F/4鏡頭，探測器工作在ITR模式，采樣ADC精度為14bit；高精度面源黑體使用HGH公司的DCN1000 N4，靶面尺寸為100mm×100mm。采集黑體圖像時，調(diào)整鏡頭與黑體靶面間的距離確保靶面能夠覆蓋鏡頭視場。

實驗中以5℃為步長，分別采集15℃～100℃共18個溫度點的黑體的圖像。在確定至少能夠覆蓋探測器15%～85%的動態(tài)范圍時任意挑選積分時間，每個溫度點下分別采集8～15種積分時間的圖像各1張，一共產(chǎn)生198張黑體圖像。

本文中，針對面源黑體的圖像使用的偏移不均勻性NU[9,12]進行評價，針對實際場景的圖像使用粗糙度[13]進行評價。

另外，實驗采集到的圖像均會預(yù)先進行無效像元替換處理，所展示的紅外圖像均經(jīng)過了非線性的自動增強處理。

4.2 實驗結(jié)果與分析

實驗分別使用兩點校正方法、Ochs方法和本文提出的方法處理圖像數(shù)據(jù)。光子型紅外探測器的響應(yīng)線性度較好，2階多項式模型足以擬合探測器的非線性性，因此Ochs方法和本文方法均使用2階多項式模型建立響應(yīng)方程。這3種方法中，兩點校正使用積分時間為3ms的20℃和75℃的圖像計算校正參數(shù)；Ochs方法使用35℃的圖像序列計算響應(yīng)方程，使用20℃和90℃的圖像來獲取校正參數(shù)；本文方法使用15℃、30℃、50℃和90℃的圖像數(shù)據(jù)計算響應(yīng)方程和校正參數(shù)。

這3種方法對198張黑體圖像進行非均勻性校正處理后，校正后圖像的偏移不均勻性NU的統(tǒng)計數(shù)據(jù)如表1所示。表1中可以看出，本文方法校正后的黑體圖像的偏移不均勻性NU的均值，比未校正降低了98.3%，比兩點校正降低了93.5%，比Ochs方法降低了24.1%，校正后圖像NU的中值、最小值和最大值也均低于其他兩種方法。

表1 3種方法處理前后的黑體圖像的NU的統(tǒng)計數(shù)據(jù)

另外，實驗還使用該熱像儀對一場景采集了4ms、9ms和12ms三種積分時間的圖像，兩點校正、Ochs方法和本文方法校正后的圖像如圖2所示。圖2中可以看出兩點校正后的圖像中存在亮點和暗點，且圖像的積分時間偏離標(biāo)定使用的積分時間（3ms）越多時亮點和暗點的數(shù)量越多；另外圖像的四周還存在過補償?shù)那闆r，導(dǎo)致圖像四周偏亮、中心偏暗，背景因?qū)Ρ榷炔蛔阋搽y以辨別。相對于兩點校正，Ochs方法和本文方法校正后的圖像的效果均有較明顯的提升，圖像中均沒有明顯的固定圖案噪聲，比如暗角、四周過補償、豎條紋、亮點和暗點等，圖像經(jīng)過增強后的對比度也更高。

為了能夠更客觀地評價3種方法的校正效果，分別計算了9幅圖像（增強之前）的粗糙度，如表2所示。3種方法中，本文方法校正后圖像的粗糙度數(shù)值也最小。

5 總結(jié)

本文提出了一種基于像素級輻射自校準的紅外圖像非均勻性校正改進方法。該方法通過對估計出的場景的輻射通量圖進行校正，實現(xiàn)了可變積分時間的非均勻性校正。該方法在輻射自校準的基礎(chǔ)上，利用多個溫度點下采集的面源黑體的不同積分時間的圖像，獲得了更準確且更穩(wěn)定的像素級響應(yīng)方程的估計，可以得到更準確的場景輻射通量的估計。該方法還將非均勻性校正參數(shù)的求解轉(zhuǎn)化為了線性最小二乘問題，從而能夠充分利用采集到的多溫度點、多積分時間的圖像，實現(xiàn)更好的非均勻性校正效果。實驗表明，本文方法能夠?qū)⒕€性響應(yīng)范圍內(nèi)的任意積分時間下的紅外圖像的非均勻性降低至較低的水平。

圖2 三種方法校正后的場景圖像

表2 三種方法處理前后的場景圖像的粗糙度r

[1] 蔡盛, 柏旭光, 喬彥峰. 基于標(biāo)定的IRFPA非均勻性校正方法綜述[J].紅外技術(shù), 2007, 29(10): 589-592. CAI Sheng, BAI Xuguang, QIAO Yanfeng. Summarize on the Nonuniformity Correction Algorithms for IRFPA Based on Calibration[J]., 2007, 29(10): 589-592.

[2] Scribner D A, Sarkady K A, Caulfield J T, et al. Nonuniformity correction for staring IR focal plane arrays using scene-based techniques[C]//, 1990, 1308: 224-233.

[3] 周永康, 朱尤攀, 趙德利, 等. 基于場景的紅外焦平面非均勻校正算法綜述[J]. 紅外技術(shù), 2018, 40(10): 952-960. ZHOU Yongkang, ZHU Youpan, ZHAO Deli, et al. A Review of Scene-based Nonuniformity Correction Algorithms for Infrared Focal Plane Arrays[J]., 2018, 40(10): 952-960.

[4] 洪聞青, 姚立斌, 姬榮斌, 等. 基于不同積分時間幀累加的紅外圖像超幀方法[J]. 光學(xué)精密工程, 2016, 24(6): 1490-1500. HONG Wenqing, YAO Libin, JI Rongbin, et al. A super-frame processing method for infrared image based on accumulation of different integration time frame[J]., 2016, 24(6): 1490-1500.

[5] CHEN N, ZHANG J, ZHONG S, et al. Nonuniformity Correction for Variable-Integration-Time Infrared Camera[J]., 2018, 10(6): 1-11.

[6] LIU M, LI S, LI L, et al. Infrared HDR image fusion based on response model of cooled IRFPA under variable integration time[J]., 2018, 94: 191-199.

[7] 白樂, 賴雪峰, 韓維強, 等. 適應(yīng)積分時間調(diào)整的紅外圖像非均勻性校正方法[J]. 光子學(xué)報, 2020, 49(1): 0110002. BAI Le, LAI Xuefeng, HAN Weiqiang, et al. Infrared Image Nonuniformity Correction Method Adapted to Adjustment of Integration Time[J]., 2020, 49(1): 0110002

[8] Ochs M, Schulz A, Bauer H J. High dynamic range infrared thermography by pixelwise radiometric self calibration[J]., 2010, 53(2): 112-119.

[9] Rogalski A.[M]. Boca Raton, FL: CRC press, 2010.

[10] EMVA 1288 Working Group. EMVA Standard 1288–Standard for Characterization of Image Sensors and Cameras, Release 3.1[S]. [2020-04-20], 2016.

[11] Mitsunaga T, Nayar S K. Radiometric self calibration[C]//. 1999, 1999, 1: 374-380.

[12] Mooney J M, Sheppard F D, Ewing W S, et al. Responsivity nonuniformity limited performance of infrared staring cameras[J]., 1989, 28(11): 281151.

[13] Majeed M Hayat, Sergio N Torres, Ernest Armstrong, et al. Statistical algorithm for nonuniformity correction in focal-plane arrays[J]., 1999, 38: 772-780.

Improved Non-uniformity Correction Method by Pixel-wise Radiometric Self-calibration for Infrared Imaging

WANG Jie，HONG Wenqing，GE Peng，WANG Xiaodong，PAN Chao

(Kunming Institute of Physics, Kunming 650223, China)

Eliminating non-uniformity is a persistent challenge for infrared imaging systems, especially when the integration time varies. This paper describes a non-uniformity correction method with the ability to adapt to arbitrary changes in integration time by correcting the infrared radiation flux map of the scene, which is estimated by pixel-wise radiometric self-calibration.Multiple images of an extended blackbody, obtained with different integration times and blackbody temperatures,were used toobtain the parameters of both the correction model and radiometric calibration model. The correction effect of this method within a wide range of integration times was verified by a high-resolution HgCdTe medium-wave infrared imager.

non-uniformity correction, radiometric self-calibration, integration time

TN219

A

1001-8891(2021)03-0246-07

2020-12-17；

2021-03-03.

王杰（1992-），男，碩士研究生，工程師，主要從事紅外圖像處理方面的研究。E-mail：jaegerwang@outlook.com

洪聞青（1986-），男，博士，高級工程師，主要從事紅外成像系統(tǒng)方面的研究。E-mail：hongwenqing@aliyun.com