張秋旋，王瑋冰,2，李 佳

?

基于補(bǔ)償算法的紅外探測(cè)器非均勻性校正

張秋旋1，王瑋冰1,2，李 佳1

（1. 中國(guó)科學(xué)院微電子研究所，北京 100020；2. 昆山光微電子有限公司，江蘇 蘇州 215300）

由于工藝條件的限制，紅外焦平面探測(cè)器各像元的非均勻性嚴(yán)重影響了紅外圖像質(zhì)量，由紅外焦平面非均勻性所導(dǎo)致的成像效果變差的問(wèn)題已成為制約紅外成像技術(shù)應(yīng)用的瓶頸。基于FPGA為數(shù)據(jù)處理核心的硬件平臺(tái)，采用領(lǐng)域平均算法結(jié)合加權(quán)濾波算法以及溫度補(bǔ)償算法依次實(shí)現(xiàn)了對(duì)紅外圖像的盲元校正與實(shí)時(shí)補(bǔ)償處理。實(shí)驗(yàn)結(jié)果表明此算法能夠?qū)崟r(shí)處理圖像補(bǔ)償過(guò)程中產(chǎn)生的大量數(shù)據(jù)，顯著地提高了紅外圖像質(zhì)量，并且僅用FPGA完成所有數(shù)據(jù)處理，構(gòu)成了精簡(jiǎn)的最小系統(tǒng)，有效地降低了成本。

紅外焦平面；非均勻性校正；補(bǔ)償算法；FPGA

0 引言

理想情況下，在紅外焦平面陣列各像素點(diǎn)受到相同輻照下，各像素的輸出電壓值應(yīng)相同。但因溫度對(duì)紅外探測(cè)器成像具有一定影響，而實(shí)際紅外成像的過(guò)程中紅外探測(cè)器需要長(zhǎng)期暴露在外界環(huán)境中，因此探測(cè)器表面溫度會(huì)隨著環(huán)境溫度和時(shí)間累積發(fā)生變化，變化的探測(cè)器基底溫度影響著各像素點(diǎn)輸出響應(yīng)值的大小，使各像元在均勻輻照下由于基底溫度不同而產(chǎn)生不同的輸出響應(yīng)，即紅外焦平面陣列非均勻性，非均勻性嚴(yán)重影響了圖像質(zhì)量并且限制了紅外探測(cè)器的應(yīng)用。因此，紅外焦平面非均勻性的有效校正是不可避免的技術(shù)問(wèn)題[1-3]。

為了實(shí)現(xiàn)最佳的校正效果，本文采用盲元補(bǔ)償算法剔除陣列中的過(guò)熱像元和未響應(yīng)像元，通過(guò)分析探測(cè)器基底溫度與探測(cè)器輸出響應(yīng)之間的關(guān)系，將經(jīng)過(guò)盲元補(bǔ)償算法輸出的探測(cè)器有效數(shù)據(jù)進(jìn)行溫度補(bǔ)償，消除探測(cè)器基底溫度對(duì)各像元輸出電壓的影響。設(shè)計(jì)基于FPGA為數(shù)據(jù)處理核心的硬件平臺(tái)，并結(jié)合片外FLASH與SDRAM完成補(bǔ)償校正方案，有效解決了紅外焦平面陣列各像元輸出的非均勻性問(wèn)題。

1 補(bǔ)償算法原理

1.1 盲元補(bǔ)償介紹

盲元是指紅外焦平面探測(cè)器中響應(yīng)率過(guò)高和過(guò)低的像素點(diǎn)。若探測(cè)器中存在過(guò)多盲元?jiǎng)t會(huì)導(dǎo)致紅外圖中出現(xiàn)大量黑白噪點(diǎn)，影響紅外圖像效果。溫度補(bǔ)償算法無(wú)法消除盲元影響，為了保證后期成像效果系統(tǒng)需先對(duì)探測(cè)器輸出進(jìn)行盲元補(bǔ)償[4-5]。

當(dāng)前主流的盲元補(bǔ)償算法是線(xiàn)性插值法。算法采用盲像元相鄰的同一行或者同一列中的2個(gè)像素點(diǎn)或4個(gè)像素點(diǎn)數(shù)據(jù)進(jìn)行線(xiàn)性插值計(jì)算，若(,)為盲元像素點(diǎn)，其中為探測(cè)器陣列的行數(shù)，為探測(cè)器陣列的列數(shù)。采用同列間兩點(diǎn)進(jìn)行線(xiàn)性插值法，則校正后的盲元輸出數(shù)據(jù)為：

(,)＝[(,－1)＋(,＋1)] (1)

但是傳統(tǒng)的補(bǔ)償算法并未對(duì)連續(xù)盲元的情況進(jìn)行考慮，若探測(cè)器同一列中出現(xiàn)3個(gè)連續(xù)盲元，則此方法校正效果不理想[6-7]。

為了克服上述方案的不足，本文在傳統(tǒng)算法上進(jìn)行了改進(jìn)。在探測(cè)器輸出連續(xù)盲元的條件下，讀取盲元同一列中相鄰的非盲像素輸出數(shù)據(jù)，并根據(jù)其據(jù)盲元的距離調(diào)整加權(quán)系數(shù)實(shí)現(xiàn)線(xiàn)性插值計(jì)算，以此來(lái)達(dá)到最佳的盲元補(bǔ)償效果。

1.2 盲元補(bǔ)償原理

1）選取相鄰列：若盲元(,)的相鄰像素點(diǎn)(,＋1)和(,－1)不是盲元，則用數(shù)據(jù)(,＋1)和(,－1)完成線(xiàn)性插值算法；若像素點(diǎn)(,＋1)和(,－1)其中有一個(gè)為盲元點(diǎn)，則向前或向后遞增或遞減一個(gè)像素點(diǎn)。

2）選取加權(quán)系數(shù)：通過(guò)選取的像素點(diǎn)與盲元的相關(guān)性確定加權(quán)系數(shù)的值。若未出現(xiàn)連續(xù)盲元的情況，則盲元補(bǔ)償輸出為：

(,)＝*(,－1)＋*(,＋1) (2)

考慮2個(gè)像素點(diǎn)對(duì)中間列的影響相同，則＝＝1/2。

若左側(cè)相鄰像素點(diǎn)為盲元，則盲元補(bǔ)償輸出為：

(,)＝*(,－2)＋*(,＋1) (3)

考慮到(－2)與(＋1)與()的相關(guān)性，取＝1/4，＝3/4。為了便于算法的硬件實(shí)現(xiàn)，選取公式中的除數(shù)為2的冪次。

1.3 溫度補(bǔ)償

1.3.1 溫度補(bǔ)償介紹

從制作成本等方便考慮，本文采用的紅外探測(cè)器為非制冷型紅外焦平面探測(cè)器。探測(cè)器基底溫度易受環(huán)境溫度和電路工作溫度的影響，變化的基底溫度會(huì)影響整體非均勻性關(guān)系，導(dǎo)致紅外成像效果不理想。因此需要消除探測(cè)器基底溫度影響，改善紅外探測(cè)器輸出非均勻性[8]。

對(duì)于基底溫度變化的影響，傳統(tǒng)方案一般采用添加半導(dǎo)體制冷機(jī)實(shí)現(xiàn)，但是其工作時(shí)產(chǎn)生較高的功耗，甚至超過(guò)探測(cè)器的自身功耗，這與現(xiàn)在低功耗的設(shè)計(jì)方向不符[9]。目前的方案是設(shè)計(jì)溫度補(bǔ)償電路抵消探測(cè)器輸出非均勻性，但輸出響應(yīng)中仍有部分誤差被放大，沒(méi)有達(dá)到最優(yōu)的非均勻性校正效果[10-11]。

考慮到以上方案的不足，本文通過(guò)分析紅外探測(cè)器基底溫度與輸出響應(yīng)之間的關(guān)系，如圖1所示，提出了基于溫度補(bǔ)償?shù)男Ｕ惴ā囟妊a(bǔ)償算法包括標(biāo)定和計(jì)算兩部分，標(biāo)定過(guò)程通過(guò)擬合不同探測(cè)器基底溫度下探測(cè)器輸出響應(yīng)的數(shù)據(jù)，得到基底溫度與探測(cè)器響應(yīng)函數(shù)關(guān)系()，其中為探測(cè)器表面溫度。以25℃為基準(zhǔn)溫度，則可構(gòu)建溫度補(bǔ)償函數(shù)。計(jì)算過(guò)程中實(shí)時(shí)監(jiān)測(cè)并輸出探測(cè)器的基底溫度，將每個(gè)像元實(shí)時(shí)溫度下的輸出響應(yīng)與補(bǔ)償函數(shù)相加，以此排除基底溫度變化對(duì)探測(cè)器輸出電壓的影響。此算法易實(shí)現(xiàn)，實(shí)時(shí)性強(qiáng)，適合實(shí)時(shí)對(duì)系統(tǒng)進(jìn)行非均勻性校正。

圖1 探測(cè)器基底溫度與電壓輸出關(guān)系圖

Fig.1 Target surface temperature and voltage output

1.3.2 溫度補(bǔ)償原理

標(biāo)定過(guò)程中，需要通過(guò)離散的各數(shù)據(jù)點(diǎn)作出擬合曲線(xiàn)，常用的擬合方式有：通過(guò)各數(shù)據(jù)點(diǎn)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，進(jìn)而得出最佳擬合系數(shù)的神經(jīng)網(wǎng)絡(luò)算法[12]；借助泰勒級(jí)數(shù)展開(kāi)進(jìn)行逐次逼近近似估計(jì)的牛頓迭代法[12]和在數(shù)據(jù)偏差平方和最小的條件下進(jìn)行曲線(xiàn)擬合的最小二乘法[14-15]。考慮到系統(tǒng)計(jì)算量和計(jì)算速度，本文采用了最小二乘法進(jìn)行曲線(xiàn)擬合，其過(guò)程如下：

在不同探測(cè)器表面溫度下，測(cè)出探測(cè)器輸出響應(yīng)，即獲得各數(shù)據(jù)點(diǎn)(x,y)的值，其中為探測(cè)器表面溫度，為該溫度下探測(cè)器輸出電壓。設(shè)置探測(cè)器輸出電壓與探測(cè)器表面溫度的擬合曲線(xiàn)：

()＝22＋1＋0(4)

式中：0,1,2為溫度補(bǔ)償系數(shù)

采集各數(shù)據(jù)點(diǎn)到擬合曲線(xiàn)()的距離，并計(jì)算出距離的偏差平方和：

根據(jù)最小二乘法擬合曲線(xiàn)原理，當(dāng)偏差平方和達(dá)到最小值時(shí)，可得到近似擬合曲線(xiàn)()。為了得到的最小值，采用對(duì)求偏導(dǎo)求極值的方式，即：

進(jìn)一步計(jì)算，得：

用矩陣表示為：

公式(8)存在唯一解，通過(guò)計(jì)算可解出0,1,2的值，將其帶入到公式(4)中得出輸出電壓與探測(cè)器表面溫度的關(guān)系曲線(xiàn)。

計(jì)算過(guò)程中根據(jù)公式(4)得到補(bǔ)償函數(shù)()，其中為基準(zhǔn)溫度，為探測(cè)器表面溫度，得：

()＝()－() (9)

代入公式(4)進(jìn)行計(jì)算，得：

()＝22＋1＋0－(22＋1＋0) (10)

進(jìn)一步計(jì)算化簡(jiǎn)，得：

()＝2(＋)(－)＋1(－) (11)

通過(guò)補(bǔ)償函數(shù)計(jì)算出的補(bǔ)償值()與探測(cè)器輸出的響應(yīng)值相加，得到溫度校正后的圖像數(shù)據(jù)。

2 硬件實(shí)現(xiàn)

校正算法的優(yōu)劣直接影響著紅外成像的效果。為了得到最優(yōu)的非均勻性校正效果，校正模塊主要從盲元和探測(cè)器基底溫度兩方面進(jìn)行校正，即盲元補(bǔ)償模塊接受AD轉(zhuǎn)換數(shù)據(jù)并輸出有效的探測(cè)器響應(yīng)，溫度補(bǔ)償模塊對(duì)有效的響應(yīng)進(jìn)行校正。

2.1 盲元補(bǔ)償實(shí)現(xiàn)

盲元補(bǔ)償?shù)膶?shí)現(xiàn)流程如圖2所示，為了提高運(yùn)算速率，調(diào)用FPGA中的ROM僅對(duì)一行探測(cè)器輸出數(shù)據(jù)進(jìn)行存儲(chǔ)。檢測(cè)到盲元數(shù)據(jù)后開(kāi)啟盲元補(bǔ)償模塊，當(dāng)其相鄰點(diǎn)非盲元時(shí)調(diào)用計(jì)算公式(2)并且列計(jì)數(shù)加一，檢測(cè)完一行數(shù)據(jù)時(shí)清空ROM，重新存儲(chǔ)下一行數(shù)據(jù)。若相鄰像素點(diǎn)為盲元時(shí)繼續(xù)讀取下一個(gè)數(shù)據(jù)直至讀取到第一個(gè)非盲數(shù)據(jù)，調(diào)用計(jì)算公式(3)并且列計(jì)數(shù)加一，一行數(shù)據(jù)監(jiān)測(cè)完成時(shí)清空ROM中存儲(chǔ)的數(shù)據(jù)。整個(gè)補(bǔ)償過(guò)程在FPGA中完成，通過(guò)公式計(jì)算的輸出數(shù)據(jù)即為盲元補(bǔ)償后的探測(cè)器有效輸出響應(yīng)。

2.2 溫度補(bǔ)償實(shí)現(xiàn)

溫度補(bǔ)償?shù)挠布Y(jié)構(gòu)如圖3所示。在標(biāo)定過(guò)程中探測(cè)器基底溫度輸出通過(guò)FPGA控制I2C芯片ADS1112轉(zhuǎn)換為16位數(shù)字信號(hào)。FPGA將盲元補(bǔ)償輸出數(shù)據(jù)與溫度值傳輸?shù)絇C端，PC端通過(guò)MATLAB計(jì)算出每個(gè)像素點(diǎn)的擬合曲線(xiàn)系數(shù)并將系數(shù)生成表格的形式。將系數(shù)表燒寫(xiě)到FLASH中，并設(shè)置Flash寄存器地址為0x19，偏移地址的大小為16bit，包括讀寫(xiě)標(biāo)志，讀寫(xiě)控制和各像元對(duì)應(yīng)數(shù)據(jù)等信息。紅外探測(cè)器初始化之后將FLASH中的數(shù)據(jù)存入到DDR中，在使能信號(hào)控制下與探測(cè)器輸出的數(shù)據(jù)進(jìn)行運(yùn)算。

圖2 盲元補(bǔ)償流程圖

Fig.2 Bad pixel correction

計(jì)算過(guò)程中讀取DDR中的校正表數(shù)據(jù)，由于DDR傳輸數(shù)據(jù)的時(shí)鐘頻率為108M，數(shù)據(jù)處理的時(shí)鐘頻率為54M，2個(gè)時(shí)鐘異步，為了防止亞穩(wěn)態(tài)的產(chǎn)生，采用FIFO控制器對(duì)數(shù)據(jù)進(jìn)行讀取。調(diào)用FPGA內(nèi)部乘法器進(jìn)行補(bǔ)償函數(shù)的計(jì)算，在探測(cè)器輸出數(shù)據(jù)有效時(shí)，用盲元補(bǔ)償數(shù)據(jù)加上補(bǔ)償函數(shù)，則消除非均勻性對(duì)探測(cè)器輸出的影響。

圖3 溫度補(bǔ)償

3 實(shí)驗(yàn)結(jié)果

采集紅外探測(cè)器校正前后的輸出數(shù)據(jù)進(jìn)行對(duì)比，本文選取一幀中各像元輸出電壓平均值為參考，做出圖像校正前后每幀平均輸出電壓與探測(cè)器基底溫度的關(guān)系圖。由圖4對(duì)比可知，未經(jīng)過(guò)校正處理的系統(tǒng)每幀平均輸出電壓變化隨基底溫度升高變化較大，在20℃到44℃的靶面溫度范圍內(nèi)，每幀平均輸出電壓相差1.4V，嚴(yán)重影響探測(cè)器成像質(zhì)量。由圖可知通過(guò)補(bǔ)償算法對(duì)探測(cè)器輸出響應(yīng)進(jìn)行校正后，探測(cè)器輸出電壓平均值隨溫度升高變化減緩，每幀平均輸出電壓相差0.2V，探測(cè)器輸出響應(yīng)得到有效改善。

圖4 校正前后對(duì)比

圖5 校正前后非均勻性對(duì)比

探測(cè)器輸出圖像如圖6所示，(a)為紅外探測(cè)器基底溫度升高到35°時(shí)探測(cè)器原始輸出圖像，由圖可知圖像存在黑色噪點(diǎn)并且圖像邊緣受探測(cè)器基底溫度影響，細(xì)節(jié)不明顯。(b)為紅外探測(cè)器表面溫度升高到35°時(shí)經(jīng)過(guò)盲元補(bǔ)償算法的輸出圖像，可以看出壞點(diǎn)數(shù)量明顯減少。(c)為紅外探測(cè)器基底溫度升高到35°時(shí)進(jìn)過(guò)盲元校正和溫度補(bǔ)償后的探測(cè)器輸出圖像，可看出圖像更加平滑，細(xì)節(jié)得到了明顯增強(qiáng)，說(shuō)明了校正算法具有良好的效果。

4 結(jié)論

本文以FPGA作為系統(tǒng)核心硬件平臺(tái)，提出了采用補(bǔ)償算法對(duì)紅外焦平面陣列的非均勻性進(jìn)行校正。盲元補(bǔ)償算法首先得到探測(cè)器的有效輸出數(shù)據(jù)，其次溫度補(bǔ)償算法消除探測(cè)器基底溫度對(duì)輸出響應(yīng)的影響，與傳統(tǒng)校正方案相比，此算法具有穩(wěn)定性和實(shí)時(shí)性的優(yōu)點(diǎn)。實(shí)驗(yàn)結(jié)果表明，經(jīng)過(guò)校正后盲元數(shù)量明顯減少，圖像分辨率提高，補(bǔ)償算法校正效果良好。

圖6 校正前后圖像對(duì)比

Fig.6 The non-uniformity picture before and after correction

[1] 史浩然, 李召龍, 沈同圣. 紅外焦平面陣列非均勻性的校正方法研究[J]. 激光與紅外, 2016, 12(2): 204-208.

SHI Haoran, LI Zhaolong, SHEN Tongsheng. Research on nonuniformity correction of infrared focal plane array[J]., 2016, 12(2): 204-208.

[2] 呂游, 何昕, 魏仲慧. 紅外焦平面陣列非均勻性算法研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2015(2): 1-5.

LV you, HE Xin, WEI Zhonghui. Reseach on non-uniformity correction algorithms for IRFPA[J]., 2015(2): 1-5.

[3] Tones S.N., Hayat M.M.. Kalman Filtering for Adapative Nonuiformity Corrrection in Infrared Focal Plane Arrays[J]., 2003, 20(3): 470-480.

[4] Zuo C, Chen Q, Gu G, et al. Scene-based nonuniformity correction algorithm based on interframe registration.[J]., 2011, 28(6):1164-76.

[5] 安廣齊, 趙剡, 張海峰. 紅外探測(cè)器盲元檢測(cè)及補(bǔ)償[J]. 航空兵器, 2016, 41(3): 54-58.

AN Guangqi, ZHAO Yan, ZHANG Haifeng. Blind pixel detection and compensation of infrared detector[J]., 2016, 41(3): 54-58.

[6] Goma J, Aleksic M. Bad pixel location algorithm for cell phone cameras[J]., 2007, 6502: 650-655.

[7] 王少白, 王春鴻, 饒長(zhǎng)輝. 點(diǎn)源目標(biāo)質(zhì)心探測(cè)中單個(gè)盲元線(xiàn)性插值補(bǔ)償算法選取[J]. 紅外與激光工程, 2012, 41(8): 2156-2161.

WANG Shaobai, WANG Chunhong, RAO Changhui, Linear interpolation compensation algorithms of single blind pixel for point source centroid detection[J]., 2012, 41(8): 2156-2161.

[8] 趙斌, 王建華. 基于PSO-BP的紅外溫度傳感器環(huán)境溫度補(bǔ)償[J]. 傳感器與微系統(tǒng), 2015, 30(2): 47-49.

ZHAO Bin, WANG Jianhua. Ambient temperature compensation of infrared temperature sensor based on PSO-BP[J]., 2015, 30(2): 47-49.

[9] CHEN Baoguo, FAN Yangyu, ZHANG Xuefeng, et al. Moving scene based nonuniformitycorrection algorithm[C]//, 2012, 8419: 1-6.

[10] Calvano J V, Alves V C, Lubaszewski M. Fault detection methodology and BIST method for 2nd order Butterworth, Chebyshev and Bessel filter approximations[C]//,, 2000: 319-324.

[11] 陳西曲, 李祥輝, 易新建. 新型無(wú)TEC的非制冷IRFPA讀出電路研究[J]. 紅外與激光工程, 2006, 35(5): 551-554.

CHEN Xiqu, LI Xianghui, YI Xinjian, et al. New readout circuit of uncooled infrared focal plane arrays without TEC[J]., 2006, 35(5): 551-554.

[12] 喬冰琴, 常曉明. 改進(jìn)粒子群算法在BP神經(jīng)網(wǎng)絡(luò)擬合非線(xiàn)性函數(shù)方面的應(yīng)用[J]. 太原理工大學(xué)學(xué)報(bào), 2012, 43(5): 558-563.

QIAO Bingqin, CHANG Xiaoming. Application of Improved PSO in Fitting Nonlinear Function by the BP Neural Network[J]., 2012, 43(5): 558-563.

[13] 云磊. 牛頓迭代法的MATLAB實(shí)現(xiàn)[J]. 信息通信, 2011, 116(6): 20-22.

YUN Lei. MATLAB implementation of Newton’s method[J]., 2011, 116(6): 20-22.

[14] 丁克良, 沈云中, 歐吉坤. 整體最小二乘法直線(xiàn)擬合[J]. 遼寧工程技術(shù)大學(xué)學(xué)報(bào), 2010, 29(1): 44-47.

DING Keliang, SHENG Yunzhong, OU Jikun. Methods of line-fitting based on total least-squares[J]., 2010, 29(1): 44-47.

[15] CHEN Baoguo, FAN Yangyu, ZHANG Xuefeng, et al. Moving scene based nonuniformity correction algorithm[C]//, 2012, 8419: 1-6.

Non-uniformity Correction of Infrared Detector Based on Compensation Algorithm

ZHANG Qiuxuan1，WANG Weibing1,2，LI jia1

(1.,100020,; 2.,215300,)

Due to the limitations of the process conditions, the non-uniformity of each pixel in an infrared focal plane detector significantlyaffects the quality of the infrared image. The problem of imaging effect, caused by the non-uniformity of the infrared focal plane, has become a bottleneck in the application of infrared imaging technology.Using FPGA as the hardware platform fordata processing, the blind algorithm and real-time compensation processing of infrared imagesare realized by using a domain-averaging algorithm in combinationwith weighted filtering algorithm and temperature compensation algorithm. The experimental results show that this algorithm can deal with the large amount of data generated duringthe image compensation process in real time and improve the quality of the infrared imagesignificantly. All the data processing is completed by the FPGA, which results in a minimum system with reduced cost.

IRFPA，Nonuniformity Correction，compensation algorithm，F(xiàn)PGA

TN215

文獻(xiàn)識(shí)別碼：A

1001-8891(2017)07-0621-05

2016-12-13；

2017-04-18.

張秋旋（1992-），女，天津市人，碩士研究生，研究方向?yàn)镸EMS紅外傳感器。

國(guó)家863計(jì)劃（2015AA042605）；國(guó)家自然科學(xué)基金面上項(xiàng)目（61370044）；中科院-北大率先合作團(tuán)隊(duì)資助經(jīng)費(fèi)（201510280052）。