潘科辰，顧國(guó)華，陳 錢(qián)，隋修寶

?

一種改進(jìn)的全變分模型校正紅外焦平面陣列條紋非均勻性

潘科辰，顧國(guó)華，陳 錢(qián)，隋修寶

（南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，江蘇 南京 210094）

針對(duì)傳統(tǒng)的紅外圖像非均勻性校正方法精度低，易破壞圖像細(xì)節(jié)和邊緣等缺點(diǎn)，本文提出了一種新的基于全變分理論的紅外圖像非均勻性校正方法。在分析不同正則項(xiàng)對(duì)全變分模型去噪性能影響的基礎(chǔ)上，針對(duì)紅外圖像條紋非均勻性的幾何特征，對(duì)原有的全變分模型進(jìn)行了修正，使新模型既能約束圖像水平方向的梯度，又能保護(hù)圖像垂直方向的梯度。通過(guò)Split Bregman迭代最小化新的全變分模型，顯著降低了計(jì)算復(fù)雜度，使其能廣泛應(yīng)用于實(shí)時(shí)視頻序列。通過(guò)不同環(huán)境下對(duì)真實(shí)場(chǎng)景的實(shí)驗(yàn)，表明該方法不但能有效地校正紅外圖像的條紋非均勻性，還能較大程度地保護(hù)住圖像的細(xì)節(jié)和邊緣信息。

紅外焦平面陣列；非均勻性校正；全變分；Split Bregman迭代；L1正則

0 引言

紅外焦平面陣列（IRFPA）被廣泛應(yīng)用在不同的領(lǐng)域，包括醫(yī)療成像，軍事，消防救援行動(dòng)。由于焦平面陣列各傳感器響應(yīng)的非均勻性，紅外圖像普遍存在嚴(yán)重的空間域固定噪聲[1-2]。對(duì)于線陣紅外探測(cè)器和非制冷凝視型紅外探測(cè)器，非均勻性條紋噪聲是其中最為主要的一種固定噪聲。因此，一個(gè)有效的非均勻性去條紋算法能顯著地提高IRFPA圖像質(zhì)量。

目前國(guó)內(nèi)外的非均勻性校正方法主要分為兩類(lèi)：基于定標(biāo)（CB）的方法和基于場(chǎng)景（SB）的方法。CB法具有模型簡(jiǎn)單，計(jì)算方便等優(yōu)點(diǎn)。其中最典型的為單點(diǎn)校正和兩點(diǎn)校正。但該方法需要周期性的對(duì)紅外探測(cè)器進(jìn)行重新標(biāo)定來(lái)抑制溫漂，無(wú)法在真實(shí)場(chǎng)景中實(shí)現(xiàn)實(shí)時(shí)的校正過(guò)程[3-4]。SB法因能克服上述中CB法的缺點(diǎn)而成為現(xiàn)在研究的主流趨勢(shì)，其中最典型的SB法有神經(jīng)網(wǎng)絡(luò)法[5]，卡爾曼濾波[6]，和基于恒定統(tǒng)計(jì)的方法[7]。這些方法都能做到實(shí)時(shí)校正紅外焦平面探測(cè)器的各項(xiàng)參數(shù)，但模型復(fù)雜度高，同時(shí)由于校正參數(shù)的誤差，極易產(chǎn)生鬼影現(xiàn)象。

上述所有的非均勻性算法都是通過(guò)調(diào)整紅外探測(cè)器輸出的增益和偏置來(lái)校正一般的非均勻性噪聲。對(duì)于條紋非均勻性，我們需要特殊的方法單獨(dú)處理[8]。目前最普遍的圖像去條紋方法是設(shè)計(jì)一個(gè)離散傅里葉變換低通濾波器。該方法模型簡(jiǎn)單但極易模糊圖像的細(xì)節(jié)信息。為了進(jìn)一步提升去條紋效果，一些學(xué)者提出了基于小波的改進(jìn)方法[9-10]；一些學(xué)者提出了基于直方圖匹配和運(yùn)動(dòng)匹配的改進(jìn)方法[11-13]；還有一些學(xué)者完全從圖像直方圖特征的角度進(jìn)行考慮。目前去條紋效果較好的是Tendero提出的中間均衡直方圖法（Midway Equalization）[14]。然而，由于缺乏對(duì)條紋噪聲幾何特性的考慮，這些方法在去條紋的同時(shí)都會(huì)一定程度地模糊圖像的細(xì)節(jié)和邊緣信息，使原本分辨率不高的紅外圖像更為模糊。

本文在通過(guò)分析前人提出的全變分去噪理論[15-17]，結(jié)合對(duì)紅外圖像條紋噪聲幾何特性的分析，從圖像空域處理角度出發(fā)，提出了一種改進(jìn)的全變分模型校正紅外圖像條紋非均勻性。文中首先介紹了全變分理論的基本原理，接著分析了IRFPA非均勻性條紋噪聲的幾何特性，改進(jìn)了全變分模型中的正則項(xiàng)。最后詳細(xì)介紹了Split Bregman法對(duì)模型進(jìn)行最優(yōu)化迭代的具體過(guò)程，并通過(guò)仿真實(shí)驗(yàn)和定量數(shù)據(jù)結(jié)果，分析了該模型的性能。

1 全變分圖像去噪基本理論

基于全變分（Total variation）模型（即TV模型）的圖像去噪方法首先由Rudin和Osher提出，由于其優(yōu)異的去噪性能和在去噪過(guò)程中能比較好的保護(hù)圖像邊緣信息等特點(diǎn)，近年來(lái)逐漸成為圖像研究的熱點(diǎn)[18]。全變分去噪的基本思想是將圖像去噪問(wèn)題轉(zhuǎn)換成一個(gè)圖像模型能量泛函最小化問(wèn)題，通過(guò)調(diào)整模型中的保真項(xiàng)和正則項(xiàng)，實(shí)現(xiàn)各種不同形式噪聲的去除，同時(shí)較好地保存圖像的邊緣特征，使得去噪后的圖像質(zhì)量得到很大的改善。

具體來(lái)說(shuō)，全變分理論將圖像視作一個(gè)定義在二維空間上的有界變差函數(shù)，將非均勻條紋噪聲視作一個(gè)固定的加性噪聲，得到方程(,)＝(,)＋(,)。其中(,)是探測(cè)器輸出的含噪圖像，(,)是真實(shí)場(chǎng)景的無(wú)噪圖像，(,)是非均勻性條紋噪聲，非均勻性校正的任務(wù)是從(,)最大限度的復(fù)原(,)。由于噪聲圖像的全變分明顯要比無(wú)噪聲圖像的全變分大，因此該圖像復(fù)原過(guò)程可以歸結(jié)為最小化一個(gè)如下所示的含有全變分項(xiàng)泛函能量方程：

式中：u是圖像水平方向的一階差分；u是圖像垂直方向的一階差分，將(2)式代入(1)式，并導(dǎo)出Euler-Lagrange擴(kuò)散方程：

從該方程中可以看出基于L2正則的全變分模型本質(zhì)上是一個(gè)各向同性擴(kuò)散，優(yōu)點(diǎn)是去噪能力強(qiáng)，缺點(diǎn)是極易造成圖像邊緣模糊。同時(shí)，基于L2正則的全變分模型被證明會(huì)造成圖像亮度的極大變化。因此，一種基于L1正則的更有效的全變分模型被提出：

其Euler-Lagrange擴(kuò)散方程為：

2 基于單向全變分IRFPA條紋非均勻性校正

2.1 單向全變分模型

與隨機(jī)噪聲不同，非均勻性條紋噪聲對(duì)于圖像梯度的影響主要集中在沿著軸水平方向方向，對(duì)于軸垂直方向則幾乎沒(méi)有影響。因此，對(duì)于噪聲項(xiàng)(,)，有性質(zhì)nn，其中n是噪聲項(xiàng)水平方向的梯度，n是噪聲項(xiàng)垂直方向的梯度?？紤]到該性質(zhì)，我們提出了一種改進(jìn)的單向全變分模型以適用于去除IRFPA圖像條紋非均勻性的任務(wù)中。在基于L1正則全變分模型的基礎(chǔ)上，修正了豎直方向梯度信息u為(－)，改進(jìn)的全變分模型如下：

將式(6)代入式(1)中，得到新的泛函能量方程：

2.2 單項(xiàng)全變分模型的離散化表達(dá)

考慮到圖像為一個(gè)大小為×的二維矩陣，其水平方向和豎直方向一階梯度信息的離散數(shù)學(xué)表示分別如下：

將式(8)與式(9)代入式(7)中，最終得到全變分法去非均勻條紋模型的離散數(shù)值表達(dá)形式：

式中：平衡系數(shù)1和2通常選定為一個(gè)較小值，如0.01。

2.3 Split-Bregman最優(yōu)化方法

傳統(tǒng)的全變分模型的最優(yōu)化求解是通過(guò)先導(dǎo)出一個(gè)Euler-Lagrange擴(kuò)散方程，然后用最陡梯度法進(jìn)行最優(yōu)化求解，該方法計(jì)算量大，計(jì)算復(fù)雜度高。同時(shí)由于基于L1正則的全變分模型存在不可微點(diǎn)，最陡梯度法在這些點(diǎn)處無(wú)法求導(dǎo)，從而導(dǎo)致方法失效。

Split-Bregman法是近幾年提出的一種非常高效的優(yōu)化方法，尤其適合于存在L1范數(shù)項(xiàng)的方程最優(yōu)化問(wèn)題[19]。其具體過(guò)程如下：

首先引入輔助變量d＝u，d＝(－)，將式(7)由一個(gè)無(wú)約束優(yōu)化問(wèn)題轉(zhuǎn)化為一個(gè)約束優(yōu)化問(wèn)題，得到方程：

s.t d＝u，d＝(－)(11)

然后通過(guò)拉格朗日乘子法，引入輔助變量b和b，將式(11)進(jìn)一步轉(zhuǎn)化為一個(gè)無(wú)約束的方程進(jìn)行最優(yōu)化：

式中：和是方程的Bregman懲罰系數(shù)。

具體求解時(shí)將方程中，d，d，b，b這5個(gè)參數(shù)分離出來(lái)，在迭代其中一個(gè)參數(shù)時(shí)固定住其它參數(shù)。對(duì)于未知數(shù)，可得到分離系數(shù)后的方程：

這是一個(gè)典型的L2范數(shù)最優(yōu)化問(wèn)題，其等價(jià)于一個(gè)基于線性算子的迭代過(guò)程：

該過(guò)程可以通過(guò)快速傅里葉變換得到封閉解，即：

式中：是快速傅里葉變換；－1為傅里葉逆變換。

對(duì)于未知數(shù)d和d，可得到分離系數(shù)后的方程為：

這是一個(gè)L1范數(shù)和L2范數(shù)混合方程的最優(yōu)化問(wèn)題，該問(wèn)題可以通過(guò)引入一個(gè)收縮算子來(lái)求解[20]，得到方程：

對(duì)于未知數(shù)b和b，則直接采用代入法迭代求解：

綜上，Split Bregman法可以將方程(7)這種復(fù)雜的L1正則和L2正則混合最優(yōu)化問(wèn)題轉(zhuǎn)換為3個(gè)較為簡(jiǎn)單的子最優(yōu)化問(wèn)題[21]，其中關(guān)于的方程能通過(guò)FFT來(lái)求解，關(guān)于d，d的方程能通過(guò)收縮算子來(lái)求解。這些方法都具有計(jì)算量低，收斂速度快等優(yōu)點(diǎn)，在具體計(jì)算時(shí)，，d，d各自獨(dú)立，可以并行進(jìn)性。因此采用Split Bregman對(duì)于本論文中提出的模型進(jìn)行最優(yōu)化能夠快速得到穩(wěn)定的最優(yōu)解。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出算法的有效性，將該算法對(duì)紅外圖像序列進(jìn)行處理，并與文獻(xiàn)[14]中提到的Midway Equalization法進(jìn)行對(duì)比，后者是目前效果最好的單幀非均勻條紋校正方法。采用Matlab 2012來(lái)搭建仿真平臺(tái)，實(shí)驗(yàn)用的原始圖像數(shù)據(jù)則來(lái)自于320×256的非制冷紅外焦平面探測(cè)器。具體實(shí)施時(shí)把圖像序列分為兩組：一組是簡(jiǎn)單場(chǎng)景下的圖像序列，背景細(xì)節(jié)信息比較簡(jiǎn)單，非均勻性條紋噪聲對(duì)圖像的破壞比較嚴(yán)重；另一組是復(fù)雜場(chǎng)景下的圖像序列分別進(jìn)行，背景細(xì)節(jié)和邊緣信息比較復(fù)雜，但部分非均勻性條紋噪聲與背景融成一體，對(duì)圖像的破壞性較簡(jiǎn)單場(chǎng)景下的輕。同時(shí)將平衡系數(shù)統(tǒng)一設(shè)置為0.01。

3.1 仿真結(jié)果

第一組測(cè)試結(jié)果顯示在圖1～圖3。圖1是原始的紅外圖像，圖2是Midway Equalization法處理后的結(jié)果，圖3是單向全變分模型處理后的結(jié)果?？梢钥吹皆诤?jiǎn)單的場(chǎng)景中，這兩種模型都可以顯著地去除紅外圖像的條紋不均勻性。但是Midway Equalization法處理后的圖像在兩邊會(huì)產(chǎn)生黑邊，造成圖像嚴(yán)重的扭曲和失真。

第二組圖像的測(cè)試結(jié)果如圖4～圖6所示。其中圖4是原始圖像，圖5是Midway Equalization法處理后的結(jié)果，圖6是單向全變分模型處理后的結(jié)果。可以看到在復(fù)雜的場(chǎng)景中，這兩種算法的處理效果就會(huì)顯現(xiàn)出明顯不同?；趩雾?xiàng)全變分法仿真結(jié)果不但能很好地去除條紋非均勻性，而且可以最大限度地保護(hù)圖像的細(xì)節(jié)和邊緣信息。而基于Midway Equalization法的仿真結(jié)果則會(huì)在去條紋的同時(shí)對(duì)圖像的細(xì)節(jié)產(chǎn)生模糊。

圖1 簡(jiǎn)單場(chǎng)景下具有條紋非均勻性的IRFPA圖像

圖2 Midway Equalization法對(duì)圖1處理后的結(jié)果

圖3 單向全變分法對(duì)圖1處理后的結(jié)果

圖4 復(fù)雜場(chǎng)景下具有條紋非均勻性的IRFPA圖像

圖5 Midway Equalization法對(duì)圖4處理后的結(jié)果

圖6 單向全變分法對(duì)圖4處理后的結(jié)果

3.2 定量分析

為了進(jìn)一步對(duì)我們的算法得到客觀的評(píng)價(jià)，我們采用一系列指標(biāo)如平方差誤差（MSE）[22]和圖像粗糙度指數(shù)[23]來(lái)進(jìn)行定量分析。其中平方差誤差（MSE）能表明算法的去噪能力，圖像粗糙度指數(shù)能表明算法對(duì)圖像細(xì)節(jié)的保護(hù)能力。

平方差誤差MSE的物理意義是兩幅圖像之間的差異程度，其數(shù)學(xué)定義如下：

式中：nuc是含有非均勻條紋噪聲的原始圖像；destripe是采用不同的去條紋算法處理后得到的圖像。和是圖像水平和豎直方向的像素?cái)?shù)。將圖1和圖4作為待處理樣本為nuc，通過(guò)單向全變分法，Midway Equalization法，小波收縮法，co-occurrence matrix和histogram modification分別得到destripe，計(jì)算值見(jiàn)表1。

表1 不同圖像校正算法對(duì)不同場(chǎng)景下紅外焦平面陣列處理 得到的MSE值

從表1可以發(fā)現(xiàn)，無(wú)論在哪個(gè)場(chǎng)景下，單向全變分法的MSE值通常比其他去條紋算法高。這意味著單向全變分得到圖像與原始圖像之間的差異比其他去條紋算法得到的圖像與原始圖像之間的差異更大。定量的說(shuō)明了相比較與其他圖像去條紋算法，我們的模型可以更有效地去除條紋非均勻性。

圖像粗糙度的物理意義是圖像細(xì)節(jié)的豐富程度。其數(shù)學(xué)定義如下：

表2 不同圖像校正算法對(duì)不同場(chǎng)景下紅外焦平面陣列處理得到的粗糙度r值

4 結(jié)論

去除紅外圖像的條紋非均勻性是圖像處理領(lǐng)域一個(gè)極具挑戰(zhàn)性的任務(wù)，因?yàn)榇蟛糠值乃惴ú荒苡行У貐^(qū)分條紋噪聲和背景信息，在去噪的同時(shí)極易使圖像模糊。本文通過(guò)合理利用條紋噪聲的方向信息，提出了一種改進(jìn)的基于單向全變分的條紋非均勻校正模型。為了解決模型中L1范數(shù)極小化問(wèn)題，引入Split Bregman法對(duì)方程進(jìn)行迭代最優(yōu)化。實(shí)驗(yàn)結(jié)果證明，該模型在去除條紋非均勻性的同時(shí)，能最大限度地保護(hù)圖像的邊緣和細(xì)節(jié)信息。最重要的是，相比于傳統(tǒng)的非均勻校正算法，我們的算法校正時(shí)只需要單幀信息，所以即使是在場(chǎng)景旋轉(zhuǎn)和縮放的條件下，依然能較高效率的校正IRFPA圖像的條紋非均勻性。在未來(lái)的工作中，為了進(jìn)一步提高算法的性能，可以在模型中添加一個(gè)自適應(yīng)選取平衡系數(shù)的算法；同時(shí)由于校正后的圖像還殘留少許低頻非均勻噪聲，需要進(jìn)一步與其他非均勻校正算法相互配合來(lái)解決。

[1] MILTON A F, BARONE F R, KRUER M R. Influence of nonuniformity on infrared focal plane array performance[J].., 1985, 24(5): 855-862.

[2] SCRIBNER D A, KRUER M R, KILLIANY J M. Infrared focal plane array technology[J]., 1991, 79(1): 66-85.

[3] FRIEDNBERG, GOLDBLATT I. Nonuniformity two-point linear correction errors in infrared focal plane arrays[J]., 1998, 37(4): 1251-1253.

[4] PERRY D L, DERERENINAK E L. Linear theory of nonuniformity correction in infrared staring sensors[J]., 1993, 32(8): 1854-1859.

[5] 張菲菲, 王文龍, 馬國(guó)銳, 等. 基于非局部均值濾波與神經(jīng)網(wǎng)絡(luò)的紅外焦平面陣列非均勻性校正算法[J]. 紅外技術(shù), 2015, 37(4): 265-271.

ZHANG Fei-fei, WANG Wen-long, MA Guo-rui, et al. Neural network nonuniformity correction algorithm for infrared focal plane array based on non-local means filter[J]., 2015, 37(4): 265-271.

[6] TORRES S N, HAYAT M M. Kalman filtering for adaptive nonuniformity correction in infrared focal-plane arrays[J]., 2003, 20(3): 470-480.

[7] HARRIS J G, CHIANG Y M. Nonuniformity correction of infrared image sequences using the constant-statistics constraint[J]., 1999, 8(8): 1149.

[8] SHEN H, AI T, LI P. Destriping and inpainting of remote sensing images using maximum aposteriori method[C]//, XXXVII, 2008, Part B1: 63-70.

[9] YANG Z, LI J, MENZEL W P, et al. De-striping for MODIS data via wavelet shrinkage[C]//, 2003, 4895: 187-199.

[10] TORRES J , INFANTE S O. Wavelet analysis for the elimination of striping noise in satellite images[J].. 2001, 40(7): 1309 -1314 .

[11] HORN B K , WOODHAM R J. Destriping LANDSAT MSS images by histogram modification[J]., 1979(10): 69-83.

[12] CARR J R, F PELLON de Miranda. The semivariogram in comparison to the co-occurrence matrix for classification of image texture[J].., 1998, 36: 1945-1952.

[13] QIAN W, CHEN Q, GU G. Correction method for stripe no- nuniformity[J]., 2010, 49(10): 1764-1773.

[14] TENDERO Y, LANDEAU S, GILLES J. Non-uniformity correction of infrared images by midway equalization[J/OL].., 2012: doi: 10.5201/ ipol.2012.glmt-mire

[15] RUDIN L, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms[J].., 1992, 60(1): 259-268.

[16] VOGEL C R, OMAN M E. Iterative methods for total variation denoising[J]., 1996, 17(1): 227-238.

[17] CHAMBOLLE A. An algorithm for total variation minimization and applications[J]., 2004, 20(1): 89-97.

[18] ESTEBAN V, PABLO M, SERGIO T. Total variation approach for adaptive nonuniformity correction in focal-plane arrays[J]., 2011, 36(2):172-174 .

[19] GOLDSTEIN T, OSHER S. The split Bregman method for L1-regularized problems[J].., 2009, 2(2): 323-343.

[20] DONOHO D L. De-noising by soft-thresholding[J]., 1995, 41(3): 613-627.

[21] WU Chulin, TAI Xuecheng. Augmented Lagrangian method, dual methods, and split Bregman iteration for ROF, vectorial TV, and high order models[J]., 2010, 3(3): 300-309.

[22] SUI Xiu-bao, CHEN Q, GU G H. Algorithm for eliminating stripe noise in infrared image[J]., 2012, 31(2): 106-112.

[23] PABLO Meza, GUILERMO Machuca, SERGIO Torres. Simul- taneous digital super-resolution and nonuniformity correction for infrared imaging systems[J].s, 2015, 54(21): 6508-6515.

An Improved Total Variation Model for Correcting the Stripe Nonuniformity in IRFPA Image

PAN Kechen，GU Guohua，CHEN Qian，SUI Xiubao

(,,210094,)

Traditional nonuniformity correction algorithms for infrared focal plane array suffer from drawbacks such as low correction accuracy and damages in image details and edges. Aiming at these problems, a new method based on total variation is proposed for infrared image nonuniformity correction. On the basis of analyzing the influence of different regularization terms on the performance of the total variation model and geometric features of the stripe nonuniformity, we modify the original total variation model so that the new model can either constrain the image gradient of the horizontal direction, or protect the image gradient of the vertical direction. By using the Split Bregman to minimize the total variation model, the computational complexity is significantly reduced so that it can be used in real-time video sequence. We test the experiments on real scene under different circumstances and indicate that our algorithm can effectively remove the column stripe nonuniformity, while the details and edges are well preserved.

infrared focal plane array，nonuniformity correction，total variation，Split Bregman iteration，L1-norm

TN216

A

1001-8891(2016)02-0138-06

2015-10-13；

2015-12-04.

潘科辰（1990-），男，碩士研究生，主要研究方向?yàn)榧t外圖像處理。E-mail：panrun123@126.com。