張菲菲，王文龍，馬國銳，謝 偉，陳王麗，秦前清

?

基于非局部均值濾波與神經(jīng)網(wǎng)絡(luò)的紅外焦平面陣列非均勻性校正算法

張菲菲1，王文龍2，馬國銳1，謝 偉3，陳王麗1，秦前清1

（1. 武漢大學(xué) 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079；2. 武漢市測繪院，湖北 武漢 430022；3. 華中師范大學(xué) 計算機學(xué)院，湖北 武漢 430079）

深入剖析傳統(tǒng)神經(jīng)網(wǎng)絡(luò)非均勻性校正方法收斂速度慢以及易產(chǎn)生“鬼影”現(xiàn)象的主要原因，在此基礎(chǔ)上，提出一種基于非局部均值濾波和神經(jīng)網(wǎng)絡(luò)的紅外焦平面陣列非均勻性校正算法。為了加快收斂速度并減少“鬼影”現(xiàn)象，在神經(jīng)網(wǎng)絡(luò)隱含層，利用具有全局尋優(yōu)且能保持邊緣的非局部均值濾波器代替?zhèn)鹘y(tǒng)的均值濾波器以估計具有更高置信度的真值影像；同時設(shè)計可變學(xué)習(xí)率來自適應(yīng)地調(diào)整每個探測元的非均勻性校正參數(shù)的迭代更新過程，以進一步消除“鬼影”。采用兩組分別受高空間頻率和低空間頻率非均勻性干擾的真實紅外序列圖像進行實驗。實驗結(jié)果表明：相較于目前已有的方法，本文方法不僅具有較快的收斂速度，而且較大程度上抑制了“鬼影”現(xiàn)象的發(fā)生。

非均勻性校正；神經(jīng)網(wǎng)絡(luò)；非局部均值濾波；收斂速度；鬼影

0 引言

紅外焦平面陣列（Infrared Focal Plane Array, IRFPA）具有體積小、靈敏度高、性能穩(wěn)定等優(yōu)點，已廣泛應(yīng)用于軍事、民用等各個領(lǐng)域。然而，由于制造工藝水平的限制，紅外焦平面陣列上每個探測元對于同一輻照度的光電響應(yīng)不完全一致，這種響應(yīng)的不一致性被稱作成像非均勻性，在圖像上表現(xiàn)為固定圖案噪聲（Fixed Pattern Noise，F(xiàn)PN），它嚴(yán)重影響了紅外系統(tǒng)的成像質(zhì)量[1-2]。因此，在實際應(yīng)用中，必須要對IRFPA進行非均勻性校正。

目前，IRFPA非均勻性校正算法主要分為兩類：一類是基于參考輻射源的校正方法，經(jīng)典的有兩點校正以及多點校正方法；另一類是基于場景的校正方法，主要包括時域高通方法[3]、神經(jīng)網(wǎng)絡(luò)方法[3]、恒定統(tǒng)計方法[4]以及基于配準(zhǔn)的方法[5-6]?；趨⒖驾椛湓吹姆椒ň哂休^高的校正精度，但是需要許多輔助設(shè)備（如黑體輻射源、光學(xué)設(shè)備等），并且該類方法需要周期性地停機重新定標(biāo)來修正非均勻性校正參數(shù)的漂移[1]，從而影響了成像系統(tǒng)的正常工作。而基于場景的校正方法利用每幀圖像的場景內(nèi)容來估計非均勻性校正參數(shù)[2, 7]，不需要參考輻射源及停止系統(tǒng)的正常工作，是目前研究的熱點。

基于神經(jīng)網(wǎng)絡(luò)的非均勻性校正算法是一種經(jīng)典的基于場景的校正方法，其理論簡單且易于實時實現(xiàn)，但存在收斂速度慢以及易于出現(xiàn)“鬼影”的問題。本文針對該方法存在的問題，提出了利用非局部均值濾波與神經(jīng)網(wǎng)絡(luò)結(jié)合的新校正方法，以在提高收斂速度的同時又能較好地抑制“鬼影”現(xiàn)象。

1 非均勻性觀測模型

假設(shè)每個探測元的響應(yīng)模型為線性模型，焦平面陣列上第個探測器在第個時刻（第幀）的輸出響應(yīng)Y(,)可以表示為：

Y(,)＝g(,)×X(,)＋o(,) (1)

式中：X(,)為第行第列的探測元在第個時刻接收到的真實入射輻射照度；g(,)和o(,)分別表示探測器的增益因子和偏置因子。為了得到探測元的真實入射輻射照度X(,)，式(1)又可以表示為：

X(,)＝w(,)×Y(,)＋b(,) (2)

式中：w(,)＝1/g(,)為增益校正因子；b(,)＝－o(,)/g(,)為偏置校正因子。

當(dāng)準(zhǔn)確估計出w(,)和b(,)，通過式(2)便可計算得到X(,)，從而實現(xiàn)焦平面陣列的非均勻性校正。

2 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)非均勻性校正算法分析

2.1 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)非均勻校正算法

人眼視覺研究表明，人眼視網(wǎng)膜的各個視覺細胞的感光能力總存在一定的差異，但人眼系統(tǒng)能夠調(diào)用內(nèi)在的神經(jīng)生物學(xué)機制快速校正這種差異，來得到清晰的圖像。受此啟發(fā)，20世紀(jì)90年代初，美國海軍中心的D. A. Scribner等人首次提出基于神經(jīng)網(wǎng)絡(luò)的非均勻性校正（Neural Network Nonuniformity Correction, NN-NUC）算法[3]。圖1[3]描述了基于神經(jīng)網(wǎng)絡(luò)的非均勻性校正算法結(jié)構(gòu)圖。

圖1 基于神經(jīng)網(wǎng)絡(luò)的非均勻性校正算法結(jié)構(gòu)圖

圖1所示的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為3層：輸入層、隱含層和校正層。其中輸入層的作用是接收未經(jīng)校正的二維紅外非均勻性圖像；隱含層的作用是對經(jīng)校正層初始校正后的輸出圖像作四鄰域均值濾波：

f(,)＝[X(－1,)＋X(,－1)＋

X(＋1,)＋X(,＋1)]/4 (3)

式(3)的濾波結(jié)果f(,)將反饋給校正層。校正層的作用是首先利用式(2)對從輸入層傳遞而來的紅外非均勻性圖像進行初始校正，再將校正層的輸出X(,)和隱含層的反饋輸入f(,)對增益和偏置校正因子進行修正。校正層參數(shù)修正的核心思想是將隱含層的反饋輸入f(,)作為校正層輸出X(,)的理想估計值，因此可以構(gòu)建如下關(guān)于w(,)和b(,)的誤差函數(shù)：

E(,)2＝(X(,)－f(,))2＝(w(,)×Y(,)＋

b(,)－f(,))2(4)

而E(,)2關(guān)于w(,)和b(,)的偏導(dǎo)數(shù)如下：

采用最速下降法來最小化誤差函數(shù)，便得到w(,)和b(,)的迭代公式：

式中：參數(shù)表示迭代學(xué)習(xí)率，迭代學(xué)習(xí)率選擇的準(zhǔn)確與否直接影響算法的收斂速度和處理效果。初始化1(,)＝1和1(,)＝0，并利用式(6)進行逐幀的迭代估計，最終收斂得到焦平面陣列每個探測元的增益校正因子w(,)和偏置校正因子b(,)。

2.2 存在的問題

NN-NUC算法原理簡單且易于實時實現(xiàn)，但其不足之處在于將四鄰域均值濾波結(jié)果作為每一幀真值影像的無偏估計。利用均值濾波器估計真值影像主要有兩個缺陷：①均值濾波不具有邊緣保持特性，因此在強邊緣處易引起估計誤差，導(dǎo)致參數(shù)的錯誤更新，從而使校正后圖像在強邊緣處易出現(xiàn)“鬼影”現(xiàn)象；②由于四鄰域均值濾波僅利用周圍四個像素進行加權(quán)平均，不具備全局尋優(yōu)的優(yōu)勢，導(dǎo)致參數(shù)的收斂速度慢，特別是對于低空間頻率的非均勻性，這種現(xiàn)象尤為明顯。為此，本文引入非局部均值濾波來對真值影像進行估計，以減少“鬼影”產(chǎn)生并加快算法的收斂速度。

3 基于非局部均值濾波的神經(jīng)網(wǎng)絡(luò)算法

3.1 非局部均值濾波

非局部均值（Non-Local Mean，NLM）濾波[8]是Buades等人（2005年）提出的一種濾波方法，它突破了傳統(tǒng)方法在鄰域內(nèi)加權(quán)平均的局限性，是對圖像中所有與當(dāng)前像素結(jié)構(gòu)相似的像素的加權(quán)平均。與傳統(tǒng)的局部濾波方法相比，如各向異性擴散濾波，雙邊濾波和引導(dǎo)濾波，NLM濾波能夠充分利用圖像中蘊含的信息，在有效抑制噪聲的同時又能很好地保留圖像的紋理結(jié)構(gòu)。

給定一幅定義在有限區(qū)間的離散含噪圖像（非均勻性紅外圖像）＝{(,)|,∈}，對于某個像素點(,)，其非局部均值濾波結(jié)果(,)為噪聲圖像中所有像素的加權(quán)平均：

式中：，，，為像素索引值；(,)是根據(jù)像素(,)和(,)之間的相似性所得的權(quán)值，通過下式計算：

在本文的實驗中，我們采用Darbon等人（2008年）提出的NLM濾波快速實現(xiàn)版本[9]。雖然采用了NLM的快速版本，如果選取整幅圖像的像素進行加權(quán)平均，計算量依然很大；另一方面，由于相似像素大多是位于以當(dāng)前像素為中心的窗口附近。因此，在本文實驗中，選取以當(dāng)前像素為中心的大小為11×11的區(qū)域作為搜索窗口，大小為3×3的區(qū)域作為相似性窗口。

3.2 基于非局部均值濾波的神經(jīng)網(wǎng)絡(luò)非均勻性校正

鑒于傳統(tǒng)NN-NUC算法在隱含層采用均值濾波來估計真值影像所存在的問題，本文將隱含層的期望輸出利用NLM濾波進行估計。因此，根據(jù)式(7)將式(3)重新定義如下：

在式(6)中學(xué)習(xí)率取為固定值，的大小控制算法的收斂速度和處理效果。大的學(xué)習(xí)率能加快算法的收斂速度，而小的學(xué)習(xí)率能使算法具有更好的穩(wěn)定性。為了提高NN-NUC算法的魯棒性，文獻[10]采用了自適應(yīng)學(xué)習(xí)率策略，其核心思想是通過計算觀測圖像的局部空間標(biāo)準(zhǔn)差來自適應(yīng)的調(diào)整學(xué)習(xí)率大小。當(dāng)像素處于平滑區(qū)域時，其對應(yīng)的局部空間標(biāo)準(zhǔn)差較小，由均值濾波估計得到的真值影像具有較高的置信度，應(yīng)取較大的值，以增加收斂速度。反之，如果像素處于邊緣區(qū)域，其對應(yīng)的局部空間標(biāo)準(zhǔn)差較大，均值濾波估計得到的真值影像具有較小的置信度，此時應(yīng)取較小的值，以減少“鬼影”的產(chǎn)生。

受此啟發(fā)，本文也將采用自適應(yīng)學(xué)習(xí)率來調(diào)整參數(shù)的更新過程。式(9)中(,)值的大小反映了像素(,)所在鄰域的平滑程度，如當(dāng)像素(,)所在的鄰域較為平坦，那么表示(,)與鄰域像素較為相似，對應(yīng)的(,)值越大；反之，當(dāng)像素(,)所處鄰域的場景信息變化比較劇烈，對應(yīng)的(,)值越小。因此，對于第幀，我們可以利用式(9)計算得到的Z(,)來設(shè)計如下的自適應(yīng)學(xué)習(xí)率：

式中：Z,max和Z,min分別表示圖像Z(,)中的最大值和最小值。由式(11)可知，處于平滑區(qū)域的像素點具有較大的學(xué)習(xí)率，以增加收斂速度；而處于邊緣區(qū)域的像素具有較小的學(xué)習(xí)率，以避免“鬼影”的產(chǎn)生。

傳統(tǒng)的NN-NUC方法中“鬼影”的產(chǎn)生主要有兩個原因：①濾波器的不完美使得在強邊緣處出現(xiàn)估計誤差，導(dǎo)致參數(shù)的錯誤更新，從而產(chǎn)生“鬼影”；②當(dāng)場景長時間處于靜止?fàn)顟B(tài)，場景信息會被認(rèn)為是非均勻性，從而融入到校正參數(shù)中；當(dāng)場景恢復(fù)運動，原先靜止的場景在校正后的圖像仍然可見，從而形成“鬼影”。針對第一種情況產(chǎn)生的“鬼影”現(xiàn)象，本文利用上述的非局部均值濾波和自適應(yīng)學(xué)習(xí)率可以較好的解決。而對于第二種情況產(chǎn)生的鬼影現(xiàn)象，本文參考Hardie等人[11]提出的在時間維設(shè)置變化閾值的方法來加以消除。因此，本文算法的自適應(yīng)學(xué)習(xí)率最終可以表示如下：

且

式中：表示時間維上的變化閾值，我們定義第1幀的1(,)＝￥以確保在任意像素點(,)處滿足|1(,)－1(,)|＞。我們將本文提出的的基于非局部均值濾波的神經(jīng)網(wǎng)絡(luò)非均勻性校正方法簡稱為NLM-NUC方法。

4 實驗結(jié)果與分析

4.1 實驗數(shù)據(jù)

本文采用兩組實際采集的紅外非均勻性視頻序列來對算法進行實驗：其中第1組測試序列由面陣大小為320×256、接收波長為3～5mm的HgCdTe 紅外焦平面陣列熱像儀采集獲得，幀頻為25幀/s，幀數(shù)為200幀；第2組測試序列由面陣大小為320×256、接收波長為8～14mm的HgCdTe紅外焦平面陣列熱像儀采集獲得，幀頻為50幀/s，幀數(shù)為500幀。圖2顯示了兩組測試序列的第1幀圖像，由該圖可以看出第1組測試序列主要受到具有高空間頻率特性的條紋非均勻性干擾，而第2組測試序列的非均勻性主要表現(xiàn)為低空間頻率特性。

4.2 與其他算法的比較

為了驗證算法的有效性，將所提算法與NN-NUC[3]、FA-NUC[10]、GALMS[11]和TV-NUC[12]等算法進行對比。其中NN-NUC、FA-NUC和GALMS是基于神經(jīng)網(wǎng)絡(luò)框架的經(jīng)典非均勻性校正算法，TV-NUC則同樣是一種利用逐幀迭代的方式來估計非均勻性校正參數(shù)的算法，對固定圖案噪聲具有較好的處理效果。參照各算法的原文，實驗中將各算法的參數(shù)設(shè)置如下：①NN-NUC：學(xué)習(xí)率設(shè)置為0.05；②FA-NUC：最大學(xué)習(xí)率alr設(shè)置為0.05，均值濾波器的窗口大小取3×3；③GALMS：最大學(xué)習(xí)率設(shè)置為50，縮放常數(shù)取255，變化閾值＝20，均值濾波器的窗口大小取11×11；④TV-NUC：學(xué)習(xí)率設(shè)置為0.005；⑤本文算法：非局部均值濾波器的搜索窗口和相似性窗口的大小分別設(shè)置為11×11和3×3，最小學(xué)習(xí)率取0.05，時間維變化閾值＝20。

本實驗采用主客觀評價方式綜合評價實驗結(jié)果，客觀上參考文獻[6, 10, 13]等采用圖像粗糙度指標(biāo)來評價校正后的圖像質(zhì)量：

圖2 兩組測試序列的樣本圖像

圖3(a)顯示了各比較算法對第1組測試序列進行非均勻性校正的粗糙度曲線圖。從圖3(a)可以看出，從第1幀開始非均勻性校正至第200幀結(jié)束，本文提出的NLM-NUC方法的粗糙度一直較其他方法更小，收斂速度較其他方法更快。圖4顯示了各算法對第1組測試序列第100幀的處理結(jié)果，從該圖可以看出，NN-NUC、FA-NUC、GALMS、TV-NUC等方法在迭代到100幀時圖像上仍然殘留有較強的非均勻性。而相對于其他方法，由于本文方法利用具有全局尋優(yōu)且能保持邊緣的非局部均值濾波估計真值影像，使得本文方法處理后的第100幀圖像已經(jīng)幾乎不被非均勻性干擾。

圖3(b)顯示了各比較算法對第2組測試序列進行非均勻性校正的粗糙度曲線圖。從該圖可以觀察到，除了TV-NUC方法，其他4種算法的粗糙度指標(biāo)差異并不大，這是由于第2組測試序列主要是受低空間頻率特性的非均勻性干擾，傳統(tǒng)的粗糙度指標(biāo)雖具有一定的質(zhì)量評價能力，但還不夠精確。鑒于目前尚無其他較好的客觀質(zhì)量評價指標(biāo)來評價非均勻性校正結(jié)果，因此我們主要通過主觀分析來評價第2組測試序列的校正結(jié)果。

圖5顯示了各算法對第2組測試序列第255幀的處理結(jié)果。從圖5(b)和(c)可以看出，NN-NUC和FA-NUC方法校正后的結(jié)果圖像上仍殘余部分低空間頻率的非均勻性，而且在圖中兩個人物的右側(cè)不遠處產(chǎn)生了“鬼影”現(xiàn)象。GALMS較前面兩種方法具有更好地校正性能，但是仔細觀察其校正結(jié)果，可以看出圖5(d)中仍殘留有少量的非均勻性以及“鬼影”。圖5(e)顯示了TV-NUC方法的校正結(jié)果，由于TV-NUC方法利用梯度的倒數(shù)來調(diào)整每個像素的學(xué)習(xí)率大小，因此該方法校正后圖像中“鬼影”現(xiàn)象并不明顯。但是TV-NUC仍是采用局部3個像素加權(quán)平均來估計真值影像，因此其不能夠很好地消除低空間頻率的非均勻性。圖5(e)中顯示的本文方法處理結(jié)果不僅消除了低空間頻率的非均勻性，而且完全避免了“鬼影”現(xiàn)象的產(chǎn)生。

圖3 兩組測試序列的粗糙度

圖4 第1組測試序列的第100幀校正結(jié)果比較

圖5 第2組測試序列的第255幀校正結(jié)果比較

5 結(jié)論

針對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)非均勻性校正方法收斂速度慢以及易產(chǎn)生“鬼影”現(xiàn)象的問題，本文采用了非局部均值濾波結(jié)果作為神經(jīng)網(wǎng)絡(luò)隱含層的期望輸出，同時設(shè)計了可變學(xué)習(xí)率來調(diào)整每個探測元的非均勻性參數(shù)更新過程。利用兩組真實紅外序列圖像將本文方法與其他方法進行了測試比較，實驗結(jié)果表明了本文方法具有更快的收斂速度，同時更加有效地抑制了“鬼影”現(xiàn)象的發(fā)生。

致謝

感謝南京理工大學(xué)電光學(xué)院左超提供紅外非均勻性視頻序列圖像。

[1] 張爽, 周慧鑫, 牛肖雪, 等. 基于非局部均值濾波與時域高通濾波的非均勻性校正算法[J]. 光子學(xué)報, 2014, 43(1): 153-156.

[2] 劉永進, 朱紅, 趙亦工. 基于粒子濾波的紅外焦平面陣列非均勻校正算法[J]. 紅外與激光工程, 2008, 37(6): 945-950.

[3] Scribner D A, Sarkady K A, Kruer M R, et al. Adaptive nonuniformity correction for IR focal plane arrays using neural networks[C]//, 1991: 100-109.

[4] Harris J G, Chiang Y M. Nonuniformity correction of infrared image sequences using the constant-statistics constraint[J]., 1999, 8(8): 1148-1151.

[5] Zuo C, Chen Q, Gu G, et al. Scene-based nonuniformity correction algorithm based on interframe registration[J]., 2011, 28(6): 1164-1176.

[6] Zuo C, Chen Q, Gu G, et al. Improved interframe registration based nonuniformity correction for focal plane arrays[J]., 2012, 55(4): 263-269.

[7] 張學(xué)峰, 陳寶國, 樊養(yǎng)余, 等. 基于場景的紅外非均勻性校正算法對比研究[J]. 紅外技術(shù), 2013, 35(9): 560-566.

[8] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising[C]//, 2005: 60-65.

[9] Darbon J, Cunha A, Chan T F, et al. Fast nonlocal filtering applied to electron cryomicroscopy[C]//, 2008: 1331-1334.

[10] Vera E, Torres S. Fast adaptive nonuniformity correction for infrared focal-plane array detectors[J].2005, 13: 1994-2004.

[11] Hardie R C, Baxley F, Brys B, et al. Scene-Based Nonuniformity Correction with Reduced Ghosting Using a Gated LMS Algorithm[J]., 2009, 17(17): 14918-14933.

[12] Vera E, Meza P, Torres S. Total variation approach for adaptive nonuniformity correction in focal-plane arrays[J]., 2011, 36(2): 172-174.

[13] Zhao J, Gao X, Chen Y, et al. Fast iterative adaptive nonuniformity correction with gradient minimization for infrared focal plane arrays[J]., 2014, 65:87-93.

Neural Network Nonuniformity Correction Algorithm for Infrared Focal Plane Array Based on Non-local Means Filter

ZHANG Fei-fei1，WANG Wen-long2，MA Guo-rui1，XIE Wei3，CHEN Wang-li1，QIN Qian-qing1

(1.,,,430079,; 2.,430022,; 3.,,430079,)

Traditional neural network nonuniformity correction method has the drawback of low convergence speed and is easy to generate ghosting artifacts. To overcome these problems, a neural network nonuniformity correction algorithm based on the non-local means filteris proposed for the infrared focal plane array in this study. To estimate the true image with a higher degree of confidence, the non-local means filter is employed to replace the average filter which is used in the traditional neural network method for its strong ability of edge preservation and global optimization. A variable learning rate is designed in the recursive parameter update process to eliminate the ghosting artifacts more effectively. The performance of the proposed method is tested with two infrared image sequences, which are contaminated with high spatial frequency and low spatial frequency nonuniformity, respectively. Compared with other well-establishednonuniformity correction methods, our method has the strength in significantly increasing the convergence speed and meanwhile reducing the ghosting artifacts.

nonuniformity correction，neural network，non-local means filter，convergence speed，ghosting artifacts

TN911.73

A

1001-8891(2015)04-0265-07

2014-12-18；

2015-03-03.

張菲菲（1985-），女，浙江泰順人，博士研究生，主要從事紅外圖像質(zhì)量增強方面的研究工作。E-mail: zhangfeifei2006@126.com。

馬國銳（1979-），男，湖北襄陽人，副教授，碩士生導(dǎo)師，博士，主要從事遙感圖像增強、變化檢測與信息要素提取。E-mail: mgr@whu.edu.cn。

國家863計劃資助項目，編號：2013AA122301；國家自然科學(xué)基金項目，編號：61001187；湖北省自然科學(xué)基金面上項目，編號：2014CFB461；華中師范大學(xué)中央高校基本科研業(yè)務(wù)費項目，編號：CCNU14A05017。