楊 碩，趙保軍，毛二可，唐林波

基于目標(biāo)與背景相異位移配準(zhǔn)的非均勻校正算法

楊 碩，趙保軍，毛二可，唐林波

（北京理工大學(xué)，北京100081）

本文針對(duì)場(chǎng)景圖像中目標(biāo)和背景存在著不同運(yùn)動(dòng)的情況，提出了一種基于圖像分離和配準(zhǔn)技術(shù)的校正算法，新算法通過(guò)傅里葉變換相位相關(guān)方法，估計(jì)出目標(biāo)與背景的兩種運(yùn)動(dòng)位移，然后通過(guò)計(jì)算匹配像素點(diǎn)的平均絕對(duì)誤差將目標(biāo)和背景進(jìn)行標(biāo)識(shí)區(qū)分，建立關(guān)于目標(biāo)和背景位移量的誤差平方和方程組，求解得到亞像素位移量，改進(jìn)了原有的代數(shù)校正方法，分別根據(jù)目標(biāo)和背景的位移順序校正，并通過(guò)剔除無(wú)匹配點(diǎn)的雙線性插值方法對(duì)新算法進(jìn)行完善。計(jì)算機(jī)模擬圖像序列與實(shí)際紅外圖像序列的實(shí)驗(yàn)結(jié)果表明，該算法比目前常用的代數(shù)校正算法具有更好的適應(yīng)性，具有較高的實(shí)用價(jià)值。

相異位移；傅里葉變換；平均絕對(duì)誤差；雙線性插值；代數(shù)校正

1 引 言

紅外焦平面探測(cè)器陣列（Infrared Focal Plane Array，IRFPA）是熱成像系統(tǒng)的重要組成部分，但由于受到材料、工藝水平等因素的限制，IRFPA各探測(cè)元的響應(yīng)不一致，在圖像上表現(xiàn)為固定圖案噪聲（Fixed Pattern Noise，F(xiàn)PN），呈現(xiàn)非均勻性，影響熱成像系統(tǒng)的成像質(zhì)量［1］。

IRFPA的非均勻校正（Non-Uniformity Correction，NUC）技術(shù)目前可分為基于參考源的定標(biāo)校正［2］和基于場(chǎng)景的自適應(yīng)校正（Scene-Based Non-U-niformity Correction，SBNUC）兩類，后者不需要使用參考源，能夠自適應(yīng)地更新非均勻性校正參數(shù)，已獲得成功應(yīng)用［3］。

在SBNUC算法中，Scribner等人提出了基于神經(jīng)網(wǎng)絡(luò)（Neural Network Non-Uniformity Correction，NN-NUC）的非均勻校正算法［4］，Hardie等人提出了基于配準(zhǔn)類（Algebraic Scene-Base Non-Uniformity Correction，ASB-NUC）的非均勻校正算法［5］，已成為相關(guān)算法的典范。Ratliff等人提出的代數(shù)校正算法是一類有效的方法，但是受到兩幀圖像必須是整像素位移的約束。2003年Ratliff［6］和2005年Jing Sui［7］在亞像素位移下，提出周邊一點(diǎn)校正并向內(nèi)傳遞校正參數(shù)的代數(shù)算法，但需要插入可伸縮的機(jī)械邊框；2006年金偉其［8］引入分組的思想，無(wú)需額外的機(jī)械結(jié)構(gòu)。但算法僅適用于幀間只有水平或垂直位移的情況。2011年劉崇亮［9］提出基于虛擬邊框視場(chǎng)光闌的校正算法，突破了對(duì)位移的嚴(yán)格限制，取得了良好的效果。

上述校正算法都是在圖像中僅存在全局運(yùn)動(dòng)的條件下，通過(guò)相位相關(guān)［10］或者Keren［11］算法獲得位移估計(jì)。但在目標(biāo)跟蹤和制導(dǎo)領(lǐng)域，圖像中同時(shí)存在著不同運(yùn)動(dòng)的目標(biāo)和背景，在這種情況下，原有的運(yùn)動(dòng)估計(jì)方法配準(zhǔn)精度下降，會(huì)導(dǎo)致校正性能不足。本文利用傅里葉變換相位相關(guān)方法估計(jì)出目標(biāo)與背景的兩種運(yùn)動(dòng)位移，并在相鄰兩幀相同場(chǎng)景亮度恒定不變假設(shè)的基礎(chǔ)上［12］結(jié)合神經(jīng)網(wǎng)絡(luò)優(yōu)化代數(shù)算法，利用代數(shù)校正算法去除圖像的非均勻性噪聲。

2 非均勻性模型

熱成像系統(tǒng)在通常目標(biāo)場(chǎng)景下，IRFPA的響應(yīng)近似為線性，即在n時(shí)刻對(duì)于第（x，y）個(gè)紅外焦平面陣列探測(cè)單元，觀測(cè)輸出值fn（x，y）用線性模型來(lái)表示，則：

其中，n為幀數(shù)；b（x，y）是第（x，y）個(gè)探測(cè)元的偏置；gn（x，y）為n時(shí)刻第（x，y）個(gè)焦平面探測(cè)元所接收到輻照度。式（1）的非均勻校正模型為：

其中，o（x，y）＝－b（x，y）為像元（x，y）的偏置校正系數(shù)。

3 本文算法原理

3.1 基于目標(biāo)和背景相異位移的運(yùn)動(dòng)粗估計(jì)

當(dāng)圖像中存在運(yùn)動(dòng)目標(biāo)和整體背景時(shí)，如果假設(shè)幀間場(chǎng)景亮度恒定，則關(guān)于目標(biāo)和背景的幀間關(guān)系可構(gòu)造為：

其中，g1（n）（x，y）為目標(biāo)；g2（n）（x，y）為背景。目標(biāo)的位移量為（α1（n），β1（n）），背景的位移量為（α2（n），β2（n）），則幀間的互功率譜可表示為：

其中，G1（n）和ejφ1分別表示目標(biāo)的幅度譜和相位譜；G2（n）和ejφ2分別表示背景的的幅度譜和相位譜。對(duì)幀間歸一化互功率譜的兩端進(jìn)行傅里葉逆變換，得到相位相關(guān)函數(shù)表達(dá)式如下：

相位相關(guān)函數(shù)中，第一項(xiàng)和第二項(xiàng)分別在坐標(biāo)（α1（n），β1（n））和（α2（n），β2（n））位置上出現(xiàn)了沖激函數(shù)，在函數(shù)結(jié)果平面上呈現(xiàn)為兩個(gè)峰值，分別為運(yùn)動(dòng)物體的位移和背景的整體位移。

3.2 基于目標(biāo)和背景相異亞像素位移的運(yùn)動(dòng)估計(jì)

3.2.1 原有的背景整體位移的亞像素估計(jì)

亞像素位移可采用文獻(xiàn)［11］提出用Lucas-Kanade算法實(shí)現(xiàn)，基于圖像的泰勒展開(kāi)與近似，通過(guò)誤差平方和最小化求得閉式解。為了減小運(yùn)算量，可采用先對(duì)圖像進(jìn)行整像素位移粗估計(jì)，把幀間位移約束到1個(gè)像素之內(nèi)，再用Lucas-Kanade算法實(shí)現(xiàn)微位移的估計(jì)。

3.2.2 目標(biāo)與背景的分離

目標(biāo)與背景的相對(duì)運(yùn)動(dòng)示意圖如圖1所示，背景幀間的位移是（1，1），目標(biāo)幀間位移為（1，－1）。其中數(shù)字100表示第n幀運(yùn)動(dòng)目標(biāo)的灰度，其他數(shù)字為背景的灰度。從示意圖可以看出第n幀內(nèi)的數(shù)字1，2，3，6，9，10，11，100都可以在第n＋1幀找到匹配點(diǎn)。而數(shù)字5在下一幀無(wú)匹配點(diǎn)。

圖1 目標(biāo)和背景分離運(yùn)動(dòng)示意圖

為了保證微位移估計(jì)的精度，對(duì)各像素點(diǎn)按照目標(biāo)和背景的位移方向做平均絕對(duì)誤差（Mean Absolute Difference，MAD）運(yùn)算以確定其隸屬于目標(biāo)點(diǎn)、背景點(diǎn)還是無(wú)匹配點(diǎn)，即：

其中，Ωx，y為以（x，y）為中心的鄰域窗口，大小為M×N，屬于目標(biāo)或背景的判決條件為：

無(wú)匹配點(diǎn)為第n幀內(nèi)距離目標(biāo)點(diǎn)位移為（α1（n）－α2（n），β1（n）－β2（n））的像素點(diǎn)，不參與亞像素位移的計(jì)算，保證估計(jì)精度。

3.2.3 本文目標(biāo)和背景相異位移的亞像素估計(jì)

得到目標(biāo)點(diǎn)與背景點(diǎn)的位移估計(jì)后，將gn（x，y）進(jìn)行位移得到一幀中間圖像g′n（x，y），應(yīng)用Lucas-Kanade算法進(jìn)行一階泰勒級(jí)數(shù)展開(kāi)，并求得誤差平方和為：

要求得誤差E（Δα1（n），Δβ1（n），Δα2（n），Δβ2（n））的最小值，分別對(duì)Δα1（n）、Δβ1（n）、Δα2（n）和Δβ2（n）求偏導(dǎo)并令其為0，聯(lián)立求解可以獲得Δα1（n）、Δβ1（n）、Δα2（n）和Δβ2（n）的估計(jì)值。

3.3 基于目標(biāo)和背景相異位移的非均勻校正

3.3.1 二維亞像素級(jí)運(yùn)動(dòng)插值

根據(jù)Lucas-Kanade算法得到亞像素估計(jì)后，第（n＋1）幀像素點(diǎn)gn＋1（x，y）除了邊框點(diǎn)和新增的場(chǎng)景信息點(diǎn)，都可以用圖2（a）中第n幀內(nèi)四個(gè)像素點(diǎn)的雙線性插值來(lái)表示，背景用（x－Δα2（n）－1，y－Δβ2（n）－1）、（x－Δα2（n）－1，y－Δβ2（n））、（x－Δα2（n），y－Δβ2（n）－1）、（x－Δα2（n），y－Δβ2（n））四個(gè)像素點(diǎn)來(lái)插值，這四個(gè)像素點(diǎn)插值的權(quán)重分別為γ（1，2（n））、γ（2，2（n））、γ（3，2（n））、γ（4，2（n）），由圖2可知：

圖2 亞像素雙線性插值示意圖

且γ（1，2（n））＋γ（2，2（n））＋γ（3，2（n））＋γ（4，2（n））＝1。

由此可得：

第（n＋1）幀內(nèi)（x，y）目標(biāo)和背景像素的響應(yīng)可表示為：

3.3.2 校正系數(shù)的遞歸傳遞

引入偏置校正系數(shù)o（x，y）代替b（x，y）并消去輻射項(xiàng)g可得到：

3.3.3 周邊神經(jīng)網(wǎng)絡(luò)一點(diǎn)校正

為了計(jì)算o（x，y），需要已知o（x－αn－1，y－βn－1）、o（x－αn－1，y－βn）、o（x－αn，y－βn－1）、o（x－αn，y－βn－1）這四個(gè)偏置系數(shù)，所以第（n＋1）幀只能以左上角未校正像素點(diǎn)（αn＋1，βn＋1）為起點(diǎn)開(kāi)始校正，αn＋1上方和βn＋1左邊的區(qū)域?yàn)樾枰阎Ｕ禂?shù)的周邊區(qū)域。本文采用文獻(xiàn)［9］的方法對(duì)圖像四周一定寬度的范圍進(jìn)行神經(jīng)網(wǎng)絡(luò)偏置校正，定義誤差函數(shù)en（x，y）為神經(jīng)元的實(shí)際輸出＾gn（x，y）與期望值tn（x，y）差，即：

將神經(jīng)元的中值濾波輸出作為期望值，為了使誤差函數(shù)e2n（x，y）最小，根據(jù)最陡下降原則，神經(jīng)網(wǎng)絡(luò)校正的迭代方程為：

3.3.4 本文代數(shù)校正算法

本文提出的算法基于運(yùn)動(dòng)目標(biāo)和背景在相異位移條件下，計(jì)算包含無(wú)匹配點(diǎn)的雙線性插值時(shí)，無(wú)匹配點(diǎn)的o（p）未知，無(wú)法參與相關(guān)其他點(diǎn)的校正運(yùn)算，所以對(duì)無(wú)匹配點(diǎn)要進(jìn)行剔除處理。假定無(wú)匹配點(diǎn)屬于公式12中p＝2的像素點(diǎn)，公式12改寫為如下格式（其他情況以此類推）：

以上節(jié)獲得的四周一點(diǎn)校正值為初始條件，按照αn＋Δαn和βn＋Δβn方向向內(nèi)部傳遞校正系數(shù)，從未校正的像素點(diǎn)（αn＋1，βn＋1）開(kāi)始，向（αn＋1，βn＋1）所在的一行和一列順序進(jìn)行校正。以此類推，直到所有的像素點(diǎn)都經(jīng)過(guò)校正處理。

4 實(shí)驗(yàn)結(jié)果與分析

為了測(cè)試算法的有效性，設(shè)計(jì)了模擬紅外圖像和實(shí)際紅外圖像的神經(jīng)網(wǎng)絡(luò)校正處理實(shí)驗(yàn)，計(jì)算機(jī)配置為：Intel酷睿i7 2670qm，基準(zhǔn)頻率為2.2G，四核睿頻為2.8G，內(nèi)存為4G，處理軟件平臺(tái)為Matlab R2012（a）。

4.1 目標(biāo)和背景位移估計(jì)的仿真實(shí)驗(yàn)

圖3（a）和圖3（b）為選取的兩幅240×320，14bit的無(wú)噪紅外圖像，幀間背景整體向右移動(dòng)了2個(gè)像素，向下移動(dòng)了1個(gè)像素，模擬產(chǎn)生5×5大小的運(yùn)動(dòng)目標(biāo)疊加到這兩幅圖像中的不同位置，第二幅相對(duì)于第一幅，目標(biāo)向左移動(dòng)了8個(gè)像素，向下移動(dòng)了30個(gè)像素。先求得自功率譜的相位相關(guān)函數(shù)，可得沒(méi)有相關(guān)位移時(shí)的坐標(biāo)為（121，161），如圖3（c）所示，再求得兩幅圖像的互功率譜的相位相關(guān)函數(shù)分別估計(jì)目標(biāo)和背景的位移，圖3（d）中最高的兩個(gè)峰值坐標(biāo)代表了目標(biāo)和背景的位移量。圖3（e）中峰值最高的坐標(biāo)（120，159），（91，169）為分別表示了背景和目標(biāo)的位移（1，2），（30，－8），與原圖像中事先設(shè)定的位移相符。

4.2 模擬非均勻性校正仿真實(shí)驗(yàn)

為了驗(yàn)證文中算法對(duì)于目標(biāo)和背景相異位移圖像的校正性能，模擬產(chǎn)生均值為0，方差為32的非均勻性噪聲同時(shí)加入到圖像3（a）和圖3（b）中，生成的模擬噪聲圖像如圖4（a）和圖4（b）所示。從圖4（c）中可以看出由于非均勻噪聲的影響，目標(biāo)和背景的兩個(gè)峰值高度有所下降，但在結(jié)果平面上仍然呈現(xiàn)出最大的兩個(gè)峰值，如果圖像中非均勻噪聲比較嚴(yán)重，一般可采取低頻中心化的方法去除這部分峰值來(lái)增加目標(biāo)和背景的權(quán)值。

圖3 目標(biāo)和背景位移估計(jì)的仿真實(shí)驗(yàn)

模擬圖像作整像素位移時(shí)，目標(biāo)在兩幀圖像所占的區(qū)域和其各自沿著背景位移方向的后續(xù)像素點(diǎn)都不作校正處理，等待后幾幀進(jìn)行校正系數(shù)補(bǔ)償，用代數(shù)算法校正后的圖像如圖4（d）所示，可以看到圖像中除了不可校正區(qū)域，其他部分的非均勻噪聲已基本消除，還原了圖像的本來(lái)面貌。圖4（e）為目標(biāo)在不同區(qū)域的圖像匹配校正結(jié)果，與圖4（d）相比原有的目標(biāo)區(qū)域和其各自沿著背景位移方向的后續(xù)像素點(diǎn)可以得到校正，將兩次的偏置校正系數(shù)結(jié)合，如圖4（f）所示，可以得到整幅圖像的校正效果。

圖1 圖4 目標(biāo)和背景位移估計(jì)的仿真實(shí)驗(yàn)

4.3 真實(shí)目標(biāo)的非均勻性校正實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證算法的實(shí)用性，本文選取從480×640 LW MCT IRFPA所采集到真實(shí)紅外目標(biāo)序列圖像，與文獻(xiàn)［9］提出的算法進(jìn)行比較。圖5（a）和（c）為兩幀噪聲圖像，可以看出，圖中的飛機(jī)在圖像序列中保持高度相似，相應(yīng)的結(jié)果在圖5（b）中仍然顯示為僅次于背景峰值高度的一個(gè)峰值，整像素位移可以正確估計(jì)。將圖像進(jìn)行微位移后進(jìn)行雙線性插值操作，并與下一幀圖像進(jìn)行配準(zhǔn)代數(shù)校正，經(jīng)過(guò)多幀補(bǔ)償校正后的結(jié)果如圖5（e）所示，圖像中大部分噪聲已經(jīng)去除，群山、電塔和樓宇已清晰可見(jiàn)。圖5（d）為原有算法的校正結(jié)果，可見(jiàn)飛機(jī)覆蓋的區(qū)域及其各自沿著背景位移方向的后續(xù)像素點(diǎn)都出現(xiàn)了嚴(yán)重的校正錯(cuò)誤。實(shí)驗(yàn)證明了本文算法可以更好地從目標(biāo)和背景相異位移的非均勻圖像中恢復(fù)原始圖像。

圖5 真實(shí)目標(biāo)的非均勻性校正實(shí)驗(yàn)

5 總 結(jié)

本文針對(duì)場(chǎng)景圖像中同時(shí)存在著相異運(yùn)動(dòng)的目標(biāo)和背景，提出了一種基于目標(biāo)與背景相異位移配準(zhǔn)的校正算法，新算法通過(guò)分析傅里葉變換相位相關(guān)方法，估計(jì)出目標(biāo)與背景的兩種運(yùn)動(dòng)位移，然后通過(guò)計(jì)算對(duì)應(yīng)匹配像素點(diǎn)窗口內(nèi)的平均絕對(duì)誤差將目標(biāo)點(diǎn)、背景點(diǎn)和無(wú)匹配點(diǎn)進(jìn)行標(biāo)識(shí)區(qū)分，建立關(guān)于目標(biāo)和背景四種位移量的誤差平方和方程組，聯(lián)合求解得到亞像素位移量，同時(shí)根據(jù)運(yùn)動(dòng)目標(biāo)和背景的位移方向，通過(guò)剔除無(wú)匹配點(diǎn)的雙線性插值方法實(shí)現(xiàn)校正運(yùn)算。在不同的噪聲和目標(biāo)情況下，算法分別在計(jì)算機(jī)模擬實(shí)驗(yàn)和實(shí)際實(shí)驗(yàn)系統(tǒng)中得到驗(yàn)證，表明算法的有效性。

［1］ Fan Yongjie，Jin Weiqi.Latest progress of IR image system processing electronic［J］.Optical Technique，2012，38（3）：362－366.（in Chinese）范永杰，金偉其.熱成像系統(tǒng)圖像處理電路的新進(jìn)展［J］.光學(xué)技術(shù)，2012，38（3）：362－366.

［2］ Yu Fandi，Sun Zhiliang.Implementation of scene-based non-uniformity correction algorithm in scanning infrared camera［J］.Laser＆Infrared，2012，42（9）：989－993.（in Chinese）于繁迪，孫志亮.基于掃描型紅外熱像儀非均勻性場(chǎng)景校正算法的實(shí)現(xiàn)［J］.激光與紅外，2012，42（9）：989－993.

［3］ Wang Xuewei，Li Ke.Study of non-uniformity in infrared focal plane arrays［J］.Laser＆Infrared，2012，42（10）：1131－1134.（in Chinese）王學(xué)偉，李珂.紅外焦平面陣列的非均勻性研究［J］.激光與紅外，2012，42（10）：1131－1134.

［4］ D Scribner，K Sarkady，M Kruer，et al.Adaptive nonuniformity correction for IR focal plane arrays using neural networks［C］.Infrared Sensors：Detectors，Electronics，and Signal Processing，San Diego，CA，USA，July，24，1991，1541，100.

［5］ B Ratliff，M Hayat，et al.Algebraic scene-based nonuniformity correction in focal plane arrays［C］.Proceedings of the SPIE，2001，4372：114－124.

［6］ B Ratliff，M Hayat，et al.Radiometrically accurate scenebased nonuniformity correction for array sensors［C］. Journal of the Optical Society of America A，2003，10（20）：1890－1899.

［7］ Sui Jing，Jin Weiqi.A scene-based non-uniformity correction technique for IRFPA using perimeter diaphragm strips［J］.ICCCAS，2005，720（2）：716－720.

［8］ JinWeiqi，Sui Jing.Progress of researches in scene-based nonuniformity correction for IRFPA［J］.Transactions of Beijing Institute of Technology，2006，（36）：70－75.（in Chinese）金偉其，隋婧.基于場(chǎng)景的紅外焦平面陣列非均勻性校正算法研究［J］.北京理工大學(xué)學(xué)報(bào)，2006，（36）：70－75.

［9］ Liu Chongliang，Jin Weiqi.Infrared non-uniformity correction algorithm based on virtual perimeter diaphragm strips［J］.Acta Electronica Sinica，2011，（5）：1159－1164.（in Chinese）劉崇亮，金偉其.基于虛擬邊框視場(chǎng)光闌的IRFPA自適應(yīng)非均勻性校正算法［J］.電子學(xué)報(bào)，2011，（5）：1159－1164.

［10］Lu Hao，Liu Tuanjie.Method of subpixel image registration［J］.Foreign Electronic Measurement Technology，2012，31（4）：45－49.（in Chinese）盧浩，劉團(tuán)結(jié).亞像素級(jí)的圖像配準(zhǔn)方法［J］.國(guó)外電子測(cè)量技術(shù)，2012，31（4）：45－49.

［11］Deng Jianqing，Li Jinghong.Improved motion estimation algorithm based on Fourier-Mellin transform and keren algorithm［J］.Chinese Journal of Liquid Crystals and Displays，2011，26（3）：364－369.（in Chinese）鄧建青，劉晶紅.基于Fourier-Mellin變換和Keren算法的改進(jìn)運(yùn)動(dòng)估計(jì)算法［J］.液晶與顯示，2011，26（3）：364－369.

［12］Ren Jianle，Chen Qian.Stripe nonuniformity correction based on registration for infrared-focal plane arrays［J］. Journal of Infrared and Millimeter，2011，30（6）：499－503.（in Chinese）任建樂(lè)，陳錢.基于配準(zhǔn)的紅外焦平面陣列條紋非均勻性校正［J］.紅外與毫米波學(xué)報(bào)，2011，30（6）：499－503.

Non-uniform ity correction algorithm based on registration of differentmotions of target and background

A new Non-Uniformity Correction algorithm based on registration of differentmotions of target and background is proposed，for the situation of different displacements of target and background in infrared image.The new method estimates two of themotions of targetand background by shift theory of Fourier Transform algorithm and identifies target and background by Mean Absolute Difference algorithm.Motions of sub-pixel by establishing equations of sum square error of displacements of target and background are obtained.The ordinarymethod of Algebraic Non-Uniformity Correction algorithm is improved by correction according displacements of target and background，and the new algorithm is completed through Bilinear Interpolationmethod with excluding nomatching pixels.Computer simulations and actual experiments’result demonstrate，comparing with the ordinary Algebraic Non-Uniformity Correction algorithm，the proposed algorithm has the superiority，adaptability and a high practical value.

different motions；fourier transform；mean absolute difference；bilinear interpolation；algebraic non-uniformity correction

TN911.73

A

10.3969／j.issn.1001-5078.2013.11.19

1001-5078（2013）11-1286-05

楊 碩（1983－），男，博士生，研究方向?yàn)榧t外圖像預(yù)處理。E-mail：yangdingshe＠gmail.com

2013-04-23；

2013-05-16