魏久哲王小勇黃長(zhǎng)寧莊緒霞

（1 北京空間機(jī)電研究所，北京 100094）（2 中國(guó)空間技術(shù)研究院神舟學(xué)院，北京 100080）

應(yīng)用NAR運(yùn)動(dòng)估計(jì)的序列幀間匹配技術(shù)

魏久哲1,2王小勇1黃長(zhǎng)寧1莊緒霞1

（1 北京空間機(jī)電研究所，北京 100094）（2 中國(guó)空間技術(shù)研究院神舟學(xué)院，北京 100080）

對(duì)于面陣相機(jī)推幀成像與數(shù)字TDI后處理相結(jié)合的對(duì)地高分辨率遙感新方式，在圖像后處理過(guò)程中的幀間匹配步驟占據(jù)了大量運(yùn)算資源與時(shí)間。文章首先簡(jiǎn)要介紹了推幀成像與數(shù)字TDI的應(yīng)用模式，通過(guò)分析推幀成像模式下原始圖像序列的空域互相關(guān)特性與圖像匹配機(jī)理，提出了此快速幀間匹配技術(shù)，并進(jìn)行了仿真試驗(yàn)。結(jié)果表明應(yīng)用非線性自回歸神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)估計(jì)的快速幀間匹配技術(shù)可顯著提高數(shù)字TDI后處理的實(shí)時(shí)性，使計(jì)算效率提升達(dá)70%以上，同時(shí)提高匹配精度，減少誤匹配。該技術(shù)泛化力強(qiáng)，通用度高，不同地面分辨率、不同軌道高度的空間相機(jī)數(shù)據(jù)均可應(yīng)用該技術(shù)進(jìn)行快速且精確的機(jī)內(nèi)或地面幀間匹配。

推幀成像 圖像匹配 運(yùn)動(dòng)估計(jì) 非線性回歸 空間相機(jī)

0 引言

隨著對(duì)地遙感衛(wèi)星輕小型化趨勢(shì)愈演愈烈，針對(duì)輕小型化遙感載荷進(jìn)行成像優(yōu)化研究的必要性更加顯著。不論是以Terra Bella公司的Skysat[1]衛(wèi)星所采用的數(shù)字TDI為代表的多幀合成提高圖像信噪比與動(dòng)態(tài)范圍的方法，還是在遙感圖像處理中應(yīng)用較廣泛的多幀超分辨率、多幀MTFC等圖像增強(qiáng)方法，序列圖像幀間匹配都是關(guān)鍵步驟，且匹配精度與效率的高低對(duì)于增強(qiáng)效果的好壞以及算法的實(shí)時(shí)性具有決定性的影響。

在精度方面，亞像元級(jí)的匹配一直是圖像匹配研究領(lǐng)域中的關(guān)鍵問(wèn)題，方法可歸納為三類(lèi)：基于插值的方法[2]、解最優(yōu)化問(wèn)題法[3]、擴(kuò)展的相位相關(guān)法[4]。擴(kuò)展的相位相關(guān)法包含空域解法和頻域解法兩類(lèi)：其中頻域解法運(yùn)算量較小，且精度較高，但通常僅適用于幀間的平移或旋轉(zhuǎn)關(guān)系；而空域解法的性能較差。解最優(yōu)化問(wèn)題法是定義一個(gè)目標(biāo)函數(shù)，應(yīng)用迭代法精確求解變換參數(shù)，此類(lèi)方法的運(yùn)算量一般較大。灰度函數(shù)內(nèi)插法是基于空域插值方法中的一種相似性函數(shù)內(nèi)插法[5]，該方法簡(jiǎn)單有效，具有較強(qiáng)的魯棒性。在效率方面，常見(jiàn)的圖像匹配方法通常使用全局的圖像信息，無(wú)法針對(duì)特定使用場(chǎng)景引入先驗(yàn)知識(shí)，故往往計(jì)算量巨大，且易匹配錯(cuò)誤。

在保證匹配精度的前提下提高匹配算法效率，本文提出了非線性自回歸（Nonlinear Auto Regressive，NAR）神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)估計(jì)與SIFT（Scale Invariant Feature Transform）空域匹配算法相結(jié)合的序列遙感圖像快速匹配方法，在匹配模型中深度融入先驗(yàn)知識(shí)，降低了運(yùn)算量的同時(shí)減少了誤匹配的發(fā)生，為航天遙感器推幀模式下所得序列圖像的像質(zhì)增強(qiáng)處理的關(guān)鍵步驟提供了研究支撐與算法參考。

1 面陣傳感器空間相機(jī)的推幀成像模式

近10年來(lái)，面陣傳感器的發(fā)展日趨成熟，性能不斷得到突破，尤其是面陣CMOS圖像傳感器，在動(dòng)態(tài)范圍、靈敏度、噪聲控制等關(guān)鍵指標(biāo)上獲得了大幅度的技術(shù)進(jìn)步，將面陣器件應(yīng)用于輕小型航天遙感器上成為近些年來(lái)的研究與應(yīng)用熱點(diǎn)[6]。

輕小型航天遙感器存在目標(biāo)相對(duì)運(yùn)動(dòng)速度較快、單位時(shí)間入瞳能量較低的問(wèn)題，目前主要有兩類(lèi)解決方法：1）通過(guò)電子學(xué)設(shè)計(jì)驅(qū)動(dòng)面陣 CCD或 CMOS器件實(shí)現(xiàn)模擬域或數(shù)字域的時(shí)間延遲積分，例如Planet公司的鴿群[7]星座（Doves）；2）對(duì)地物進(jìn)行高幀率的面陣推幀成像，經(jīng)過(guò)后期的圖像處理，將高重疊率的原始圖像融合成像質(zhì)改善的輸出圖像，例如Terra Bella公司的SkySat系列衛(wèi)星。

第一種方法雖能延長(zhǎng)等效積分時(shí)間，提高輸出圖像的信噪比，但無(wú)法避免輕小型載荷姿態(tài)穩(wěn)定度不高、小口徑光學(xué)系統(tǒng)衍射極限的限制，使得地面分辨率瓶頸依然存在，且文獻(xiàn)[8-13]提出的面陣 CMOS的TDI實(shí)現(xiàn)，均是依賴(lài)于對(duì)相機(jī)內(nèi)部器件或電子學(xué)系統(tǒng)進(jìn)行重新設(shè)計(jì)或升級(jí)改造，盡管這些方法可以實(shí)現(xiàn)TDI功能，但也繼承了TDICCD的一些顯著的不足之處：定制化設(shè)計(jì)成本高 、對(duì)衛(wèi)星平臺(tái)姿態(tài)要求高、幀頻需要與地速?lài)?yán)格匹配等，這些因素不利于欲采用面陣CMOS的輕小型遙感器所提倡的低成本化的設(shè)計(jì)思路。

第二種方法，即推幀成像模式，是面陣遙感器沿在軌推掃方向進(jìn)行高幀率的連續(xù)拍攝模式，如圖 1所示。該成像模式下可以獲得對(duì)同一地物的多幀高重疊度影像，提供更加豐富的原始數(shù)據(jù)，地面處理可塑性強(qiáng)、提升潛力大，通過(guò)后期處理將信噪比較低的原始幀進(jìn)行圖像匹配與融合，合成信噪比提升的輸出圖像，即數(shù)字TDI[14]；同時(shí)由于高重疊度的多幀圖像存在冗余信息，可通過(guò)提取亞像元信息，來(lái)實(shí)現(xiàn)多幀超分辨率增強(qiáng)，提高輸出圖像的分辨率。通過(guò)將運(yùn)算工作交給地面站，可簡(jiǎn)化相機(jī)設(shè)計(jì)，降低相機(jī)成本；并且該技術(shù)對(duì)于衛(wèi)星平臺(tái)的指向精度與姿態(tài)穩(wěn)定度誤差具有魯棒性，可以很大程度降低相機(jī)成像對(duì)衛(wèi)星平臺(tái)的要求。該方法需要開(kāi)發(fā)對(duì)應(yīng)的圖像處理算法來(lái)適配像質(zhì)提升技術(shù)，綜合來(lái)看，是適用性廣的優(yōu)選方法。

推幀模式下的幀間相位關(guān)系主要為沿推掃方向的相對(duì)平移，但由于存在如衛(wèi)星平臺(tái)微振動(dòng)及軌道攝動(dòng)等因素的運(yùn)動(dòng)影響，推幀模式下所成序列幀之間并不僅有沿推掃方向的平移位移，還會(huì)有少量沿垂直推掃方向的位移甚至局部尺度變化存在，所以在進(jìn)行多幀圖像增強(qiáng)處理之前必須經(jīng)過(guò)高精度的幀間匹配過(guò)程。

2 NAR神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)估計(jì)

在推幀工作模式下，空間面陣相機(jī)的典型工作幀頻通常在40幀/s以上，面對(duì)如此龐大的數(shù)據(jù)量，若每一幀都做全局匹配點(diǎn)檢索，數(shù)據(jù)量將會(huì)是巨大的。本文提出了應(yīng)用運(yùn)動(dòng)估計(jì)的檢索優(yōu)化方法，將待檢索匹配點(diǎn)估入小的預(yù)測(cè)區(qū)域中，進(jìn)而很大程度提高了運(yùn)算效率。

在實(shí)際推幀成像狀態(tài)下，面對(duì)不同工作軌道參數(shù)、不同的工作模式（如慢掃、側(cè)擺）、不同衛(wèi)星平臺(tái)的姿態(tài)控制能力等條件，序列幀之間的位移量變化隨時(shí)間呈現(xiàn)非線性的特點(diǎn)。本文選取 NAR模型，對(duì)相對(duì)位移參數(shù)變化進(jìn)行學(xué)習(xí)并進(jìn)行預(yù)測(cè)。NAR模型是用自身做回歸變量，即利用前期若干時(shí)刻的隨機(jī)變量的線性組合來(lái)描述以后某時(shí)刻隨機(jī)變量的模型，現(xiàn)被廣泛應(yīng)用于經(jīng)濟(jì)指數(shù)預(yù)測(cè)、生物種群預(yù)測(cè)等領(lǐng)域[15]。預(yù)測(cè)過(guò)程[16-18]為

式中 y(t)為神經(jīng)網(wǎng)絡(luò)的輸出；t為時(shí)域坐標(biāo)；d為延時(shí)階數(shù)；y(t-d)為d時(shí)間之前的輸出。

NAR神經(jīng)網(wǎng)絡(luò)為單個(gè)隱藏層結(jié)構(gòu)，含有10個(gè)神經(jīng)元，如圖2所示。W為聯(lián)結(jié)權(quán)值，b為閾值，延時(shí)階數(shù)d取為15。NAR網(wǎng)絡(luò)中延時(shí)反饋為輸出信號(hào)的時(shí)間延遲信號(hào)，由于是基于自身數(shù)據(jù)的回歸，NAR神經(jīng)網(wǎng)絡(luò)以輸出的時(shí)間延遲信號(hào)作為網(wǎng)絡(luò)的輸入，通過(guò)隱藏層與輸出層的計(jì)算得到網(wǎng)絡(luò)的輸出。本文隱藏層激活函數(shù)選用Tansig函數(shù)，輸出層激活函數(shù)選用Purelin函數(shù)，選用BP算法進(jìn)行訓(xùn)練，訓(xùn)練使用均方根誤差進(jìn)行性能評(píng)價(jià)。

本文將幀間相對(duì)位移分解為在傳感器坐標(biāo)系中的平移分量Δx、Δy，其中Δx定義為沿推掃方向，Δy定義為垂直推掃方向，如圖3所示，并對(duì)它們分別構(gòu)建NAR網(wǎng)絡(luò)進(jìn)行訓(xùn)練。由于在預(yù)測(cè)待匹配區(qū)域后，還會(huì)進(jìn)行精匹配過(guò)程，故訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)真實(shí)輸出為已知量，為減少因預(yù)測(cè)量誤差帶來(lái)的輸入誤差，本文用真實(shí)的匹配結(jié)果代替預(yù)測(cè)量作為反饋值輸入。

圖4為NAR神經(jīng)網(wǎng)絡(luò)幀間運(yùn)動(dòng)估計(jì)。圖4（a）中實(shí)際值為推幀成像衛(wèi)星在慢掃模式下沿推掃方向的分量 Δx隨時(shí)間變化的曲線，即隨機(jī)抽取序列內(nèi)連續(xù)的 150幀圖像訓(xùn)練NAR網(wǎng)絡(luò)，其中每相鄰15個(gè)時(shí)刻的相對(duì)位移分量Δxt-15…Δxt-2、Δxt-1作為輸入層，亦即延時(shí)階數(shù)為15，Δxt作為輸出層。圖4（a）中的預(yù)測(cè)值為本文訓(xùn)練好的NAR預(yù)測(cè)網(wǎng)絡(luò)連續(xù)200幀所作出的預(yù)測(cè)，與訓(xùn)練過(guò)程類(lèi)似，由于每次估計(jì)后均會(huì)返回精確匹配的結(jié)果，故每輸出一次預(yù)測(cè)值，輸入均為圖像序列中緊鄰的之前 15幀的精確匹配值。圖4（a）中的預(yù)測(cè)誤差見(jiàn)圖4（b）所示。在本次試驗(yàn)中，本文所采用的預(yù)測(cè)方法通過(guò)高效訓(xùn)練的 NAR神經(jīng)網(wǎng)絡(luò)模型，可使預(yù)測(cè)誤差的均方根值小于1像元，從而顯著壓縮精匹配過(guò)程中的預(yù)估檢索區(qū)域，提升匹配效率。

3 精匹配過(guò)程

依據(jù)運(yùn)動(dòng)估計(jì)中所得到的相對(duì)位移預(yù)估值，在精匹配階段先粗定位到像素級(jí)匹配位置，然后以該位置為中心對(duì)相關(guān)函數(shù)的鄰近區(qū)域作亞像元插值，減小運(yùn)算量的同時(shí)將匹配精度提高到亞像元級(jí)，匹配完成后再依據(jù)對(duì)極幾何約束對(duì)匹配點(diǎn)對(duì)進(jìn)行篩選，剔除誤匹配點(diǎn)。結(jié)合 SIFT特征點(diǎn)提取方法具有的對(duì)旋轉(zhuǎn)、尺度縮放、仿射變換的不變性，對(duì)噪聲、視角和光照變化的穩(wěn)定性，提出適合于本文且性能優(yōu)良的亞像元級(jí)幀間精匹配方法。

3.1 特征點(diǎn)提取與描述

應(yīng)用于推幀成像的圖像匹配算法需要對(duì)噪聲、視角和光照具有較高的穩(wěn)定性，對(duì)旋轉(zhuǎn)、尺度縮放、仿射變換具有不變性，滿(mǎn)足條件且性能優(yōu)良的空域特征點(diǎn)提取與表征方法主要有 SIFT[19]與 SURF（Speeded Up Robust Feature）。SIFT與SURF算法均基于高斯金字塔尋找局部極值點(diǎn)來(lái)確定尺度不變的穩(wěn)定點(diǎn)，在特征點(diǎn)描述階段均以特征點(diǎn)為中心，在周?chē)徲騼?nèi)統(tǒng)計(jì)特征，SIFT在正方形鄰域內(nèi)統(tǒng)計(jì)梯度的幅值的直方圖，找最大幅值對(duì)應(yīng)的方向；SURF在圓形領(lǐng)域區(qū)域內(nèi)，計(jì)算各個(gè)扇形范圍內(nèi)沿圖像空間兩個(gè)坐標(biāo)軸方向的haar小波響應(yīng)，找尋模最大的扇形方向表征。在性能方面SURF運(yùn)行速度僅為SIFT的三分之一，但在描述精度方面相較于 SIFT有差距?？紤]到本方法應(yīng)用背景，權(quán)衡資源效能分配，本文選用 SIFT為理論基礎(chǔ)做亞像元級(jí)特征點(diǎn)提取與表征，并加以適應(yīng)性改進(jìn)。特征點(diǎn)提取與描述具體分為以下五個(gè)步驟[19]：

1）構(gòu)造尺度空間。由于高斯卷積核是實(shí)現(xiàn)尺度變換的唯一線性核，故將原圖像與一個(gè)二維尺度可變的高斯函數(shù)求卷積

式中 L(x，y，σ)為多尺度高斯空間元素；G(x，y，σ)為高斯函數(shù)； (,)I x y為原圖像；(,)x y為圖像空間坐標(biāo)系下的坐標(biāo)；σ是尺度坐標(biāo)。

高斯拉普拉斯函數(shù)的極大值和極小值同其它常用的特征提取函數(shù)，如Hessian或Harris角點(diǎn)特征相比，能夠產(chǎn)生最穩(wěn)定的圖像特征。為簡(jiǎn)化計(jì)算，通常用高斯差分尺度（Different of Gussian，DOG）算子近似高斯拉普拉斯函數(shù)構(gòu)造金字塔形多尺度空間，如圖5所示。

式中 D(x，y，σ)為高斯差分空間元素；k為常數(shù)因子。

圖像金字塔共O組，每組有S層，下一組的圖像由上一組圖像降采樣得到；圖5右側(cè)每一層由相鄰的兩層高斯圖像相減而成。

2）特征點(diǎn)粗定位。將每個(gè)采樣點(diǎn)與其在多分辨率尺度空間中的所有相鄰點(diǎn)比較，即：和它同尺度的8個(gè)相鄰點(diǎn)以及上下相鄰尺度對(duì)應(yīng)的9×2個(gè)點(diǎn)共26個(gè)點(diǎn)比較，尋找尺度空間和圖像空間上的極值點(diǎn)作為圖像粗定位特征點(diǎn)。

3）特征點(diǎn)精定位。為了得到精準(zhǔn)且穩(wěn)健的特征點(diǎn)，同時(shí)將定位精度提升到亞像素級(jí)，須對(duì)粗定位空間進(jìn)行二元二次擬合，利用離散空間點(diǎn)插值得到連續(xù)空間極值點(diǎn)信息，該方法稱(chēng)作亞像素插值，同時(shí)去除由于DOG算子的邊緣響應(yīng)而產(chǎn)生的邊緣點(diǎn)。

4）特征點(diǎn)的主方向確定。計(jì)算關(guān)鍵點(diǎn)的圖像梯度，并用直方圖統(tǒng)計(jì)鄰域內(nèi)像素的梯度和方向，梯度直方圖將0°～360°的方向范圍均分為36柱。直方圖的峰值方向作為特征點(diǎn)的主方向。

5）特征點(diǎn)描述。對(duì)于每一個(gè)特征點(diǎn)，都有三個(gè)描述信息：位置、尺度以及方向。特征點(diǎn)描述的目的是一個(gè)具有獨(dú)特性的特征向量把特征點(diǎn)描述出來(lái)。描述子（表征特征點(diǎn)特性的描述法則）使用在關(guān)鍵點(diǎn)尺度空間內(nèi)4×4的窗口中計(jì)算的8個(gè)方向的梯度信息，共4×4×8=128維向量表征。

3.2 特征點(diǎn)對(duì)匹配與速率優(yōu)化

選用特征點(diǎn)向量夾角余弦的方法對(duì) SIFT算法所提取的 128維特征描述符向量進(jìn)行相似度計(jì)算和匹配。先對(duì)參考幀中的每一個(gè)特征點(diǎn)P0，用反余弦函數(shù)計(jì)算待配圖像中所有特征點(diǎn)Pk與P0的特征描述符向量夾角

計(jì)算完成后對(duì)128個(gè)夾角排序，如果最小夾角與次小夾角比值小于某個(gè)閾值，則判定P0和Pk是一對(duì)匹配特征點(diǎn)對(duì)。關(guān)于閾值的選取，一般取0.4～0.6為最佳，閾值選取越小，匹配關(guān)系的鑒別越嚴(yán)格。

在匹配點(diǎn)對(duì)搜尋過(guò)程中，待匹配幀的每一個(gè)特征點(diǎn)描述子要與基準(zhǔn)幀的每一個(gè)描述子進(jìn)行計(jì)算與比較，占用了許多計(jì)算資源，事實(shí)上，在特征點(diǎn)較多的情況下，SIFT特征點(diǎn)匹配計(jì)算量的70%在于匹配點(diǎn)的搜尋步驟。而在對(duì)地觀測(cè)的推幀成像模式下，沿時(shí)間軸排列的序列幀之間可以通過(guò)運(yùn)動(dòng)估計(jì)來(lái)將待匹配點(diǎn)預(yù)估進(jìn)一個(gè)粗區(qū)域，所采取的估計(jì)方法如前所述，見(jiàn)圖 6。在已知相對(duì)運(yùn)動(dòng)估計(jì)值的前提下，匹配點(diǎn)對(duì)篩選階段只需檢索預(yù)估區(qū)域內(nèi)的特征點(diǎn)，從而大大提高了匹配運(yùn)算效率，同時(shí)也能消除一部分無(wú)效誤匹配。表1中第1列前4個(gè)為圖像處理常用數(shù)據(jù)庫(kù)中的圖像，加上自定遙感圖像作為素材進(jìn)行匹配計(jì)算試驗(yàn)，計(jì)算速率統(tǒng)計(jì)如表1所示。

表1 改進(jìn)前后計(jì)算速率比對(duì)Tab.1 Rate comparison before and after improvement

可以看出，改進(jìn)方法對(duì)算法效率提升明顯，且改進(jìn)效果與圖像特征點(diǎn)數(shù)量成正相關(guān)，尤其是對(duì)于數(shù)據(jù)量大、特征點(diǎn)豐富的遙感圖像應(yīng)用，效率提升將更加顯著。

3.3 基于對(duì)極幾何約束的匹配篩選方法

于對(duì)地遙感而言，同一幅圖像中出現(xiàn)相似特征點(diǎn)的概率更高（例如構(gòu)型相似的房屋、花壇或車(chē)輛等），基于局部特征的匹配方式的錯(cuò)誤率也會(huì)相應(yīng)更高。本節(jié)介紹基于對(duì)極幾何的理論、基礎(chǔ)矩陣的數(shù)學(xué)表達(dá)以及隨機(jī)抽樣一致性（RANSAC）的統(tǒng)計(jì)方法來(lái)實(shí)現(xiàn)誤匹配點(diǎn)對(duì)的剔除。對(duì)極幾何是描述圖像之間內(nèi)部關(guān)系的影射幾何，它與兩幅圖像局部的具體景物無(wú)關(guān)，而僅與兩幅圖的全局相對(duì)視角相關(guān)，這種幾何約束關(guān)系可以用基礎(chǔ)矩陣準(zhǔn)確地表達(dá)為

式中 F為基礎(chǔ)矩陣；X′與X為待匹配圖像中的一組匹配點(diǎn)坐標(biāo)。

基于基礎(chǔ)矩陣表征的對(duì)極幾何約束條件，本文選用 RANSAC的統(tǒng)計(jì)方法[20]對(duì)誤匹配點(diǎn)進(jìn)行篩除操作。主要分為以下步驟：1）從匹配點(diǎn)對(duì)集合中隨機(jī)抽選8對(duì)，代入式（6）中計(jì)算基礎(chǔ)矩陣F初始值；2）根據(jù)算出的F，將匹配點(diǎn)對(duì)代入式（6）中，若誤差小于閾值e則算作一組有效匹配，并將這一組匹配點(diǎn)加入有效匹配點(diǎn)集，并重新計(jì)算基礎(chǔ)矩陣F后循環(huán)； 3）經(jīng)過(guò)N次隨機(jī)采樣，選擇集合中點(diǎn)對(duì)數(shù)最多的最大一致有效匹配點(diǎn)對(duì)作為最終有效匹配點(diǎn)對(duì)。通過(guò)以上過(guò)程，消除了那些局部相似度高但不能滿(mǎn)足對(duì)極幾何約束的錯(cuò)誤匹配點(diǎn)對(duì)，得到滿(mǎn)足約束的有效匹配點(diǎn)對(duì)。

圖7展示了一組亞像元級(jí)平移的前后幀之間的匹配情況，平移向量為（33.1，60.05）。圖7(a)是對(duì)極幾何篩選前的匹配點(diǎn)對(duì)相對(duì)坐標(biāo)關(guān)系，圖7（b）是對(duì)極幾何篩選后的匹配點(diǎn)對(duì)相對(duì)坐標(biāo)關(guān)系，可見(jiàn)本文方法篩除了絕大部分像元級(jí)誤差，將匹配結(jié)果的誤差范圍限制在了一個(gè)像元以?xún)?nèi)，且絕大多數(shù)值十分趨近于準(zhǔn)確值，校正篩選效果顯著。用質(zhì)心法取平移量的最優(yōu)解，可得篩選后的匹配平移向量為（33.093，60.056），匹配精確度在0.01個(gè)像元以?xún)?nèi)。用自定遙感圖像為素材，圖像大小為1 145×1 279，在（-200，200）范圍內(nèi)分別在圖像空間坐標(biāo)系的x、y軸方向給定一個(gè)隨機(jī)數(shù)作為亞像元級(jí)偏移量，用本文算法對(duì)偏移前后的圖像進(jìn)行匹配，并給出匹配數(shù)值結(jié)果，如表2所示。

表2 偏移量與匹配值的統(tǒng)計(jì)數(shù)據(jù)Tab.2 Statistical data of offset and registration value

4 結(jié)束語(yǔ)

本文介紹了面陣相機(jī)的推幀成像工作模式，提出了基于SIFT特征點(diǎn)提取，結(jié)合NAR神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)估計(jì)與RANSAC匹配篩選的亞像元級(jí)序列圖像幀間匹配方法，在提升匹配精度的同時(shí)提升了算法效率。經(jīng)試驗(yàn)驗(yàn)證，對(duì)于特征點(diǎn)豐富的遙感圖像，該技術(shù)可節(jié)省的兩幀匹配時(shí)間約在70%～80%之間，相對(duì)平移情況下的亞像元級(jí)匹配誤差在0.01個(gè)像元以?xún)?nèi)。由于該技術(shù)僅基于序列圖像間的互相關(guān)關(guān)系，匹配前的先驗(yàn)知識(shí)也來(lái)自序列相關(guān)關(guān)系的提取而不依賴(lài)外部輸入，故該技術(shù)具有很高的適用性與泛化能力，應(yīng)用該技術(shù)可實(shí)現(xiàn)精確且快速的幀間匹配，減少計(jì)算資源的占用，提高后期處理的實(shí)時(shí)性。

References)

[1]MURTHY K, SHEARN M, SMILEY B D, et al. SkySat 1：Very High Resolution Imagery from a Small Satellite[C]. SPIE 9241, Sensors, Systems, and Next-Generation Satellites XVIII. Amsterdam, 2014.

[2]BALCI M, FOROOSH H. Subpixel Estimation of Shifts Directly in the Fourier Domain[J]. Image Processing, IEEE Transaction on, 2006, 15(7)： 1965-1972.

[3]HOGE W S. A Subspace Identification Extension to the Phase Correlation Method[J]. Medical Image, IEEE Transactions on, 2003, 22(2)： 277-280.

[4]KERN J P, PATTICHIS M T, CHANG E C, et al. A Fast Direct Fourier-based Algorithm for Subpixel Registration of Images[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2001, 39(10)： 2235-2243.

[5]MANUEL G S, SAMUEL T T, JAMES R F. Efficient Subpixel Image Registration Algorithms[J]. Opt, Lett, 2008, 33(2)：156-158.

[6]劉志勇, 黃巧林. CMOS相機(jī)在微小衛(wèi)星上的應(yīng)用[J]. 航天返回與遙感, 2003, 24(2)： 29-33. LIU Zhiyong, HUANG Qiaolin. The Application of CMOS Camera in Small Satellites[J]. Spacecraft Recovery & Remote Sensing, 2003, 24(2)： 29-33.(in Chinese)

[7]Spaccflight101. Flock 1-Planet Labs Earth Observation Satellites[EB/OL]. [2017-02-27]. http：//www.spaceflight101.com/ flock-1.html.

[8]MICHAELIS H, JAUMANN R, MOTTOLA S. CMOS-APS Sensor with TDI for High Resolution Planetary Remote Sensing[C]. IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, 2005： 31-34.

[9]LEPAGE G. Time Delayed Integration CMOS Image Sensor with Zero Desynchronization： US, 7675561B2[P]. 2010-03-09.

[10]曲宏松, 張葉, 金光. 基于數(shù)字域TDI算法改進(jìn)面陣CMOS圖像傳感器功能[J]. 光學(xué)精密工程, 2010, 18(8)： 1896-1903. QU Hongsong, ZHANG Ye, JIN Guang. Improvement of Performance for CMOS Area Image Sensors by TDI Algorithm in Digital Domain[J]. Optics and Precision Engineering, 2010, 18(8)： 1896-1903. (in Chinese)

[11]陶淑蘋(píng), 金光, 曲宏松. 實(shí)現(xiàn)空間高分辨成像的數(shù)字域時(shí)間延遲積分 CMOS相機(jī)設(shè)計(jì)及分析[J]. 光學(xué)學(xué)報(bào), 2012, 32(4)： 93-101. TAO Shuping, JIN Guang, QU Hongsong. Influence Analysis on the Rolling Shutter for Time Delay and Integration in Digital Domain[J]. Acta Optica Sinica, 2012, 32(4)： 93-101. (in Chinese)

[12]陶淑蘋(píng), 金光, 曲宏松. 采用卷簾數(shù)字域TDI技術(shù)的CMOS成像系統(tǒng)設(shè)計(jì)[J]. 紅外與激光工程, 2012, 41(9)： 2380-2385. TAO Shuping, JIN Guang, QU Hongsong. Design of CMOS Imaging System Based on Rolling TDI in Digital Domain[J]. Infrared and Laser Engineering, 2012, 41(9)： 2380-2385. (in Chinese)

[13]陶淑蘋(píng), 金光. 卷簾快門(mén)對(duì)數(shù)字域TDI成像的影響分析[J]. 光學(xué)學(xué)報(bào), 2015, 35(3)： 107-112. TAO Shuping, JIN Guang. Influence Analysis on the Rolling Shutter for Time Delay and Integration in Digital Domain[J]. Acta Optica Sinica, 2015, 35(3)： 107-112. (in Chinese)

[14]WEI Jiuzhe, WANG Xiaoyong, HUANG Changning. Research on Digital TDI Technology for Optimizing Sequence Remote Sensing Images Applied in an Imager with Area Array Cmos Sensor[C]. ISSOIA 2016. Springer, 2016.

[15]范劍青, 姚琦偉. 非線性時(shí)間序列[M]. 北京： 高等教育出版社, 2005. FAN Jianqing, YAO Qiwei. Nonlinear Time Series[M]. Beijing： Higher Education Press, 2005. (in Chinese)

[16]袁魯山. 基于NAR神經(jīng)網(wǎng)絡(luò)的車(chē)速預(yù)測(cè)及應(yīng)用[D]. 大連： 大連理工大學(xué), 2016. YUAN Lushan. Vehicle Speed Prediction and Application Based on NAR Neural Network[D]. Dalian： Dalian University of Technology, 2016. (in Chinese)

[17]陳茹雯, 黃仁. 非線性自回歸時(shí)序模型研究及其預(yù)測(cè)應(yīng)用[J]. 系統(tǒng)工程理論與實(shí)踐, 2015, 35(9)： 2370-2379. CHEN Ruwen, HUANG Ren. Research on General Expression for Nonlinear Autoregressive Model and its Forecast Application[J]. Systems Engineering-theory & Practice, 2015, 35(9)： 2370-2379. (in Chinese)

[18]陳茹雯, 湛時(shí)時(shí). 基于非線性自回歸時(shí)序模型的振動(dòng)系統(tǒng)辨識(shí)[J]. 計(jì)算機(jī)應(yīng)用研究, 2016, 33(10)： 3021-3025. CHEN Ruwen, ZHAN Shishi. Identification Based on GNAR Model for Vibration System[J]. Application Research of Computers, 2016, 33(10)： 3021-3025. (in Chinese)

[19]LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2)： 91-110.

[20]FISCHLER M A, BOLLES R C. Random Sample Consensus： Aparadigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of Association for Computing Machinery, 1981, 24(6)： 381-395.

A Sequence Inter-frame Registration Technique Applying the NAR Motion Estimation Method

WEI Jiuzhe1,2WANG Xiaoyong1HUANG Changning1ZHUANG Xuxia1
（1 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（2 Shenzhou Academy of China Academy of Space Technology, Beijing 100080, China）

For the new method of high resolution remote sensing combined with push-frame and digital TDI post-processing, the step of inter-frame registration in the image post-processing process spends a lot of computing resources and time. This paper firstly introduces the application pattern of push frame imaging and digital TDI. By analyzing the spatial correlation characteristics and image registration mechanism of the original image sequence in the push-frame imaging mode, this fast inter-frame registration technique is proposed and experimentally verified. The results show that the fast inter-frame registration technique of NAR (Nonlinear Auto-Regressive models) neural network motion estimation can significantly improve the real-time performance of digital TDI post-processing, the efficiency of calculation by more than 70%, and the registration accuracy. This technology is highly generalized and versatile. Imaging data with different ground resolutions and different orbital heights can apply this technique to achieve a fast and accurate inter-frame registration.

push-frame; image registration; motion estimation; nonlinear regression; space camera

TN911.73

A

1009-8518(2017)03-0086-08

10.3969/j.issn.1009-8518.2017.03.010

魏久哲，男，1991年生，2014年獲中北大學(xué)飛行器設(shè)計(jì)與工程專(zhuān)業(yè)學(xué)士學(xué)位，現(xiàn)在中國(guó)空間技術(shù)研究院攻讀飛行器設(shè)計(jì)專(zhuān)業(yè)碩士學(xué)位。研究方向?yàn)榭臻g遙感器系統(tǒng)設(shè)計(jì)。Email：290230371@qq.com。

（編輯：王麗霞）

2017-02-24

國(guó)家重點(diǎn)發(fā)展計(jì)劃（2016YFB0501300，2016YFB0501302）