胡超 王小勇 郭崇嶺

(北京空間機電研究所, 北京 100094)

應用相位相關法的TDICCD空間相機像移測量方法

胡超 王小勇 郭崇嶺

(北京空間機電研究所, 北京 100094)

空間相機亞像素精度的像移高精度測量是一項技術難題。文章針對高分辨率TDICCD空間相機的成像特點提出一種直接測量像移的方法，該方法利用高速圖像傳感器獲取圖像序列，然后采用基于局部上采樣的相位相關法來測定亞像素像移變化曲線。Matlab軟件的仿真實驗結果表明，該方法對圖像噪聲和灰度變化有很高的容忍度，其測量精度在圖像信噪比高于10 dB時優(yōu)于0.1個像元。

相位相關；TDICCD相機；高分辨率；像移測量；亞像素

1 引言

目前高分辨率相機多采用推掃成像的時間延遲積分CCD(TDICCD)來實現(xiàn)輕小型化和解決光通量不足的問題[1-2]，以提高圖像分辨率?？臻g相機在曝光時間內，由于衛(wèi)星在軌高速飛行及衛(wèi)星平臺非穩(wěn)定因素，都會使影像在像面上發(fā)生平移(即像移)，造成圖像模糊或幾何扭曲，導致相機實際分辨率降低，影響相機圖像質量。隨著空間相機分辨率指標的提高，對衛(wèi)星平臺穩(wěn)定性的要求也隨之提高，衛(wèi)星平臺非穩(wěn)態(tài)因素造成的像移對相機成像質量的影響越來越重要[1-4]。高精度的像移補償系統(tǒng)是獲取高分辯遙感圖像的重要研究方向，要想獲得高精度的像移補償效果，必須先對像移進行精確感知，像移測量成為高分辨率成像的關鍵技術之一。傳統(tǒng)的像移獲取方法主要依賴星敏感器、光纖陀螺等姿態(tài)測量機構，根據(jù)測量的姿態(tài)參數(shù)和GPS數(shù)據(jù)計算出像移，然而這種方法精度不高，測量頻率有限。解決此問題的方法通常是增加衛(wèi)星姿態(tài)控制的穩(wěn)定性，并同時減小由動量輪或其它因素引起的衛(wèi)星振動，但是這將大幅增加衛(wèi)星的費用、尺寸和質量[4]。目前有一種在空間相機焦面或其他位置安裝輔助圖像傳感器用于獲取像移的方法，輔助圖像傳感器選用小型高速面陣互補金屬氧化物半導體(CMOS)或電荷耦合器件(CCD)探測器，利用圖像處理算法直接求出圖像間的像移[5]。為了防止圖像模糊，輔助圖像傳感器獲取圖像的曝光時間很短，圖像灰度較暗，噪聲也比較大，并以很高的幀頻輸出。因此要實現(xiàn)高精度實時測量，就需要測量計算方法具有高噪聲容限和快速處理性能。

根據(jù)像移直接測量的思路和TDICCD相機成像特性，本文提出一種將高速圖像采集與相位相關法結合的直接測量像移的方法，利用局部上采樣來定位亞像素像移，并進行大量對比實驗。

2 直接測量像移方法簡介

像移測量旨在測量遙感圖像實時像移信息，利用測得的像移量進行硬件實時補償或通過后期圖像復原算法，減小和消除像移對圖像的影響，提高圖像質量。像移測量方法主要包括兩個部分：像移測量光路和圖像相關算法。本文采用的像移測量方案的光路示意圖如圖1所示。

圖1 像移測量光路圖

探測相機放置在主成像的TDICCD相機的邊緣視場處，使得探測相機獲取與主相機同光軸的圖像，考慮到探測相機的像元數(shù)較小，當?shù)孛鎴D像為對比度較小的圖像時，如海洋、沙漠等，單一的探測相機可能得不到有效的像移信息，因此在像移測量方案中應設置兩臺探測相機，以保證獲取有效的像移信息。在主光學系統(tǒng)成像期間，為準確獲取像移信息，探測相機不能出現(xiàn)像移模糊，因而需要探測相機對景物高速采樣，采樣頻率達到成百甚至上千赫茲。這不僅要求探測相機能夠高速獲取和傳輸圖像序列，同時要求圖像傳感器具有較高的靈敏度和信噪比。隨著圖像傳感器設計水平、制造工藝技術的飛速發(fā)展，越來越多的高靈敏度、高信噪比、高速面陣CCD/CMOS芯片或相機已問世，并且能夠應用于航天環(huán)境，這也為像移直接測量方法的應用奠定了基礎。如德國Mikrotron公司的EoSensCL full高速相機，在1280×1024分辨率下，可以達到500 幀/s的速率，并且可以通過開窗方式減小分辨率來增加幀速率，同時具有感光度2500(ISO2500)的高靈敏度，擁有像素組合犧牲像元空間分辨率、增加感光面積來提高圖像曝光量。其他如加拿大達爾薩(DALSA)、德國巴斯勒(Basler)、美國賽普拉斯(Cypress)等公司，都有高速面陣芯片或相機產(chǎn)品。

TDICCD相機成像過程的像移量由多種因素引起，包括速高比變化、姿態(tài)穩(wěn)定度、偏流角，衛(wèi)星平臺顫振等[1,3,6-10]。其像移量可以分解為兩個方向：推掃方向和線陣方向，如圖1所示。對于推掃方向的像移可保持TDICCD的行轉移速度與像移速度同步來消除，而線陣方向像移對TIDCCD的成像質量影響極大，必須進行硬件校正或后期復原。實際上，因為空間飛行的復雜性，尤其是對于高分辨率相機而言，TDICCD的行轉移速度(即積分時間)，與推掃速度很難做到完全匹配。TDICCD通過推掃成像，高速面陣相機圖像序列間將產(chǎn)生一個衛(wèi)星推掃方向的前向像移，利用圖像相關算法求取主相機像移時應先扣除前向像移。同時因為這部分推掃像移的存在，高速圖像間的重合度大大降低，圖像相關算法必須適應小重合度圖片的像移測量。對于某些圖像相關算法，由于圖像間像移量過大，圖像重合度過小，圖像的相關信息不豐富，像移測量的精度將會大大降低，抗噪能力也會變弱。

在主成像相機成像過程中，高速小面陣相機獲取與主相機同光軸的圖像，并與上一采樣周期所得圖像進行相關運算，可獲得高速面陣相機兩次曝光時間內像移量，空間相機為剛性連接，高速面陣相機和主成像TDICCD具有相同的擾動量，通過測量探測相機圖像序列間的像移量，由主成像TDICCD與探測相機的位置關系和像元尺寸等相機參數(shù)即可求出主成像相機成像過程中的像移量，當前的圖像數(shù)據(jù)儲存起來將作為下一次測量的基準。通過不斷檢測高速圖像的像移信息，即可測出主成像相機成像過程中的擾動量，用于實時校正或后期復原。

3 像移測量算法

圖像相關算法是像移探測的關鍵，其性能優(yōu)劣直接影響到探測系統(tǒng)的精度，進而影響圖像質量，而其計算效率也決定了探測數(shù)據(jù)是否可用于實時補償。為克服高速探測CCD圖像序列的高噪聲問題，本文采用相位相關算法來測量像移數(shù)據(jù)。相位相關法是一種非線性、基于圖像傅里葉變換的頻域相關算法，該算法取圖像頻域中的相位信息，減少了對圖像內容的依賴性，具有優(yōu)良的抗噪性能。同時本文利用局部采樣來克服全局采樣的高運算量、高存儲量的缺點，實現(xiàn)高效精確的亞像素測量。

3.1相位相關法

相位相關法的理論依據(jù)是傅里葉變換的平移性質，圖片在空間域中的平移，在頻域中表現(xiàn)為線性相位差。假設兩幅圖像f1(x,y)和f2(x,y)之間，存在相對像移量，且平移量為(Δx,Δy)，則有

(1)

對式(1)兩邊分別進行傅里葉變換，由傅里葉變換的平移性質可以得出

(2)

式(2)中F1和F2分別為圖像f1和f2的傅里葉變換。提取式(2)的相位，即兩幅圖像歸一化互功率譜G(u,v)為

(3)

式中：F2*(u,v)為F2(u,v)的復共軛。

通常，求解(Δx,Δy)有以下兩種方法[8]：

(1)將兩幅圖片頻域中的相位差向兩個頻率軸投影，可以直接計算得到(Δx,Δy)，但這種方法對噪聲非常敏感；

(2)根據(jù)傅里葉變換的平移性質，圖片空間域的平移可轉化為圖像頻域中的相位差，通過求歸一化互功率譜的反傅里葉變換得到2維沖激函數(shù)δ(x-Δx,y-Δy)，檢測其峰值所處的位置即可得到兩幅圖片的像移量(Δx,Δy)，如圖2所示。

圖2 相位相關法示意圖

對于無限域的連續(xù)圖像來說，式(3)是成立的。然而在實際運算中，圖像都是有界且離散的，這使得單位沖激函數(shù)轉化為離散時間單位沖激序列的形式。而且，兩幅具有像移的圖片包含不重疊的內容，使得兩幅圖像互功率譜相位的反變換，總是含有一個相關峰和一些非相關峰，相關峰的能量對應重疊區(qū)域的所占百分比。仿真實驗顯示，當兩幅圖像重合區(qū)域很小時，相位相關法仍能提供較滿意的結果。圖3可以看出兩幅只有50%的重合區(qū)域時，峰值依然尖銳突出?？梢娤辔幌嚓P法可以很好地適應TDICCD成像中高速圖像序列具有較大推掃像移的情況。但是僅對兩幅圖片進行相位相關運算，只能得到像素級的像移量，無法滿足實際應用。

圖3 重合度為50%圖片的互相關功率譜

3.2局部上采樣實現(xiàn)亞像素像移測量

信號上采樣可采用頻域補零填充的方式，提高傅里葉變換輸出的分辨率，頻域信號的零填充對應時域信號的理想插值[9]。對相位相關的功率譜內插零填充，傅里葉反變換即可得到上采樣后的互相關峰值，檢測細化后峰值位置，就可以得出亞像素級的像移量。而對整個功率譜進行補零上采樣，將會導致存儲需求急劇增加，運算效率下降。如圖4所示256×256像素的圖像序列，理論上要達到0.1的像素精度，則要計算和存儲2560×2560的功率譜數(shù)據(jù)，使得正反傅里葉變換的計算量大幅增加。隨著

像移測量精度的增加，全局上采樣將不利于實際應用。為減少存儲量提高運算效率，利用矩陣乘法只對相關峰值附近一個較小的鄰域進行上采樣，忽略與所關心區(qū)域無關的信息，減少了對存儲空間的需求，提高運算效率，而且能得到與全局上采樣等效的結果。

對于圖片互功率譜的響應函數(shù)δ(x-Δx,y-Δy)，在(Δx,Δy)周圍定義一個尺度為m的鄰域L=[Xm,Ym]，Xm=(Δx-m/2,Δx+m/2)，Ym=(Δy-m/2,Δy+m/2)，對該領域進行k倍上采樣，則采樣步長為1/k，由傅里葉反變換的矩陣乘積表達式[8]可得

(4)

式中：G(U,V)為互功率譜的矩陣表示，X′=[Δx-m/2,Δx-m/2+1/k,Δx-m/2+2/k,…,Δx+m/2]，Y′=[Δy-m/2,Δy-m/2+1/k,Δy-m/2+2/k,…,Δy+m/2]，g(X′,Y′)為局部上采樣后的響應函數(shù)，維度為mk×mk。

局部上采樣取整個頻域空間的信息實現(xiàn)小區(qū)域的采樣放大，是一種高效準確的亞像素定位方法，上采樣尺度因子為k時，理論定位精度可達1/k像素，如圖5所示，256×256像素的圖像序列，理論上要定到0.1的像素精度，利用局部上采樣則只需計算和存儲15×15的數(shù)據(jù)。

圖4 全局上采樣示意圖

圖5 局部上采樣示意圖

4 仿真分析

基于局部上采樣的相位相關法測量圖像像移的流程如圖6所示，算法的主要步驟如下：(1)仿真生成具有亞像素像移的高速圖像序列；(2)利用傳統(tǒng)的相位相關法得到整像素的平移量(x，y)；(3)對整像素定位點(x，y)周圍1.5×1.5領域范圍內進行k倍上采樣，得到細化的相關峰值，得到與中心位置的偏移值(Δx，Δy)，最終得到亞像素級的平移量(x_sub，y_sub)。由于傳統(tǒng)的相位相關法具有像素級的精度，上采樣區(qū)域為整像素定位點1.5×1.5范圍，可保證亞像素定位點在此范圍內。本文中上采樣倍率k取100，則理論上亞像素測量精度能達到0.01個像元。

圖6 亞像素像移測量算法流程圖

為驗證本文提出的像移測量方法的性能，對其進行了大量對比試驗和適應性實驗，仿真實驗用的模板圖像為某遙感衛(wèi)星拍攝的灰度圖片如圖7所示，具有亞像素像移的高速圖片(256×256)序列由Matlab中的圖像處理工具箱(IPT)的仿射變換函數(shù)截取生成。

圖7 某遙感衛(wèi)星拍攝圖片

1)TDICCD相機像移的定量分析

對于軌道高度為500 km，星下點像元分辨率為0.5 m的高分辨率相機，假設TDICCD的級數(shù)為128，像元尺寸為10 μm，單級積分時間為0.07 ms，則相機推掃通過星下點0.5 m的時間為0.07 ms，TDICCD成一行像的積分時間為8.96 ms。高速探測器選定為成像幀頻為2000 幀/s、分辨率為256×256的高速CCD，且其像元尺寸與TDICCD的像元尺寸相同，則一個積分周期高速CCD將拍攝17.92幅圖片，前后兩幀圖像將有7.1個像元的推掃像移。由于衛(wèi)星的空間運行環(huán)境復雜，非正常像移具有很大的隨機性，基本上沒有規(guī)律可循。從實際應用的成本方面考慮，本實驗綜合考慮各種因素對像移的影響，利用總的像移數(shù)據(jù)進行實驗仿真。在無補償?shù)臉O限情況下，一個積分周期內，TDICCD在線陣方向上像移將達到約14個像元，推掃方向的像移也達到6個像元，則高速CCD圖像序列間的隨機像移幅值在線陣方向和推掃方向分別為0.77個像元和0.33個像元[1,3,7,10]。

2)針對TDICCD相機成像模式的仿真實驗

考慮到TDICCD相機成像過程中，高速圖片序列像移特性，利用IPT工具箱的仿射變換生成3組有隨機像移的圖像序列，每個圖像序列有18幀圖片，圖像的行方向即推掃方向的像移由7.1個像元的推掃像移和像移范圍在±0.8像元內的隨機像移組成，圖像的列方向即線陣方向像移為±0.4像元內的隨機像移。仿真數(shù)據(jù)示意見圖8，像移測量結果見表1。

表1 本文方法像移測量結果

從表1中數(shù)據(jù)可以看出本文中算法性能優(yōu)越，在亞像素定位上多次測量的均方根(RMS)誤差均優(yōu)于0.1個像元，可以適應TDICCD的成像模式。

3)隨機噪聲實驗

為測試文中方法對圖片隨機噪聲的適應性，在一組圖像序列(18幀圖片)添加不同信噪比(SNR)，均值為0的高斯白噪聲(圖9)，信噪比∞表示圖片不添加任何隨機噪聲，圖像序列具有相同的隨機像移，且像移范圍在±1個像元內。圖10通過直方圖直觀地列出本文方法在多種噪聲下的像移測量RMS誤差。

圖9 添加不同信噪比的高斯白噪聲后的圖像

圖10 圖像信噪比對亞像素像移測量誤差的影響

從圖10可以看出本文方法對圖片隨機噪聲有較好的適應能力，在圖像信噪比為15 dB時，均方根誤差仍優(yōu)于0.1個像元。

4)灰度變化適應性實驗

圖11 圖片灰度變化類型

表2 不同灰度變化下的像移測量結果

從表2數(shù)據(jù)可以看出，對于不同灰度變化像移測量的最大誤差在推掃方向和線陣方向都為0.05個像元。實驗證明，本文方法對圖像灰度值變化也有很好的適應能力。

5 結束語

高精度像移信息的獲取是獲取高分辨率圖像的基礎和前提，是當前的研究熱點。本文主要對像移測量方法進行了研究，針對高分辨率TDICCD相機，提出高速圖像采集與相位相關法結合像移直接測量的方法，仿真實驗表明該方法在測量精度和抗噪性方面性能優(yōu)越，可應用于實際的像移探測系統(tǒng)。下一步的工作是搭建相機實驗平臺，著力于該方法硬件實現(xiàn)，特別是相位相關法的快速運算。

References)

[1]李曉云, 杜偉. 星載TDICCD 相機像移對成像質量的影響分析[J]. 航天器工程, 2011, 20(3):51-55

Li Xiaoyun, Du Wei. Analysis of image motion effect on satellite tdiccd camera image quality[J]. Spacecraft Engineering, 2011, 20(3):51-55 (in Chinese)

[2]陳榮利，李英才，樊學武. TDICCD相機像質綜合評價研究[J].航天返回與遙感，2003, 24(4):10-13

Chen Rongli, Li Yingcai, Fan Xuewu. Investigation on synthetically evaluating image quality of TDI-CCD cameras[J]. Spacecraft Recovery & Remote Sensing, 2003, 24(4):10-13 (in Chinese)

[3]Sylvie R, Loic J, Bernard Rouge, et al. Satellite attitude instability effects on stereo images[J].IEEE International Conference on Acoustics Speech and Signal Processing, 2004,9(4):477-480

[4]徐鵬,黃長寧,王涌天. 衛(wèi)星振動對成像質量影響的仿真分析[J]. 宇航學報, 2003, 24(3):256-263

Xu Peng, Huang Changning, Wang Yongtian. Modulation transfer function in push-broom camera limits resulting from mechanical vibration[J]. Journal of Astronautics, 2003, 24(3):256-263 (in Chinese)

[5]周虎. 航天光學遙感器抖動補償方法研究[D]. 北京：中國空間技術研究院，2008

Zhou hu.Studies on jitter compensation methods of space optical remote sensor[D]. Beijing：China Academy of Space Technology，2008 (in Chinese)

[6]葛任偉,吳清文,王運. 基于聯(lián)合變換相關器的像移測量方法研究[J]. 計算機仿真，2010, 27(3):215-219

Ge Renwei, Wu Qingwen,Wang Yun. The study of image motion measurement based on joint transform correlator[J]. Computer Simulation, 2010, 27(3):215-219 (in Chinese)

[7]樊超，李英才，易紅偉. 顫振對TDICCD相機像質的影響分析[J]. 光子學報，2007，36(9)：1714-1717.

Fan Chao, Li Yingcai, Yi Hongwei. Influence analysis of buffeting on image quality of TDICCD camera[J]. Acta Photonica Sinica, 2007, 36(9):1714-1717 (in Chinese)

[8]王彩玲，程勇，趙春霞. 局部相位相關用于圖像亞像素級配準技術研究[J]. 中國圖象圖形學報, 2011, 16(3): 427-432

Wang Cailing, Cheng Yong, Zhao Chunxia. Robust subpixel image registration technique based on local phase correlation[J]. Journal of Image and Graphics, 2011, 16(3): 427-432 (in Chinese)

[9]Smith J O. Mathematics of the discrete fourier transform[M]. Stanford: CCRMA, 2002: 145-179

[10]景泉. 敏捷衛(wèi)星偏流角計算模型研究[J] . 航天器工程, 2012, 21(4):16-20

Jing Quan. Research on computation model of bias angle for agile satellite[J]. Spacecraft Engineering, 2011, 20(3):51-55 (in Chinese)

[11]陳躍庭,徐之海,李奇. 低曝光量下投影算法的穩(wěn)健性研究[J]. 光學學報, 2007, 27(2):238-242

Chen Yueting, Xu Zhihai,Li Qi. Robustness of projection algorithm for uder-exposured images[J]. Acta Optica Sinica, 2007, 27(2):238-242 (in Chinese)

(編輯：張小琳)

TDICCD Space Camera Image Motion Measurement Based on Phase Correlation

HU Chao WANG Xiaoyong GUO Chongling

(Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China)

Obtaining image motion information during space camera imaging for real-time compensation for hardware or post-time restoration is an important means to improve resolving power of high-resolution space camera. Achieving high measurement precision of sub-pixel is always a technical problem. According to the imaging characters of high-resolution TDICCD camera, this paper proposes a method to directly measure image motion. The method uses high-speed image sensor to acquire image sequence, and then adopts phase correlation algorithm based on the local frequency sampling to determine the sub-pixel image motion curve. Matlab simulation experiments show that the method has high tolerance of image noise and grayscale change，and its measurement accuracy is better than 0.1pixel when the SNR of images is higher than 10dB.

phase correlation; TDICCD camera; high-resolution; image motion measurement; sub-pixel

2014-02-11；

：2014-05-06

胡超，男，碩士研究生，研究方向為航天光學遙感器總體設計。Email：chaohero@qq.com。

V19；TP751.1

：ADOI：10.3969/j.issn.1673-8748.2014.03.006