陶淑蘋 ，馮欽評，陳曉龍,2，鄭亮亮，張紫玉,2，高 倓,2

（1. 中國科學院長春光學精密機械與物理研究所, 吉林 長春 130033；2. 中國科學院大學, 北京 100049）

1 引 言

時間延遲積分（Time Delay and Integration，TDI）技術，通過對同一列像素信號在掃描運動的同時多次延時累加，可在低照度、快速掃描條件下，獲得高靈敏度、高空間分辨率的圖像，因此被廣泛應用于航空、航天遙感相機中。

然而傳統(tǒng)實現(xiàn)TDI 的TDI CCD 器件存在功耗大、成像控制復雜、級數(shù)不可連續(xù)調整等固有缺陷。為了解決上述問題，必須從CMOS 傳感器入手，尋求實現(xiàn)TDI 的新方式。因此，MAYE R、ERCAN、XU、NIE 等人分別提出了不同的片上TDI CMOS 設計方法[1-5]。為了擺脫器件束縛、增強靈活性，學者們進一步提出了數(shù)字域TDI CMOS[6-11]。

調制傳遞函數(shù)（Modulation Transfer Function，MTF）是遙感相機成像質量的重要評價指標之一，為了深入了解成像系統(tǒng)的傳函特性，多年來研究人員開展了大量研究工作。TDI CCD 在軌飛行成像過程中MTF 下降分析在衛(wèi)星研制領域得到廣泛研究，所采用的理論是通過像移分析TDI CCD推掃成像過程中對MTF 的影響[12-13]，但是TDI CCD 與 CMOS 在像元結構、電荷轉移、信號累加方式等各方面都存在巨大差異，TDI CCD 的傳函及像移模型并不適用于TDI CMOS 成像系統(tǒng)。

Fillfactory 公司LEPAGE G 針對提出的TDI CMOS 傳感器設計架構給出了簡單的MTF 討論分析[2]，但該方案不適合多次采樣疊加的數(shù)字域TDI CMOS 成像系統(tǒng)，也沒有考慮成像過程中有關因素對MTF 的影響。2015 年，韓國空間研究院和天津大學分別提出通過縮短曝光時間來降低運動模糊引起的TDI CMOS 傳函下降[14-15]，但降低了系統(tǒng)信噪比，且均未涉及降質模型研究。天津大學研究團隊首次基于TDI CMOS 傳感器開展了像移降質模型研究[16-18]，但只考慮了過采樣疊加和線性像移失配對MTF 的影響，未考慮傳感器快門、衛(wèi)星姿態(tài)變化、軌道運動、振動等因素的影響。

綜上，目前對于數(shù)字域TDI CMOS 相機像質下降的研究十分有限，相關研究工作主要集中在線性像移失配對MTF 影響分析層面，未系統(tǒng)深入地揭示數(shù)字域TDI 在軌動態(tài)成像過程MTF 下降因素及機理。

本文從數(shù)字域TDI 成像原理出發(fā)，結合理論建模和仿真分析，研究數(shù)字域TDI CMOS 遙感相機動態(tài)成像過程中像元結構、電子快門、曝光時間、振動對成像質量的影響，得出數(shù)字域TDI CMOS 遙感相機像質下降模型，最后結合成像實驗結果進行討論。

2 數(shù)字域TDI CMOS 成像原理

數(shù)字域TDI 是指將時間延遲積分的操作借助現(xiàn)場可編程門陣列（FPGA）、外部存儲器等在模數(shù)轉換后的面陣圖像信號上完成，這是近些年對于多模態(tài)和小型化高光譜遙感成像需求日益急迫的情況下提出的新興成像模式。

數(shù)字域TDI 算法基本原理如圖1 所示，以同列像素逐行累加為例，在推掃成像過程中，目標依次經過CMOS 像素陣列的不同像元行。在第一個行周期，利用第3 行像元（1 級像元）對目標成像。在第二個行周期，目標相對傳感器在像面移動一個像元位置，此時CMOS 像素陣列第2 行像元（二級像元）與上一幀圖像的第3 行圖像恰好對應同一目標，兩信號累加后進入下一級積分。依次類推，直到第M個行周期，第M級像元信號與前面共M-1級像元對同一目標的信號累加后，輸出積分信號。

圖1 數(shù)字域TDI 算法原理圖Fig. 1 Schematic diagram of TDI algorithm in digital domain

根據(jù)上述描述，數(shù)字域TDI 成像基本原理與TDI CCD 并無區(qū)別，都要求在掃描成像過程中每個行周期目標投影在像面恰好移動一個像元位置的距離。但同時也存在明顯差異，即數(shù)字域TDI 成像M級積分經過了CMOS 傳感器M次快門曝光以及M次信號重采樣。

3 數(shù)字域TDI CMOS 系統(tǒng)傳函模型

數(shù)字域TDI CMOS 遙感相機成像過程中MTF將受到多種因素的影響。將干擾因素分解為相對獨立的離散單因子，包括目標、光學系統(tǒng)、大氣、離焦、像移、CMOS 像元結構、快門、曝光時間、采樣累加方式、級數(shù)、位姿（軌道、姿態(tài)角）變化、振動。最終，數(shù)字圖像的調制度可近似描述為各環(huán)節(jié)調制傳遞函數(shù)的乘積。因為目標、大氣、光學系統(tǒng)、離焦、線性像移失配這些環(huán)節(jié)與TDI CCD 成像系統(tǒng)一致，而且其研究已經相對成熟，因此本文選擇異于TDI CCD 遙感相機的其他幾個關鍵因素進行分析。

3.1 像元結構對MTF 的影響分析

在CMOS 有源像素傳感器(APS)陣列中，每個像元由2 個功能部分組成：一部分為發(fā)生光電效應的有效區(qū)域，稱為光敏元；另一部分是用于將收集的電荷讀出的控制電路。顯然，APS 像元的填充因子小于100%。文獻[12-13]等在分析CCD動態(tài)傳函時未考慮孔闌的影響，是因為CCD 的填充因子接近100%，但CMOS APS 與CCD 不同，在分析CMOS 圖像傳感器的動態(tài)傳函時還必須考慮孔闌影響。

如圖2 所示，定義垂軌方向為x軸，沿軌方向為y軸。以L形有效區(qū)域像元結構為例，圖中P代表像元尺寸，ai（i=1,2）代表垂軌方向的像元有效獲取尺寸，Ai（i=1,2）代表沿軌方向的像元有效獲取尺寸，灰色區(qū)域對光不敏感。

圖2 “L”形有效區(qū)域像元結構圖Fig. 2 Pixel structure of 'L' shaped effective area

對于輻射強度為I(x,y)的目標場景，經過探測器光電感應輸出電信號可表示為：

式中，h(x,y)為CMOS 傳感器脈沖響應函數(shù)。通常情況下對其進行傅立葉變換即可得到傳感器的MTF。為便于分析，首先計算得到單方向單個矩形的脈沖響應傳函：

然后通過將“L”形分解為2 個矩形，得到由于孔闌特性曲線產生的MTF：

式中， α為垂軌方向權重， β為沿軌方向權重，ai,am為 垂軌方向的像元有效獲取尺寸，Ai,Am為沿軌方向的像元有效獲取尺寸。

利用式（3）在同一像元尺寸下分別選取0.85、0.65、0.5 三種開口率，得到不同開口率下MTF 曲線如圖3（彩圖見期刊電子版）所示。

圖3 不同開口率下TDI CMOS 的MTF 曲線Fig. 3 MTF curves of TDI CMOS at different opening rates

分析圖3 可知，CMOS 傳感器像元對傳函的影響與像元感光區(qū)域直接相關，且開口率越小對數(shù)字域TDI 成像影響越大。

3.2 電子快門對MTF 的影響分析

CMOS 傳感器的電子快門分為卷簾和同步快門兩種，同步快門的所有像素同時曝光，一幀曝光結束后再讀出，卷簾快門一幀圖像的曝光時間均不相同，同步曝光與分時曝光對靜止目標成像不會存在差異，但是對于必然存在像移運動的TDI成像來講，必須要考慮非同時曝光對圖像傳函的影響[19]。CMOS 電子快門對數(shù)字域TDI 成像的影響可通過計算卷簾快門引起的像移傳函得到。

為簡化分析，假設卷簾快門方向與掃描運動方向相反，且不存在偏流誤差，即目標景物在傳感器像面投影只有沿卷簾快門反方向的速度分量。假設P為視場內目標景物點，在推掃成像過程中，P與S的幾何投影關系如圖4 所示。

圖4 運動目標點在傳感器投影成像為線Fig. 4 The moving target point is imaged as a line in the projection of the sensor

以Pk(px,py)表示第k幀正常圖像目標點對應的成像點位置，其對應失真圖像的成像點位置表示為Sk(sx,sy)。根據(jù)卷簾快門工作原理可知，失真圖像的每個掃描行在曝光時間的某一特定時刻采樣，以kT+Sy表 示第k 幀圖像像素點Sk=(sx,sy)的采樣時刻?？梢酝茖С鲈谝粋€行周期內，由卷簾快門產生的幀內和幀間像移分別為：

式中，T為行轉移周期，Trbt為行空白時間，Npix為每行圖像像元數(shù)，frd為 像元讀出頻率，Tint為行轉移周期內實際曝光時間，且曝光時間不大于行轉移周期，Tfrm,roll為幀同期。

分析上式可得：當在[(k-1)T+sy1,kT+sy2]時間間隔內，若vy(t)=0，則Sk2 與Sk-11仍位于同一掃描行，此時不存在幀間幾何失真，因此在應用中應通過合理采樣設計消除幀間像移。但幀內失真不可避免，該像移會引起MTF 下降，M級積分其Nyquist 頻率處的RS 傳函為：

采用某遙感相機在軌標稱成像參數(shù)進行分析。該相機像元尺寸為4.25 μm，在軌標稱行轉移時間為128 μm，在8 級和16 級積分級數(shù)下，計算得到不同像素讀出頻率（對應于不同卷簾快門速度）下MTF 曲線如圖5（彩圖見期刊電子版）所示。

圖5 不同RS 速度和級數(shù)下的MTF 曲線Fig. 5 MTF curves at different RS speeds and stages

觀察圖5 可知，卷簾快門效應引起的像移會對數(shù)字域TDI 算法帶來較大的影響，尤其在卷簾速度較慢或積分級數(shù)較高時影響更為突出。但只要運動速度確定，就可以計算出卷簾快門引起的像移影響，甚至可進一步對失真圖像進行校正。

3.3 曝光時間、振動對MTF 的影響分析

與TDI CCD 不同，數(shù)字域TDI CMOS 成像系統(tǒng)的曝光時間可獨立于行周期進行單獨設置。而運動對像元模糊和TDI 成像的影響均與曝光時間息息相關，因此對于數(shù)字域TDI CMOS 成像系統(tǒng)需重新構建與運動有關的像移傳函模型。

將像移分為垂軌橫向像移和沿軌縱向像移兩類?？紤]偏流角為引起橫向像移的主要因素，單個積分周期內產生的橫向像移失配量 Δd可以根據(jù)曝光時間和偏流角等參數(shù)算出：

式中，vP為沿掃描方向的像移速度，θ 為偏流角。

根據(jù)數(shù)字域TDI 采樣累加原理可以得到橫向像移過程的退化函數(shù)為：

由公式(8)可知，偏流角或積分級數(shù)大，會引起退化函數(shù)擴散，即傳遞性能變差。因此在積分掃描成像，尤其是在高積分級數(shù)情況下，必須保證偏流角補償控制精度。如果偏流補償欠佳，則應該盡量采用小級數(shù)成像，避免橫向像移導致的圖像質量退化。

暫不考慮卷簾快門產生的像移影響，M級數(shù)字域TDI 積分的縱向像移速度匹配殘余誤差引起的退化函數(shù)為：

式中 ε為縱向像移匹配殘差，其定義如式（10）所示。式中ve為數(shù)字域TDI CMOS 的平均行轉移速度。

在成像過程中除了上述整體像移匹配殘差外，平臺或單機振動還會引起遙感相機像移速度矢分布場變化，進而引入信息采樣不規(guī)則性和空間變化的像元運動模糊，影響TDI 成像質量。

為了便于分析又不失一般性，采用正弦運動組合來表征形式復雜的振動，像移與正弦運動關系如圖6 所示，得到M 級積分的振動像移為：

圖6 像移與正弦運動關系圖Fig. 6 Relationship between image motion and sinusoidal motion

式中，Al為第l個振動成分的幅值，fl為第l個振動成分的振動頻率， φk,l為第l個振動成分在第k個積分周期的初始相位，Tint為單次曝光時間，T為行轉移周期。

根據(jù)運動頻率與行轉移時間的相對關系，可將振動分為低頻和高頻兩種，因為在積分時間內低頻運動的幅頻變化幾乎為零，因此可將低頻運動近似視為線性運動。公式（9）的像移失配即可視為頻率為零的一種特殊振動，此時可按照常規(guī)線性像移失配計算其對MTF 的影響。

式中，fC為 特征頻率，fN為乃歸斯特頻率。

假設歸一化振動幅值為0.2，采用前述遙感相機的成像參數(shù)不變，在16 級積分條件下設置不同曝光時間和振動頻率，基于像移傳函模型計算得到Nyquist 頻率處MTF 值，其與振動頻率、曝光時間的關系如圖7（彩圖見期刊電子版）所示。觀察圖7 可以看出，曝光時間越短，傳函越高，尤其在低頻運動下表現(xiàn)越明顯，但曝光時間同樣會影響圖像信噪比。因此，在實際應用中應結合兩個指標要求選擇合理的曝光時間。另外，可以看到，低頻運動下不同曝光時間對應的MTF 存在較大的不同，即低頻運動對圖像傳函的非規(guī)則性影響較大，但在高頻運動下則規(guī)律一致，此時的MTF是時空移不變的。

圖7 MTF 與振動頻率及曝光時間的關系圖Fig. 7 Relationship between MTF, vibration frequency and exposure time

4 實驗及結果分析

為了驗證MTF 理論模型的效果，分別開展數(shù)字域TDI CMOS 仿真及成像實驗。

仿真實驗選取扇形靶標圖像作為樣本，根據(jù)幾何投影關系、感光原理和數(shù)字域TDI 算法生成不同開口率的積分圖像，如圖8 所示。然后采用刃邊法測試圖像MTF 曲線，得到圖9（彩圖見期刊電子版）結果?？梢钥闯觯瑐鞲衅鏖_口率越?。从行裨獏^(qū)域越?。┇@取圖像的MTF 下降越嚴重，與圖3 理論分析結論吻合。

圖8 不同開口率下扇形靶標仿真圖像：從左到右的開口率分別為0.8、0.5、0.3Fig. 8 Simulation images of the sector target under different aperture ratios: 0.8, 0.5 and 0.3 (from left to right)

圖9 圖8 中各圖像的MTF 曲線Fig. 9 MTF of images in figure 8

為了驗證卷簾快門效應和曝光時間對TDI成像的影響，設計卷簾數(shù)字TDI CMOS 成像系統(tǒng)，并開展成像實驗。將相機固定于二維調整架后安裝于水平運動轉臺上，整個成像過程保持轉臺速度不變。為滿足幀間像移匹配，設置行周期為200 μs，通過調整時鐘頻率設置行讀出時間分別為6 μs、10 μs，即對應于不同的卷簾速度。8 級積分圖像如圖10 所示，可以看出，卷簾速度降低后圖像幾何失真加重。刃邊法計算2 幅圖像的奈奎斯特頻率處MTF 分別為0.191、0.177。結果表明卷簾快門速度越快MTF 下降越小，驗證了圖5理論分析結果。

圖10 行讀出時間分別為（a）6 μs；（b）10 μs 時不同卷簾速度的TDI 圖像Fig. 10 TDI images with different rolling shutter speeds.(a) 6 μs; (b) 10 μs

保持轉臺速度和行周期不變，調整二維調整架使相機傾斜一定角度（實驗中選取角度大約為5°），在此條件下對目標水平推掃成像。分別設置單次曝光時間為100、140 和180 μs，采用16 級積分對同一目標成像，得到不同曝光時間下的數(shù)字域TDI 圖像如圖11 所示。由圖11 可知，在存在偏流角失配情況下，隨著曝光時間減小，圖像邊緣逐漸清晰，但層次感減弱。計算3 幅圖像的MTF 和信噪比，結果如表1 所示?？梢钥闯隹s短曝光時間對圖像MTF 有利，但信噪比卻降低，與圖7 理論分析結果吻合。

圖11 不同曝光時間的TDI 圖像：曝光時間（從上到下）分別為100、140、180 μsFig. 11 TDI images with different exposure times. 100,140 and 180 μs (from top to bottom)

表1 圖像MTF 和SNR 測試結果Tab.1 The MTF and SNR test results of images

5 結 論

論文針對數(shù)字域TDI CMOS 遙感相機動態(tài)MTF 分析需求，介紹了數(shù)字域TDI CMOS 成像原理，開展了像元、電子快門、曝光時間、振動對數(shù)字域TDI CMOS 成像的影響分析，推導了上述各因素下的MTF 數(shù)學模型，并對其影響進行預估分析。構建的MTF 模型表明：傳感器有效像元區(qū)域分布會影響圖像MTF，且開口率越小影響越大；CMOS傳感器的卷簾快門會導致數(shù)字域TDI 成像MTF下降，卷簾速度越慢影響越嚴重；曝光時間越短則MTF 越高，尤其存在低頻像移失配時更為明顯。為了驗證構建的理論模型分別開展了計算機仿真及成像實驗。實驗結果與理論分析規(guī)律一致，驗證了MTF 模型的正確性。