趙麗婷 黃剛 林喆

?

空間遙感相機星上圖像復原系統(tǒng)設計

趙麗婷1,2黃剛1林喆1

（1 北京空間機電研究所，北京 100094）（2 先進光學遙感技術北京市重點實驗室，北京 100094）

為了能夠在軌、實時對空間遙感圖像做增強處理，設計了一個基于現(xiàn)場可編程門陣列（FPGA），應用于空間遙感相機的星上實時圖像復原系統(tǒng)，實現(xiàn)在軌實時處理遙感圖像，增強圖像清晰度并有效抑制噪聲。圖像復原系統(tǒng)采用模塊化設計，調制傳遞函數(shù)（MTF）在軌測量計算模塊實現(xiàn)了邊緣擴展函數(shù)計算、線擴展函數(shù)計算、歸一化MTF計算，以及調制傳遞函數(shù)補償（MTFC）參數(shù)計算與存儲等功能；MTFC圖像濾波抑噪算法模塊實現(xiàn)了二維圖像實時濾波以及抑制噪聲功能。使用ISE軟件的系統(tǒng)生成器模塊設計了圖像處理算法，簡化了系統(tǒng)設計和驗證流程。復原系統(tǒng)運行結果表明，圖像經過實時復原處理后，圖像灰度梯度、點銳度、邊緣能量、方差都有大幅提高；復原后圖像信噪比與原始圖像相比降低很小，對于MTF的中高頻域增強。圖像復原系統(tǒng)采用模塊化設計，實時復原效果好，可靈活應用于多種場合。

星上實時 圖像復原系統(tǒng) 現(xiàn)場可編程門陣列 空間相機 航天遙感

0 引言

目前，國內遙感圖像因傳輸帶寬限制，回傳地面前一般要進行3∶1~8∶1的有損壓縮，地面解壓圖像存在一定程度的失真，影響圖像增強處理。因此，需要在軌數(shù)字濾波處理，有助于提升零級圖像品質且實時性高。對圖像進行調制傳遞函數(shù)補償（MTFC），可使成像系統(tǒng)調制傳遞函數(shù)（MTF）得到提升，提高成像性能。文獻[1]介紹了美國商業(yè)衛(wèi)星Ikonos-2應用邊緣地物法在軌測量MTF，使MTF從0.03提高至0.17；文獻[2]將MTFC技術應用于商用衛(wèi)星OrbView-3，在軌MTF從0.1提高到0.15。

常用MTF在軌測量方法有：點源法、邊緣地物法、線性地物測量法及高分辨圖像對比法[3]。點源法已成功應用于部分空間遙感相機，但因其點擴散函數(shù)（PSF）同時受光學器件以及大氣環(huán)境的影響，在軌測量噪聲大，復原效果有限[4]；邊緣地物法要求選擇足夠長且?guī)б欢ɑ叶确床畹牡匚镞吘?，計算量小、易實現(xiàn)[1-2,5-6]；線性地物法在實際應用中需要根據(jù)線性地物的寬度選擇計算寬度，依賴一定的人工經驗，難以實現(xiàn)自動化[7-9]；高分辨率圖像法要求地表景物信息多樣化，高低兩個分辨率傳感器波段一致且圖像同步，很多遙感相機難以滿足此要求[3]。綜合考慮，獲取MTF的方法越復雜、條件越苛刻，星上實時獲取就越難以實現(xiàn)。

對退化圖像進行復原最常用的方法是約束復原方法，包括約束最小二乘濾波、維納濾波、迭代算法、小波域算法、逆濾波反卷積算法等。這些方法通常已知各退化過程的精確MTF曲線，根據(jù)曲線擬合并構造MTF矩陣。約束最小二乘濾波法、維納濾波法未解決星載計算機實時處理問題[10-12]，其MTFC曲線形狀需靠經驗優(yōu)化；迭代算法依靠大量迭代步驟，有時甚至需要上百次迭代才能獲得較好復原效果，降低了運算的實時性與有效性[13-14]；小波域算法復原效果好，但計算結構復雜，對超過1Gbit圖像需進行傅里葉變換、反變換和變換域乘積處理，運算量大，嚴重制約系統(tǒng)的處理速度，實時性較差[15-16]；逆濾波反卷積算法在復原效果和復原速度方面有較大優(yōu)勢，適用于星載計算機實現(xiàn)[17-19]。

鑒于上述原因，本文構建了一種星上實時圖像復原系統(tǒng)，使用刀刃邊緣法在軌測量MTF，然后使用MTFC濾波抑噪方法對實時圖像做復原處理。與現(xiàn)有的地面MTFC技術相比，能夠克服有損壓縮圖像復原信息損失、實時性差、運算量大、復原精度有限的問題，實現(xiàn)在軌實時處理遙感圖像；能夠大幅提高成像品質，有效抑制噪聲。

1 星上實時圖像復原系統(tǒng)的設計

本文設計的星上實時圖像復原系統(tǒng)包含MTF在軌測量計算模塊和MTFC圖像濾波抑噪算法模塊。MTF在軌測量計算模塊包含邊緣擴展函數(shù)計算模塊、線擴展函數(shù)計算模塊、歸一化MTF函數(shù)計算模塊；MTFC圖像濾波抑噪算法模塊包含MTFC數(shù)字濾波器系數(shù)計算存儲模塊、圖像數(shù)據(jù)邊界處理模塊、行向圖像數(shù)字濾波模塊、行向濾波圖像抑噪模塊、兩向間濾波圖像處理模塊、列向圖像數(shù)字濾波模塊、列向濾波圖像抑噪模塊、復原后圖像處理模塊，系統(tǒng)結構如圖1所示。

首先，圖像數(shù)據(jù)存儲模塊接收、存儲遙感相機CCD焦面電路輸出的原始圖像數(shù)據(jù)；再將原始圖像數(shù)據(jù)輸出至邊緣擴展函數(shù)（ESF）計算模塊和圖像數(shù)據(jù)邊界處理模塊；邊緣擴展函數(shù)計算模塊使用原始圖像數(shù)據(jù)計算得到邊緣擴展函數(shù)；線擴展函數(shù)（LSF）計算模塊使用邊緣擴展函數(shù)計算模塊輸出結果計算LSF；歸一化MTF函數(shù)計算模塊使用ESF計算得到相機系統(tǒng)MTF序列曲線；MTFC數(shù)字濾波器系數(shù)計算存儲模塊使用MTF計算、存儲并輸出行向、列向數(shù)字濾波器系數(shù)；圖像數(shù)據(jù)邊界處理模塊對原始圖像數(shù)據(jù)以及兩向間濾波圖像處理模塊輸出數(shù)據(jù)做邊界處理；行向圖像數(shù)字濾波模塊使用行向數(shù)字濾波器系數(shù)對邊界處理后的數(shù)據(jù)進行濾波；行向濾波圖像抑噪模塊對行向濾波后數(shù)據(jù)做抑噪處理；兩向間濾波圖像處理模塊存儲、處理并輸出行向濾波抑噪后圖像數(shù)據(jù)給圖像數(shù)據(jù)邊界處理模塊和復原后圖像處理模塊；列向圖像數(shù)字濾波模塊對邊界處理模塊輸出的圖像數(shù)據(jù)做列向濾波處理；列向濾波圖像抑噪模塊對列向濾波后數(shù)據(jù)做抑噪處理，處理后數(shù)據(jù)存入復原后圖像處理模塊；復原后圖像處理模塊處理完行、列兩向圖像數(shù)據(jù)信息后輸出復原后圖像。

FPGA作為圖像處理芯片，本文選用XILINX公司Virtex-4系列的FPGA芯片，時鐘頻率40MHz。

圖1 星上實時圖像復原系統(tǒng)結構

1.1 MTF在軌測量計算模塊設計

1.1.1 邊緣擴展函數(shù)計算模塊

模塊計算步驟如下：

式中,表示像元點行、列向坐標；D,j為像元點（,）處的像元灰度值。

表1 邊緣圖像灰度分布序列

Tab.1 Gray value distribution sequence for edge image

1.1.2 線擴展函數(shù)計算模塊

計算步驟如下：

2）對步驟1）的結果數(shù)據(jù)進行插值。實驗論證選取插值分辨率0.2，即在每兩個數(shù)據(jù)點之間插入5個間隔數(shù)據(jù)點，插值結果為該行ESF離散曲線。

3）對各行ESF離散曲線求平均，以降低噪聲。經以上三步計算得到ESF平均曲線（如圖2所示）。

圖2 原始邊緣曲線與ESF曲線分布

圖3 線擴展函數(shù)LSF曲線

圖4 MTF曲線序列

1.1.3 歸一化MTF函數(shù)計算模塊

計算步驟如下：

圖5 圖像退化模型

1.1.4 MTFC數(shù)字濾波器系數(shù)計算存儲模塊

針對引起圖像退化的原因建立退化模型，并根據(jù)模型得到退化前的圖像，即圖像復原。MTFC圖像復原是在頻域下對退化模型進行補償，得到近似的退化前的圖像。計算步驟如下：

經實驗分析計算，MTFC=[0.00342，–0.03101，–0.09399，–0.16016，1.5625，–0.16016，–0.09399，–0.031006，0.00342]；在軌計算機的運算量未超硬件限制；水平（線陣）方向和垂直（推掃）方向分開做復原運算；MTFC真值在計算機上按16bit存儲，第1位為符號位，第2~4位為整數(shù)位，第5~16位為小數(shù)位；存入可編程只讀存儲器（PROM）。

1.2 MTFC圖像濾波抑噪算法模塊設計

1.2.1 圖像數(shù)據(jù)邊界處理模塊

原始圖像數(shù)據(jù)邊界處理SG模塊設計。邊界處理模塊使用選擇器和計數(shù)器邏輯，成功實現(xiàn)在軌實時對像元數(shù)據(jù)流做邊界鏡像處理，且不影響相機像元數(shù)據(jù)流速度。

步驟如下：

按上述步驟對原始圖像線陣數(shù)據(jù)每行的頭尾像元數(shù)據(jù)作對稱處理后，得到有對稱鏡像邊界的圖像數(shù)據(jù)，用于和MTFC序列做卷積運算。

1.2.2 行（列）向圖像數(shù)字濾波模塊

行（列）向圖像數(shù)字濾波模塊接收來自MTFC數(shù)字濾波器系數(shù)計算存儲模塊獲得的行（列）卷積參數(shù)，對圖像數(shù)據(jù)進行行方向卷積運算，并輸出給行向濾波圖像抑噪模塊；兩向疊加算法為：

1.2.3 行（列）向濾波圖像抑噪模塊

單卷積運算后圖像信噪比下降嚴重，因此需要進行抑噪處理，確定一種計算量小、抑噪效果好、對圖像銳化程度影響小的算法；復原圖像像元鄰近區(qū)域的信息是否豐富決定MTF是否全額補償。對于判斷結果高于抑噪閾值的像元（即該像元圖像信息較豐富，濾波后無法被噪聲淹沒），采用MTF全額補償；對判斷結果低于抑噪閾值的像元（即該像元圖像信息較少，濾波后圖像信息被噪聲淹沒），采用MTF半額補償。

行（列）向濾波圖像抑噪模塊接收來自行（列）向圖像數(shù)字濾波模塊計算后的圖像數(shù)據(jù)，進行抑噪處理，輸出處理后圖像數(shù)據(jù)，抑噪閾值參數(shù)存儲在PROM中為正整數(shù)，范圍為[1,1024]，用16bit存儲。

1.2.4 兩向間濾波圖像處理模塊

遙感圖像線陣CCD數(shù)據(jù)為串行數(shù)據(jù)，按行依次輸出；列向圖像數(shù)字濾波操作同時需要11列數(shù)據(jù)做運算；兩向間濾波圖像處理模塊將行向濾波處理和抑噪處理后的圖像數(shù)據(jù)存儲到塊隨機存儲器（Block RAM）中，以進行列方向數(shù)據(jù)處理；整合、對齊后，按時間順序就近存儲11列像元數(shù)據(jù)，然后傳輸至列向圖像數(shù)字濾波模塊，做列向疊加濾波處理，從而實現(xiàn)兩向濾波抑噪模塊同時對串行圖像行數(shù)據(jù)做處理，保證輸出至復原后圖像處理模塊的圖像數(shù)據(jù)流的速率與輸出至圖像處理存儲模塊的速率相同，滿足在軌實時圖像數(shù)據(jù)處理的要求。

系統(tǒng)軟硬件功能測試用例使用Matlab的M文件編寫，計算機仿真程序對原始圖像做MTFC復原算法處理的復原后圖像，與硬件系統(tǒng)MTFC算法打開后復原圖像作對比計算，確定系統(tǒng)實現(xiàn)的算法精度。

2 圖像系統(tǒng)驗證結果

本文實驗計算的MTFC復原濾波器幅頻響應曲線如圖6所示；經濾波器補償后，相機分系統(tǒng)全鏈路的MTF曲線形狀提升如圖7所示。

圖6 MTFC補償濾波器幅頻響應曲線

圖7 MTF提升曲線

對全色圖像中某塊較均勻區(qū)域進行仿真，復原前圖像信噪比為43.976dB，不抑噪復原后信噪比下降了7.000dB，下降為36.976dB；抑噪復原后，信噪比為43.974dB，下降0.002dB。

無損圖像復原結果如圖8所示；將原始圖像做4∶1的有損壓縮后，使用相同復原算法對圖像做處理，復原效果如圖9所示；原始圖像和有損圖像及相對應的復原后圖像客觀評價如表2所示。復原結果表明：無損圖像經過實時復原處理后，圖像灰度梯度提高131%，點銳度提高47%；邊緣能量（分別使用行、列向算子對圖像做卷積后再取平方和）提高260%，方差提高9%；復原后圖像信噪比與原始圖像信噪比相比降低很小，硬件實現(xiàn)結果與理論計算結果相差<5%，復原算法開啟后信噪比下降<1dB。對比兩套圖像復原結果可知，有損壓縮圖像的復原結果比無損圖像復原結果差。

圖8 圖像復原結果評價

圖9 有損壓縮圖像復原結果評價

表2 原始圖像及其復原后圖像客觀評價

Tab.2 The objective evaluation for original and recovery images

3 結論

本文設計的星上實時圖像復原系統(tǒng)與現(xiàn)有技術相比，有如下優(yōu)點：使用MTFC圖像濾波抑噪算法模塊；在軌實時對原始圖像數(shù)據(jù)做復原處理，為星上其他數(shù)據(jù)系統(tǒng)和地面使用者提供像質更清晰、細節(jié)更豐富的圖像；在空間域做MTFC濾波補償處理克服了頻域處理速度低的問題，可實現(xiàn)MTFC在軌實時快速運算；在軌測量相機系統(tǒng)MTF，針對MTF退化曲線特征，在保證原始圖像信噪比未受較大影響的條件下，增強圖像灰度梯度、點銳度、邊緣對比度，針對MTF中高頻域做增強處理；添加MTFC圖像濾波抑噪算法模塊，使復原后圖像信噪比與原始圖像信噪比相比降低很小。相比有損壓縮的圖像，對未壓縮的圖像做圖像復原處理能夠獲得更豐富的圖像信息。因此，本文設計的基于FPGA的遙感相機星上實時圖像復原系統(tǒng)實時復原效果好，可靈活應用于多種場合。

[1] CHOI T. IKONOS Satelfite on Orbit Modulation Transfer Function(MTF) Measurement Using Edge and Pulse Method[Z]. A Thesis Submitted in Partial Fulfillment of the Requirements for the Master of Science Major in Engineering South Dakota State University, 2002.

[2] KOHM K. Modulation Tansfer Function Measurement Method and Results for the Orbview-3 High Resultion Imaging Satellite[C]. Proceedings of ISPRS 2004. Istanbul, Turkey, Julyl 2-23, 2004.

[3] 顧行發(fā), 李小英, 閔祥軍, 等. CBERS-02衛(wèi)星CCD相機MTF在軌測量及圖像MTF補償[J]. 中國科學E輯信息科學, 2005, 35(增刊): 26-40. GU Xingfa, LI Xiaoying, MIN Xiangjun, et al. CBERS-02 Satellite CCD Camera MTF On-Orbit Measurement and MTF Compensation[J]. Science in China Ser.E Information Sciences, 2005, 35(suppl): 26-40. (in Chinese)

[4] DU H, VOSS K J. Effects of Point-spread Function on Calibration and Radiometric Accuracy of CCD Camera[J]. Applied Optics, 2004, 43(3): 665-670.

[5] 孟偉, 金龍旭, 李國寧, 等. 調制傳遞函數(shù)在遙感圖像復原中的應用[J]. 紅外與激光工程, 2014, 43(5): 1690-1696. MENG wei, JIN Longxu, LI Guoning, et al. Application of MTF in Remote Sensing Image Restoration[J]. Infrared and Laser Engineering, 2014, 43(5): 1690-1696. (in Chinese)

[6] 吳昀昭, 宮鵬. “北京一號”小衛(wèi)星MTF 在軌測量與圖像復原[J]. 遙感應用, 2007, 40(4): 49-53. WU Junzhao, GONG peng. On-orbit MTF Estimation and Restoration of Beijing-1 Images[J].Remote Sensing Application, 2007, 40(4): 49-53. (in Chinese)

[7] SCHOWENGERDT R A, ARCHWAMCTY C, WRIGLEY R C. Landsat Thematic Mapper Image-derived MTF[J]. Photogrammetric Engineering and Remote Sensing, 1985, 51(9): 1395-1406.

[8] RUIZ C P. LOPEZ F J A. Restoring SPOT Images Using PSF-derived Deconvolution Filters[J]. International Journal of Remote Sensing, 2002, 23(12): 2379-2391.

[9] 汪暢, 顧行發(fā), 余濤, 等. 資源三號衛(wèi)星在軌MTF測量與圖像復原[J]. 計算機工程, 2014, 40(4): 237-246. WANG Chang, GU Xingfa, YU Tao, et al. On-orbit MTF Measurement and Image Restoration for ZY-3 Satellite[J]. Computer Engineering, 2014, 40(4): 237-246. (in Chinese)

[10] 周楠, 齊文雯, 曹世翔, 等. 基于空域的自適應MTFC遙感圖像復原算法[J]. 航天返回與遙感, 2015, 36(4): 104-109. (in Chinese) ZHOU Nan, QI Wenwen, CAO Shixiang, et al. Adaptive MTFC Restoration Algorathm of Remote Sensing Images Based on Spatial Domain[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(4): 104-109. (in Chinese)

[11] 張朋, 劉團結, 王宏琦. 線陣CCD相機MTF的系統(tǒng)模型估計法與圖像復原[J]. 光學技術, 2009, 35(3): 394-398. ZHANG Peng, LIU Tuanjie, WANG Hongqi. MTF Estimation Based on System Model for Linear CCD Camera and Image Recovery[J]. Optical, Technique, 2009, 35(3): 394-398. (in Chinese)

[12] 柴雅瓊, 馮鐘葵, 齊東楷, 等. 改進的MTF遙感影像復原算法研究[J]. 遙感應用, 2012(1): 78-83. CHAI Yaqiong, FENG Zhongkui, QI Dongkai, et al. An Improved MTFC Restoration Algorithm for Remote Sensing Image[J]. Remote Sensing Application, 2012(1): 78-83. (in Chinese)

[13] 賀小軍, 金光, 楊秀彬, 等. 星載相機軌道末期成像模型及圖像復原算法[J]. 測繪學報, 2010, 39(6): 579-584. HE Xiaojun, JIN Guang, YANG Xiubin, et al. Imageing Model and Image Recovering Algorithms of Spaceborne Camera In the End of Orbit Life[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(6): 579-584. (in Chinese)

[14] 謝冰, 焦斌亮. 基于航天TDICCD相機像移分析的PSF估計及圖像復原算法研究[J]. 宇航學報, 2010, 31(3): 936-940. XIE Bing, JIAO Binliang. The PSF Estimation Method and Image Restoration Algorithm Based on Image-Motion Analysis of Spaceborne TDICCD Camera[J]. Journal of Astronautics, 2010, 31(3): 936-940. (in Chinese)

[15] 陳奮, 趙忠明. 遙感影像反卷積復原處理[J]. 數(shù)據(jù)采集與處理, 2008, 23(2): 168-175. CHEN Fen, ZHAO Zhongming. Deconvolution of Remote Sensing Images[J]. Journal of Data Acquisition and Processing, 2008, 23(2): 168-175. (in Chinese)

[16] 智喜洋, 張偉, 侯晴宇, 等. 基于空不變圖像復原的光學遙感成像系統(tǒng)優(yōu)化[J]. 光學精密工程, 2013, 23(5): 1490-1497. ZHI Xiyang, ZHANG Wei, HOU Qingyu, et al. Optimization for Optical Remote Sensing Imaging System Based on Space-invariant Image Restoration[J]. Optics and Precision Engineering, 2013, 23(5): 1490-1497. (in Chinese)

[17] 洪漢玉, 張?zhí)煨? 基于多分辨率盲目去卷積的氣動光學效應退化圖像復原算法[J]. 計算機學報, 2004, 27(7): 952-962. HONG Hanyu, ZHANG Tianxu. Investigation of Restoration Algorithm for Degraded Imaged Caused by Aero-optics Effects Using Multi-resolution Blind Deconvolution[J]. Chinese Journal of Computers, 2004, 27(7): 952-962. (in Chinese)

[18] 李盛陽, 朱重光. DMC衛(wèi)星圖像MTF分析及其復原方法研究[J]. 遙感學報, 2005, 9(4): 475-479. LI Shengyang, ZHU Chongguang. DMC Satellite Image MTF Analysis and Restoration Method Research[J]. Journal of Remote Sensing, 2005, 9(4): 475-479. (in Chinese)

[19] 陳強, 戴奇燕, 夏德深. 基于MTF理論的遙感圖像復原[J]. 中國圖象圖形學報, 2005, 11(9): 1299-1305. CHEN Qiang, DAI Jiyan, XIA Deshen. Restoration of Remote Sensing Images Based on MTF Theory[J]. Journal of Image and Graphics, 2005, 11(9): 1299-1305. (in Chinese)

[20] 王先華, 喬延利, 洪津. 遙感圖像恢復與遙感器MTF在軌檢測技術[J]. 遙感技術與應用, 2006, 21(5): 440-444. WANG Xianhua, QIAO Yanli, HONG Jin. A Technique of RS Image Restoration and In-flight Measurement of Remote Sensor MTF[J]. Remote Sensing Technology and Application, 2006, 21(5): 440-444. (in Chinese)

（編輯：夏淑密）

A Real-time Digital Image Restoration System Design of Space Remote Sensing Camera

ZHAO Liting1,2HUANG Gang1LIN Zhe1

（1 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（2Beijing Key Laboratory of Advanced Optical Remote Sensing Technology, Beijing 100094, China）

In order to process space remote sensing images on orbit in real time, a real-time digital image restoration system for space camera was designed based on field programmable gate array (FPGA) in the paper, which can enhance image definition and suppress the noise effectively. Modular design was adopted in the system. The modulation transfer function (MTF) measurement and calculation module on-orbit has the function of calculating many characteristics, such as the edge spread function (ESF), line spread function (LSF), ESF difference operation, normalization MTF and MTFC parameters. The modulation transfer function (MTFC) image filtering and noise suppression module has the function of filtering and effectively suppressing the noise. The system generator software in ISE was used to design the image processing algorithms, thus simplifying the design structure of system and the process redesign. The real-time processing results of the restoration system showed that the gray gradient, dot sharpness, edge energy and variance all had a huge increase after restoration process, the signal to noise ratio (SNR) of the recovered image was very close to the SNR of original image. Especially the SNR was dramatically enhanced at medium-high frequency of image. The designed image restoration system can be widely used in various fields with better restoration effect.

real-time on-orbit; image restoration system; field programmable gate array; space camera; space remote sensing

TP79

A

1009-8518(2017)06-0074-09

10.3969/j.issn.1009-8518.2017.06.009

趙麗婷，女，1986年生，2011年獲北京航空航天大學導航制導與控制專業(yè)碩士學位，工程師。研究方向為電機FPGA控制、星上圖像處理FPGA設計。E-mail：403812355@qq.com。

2017-07-02