周楠 齊文雯 曹世翔 何紅艷 邢坤 岳春宇
(北京空間機(jī)電研究所,北京 100094)
“高分二號(hào)”(GF-2)衛(wèi)星是我國(guó)自主研發(fā)的首顆空間分辨率優(yōu)于1m的民用光學(xué)遙感衛(wèi)星。為了滿足輕小型高分辨率相機(jī)的研制要求,采用小相對(duì)孔徑(大F數(shù))相機(jī)系統(tǒng)設(shè)計(jì);同時(shí),遙感圖像成像過程中,受到大氣環(huán)境、光學(xué)系統(tǒng)、探測(cè)器、平臺(tái)運(yùn)動(dòng)和電路等因素的影響[1-3],導(dǎo)致調(diào)制傳遞函數(shù)(modulation transfer function,MTF)的下降,引起圖像品質(zhì)退化。因此,為了使相機(jī)圖像更加完美地展現(xiàn)出亞米級(jí)的優(yōu)勢(shì),GF-2衛(wèi)星從天地一體化設(shè)計(jì)角度出發(fā),確定采用地面調(diào)制傳遞函數(shù)補(bǔ)償法(modulation transfer function compensation,MTFC)的方式對(duì)退化后的圖像進(jìn)行復(fù)原。
圖像復(fù)原就是去除或者減輕圖像獲取過程中發(fā)生的像質(zhì)退化,使圖像趨向于沒有退化的理想圖像。由于圖像退化的原因可能有很多種,如光電傳感器的非線性、物體與攝像機(jī)間的相對(duì)運(yùn)動(dòng)、大氣的擾動(dòng)等,因此根據(jù)不同的退化原因,出現(xiàn)了很多種圖像復(fù)原方法,如逆濾波[4-6](去卷積)、維納濾波[7]、約束最小平方濾波[8]等。
國(guó)外的MTFC技術(shù)較成熟,美國(guó)研制的亞米級(jí)商業(yè)遙感衛(wèi)星,包括IKONOS、QuickBird-2、OrbView-3和GeoEye-1等都成功地應(yīng)用了地面MTFC技術(shù),圖像品質(zhì)得到顯著提升。國(guó)內(nèi)也開展了MTFC技術(shù)的相關(guān)研究,文獻(xiàn)[9]基于MTF理論的遙感圖像復(fù)原研究,提出了一種基于MTF理論的圖像復(fù)原方法,該方法主要包括去噪和 MTF拉伸兩部分,針對(duì)遙感圖像的特點(diǎn),提出了一種基于頻域的去噪方法;為了能夠調(diào)節(jié)頻譜拉伸的程度,還給出了一種指數(shù)調(diào)節(jié)曲線的方法。文獻(xiàn)[10]針對(duì)遙感圖像在成像與傳輸過程中的退化而導(dǎo)致的圖像模糊與噪聲干擾,提出了一種基于 MTF估算與總變分優(yōu)化的圖像恢復(fù)方法。文獻(xiàn)[11]針對(duì) TDI-CCD成像數(shù)據(jù)的特點(diǎn),從遙感圖像中獲取刃邊來計(jì)算成像系統(tǒng)的 MTF,采用維納濾波法對(duì)退化圖像進(jìn)行MTF補(bǔ)償處理。
MTFC在提升系統(tǒng)MTF的同時(shí),必然導(dǎo)致圖像信噪比(signal to noise ratio,SNR)下降。目前MTFC研究主要集中于MTF曲線獲取和構(gòu)造MTF補(bǔ)償曲線,但是對(duì)于如何精確計(jì)算MTFC卷積核和噪聲抑制研究甚少。鑒于此,本文提出一種MTFC復(fù)原算法,即根據(jù)實(shí)驗(yàn)室實(shí)測(cè)的MTF值以及用戶的需求確定相機(jī)不同頻率處 MTF的補(bǔ)償值,依據(jù)有限長(zhǎng)脈沖響應(yīng)原理,計(jì)算獲取一維卷積系數(shù);在此基礎(chǔ)上,精確構(gòu)造二維卷積核對(duì)圖像進(jìn)行卷積處理。卷積處理時(shí)以實(shí)驗(yàn)室實(shí)測(cè)的相機(jī)不同成像參數(shù)下不同灰度的SNR信息和不同的景物內(nèi)容為約束進(jìn)行自適應(yīng)抑噪,在提升圖像MTF的同時(shí)保證圖像的SNR。
假定 (,)fxy為原目標(biāo)圖像[12-13], (,)gxy為觀察到的退化圖像,則
式中 (,)hxy為點(diǎn)擴(kuò)散函數(shù);符號(hào)*表示卷積。
式(1)表示原圖像通過與相應(yīng)的點(diǎn)擴(kuò)散函數(shù)作卷積而得到退化圖像的的過程。對(duì)式(1)兩邊同時(shí)作傅里葉變換則得到
式中 (,)Guv為 (,)gxy的傅里葉變換; (,)Fuv為 (,)fxy的傅里葉變換; (,)Huv為 (,)hxy的傅里葉變換,它的值為復(fù)數(shù),可以表示成
式中 |(,)Huv|是幅值;φ為相位。若對(duì)幅值做歸一化,使得零頻率的幅值為 1,則歸一化的幅值為MTF,即
式中 k為 (,)Huv在零頻率的幅值。由式(2)~(4)得
假定MTF在作用于 (,)Fuv時(shí),其與頻譜中心為圓心的等半徑圓上的MTF值相同,則可以將式(5)簡(jiǎn)化為
上面的圖像品質(zhì)退化過程是假定沒有噪聲的理想情況。實(shí)際成像過程中,噪聲的引入是不可避免的,假定噪聲圖像為 (,)bxy,則式(1)應(yīng)改寫為
相應(yīng)地由式(7)可得
式中 (,)Buv為 (,)bxy的傅里葉變換。
式(6)可改寫為
式(9)為最終的圖像品質(zhì)退化公式。
自適應(yīng)空域MTFC復(fù)原算法流程如圖1所示。
圖1 自適應(yīng)空域MTFC圖像復(fù)原算法流程Fig.1 Adaptive MTFC image restoration algorithm flow
復(fù)原算法步驟:
1)根據(jù)實(shí)驗(yàn)室實(shí)測(cè)得到的相機(jī)不同頻率處的MTF值以及用戶需求確定的MTF補(bǔ)償值,構(gòu)建一維有限長(zhǎng)脈沖響應(yīng),計(jì)算一維卷積系數(shù);
2)利用步驟1)得到的一維卷積系數(shù),構(gòu)造二維卷積核;
3)利用實(shí)驗(yàn)室實(shí)測(cè)的相機(jī)不同成像參數(shù)下確定的不同灰度的SNR信息,計(jì)算抑噪查找表系數(shù);
4)利用步驟3)得到的抑噪查找表系數(shù),計(jì)算抑噪閾值;
5)對(duì)待復(fù)原的圖像進(jìn)行卷積處理,卷積處理時(shí)利用步驟4)得到的抑噪閾值以及景物內(nèi)容進(jìn)行自適應(yīng)抑噪處理。
卷積系數(shù)的構(gòu)建對(duì)于MTFC復(fù)原算法至關(guān)重要,如何精確快速的計(jì)算卷積系數(shù)是本文研究的重點(diǎn)之一。本文采用實(shí)驗(yàn)室實(shí)測(cè)的相機(jī)不同頻率的 MTF值,構(gòu)建有限長(zhǎng)脈沖響應(yīng),計(jì)算濾波系數(shù),較傳統(tǒng)的利用傅里葉方法更加簡(jiǎn)潔精確、快速,可以針對(duì)不同頻率進(jìn)行精確補(bǔ)償。
2.1.1 一維卷積系數(shù)
一維卷積系數(shù)的計(jì)算根據(jù)相機(jī)不同頻率處實(shí)驗(yàn)室測(cè)得的靜態(tài) MTF值以及用戶需求確定的不同頻率處MTF的補(bǔ)償值構(gòu)造一維有限長(zhǎng)脈沖響應(yīng)[14-15]。
式中 ()Xn為一維卷積系數(shù),是中心對(duì)稱的,其長(zhǎng)度本文取11(注:濾波系數(shù)的長(zhǎng)度影響處理效果。根據(jù)計(jì)算資源和處理時(shí)間要求,實(shí)際情況應(yīng)綜合考慮選擇濾波系數(shù)長(zhǎng)度);取N為正整數(shù);為不同頻率處的MTF補(bǔ)償值。
2.1.2 二維卷積核
利用步驟2.1.1節(jié)得到的一維卷積系數(shù) ()Xn構(gòu)造二維卷積核 (,)Xij, (,)Xij為一個(gè)N×N的正方形矩陣且滿足中心對(duì)稱和軸對(duì)稱,其中i,j的取值范圍分別為中不同的卷積系數(shù)的個(gè)數(shù)為,1/2象限的二維頻域響應(yīng)函數(shù)可表示為:
圖像進(jìn)行MTFC復(fù)原時(shí),在提升圖像清晰度的同時(shí)必然導(dǎo)致信噪比下降。因此,如何把噪聲抑制在較低的水平也是本文算法研究的重點(diǎn)之一。算法在進(jìn)行抑噪處理時(shí)引入實(shí)驗(yàn)室實(shí)測(cè)的相機(jī)不同成像參數(shù)下確定的不同灰度值的SNR信息作為抑噪的約束。該方法克服了傳統(tǒng)抑噪方法的盲目性,在提升圖像清晰度的同時(shí)有效保證圖像SNR。
式(12)所示為算法采用的抑噪基本原理:
式中 s0為原始圖像灰度值;s1為直接利用二維卷積核卷積處理后結(jié)果值;s2為進(jìn)行抑噪處理后的結(jié)果值;K為抑噪閾值。當(dāng)K gt;1時(shí),判斷結(jié)果高于抑噪閾值的像元(即該像元附近高頻信息較豐富),此時(shí)作全額補(bǔ)償(此種情況下相當(dāng)于不做抑噪處理),若 K lt;1,說明判斷結(jié)果低于抑噪閾值的像元(即該像元附近高頻信息較少),只進(jìn)行適當(dāng)補(bǔ)償,即做一定程度的抑噪處理。
2.2.1 抑噪查找表
抑噪查找表的建立主要依據(jù)實(shí)驗(yàn)室實(shí)測(cè)的相機(jī)不同成像參數(shù)下確定的不同灰度值的SNR信息,建立抑噪查找表系數(shù)矩陣M,如式(13)所示,M是關(guān)于灰度值s0的函數(shù)。
式中0()Ys 為灰度值對(duì)應(yīng)的SNR,由實(shí)驗(yàn)室定標(biāo)圖像實(shí)測(cè)的至少6組不同灰度等級(jí)下的SNR值,擬合得到各個(gè)灰度值下的SNR曲線;Ymax為該組相機(jī)參數(shù)狀態(tài)下最大的SNR。
2.2.2 抑噪閾值
一般來說,平坦區(qū)域,高頻部分中噪聲所占比例較大,灰度層次豐富的區(qū)域,高頻部分中噪聲所占比例相對(duì)較小。抑噪閾值的確定與抑噪查找表和圖像灰度層次豐富程度相關(guān)。
為了驗(yàn)證本文算法的正確性與有效性,試驗(yàn)采用 GF-2衛(wèi)星全色譜段圖像,圖像經(jīng)過相對(duì)輻射校正處理。對(duì)復(fù)原后的圖像品質(zhì)的評(píng)價(jià)方法采用主、客觀評(píng)價(jià)相結(jié)合。主觀評(píng)價(jià)主要通過目視解譯的方式查看圖像的色調(diào)、紋理、邊緣等信息是否改善以及復(fù)原后圖像是否有異?,F(xiàn)象出現(xiàn)??陀^評(píng)價(jià)采用圖像均值、方差、信息熵、對(duì)比度和邊緣能量5種客觀指標(biāo)進(jìn)行對(duì)比分析。
圖2所示為采用本文MTFC算法復(fù)原后的結(jié)果圖像,從目視解譯角度可以發(fā)現(xiàn)復(fù)原后圖像并無異?,F(xiàn)象出現(xiàn),并且地物邊界、輪廓以及圖像細(xì)節(jié)更加突出,清晰度提升的同時(shí)無明顯噪聲出現(xiàn)。
圖2 采用本文MTFC算法復(fù)原結(jié)果圖像Fig.2 Restored result by using our proposed MTFC method
為了更客觀地反映圖像復(fù)原的效果,對(duì)復(fù)原前后圖像的相關(guān)指標(biāo)進(jìn)行評(píng)價(jià),如表1所示。
表1 復(fù)原前后圖像比較結(jié)果Tab.1 Comparison of the images before and after restoration
從表1可以看出,復(fù)原后:圖像均值變化很小,幾乎可以忽略,表明復(fù)原結(jié)果整體灰度值并無明顯變化;圖像的方差增大,表明復(fù)原后圖像的信息量有所增加;圖像信息熵增大,表明復(fù)原后圖像信息豐富程度提升,同樣說明信息量增加。圖像對(duì)比度顯著增大,反映復(fù)原后圖像中的微小細(xì)節(jié)與紋理信息豐富。圖像邊緣能量顯著增大,表明復(fù)原后圖像中邊緣的豐富和清晰程度增大,紋理增多。
為了充分驗(yàn)證本文算法的適應(yīng)性,針對(duì)不同地物類型的遙感圖像利用本文算法進(jìn)行驗(yàn)證試驗(yàn),如圖3~4所示。主客觀評(píng)價(jià)結(jié)果與以上結(jié)果一致。
圖3 采用本文MTFC算法復(fù)原結(jié)果圖像Fig.3 Restored result by using the proposed MTFC method
圖4 采用本文MTFC算法復(fù)原結(jié)果圖像Fig.4 Restored result by using the proposed MTFC method
為了驗(yàn)證本文算法的優(yōu)越性,選取不同類型的圖像同時(shí)采用3種方法進(jìn)行MTFC處理。方法1取自文獻(xiàn)[11],采用一種基于MTF估算與總變分優(yōu)化的圖像復(fù)原方法;方法2取自文獻(xiàn)[12],采用刃邊法計(jì)算圖像 MTF,然后采用維納濾波法對(duì)退化圖像進(jìn) MTFC處理,同時(shí)采用自適應(yīng)矩匹配方法以及自適應(yīng)中值濾波算法來過濾噪聲。圖5為不同復(fù)原算法的處理結(jié)果圖像。
圖5 采用不同復(fù)原算法復(fù)原結(jié)果圖像Fig.5 Restored results by using different recovering methods
為了客觀地反映不同算法圖像復(fù)原效果,對(duì)復(fù)原前后圖像的相關(guān)指標(biāo)進(jìn)行評(píng)價(jià),如表2所示。
從表2可以看出,本文算法與其他算法相比,提升MTF程度最大的情況下SNR下降卻最小,充分說明本文算法在有效提升圖像MTF的同時(shí),能夠有效抑制噪聲,保證圖像的SNR。本文算法復(fù)原后圖像均值變化很小,方差增大,結(jié)果與 3.1節(jié)一致。表明復(fù)原結(jié)果整體灰度值并無明顯變化,信息量有所增加。對(duì)比度顯著增大,反映復(fù)原后圖像中的微小細(xì)節(jié)與紋理信息增加。
表2 不同算法復(fù)原結(jié)果比較Tab.2 Comparison of the image restored results of different methods
本文提出一種基于空域的自適應(yīng)MTFC遙感圖像復(fù)原算法,首先根據(jù)實(shí)驗(yàn)室實(shí)測(cè)的MTF值以及用戶的需求值確定不同頻率處 MTF的補(bǔ)償值,構(gòu)建有限長(zhǎng)脈沖響應(yīng),計(jì)算卷積系數(shù),較傳統(tǒng)方法計(jì)算更加精確、簡(jiǎn)潔。同時(shí),根據(jù)實(shí)驗(yàn)室實(shí)測(cè)的相機(jī)不同成像參數(shù)下確定的不同灰度的SNR和景物內(nèi)容進(jìn)行自適應(yīng)抑噪,在提升圖像清晰度的同時(shí)保證圖像的SNR。通過試驗(yàn)驗(yàn)證本文算法的正確性和有效性。
本文算法也存在如下一些問題:
1)算法在進(jìn)行圖像復(fù)原時(shí),在推掃方向和線陣方向補(bǔ)償程度一致,這與實(shí)際情況不相符。因此,后續(xù)需改進(jìn)二維卷積核,使得不同方向補(bǔ)償程度不一樣。
2)算法并未考慮大氣湍流、平臺(tái)振動(dòng)引起的MTF下降問題,如何準(zhǔn)確計(jì)算平臺(tái)振動(dòng)和大氣湍流引起的MTF下降,從而進(jìn)行準(zhǔn)確補(bǔ)償是后續(xù)研究的重點(diǎn)。
3)文中利用圖像均值、方差、信息熵、對(duì)比度及邊緣能量來評(píng)價(jià)影像的復(fù)原品質(zhì),但他們與實(shí)際復(fù)原效果并不能準(zhǔn)確對(duì)應(yīng),并不是圖像對(duì)比度越大,圖像復(fù)原效果就越好。如何找到一個(gè)指標(biāo)準(zhǔn)確的評(píng)價(jià)圖像復(fù)原品質(zhì),是今后研究的重點(diǎn)。
References)
[1]陳世平. 景物和成像條件對(duì)遙感圖像品質(zhì)的影響[J]. 航天返回與遙感, 2010, 31(1): 1-10.CHEN Shiping. The Effects on Remote Sensing Image Quality from Scenes and Imaging Conditions[J]. Spacecraft Recovery amp; Remote Sensing, 2010, 31(1): 1-10.(in Chinese)
[2]王彪, 姜志國(guó), 趙丹培. 遙感圖像運(yùn)動(dòng)模糊恢復(fù)方法及評(píng)價(jià)標(biāo)準(zhǔn)研究[J]. 航天返回與遙感, 2009, 30(3): 18-25.WANG Biao, JIANG Zhiguo, ZHAO Danpei. Research on Technologies and Quality Evaluation for Restoring Remote Sensing Motion-blurred Image[J]. Spacecraft Recovery amp; Remote Sensing, 2009, 30(3): 18-25. (in Chinese)
[3]陳奮, 趙忠明. 遙感影像反卷積復(fù)原處理[J]. 數(shù)字采集與處理, 2008, 23(2): 168-175.CHEN Fen, ZHAO Zhongming. Deconvolution of Remote Sensing Images[J]. Journal of Data Acquisition amp; Processing, 2008,23(2): 168-175. (in Chinese)
[4]Sondhi M M. Image Restoration: The Removal of Spatially Invariant Degradations[J]. Preceedings IEEE on Special Issue on Picture Processing. 1972, 60(7): 842-853.
[5]Andrews H C, Hunt B R. Digital Image Restoration[M]. Englewood Cliffs, New Jersey. USA: Prentice-Hall, 1977.
[6]洪漢玉, 張?zhí)煨? 基于多分辨率盲目去卷積的氣動(dòng)光學(xué)效應(yīng)退化圖像復(fù)原算法[J]. 計(jì)算機(jī)學(xué)報(bào). 2004, 27(7): 952-963.HONG Hanyu, ZHANG Tianxu. Investigation of Restoration Algorithm for Degraded Images Caused by Aero-optics Effects Using Multi-resolution Blind Deconvolution[J]. Chinese Journal of Computers. 2004, 27(7): 952-963. (in Chinese)
[7]Guan L, Ward R K. Restoration of Randomly Blurred Images by the Wiener Filter[J]. IEEE Transactions on Acoustics, Speech amp; Signal Processing, 1989, 37(7): 589-592.
[8]Hunt B R. The Application of Constrained Least Squares Estimations to Image Restoration by Digital Computer[J]. IEEE Transactions on Computer, 1973, 22(9): 805-812.
[9]陳強(qiáng), 戴奇燕, 夏德深. 基于MTF理論的遙感圖像復(fù)原[J]. 中國(guó)圖像圖形學(xué)報(bào), 2006, 11(9): 1299-1305.CHEN Qiang, DAI Qiyan, XIA Deshen. Restoration of Remote Sensing Images Based on MTF Theory[J]. Journal of Image and Graphics, 2006, 11(9): 1299-1305. (in Chinese)
[10]秦世引, 魏曉明, 劉遠(yuǎn)民, 等. 模糊遙感圖像總編分優(yōu)化恢復(fù)方法[J]. 科技導(dǎo)報(bào), 2011, 29(14): 26-32.QIN Shiyin, WEI Xiaoming, LIU Yuanmin, etal. A Restoration Method of Blurred Remote Sensing Images Based on Total Variation Optimization[J]. Science amp; Technology Review, 2011, 29(14): 26-32. (in Chinese).
[11]葛平, 王密, 潘俊, 等. 高分辨率TDI-CCD成像數(shù)據(jù)的自適應(yīng)MTF圖像復(fù)原處理研究[J]. 國(guó)土資源遙感, 2010, 87(4):23-28.GE Ping, WANG Mi, PAN Jun, etal. A Study of Adaptive MTF Restoration of High Resolution TDI-CCD Image Data[J].Remote Sensing for Land amp; Resources, 2010, 87(4): 23-28. (in Chinese)
[12]岡薩雷斯. 數(shù)字圖像處理(第二版)[M]. 北京: 電子工業(yè)出版社, 2003: 75-77.Gonzales. Digital Image Processing(Second Edition) [M]. Beijing: Electronic Industry Press, 2003: 75-77. (in Chinese)
[13]劉正軍, 王長(zhǎng)耀, 駱成鳳. CBERS-1 PSF估計(jì)與圖像復(fù)原[J]. 遙感學(xué)報(bào), 2004, 2(3): 234-238.LIU Zhengjun, WANG Changyao, LUO Chengfeng. Estimation of CBERS-1 Point Spread Function and Image Restoration [J].Journal of Remote Sensing, 2004, 2(3): 234-238. (in Chinese)
[14]周凱汀, 鄭力新, 戴在平. 基于有限脈沖變換的FIR濾波器進(jìn)化設(shè)計(jì)[J]. 華僑大學(xué)學(xué)報(bào)(自然科學(xué)版), 2001, 11(1): 81-84.ZHOU Kaiting, ZHENG Lixin, DAI Zaiping. Evolutionary Design of FIR Filter Based on Finite Impulse Transform [J].Journal of Huaqiao University (Natural Science), 2001, 11(1): 81-84. (in Chinese)
[15]仝云旭, 吳保衛(wèi). 連續(xù)時(shí)間線性脈沖系統(tǒng)的有限時(shí)間濾波[J]. 計(jì)算機(jī)工程與應(yīng)用, 2014, 50(8): 48-52.TONG Yunxu, WU Baowei. Finite-time Filtering for Continue-time Linear Impulsive Systems [J]. Computer Engineering and Applications, 2014, 50(8): 48-52. (in Chinese)