劉揚(yáng)陽， 呂群波,*， 譚政， 裴琳琳， 李偉艷， 王建威

(1. 中國科學(xué)院光電研究院中國科學(xué)院計(jì)算光學(xué)成像技術(shù)重點(diǎn)實(shí)驗(yàn)室， 北京 100094; 2. 中國科學(xué)院大學(xué)光電學(xué)院， 北京 100049)

面向未來智能衛(wèi)星發(fā)展的國家重大戰(zhàn)略需求，為實(shí)現(xiàn)有效載荷具備上載軟件在軌定義多功能、軟件可控多功能、參數(shù)可重構(gòu)的軟件定義微納衛(wèi)星需求，將重點(diǎn)圍繞計(jì)算光學(xué)、認(rèn)知成像、最優(yōu)控制、強(qiáng)化學(xué)習(xí)、智能控制等基礎(chǔ)科學(xué)和應(yīng)用科學(xué)問題，突破軟件一體化、綜合化、人機(jī)交互功能擴(kuò)展化定義等新體制衛(wèi)星載荷設(shè)計(jì)和研制的關(guān)鍵技術(shù)瓶頸，需要突破傳統(tǒng)衛(wèi)星平臺和傳統(tǒng)光學(xué)相機(jī)的設(shè)計(jì)局限，開展基于微納衛(wèi)星的軟件定義下新型計(jì)算光學(xué)成像載荷技術(shù)研究。

基于微納衛(wèi)星的軟件定義下新型計(jì)算光學(xué)成像載荷技術(shù)研究，需要充分考慮有效載荷的軟件和硬件兩者之間聯(lián)合設(shè)計(jì)可能存在的發(fā)展空間，分析軟硬件系統(tǒng)中各個參數(shù)對成像質(zhì)量的影響。根據(jù)各個影響因素的物理機(jī)制分別建立物理模型和誤差模型，作為重建方法的先驗(yàn)信息，將這些有利于超分辨技術(shù)的先驗(yàn)信息約束應(yīng)用于相機(jī)設(shè)計(jì)過程，使得相機(jī)獲取的圖像可以很好地匹配超分辨方法，該方法可以同時(shí)提升視覺分辨率和實(shí)質(zhì)分辨率，同時(shí)保持對噪聲的抑制能力，并有可能降低傳統(tǒng)相機(jī)的結(jié)構(gòu)尺寸和研制難度。

1 軟件定義下新型計(jì)算光學(xué)成像載荷的光學(xué)結(jié)構(gòu)設(shè)計(jì)

針對微小衛(wèi)星的平臺約束，基于已有的相關(guān)理論研究和仿真驗(yàn)證工作基礎(chǔ)，重點(diǎn)研究基于成像鏈路影響約束的數(shù)字超分辨方法、高動態(tài)范圍成像方法，配合衛(wèi)星的成像模式設(shè)計(jì)，通過軟件的靈活動態(tài)配置，實(shí)現(xiàn)最優(yōu)成像效果。設(shè)計(jì)方案如圖1所示。

根據(jù)技術(shù)要求的規(guī)定，本文中可見光相機(jī)采用推掃成像的方式獲取地面目標(biāo)的圖像，如圖2所示。若采用傳統(tǒng)單臺相機(jī)實(shí)現(xiàn)9 m地面分辨率，則光學(xué)系統(tǒng)焦距長，整體結(jié)構(gòu)尺寸龐大，質(zhì)量較大。若采用超分辨成像的原理，利用較短焦距相機(jī)對目標(biāo)成像，經(jīng)后期數(shù)據(jù)處理實(shí)現(xiàn)3 m的地面分辨率，將大大降低對光學(xué)系統(tǒng)的設(shè)計(jì)指標(biāo)要求，單個相機(jī)光學(xué)系統(tǒng)更加簡潔，體積質(zhì)量下降。

軟件定義下新型計(jì)算光學(xué)成像載荷的光學(xué)系統(tǒng)方案的選擇主要考慮在高空間分辨率情況下，對相機(jī)的尺寸有約束，需要選擇結(jié)構(gòu)緊湊、體積小的方案。

系統(tǒng)要求空間分辨率在500 km高度達(dá)到9 m分辨，探測器像元數(shù)為2 560×2 048，像元大小為5 μm，則光學(xué)系統(tǒng)的總焦距為

圖1 軟件定義多模式計(jì)算光學(xué)成像技術(shù)的設(shè)計(jì)方案Fig.1 Design scheme of software-defined multi-mode computational optical imaging technology

圖2 相機(jī)推掃成像模式Fig.2 Camera push-scanning imaging mode

(1)

為了滿足光學(xué)系統(tǒng)能量需求，并考慮到光學(xué)系統(tǒng)口徑的設(shè)計(jì)余量，最終選定光學(xué)系統(tǒng)F#=5。對應(yīng)光學(xué)系統(tǒng)設(shè)計(jì)視場角為

--2θ=2arctan([(2 560×0.005)2+

(2)

分析本文中光學(xué)系統(tǒng)的技術(shù)指標(biāo)，該系統(tǒng)屬于中等焦距、中等視場、中等相對孔徑系統(tǒng)。顯然，由于系統(tǒng)焦距要求不高，采用透射式光學(xué)系統(tǒng)作為本文光學(xué)系統(tǒng)的基本結(jié)構(gòu)。本文的波長范圍為可見光到近紅外，在這個范圍內(nèi)，國內(nèi)的光學(xué)玻璃制造工藝優(yōu)良，運(yùn)用到透射式光學(xué)結(jié)構(gòu)中，能夠很好地實(shí)現(xiàn)系統(tǒng)的光學(xué)性能。

最終設(shè)計(jì)結(jié)果如圖3所示。透鏡光學(xué)系統(tǒng)結(jié)構(gòu)總長為298 mm，第1個曲面透鏡的通光口徑為56 mm?？紤]系統(tǒng)工程應(yīng)用的實(shí)用性，在光學(xué)系統(tǒng)最前方放置偏振片/濾光片，其通光口徑為62 mm。

光學(xué)系統(tǒng)設(shè)計(jì)完成后對其成像質(zhì)量進(jìn)行評價(jià)。評價(jià)光學(xué)系統(tǒng)的成像質(zhì)量主要考慮點(diǎn)列圖、調(diào)制傳遞函數(shù)(MTF)。本文設(shè)計(jì)的全色點(diǎn)列圖及MTF曲線如圖4所示。

圖3 光學(xué)設(shè)計(jì)結(jié)果Fig.3 Optical design results

圖4 鏡頭點(diǎn)列圖成像質(zhì)量評價(jià)結(jié)果Fig.4 Quality evaluation results of lens point image

從圖4可知，光線經(jīng)過光學(xué)系統(tǒng)后形成的彌散斑的均方根RMS直徑均小于5 μm，控制在一個像元以內(nèi)，像質(zhì)良好。從全色MTF曲線可以看出，由于系統(tǒng)相對孔徑較大，系統(tǒng)整體的調(diào)制傳遞函數(shù)較高，在對應(yīng)奈奎斯特頻率100 lp/mm(lp為線對，是光學(xué)質(zhì)量評估中的常用單位，由探測器的像素大小應(yīng)對而來，1 000/(2×pixel)lp/mm=100 lp/mm)處的衍射極限，滿足使用要求，成像質(zhì)量良好，如圖5所示。

在衛(wèi)星平臺上，為增大幅寬，采用9臺相同相機(jī)按照光學(xué)要求進(jìn)行拼接，結(jié)構(gòu)形式如圖6所示。

9臺相機(jī)以中間相機(jī)為基準(zhǔn)，其余每臺與中間基準(zhǔn)相機(jī)按照不同角度拼裝在平臺上，達(dá)到增大幅寬的目的。

每臺相機(jī)主要由相機(jī)支架、主鏡組件、次鏡組件、碳纖維支撐筒、校正鏡組件、電控箱組件等部分組成，如圖7所示。

2009年，馬來西亞ATSB公司借美國“獵鷹”火箭發(fā)射的RazakSAT中型衛(wèi)星，其成像載荷黑白分辨率約2.5 m×425 km，整個衛(wèi)星重達(dá)190 kg，成像載荷主鏡孔徑為300 mm，載荷長度為755 mm。2011年發(fā)射的英國Surry Satellite Technology 公司的NigeriaSat-2衛(wèi)星，可見光成像載荷分辨率為2.5 m×700 km，主鏡孔徑為385 mm，載荷長度為1 000 mm，整星重達(dá)270 kg。本文設(shè)計(jì)的透鏡光學(xué)系統(tǒng)結(jié)構(gòu)總長為298 mm，通光口徑為62 mm，單機(jī)將可以控制質(zhì)量小于2 kg，考慮到對整機(jī)的幅寬要求，整機(jī)相機(jī)按照光學(xué)要求進(jìn)行單機(jī)3×3形式拼接，則整機(jī)也控制在20 kg以下，x、y方向大小小于200 mm，z方向長度小于310 mm。在圖像分辨率幾乎相等的情況下，本文設(shè)計(jì)的相機(jī)相比RazakSAT衛(wèi)星載荷和NigeriaSat-2衛(wèi)星載荷，其光學(xué)、結(jié)構(gòu)等分系統(tǒng)的研制難度大大降低。

圖7 單臺相機(jī)的三維結(jié)構(gòu)構(gòu)型Fig.7 Configuration of three-dimensional structure of single camera

2 新型計(jì)算光學(xué)成像載荷的數(shù)學(xué)處理設(shè)計(jì)

2.1 軟件數(shù)字超分辨技術(shù)

目前的數(shù)字超分辨技術(shù)只考慮多幀數(shù)據(jù)間的信息冗余，以及成像過程中的圖像降質(zhì)，并沒有對相機(jī)本身的成像特性進(jìn)行算法約束和功能約束，也沒有考慮過載荷的軟件和硬件兩者之間聯(lián)合設(shè)計(jì)可能存在的發(fā)展空間，以及可以拓展的星載平臺與載荷總量和兩者彼此的性能聯(lián)合設(shè)計(jì)的優(yōu)勢，導(dǎo)致實(shí)際應(yīng)用效果不佳。

通過多次重采樣解除混疊，提高分辨率的思想最早起源于20世紀(jì)60年代提出的頻譜外推理論[1-2]，之后在1984年應(yīng)用到圖像處理領(lǐng)域[3]，經(jīng)國內(nèi)外學(xué)者30多年的研究已發(fā)展出了多種方法，主要可分為頻域法和空域法2類。頻域法以傅里葉域內(nèi)插值法[4]和差值重建法[5]為代表?？沼蚍ㄒ缘赐队胺╗6]、凸集投影法[7-9]、最大后驗(yàn)概率估計(jì)(MAP)法[10-11]、變分貝葉斯法[12]、Tikhonov正則化法[13]等為代表，多基于統(tǒng)計(jì)或集合的理論，具有較高的精度，但是該方法多以凸優(yōu)化為研究目標(biāo)，解算模型復(fù)雜，包含大規(guī)模的矩陣運(yùn)算。

根據(jù)先期的研究，相機(jī)本身的成像特性對智能超分辨技術(shù)有較大影響，需要將該因素作為相機(jī)設(shè)計(jì)的約束，從而真正實(shí)現(xiàn)超分辨應(yīng)用。智能超分辨技術(shù)原理如圖8所示。相比較頻域法而言，空域法多基于統(tǒng)計(jì)或集合的理論，具有較高的精度，其中變分貝葉斯法將配準(zhǔn)參數(shù)建模為高斯分布以提高亞像元估計(jì)精度，再將先驗(yàn)信息建模為L1范數(shù)模型[14]或全變分模型[12,15]，在一步迭代中對建模涉及的所有變量進(jìn)行求解，一定程度上阻止了誤差的傳播，獲得了較好的超分辨率重建效果。

超分辨重建屬于數(shù)學(xué)上的反問題，可以概括為“還原真相，倒果求因”。病態(tài)性和解的不穩(wěn)定性是反問題的重要屬性。要獲得效果更好的高分辨率影像，就需要充分挖掘和利用多幀低分辨率影像之間的冗余信息、光學(xué)系統(tǒng)參數(shù)信息、探測器參數(shù)信息、噪聲信息、成像環(huán)境信息，建立成像過程的全鏈路模型，同時(shí)提高影像的分辨率、信噪比、對比度。

要重建高分辨率影像，需研究反問題理論，解決圖像重建問題的病態(tài)性，而相比地面成像系統(tǒng)，遙感成像由于大氣衰減的作用，其病態(tài)性更強(qiáng)。為獲得盡量逼近于真解的結(jié)果，就要充分分析亞像元信息、衛(wèi)星平臺參數(shù)、光學(xué)系統(tǒng)參數(shù)、探測器參數(shù)、噪聲、大氣對超分辨率重建的影響，根據(jù)各個影響因素的物理機(jī)制分別建立物理模型和誤差模型，作為重建方法的先驗(yàn)信息，并提取圖像本身的光流信息對解空間加以約束，實(shí)現(xiàn)全局優(yōu)化，消弱病態(tài)性對求解的穩(wěn)定性和收斂性影響。

圖8 智能超分辨技術(shù)原理Fig.8 Principle of intelligent super-resolution technology

超分辨率重建的過程如圖9所示。高分辨率圖像指具有較高分辨率、滿足奈奎斯特采樣準(zhǔn)則的采樣得到的數(shù)字圖像。旋轉(zhuǎn)平移指現(xiàn)實(shí)圖像相對于成像系統(tǒng)探測器平面產(chǎn)生了相對運(yùn)動，可以用運(yùn)動函數(shù)Mk來表示。降晰指經(jīng)過位移以后的圖像又經(jīng)過了模糊降質(zhì)，可用模糊函數(shù)Bk來表示。下采樣指物體發(fā)出的光線在圖像傳感器單元上進(jìn)行光電轉(zhuǎn)化，然后將電信號進(jìn)行采樣輸出得到低分辨率圖像，用下采樣函數(shù)Dk來表示。

因此，圖像退化的數(shù)學(xué)模型可表示為

yk=DkBkMkx+nkk=1,2,…,K

(3)

式中：yk為第k幅低分辨率圖像；x為原始高分辨率圖像；nk為加性噪聲。

由式(3)可以看出，圖像重建就是指利用Dk、Bk、Mk的先驗(yàn)知識及假設(shè)條件從同一場景的K幅低分辨率退化圖像序列中恢復(fù)高分辨率圖像的逆過程。重建過程可分為3個環(huán)節(jié)：①對低分辨率圖像組進(jìn)行運(yùn)動匹配，估計(jì)運(yùn)動函數(shù)Mk；②降晰辨識，估計(jì)模糊函數(shù)Bk；③復(fù)原算法，在以上兩步的基礎(chǔ)上，復(fù)原高分辨率圖像。

圖9 智能超分辨技術(shù)軟件定義設(shè)計(jì)思路Fig.9 Software-defined design idea for intelligent super-resolution technology

2.2 粗略重建與精細(xì)重建

在超分辨重建方法上，為獲得高精度的重建結(jié)果，首先，在地面通過測量獲得成像系統(tǒng)的全視場的點(diǎn)擴(kuò)散函數(shù)作為光學(xué)模糊的先驗(yàn)信息，并將該信息代入到粗略重建和精細(xì)重建中；其次，將粗略重建結(jié)果作為精細(xì)重建迭代的初始值，提高精細(xì)重建的計(jì)算精度和收斂效率；最后，由于圖像配準(zhǔn)結(jié)果對超分辨重建精度影響較大，在精細(xì)重建中采用SURF法和光流法雙匹配、互校驗(yàn)的方式來提高圖像序列的配準(zhǔn)精度。

粗略重建中采用了次全局最優(yōu)的重建方法，其算法流程如圖10所示。首先，對相機(jī)所獲得的低分辨率圖像進(jìn)行預(yù)處理，包括灰度修正、畸變矯正等；然后，采用頻域相關(guān)或特征提取的方法對多幅低分辨率圖像進(jìn)行運(yùn)動估計(jì)和圖像配準(zhǔn)，得到亞像元級的位移信息；最后，將多幅低分辨率圖像映射到高分辨率的網(wǎng)格上，采用非均勻插值的方法進(jìn)行圖像融合，融合后的圖像再利用成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)等先驗(yàn)知識進(jìn)行圖像復(fù)原，得到最終的高分辨率圖像。

圖10 粗略重建算法流程Fig.10 Flowchart of rough reconstruction algorithm

精細(xì)重建采用全局最優(yōu)的重建方法，其算法流程如圖11所示。精細(xì)重建的算法需充分分析成像過程的物理機(jī)制及成像系統(tǒng)的性能參數(shù)，形成有效的先驗(yàn)信息，并根據(jù)成像的物理約束總結(jié)出各個參數(shù)變量的上邊界和下邊界，對下采樣矩陣、模糊矩陣、運(yùn)動矩陣、噪聲矩陣分別進(jìn)行建模，通過反復(fù)迭代對噪聲參數(shù)、位移參數(shù)、模糊函數(shù)進(jìn)行辨識，用一組與成像方程相鄰近的適定問題的解去逼近原問題的真解，使病態(tài)問題盡可能良態(tài)化，從而實(shí)現(xiàn)更為精確的亞像元級的融合和估計(jì)，得到更為高分辨率的復(fù)原圖像。

智能超分辨技術(shù)軟件定義算法的結(jié)果如圖12～圖14所示。圖12為采用常規(guī)電視鑒別率靶標(biāo)中的局部圖進(jìn)行智能超分辨技術(shù)軟件定義算法的仿真比對。圖13為采用某幅星載相機(jī)對地某海港處的觀測圖進(jìn)行智能超分辨技術(shù)軟件定義算法的仿真比對。圖14為采用CX6-02星載相機(jī)對地嵩山靶標(biāo)場觀測圖進(jìn)行智能超分辨技術(shù)軟件定義算法的仿真比對。

圖11 精細(xì)重建算法流程Fig.11 Flowchart of fine reconstruction algorithm

圖12 智能超分辨技術(shù)軟件定義算法仿真結(jié)果1Fig.12 Simulation result 1 of intelligent super-resolution technology software-defined algorithm

2.3 軟件數(shù)字動態(tài)范圍增強(qiáng)技術(shù)

遙感相機(jī)通常采用高性能的CCD實(shí)現(xiàn)高動態(tài)范圍成像，但是仍存在動態(tài)范圍不足的問題，而且高性能探測器的價(jià)格昂貴。隨著CMOS技術(shù)的快速發(fā)展，其較高的性能和低廉的價(jià)格，使其在諸多的低成本遙感衛(wèi)星中得到應(yīng)用。但是選擇CMOS探測器，其動態(tài)范圍要低于CCD。新型計(jì)算光學(xué)成像載荷研究為了保證大部分性能適用于軟件定義微納衛(wèi)星，同樣選取CMOS型探測器，也存在成像動態(tài)范圍受限的技術(shù)難點(diǎn)。在高動態(tài)范圍成像方面，目前常規(guī)采用硬件方法，基于硅基液晶(LCOS)自反饋調(diào)整，增強(qiáng)數(shù)字動態(tài)范圍，可以實(shí)現(xiàn)120 dB的高動態(tài)范圍清晰成像。

新型計(jì)算光學(xué)成像載荷的數(shù)學(xué)處理設(shè)計(jì)重點(diǎn)開展基于軟件定義的CMOS的高動態(tài)范圍成像技術(shù)，輔助多幀圖像疊加，并契合在超分辨率算法中，突破數(shù)字動態(tài)范圍增強(qiáng)技術(shù)，實(shí)現(xiàn)超過高性能CCD的高動態(tài)范圍清晰成像能力。

基于軟件定義的CMOS的高動態(tài)范圍成像技術(shù)仿真結(jié)果圖像如圖15所示。

圖13 智能超分辨技術(shù)軟件定義算法仿真結(jié)果2Fig.13 Simulation result 2 of intelligent super-resolution technology software-defined algorithm

圖14 智能超分辨技術(shù)軟件定義算法仿真結(jié)果3Fig.14 Simulation result 3 of intelligent super-resolution technology software-defined algorithm

圖15 基于軟件定義的CMOS的高動態(tài)范圍成像技術(shù)仿真結(jié)果Fig.15 Simulation results of high dynamic range imaging technology based on software-defined CMOS

3 結(jié) 論

微納衛(wèi)星以造價(jià)低、周期短、發(fā)射靈活、容易組成星座完成大衛(wèi)星難以實(shí)現(xiàn)的任務(wù)等優(yōu)點(diǎn)成為遙感領(lǐng)域技術(shù)創(chuàng)新方向，這就要求載荷的發(fā)展要實(shí)現(xiàn)小型輕量化。而長期以來，高分辨率與大口徑、長焦距、高重量、長周期、高成本是遙感成像技術(shù)設(shè)計(jì)界難以回避的矛盾，為了不犧牲分辨率就必須要改變傳統(tǒng)思路，發(fā)展新型的成像技術(shù)。

經(jīng)過多年對計(jì)算光學(xué)成像技術(shù)的探索，筆者項(xiàng)目組對病態(tài)問題的求解具有了一定的經(jīng)驗(yàn)積累和技術(shù)儲備，并且已在實(shí)驗(yàn)室實(shí)現(xiàn)了超分辨率重建的次全局最優(yōu)，通過軟件定義下新型計(jì)算光學(xué)成像載荷技術(shù)的研究，預(yù)期實(shí)現(xiàn)集超分辨成像、動態(tài)范圍增強(qiáng)成像、視頻成像等軟件智能可控的多種成像處理模式于一體的通用型計(jì)算光學(xué)成像相機(jī)研制，能夠在保證高幾何分辨率前提下減小光學(xué)系統(tǒng)體積和質(zhì)量，縮短載荷的研制周期，降低研制成本。能夠較為全面地摸清超分辨率重建應(yīng)用于航天遙感需要面臨的問題，并攻克相關(guān)技術(shù)，其研究成果可實(shí)現(xiàn)高分辨率航天載荷的輕量化，縮短載荷的研制周期，降低研制成本，與微納衛(wèi)星結(jié)合可以很方便地組成高分辨率成像星群或星座，將對航天產(chǎn)業(yè)提供的靈活性和增值空間，為航天技術(shù)研究與快速創(chuàng)新提供一種可行的方案。為中國未來智能衛(wèi)星的發(fā)展奠定有力的科技支撐。