邢思遠,王 超,徐 淼,李英超*,史浩東,劉 壯,付 強
(1.長春理工大學(xué)空間光電技術(shù)吉林省重點實驗室,吉林長春130022;2.中國科學(xué)院長春光學(xué)精密機械與物理研究所應(yīng)用光學(xué)國家重點實驗室,吉林長春130033;3.長春理工大學(xué)光電工程學(xué)院,吉林長春130022)
超分辨成像方法是通過成像系統(tǒng)獲得的單幀或多幀低分辨率圖像得到高分辨率圖像的一種技術(shù)[1]。在眾多超分辨成像方法中,基于信號稀疏性原理的壓縮感知算法因其優(yōu)秀的超分辨性能成為了近年的研究重點[2]。
文獻[3-4]通過引入稀疏訓(xùn)練字典的方式提升了壓縮感知在超分辨成像中的效果和性能。壓縮感知理論追求的是輸入數(shù)據(jù)量的最小化,而這個理念與超分辨成像中利用低分辨率圖像重建高分辨率圖像的理念相近,這里低分辨率圖像可以理解為被“壓縮”后的數(shù)據(jù)[5]。由于壓縮感知理論與超分辨成像理念的高度契合,使得目前大多數(shù)對于超分辨成像技術(shù)的研究都是基于壓縮感知理論的重建算法,然而卻忽略了光學(xué)系統(tǒng)本身對超分辨重建結(jié)果的影響。文獻[6]針對編碼孔徑成像光譜儀系統(tǒng)中光路多次反射引起的光軸失準問題,提出利用激光參考定位和光的折反射原理相結(jié)合的方法進行裝調(diào)。文獻[7]中針對DMD與CCD像素對準時的漏光問題、實際觀測與仿真模擬之間的誤差以及特定鏡頭對超分辨成像結(jié)果的影響3個方面進行分析,提出了特定的重建模型,從而提高了圖像重建質(zhì)量。然而,上述文獻都忽略了光學(xué)系統(tǒng)本身的誤差對超分辨成像結(jié)果的影響。本文首先建立了DMD超分辨成像光學(xué)系統(tǒng)的成像模型,設(shè)計了一個長波紅外波段的DMD超分辨成像光學(xué)系統(tǒng),然后對超分辨成像光學(xué)系統(tǒng)的成像過程進行仿真研究,并提出了裝調(diào)誤差對超分辨成像質(zhì)量影響的分析方法,在DMD成像光學(xué)系統(tǒng)的成像模型中分別引入適當(dāng)?shù)钠?、傾斜、鏡片間隔誤差、離焦等裝調(diào)誤差,對重建結(jié)果進行分析,得到了該DMD超分辨成像光學(xué)系統(tǒng)裝調(diào)時的公差范圍。
圖像模糊退化過程一般可視為一個線性空間不變的退化系統(tǒng)。退化后的圖像可表示為原始清晰圖像與模糊核函數(shù)的卷積:
式中, (x,y)表 示模糊圖像坐標(biāo),b(x,y)表示模糊圖像,i(x,y)表 示原始清晰圖像,“?”表示卷積算符,k(x,y)表 示模糊核函數(shù),n(x,y)表示加性噪聲[8]。
對于光學(xué)圖像退化過程,可認為引起圖像模糊的模糊核函數(shù)k(x,y)是光學(xué)系統(tǒng)的點擴散函數(shù)。光學(xué)模糊退化過程一般可視為一個線性空間變化的退化過程,模糊圖像可表示為:
式中,(s,t)表示原始清晰圖像的坐標(biāo),ks,t表示空間變化的點擴散函數(shù)[9]。
在仿真過程中使用原始圖像與光學(xué)系統(tǒng)的點擴散函數(shù)卷積模擬光學(xué)系統(tǒng)的成像過程,本文在仿真時,忽略了噪聲的影響,仿真流程圖如圖1所示。
圖 1 仿真流程圖Fig. 1 Simulation flow chart
仿真過程在Matlab軟件平臺上實現(xiàn),仿真過程主要包括5個步驟。
(1)將分辨率為640 pixel×512 pixel的場景與成像物鏡的點擴散函數(shù)(Point Spread Function,PSF)做卷積,模擬成像物鏡的成像過程。獲取成像物鏡的PSF時,在ZEMAX中可以直接提取所設(shè)置的9個視場的PSF矩陣,提取PSF矩陣時應(yīng)保證PSF的數(shù)據(jù)采樣間隔與探測器像元尺寸相同,DMD超分辨成像光學(xué)系統(tǒng)設(shè)置的視場如圖2所示。將所提取的9個視場的PSF按視場順序進行拼接,將PSF矩陣的中心點坐標(biāo)與視場點對應(yīng),即可獲得不同視場位置的PSF。根據(jù)所提取的9個視場的PSF,再通過插值求取未知視場的PSF,以獲取空間變化PSF。
圖 2 視場設(shè)置Fig. 2 Field of view settings
所用的方法為基于主元分析的未知視場PSF插值獲取方法,這種獲取PSF模型的基本思想是尋找一組基函數(shù),使得成像系統(tǒng)的PSF能夠在由這組基函數(shù)所組成的函數(shù)空間內(nèi)找到一個很好的近似?;谥髟治龅腜SF獲取方法包括3個步驟:①已知點PSF的表征,選取主成分分析(PCA)模型表征PSF,擬合獲取已知點的PSF主元分析模型參數(shù);②利用點插值法獲取未知點的PSF的模型參數(shù);③未知點PSF的回歸;將插值獲取的參數(shù)帶入PSF表征模型中擬合獲取未知點PSF[10]。引入裝調(diào)誤差后,各視場PSF均發(fā)生變化,重復(fù)上述步驟即可獲得引入裝調(diào)誤差后空間變化的PSF。
(2)將得到的圖像與DMD編碼模板進行疊加,對圖像進行編碼調(diào)制,通過DMD的4 pixel×4 pixel區(qū)域?qū)?yīng)長波紅外探測器的1 pixel,實現(xiàn)4倍分辨率的圖像重構(gòu),采用的編碼為隨機伯努利矩陣,首先生成16個4 pixel×4 pixel的隨機伯努利矩陣,再將其擴展平鋪為640 pixel×512 pixel的矩陣,并與卷積后的圖像進行點乘以實現(xiàn)對圖像的編碼。
(3)將編碼后的圖像與投影物鏡的PSF卷積,仿真模擬投影物鏡成像過程,投影物鏡的PSF獲取方法同上。
(4)將得到的640 pixel×512 pixel的圖像降采樣為160 pixel×128 pixel,仿真模擬低分辨率長波紅外探測器成像過程。
(5)通過復(fù)原算法將16幅分辨率為160 pixel×128 pixel的圖像重構(gòu)為640 pixel×512 pixel的圖像,實現(xiàn)4倍分辨率的圖像重構(gòu)。
采用的重構(gòu)算法為正交匹配追蹤算法(Orthogonal Matching Pursuit, OMP),采用 OMP 算法進行信號重構(gòu)時,需要從信息算子中找到能夠表示稀疏信號的一些最優(yōu)原子,使得表示信號與測量值之間的殘差最小,即不斷逼近測量值的真實支撐集[11],其詳細計算過程可以參考文獻[12]。將峰值信噪比(Peak Signal to Noise Ratio, PSNR)作為圖像的客觀評價指標(biāo)。PSNR是使用最為廣泛的一種圖像客觀評價指標(biāo),它基于對應(yīng)像素點間的誤差進行評價,一般用于最大值信號和背景噪聲之間的一個工程項目。PSNR的單位是dB,其值越大表示失真越小,PSNR低于20 dB時圖像不可接受。其計算過程為:
式中,MSE表示當(dāng)前圖像X和參考圖像Y的均方誤差(Mean Square Error),H和W分別為圖像的高度和寬度,n為每像素的比特數(shù),一般取8,即像素為256灰階。
圖3 給出了原圖和使用OMP算法重構(gòu)得到的圖像,最終重構(gòu)圖像的PSNR值為23.8302。
圖 3 (a)原圖和(b)OMP重構(gòu)圖像Fig. 3 (a) Original image and (b) OMP reconstructed image
根據(jù)上述DMD超分辨成像光學(xué)系統(tǒng)的基本成像模型,設(shè)計了一個基于DMD的超分辨成像光學(xué)系統(tǒng)。
DMD本質(zhì)是一個反射式數(shù)字半導(dǎo)體光分布調(diào)制器[13]。在由半導(dǎo)體硅片做襯底的CMOS存儲芯片上用鉸鏈結(jié)構(gòu)構(gòu)建數(shù)以百萬計的微反射鏡面,利用靜電使每個微鏡面發(fā)生獨立偏轉(zhuǎn),控制圖像灰度等級[14]。
將DMD作為編碼孔徑掩模放置在系統(tǒng)的光學(xué)一次成像面上,前端編碼元件與后端數(shù)據(jù)處理系統(tǒng)相配合,構(gòu)成一種光學(xué)——數(shù)字計算混合成像系統(tǒng)。
所設(shè)計的光學(xué)系統(tǒng)主要由目標(biāo)源、成像物鏡、DMD、投影物鏡、長波紅外探測器等5部分組成,由成像物鏡將目標(biāo)景象成像在一次像面DMD上,中間像經(jīng)DMD調(diào)制后通過投影物鏡最終成像在長波紅外探測器上。最終光學(xué)系統(tǒng)的總體構(gòu)成如圖4所示,主要技術(shù)指標(biāo)如表1所示。
圖 4 光學(xué)系統(tǒng)總體構(gòu)成Fig. 4 Overall structure of the optical system
表 1 光學(xué)系統(tǒng)參數(shù)Tab. 1 Performance parameters of the optical system
在優(yōu)化過程中,由于DMD會使光線偏轉(zhuǎn)24°,因此DMD上的像相對于折轉(zhuǎn)后的光軸是傾斜的,所以需要將像面傾斜設(shè)置為變量進行優(yōu)化[15]。同時,為了避免成像物鏡最后一片透鏡與反射后的光線發(fā)生干涉,需要對成像物鏡的后工作距以及投影物鏡的前工作距進行控制[16]。最終光學(xué)系統(tǒng)的結(jié)構(gòu)圖如圖5所示,光學(xué)系統(tǒng)的傳遞函數(shù)圖6(彩圖見期刊電子版)所示??梢钥闯?,光學(xué)系統(tǒng)成像質(zhì)量良好,在探測器截止頻率處的傳遞函數(shù)接近衍射極限。
圖 5 光學(xué)系統(tǒng)結(jié)構(gòu)圖Fig. 5 Structural diagram of optical system
圖 6 光學(xué)系統(tǒng)的傳遞函數(shù)Fig. 6 Transfer function of the optical system
根據(jù)上述DMD超分辨成像光學(xué)系統(tǒng)的成像模型,在所設(shè)計的超分辨成像光學(xué)系統(tǒng)中分別引入偏心、傾斜、鏡片間隔誤差、離焦等裝調(diào)誤差,從Zemax軟件中可以得到引入裝調(diào)誤差后,具有不同視場的光學(xué)系統(tǒng)的PSF,再使用上述針對空間變化的PSF獲取方法獲取PSF,并將獲取的PSF代入上述仿真模型中進行分析。
本文所設(shè)計的超分辨成像光學(xué)系統(tǒng)在X和Y方向的視場并不相同,在光學(xué)系統(tǒng)中引入裝調(diào)誤差時需要對每片透鏡的X、Y方向分別引入適量的誤差進行分析。
公差分析方法主要有3種:靈敏度分析、反轉(zhuǎn)靈敏度分析和蒙特卡羅分析[17]。靈敏度分析是指對于給定的一組公差變量,計算出各評價標(biāo)準的變化;反轉(zhuǎn)靈敏度分析是指根據(jù)每個公差在性能方面給定的最小允許減小量來計算公差;蒙特卡羅分析是利用某種統(tǒng)計方法,一般有均勻分布、正態(tài)分布和拋物線分布等,產(chǎn)生一系列的滿足制定公差的隨機鏡頭,然后再按標(biāo)準進行評估[18]。本文采用反轉(zhuǎn)靈敏度分析法,以重建圖像的PSNR值下降1為基礎(chǔ),對系統(tǒng)進行公差分析。
對光學(xué)系統(tǒng)的每片透鏡的X、Y方向分別引入適當(dāng)偏心誤差,每次引入0.01 mm的偏心量,將引入誤差后的PSF代入成像模型進行圖像重構(gòu)。圖7(彩圖見期刊電子版)為每片鏡片偏心量與重建圖像PSNR值之間的關(guān)系。
圖 7 鏡片偏心量與重建圖像PSNR值的關(guān)系Fig. 7 Relationship between lens eccentricity and PSNR value of reconstructed image
由圖7可知,第7片鏡片的偏心誤差對重建結(jié)果影響最大,當(dāng)?shù)?片鏡片X方向引入0.11 mm的偏心誤差或Y方向引入0.07 mm的偏心誤差時,重建圖像PSNR值下降1。
對光學(xué)系統(tǒng)的每片透鏡的X、Y方向分別引入傾斜誤差,再使用上述成像模型對圖像進行重構(gòu),每次引入0.01°的傾斜量。圖8(彩圖見期刊電子版)為每片鏡片的傾斜量與重建圖像PSNR值之間的關(guān)系。
圖 8 鏡片傾斜量與重建圖像PSNR值的關(guān)系Fig. 8 Relationship between lens tilt and PSNR of reconstructed images
由圖8可知,當(dāng)?shù)?片透鏡X方向傾斜0.10°或第6片透鏡Y方向傾斜0.14°時重建圖像PSNR值下降1。
改變每兩片透鏡之間的距離,每次改變0.01 mm,再使用上述成像模型對圖像進行重構(gòu)。圖9(彩圖見期刊電子版)為鏡片間隔誤差與重建圖像PSNR值之間的關(guān)系。
圖 9 鏡片間隔誤差與重建圖像PSNR值的關(guān)系Fig. 9 Relationship between lens spacing error and the PSNR of reconstructed images
由于光學(xué)系統(tǒng)的物面在無窮遠處,第1片鏡片與物面的間隔誤差對重建結(jié)果沒有影響,第6片鏡片的間隔誤差對圖像重建結(jié)果影響最大,當(dāng)?shù)?片鏡片間隔誤差為0.04 mm時,重建圖像PSNR值下降1。
分別改變成像物鏡和投影物鏡與像面之間的距離,每次引入0.01 mm的離焦量,再使用上述成像模型對圖像進行重構(gòu)。圖10為光學(xué)系統(tǒng)離焦量與重建圖像PSNR值之間的關(guān)系。
圖 10 光學(xué)系統(tǒng)離焦與重建圖像PSNR值之間的關(guān)系Fig. 10 Relationship between defocus of the optical system and PSNR value of the reconstructed image
由圖10可知,成像物鏡和投影物鏡的離焦對重建結(jié)果影響都比較大,當(dāng)成像物鏡離焦0.06 mm或投影物鏡離焦0.10 mm時,重建圖像PSNR值下降1。
在上述裝調(diào)誤差分析結(jié)果的基礎(chǔ)上,再使用蒙特卡羅法對系統(tǒng)進行公差分析,同時在系統(tǒng)中引入上述分析得到的公差范圍內(nèi)的隨機量的多種誤差組合,再通過成像模型進行圖像重建,最終得到重建圖像PSNR值下降1時的DMD超分辨成像光學(xué)系統(tǒng)的公差范圍,表2為100次蒙特卡羅分析得到的多種誤差共同作用后的DMD超分辨成像光學(xué)系統(tǒng)的公差分配結(jié)果。
表 2 公差分配結(jié)果Tab. 2 Tolerance allocation results
通過研究裝調(diào)誤差對超分辨成像結(jié)果的影響,建立了DMD超分辨成像光學(xué)系統(tǒng)的成像模型,并利用該模型對搭建的DMD超分辨成像光學(xué)系統(tǒng)獲取的數(shù)據(jù)進行仿真,提出了裝調(diào)誤差對超分辨成像質(zhì)量影響的分析方法。確定了該超分辨成像光學(xué)系統(tǒng)裝調(diào)時所允許的公差范圍,即該系統(tǒng)在加工裝調(diào)時X方向總體偏心誤差控制在±0.07 mm以 內(nèi),Y方 向 總 體 偏 心 誤 差 控 制在±0.05 mm以內(nèi);X方向和Y方向的總體傾斜誤差應(yīng)控制在±0.06°以內(nèi);總體鏡片間隔誤差控制在±0.02 mm以內(nèi);成像物鏡的離焦量控制在±0.04 mm以 內(nèi);投 影 物 鏡 的 離 焦 量 控 制 在±0.05 mm以內(nèi)。