鄭云達(dá)，黃 瑋，徐明飛，潘 云，賈樹強(qiáng)，張曉菲，盧勇男

(1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；2.中國科學(xué)院大學(xué)， 北京 100049)

1 引 言

高像質(zhì)、低成本、小型化相機(jī)在遙感測繪、安防、醫(yī)療等領(lǐng)域的需求日益增加。而對于光電成像系統(tǒng)而言，高像質(zhì)與低成本小型化是相互矛盾的。如要滿足高像質(zhì)的需求，光學(xué)設(shè)計(jì)者們要在光學(xué)系統(tǒng)中加入多個(gè)鏡片來校正像差，這就導(dǎo)致光學(xué)系統(tǒng)體積、重量、成本增加，難以滿足低成本、小型化的需求。

近年來，不少研究者利用圖像復(fù)原的方法校正光學(xué)像差，從而提高圖像質(zhì)量[1-4]。經(jīng)典的方法有逆濾波法、維納濾波法[5]、Richardson-Lucy算法[6-7]等，然而這些方法易受噪聲影響，容易產(chǎn)生振鈴效應(yīng)，不能很好地去除光學(xué)像差。為了減輕噪聲干擾，復(fù)原更多的圖像細(xì)節(jié)，基于自然圖像規(guī)律先驗(yàn)[8-10]和基于光學(xué)成像規(guī)律先驗(yàn)[11-12]的圖像去卷積算法相繼被提出。這些方法引入先驗(yàn)知識作為正則項(xiàng)，將病態(tài)的去卷積問題轉(zhuǎn)化為良態(tài)問題，使恢復(fù)結(jié)果具有清晰圖像的特性，同時(shí)抑制振鈴效應(yīng)。

Schuler等人[13]最早利用圖像復(fù)原的方法簡化光學(xué)系統(tǒng)，提出單透鏡計(jì)算成像系統(tǒng)的概念。他們將前端的鏡頭簡化為單透鏡，利用相機(jī)拍攝了模糊圖片后，最終通過圖像復(fù)原算法有效地消除了像差模糊。Heide等人[14]提出了基于交叉通道先驗(yàn)的圖像去卷積算法，大幅減弱了色差引起的模糊及彩邊現(xiàn)象，并通過自制的單透鏡相機(jī)獲得了較高質(zhì)量的圖像。在國內(nèi)，李衛(wèi)麗等人[15]也通過計(jì)算成像原理實(shí)現(xiàn)了單透鏡相機(jī)。王嬌陽、譚政等人[16-17]提出了光學(xué)成像系統(tǒng)與圖像處理系統(tǒng)的聯(lián)合優(yōu)化方法。崔金林[18]在單透鏡成像技術(shù)中引入字典學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的方法，提升了點(diǎn)擴(kuò)散函數(shù)的獲取速度及單透鏡相機(jī)的成像質(zhì)量。

然而，大部分研究者選用的前端光學(xué)系統(tǒng)都過于簡單，導(dǎo)致圖像模糊程度大，信息丟失嚴(yán)重，難以復(fù)原出高像質(zhì)圖像。針對這一問題，本文提出了一種大視場簡單光學(xué)系統(tǒng)的光學(xué)-算法協(xié)同設(shè)計(jì)方法。在圖像復(fù)原算法方面，改進(jìn)了空間變化的交叉通道去卷積算法，加入倍率色差校正，以確保圖像復(fù)原算法在大色差情況下的有效性，顯著地去除了色差帶來的圖像模糊。在光學(xué)設(shè)計(jì)階段，由于算法可以明顯減弱色差的影響，放開了色差的約束，并專注優(yōu)化綠色通道的像質(zhì)，使該通道成像銳利，從而在后期交叉通道去卷積算法中，更有效地幫助紅、藍(lán)兩通道圖像復(fù)原，實(shí)現(xiàn)高像質(zhì)成像。本文利用該方法設(shè)計(jì)了一套僅由兩片鏡組成的大視場簡單光學(xué)系統(tǒng)，系統(tǒng)焦距為50 mm，全視場為46°，F(xiàn)數(shù)為5.6，探測器分辨率為1 000萬像素。該系統(tǒng)采用全球面設(shè)計(jì)，兩片鏡材料均為K9玻璃。

2 光學(xué)降質(zhì)的圖像復(fù)原算法

2.1 交叉通道去卷積算法

在光學(xué)系統(tǒng)中，鏡頭所成的模糊圖像可以看成是真實(shí)圖像與光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)(Point Spread Function,PSF)卷積的結(jié)果，成像模型可表示為：

y=k?i+n,

(1)

其中，y表示模糊圖像，k表示光學(xué)系統(tǒng)的PSF，i表示真實(shí)圖像，n表示系統(tǒng)噪聲。根據(jù)模糊圖像求取清晰圖像的問題是一個(gè)去卷積問題。然而，去卷積是一個(gè)病態(tài)問題，會有無窮多解，需要引入適當(dāng)?shù)南闰?yàn)作為正則項(xiàng)，從無窮多解中選出最優(yōu)的一個(gè)。

對于簡單光學(xué)系統(tǒng)，由于存在較大的色差，不同顏色光的波長不同，焦距不同，其理想的聚焦位置也有很大差異。當(dāng)像面處于某一顏色通道的理想聚焦位置時(shí)，其他顏色通道將出現(xiàn)嚴(yán)重的離焦，這就造成了彩邊現(xiàn)象。Heide提出了交叉通道先驗(yàn)理論[14]，即“物體的邊緣會出現(xiàn)在紅、綠、藍(lán)3個(gè)顏色通道相同的位置”，利用聚焦的理想顏色通道所成的銳利圖像，可幫助另外兩個(gè)離焦通道的模糊圖像復(fù)原，在消除軸向色差的同時(shí)，使復(fù)原效果明顯提升。交叉通道先驗(yàn)可表示為:

(2)

其中，j和l表示兩個(gè)顏色通道。

結(jié)合交叉通道先驗(yàn)，去卷積算法的最優(yōu)化公式的矩陣形式可表示為:

(3)

其中，第一項(xiàng)為最小二乘法擬合項(xiàng)，第二項(xiàng)表示清晰圖像梯度和二階導(dǎo)數(shù)服從重尾分布，第三項(xiàng)是交叉通道先驗(yàn)。公式中，H{1,2}表示計(jì)算一階導(dǎo)數(shù)的卷積矩陣，H{3…5}表示計(jì)算二階導(dǎo)數(shù)的卷積矩陣，λc和βcl∈R分別是圖像先驗(yàn)與交叉通道先驗(yàn)的權(quán)重。上述優(yōu)化問題可由原始對偶算法解出[19]，此處不贅述。

2.2 空間變化方案

傳統(tǒng)的圖像復(fù)原算法一般認(rèn)為PSF是空間不變的，即PSF在全視場內(nèi)是一致的。然而，光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)是隨著視場的變化而變化的。圖1(a)(彩圖見期刊電子版)展示了一個(gè)兩片鏡簡單光學(xué)系統(tǒng)各視場的PSF分布圖?？梢?，隨著視場的增大，PSF在形狀和強(qiáng)度分布有著明顯的變化，但是對于兩個(gè)相近的視場，PSF的差異又很小。

圖1 空間變化方案示意圖 Fig.1 Diagram of the space-variant strategy

針對光學(xué)系統(tǒng)PSF的空間變化特點(diǎn)，本文使用一種矩形重疊分塊的辦法，如圖1(b)(彩圖見期刊電子版)所示。將模糊圖分成重疊的矩形小塊，并假設(shè)在每個(gè)分塊內(nèi)，PSF空間不變。每個(gè)分塊分別進(jìn)行去卷積計(jì)算后拼接得到復(fù)原圖像。

對于PSF在分塊內(nèi)具有一致性的假設(shè)會產(chǎn)生邊界誤差。故本文在邊界重疊區(qū)域使用線性過渡方式，以有效減輕邊界誤差。引入了增益因子G，在圖片的非重疊區(qū)域，增益因子G是常數(shù)1，在重疊區(qū)域，它會線性下降直至分塊邊界處，變?yōu)榱?。如圖2所示(彩圖見期刊電子版)，G1和G2分別是兩個(gè)相鄰分塊Patch 1和Patch 2的增益因子，它們重疊區(qū)域的圖像ioverlap是兩個(gè)分塊圖像的線性混合：

ioverlap(x,y)=G1(x,y)·ipatch1(x,y)+

G2(x,y)·ipatch2(x,y) ,

(4)

其中，x和y是所計(jì)算像素的坐標(biāo)。

圖2 圖片分塊重疊部分的拼接示意圖 Fig.2 Diagram of stitching method of image overlapping parts

2.3 倍率色差的校正

倍率色差廣泛地存在于光學(xué)系統(tǒng)中，尤其是大視場光學(xué)系統(tǒng)。當(dāng)存在倍率色差時(shí)，對于軸外同一物點(diǎn)，光學(xué)系統(tǒng)在紅、綠、藍(lán)三通道的成像位置會存在明顯差異，導(dǎo)致三通道圖像中物體的邊緣發(fā)生錯(cuò)位。盡管交叉通道去卷積算法可以有效消除軸向色差，但當(dāng)光學(xué)系統(tǒng)存在較大倍率色差時(shí)，交叉通道去卷積算法將會失效。

圖3(彩圖見期刊電子版)為交叉通道先驗(yàn)的示意簡圖，圖中橫坐標(biāo)為像素的位置，縱坐標(biāo)為像素灰度值。如圖3(a)和3(b)所示，當(dāng)系統(tǒng)不存在倍率色差或倍率色差很小時(shí)，交叉通道先驗(yàn)可以使模糊通道的邊緣更加銳利。如圖3(c)和3(d)所示，當(dāng)倍率色差很大時(shí)，紅色和藍(lán)色通道的邊緣與綠色通道邊緣的位置會發(fā)生嚴(yán)重偏離，導(dǎo)致交叉通道先驗(yàn)失效。因此，本文在交叉通道去卷積前，引入倍率色差校正，以減弱三通道圖像邊緣的分離程度，保證交叉通道先驗(yàn)的有效性，如圖3(e)、3(f)和3(g)所示。

圖3 交叉通道先驗(yàn)示意圖 Fig.3 Scanline diagrams of cross-channel prior

倍率色差實(shí)際上是由不同波長的光畸變程度不同導(dǎo)致的，將不同顏色通道圖像的實(shí)際像點(diǎn)拉伸或收縮至同一波長(如綠光)的近軸像高位置，即可校正倍率色差。

倍率色差呈旋轉(zhuǎn)對稱分布，帶有倍率色差的光學(xué)系統(tǒng)中，物點(diǎn)的實(shí)際像高和近軸像高的關(guān)系可用下列多項(xiàng)式近似表示[20]：

(5)

其中，rj表示校正前顏色通道j的物點(diǎn)的實(shí)際像高，rcorr表示物點(diǎn)某一波長光(如綠光)的近軸像高，a、b和c是多項(xiàng)式的系數(shù)。

本文以綠光的近軸像高為校正標(biāo)準(zhǔn)，對公式(5)中的多項(xiàng)式進(jìn)行擬合，并校正倍率色差，步驟如下：

(1)使用光學(xué)設(shè)計(jì)軟件提取系統(tǒng)的綠光畸變信息和倍率色差信息。

(2)根據(jù)畸變和倍率色差信息計(jì)算三色光的實(shí)際像高與綠光的近軸像高，并結(jié)合探測器像元尺寸，將像高轉(zhuǎn)化為像素?cái)?shù)。

(3)使用最小二乘法分別擬合求取3種色光的多項(xiàng)式系數(shù)。

(4)計(jì)算校正后圖像的每一個(gè)像元到圖片中心的距離，作為該點(diǎn)的近軸像高像素?cái)?shù)。將近軸像高的像素?cái)?shù)代入多項(xiàng)式求取實(shí)際像高的像素?cái)?shù)。

(5)步驟(4)中求取的實(shí)際像點(diǎn)位置可能會出現(xiàn)亞像素情況，本文使用雙線性插值的方法估計(jì)該位置的灰度值，并將其替換至校正后圖像對應(yīng)的像素位置。

校正色差后，模糊圖像被拉伸，因此，在去卷積前，所使用的PSF也應(yīng)根據(jù)公式(5)拉伸。本文將空間變化的PSF按實(shí)際成像位置置于一幅空白圖片中，形成PSF陣列圖。然后使用前文所述的校正倍率色差的方法對PSF陣列圖進(jìn)行處理，以實(shí)現(xiàn)PSF的拉伸。

3 簡單光學(xué)系統(tǒng)設(shè)計(jì)

圖4 簡單光學(xué)系統(tǒng)結(jié)構(gòu)圖 Fig.4 Layout of simple optical system

目前，在簡單光學(xué)系統(tǒng)成像技術(shù)的研究中，學(xué)者們廣泛使用的是只含一片平凸透鏡的單透鏡系統(tǒng)，該系統(tǒng)分辨率低，像質(zhì)差，而且隨著視場角的增加，單透鏡的場曲會顯著增長，如圖4(a)所示。邊緣視場的點(diǎn)擴(kuò)散函數(shù)變得太大會導(dǎo)致信息丟失嚴(yán)重，很難成功復(fù)原邊緣視場的圖像。因此，單透鏡系統(tǒng)的視場也受到了嚴(yán)重的限制。

為了獲得更大的視場和更高的分辨率，本文采用一個(gè)由兩片對稱的彎月透鏡組成的系統(tǒng)作為初始結(jié)構(gòu)，如圖4(b)所示。這個(gè)結(jié)構(gòu)對于軸外像差有良好的校正效果，全視場的PSF都很容易控制在合理的尺寸內(nèi)，這樣有利于圖像算法復(fù)原高質(zhì)量圖像。

由于前面描述圖像復(fù)原算法可以顯著地消除色差，本文在優(yōu)化過程中利用多重結(jié)構(gòu)的方法進(jìn)行優(yōu)化，放開色差的約束，并增加綠色波長的權(quán)重，使綠色通道的成像質(zhì)量比普通光學(xué)系統(tǒng)更加銳利，保留更多信息，便于圖像恢復(fù)。同時(shí)，沒有了色差的約束，PSF的尺寸也更容易控制。為了進(jìn)一步降低系統(tǒng)的成本，本文只使用HK9L玻璃作為鏡片的材料。

本文的設(shè)計(jì)結(jié)果如圖5所示。系統(tǒng)焦距是50 mm，全視場46°，F(xiàn)數(shù)是5.6。鏡頭參數(shù)見表1?？梢钥吹骄G色通道的彌散斑非常小，盡管系統(tǒng)的倍率色差很嚴(yán)重，但是紅、藍(lán)兩個(gè)模糊通道的彌散斑的尺寸也得到了很好的控制。

圖5 簡單光學(xué)系統(tǒng)設(shè)計(jì)結(jié)果 Fig.5 Designed results of simple optical system

表1 簡單光學(xué)系統(tǒng)的鏡頭參數(shù)

4 實(shí)驗(yàn)與結(jié)果

為了測試大視場簡單光學(xué)系統(tǒng)的成像質(zhì)量，本文利用CODE V軟件的成像模擬功能獲得光學(xué)系統(tǒng)的成像結(jié)果，再用圖像復(fù)原算法對模糊圖進(jìn)行復(fù)原。本文還獲取了庫克三片式鏡頭和兩種純圖像復(fù)原算法方案的結(jié)果，并與本文的結(jié)果做了定量比較。

4.1 仿真實(shí)驗(yàn)測試

首先，使用高像質(zhì)相機(jī)拍攝現(xiàn)實(shí)中的場景作為原始清晰圖片，圖片分辨率是3 840 pixel×2 560 pixel，約為1 000萬像素。然后，使用光學(xué)設(shè)計(jì)軟件CODE V仿真生成光學(xué)系統(tǒng)所成的模糊圖像。本文所使用的空間變化的PSF同樣是通過CODE V軟件仿真的方法獲取的，如圖6所示。

圖6 簡單光學(xué)系統(tǒng)的空間變化PSF Fig.6 Space-variant PSFs of the simple optical system

在MATLAB上使用本文圖像復(fù)原算法對模糊圖像進(jìn)行復(fù)原，模糊圖像與復(fù)原圖像的對比結(jié)果見圖7。可以看到，本文圖像復(fù)原算法可以有效去除光學(xué)系統(tǒng)的倍率色差，圖像邊緣視場的彩邊現(xiàn)象明顯減弱。同時(shí)，復(fù)原結(jié)果展示了更多的圖像細(xì)節(jié)信息，邊緣銳利，清晰度明顯提高，無論是邊緣視場還是中心視場都沒有出現(xiàn)振鈴效應(yīng)。實(shí)驗(yàn)結(jié)果表明，使用本文提出的光學(xué)-算法協(xié)同設(shè)計(jì)方法設(shè)計(jì)出的大視場簡單光學(xué)系統(tǒng)能夠獲得高像質(zhì)、高分辨率的圖像。

圖7 圖像復(fù)原結(jié)果 Fig.7 Image restoration results

4.2 結(jié)果對比

首先，將本文提出的方法與Krishnan[9]和 Heide[14]的兩種純圖像復(fù)原算法的解決方案進(jìn)行了對比。純算法方案對于光學(xué)系統(tǒng)沒有特殊優(yōu)化，因此，采用常規(guī)方法為這兩種方案設(shè)計(jì)了一個(gè)兩片鏡的光學(xué)系統(tǒng)，其與本文方案具有相同的初始結(jié)構(gòu)、孔徑、焦距、材料和視場。在優(yōu)化過程中，為了同時(shí)校正色差與場曲，常規(guī)設(shè)計(jì)系統(tǒng)后面的鏡片變得很大，并且靠近像面。考慮倍率色差也會使系統(tǒng)對其他像差妥協(xié)，導(dǎo)致彌散斑增大。常規(guī)系統(tǒng)的設(shè)計(jì)結(jié)果及PSF如圖8所示。可以看出，與本文的系統(tǒng)相比，常規(guī)系統(tǒng)的倍率色差雖然很小，但是PSF的尺寸卻更大了。

圖8 常規(guī)設(shè)計(jì)的兩片鏡系統(tǒng) Fig.8 Conventional designed two-lens optical system

兩種純算法解決方案都采用了與本文相同的分塊方法，復(fù)原結(jié)果見圖9、圖10?？梢钥闯觯琄rishnan和Heide的兩種純算法解決方案復(fù)原結(jié)果非常模糊，信息丟失嚴(yán)重，分塊邊緣出現(xiàn)明顯的不自然的豎直彩色條紋。而本文的結(jié)果由于在設(shè)計(jì)系統(tǒng)時(shí)忽略了倍率色差，PSF更小，像質(zhì)明顯優(yōu)于Krishnan和Heide的解決方案，保留了更多的細(xì)節(jié)和信息，良好地抑制了彩邊效應(yīng)和振鈴效應(yīng)。

圖9 鮮花圖像復(fù)原結(jié)果對比 Fig.9 Comparison of restoration results of a flower image

圖10 校園圖像復(fù)原結(jié)果對比 Fig.10 Comparison of restoration results of a campus image

為了定量評價(jià)圖像質(zhì)量，本文使用了兩種無參考圖像評價(jià)方法，盲/無參考圖像空間質(zhì)量評價(jià)法(Blind/Referenceless Image Spatial Quality Evaluator,BRISQUE)[21]和自然圖像質(zhì)量評價(jià)法(Natural Image Quality Evaluator,NIQE)[22]。BRISQUE用局部歸一化亮度系數(shù)的場景統(tǒng)計(jì)來量化圖片自然性的損失，NIQE估計(jì)了被測圖片與自然圖片在統(tǒng)計(jì)規(guī)律上的可測偏離。兩種方法的評價(jià)結(jié)果見表2和表3，分?jǐn)?shù)越低表示像質(zhì)越好。從數(shù)據(jù)結(jié)果來看，本文復(fù)原圖像的定量評價(jià)指標(biāo)明顯優(yōu)于Krishnan和Heide的解決方案。

表2 BRISQUE評價(jià)結(jié)果對比

注意，由于本文使用的是大視場光學(xué)系統(tǒng)，存在一定的畸變，因此不能采用峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)這類全參考的像質(zhì)評價(jià)方法。

表3 NIQE評價(jià)結(jié)果對比

本文還將復(fù)原結(jié)果與光學(xué)結(jié)構(gòu)更為復(fù)雜的庫克三片式鏡頭的成像結(jié)果進(jìn)行了對比，結(jié)果見圖9、圖10。所選用的庫克鏡頭與本文設(shè)計(jì)的簡單光學(xué)系統(tǒng)具有相同的孔徑、焦距和視場。但相比于本文設(shè)計(jì)的大視場簡單光學(xué)系統(tǒng)，庫克鏡頭的鏡片數(shù)量更多，并且使用了3種不同的玻璃材料。庫克鏡頭的結(jié)構(gòu)和PSF見圖11，可以看出庫克鏡頭像質(zhì)非常出色，其PSF在各視場都很小，幾乎是一個(gè)點(diǎn)。

圖11 庫克三片式鏡頭 Fig.11 Cooke triplet lens

從視覺上看，兩種結(jié)果都很清晰，圖像自然，細(xì)節(jié)豐富。本文的結(jié)果雖然存在輕微的彩邊現(xiàn)象，但是具有更高的對比度，像質(zhì)可以媲美庫克鏡頭。從表2、表3中的定量評價(jià)數(shù)據(jù)也可以看出，本文的結(jié)果接近于庫克鏡頭的結(jié)果。

5 結(jié) 論

本文提出了一種大視場簡單光學(xué)系統(tǒng)的光學(xué)-算法協(xié)同設(shè)計(jì)方法。在算法方面，針對大視場光學(xué)系統(tǒng)的成像特點(diǎn)，采用交叉通道先驗(yàn)，去除圖像的倍率色差，給出了空間變化的圖像復(fù)原算法。在光學(xué)設(shè)計(jì)方面，忽略了色差的約束，專注于單一顏色通道的像質(zhì)優(yōu)化，使系統(tǒng)得到的模糊圖更有利于圖像算法復(fù)原。最終，設(shè)計(jì)了一個(gè)由兩片鏡組成的大視場簡單光學(xué)系統(tǒng)。實(shí)驗(yàn)結(jié)果證明：配合圖像復(fù)原算法，本文所設(shè)計(jì)的大視場簡單光學(xué)系統(tǒng)能夠獲得高分辨率、高像質(zhì)圖片，有效地保留了圖像的邊緣細(xì)節(jié)，抑制振鈴效應(yīng)，成像質(zhì)量明顯優(yōu)于純圖像復(fù)原的解決方案，媲美庫克三片式鏡頭。