張學(xué)典,商艷芝,朱靜遠(yuǎn),江旻珊

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海　200093)

?

一種離焦圖像重組技術(shù)

張學(xué)典,商艷芝,朱靜遠(yuǎn),江旻珊

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海200093)

摘要隨著傳感技術(shù)的發(fā)展,單一的圖像傳感器通常不能從場(chǎng)景中提取足夠多的信息,故需進(jìn)行多源圖像融合。文中在已有的圖像融合技術(shù)基礎(chǔ)上,提出了一種基于物理空間變異點(diǎn)擴(kuò)散函數(shù)的方法來(lái)實(shí)現(xiàn)多聚焦圖像的融合。該算法能解決已有算法需求儲(chǔ)存量大的問(wèn)題,并經(jīng)過(guò)試驗(yàn)證明,該方法得到的圖像視覺(jué)效果良好,可視化清晰,同時(shí)計(jì)算了不同算法得到融合圖像的均方差,新算法的均方差明顯小于已有算法的均方差。因此,證明了新算法優(yōu)于現(xiàn)有的離焦圖像融合算法。

關(guān)鍵詞圖像融合技術(shù);點(diǎn)擴(kuò)散函數(shù);多聚焦圖像;離焦

目前,各式各樣的數(shù)據(jù)采集裝置的大量使用,使得圖像融合已經(jīng)成為圖像處理的重要組成部分。由于鏡頭景深的限制,只有處于焦平面上的物體才會(huì)被清晰成像,不處于焦平面上的物體是模糊成像,于是,由同一個(gè)場(chǎng)景就會(huì)產(chǎn)生具有不同焦點(diǎn)的圖像,其中任何一個(gè)圖像都無(wú)法充分表達(dá)一個(gè)完整場(chǎng)景,但這些圖像在許多方面是相輔相成的[1]。因此人們提出多焦點(diǎn)融合方法來(lái)解決離焦部分的融合問(wèn)題。首先獲取一組不同景深的圖像,然后使用圖像融合技術(shù)對(duì)不同圖像進(jìn)行綜合,使得融合圖像中的物體是清晰的,本文首先對(duì)圖像融合技術(shù)進(jìn)行了介紹,然后在此基礎(chǔ)上提出一種空間變異點(diǎn)擴(kuò)散函數(shù)的算法,來(lái)應(yīng)用到多焦點(diǎn)圖像融合中。

1圖像融合技術(shù)

圖像融合是圖像處理的重要領(lǐng)域[2]。圖像融合方法眾多,大致可將其分為空域融合方法及變換域融合方法。典型的空域融合方法包括像素加權(quán)平均、偽彩色映射、非線性方程法、模擬退火法、人工神經(jīng)網(wǎng)絡(luò)法等;變換域融合方法包括小波變換法、圖像金字塔方法[3-4]、多尺度幾何分析方法等。幾種典型方法:(1)像素融合方式,其主要思想對(duì)要融合的源圖像不進(jìn)行任何變換,不考慮像素之間的相關(guān)性,直接對(duì)源圖像中的各像素分別進(jìn)行選擇、平均或加權(quán)等簡(jiǎn)單處理后,得到新的融合圖像。該方法是一種典型的圖像融合方法,應(yīng)用也較為廣泛。該方法實(shí)施簡(jiǎn)單,但在一定程度上降低了融合圖像的整體對(duì)比度;(2)小波變換法是空間(時(shí)間)和頻率的局部變換,因而能有效地從信號(hào)中提取信息。小波變換具有良好的多分辨率特性,在圖像處理技術(shù)中經(jīng)常為其他算法提供預(yù)處理信息。但傳統(tǒng)小波變換不能處理2D或更高維奇異性的問(wèn)題[5]。在多分辨率分解融合算法中,采用小波變換融合算法多會(huì)引入高頻噪聲,從而影響融合圖像的質(zhì)量[6];(3)圖像金字塔技術(shù),主要包括高斯金字塔,拉普拉斯金字塔[7-8],梯度金字塔等。而金字塔這類算法的一般模式是先對(duì)每一源圖像分別進(jìn)行某種塔形分解,建立各圖像相應(yīng)的金字塔,再對(duì)圖像金字塔的多分解層分別進(jìn)行融合處理,不同分解層可用不同的融合算子進(jìn)行融合處理得到融合后相應(yīng)的金字塔,最后對(duì)其進(jìn)行圖像重組,得到的合成圖像包含了源圖像的所有重要信息。金字塔式圖像融合算法能在多尺度,多分辨率上進(jìn)行特征分解從而得到較好的融和效果,但此類算法存在方向性問(wèn)題和存儲(chǔ)量大的問(wèn)題;(4)基于以上的各種技術(shù),Cunha A L等人實(shí)現(xiàn)了非下采樣Contourlet變換(NSCT)。NSCT不但繼承了Contourlet的多尺度、多方向性,同時(shí)還具備了平移不變特性,可有效消除吉布斯現(xiàn)象。但該方法由于非自適應(yīng)于具體圖像,無(wú)法最稀疏地描述圖像信息,容易造成融合過(guò)程中系數(shù)選取得不準(zhǔn)確,導(dǎo)致融合圖像出現(xiàn)邊緣模糊和偽噪聲[9];(5)針對(duì)非下采樣Contourlet變換(NSCT)中低頻子帶系數(shù)稀疏度較低不利于融合的問(wèn)題,提出基于NSCT和稀疏表示的圖像融合方法(NSCT-SR)[10]。該算法得到的融合圖像更加清晰,信息更豐富,對(duì)比度更高。在以往的文獻(xiàn)中發(fā)現(xiàn)了多種輕微散焦圖片的多聚焦圖像融合方法,且每種方式都得到了相應(yīng)的測(cè)試,在本文中將提出一種可處理強(qiáng)散焦情況下的多聚焦圖像融合新算法。

2基于物理空間變異點(diǎn)擴(kuò)散函數(shù)算法

該方法基于光學(xué)圖像形成理論,且遵循平面上的三維近似場(chǎng)景。當(dāng)三維場(chǎng)景利用光學(xué)系統(tǒng)成像時(shí),只有聚焦于像平面上的物體才會(huì)呈現(xiàn)清晰的像,而物體的其他部分將會(huì)處于離焦?fàn)顟B(tài)即形成模糊的像?？紤]到一個(gè)場(chǎng)景中各系列圖像均有各自的聚焦面,則就需要獲得不同焦距的系統(tǒng)。假設(shè)jk(在RGB圖像中,jk=(jRk,jGk,jBk),k=1,…,n)是n張圖片中的第k張成像,在忽略噪聲和色差的情況下,焦距為L(zhǎng)=Lk處的jk圖像,在空域其可表示為

jk=(x,y)=ik(x,y)+∑k′≠khkk’(x,y)×ik’(x,y)

(1)

其中,Ik是焦點(diǎn)區(qū)域內(nèi)獲得清晰圖像;jk場(chǎng)景中的散焦部分是Ik’與點(diǎn)擴(kuò)散函數(shù)hkk’(x,y)的卷積,如圖1所示焦距是Lk的一個(gè)光學(xué)系統(tǒng)成像jk,該成像是距離為L(zhǎng)k的紅色物體和距離為L(zhǎng)k’的綠色物體共同成像。

在嚴(yán)重散焦情況下,國(guó)內(nèi)外學(xué)者對(duì)于光學(xué)成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)進(jìn)行了研究,并提出了近似模型[11]

(2)

式中,rkk’將滿足

(3)

其中,p指相機(jī)的像素間距;R0=Rd/p,R是成像透鏡的半徑;d是成像鏡頭到像平面的距離,如圖1所示。

圖1　焦距為lk的光學(xué)系統(tǒng)

融合的圖像z(x,y)是不同焦距圖像的總和即

(4)

如果獲得z(x,y),首先將式(1)進(jìn)行傅里葉變換

(5)

其中,(a,b)是空間頻率坐標(biāo);hkk’是光學(xué)傳遞函數(shù)(OTF),即hkk’=FT(hkk’),Ik’=FT(Ik’),對(duì)于n=2的特殊情況,可直接由式(5)直接獲得z=FT-1{(j1+j2)∕(1+h12)},而對(duì)于任意數(shù)值n,等式(5)可用向量的形式表示

j(a,b)=h(a,b)I(a,b)

(6)

式中,j和I均為n維列向量,H為n×n的對(duì)稱矩陣,其中

等式(4)的傅里葉變換是

(7)

式中,e是長(zhǎng)度為N的單位向量。從式(6)和式(7)中可得到Z(a,b)即

Z(a,b)=e(h-j)

(8)

式中,H-是H的逆矩陣。文中從式(8)中得到了z(a,b)即z(x,y)的傅里葉變換,若要得到z(x,y),則將z(a,b)進(jìn)行傅里葉逆變換即可。

3實(shí)驗(yàn)結(jié)果

為驗(yàn)證該算法的有效性,文中將該算法和加權(quán)梯度算法(MWGF),拉普拉斯金字塔算法(LP),基于非下采樣Contourlet變換算法(NSCT),NSCT稀疏結(jié)合算法(NSCT-SR)的結(jié)果進(jìn)行對(duì)比。因MWGF和NSCT-SR可處理兩張?jiān)磮D像來(lái)得出融合圖像,LP,NSCT和本文提供的方法可處理任意長(zhǎng)度的堆棧圖像。

如圖2(a)所示分別將單獨(dú)拍攝的電路圖像和地板圖像放在鏡頭的L1,L2(L2=4/3 L1)處,如圖2(b)所示是電路板圖像和地板圖像均在焦點(diǎn)時(shí)所成的圖像,其目的是測(cè)試其他融合圖像時(shí)作為參考圖像。在式(3)中R0分別取20 L1,40 L1,80 L1和160 L1分別代表從輕度離焦成像到重度離焦成像,對(duì)于每一個(gè)R0值都將組成一個(gè)n=4的圖像堆棧,這幾張圖像的成像系統(tǒng)將分別聚焦于L1-Δ,L1,L2和L2-Δ(Δ=0.2 L1)處,如圖2(c)～圖2(f)是R0=160 L1的成像情況。

當(dāng)一個(gè)堆棧中只需兩張圖片時(shí),文中用圖2(d)和圖2(e),如圖2(d)代表的是在L1位置的電路板圖像是對(duì)焦圖像,而處于L2位置的地板圖像是離焦?fàn)顟B(tài)下的成像。如圖2(e)所示則是對(duì)焦地板圖像,離焦電路板圖像的情況,從式(3)和利用L2,L1的關(guān)系,當(dāng)R0=20 L1,40 L1,80 L1,和 160 L1時(shí),對(duì)應(yīng)的模糊圓盤半徑分別為5,10,20,和 40得到了離焦的另外兩個(gè)圖像2(c)和圖2(f)。

圖2　不同距離中需要合成的電路板圖像和地板圖像

圖3是根據(jù)不同算法得到的融合圖像,a1～a5是N=2時(shí)分別用MWGF,LP,NSCT,NSCT-SR,Proposed Method得到的融合圖像,b1～b3是N=4時(shí)分別用LP,NSCT,Proposed Method得到的融合圖像,隨即也計(jì)算了不同算法融合圖像的均方誤(MSE),并將其列于表1中。如表1所示,黑體數(shù)字代表著R0和N確定時(shí),所有方法的最佳性能值,從表中可看出該方法優(yōu)于其他方法。

圖3　R0=160l1時(shí)兩張圖像和4張圖像用不同方法的融合圖像

R0NMWGFLPNSCTNSCT-SRPM20l120.16630.42340.63380.61830.56484-4.72031.2354-3.249540l121.58830.67853.65806.32540.51324-3.726812.4563-2.687480l124.57653.012028.146535.14980.43524-6.032180.3654-2.6913160l1214.328931.6798112.7692114.56890.61134-65.3274256.3214-3.4195

4結(jié)束語(yǔ)

介紹了圖像融合技術(shù)的基本概念和主要算法,基于此進(jìn)行了物理空間變異點(diǎn)擴(kuò)散函數(shù)的算法研究,其屬于可處理強(qiáng)離焦?fàn)顟B(tài)下的圖像融合技術(shù),并進(jìn)行了實(shí)驗(yàn),且與其他的融合技術(shù)進(jìn)行了比較。對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析,不但視覺(jué)上較為清晰,且計(jì)算不同算法的均方差,也證明了新算法的優(yōu)越性,但仍有一定的誤差,希望可進(jìn)一步分析研究,以待提高該算法的效率。

參考文獻(xiàn)

[1]Sarder P,Nehorai,Arye.Deconvolution methods for 3-dfluorescence microscopy images[j].IEEE Signal Process,2006,23(3):32-45.

[2]嚴(yán)春滿,郭寶龍,楊秀紅.一種抗噪聲的高效多聚焦圖像融合算法[j].西安電子科技大學(xué)學(xué)報(bào):自然科學(xué)版,2011,38(3):63-68.

[3]Miao Qiguang,Wang Baoshu.Multi-sensor image fusion based on improved laplacian pyramid transform[j].Acta Optica Sinica,2007,27(9):1605-1610.

[4]朱若萍.Matlab在多分辨金字塔式圖像融合技術(shù)中的應(yīng)用[j].儀器儀表用戶,2006(4):86-88.

[5]王珺,彭進(jìn)業(yè),何貴青,等.基于非下采樣Contourlet變換和稀疏表示的紅外與可見(jiàn)光圖像融合方法[j].兵工學(xué)報(bào),2013,34(7):815-820.

[6]林玉池,周欣,宋樂(lè),等.基于NSCT變換的紅外與可見(jiàn)光圖像融合技術(shù)研究[j].傳感器與微系統(tǒng),2008,27(12):45-47.

[7]Wang q,Dai y,Zhao b,et al.a superconducting magnet system for whole-body metabolism imagin[j].IEEE Transactions on Appled Superconductivily,2012,22(3):58-63.

[8]Burt P,Adelson e.the laplacian pyramid as a compact image code[j].IEEE Transactions on Communication,1983,31(4):532-540.

[9]楊揚(yáng),戴明,周籮魚,等.基于非下采樣Bandelet變換的多聚焦圖像融合[j].吉林大學(xué)學(xué)報(bào):工學(xué)版,2014,44(2):525-530.

[10]高珊,邱天爽,易梅,等.基于雙稀疏字典的醫(yī)學(xué)圖像融合算法及在腦血管疾病診斷中的應(yīng)用[j].北京生物醫(yī)學(xué)工程,2015,34(3):239-243.

[11]Subbarao M,Choi t s,Nikzad a.Focusing technology[j].Optical Engineering,1993,32(11):2824-2836.

An Image Reconstruction Technique Under Defocus

ZHANG Xuedian,SHANG Yanzhi,ZHU Jingyuan,JIANG Minshan

(School of Optical-Electrical and Computer Engineering,University of Shanghai forScience and Technology,Shanghai 200093,China)

AbstractAs a single image sensor can not extract enough information from a scene,the multi-source image fusion is necessary.In this paper,a method based on the physical space variant point spread function is proposed to realize the fusion of multi focus images.This algorithm avoids the requirement of large storage of the existing algorithms.Tests show that the visual effect of the image obtained by the proposed method is clear and the mean square error (MSE) of the fusion image is significantly less than those by existing algorithms.

Keywordsimage fusion technology;PSF;multi-focus image;defocus

doi:10.16180/j.cnki.issn1007-7820.2016.05.043

收稿日期:2015-10-04

基金項(xiàng)目:國(guó)家科技部重大儀器專項(xiàng)基金資助項(xiàng)目(2013YQ03065104);國(guó)家重大科學(xué)儀器設(shè)備開(kāi)發(fā)專項(xiàng)基金資助項(xiàng)目(2014YQ090709)

作者簡(jiǎn)介:張學(xué)典(1974—),男,博士,副教授。研究方向:光電檢測(cè)儀器。商艷芝(1990—),女,碩士研究生。研究方向:圖像重組。

中圖分類號(hào)TP391.41

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1007-7820(2016)05-162-03