李能菲,黃 見(jiàn)

(1安徽職業(yè)技術(shù)學(xué)院機(jī)電工程學(xué)院,安徽 合肥 230011;2中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院安徽光學(xué)精密機(jī)械研究所,中國(guó)科學(xué)院大氣光學(xué)重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230031;3先進(jìn)激光技術(shù)安徽省實(shí)驗(yàn)室,安徽 合肥 230031)

0 引言

關(guān)聯(lián)成像,或者稱之為單像素成像、鬼成像,是一種新型的計(jì)算成像技術(shù),其與傳統(tǒng)面陣成像最大的不同在于其成像器件為桶探測(cè)器或者單像素探測(cè)器(非面陣探測(cè)器),如光電倍增管(PMT)、雪崩二極管(APD)等,鑒于單像素探測(cè)器具有光譜選擇范圍大、量子效率高等優(yōu)勢(shì),使得關(guān)聯(lián)成像技術(shù)在現(xiàn)有面陣探測(cè)器無(wú)法工作的波段具有潛在的成像優(yōu)勢(shì),并成為前沿課題。

1995年,美國(guó)馬里蘭大學(xué)的科研人員首次基于糾纏光源方案實(shí)現(xiàn)了關(guān)聯(lián)成像實(shí)驗(yàn)[1],因此,也有研究人員將關(guān)聯(lián)成像稱為量子成像,糾纏光源制備比較復(fù)雜,且對(duì)使用環(huán)境要求苛刻。而相對(duì)于糾纏光源,經(jīng)典光源易于產(chǎn)生且應(yīng)用廣泛,研究人員嘗試將經(jīng)典光源應(yīng)用于關(guān)聯(lián)成像。2002年,美國(guó)羅切斯特大學(xué)的研究人員成功實(shí)現(xiàn)了基于經(jīng)典光源的關(guān)聯(lián)成像實(shí)驗(yàn)[2],研究證明經(jīng)典光源也可以實(shí)現(xiàn)關(guān)聯(lián)成像。傳統(tǒng)的關(guān)聯(lián)成像系統(tǒng)中,光源發(fā)出的光被分成兩束,一束稱為參考光路,一束稱為探測(cè)光路。其中,參考光路的光在傳播過(guò)程中不與成像物體接觸,直接被面陣探測(cè)器接收,獲取光強(qiáng)的分布;探測(cè)光路的激光與待成像的物體相互作用后被一桶探測(cè)器收集,獲得與成像物體關(guān)聯(lián)的信息。參考光路記錄的光強(qiáng)分布與探測(cè)光路記錄的信號(hào)經(jīng)關(guān)聯(lián)運(yùn)算重建出目標(biāo)物體圖像。在此基礎(chǔ)上,進(jìn)一步研究發(fā)現(xiàn)：使用空間光調(diào)制器產(chǎn)生光強(qiáng)空間分布預(yù)置的調(diào)制光源可以省略參考光路,進(jìn)而簡(jiǎn)化關(guān)聯(lián)成像系統(tǒng),推動(dòng)了關(guān)聯(lián)成像技術(shù)進(jìn)一步向?qū)嵱没较虬l(fā)展。目前,關(guān)聯(lián)成像技術(shù)在紅外氣體檢測(cè)[3]、太赫茲成像[4,5]、光譜成像[6,7]、目標(biāo)跟蹤[8?10]、三維成像[11?13]等領(lǐng)域都展現(xiàn)了其廣闊的應(yīng)用前景。

另一方面,關(guān)聯(lián)成像雖然具有眾多的優(yōu)勢(shì),但在空間分辨率與成像效率方面,與傳統(tǒng)基于面陣探測(cè)器的成像技術(shù)相比仍有一定的差距。關(guān)聯(lián)成像的成像機(jī)制導(dǎo)致了其空間分辨率與成像效率相互制約,在不失真的前提下,空間分辨率越高,成像所需的調(diào)制散斑越多,造成采集時(shí)間過(guò)長(zhǎng),不利于實(shí)際應(yīng)用。因此,如何在低采樣數(shù)的情況下,在保持較高成像質(zhì)量的基礎(chǔ)上獲取更高的空間分辨率與幀頻成為關(guān)聯(lián)成像的研究熱點(diǎn)[14]。文獻(xiàn)[15,16]采用調(diào)制散斑編碼復(fù)用的方法實(shí)現(xiàn)了多光譜關(guān)聯(lián)成像,文獻(xiàn)[17]采用散斑編碼復(fù)用方法實(shí)現(xiàn)了同時(shí)對(duì)多個(gè)物體的成像與加密。本文將這種調(diào)制散斑編碼復(fù)用的技術(shù)應(yīng)用于高空間分辨率關(guān)聯(lián)成像,即將具有編碼信息的低空間分辨率散斑復(fù)用為高空間分辨率調(diào)制散斑,從而實(shí)現(xiàn)對(duì)高空間分辨率物體成像。

1 關(guān)聯(lián)成像簡(jiǎn)介

常見(jiàn)的關(guān)聯(lián)成像系統(tǒng)有兩種基本結(jié)構(gòu),如圖1所示,系統(tǒng)主要由光源、空間光調(diào)制器、成像物體和單像素探測(cè)器等部分構(gòu)成。其中,圖1(a)為前向調(diào)制或者主動(dòng)調(diào)制結(jié)構(gòu)的關(guān)聯(lián)成像,光源投影到空間光調(diào)制器上,空間光調(diào)制器對(duì)照明光進(jìn)行調(diào)制,被調(diào)制后的結(jié)構(gòu)光與物體相互作用后,物體反射信號(hào)被單像素探測(cè)器收集;對(duì)于圖1(b),光源(可以是自然光)發(fā)出的光對(duì)成像物體進(jìn)行照明,物體反射的信號(hào)被空間光調(diào)制器接收,此時(shí)空間光調(diào)制器對(duì)物體反射信號(hào)進(jìn)行調(diào)制,調(diào)制后的物體信號(hào)被單像素探測(cè)器接收,這種結(jié)構(gòu)通常被稱為被動(dòng)調(diào)制或后向調(diào)制結(jié)構(gòu)?？梢钥闯?主動(dòng)調(diào)制是對(duì)光源發(fā)出的照明光進(jìn)行調(diào)制,而被動(dòng)調(diào)制是對(duì)物體信號(hào)進(jìn)行調(diào)制,這是兩種結(jié)構(gòu)的最大不同。

圖1 關(guān)聯(lián)成像基本結(jié)構(gòu)示意圖。(a)主動(dòng)調(diào)制;(b)被動(dòng)調(diào)制Fig.1 Schematic diagram of basic structure of ghost imaging.(a)Active modulation;(b)Slave modulation

無(wú)論是主動(dòng)調(diào)制還是被動(dòng)調(diào)制結(jié)構(gòu),當(dāng)空間光調(diào)制器預(yù)置的調(diào)制信號(hào)為Si(x,y)時(shí),單像素探測(cè)器接收的信號(hào)Ii可以表示為

式中f(x,y)表示待成像物體的圖像,可以表示為

式中L為調(diào)制次數(shù)。(2)式為關(guān)聯(lián)成像中常用的迭代復(fù)原算法,由(2)式可見(jiàn),通常情況下,空間分辨率越高復(fù)原圖像所需的調(diào)制次數(shù)越多,相應(yīng)的采樣時(shí)間就越長(zhǎng)。

2 基于低空間分辨率調(diào)制散斑的高空間分辨率關(guān)聯(lián)成像方法

一般情況下,在應(yīng)用關(guān)聯(lián)成像技術(shù)對(duì)空間分辨率為M×M的物體成像時(shí),在不失真的前提下,至少需要M2個(gè)調(diào)制散斑,散斑數(shù)據(jù)量隨空間分辨率提高呈平方關(guān)系急劇增加。在此采用多個(gè)編碼的低空間分辨率調(diào)制散斑來(lái)實(shí)現(xiàn)M×M高空間分辨率的關(guān)聯(lián)成像,為便于表述,假設(shè)將M×M空間分辨率的物體圖像等分為4份,即P1:(1:N,1:N)、P2:(1:N,N+1:M)、P3:(N+1:M,1:M)和P4:(N+1:M,N+1:M),其中M=2N,通過(guò)獲取4個(gè)(1:N,1:N)低空間分辨率的物體圖像來(lái)重構(gòu)M×M高空間分辨率物體圖像。首先生成4個(gè)隨機(jī)分布的大小為N×N的掩膜矩陣,分別記為EA、EB、EC和ED,掩膜矩陣滿足

其中·表示點(diǎn)乘運(yùn)算。從以上條件可以看出,4個(gè)掩膜矩陣為二值化正交矩陣,且在空間位置上不重合。計(jì)算機(jī)產(chǎn)生空間分辨率為N×N的二維調(diào)制散斑Si(x,y),調(diào)制散斑可以是隨機(jī)的,也可以是基于Hadamard基或者傅里葉基產(chǎn)生的正交散斑,進(jìn)而可構(gòu)造出空間分辨率大小為N×N的4個(gè)調(diào)制散斑EA·Si(x,y)、EB·Si(x,y)、EC·Si(x,y)和ED·Si(x,y)。這4個(gè)調(diào)制散斑將分別對(duì)成像物體的P1、P2、P3和P4部分進(jìn)行同時(shí)調(diào)制,單像素探測(cè)器接收成像物體的反射信號(hào),表示為

式中:TA、TB、TC和TD分別對(duì)應(yīng)成像物體空間分辨率大小為N×N的4個(gè)子圖像。(5)式可簡(jiǎn)化為

式中T表示空間分辨率為N×N成像物體的混疊圖像,可表示為

對(duì)于(6)式的求解,一般情況下,因散斑Si(x,y)模式不同,求解(6)式的方法也不同。如果Si(x,y)為隨機(jī)散斑,則一般通過(guò)壓縮感知算法對(duì)T進(jìn)行求解;如果Si(x,y)為基于Hadamard基的正交散斑,則可以通過(guò)迭代運(yùn)算對(duì)T進(jìn)行求解;如果Si(x,y)為傅里葉基散斑,則可以通過(guò)逆傅里葉變換的方法對(duì)T進(jìn)行求解。在獲取目標(biāo)物體N×N分辨率的混疊圖像T之后,根據(jù)掩膜矩陣EA、EB、EC和ED的正交性質(zhì),將掩膜矩陣分別與混疊圖像T做點(diǎn)乘運(yùn)算,可以得出成像物體的4個(gè)子圖像fA、fB、fC和fD,即

得到的子圖像fA、fB、fC和fD可以認(rèn)為是TA、TB、TC和TD(待復(fù)原的全采樣子圖像)分別被掩膜矩陣EA、EB、EC和ED調(diào)制后的圖像,相對(duì)于TA、TB、TC和TD,這里將fA、fB、fC和fD稱為欠采樣圖像。這里應(yīng)用組稀疏壓縮感知圖像算法[18]對(duì)(8)式進(jìn)行求解,重構(gòu)全采樣圖像TA、TB、TC和TD,即

式中:λ為規(guī)則化參數(shù),其根據(jù)欠采樣的子圖像質(zhì)量進(jìn)行調(diào)整,DGA、DGB、DGC和DGD分別為自適應(yīng)學(xué)習(xí)得到的稀疏基,和為相應(yīng)的稀疏系數(shù),因此,全采樣子圖像分別通過(guò)和來(lái)重構(gòu),?表示稀疏基和稀疏系數(shù)相乘運(yùn)算。通過(guò)對(duì)全采樣的低空間分辨率子圖像TA、TB、TC和TD進(jìn)行拼接來(lái)獲得高空間分辨率成像物體圖像。

3 仿真研究

上節(jié)理論介紹了通過(guò)多個(gè)低空間分辨率調(diào)制散斑來(lái)實(shí)現(xiàn)高空間分辨率關(guān)聯(lián)成像的方法,本節(jié)將通過(guò)三個(gè)計(jì)算機(jī)仿真實(shí)驗(yàn)來(lái)驗(yàn)證此方法的有效性。仿真實(shí)驗(yàn)一的成像對(duì)象為二值化的空間分辨率為256×512的物體,包含4個(gè)“HPST”字母,可以將其分成2個(gè)分辨率為256×256的子圖像,即P1:256×256的“HP”和P2:256×256的“ST”兩部分。仿真計(jì)算的流程如圖2所示:計(jì)算機(jī)生成65536個(gè)Hadamard基正交圖案,如圖2(a)所示;再同時(shí)構(gòu)造2個(gè)分辨率為256×256的掩膜矩陣EA和EB,分別如圖2(b)和2(c),且掩膜矩陣滿足第2節(jié)介紹的約束條件;Hadamard基圖案分別與掩膜矩陣點(diǎn)乘后生成2個(gè)256×256分辨率的調(diào)制散斑,如圖2(d)和2(e),其將同時(shí)對(duì)256×512分辨率的物體進(jìn)行成像[圖2(f)];調(diào)制散斑對(duì)物體進(jìn)行調(diào)制后,單像素探測(cè)器接收物體的信號(hào)并進(jìn)行數(shù)字化,如圖2(g)。由Hadamard基正交圖案與探測(cè)信號(hào)經(jīng)迭代運(yùn)算[(2)式]可獲得物體的混疊圖像,如圖2(h)?；殳B圖像與正交的掩膜矩陣進(jìn)行點(diǎn)乘運(yùn)算可分離出2個(gè)256×256分辨率的欠采樣物體圖像,如圖2(i)和2(j),最后通過(guò)組稀疏壓縮感知算法重構(gòu)物體全采樣圖像,進(jìn)而復(fù)現(xiàn)物體256×512空間分辨率的圖像,如圖2(k)所示。

圖2 仿真計(jì)算流程圖。(a)Hadamard基圖案;(b),(c)掩膜矩陣;(d),(e)掩膜矩陣與Hadamard基圖案點(diǎn)乘后的散斑;(f)成像物體;(g)調(diào)制散斑與物體相互作用后的單像素探測(cè)器接收的信號(hào);(h)物體的混疊圖像;(i),(j)欠采樣的低分辨率物體圖像;(k)重構(gòu)的高分辨率物體圖像Fig.2 Flow chart of simulation calculation.(a)Hadamard based patterns;(b),(c)Mask matrices;(d),(e)Results of dot product of mask matrix with Hadamard base pattern;(f)Imaging object;(g)The signal received by a single pixel detector from the modulated speckle interacting with the imaging object;(h)The mixed image of the imaging object;(i),(j)The undersampled low resolution images of the object;(k)The reconstructed high-resolution image of the imaging object

圖3為對(duì)空間分辨率為256×512的物體仿真成像的結(jié)果。復(fù)原時(shí)對(duì)探測(cè)的信號(hào)按照絕對(duì)值從大到小排序,選取前25%、50%、75%、100%探測(cè)信號(hào)(對(duì)應(yīng)散斑數(shù)分別為16384、32768、49152、65536)與其對(duì)應(yīng)的Hadamard基圖案進(jìn)行計(jì)算。圖3(a)～(d)分別對(duì)應(yīng)25%、50%、75%和100%采樣下的復(fù)原結(jié)果。其中,圖3(a)中最左邊圖像為復(fù)原的分辨率為256×256的物體混疊圖像,其包含了成像物體的4個(gè)字母,但是無(wú)法區(qū)分開(kāi)來(lái),根據(jù)掩膜矩陣的正交性質(zhì),將掩膜矩陣與混疊圖像進(jìn)行點(diǎn)乘運(yùn)算可分離出2個(gè)分辨率為256×256的子圖像,如圖3(a)中間列的兩個(gè)圖像,再對(duì)其分別應(yīng)用組稀疏壓縮感知算法重構(gòu)全采樣物體子圖像,最后將其按照成像時(shí)調(diào)制散斑的排列方向進(jìn)行拼接,從而復(fù)現(xiàn)成像物體高空間分辨率圖像,如圖3(a)最右列所示。

圖3 仿真一的結(jié)果。(a)～(d)分別對(duì)應(yīng)25%、50%、75%和100%采樣下的復(fù)原結(jié)果Fig.3 Results of the first simulation.(a)-(d)are the reconstructed results using 25%,50%,75%and 100%samples

為了定量評(píng)估所用方法重構(gòu)圖像的質(zhì)量,這里分別采用信噪比(SNR,RSN)[19]和均方根誤差(RMSE,ERMS)[20]來(lái)進(jìn)行評(píng)估,可分別表示為

式中:N表示重構(gòu)圖像橫向和縱向上的像素?cái)?shù);f(x,y)為空間位置(x,y)上的灰度值,f(x,y)max為圖像f(x,y)中所有灰度值的最大值;f0(x,y)表示仿真使用的原始圖像。RSN反應(yīng)了復(fù)原圖像的對(duì)比度,數(shù)值越大則表示圖像的對(duì)比度越高。ERMS反映了復(fù)原圖像與原始圖像之間的誤差,其值越小則復(fù)原圖像質(zhì)量越好,越接近原始圖像。對(duì)上述仿真實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià),計(jì)算的信噪比和均方根誤差如表1所示,可以看出隨著采樣次數(shù)的提高,信噪比逐漸增大,而均方根誤差逐漸降低,這種變化滿足傳統(tǒng)關(guān)聯(lián)成像的圖像復(fù)原規(guī)律。

表1 仿真一重構(gòu)圖像信噪比及均方根誤差與采樣數(shù)之間的關(guān)系Table 1 Relationship between the signal-to-noise ratio,root mean square error of reconstructed image with different measurements of the first simulation

下面開(kāi)展對(duì)空間分辨率為512×512物體的仿真實(shí)驗(yàn),仿真物體包含8個(gè)“12345678”數(shù)字,分上下兩排,每排4個(gè)數(shù)字。采用所提出方法可以將其分成4個(gè)分辨率為256×256的子圖像進(jìn)行處理,即P1:(1:256,1:256)、P2:(1:256,257:512)、P3:(257:512,1:256)和P4:(257:512,257:512)四個(gè)部分,計(jì)算的流程和仿真一相似。計(jì)算機(jī)生成Hadamard基正交圖案,同時(shí)構(gòu)造4個(gè)分辨率為256×256的掩膜矩陣EA、EB、EC和ED,其滿足第二節(jié)介紹的約束條件。掩膜矩陣分別與正交的Hadamard基圖案進(jìn)行點(diǎn)乘運(yùn)算后,同時(shí)對(duì)成像物體的四個(gè)部分進(jìn)行調(diào)制,單像素探測(cè)器收集物體的信號(hào)并進(jìn)行數(shù)字化、存儲(chǔ)。圖像重構(gòu)的方法與仿真一的處理方法相同,這里不再贅述。成像的結(jié)果如圖4所示,圖4(a)～(d)分別對(duì)應(yīng)25%、50%、75%(探測(cè)信號(hào)絕對(duì)值從大到小排序時(shí)的前16384、32768、49152個(gè)信號(hào))和100%(全部信號(hào))采樣下的復(fù)原結(jié)果。從結(jié)果上可以看出,通過(guò)4個(gè)256×256低空間分辨率散斑同時(shí)對(duì)512×512空間分辨率的物體進(jìn)行調(diào)制,可以較好地實(shí)現(xiàn)高分辨率成像。表2給出了仿真二圖像重構(gòu)的信噪比與均方根誤差,相應(yīng)變化規(guī)律與仿真一的相同。

表2 仿真二重構(gòu)圖像信噪比及均方根誤差與采樣數(shù)之間的關(guān)系Table 2 Relationship between the signal-to-noise ratio,root mean square error of reconstructed image with different measurements of the second simulation

從圖3與圖4可以看出,通過(guò)多個(gè)低分辨率的調(diào)制散斑同時(shí)對(duì)高分辨率二值物體進(jìn)行成像,可以獲得較好的成像結(jié)果。實(shí)際上,自然物體的圖像均是多灰度級(jí)的,因此評(píng)估所提出方法對(duì)灰度物體的成像效果更有意義。圖5給出了一組對(duì)512×512分辨率的灰度樓房仿真的結(jié)果,仿真使用的調(diào)制散斑、掩膜矩陣以及圖像的復(fù)原過(guò)程均與仿真二的均相同,這里不再贅述。圖5(a)～(d)分別對(duì)應(yīng)25%、50%、75%和100%采樣下的復(fù)原結(jié)果?？梢钥闯?通過(guò)四個(gè)256×256低空間分辨率散斑同時(shí)對(duì)512×512分辨率的灰度物體圖像進(jìn)行調(diào)制,也可以較好地實(shí)現(xiàn)高分辨率成像。表3給出了圖像重構(gòu)的信噪比與均方根誤差,相應(yīng)的變化規(guī)律與仿真實(shí)驗(yàn)二的相同。不過(guò),通過(guò)對(duì)比表2與表3可以發(fā)現(xiàn),在相同的采樣數(shù)下,所提方法對(duì)灰度物體成像的信噪比與均方根誤差較二值物體的差。

表3 仿真三重構(gòu)圖像信噪比及均方根誤差與采樣數(shù)之間的關(guān)系Table 3 Relationship between the signal-to-noise ratio,root mean square error of reconstructed image with different measurements of the third simulation

圖4 仿真二的結(jié)果。(a)～(d)分別對(duì)應(yīng)25%、50%、75%和100%采樣下的復(fù)原結(jié)果Fig.4 Results of the second simulation.(a)-(d)are the reconstructed results using 25%,50%,75%and 100%samples

圖5 仿真三的結(jié)果。(a)～(d)分別對(duì)應(yīng)25%、50%、75%和100%采樣下的復(fù)原結(jié)果Fig.5 Results of the third simulation.(a)-(d)are the reconstructed results using 25%,50%,75%and 100%samples

4 討論與結(jié)論

關(guān)聯(lián)成像機(jī)制決定了其成像空間分辨率與成像效率相互制約。通常情況下,橫向空間分辨率越高,成像所需的調(diào)制散斑越多,從而造成采集時(shí)間過(guò)長(zhǎng),不利于實(shí)際應(yīng)用。鑒于自然場(chǎng)景中圖像具有稀疏性的先驗(yàn)知識(shí),本文通過(guò)采用多個(gè)低空間分辨率的編碼散斑來(lái)實(shí)現(xiàn)對(duì)高空間分辨率物體成像。技術(shù)上,通過(guò)構(gòu)造多個(gè)低空間分辨率的掩膜矩陣與低空間分辨率的Hadamard基圖案復(fù)用來(lái)生成高空間分辨率調(diào)制散斑對(duì)物體進(jìn)行調(diào)制,單像素探測(cè)器收集高空間分辨率物體被調(diào)制后的信息。圖像復(fù)原時(shí),首先通過(guò)迭代算法復(fù)原出物體的混疊圖像,然后利用掩膜矩陣相互正交的性質(zhì),通過(guò)物體混疊圖像與掩膜矩陣點(diǎn)乘運(yùn)算解調(diào)出相應(yīng)欠采樣的低分辨率圖像,然后對(duì)分離出的欠采樣圖像應(yīng)用組稀疏壓縮感知算法復(fù)原全采樣圖像,最后復(fù)現(xiàn)物體高空間分辨率圖像。計(jì)算機(jī)仿真驗(yàn)證了此方法的有效性。所提方法在對(duì)物體進(jìn)行高空間分辨率成像且對(duì)采樣時(shí)間要求比較苛刻的場(chǎng)合(X射線關(guān)聯(lián)成像)有著重要的應(yīng)用價(jià)值。

所提方法可以大幅降低調(diào)制散斑數(shù)量,進(jìn)而減少在線采樣時(shí)間。如對(duì)空間分辨率為512×512的物體進(jìn)行成像時(shí),使用基于正交Hadamard基的調(diào)制散斑,100%采樣時(shí)需要散斑數(shù)量為262144(不考慮互補(bǔ)),在調(diào)制頻率為20 kHz時(shí),僅采集時(shí)間需要約13 s,而采用所提方法在相同條件下對(duì)空間分辨率為512×512的物體進(jìn)行成像時(shí),如果使用4個(gè)低空間分辨率的256×256調(diào)制散斑來(lái)成像,采集時(shí)間約為3.3 s;如果使用8個(gè)低空間分辨率的128×128調(diào)制散斑來(lái)成像,采集時(shí)間約為0.8 s,可以看出所提方法可以大幅降低采樣時(shí)間。當(dāng)然,本方法雖然大幅降低了在線采樣時(shí)間,卻以犧牲離線圖像重構(gòu)復(fù)原時(shí)間為代價(jià),后期擬采用如卷積神經(jīng)網(wǎng)絡(luò)等人工智能算法來(lái)代替壓縮感知算法,從而降低圖像復(fù)原時(shí)間。