趙全超，楊禎明，陳旭，王春芳，張大偉

（1.上海理工大學(xué) 理學(xué)院，上海 200093；2.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

引言

傳統(tǒng)光學(xué)成像是基于光場(chǎng)一階性質(zhì)的被動(dòng)直接成像技術(shù)，利用陣列探測(cè)器直接記錄物體表面的光強(qiáng)分布。關(guān)聯(lián)成像是一種基于光場(chǎng)二階或高階關(guān)聯(lián)的主動(dòng)間接成像技術(shù)。關(guān)聯(lián)成像使用的是桶探測(cè)器（單像素探測(cè)器），可以在微弱的回波條件下進(jìn)行成像[1-3]，同時(shí)，關(guān)聯(lián)成像可實(shí)現(xiàn)無(wú)透鏡成像，能夠在X光[4-5]，紅外[6-7]，太赫茲（THz）[8-9]等一些難以成像的波段進(jìn)行成像。因此，關(guān)聯(lián)成像一經(jīng)提出，便引起了眾多學(xué)者的興趣。1988 年，Pittman等[10]基于自發(fā)參量下轉(zhuǎn)換過(guò)程中產(chǎn)生的信號(hào)光子對(duì)和空閑光子對(duì)的量子性質(zhì)，提出了關(guān)聯(lián)成像實(shí)驗(yàn)方案。2002 年，Bennink等[11]利用經(jīng)典光源證明了量子糾纏源不是實(shí)現(xiàn)關(guān)聯(lián)成像的必要條件。此后，關(guān)聯(lián)成像作為一種新型的成像技術(shù)，在軍事領(lǐng)域得到了廣泛的研究和應(yīng)用。此外，與傳統(tǒng)光學(xué)成像相比，關(guān)聯(lián)成像的成像質(zhì)量可以通過(guò)多次測(cè)量來(lái)抑制與使用光源無(wú)關(guān)的其他噪聲的方法得到提高[12-13]。但由于傳統(tǒng)的二階關(guān)聯(lián)成像算法受限于奈奎斯特采樣定理的極限，為突破奈奎斯特采樣定理的極限，使得關(guān)聯(lián)成像在低采樣率下依舊能重構(gòu)出高質(zhì)量圖像，研究者將傳統(tǒng)二階關(guān)聯(lián)成像算法與新的理論方法相結(jié)合，提出一些新的關(guān)聯(lián)成像算法。本文總結(jié)了近年來(lái)關(guān)于低采樣關(guān)聯(lián)成像的研究進(jìn)展，將這些研究成果分為兩部分：第一部分通過(guò)優(yōu)化光源的調(diào)制方式來(lái)降低采樣率；第二部分通過(guò)優(yōu)化關(guān)聯(lián)成像算法來(lái)降低采樣率。

1 關(guān)聯(lián)成像原理

關(guān)聯(lián)成像，又叫鬼成像，是一種使用光源照射物體的主動(dòng)成像技術(shù)。從光場(chǎng)強(qiáng)度漲落理論來(lái)探討關(guān)聯(lián)成像原理[14-15]。在實(shí)際應(yīng)用中，可使用旋轉(zhuǎn)的毛玻璃產(chǎn)生相干光源。由于探測(cè)器在測(cè)量過(guò)程中記錄的是一定時(shí)間內(nèi)對(duì)光強(qiáng)的積分結(jié)果，只有當(dāng)積分時(shí)間小于光場(chǎng)相干時(shí)間，探測(cè)器才能記錄光場(chǎng)的強(qiáng)度漲落，而自然光源的相干時(shí)間非常短，現(xiàn)存的探測(cè)器響應(yīng)時(shí)間太長(zhǎng)，只能記錄幾個(gè)光場(chǎng)強(qiáng)度漲落的平均。旋轉(zhuǎn)的毛玻璃產(chǎn)生的相干光相干時(shí)間長(zhǎng)，通過(guò)這種方式產(chǎn)生的光源被稱為贗熱光。贗熱光的制備比較簡(jiǎn)單，因此贗熱光關(guān)聯(lián)成像在相當(dāng)長(zhǎng)的時(shí)間內(nèi)得到了廣泛應(yīng)用。

如圖1 所示，關(guān)聯(lián)成像系統(tǒng)具有兩條光路：一條為參考光路，即光經(jīng)過(guò)空間自由傳播被具有空間分辨能力的探測(cè)器記錄為I1(r,t) ；另一條為測(cè)試光路，經(jīng)過(guò)待測(cè)物體的光強(qiáng)被桶探測(cè)器收集為I2(t) 。物體的圖像可以經(jīng)過(guò)兩個(gè)探測(cè)器采集的數(shù)據(jù)進(jìn)行強(qiáng)度關(guān)聯(lián)得到，即

圖1 贗熱光關(guān)聯(lián)成像示意圖Fig.1 Schematic diagram of pseudothermal light associated imaging

式中：〈〉為時(shí)域上的系綜平均；I1(r,t)為t時(shí)刻陣列探測(cè)器記錄的光場(chǎng)強(qiáng)度分布；I2(t)為t時(shí)刻桶探測(cè)器記錄的通過(guò)物體的總光強(qiáng)值。

關(guān)聯(lián)成像質(zhì)量與系統(tǒng)的采樣數(shù)有關(guān)，采樣數(shù)越多重構(gòu)出的圖像信噪比越高。但在很多的應(yīng)用場(chǎng)景中，無(wú)法進(jìn)行多次測(cè)量，如運(yùn)動(dòng)物體成像、遙感成像、顯微成像等。如何在低采樣率的情況下重構(gòu)出高質(zhì)量的圖像成為亟待解決的問(wèn)題。

2 低采樣關(guān)聯(lián)成像的發(fā)展

采樣次數(shù)決定著關(guān)聯(lián)成像的效率與質(zhì)量。在實(shí)際應(yīng)用中，數(shù)據(jù)的采集量與成像質(zhì)量形成矛盾。如運(yùn)動(dòng)物體的成像問(wèn)題，目標(biāo)的快速運(yùn)動(dòng)決定了無(wú)法保證充足的采樣數(shù)量及時(shí)間。根據(jù)近幾年的研究結(jié)果，該問(wèn)題的解決主要有以下兩個(gè)方面。

2.1 光源的調(diào)制

在關(guān)聯(lián)成像中，同等采樣情況下，可以通過(guò)改變散斑的調(diào)制方式有效地獲取物體信息，以此來(lái)降低成像所需的采樣數(shù)。2013 年，中國(guó)科學(xué)院上海光學(xué)精密機(jī)械研究所韓申生研究員基于物體不同復(fù)雜程度提出了一種利用多尺度相關(guān)構(gòu)造高效測(cè)量矩陣的方法[16]。測(cè)量矩陣的橫向相關(guān)尺度通常是恒定的，橫向相關(guān)尺度大于物體細(xì)節(jié)尺寸則無(wú)法成像，橫向相關(guān)尺度小于物體細(xì)節(jié)尺寸則增加成像所需采樣數(shù)。多尺度相關(guān)即利用大小混合散斑去照明物體，相同圖像信噪比的情況下，使用大小混合散斑比使用普通散斑采樣次數(shù)要更少。2017 年，Glasgow 大學(xué)的Miles 小組受動(dòng)物凹形視覺(jué)啟發(fā)，利用高分辨率的中心凹區(qū)域跟蹤場(chǎng)景中的運(yùn)動(dòng)物體，犧牲視場(chǎng)邊緣區(qū)域的圖像分辨率，提高了中心視場(chǎng)的圖像分辨率[17]，該方法消除了許多動(dòng)態(tài)場(chǎng)景的時(shí)空冗余。2017年，北京航空航天大學(xué)的孫鳴捷等基于傳統(tǒng)的壓縮感知技術(shù)，提出了另一種壓縮感知方法[18]，用俄羅斯娃娃排序的方法對(duì)Hadamard 基重新排序，在離散增量下，獲得了不同空間分辨率的完整采樣。如圖2 所示，這種壓縮方法與其他壓縮感知技術(shù)一樣，可將采樣率降至6%。

圖2 壓縮單像素成像的Hadamard 基的俄羅斯娃娃排序[18]Fig.2 Compressed single pixel imaging of Hadamard-based Russian doll sorting[18]

2019 年，北京理工大學(xué)的余文凱研究小組基于散斑與圖像重建之間的內(nèi)在聯(lián)系，提出了一種確定性折紙圖案構(gòu)造的光源調(diào)制方法[19]。如圖3 所示，該方法可以獲得更精確的散斑排序序列，將采樣率大幅降低。2019 年，該研究小組采取蛋糕切割策略提出另一種光源調(diào)制方法[20]，把測(cè)量矩陣看作一個(gè)蛋糕，每個(gè)連通域視為蛋糕的一塊，按照升序的方式對(duì)測(cè)量矩陣的連通域數(shù)量進(jìn)行排序。該方法能夠在超亞奈奎斯特采樣下重構(gòu)出高質(zhì)量的圖像，顯著縮短采集時(shí)間。2020年,葡萄牙科英布拉大學(xué)的Vaz 等研究了Hadamard基的自然排序、Walsh 排序、蛋糕切割排序、高頻排序及隨機(jī)排序?qū)D像重建質(zhì)量的影響[21]。結(jié)果表明，Walsh 和蛋糕切割排序在采樣率為30%的情況下可實(shí)現(xiàn)圖像的高質(zhì)量重建；當(dāng)采樣率降為10%時(shí)，這兩種排序方式所得到的結(jié)果略有不同。2020 年，重慶大學(xué)的楊帆研究小組在降低采樣率和提高圖像重構(gòu)質(zhì)量方面，也提出了不同排序的Hadamard 基模式[22]，取得采樣率為5%時(shí)的重構(gòu)結(jié)果。2021 年，深圳大學(xué)的焦述銘研究小組提出自適應(yīng)動(dòng)態(tài)確定照明模式順序的方法[23]。自然圖像在其頻譜中的低頻分量由其空間域的平滑區(qū)域決定，高頻分量由細(xì)節(jié)區(qū)域決定。為平衡低頻分量與高頻分量的優(yōu)先級(jí)，在迭代中將記錄的桶光強(qiáng)與訓(xùn)練圖像的平均光譜進(jìn)行對(duì)比并對(duì)下一次迭代的照明模式進(jìn)行最佳排序。該方法使重構(gòu)圖像所需采樣數(shù)進(jìn)一步降低。

圖3 折紙圖案構(gòu)造的方法 [19]Fig.3 The method of origami pattern construction[19]

2.2 成像算法

作為一種新型的主動(dòng)間接成像技術(shù)，重構(gòu)算法對(duì)關(guān)聯(lián)成像系統(tǒng)的性能同樣有著重要的作用。先進(jìn)的算法可以讓關(guān)聯(lián)成像重構(gòu)圖像所依賴的采樣數(shù)大幅減少。關(guān)聯(lián)成像的成像算法可分為3 種。

1）基于強(qiáng)度關(guān)聯(lián)的成像算法。研究人員在強(qiáng)度關(guān)聯(lián)的基礎(chǔ)上對(duì)成像算法進(jìn)行不斷優(yōu)化，以降低成像所需的采樣次數(shù)。2010 年，諾布里亞大學(xué)的Ferri 等提出了差分鬼成像（DGI）[24]，將物體的傳輸函數(shù)修改為平均傳輸函數(shù)，提高關(guān)聯(lián)成像對(duì)強(qiáng)度波動(dòng)的敏感度，有效降低了采樣率。在同等條件下，和傳統(tǒng)鬼成像（GI）相比可以用更少的采樣數(shù)重構(gòu)圖像。2012 年，孫寶清提出了歸一化迭代鬼成像[25]，通過(guò)對(duì)測(cè)量信號(hào)進(jìn)行歸一化，可以對(duì)待測(cè)目標(biāo)的集合平均施加更合適的加權(quán)因子，從而有效降低采樣次數(shù)。2014 年，中國(guó)科學(xué)院大學(xué)的翟光杰研究小組提出了迭代去噪鬼成像（IDGI）[26]，將傳統(tǒng)的強(qiáng)度相關(guān)去噪方法與迭代方法相結(jié)合，對(duì)影響圖像質(zhì)量的實(shí)際噪聲進(jìn)行了精確的估計(jì)，從而有效降低采樣率。如圖4 所示，在相同條件下，實(shí)驗(yàn)結(jié)果顯示IDGI 重建圖像的質(zhì)量明顯優(yōu)于DGI、GI 的重建圖像。2019 年，國(guó)防科技大學(xué)的劉偉濤研究小組針對(duì)有限的采樣數(shù)量和光照不完全引起的關(guān)聯(lián)成像系統(tǒng)中點(diǎn)擴(kuò)散函數(shù)誤差的問(wèn)題，提出了一種利用照明場(chǎng)的二階相干性進(jìn)行歸一化的算法[27]，該算法可以減小誤差，從而降低采樣率。2020 年，清華大學(xué)的李俊林研究小組提出了一種即時(shí)鬼成像算法[28]，將桶光強(qiáng)與測(cè)量矩陣的關(guān)聯(lián)修改為兩次連續(xù)測(cè)量之間的桶光強(qiáng)差與測(cè)量矩陣差的關(guān)聯(lián)，并進(jìn)行積累。最后一次測(cè)試時(shí)，積累項(xiàng)就是物體的圖像。該處理方法等效于關(guān)聯(lián)成像去背景噪聲算法，從而有效降低采樣率，并且檢測(cè)信號(hào)差的處理幾乎不需要時(shí)間，因此用該處理方法為關(guān)聯(lián)成像的實(shí)用化提供了一種可能思路。

圖4 迭代去噪鬼成像結(jié)果[26]Fig.4 Iterative denoising ghost imaging results[26]

2）基于壓縮感知的成像算法。有實(shí)驗(yàn)表明，將壓縮感知理論引入關(guān)聯(lián)成像算法中可以有效地減少成像所需的采樣次數(shù)。2009 年，以色列魏茨曼科學(xué)研究所的Katz 等提出了一種先進(jìn)的關(guān)聯(lián)成像算法[29]，自然界中的自然信號(hào)和圖像結(jié)構(gòu)中存在冗余。利用這一特點(diǎn)在關(guān)聯(lián)成像算法中引入壓縮感知理論，該算法將采樣率降到30%。2014 年，吉林大學(xué)的郜峰利研究小組通過(guò)計(jì)算各散斑場(chǎng)的行向量構(gòu)成的偽逆矩陣提出一種基于偽逆的關(guān)聯(lián)成像算法[30]，該算法與傳統(tǒng)關(guān)聯(lián)成像算法和壓縮感知算法相比，重構(gòu)相同質(zhì)量的圖像所需采樣數(shù)更少。2015 年，中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所的張同意研究小組研究了不同的信號(hào)重建技術(shù)對(duì)壓縮鬼成像（CGI）重構(gòu)圖像質(zhì)量的影響[31]。利用關(guān)聯(lián)成像實(shí)驗(yàn)系統(tǒng)證明了貪婪近似算法（OMP）、基追蹤去噪算法（BPDN）、交替方向算法（TVAL3）3 種不同方法的可行性，實(shí)驗(yàn)結(jié)果如圖5 所示。2018 年，長(zhǎng)春大學(xué)的宋立軍研究小組基于投影Landweber 正則化和引導(dǎo)濾波提出一種高質(zhì)量壓縮鬼成像算法[32]，該算法通過(guò)正則化和去噪的分解來(lái)重建目標(biāo)圖像，有效降低系統(tǒng)采樣率，提高重構(gòu)圖像的質(zhì)量。

圖5 基于不同信號(hào)重建方法的壓縮關(guān)聯(lián)成像的結(jié)果[31]Results of compressed correlation imaging based on different signal reconstruction methods[31]

3）基于機(jī)器學(xué)習(xí)的關(guān)聯(lián)成像算法。近年來(lái)，隨著深度學(xué)習(xí)迅速發(fā)展，尤其是計(jì)算機(jī)視覺(jué)的發(fā)展，將深度學(xué)習(xí)與關(guān)聯(lián)成像相結(jié)合,不僅可以降低成像所需的采樣次數(shù)，而且對(duì)成像效率的提高起著關(guān)鍵作用。2018 年，日本千葉大學(xué)的Shimobaba 等將深度學(xué)習(xí)與計(jì)算關(guān)聯(lián)成像相結(jié)合[33]，利用神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)的特點(diǎn)，使用深度神經(jīng)網(wǎng)絡(luò)（DNN）自動(dòng)學(xué)習(xí)CGI 重建的噪聲圖像的特征。訓(xùn)練后，該網(wǎng)絡(luò)可以從未包含在訓(xùn)練集中的新的有噪聲CGI 圖像中預(yù)測(cè)低噪聲圖像，可極大減少采樣需求。2019 年，中國(guó)科學(xué)院上海光學(xué)精密機(jī)械研究所的司徒國(guó)海研究小組基于深度神經(jīng)網(wǎng)絡(luò)提出了一種端到端的方法[34]，用數(shù)值模擬數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)模型，將實(shí)驗(yàn)采集到的一維桶信號(hào)直接載入訓(xùn)練好的網(wǎng)絡(luò)模型，重構(gòu)出目標(biāo)的二維圖像，實(shí)驗(yàn)結(jié)果表明這種方法可以將采樣率降至2%，網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。2020 年，廣東工業(yè)大學(xué)的王瑞洲研究小組提出了一種深度神經(jīng)網(wǎng)絡(luò)模型（DAttNet）[35]，用于恢復(fù)目標(biāo)圖像。利用仿真數(shù)據(jù)訓(xùn)練DAttNet，可將沒(méi)有分辨本領(lǐng)的實(shí)驗(yàn)桶光強(qiáng)數(shù)據(jù)實(shí)現(xiàn)目標(biāo)圖像的重構(gòu)。實(shí)驗(yàn)結(jié)果表明，該方案能夠在亞奈奎斯特采樣條件下（如2%）重構(gòu)高質(zhì)量的圖像，其性能優(yōu)于常規(guī)和壓縮感知關(guān)聯(lián)成像算法。2021年，該研究小組提出一種自適應(yīng)混合神經(jīng)網(wǎng)絡(luò)用于關(guān)聯(lián)成像[36]，來(lái)恢復(fù)不同亞奈奎斯特采樣比（SNSRs）下物體的高質(zhì)量圖像，網(wǎng)絡(luò)中添加了干擾添加層（HA）來(lái)去除訓(xùn)練過(guò)程中的退化和噪聲，用模擬數(shù)據(jù)對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以從不同采樣率下的實(shí)驗(yàn)數(shù)據(jù)中恢復(fù)出高質(zhì)量的圖像。2021年，南昌大學(xué)的燕秋容研究小組基于生成對(duì)抗網(wǎng)絡(luò)（GAN）提出了一種壓縮重構(gòu)網(wǎng)絡(luò)（OGTM）[37]，將實(shí)現(xiàn)采樣的采樣子網(wǎng)絡(luò)與生成網(wǎng)絡(luò)進(jìn)行聯(lián)合優(yōu)化，從而更好地進(jìn)行圖像重構(gòu)，該方法將關(guān)聯(lián)成像系統(tǒng)的采樣率將至1%。2022 年,中國(guó)科學(xué)院上海光學(xué)精密機(jī)械研究所的司徒國(guó)海研究小組又提出了一種基于深度學(xué)習(xí)的超分辨率遠(yuǎn)場(chǎng)GI算法[38]，將GI 圖像形成的物理模型整合到深度神經(jīng)網(wǎng)絡(luò)中，并施加相應(yīng)的約束條件，利用這種方法的遠(yuǎn)場(chǎng)圖像重建，除采樣率要求不高之外，其分辨率可超過(guò)衍射極限。

圖6 深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖[34]Fig.6 Structure diagram of deep neural network model[34]

3 結(jié)論

關(guān)聯(lián)成像作為一種主動(dòng)間接成像技術(shù)，有著優(yōu)于傳統(tǒng)光學(xué)成像技術(shù)的優(yōu)勢(shì)。這些優(yōu)勢(shì)使關(guān)聯(lián)成像在生物醫(yī)療、遙感、國(guó)防、非局域成像等領(lǐng)域備受關(guān)注。但是關(guān)聯(lián)成像想要走向?qū)嶋H應(yīng)用，不僅要在更低的采樣率下獲得高質(zhì)量的重構(gòu)圖像，而且還要考慮圖像重建的速度。考慮這兩種因素，簡(jiǎn)要分析以上幾種方法的優(yōu)缺點(diǎn)。這些方法可分為基于壓縮感知理論和深度學(xué)習(xí)理論的兩大類優(yōu)化方法。壓縮感知理論引入關(guān)聯(lián)成像，利用自然界大多數(shù)自然信號(hào)和圖像結(jié)構(gòu)的稀疏性，雖然有效降低了系統(tǒng)的采樣率，但是圖像的重構(gòu)效率被降低，限制了關(guān)聯(lián)成像在實(shí)際應(yīng)用中的發(fā)展。深度學(xué)習(xí)理論引入關(guān)聯(lián)成像，利用神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)的特點(diǎn)，讓神經(jīng)網(wǎng)絡(luò)模型自主學(xué)習(xí)桶光強(qiáng)與目標(biāo)圖像之間的映射關(guān)系，雖然有效降低系統(tǒng)的采樣率及提高圖像重構(gòu)效率，但是前期需要花費(fèi)大量的時(shí)間去準(zhǔn)備網(wǎng)絡(luò)訓(xùn)練所需訓(xùn)練集及訓(xùn)練網(wǎng)絡(luò)。這也限制了關(guān)聯(lián)成像的發(fā)展。隨著科學(xué)技術(shù)的發(fā)展，相信在可預(yù)見(jiàn)的未來(lái)，可以攻克這些難題，使關(guān)聯(lián)成像的產(chǎn)業(yè)化進(jìn)程得到全面推進(jìn)，應(yīng)用于更廣泛的領(lǐng)域。