林冰,樊學(xué)強,李德奎,彭志勇,郭忠義?

(1合肥工業(yè)大學(xué)計算機與信息學(xué)院,安徽 合肥 230601;2天津津航技術(shù)物理研究所,天津 300192)

0 引言

散射介質(zhì)(如大氣[1,2]、水下環(huán)境[3,4]、生物組織[5?7]等)普遍存在于自然界中。光在散射介質(zhì)中傳播時,由于各種散射粒子的影響,其有序的波前相位將會發(fā)生畸變、強度信息將會有所衰減,進而造成探測器所接收到的圖像出現(xiàn)細節(jié)模糊、分辨率低[8,9]等問題。同時,光在散射介質(zhì)中的散射是一種復(fù)雜的物理現(xiàn)象,該散射過程不僅與散射粒子的相對尺度、種類和形狀有關(guān),還與散射體系中的粒子數(shù)密度以及散射粒子的分布等因素有關(guān)。對于散射介質(zhì)中的目標(biāo)探測問題,探測系統(tǒng)所獲取的信息是由目標(biāo)光和背景散射光共同組成的。一般情況下,當(dāng)散射強度較小或傳輸距離較近時,探測系統(tǒng)仍可以有效分辨接收圖像中的目標(biāo)信息;但當(dāng)散射強度增大或傳輸距離較遠時,由于強烈的散射作用,目標(biāo)信息將大幅衰減,背景散射光將相應(yīng)增強、形成噪聲,導(dǎo)致目標(biāo)信息難以分辨。所以,如何抑制或去除背景散射光成為透過散射介質(zhì)成像的主要研究內(nèi)容。在以往的研究中,研究人員基于探究散射過程中總結(jié)的物理模型,例如記憶效應(yīng)[10,11]、傳輸矩陣[12,13]、波前整形[14,15]和關(guān)聯(lián)成像[16,17]等,抑制或消除背景散射光,進而突出目標(biāo)信息、提高成像質(zhì)量。近年來,隨著硬件性能、計算設(shè)備算力的大幅提升,數(shù)據(jù)成為社會中最寶貴的資源之一,基于傳統(tǒng)物理模型的成像方式也逐漸向數(shù)據(jù)模型[18,19]轉(zhuǎn)變。各種基于數(shù)據(jù)驅(qū)動的人工智能算法開始應(yīng)用于散射介質(zhì)中的目標(biāo)成像。

隨著計算機技術(shù)的快速發(fā)展,機器學(xué)習(xí)(ML)在光學(xué)成像領(lǐng)域[20,21]的應(yīng)用引起了越來越多研究者的關(guān)注。2015年,Horisakir團隊使用支持向量機(SVM)實現(xiàn)了散射介質(zhì)中目標(biāo)的分類[22],基于此,2016年該團隊實現(xiàn)了散射介質(zhì)中目標(biāo)信息的恢復(fù)[23],而后,研究人員開始嘗試將深度學(xué)習(xí)(DL)技術(shù)應(yīng)用到光學(xué)成像領(lǐng)域并取得了長足發(fā)展。DL算法作為ML中一個新的研究方向,其利用深度神經(jīng)網(wǎng)絡(luò)(DNN),從大規(guī)模數(shù)據(jù)中提取有價值的信息,同時選取合適的優(yōu)化函數(shù)和損失函數(shù)進行迭代以優(yōu)化網(wǎng)絡(luò)參數(shù),最終在特定的任務(wù)中獲得較為優(yōu)秀的預(yù)測結(jié)果。傳統(tǒng)的散射成像技術(shù)普遍存在耗時、費力和實驗環(huán)境要求苛刻等問題。由于其強大的數(shù)據(jù)挖掘能力,DL算法可以有效克服傳統(tǒng)散射光場成像技術(shù)中存在的固有問題,同時,其相對簡單的實驗系統(tǒng)也在很大程度上減少了散射光場成像的實驗成本?；贒L算法的散射光場成像技術(shù)的研究越來越深入,迄今為止,該領(lǐng)域取得了一系列突出的研究成果。

本文基于監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩種學(xué)習(xí)策略,對基于DL算法的散射光場成像技術(shù)所取得的進展進行總結(jié);然后,從不同角度,包括應(yīng)用場景以及網(wǎng)絡(luò)結(jié)構(gòu)等方面對比分析它們各自的優(yōu)勢和不足,并討論了基于DL算法的散射光場成像技術(shù)問題所面臨的挑戰(zhàn);最后展望了該技術(shù)的發(fā)展前景以及未來可能的研究方向。

1 基于監(jiān)督學(xué)習(xí)的散射光場成像

現(xiàn)階段,監(jiān)督學(xué)習(xí)在基于DL算法的散射光場成像研究中占主導(dǎo)地位,主要基于兩種學(xué)習(xí)策略,即強監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。強監(jiān)督學(xué)習(xí)是指神經(jīng)網(wǎng)絡(luò)從具有嚴格配對關(guān)系的訓(xùn)練集與標(biāo)簽之間學(xué)習(xí)到散射圖與原圖之間的函數(shù)關(guān)系,進而構(gòu)建“逆散射”模型來消除散射影響,恢復(fù)清晰目標(biāo),其基本原理如圖1所示。半監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)的不同之處在于神經(jīng)網(wǎng)絡(luò)不需訓(xùn)練集與標(biāo)簽之間具有嚴格的配對關(guān)系。神經(jīng)網(wǎng)絡(luò)通過間接映射來擬合“逆散射”模型,實現(xiàn)對散射效應(yīng)的有效去除。因此,半監(jiān)督學(xué)習(xí)在一定程度上克服了網(wǎng)絡(luò)訓(xùn)練過程中對于原始數(shù)據(jù)的依賴,大大增加了可用數(shù)據(jù)集。

圖1 基于深度學(xué)習(xí)算法的散射光場成像模型Fig.1 Imaging through scattering media based on deep learning

基于監(jiān)督學(xué)習(xí)的散射光場成像設(shè)計思路比較簡單,只需將訓(xùn)練集和標(biāo)簽輸入到搭建好的神經(jīng)網(wǎng)絡(luò)模型中,然后選取合適的優(yōu)化函數(shù)和損失函數(shù),最終模型的計算由計算機來完成。但是,由于散射光場成像的數(shù)據(jù)集樣本量匱乏、條件單一,導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型的泛化能力較弱。因此,目前大多數(shù)研究人員在實現(xiàn)高質(zhì)量成像的基礎(chǔ)上,通過對訓(xùn)練數(shù)據(jù)的優(yōu)化、采用更先進的網(wǎng)絡(luò)結(jié)構(gòu)和理論方法,不斷提高網(wǎng)絡(luò)模型跨條件泛化成像的能力,減少可變因素對模型的干擾,從而推動實現(xiàn)基于DL算法的散射光場成像在不同場景下的應(yīng)用。

1.1強監(jiān)督學(xué)習(xí)

目前,基于強監(jiān)督學(xué)習(xí)策略的散射光場成像主要使用三種網(wǎng)絡(luò)架構(gòu):卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和條件生成對抗網(wǎng)絡(luò)(CGAN)。這三種網(wǎng)絡(luò)架構(gòu)各自具有不同特點,分別應(yīng)用于不同情況下的散射光場成像。接下來,將分別對基于CNN、RNN和CGAN三種網(wǎng)絡(luò)架構(gòu)下的散射光場成像方法進行對比和分析。

1.1.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN被廣泛應(yīng)用于自動駕駛、目標(biāo)識別、語義分割和圖像重建等領(lǐng)域,同時也是散射光場成像研究的常用神經(jīng)網(wǎng)絡(luò)模塊。經(jīng)過多年發(fā)展,基于CNN的ResNet、VGG、DensNet、U-Net等性能優(yōu)越的神經(jīng)網(wǎng)絡(luò)架構(gòu)被提出。其中,U-Net一開始被廣泛應(yīng)用于語義分割[24]。近些年,U-Net在圖像恢復(fù)方面也有著卓越的表現(xiàn),并且已經(jīng)成為散射光場成像領(lǐng)域的主流神經(jīng)網(wǎng)絡(luò)框架[25?30]。麻省理工學(xué)院的Li等[25]首次提出了一種以U-Net框架為基礎(chǔ)的IDiffNet,以解決散射介質(zhì)中的目標(biāo)恢復(fù)問題,如圖2(a)所示。該研究旨在通過IDiffNet學(xué)習(xí)散射圖像和原圖之間的映射關(guān)系,并以此重建隱藏在散斑背后的目標(biāo)信息。從圖2(b)、(c)中的測試結(jié)果可以看到IDiffNet對于復(fù)雜目標(biāo)具有優(yōu)越的泛化能力。同時,Li等對比了網(wǎng)絡(luò)模型在負皮爾遜相關(guān)系數(shù)(NPCC)和均方誤差(MSE)兩種損失函數(shù)情況下的測試結(jié)果,證明NPCC更適用于空間稀疏目標(biāo)和強散射條件的重建任務(wù),為訓(xùn)練網(wǎng)絡(luò)模型提供了一個可以更快收斂、成像效果更好的損失函數(shù)。

圖2 (a)IDiffNet網(wǎng)絡(luò)結(jié)構(gòu)[25];(b)損失函數(shù)為MSE的測試結(jié)果;(c)損失函數(shù)為NPCC的測試結(jié)果Fig.2(a)Network structure of IDiffNet[25];(b)Test results trained by MSE;(c)Test results trained by NPCC

同一年,Li等[26]提出了一種利用CNN適應(yīng)不同散射介質(zhì)下的散斑相關(guān)性的成像方法。該方法利用大量宏觀結(jié)構(gòu)相同但微觀構(gòu)造不同的毛玻璃獲得散斑數(shù)據(jù),使得網(wǎng)絡(luò)能夠?qū)W習(xí)到一組具有相同宏觀參數(shù)毛玻璃的統(tǒng)計信息,具體過程如圖3(a)所示。訓(xùn)練收斂的模型可以恢復(fù)出通過不同散射介質(zhì)的多種目標(biāo)[圖3(b)展示的是在訓(xùn)練集中出現(xiàn)的目標(biāo)和未在訓(xùn)練集中出現(xiàn)的目標(biāo)的測試結(jié)果],為散射光場成像的高度可擴展性提供了基礎(chǔ)。

圖3 (a)適應(yīng)不同散斑相關(guān)性的成像方法[26];(b)未知散射介質(zhì)中可見目標(biāo)和不可見目標(biāo)測試結(jié)果[26]Fig.3(a)Imaging methods adapted to different spot-related correlations[26];(b)Test results of seen and unseen targets in unknown scattering media[26]

在Li等研究的基礎(chǔ)上,Zhu等[27]利用散斑的自相關(guān)先驗信息作為訓(xùn)練集,以此驅(qū)動網(wǎng)絡(luò)有效提取目標(biāo)通過不同散射介質(zhì)時的統(tǒng)計不變量,使得模型能夠在不同散射場景下重建目標(biāo),具體過程如圖4(a1)所示。與之前的研究方法相比,該方法只需要一種散射條件下的目標(biāo)自相關(guān)信息作為訓(xùn)練集,數(shù)據(jù)采集效率更高,重建目標(biāo)所需先驗信息更少。由如圖4(a2)的人臉重建結(jié)果可知,該方法對于未知散射介質(zhì)中的目標(biāo)重建具有較好的泛化能力。并且,當(dāng)組成散射介質(zhì)的毛玻璃塊數(shù)較多時,網(wǎng)絡(luò)可以獲得更廣義上的散射介質(zhì)的統(tǒng)計特性,對于未知散射介質(zhì)的泛化成像質(zhì)量也更好。之后,該課題組的研究人員采用相同的方法實現(xiàn)了通過未知散射場景的彩色成像[28],如圖4(b1)所示。由圖4(b2)可以看到,在未知散射介質(zhì)中,彩色目標(biāo)可以通過該方法實現(xiàn)高保真度的重建。與通過網(wǎng)絡(luò)獲得散射圖像與原圖像素之間的映射不同,以上方法[26?28]趨向于讓網(wǎng)絡(luò)掌握散射介質(zhì)本身的特性,并以此促進網(wǎng)絡(luò)適應(yīng)不同場景的散斑相關(guān)性。當(dāng)然,從這個角度擴展泛化性需要對散射介質(zhì)本身的特性有更深刻的理解,力求尋找到更廣泛意義上散射過程的統(tǒng)計不變量,從而實現(xiàn)多場景的擴展成像。

圖4 (a1)利用散斑自相關(guān)先驗重建目標(biāo)[27];(a2)人臉重建結(jié)果[27];(b1)利用散斑自相關(guān)先驗重建彩色目標(biāo)[28];(b2)彩色目標(biāo)重建結(jié)果[28]Fig.4(a1)Process of reconstructing targets by using speckle autocorrelation[27];(a2)Reconstruction results of the faces[27];(b1)Process of reconstructing color targets by using speckle autocorrelation[28];(b2)Reconstruction results of the color targets[28]

針對通過厚散射介質(zhì)的成像問題,司徒國海教授團隊提出了一種基于DL算法的解決方案[29],該方案所使用的HNN結(jié)構(gòu)由全連接層(FC)和CNN組成,如圖5(a1)所示。研究人員通過實驗證明了該方法能夠重建隱藏在3 mm厚的聚苯乙烯板后(13.4倍散射平均自由徑)的目標(biāo)信息,結(jié)果如圖5(a3)所示。該系統(tǒng)雖然需要收集大量數(shù)據(jù),但它在經(jīng)過一次訓(xùn)練后就能實現(xiàn)實時成像。與同樣需要大量數(shù)據(jù)的波前整形和傳輸矩陣(TM)測量技術(shù)相比,該方法只需測量輸入-輸出的強度,對訓(xùn)練數(shù)據(jù)的要求更小,實驗系統(tǒng)搭建更加方便。同樣,它也不需要使用任何物鏡對SLM上顯示的圖像進行去放大來適應(yīng)特征通道的大小。此外,該研究通過實驗結(jié)果證明了相機獲得的散斑是高度冗余的,僅使用捕獲散斑圖案0.1%的信息內(nèi)容就足以重建目標(biāo)圖像。除了對相干光源下的成像研究,該課題組研究人員通過使用端到端的DNN實現(xiàn)了非相干光條件下的散射光場成像[31],通過一種在中間部分多尺度提取特征的CNN[圖5(b1)],實現(xiàn)了散射效應(yīng)較強(光學(xué)厚度可達16τ,信噪比可低至?17 dB)時的高保真度的目標(biāo)重建,其結(jié)構(gòu)相似度(SSIM)可達到0.86,如圖5(b4)所示。以上針對厚散射介質(zhì)的研究結(jié)果為重建被噪聲掩蓋的目標(biāo)信息提供了新的思路和解決方案,并有望在更大范圍的散射環(huán)境中得到應(yīng)用[29,31]。

圖5 (a)相干光下厚散射光場成像方法[29]。(a1)網(wǎng)絡(luò)結(jié)構(gòu);(a2)散射圖;(a3)重建結(jié)果;(a4)原圖。(b)非相干光下厚散射光場成像方法[31]。(b1)網(wǎng)絡(luò)結(jié)構(gòu);(b2)散射圖;(b3)原圖;(b4)重建結(jié)果Fig.5(a)Method of imaging through thick scattering media with coherent light[29].(a1)Network structure;(a2)Scattering images;(a3)Reconstruction results;(a4)Original images.(b)Method of imaging through thick scattering media with incoherent light[31].(b1)Network structure;(b2)Scattering images;(b3)Original images;(b4)Reconstruction results

由于視場的局限性,光存儲效應(yīng)范圍有限,無法將信息存儲到實際成像中。所以,Guo等[32]在光記憶效應(yīng)(OME)算法的啟發(fā)下,提出了一種新的基于CNN的實用去散射卷積網(wǎng)絡(luò)(PDSNet)結(jié)構(gòu),用于離散圖像的重建,具體過程如圖6(a)所示。實驗表明,PDSNet不僅可以實時準確地恢復(fù)分散的圖像,對于非訓(xùn)練尺度的目標(biāo)重構(gòu)還具有優(yōu)越的泛化表現(xiàn),實現(xiàn)了目標(biāo)尺度上的“一對多”功能,并且這種能力能夠使得在還原目標(biāo)時不需嚴格要求輸入數(shù)據(jù)具有統(tǒng)一的尺寸。文獻[33]將DL算法應(yīng)用到弱光環(huán)境中,以解決該環(huán)境下散斑攜帶信息少、存在泊松噪聲等問題。在圖6(c1)的網(wǎng)絡(luò)結(jié)構(gòu)中,研究人員通過前幾層FC模擬散射過程,提高后續(xù)特征提取過程中可用信息的利用率。同時,由于泊松噪聲的存在使得同一目標(biāo)在不同時刻的散斑圖像具有一定的差異。所以,該研究利用這一點對同一目標(biāo)多次采樣,不僅能擴充訓(xùn)練集,還能消除泊松噪聲對網(wǎng)絡(luò)魯棒性的影響。如圖6(c2)所示,對目標(biāo)進行10次重復(fù)采樣時,成像結(jié)果可以達到13.842 dB的平均峰值信噪比(PSNR)。此外,DL算法對實驗系統(tǒng)要求不高,網(wǎng)絡(luò)模型一旦訓(xùn)練完成就可以實現(xiàn)高效預(yù)測。所以利用這一點,可以通過一個網(wǎng)絡(luò)模型實現(xiàn)多維信息的獲取。文獻[34]構(gòu)建了一個新穎的深度預(yù)測和圖像重構(gòu)網(wǎng)絡(luò)(DINet)框架[圖6(b)],用來根據(jù)捕獲的散斑圖案預(yù)測隱藏物體的深度和結(jié)構(gòu),從而實現(xiàn)“一對多”的信息獲取。在相空間約束和高效網(wǎng)絡(luò)結(jié)構(gòu)的條件下,該方法能夠在深度平均誤差小于0.05 mm的情況下定位目標(biāo)并實現(xiàn)目標(biāo)恢復(fù)。該方法不局限于討論的兩個任務(wù),還可以應(yīng)用于測量其他物理信息,如定位平面內(nèi)坐標(biāo)和對隱藏對象分類。

圖6 (a)基于PDSNet實現(xiàn)目標(biāo)尺度上的“一對多”功能[32]。(b)重建圖像同時獲取目標(biāo)深度的具體方案[34]。(c)弱光下散射光場成像[33]。(c1)網(wǎng)絡(luò)結(jié)構(gòu);(c2)對目標(biāo)10次采樣的重建結(jié)果Fig.6(a)Achieve“one-to-many”for target scales based on PDS Net[32].(b)Scheme for reconstructing image as well as obtaining target depth[34].(c)Imaging through scattering media in low light[33].(c1)Network structure;(c2)Reconstruction results with 10 samplings for the targets

除了對強度信息的恢復(fù)和重建,基于DL算法的偏振信息處理在目標(biāo)檢測[35,36]、水下成像[37]、圖像去噪[38]和圖像融合[39]等領(lǐng)域也有廣泛的應(yīng)用。偏振作為光的屬性之一,同樣攜帶著可以表征目標(biāo)的大量信息。此外,目標(biāo)的偏振特性相較于強度在散射介質(zhì)中更不容易被破壞[40],而且利用偏振信息可以獲得強度圖像所不能得到的目標(biāo)特征。例如,偏振度(DoP)圖像和偏振角圖像(AoP)在突出目標(biāo)細微變化時具有良好的表現(xiàn)。但是,DoP圖像和AoP圖像在獲取過程中很容易受到拍攝條件的影響,進而引入不必要的噪聲。因此,為了實現(xiàn)對偏振圖片的快速去噪,Li等[41]建立了Stokes偏振圖像去噪數(shù)據(jù)集,通過調(diào)整偏振相機的增益水平和曝光時間來獲取噪聲圖像和地面真實圖像?；诖藬?shù)據(jù)集,他們提出了一種基于殘差密集網(wǎng)絡(luò)的偏振圖像去噪網(wǎng)絡(luò)(PDRDN),具體結(jié)構(gòu)如圖7(b)所示。該方法將物理模型、偏振光學(xué)和噪聲的先驗知識嵌入到網(wǎng)絡(luò)中來指導(dǎo)和約束學(xué)習(xí)過程。這樣,基于DL的方法可以包含更多的物理意義,帶來更好的性能。實驗結(jié)果表明,PDRDN方法的性能優(yōu)于其他方法,能夠更好地恢復(fù)出被噪聲掩蓋的目標(biāo)細節(jié)。通過不同材料、不同噪聲水平的實驗對比,研究人員驗證了強度圖像、DoP圖像和AoP圖像在視覺效果和量化指標(biāo)上降噪的有效性和泛化性。該研究提出的方法不局限于Stokes成像儀的特殊情況,原則上可以應(yīng)用于任何偏振成像儀,如Mueller成像儀和偏振差分成像儀。2001年,Schechner等[42]在大氣去霧模型中加入偏振,通過偏振探測器在不同方向拍攝的圖像實現(xiàn)了高效消除霧霾的效果。自此,偏振成像成為實現(xiàn)去霧的一種有效途徑。Hu等[37]首次提出了一種基于DL算法的偏振水下圖像去霧方法,網(wǎng)絡(luò)結(jié)構(gòu)如圖7(a1)所示。該方法基于密集網(wǎng)絡(luò),可以有效地去除散射光,并且在渾濁水體中也優(yōu)于現(xiàn)有的基于物理模型的算法,對比結(jié)果如圖7(a2)所示。同時,該研究提出的基于DL的水下圖像恢復(fù)方法還可以推廣到其他復(fù)雜場景中。此外,文獻[43]將偏振信息與強度信息融合,實現(xiàn)了更為渾濁水體中的目標(biāo)恢復(fù)。該研究通過四組對比實驗[圖7(c)]探究了兩種信息流在網(wǎng)絡(luò)哪一部分融合的效果最好,得出了將強度圖像和偏振圖像放在神經(jīng)網(wǎng)絡(luò)的最前端融合是恢復(fù)水下目標(biāo)的最佳方案。

圖7 (a)Hu等提出的水下偏振去霧成像方法[37]。(a1)偏振密集網(wǎng)絡(luò)(PDN)結(jié)構(gòu);(a2)不同水下去霧成像方法結(jié)果對比。(b)Li等提出的PDRDN網(wǎng)絡(luò)結(jié)構(gòu)[41]。(c)偏振信息與強度信息在網(wǎng)絡(luò)不同位置的融合方案[43]Fig.7(a)Method of underwater polarization defogging imaging proposed by Hu,et al.[37](a1)Polarimetric dense net work(PDN)structure;(a2)Comparison of different underwater defogging imaging methods.(b)Network structure of PDRDN proposed by Li et al.[41].(c)Fusion method of polarization information and intensity information at different locations of the network[43]

合肥工業(yè)大學(xué)郭忠義課題組考慮到光與目標(biāo)發(fā)生相互作用過程中偏振信息的改變以及偏振信息在渾濁體系下的傳輸特性,將偏振信息融入到神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中,設(shè)計端到端的網(wǎng)絡(luò)進行散射環(huán)境下的目標(biāo)重建[44]。文中對常見的U-Net網(wǎng)絡(luò)進行了改進,網(wǎng)絡(luò)示意圖如圖8所示,合理構(gòu)造偏振數(shù)據(jù)集在一定程度上提升了目標(biāo)重建的效果以及泛化性。

圖8 適用于偏振信息恢復(fù)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)[44]Fig.8 The U-net structure for polarization information reconstruction[44]

光的偏振狀態(tài)可以用斯托克斯(Stokes)矢量表征,物質(zhì)對光偏振狀態(tài)的改變可以用穆勒矩陣(MM)表征。光與物質(zhì)的相互作用可以用Stokes-MM理論表征,即當(dāng)入射光與散射環(huán)境中的目標(biāo)與粒子相互作用時,探測器接收到的出射光的Stokes矢量可以表示為

式中M代表散射系統(tǒng)的MM,該矩陣對于散射系統(tǒng)的變化十分敏感。當(dāng)散射系統(tǒng)發(fā)生改變,使得M發(fā)生變化,進而形成的散斑特征就會不同。當(dāng)散射系統(tǒng)較為復(fù)雜,或者散射介質(zhì)中粒子濃度較高時,利用傳統(tǒng)的光強信息所形成的散斑無法實現(xiàn)目標(biāo)的高精度恢復(fù),此外,利用強度信息所訓(xùn)練的網(wǎng)絡(luò)泛化能力也會較差。而偏振信息可以很好地消除散射的影響,從而更好地突出目標(biāo)的特征。因此,利用偏振信息訓(xùn)練的網(wǎng)絡(luò)模型可以達到更好的恢復(fù)效果,并且具有良好的泛化性能。

郭忠義教授課題組在該研究中基于蒙特卡洛算法搭建實驗平臺[45],目標(biāo)是由鋼鐵組成的數(shù)字,背景是由木頭組成的方塊,散射介質(zhì)的光學(xué)厚度為2.5τ,發(fā)射偏振光S=(1,1,0,0)T進入散射環(huán)境,與目標(biāo)、背景以及散射介質(zhì)發(fā)生作用后利用探測器捕獲反射光的Q分量,用于訓(xùn)練所設(shè)計的U-Net網(wǎng)絡(luò)。隨后該課題組又從多個方面探究了網(wǎng)絡(luò)的泛化性。首先,保持其他條件不變,增加了目標(biāo)的復(fù)雜程度,即將目標(biāo)的形狀換成字母和漢字,將在實驗系統(tǒng)中得到的散斑輸入到網(wǎng)絡(luò)中恢復(fù),結(jié)果如圖9(a)所示。然后,保證其他條件不變而改變散射介質(zhì)的光學(xué)厚度,分別得到了當(dāng)散射介質(zhì)光學(xué)厚度分別為2.3τ、2.55τ、2.6τ、2.65τ、2.7τ和2.75τ時的散斑,并將其輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中進行恢復(fù),結(jié)果如圖9(b)所示。從圖中可以看出,利用偏振信息訓(xùn)練得到的網(wǎng)絡(luò)模型對于散射介質(zhì)的光學(xué)厚度具有很好的泛化性。接著,保持其他條件不變,將目標(biāo)的材質(zhì)換成鋁和大理石,得到散斑后利用已有模型進行恢復(fù),結(jié)果如圖9(c)所示。結(jié)果表明,目標(biāo)的恢復(fù)效果與測試目標(biāo)和訓(xùn)練目標(biāo)之間的折射率差異有關(guān),當(dāng)測試集和訓(xùn)練集目標(biāo)的折射率比較接近時,恢復(fù)效果較好。最后,對發(fā)射光的偏振態(tài)進行泛化重建。保證其他條件不變,將發(fā)射光調(diào)整為其他的偏振態(tài),并利用探測器探測與之對應(yīng)的參量的散斑,然后利用已有模型進行恢復(fù),得到結(jié)果如圖9(d)所示。由于探測到的分量對應(yīng)于發(fā)射光的偏振態(tài),所以接收到的散斑依然濾除了部分散射,突出了目標(biāo)的信息,所以目標(biāo)結(jié)構(gòu)可以很好地被網(wǎng)絡(luò)恢復(fù)出來。

圖9 U-net網(wǎng)絡(luò)泛化性測試的結(jié)果。(a)結(jié)構(gòu)泛化結(jié)果。(a1)、(a4)、(a5)散斑圖;(a2)、(a6)、(a7)模型重建結(jié)果;(a3)、(a8)、(a9)原圖。(b)不同光學(xué)厚度重建結(jié)果。(b1)～(b6)光學(xué)厚度依次為2.3τ、2.55τ、2.6τ、2.65τ、2.7τ和2.75τ的重建結(jié)果;(b7)原圖。(c)不同材料重建結(jié)果。(c1)、(c2)背景木頭不變,目標(biāo)分別為鋁和大理石;(c3)、(c4)目標(biāo)鋼鐵不變,背景分別為鋁和大理石;(c5)原圖。(d)接收偏振狀態(tài)與入射偏振狀態(tài)相關(guān)的重建結(jié)果。(d1)～(d3)分別為U、V以及任意偏振重建結(jié)果;(d4)原圖Fig.9 Results of U-net generalization.(a)Results of structural generalization.(a1),(a4),(a5)Speckle patterns;(a2),(a6),(a7)Reconstruction results;(a3),(a8),(a9)Original images.(b)Reconstruction results of different optical thicknesses.(b1)～(b6)Optical thicknesses are 2.3τ,2.55τ,2.6τ,2.65τ,2.7τand 2.75τin sequence;(b7)Original images.(c)Results of different materials.(c1),(c2)The materials of targets are aluminum and marble respectively while the material of background remains unchanged;(c3),(c4)The materials of background are aluminum and marble respectively while the material of targets remains unchanged;(c5)Original images.(d)Results related to the received polarization state and incident polarization state.(d1)～(d3)Reconstruction results of U,V,and arbitrary polarization respectively;(d4)Original images

神經(jīng)網(wǎng)絡(luò)泛化性的研究結(jié)果體現(xiàn)了偏振信息在散射介質(zhì)中傳輸?shù)目股⑸涮匦?為動態(tài)體散射系統(tǒng)(包括大氣、水下或生物組織成像等)提供了一種新的方法。此外,偏振信息可以拓寬信息感知維度,也為新一代人工智能技術(shù)提供了有利方案。

1.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

與CNN等前饋網(wǎng)絡(luò)不同,RNN是一種輸出既依賴于當(dāng)前輸入、也依賴于之前輸出的DL算法框架[46]。RNN對有序數(shù)據(jù)特性的數(shù)據(jù)非常有效,它能挖掘數(shù)據(jù)中的時序信息以及語義信息。在圖像處理領(lǐng)域,RNN被廣泛應(yīng)用于高光譜圖像分類[47,48]。在散射光場成像中,Kang等[49]利用RNN實現(xiàn)了一種動態(tài)情況下通過任意復(fù)雜信道的散射光場成像,如圖10(a)所示,該方法利用不同角度的多個散斑組成一個圖像序列用于訓(xùn)練,以增強訓(xùn)練過程中圖像之間的相關(guān)性。同時,RNN有效地平均了動態(tài)隨機散射介質(zhì)的影響,更好地提取了目標(biāo)的靜態(tài)特征。最終,訓(xùn)練后的模型可以恢復(fù)未經(jīng)訓(xùn)練的目標(biāo)與信道特性。這種方法充分利用連續(xù)信息的相關(guān)性,同樣也適用于其他涉及時空動態(tài)的成像應(yīng)用。對于追求低采樣率的單像素成像,文獻[50]提出了基于結(jié)合卷積層的RNN的單像素成像方法,如圖10(b1)所示。在該方法中,研究人員將測量數(shù)據(jù)劃分為塊,使每個塊的測量數(shù)據(jù)數(shù)量較小,然后通過RNN積累圖像之前的信息來達到對重構(gòu)圖像進行平均的效果。由圖10(b2)結(jié)果可知,該方法對于復(fù)雜場景有較強的泛化性,對由于降低采樣率帶來的噪聲有較強的抑制作用。

圖10 基于RNN的散射光場成像方案。(a)利用不同角度散斑組成訓(xùn)練序列的RNN目標(biāo)重建方法[49]。(b)基于RNN的單像素成像方法[50]。(b1)具體流程;(b2)不同方案的結(jié)果對比Fig.10 The method of imaging through scattering media based on RNN.(a)The method of using different angles of speckles to train RNN for target reconstruction[49].(b)The single-pixel imaging based on RNN[50].(b1)Specific process;(b2)Comparison of results from different methods

1.1.3 條件生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)GAN的提出旨在通過生成器與鑒別器[51]學(xué)習(xí)到大量數(shù)據(jù)的分布,進而生成新的樣本。而原始GAN不能控制生成數(shù)據(jù)的類別,這不利于一些定向問題的解決。為此,Mirza和Osindero[52]提出了一種訓(xùn)練生成式模型的新方法—CGAN。CGAN是對原始GAN的一個擴展,生成器和鑒別器都增加額外信息y為條件。y可以是任意信息,例如類別信息、其他模態(tài)的數(shù)據(jù)等。與一般CNN像素之間的約束相比,CGAN通過鑒別器提取更高維度的特征,對生成器的約束更有通用性和有效性。同時,生成器的結(jié)構(gòu)可以為一些計算復(fù)雜、獲取條件苛刻的圖像提供新的獲取方式。

在散射光場成像中,CGAN已被應(yīng)用于提高圖像質(zhì)量[53]和數(shù)據(jù)增強[54]等方面。同時,對于一些CNN結(jié)構(gòu)難以實現(xiàn)高質(zhì)量成像效果的復(fù)雜散射環(huán)境,研究人員利用CGAN減輕訓(xùn)練難度。在文獻[55]中,Sun等利用分類網(wǎng)絡(luò)和CGAN實現(xiàn)動態(tài)散射介質(zhì)的目標(biāo)重建,如圖11(a1)所示。該研究通過生成器與鑒別器之間相互博弈自動學(xué)習(xí)目標(biāo)與散射圖像之間的映射關(guān)系,減輕動態(tài)散射介質(zhì)對模型的影響,以獲得更好的成像效果;采用分類部分提供先驗信息,以提高后續(xù)CGAN重建部分的性能。如圖11(a2)所示,該方法對未在訓(xùn)練集中出現(xiàn)過的目標(biāo)類型依然具有較好的泛化能力。此外,對于未知濃度的散射介質(zhì),該方法可以通過分類網(wǎng)絡(luò)找出最接近的散射條件,然后通過相應(yīng)的CGAN重構(gòu)部分進行目標(biāo)恢復(fù)。對于一些特別的場景,CGAN可以發(fā)揮其靈活的性能以突破一些傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)的限制。文獻[56]設(shè)計了一種Y-GAN[圖11(c1)]用于實現(xiàn)兩個相鄰物體的散射圖像恢復(fù)。研究人員還探究了物體成像類型(灰度圖和二值圖像)和相鄰兩個物體之間的距離對成像保真度的影響。由圖11(c2)的實驗結(jié)果可知,該方法具有較強的泛化能力,即使在兩物體之間插入另一種散射介質(zhì),Y-GAN仍然能高質(zhì)量地重建目標(biāo)。此外,GAN獨特的生成模型也為一些需要復(fù)雜計算才能獲得的參量圖片提供了新的方法。馬輝教授團隊設(shè)計了一個端到端的DL算法模型,可以基于一個Stokes圖像生成基于MM的特定偏振基參數(shù)(PBPs)圖像[圖11(b)][57]。MM表征了復(fù)雜介質(zhì)的偏振特性,并蘊含了關(guān)于宏觀和微觀結(jié)構(gòu)的豐富信息。MM派生的偏振參數(shù)的檢索圖像在一些特定場合具有更為顯著的信息表達。但是獲取MM圖像的過程十分復(fù)雜,而且該過程對微小環(huán)境的變化非常敏感,這就導(dǎo)致獲取PBPs圖像對實驗系統(tǒng)的精度要求十分嚴格,所以在這項工作中,研究人員基于CGAN設(shè)計了具有自定義損失函數(shù)的轉(zhuǎn)換模型,實現(xiàn)了單次曝光下從Stokes矢量生成PBPs圖像的過程。這種數(shù)據(jù)后處理方法能夠消除多次曝光帶來的誤差,降低成像時間和硬件復(fù)雜度。

圖11 (a)基于CGAN動態(tài)散射光場成像[55]。(a1)網(wǎng)絡(luò)結(jié)構(gòu);(a2)不在訓(xùn)練集的目標(biāo)重建結(jié)果。(b)馬輝教授團隊提出的生成特定偏振基參數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)[57]。(c)文獻[56]中恢復(fù)相鄰兩個目標(biāo)的方法。(c1)Y-GAN的結(jié)構(gòu);(c2)兩個目標(biāo)之間有散射介質(zhì)的重構(gòu)結(jié)果Fig.11(a)Method of imaging through dynamic scattering media based on CGAN[55].(a1)Network structure;(a2)Reconstruction result of unseen targets.(b)Network structure of generating specific polarization basis parameters proposed by Ma,et al[57].(c)Method of recovering two adjacent targets in[56].(c1)Structure of Y-GAN;(c2)Reconstruction results of scattering media between two targets

CGAN通過條件的輸入使GAN的生成變得可控,其獨特的結(jié)構(gòu)和約束方式使CGAN具有強大的學(xué)習(xí)能力,能夠簡單高效地解決極端環(huán)境下的散射光場成像問題,同時為散射光場成像開辟了全新的應(yīng)用場景。

1.2半監(jiān)督學(xué)習(xí)

由于大部分實際場景的數(shù)據(jù)信息難以獲取,或無法獲得數(shù)量足夠多的樣本以保證網(wǎng)絡(luò)模型的訓(xùn)練效果,所以大部分基于監(jiān)督學(xué)習(xí)散射光場成像方法的訓(xùn)練集都是在實驗室環(huán)境中獲得的,或者采用公開數(shù)據(jù)集。隨著人工智能領(lǐng)域的快速發(fā)展,一種不需要嚴格配對的數(shù)據(jù)集的訓(xùn)練方式[58]開始走進研究人員的視野。最近,一種特殊的網(wǎng)絡(luò)結(jié)構(gòu)CycleGAN[59]被提出,這種網(wǎng)絡(luò)結(jié)構(gòu)通過兩個GAN網(wǎng)絡(luò)之間的交互來實現(xiàn)兩個域之間的模式轉(zhuǎn)換。Yamazaki等[60]基于CycleGAN,利用捕獲的模糊圖像和未用于捕獲模糊圖像的目標(biāo)圖像,通過間接回歸實現(xiàn)目標(biāo)恢復(fù),具體過程如圖12所示。不同散射水平、相干和非相干光源下的實驗結(jié)果驗證了該方法的有效性和泛化性,然而該工作沒有在目標(biāo)結(jié)構(gòu)完全被隱藏的情況下進行成像實驗。這種訓(xùn)練過程中不需要訓(xùn)練集嚴格配對的方法緩解了研究人員獲取標(biāo)簽數(shù)據(jù)的壓力,避免了監(jiān)督學(xué)習(xí)過程中訓(xùn)練集需要強對應(yīng)關(guān)系的限制。但是,仍需進一步探究該方法能否適用于重建完全被噪聲掩蓋的目標(biāo)信息。

圖12 基于CycleGAN的目標(biāo)恢復(fù)[60]Fig.12 Target recovery based on CycleGAN[60]

除了可以從視覺效果上直觀地反映出基于DL算法的散射光場成像的優(yōu)越效果,從具體的定量評價標(biāo)準中也可以反映出基于DL算法的散射光場成像能夠?qū)崿F(xiàn)高分辨率、低噪聲干擾的成像效果。表1中的數(shù)據(jù)展示了上述方案的部分量化指標(biāo)。

表1 基于監(jiān)督學(xué)習(xí)策略的散射光場成像部分方法定量分析Table 1 Quantitative analysis for imaging through scattering media based on the supervised learning strategies

2 基于無監(jiān)督學(xué)習(xí)的散射光場成像

無監(jiān)督學(xué)習(xí)本質(zhì)上是一種統(tǒng)計手段,其在沒有標(biāo)簽的數(shù)據(jù)里發(fā)現(xiàn)潛在的一些數(shù)據(jù)特征。對于圖像來說,迄今為止最成功的生成模型是GAN。它由兩個網(wǎng)絡(luò)組成:一個生成器和一個鑒別器[52],分別負責(zé)偽造樣本和判斷真假。對于從散射圖中恢復(fù)原始目標(biāo)來說,不需要標(biāo)簽就意味著要找到一種約束條件來控制輸出方向。最近,新興的研究試圖將不同光學(xué)成像系統(tǒng)的物理特性整合到DNN中[61],通過網(wǎng)絡(luò)訓(xùn)練過程模擬優(yōu)化求解[62]的迭代操作,開辟了DNN的新領(lǐng)域。研究人員們將經(jīng)典的優(yōu)化迭代過程或者可用公式表達的成像物理過程融入到網(wǎng)絡(luò)層中,使其成為能夠代替標(biāo)簽的約束條件。無監(jiān)督散射光場成像技術(shù)的研究,不僅能在線獲得高質(zhì)量成像,又可以擺脫大量標(biāo)簽數(shù)據(jù)的約束,為基于DL算法的散射光場成像能夠應(yīng)用于實際工程做出巨大貢獻。

2.1基于GAN的無監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)要求輸入數(shù)據(jù)本身就含有較強的結(jié)構(gòu)信息,因此使用GAN恢復(fù)隱藏在散射介質(zhì)背后目標(biāo)的方法大多也是基于監(jiān)督策略的。隨著對散射現(xiàn)象的研究不斷深入,研究人員已經(jīng)實現(xiàn)以無監(jiān)督學(xué)習(xí)的方式通過GAN重建隱藏在散斑后的目標(biāo)信息,主要是通過改變生成器的訓(xùn)練方式,例如文獻[63]利用自編解碼器作為生成器,文獻[64]通過物理約束實現(xiàn)在線優(yōu)化。文獻[63]提出了一種基于無監(jiān)督學(xué)習(xí)的非均勻光場水下圖像復(fù)原方法。在去霧模型中,估計背景光是能否獲得清晰圖像的關(guān)鍵因素之一。所以,這項研究將背景光作為一個需要生成的參數(shù),設(shè)計了一個端到端的生成網(wǎng)絡(luò)來生成背景光,具體流程如圖13(a1)所示。生成器采用自編解碼器,如圖13(a2)所示,從輸入背景圖中精煉背景光信息,再通過解碼獲得完整的背景光,利用判別網(wǎng)絡(luò)產(chǎn)生對抗損失提高性能。實驗結(jié)果表明該方法能在較短時間內(nèi)恢復(fù)水下模糊圖像,恢復(fù)結(jié)果的圖像細節(jié)增強評價指標(biāo)(EME)可達到1.2847。特別是在非均勻光場中,該方法可以很好地應(yīng)用于經(jīng)典方法模型。文獻[64]提出一種融合物理過程的無先驗無監(jiān)督GAN,從完全沒有目標(biāo)結(jié)構(gòu)的散斑圖中重建目標(biāo),具體過程如圖13(b1)。首先,研究人員探究了不同散射介質(zhì)的散斑圖自相關(guān)和原圖自相關(guān)之間的關(guān)系,如圖13(b2)所示。然后,通過鑒別器約束和散斑自相關(guān)與原圖自相關(guān)一致性約束實現(xiàn)無監(jiān)督的在線優(yōu)化。該方法不需要任何配對數(shù)據(jù)(即鑒別器不需要輸入與散斑對應(yīng)的原圖)和先驗信息來提前訓(xùn)練網(wǎng)絡(luò),僅需要對一幀散斑圖在線優(yōu)化就可以重構(gòu)未知散射介質(zhì)后的隱藏目標(biāo)。但是,當(dāng)目標(biāo)的大小超出記憶效應(yīng)范圍時,自相關(guān)結(jié)構(gòu)會逐漸退化,該方法可能無法有效重構(gòu)隱藏目標(biāo)。

圖13 (a)無監(jiān)督水下去霧[63]。(a1)具體流程;(a2)網(wǎng)絡(luò)結(jié)構(gòu)。(b)無監(jiān)督在線優(yōu)化[64]。(b1)具體流程;(b2)原圖自相關(guān)與不同散射介質(zhì)下散斑自相關(guān)Fig.13(a)Unsupervised underwater-defogging imaging[63].(a1)Flow chart of the method;(a2)Network structure.(b)Unsupervised online optimization[64].(b1)Flow chart of the method;(b2)Autocorrelation between the original images and speckles from different scattering media

2.2 Physics-aware網(wǎng)絡(luò)

Physics-aware網(wǎng)絡(luò)是一種新興的學(xué)習(xí)方式,該方式起源于Skoltech、Yandex和牛津大學(xué)的學(xué)者們在文獻[65]中提出的Deep Image Prior。他們讓一個CNN去學(xué)習(xí)復(fù)制被破壞的圖像時,發(fā)現(xiàn)深度卷積網(wǎng)絡(luò)先天就擁有一種能力,即先學(xué)會圖像中“未被破壞的、符合自然規(guī)律的部分”,然后再學(xué)習(xí)圖像中“被破壞的部分”。所以,一個卷積網(wǎng)絡(luò)在對一張被破壞的圖片進行反復(fù)迭代時,它能自動利用圖像的全局統(tǒng)計信息重構(gòu)圖像中丟失的部分信息。該研究也通過實驗證明了這一過程,但該方法的迭代過程不可控,因為網(wǎng)絡(luò)最終向退化圖方向演化。所以,之后的研究將光學(xué)成像系統(tǒng)的物理模型加入到DNN中,通過光學(xué)成像的物理過程來約束網(wǎng)絡(luò)向著重構(gòu)圖像方向進行優(yōu)化。Wang等[66]提出在傳統(tǒng)的DNN中加入一個完整的表征圖像形成過程的物理模型來克服需要大量標(biāo)簽數(shù)據(jù)的限制,具體過程如圖14(a)所示。該研究通過在整體訓(xùn)練過程中加入衍射成像過程H,將輸出圖像output再次轉(zhuǎn)換成z=d時的衍射圖像?I,然后通過損失函數(shù)使網(wǎng)絡(luò)產(chǎn)生的?I與實際輸入的I不斷靠近。最終,網(wǎng)絡(luò)“中間”輸出output就是去除散射效應(yīng)的結(jié)果。物理增強深度神經(jīng)網(wǎng)絡(luò)(PhysenNet)只需一個相位對象的衍射圖就可以自動優(yōu)化,通過神經(jīng)網(wǎng)絡(luò)和物理模型的相互約束生成理想的清晰圖片,這種方法為神經(jīng)網(wǎng)絡(luò)的設(shè)計開辟了一個新的范式,物理模型整合到神經(jīng)網(wǎng)絡(luò)的概念可以推廣到其他計算成像問題中。該課題組研究人員在此基礎(chǔ)上又提出了BlindNet[67],該網(wǎng)絡(luò)模型在PhysenNet的基礎(chǔ)上改善了物理模型表征不準確的問題,如圖14(b)所示,該模型將物理模型參數(shù)的優(yōu)化H(z=d′)一同納入到訓(xùn)練過程中,即損失函數(shù)在驅(qū)動網(wǎng)絡(luò)權(quán)值更新的同時還驅(qū)動物理模型參數(shù)d的優(yōu)化,實現(xiàn)整個訓(xùn)練過程只需要初始化網(wǎng)絡(luò)模型后就可以自動優(yōu)化成像過程。針對模型不確定性的新型DNN框架可以應(yīng)用于一類具有明確成像模型的計算成像中,文獻[68]將這種訓(xùn)練方式與水下去霧算法相結(jié)合,如圖14(c)所示,提出了一種未經(jīng)訓(xùn)練的網(wǎng)絡(luò)和偏振成像協(xié)同進行全場景水下成像的方法。該方法充分利用了神經(jīng)網(wǎng)絡(luò)的非線性擬合能力,改善了經(jīng)典IFM在不同場景下參數(shù)設(shè)置不完善造成的不良成像效果,在不需要額外的標(biāo)簽進行網(wǎng)絡(luò)訓(xùn)練的情況下提高了成像質(zhì)量(成像結(jié)果的平均對比度可以達到0.2739)。除此之外,文獻[69]將大氣傳輸模型中的所有參數(shù)都由網(wǎng)絡(luò)進行全局在線優(yōu)化,使訓(xùn)練過程形成閉環(huán)。最終,利用PSDNet-L獲得清晰的去霧圖像,如圖14(d),該方法在訓(xùn)練過程中不需要場景的清晰圖像進行約束,并且在訓(xùn)練完成后可以直接通過PSDNet-L預(yù)測結(jié)果。研究人員對公共數(shù)據(jù)集和拍攝的實際濃霧環(huán)境的圖片進行測試,證明了該方法在保持原始圖像顏色和增強圖像細節(jié)方面具有良好的表現(xiàn)。

圖14 Physics-aware網(wǎng)絡(luò)。(a)PhysenNet的具體流程[66];(b)BlindNet的具體流程[67];(c)IFM-guided network的具體流程[68];(d)大氣傳輸模型中所有參數(shù)在線優(yōu)化的具體流程[69]Fig.14 Physics-aware network.(a)Flow chart of PhysenNet[66];(b)Flow chart of BlindNet[67];(c)Flow chart of IFM-guided network[68];(d)Flow chart of optimizing parameters of the atmospheric transport model online[69]

研究人員通過在訓(xùn)練過程中引入物理約束,使部分條件下的散射光場成像可以擺脫大量標(biāo)注數(shù)據(jù)的限制。對于目前無法總結(jié)具體成像模型和迭代優(yōu)化方法的散射光場成像仍沒有基于無監(jiān)督的解決方案。但是,隨著研究人員對散射過程的探究不斷深入,未來可能會陸續(xù)提出可用于一般條件散射光場成像的無監(jiān)督高效學(xué)習(xí)方法,基于無監(jiān)督的散射光場成像領(lǐng)域也會產(chǎn)生更多有意義的科研成果。

3 優(yōu)勢與挑戰(zhàn)

上文總結(jié)了基于DL算法的散射光場成像技術(shù)的各類方案,具體性能對比如圖15所示。通常,傳統(tǒng)技術(shù)需采用物理模型的顯式解析公式解決逆成像問題,而DL算法則可以繞過已知模型的嚴格要求。同時,DL算法還可以緩解光學(xué)實驗中嚴格的系統(tǒng)要求,并從計算上補償實驗系統(tǒng)所帶來的系統(tǒng)誤差。此外,一旦訓(xùn)練完成,DL算法允許實時重建和快速預(yù)測?？偟膩碚f,DL算法可以在大范圍的散射光場成像任務(wù)中顯著提高成像效果,并對于未知任務(wù)具有一定的可擴展性。同時,DL算法實現(xiàn)簡單、設(shè)計靈活,能夠有效降低光學(xué)成像實驗的復(fù)雜度,為散射光場成像開拓了全新的應(yīng)用場景。

圖15 基于深度學(xué)習(xí)算法的散射光場成像性能對比圖Fig.15 Performance comparison of imaging through scattering media based on deep learning algorithm

然而,DL算法在散射光場成像中的應(yīng)用仍存在一些潛在的問題。首先,大部分實驗數(shù)據(jù)都是在實驗室環(huán)境下獲得的,缺少對真實環(huán)境的表達;此外,不同類型的成像系統(tǒng)和不同的光學(xué)設(shè)置都會導(dǎo)致捕獲的數(shù)據(jù)集之間有很大的差異,影響DNN模型的穩(wěn)定性和泛化性。DL算法缺乏可解釋性對散射光場成像領(lǐng)域來說也是一個問題,部分學(xué)者會質(zhì)疑DNN所具有的良好的實驗性能是一種巧合,而不是逆問題正確建模的結(jié)果;最后,由于不能保證獲得物理上準確的解釋,其故障排除也具有一定的挑戰(zhàn)性。以上問題嚴重阻礙了DL算法技術(shù)在散射光場成像工程實現(xiàn)中的應(yīng)用,總體而言,DL算法在散射光場成像中的應(yīng)用仍處于探索階段,仍然有很多亟需解決的問題。

4 總結(jié)和展望

DL算法為散射光場成像的研究提供了新思路?；贒L算法,國內(nèi)外研究人員嘗試從提升神經(jīng)網(wǎng)絡(luò)的泛化性、減少數(shù)據(jù)的依賴性、拓寬散射環(huán)境的適用性等方面改善散射光場成像技術(shù),并取得了一系列的研究成果。以監(jiān)督學(xué)習(xí)作為訓(xùn)練策略的DL算法方案通過采用具有不同特征提取傾向的網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化輸入數(shù)據(jù),使訓(xùn)練后的網(wǎng)絡(luò)模型可以去除散射影響、突破傳統(tǒng)成像系統(tǒng)的限制、適應(yīng)各種散射環(huán)境,實現(xiàn)看得清、看得遠的成像目標(biāo)。而以無監(jiān)督學(xué)習(xí)作為訓(xùn)練策略的DL算法方案,利用物理模型約束和神經(jīng)網(wǎng)絡(luò)強大的擬合能力實現(xiàn)高質(zhì)量在線成像。雖然該種方案對于部分散射光場成像有一定限制,但仍然能推動散射光場成像領(lǐng)域向著更加智能化的方向發(fā)展。

隨著人工智能技術(shù)的快速發(fā)展,越來越多先進的DL算法被引入到散射光場成像中,如遷移學(xué)習(xí)[70]和注意力機制[71]等。DL算法正因其在數(shù)據(jù)擬合方面獨特的優(yōu)勢而在散射光場成像領(lǐng)域大放異彩,本綜述總結(jié)了基于DL算法的散射光場成像的最新研究進展,對比分析了現(xiàn)有方法存在的優(yōu)勢和不足。DL算法具有優(yōu)秀的擬合能力,但是物理機制尚不十分清晰,進一步探究DL算法網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、以及數(shù)據(jù)特征提取過程的物理機制,將散射光場成像的物理原理與DL算法有機結(jié)合起來,實現(xiàn)小樣本學(xué)習(xí),快速學(xué)習(xí)、拓寬網(wǎng)絡(luò)的泛化性是基于DL算法的散射光場成像的未來發(fā)展方向。同時,得益于計算設(shè)備算力的提升、探測設(shè)備性能的提高,基于科學(xué)家的杰出成果,對現(xiàn)有方法取長補短,基于DL算法的散射光場成像技術(shù)正在向著更清晰、更遠、更快、更小、更智能的方向發(fā)展。