楊敬鈺，曾昕陽(yáng)，盧 志，金滿昌，岳煥景

（1. 天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072；2. 清華大學(xué)自動(dòng)化系，北京100084）

光場(chǎng)成像的雛形可以追溯到1903年Ives發(fā)明的雙目視差顯示系統(tǒng)中運(yùn)用的針孔成像技術(shù)．1936年，Gershun提出光場(chǎng)的概念，將其定義為光輻射在空間各個(gè)位置向各個(gè)方向的傳播[1]．隨著全息理論的提出和微透鏡陣列成像技術(shù)、計(jì)算機(jī)技術(shù)的不斷發(fā)展，2006年，Levoy等[2]將光場(chǎng)渲染理論運(yùn)用于顯微成像，并研制出光場(chǎng)顯微鏡(light field microscopy，LFM) ．光場(chǎng)顯微鏡是通過(guò)在傳統(tǒng)光學(xué)顯微鏡的中繼像面上插入一塊能夠捕獲光場(chǎng)信息的微透鏡陣列來(lái)實(shí)現(xiàn)的，它可以記錄來(lái)自不同空間位置和不同視角的光信息．光場(chǎng)圖像通過(guò)4D光場(chǎng)數(shù)據(jù)的反演可重建多視角圖像和多層焦平面圖像，利用反卷積算法和斷層重建可實(shí)現(xiàn)三維顯微成像．由于這些后續(xù)處理可以通過(guò)一次曝光實(shí)現(xiàn)，因此光場(chǎng)顯微鏡對(duì)觀察運(yùn)動(dòng)的活體微生物和光敏感樣品有其獨(dú)特優(yōu)勢(shì)，廣泛應(yīng)用于光學(xué)成像、立體光照(volumetric illumination)、3D分割等領(lǐng)域．

光場(chǎng)成像過(guò)程存在角度域和空間域之間分辨率權(quán)衡的基本問(wèn)題[3-4]．由于受到光場(chǎng)成像設(shè)備物理屬性的限制，光場(chǎng)顯微鏡通過(guò)犧牲空間分辨率來(lái)提高角度分辨率．因此，有限的空間分辨率給相關(guān)應(yīng)用的發(fā)展帶來(lái)了困難，成為光場(chǎng)成像的主要瓶頸[5]．如何提高光場(chǎng)圖像的空間分辨率，成為光場(chǎng)領(lǐng)域的重要研究?jī)?nèi)容．文獻(xiàn)[6-8]基于各種優(yōu)化框架得到分辨率較高的光場(chǎng)圖像．但是，在一定的掃描速率下，這種方式將大大增加成像的時(shí)間，不利于快速實(shí)時(shí)成像．因此，光場(chǎng)圖像超分辨率(light field super-resolution，LFSR)需要一種高精度、高速度的實(shí)現(xiàn)方案[9]．

目前光場(chǎng)圖像超分辨率方法主要是基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)實(shí)現(xiàn)的[10]. 但它們中的大多數(shù)依賴通用的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，這些架構(gòu)沒(méi)有明確地考慮物理模型．本文受到圖像正則化方法[11]、迭代優(yōu)化理論[12]和深度學(xué)習(xí)[13]技術(shù)的啟發(fā)，提出了一種基于深度學(xué)習(xí)和LADMM算法結(jié)合的光場(chǎng)圖像超分辨率方法．它是一個(gè)可訓(xùn)練的超分辨率網(wǎng)絡(luò)，與其他數(shù)據(jù)驅(qū)動(dòng)方法相比，具有物理意義上的可解釋性．本文首先介紹幾種常見(jiàn)的LFSR方法，然后給出本文采用的LFSR模型和傳統(tǒng)的LADMM算法，最后詳細(xì)介紹本文提出的基于學(xué)習(xí)和模型方法相結(jié)合的光場(chǎng)超分辨率網(wǎng)絡(luò)模型．基于斑馬魚(yú)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，本文提出的光場(chǎng)圖像超分辨率方法在給定條件下具有較好的圖像超分辨率處理能力，并且?guī)в幸欢ǖ娜ピ牍δ埽壒鈭?chǎng)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果證明了本文的方法相比傳統(tǒng)LADMM算法在性能和效率上更具優(yōu)勢(shì)．

1 相關(guān)工作

根據(jù)光場(chǎng)記錄空間信息和角度信息的特性，LFSR可以看作一種特殊的圖像超分辨率，特殊之處在于其不同角度的圖像之間具有相關(guān)性．近年來(lái)，一些研究者提出了利用光場(chǎng)圖像角度相關(guān)性的SR方法[4,10,14-15]，然而Cheng等[5]研究發(fā)現(xiàn)不使用任何角度信息的單一圖像超分辨率(single image superresolution，SISR)方法仍然優(yōu)于其他許多LFSR方法．考慮到基于深度學(xué)習(xí)的單一圖像超分辨率在技術(shù)上足夠成熟，而且利用角度信息需要額外的處理過(guò)程，本文使用SISR作為L(zhǎng)FSR的方法，不考慮不同角度之間的相關(guān)性．

根據(jù)圖像降質(zhì)模型，LFM的高分辨率(high resolution，HR)圖像和低分辨率(low resolution，LR)圖像之間存在確定的關(guān)系，即每一幅LR圖像都是對(duì)應(yīng)的HR圖像在亞像素水平上的一個(gè)子采樣．因此，LFSR可以看作是一個(gè)不適定(ill-posed)反問(wèn)題[16]．目前有兩種主流的方法解決反問(wèn)題，一種是基于模型(優(yōu)化)的方法，另一種是基于學(xué)習(xí)的方法．

1.1 基于模型(優(yōu)化)的光場(chǎng)圖像超分辨率

解決反問(wèn)題的一個(gè)重要方法是基于模型(優(yōu)化)的LFSR[5,10]．基于模型的LFSR利用圖像先驗(yàn)、Total Variation(TV)等相關(guān)正則化方法和優(yōu)化算法，基于明確的物理解釋和數(shù)學(xué)推導(dǎo)，取得了良好的效果[8,17-21]. 一些優(yōu)化算法在多個(gè)領(lǐng)域都取得不錯(cuò)的表現(xiàn)，如ISTA[17,21]和ADMM[18-20]．然而，這些方法大多利用了一定的結(jié)構(gòu)稀疏性作為圖像先驗(yàn)，并采用迭代方式解決稀疏性正則化優(yōu)化問(wèn)題，因此在硬件上重建圖像的計(jì)算復(fù)雜度較高[22]．另外，圖像先驗(yàn)的選擇和模 型參數(shù)調(diào)整的成本較高，使得該方法難以獲得優(yōu)良 結(jié)果.

1.2 基于學(xué)習(xí)的光場(chǎng)圖像超分辨率

隨著深度學(xué)習(xí)的廣泛使用，基于學(xué)習(xí)的LFSR成為解決反問(wèn)題的一個(gè)重要方法．近年來(lái)，隨著卷積神經(jīng)網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network，GAN)等[23]基本結(jié)構(gòu)的提出，產(chǎn)生了很多有影響 力 的 網(wǎng) 絡(luò)(如：ResNet[24]、DenseNet[25]、SRCNN[26])，在基于學(xué)習(xí)的LFSR方面的研究取得了令人矚目的成就[10,15,27-28]．在LFSR中引入深度學(xué)習(xí)，利用多通道SRCNN體系結(jié)構(gòu)可以實(shí)現(xiàn)光場(chǎng)的空間和角度超分辨率，在此基礎(chǔ)上，F(xiàn)an等[15]設(shè)計(jì)一個(gè)兩級(jí)CNN網(wǎng)絡(luò)，分別利用光場(chǎng)的外部和內(nèi)部的相關(guān)性，首次在patch級(jí)別融合不同的角度，以補(bǔ)償LFSR的視差．而Wang等[28]改進(jìn)循環(huán)卷積實(shí)現(xiàn)對(duì)相鄰角度之間的空間相關(guān)性進(jìn)行建模，將水平子網(wǎng)絡(luò)和垂直子網(wǎng)絡(luò)集成為最終輸出．與基于模型的LFSR不同，基于學(xué)習(xí)的LFSR將LR和HR圖像之間的關(guān)系建模為一個(gè)適當(dāng)?shù)挠成?，網(wǎng)絡(luò)中的參數(shù)經(jīng)過(guò)訓(xùn)練自動(dòng)更 新[5]，顯著降低了時(shí)間復(fù)雜度[22]．

1.3 基于模型方法和基于學(xué)習(xí)方法之間的關(guān)系

一些研究探索了基于模型的方法和基于學(xué)習(xí)的方法之間的關(guān)系[22,29-30]．Gregor等[29]探索了共享的分層神經(jīng)網(wǎng)絡(luò)和ISTA算法[31]之間的相似性，并將后者展開(kāi)為深度網(wǎng)絡(luò)．Li等[30]指出具有相同線性變換的前饋神經(jīng)網(wǎng)絡(luò)在不同層間的傳播等效于使用梯度下降算法最小化某個(gè)函數(shù)．ADMM存在一組可學(xué)習(xí)參數(shù)來(lái)生成全局收斂的解，可以通過(guò)適當(dāng)?shù)姆绞竭M(jìn)行訓(xùn)練．這些理論分析有效地彌合了兩種方法之間的差距．在具體實(shí)踐中，針對(duì)圖像去噪、去馬賽克、自然圖像超分辨率和壓縮感知(compressed sensing)等問(wèn)題，研究人員提出了一些基于模型和基于學(xué)習(xí)的方法相結(jié)合的方案[22]．這些工作表明，將基于模型方法和基于學(xué)習(xí)的方法結(jié)合可以綜合兩種方法的優(yōu)點(diǎn)．然而，目前還沒(méi)有研究應(yīng)用這種組合方法來(lái)解決LFSR問(wèn)題．筆者認(rèn)為，本文提出的基于學(xué)習(xí)和模型相結(jié)合的光場(chǎng)超分辨率方法是一種嶄新的LFSR問(wèn)題實(shí)現(xiàn)方案，可以提高結(jié)果的性能．

基于以上思路，本文將數(shù)據(jù)驅(qū)動(dòng)結(jié)構(gòu)與經(jīng)典的優(yōu)化算法相結(jié)合，提出了一種基于模型和基于學(xué)習(xí)結(jié)合的LFSR方法．具體來(lái)說(shuō)，本文提出了一種新的深度網(wǎng)絡(luò)模型，稱(chēng)為L(zhǎng)AC-LFSRnet(LADMM-CNN for light field super resolution)，啟發(fā)自線性交替方向乘子法(LADMM)[32]，用于求解LFSR模型的L2平方范數(shù)正則化問(wèn)題，將迭代優(yōu)化求解模型轉(zhuǎn)化為深度展開(kāi)網(wǎng)絡(luò)(deep unfolding network)．LAC-LFSRnet的主要部分由固定數(shù)量的層(或階段)組成，每個(gè)層(或階段)反映了類(lèi)似于LADMM算法迭代的特征．與傳統(tǒng)的LADMM算法不同，LAC-LFSRnet中涉及的所有參數(shù)(如先驗(yàn)、拉格朗日乘子、懲罰因子等)，在訓(xùn)練端到端網(wǎng)絡(luò)時(shí)使用損失函數(shù)最小化，并在反向傳播時(shí)進(jìn)行更新．此外，網(wǎng)絡(luò)中帶有殘差的CNN塊進(jìn)一步增強(qiáng)了網(wǎng)絡(luò)的表達(dá)能力，改善了超分辨率結(jié)果．

總之，LADMM算法參數(shù)的可學(xué)習(xí)化與殘差網(wǎng)絡(luò)結(jié)合，使LAC-LFSRnet同時(shí)具有基于模型的LFSR和基于學(xué)習(xí)的LFSR的優(yōu)點(diǎn)，即具有定義良好解釋的高精度LFSR．基于真實(shí)斑馬魚(yú)數(shù)據(jù)集的實(shí)驗(yàn)表明，所提出的LAC-LFSRnet能夠很好地完成超分辨率的任務(wù)．由于本文的網(wǎng)絡(luò)具有比較深的層數(shù)，與以往的方法相比，它具有一定的處理聯(lián)合超分辨率和去噪任務(wù)的能力．本文基于果蠅數(shù)據(jù)集的實(shí)驗(yàn)證明了本文提出的網(wǎng)絡(luò)在超分辨率性能和運(yùn)行時(shí)間上都要明顯優(yōu)于傳統(tǒng)LADMM算法．

2 方 法

本節(jié)將首先建立LFSR模型并介紹傳統(tǒng)的LADMM優(yōu)化算法，然后詳細(xì)介紹本文設(shè)計(jì)的LACLFSRnet網(wǎng)絡(luò)結(jié)構(gòu)．

2.1 LFSR模型和傳統(tǒng)LADMM算法

根據(jù)文獻(xiàn)[33]定義，本文定義光場(chǎng)為M ×M個(gè)微透鏡陣列的輸出，其中每個(gè)微透鏡陣列裝備N(xiāo) ×N像素傳感器，因此光場(chǎng)可以表示成一個(gè)N ×N ×M ×M尺寸的張量U (x ,y ,s, t )，其中(x, y)是空間坐標(biāo)，(s ,t)是角坐標(biāo)．LFSR問(wèn)題可以描述為如何從低分辨率光場(chǎng)圖像V恢復(fù)到高分辨率光場(chǎng)圖像U (x ,y ,s, t )．本文定義超分辨率因子α∈N，則V的分辨率為N/α× N/α×M ×M．本文的目標(biāo)是，對(duì)給定的每個(gè)角度的低分辨率圖像V (·,·, s, t)∈R(N/α)×(N/α)，重建高分辨率圖像U (·,·, s ,t )∈RN×N．本文設(shè)U (·,·,s, t )和V(·,·,s, t)的向量形式分別為u ∈RN2，v ∈R(N/α)2，則對(duì)應(yīng)的一組高分辨率圖像HR和低分辨率圖像LR的關(guān)系可用式(1)表示．

式中：S ∈R(N/α)2×N2表示下采樣矩陣；n ∈RN2表示噪聲．這是一個(gè)典型的不適定問(wèn)題，LFSR模型(式(1))可以表示為一個(gè)凸優(yōu)化問(wèn)題．

式中Ψ是變換矩陣(如小波變換)．在式(2)中，第1項(xiàng)代表數(shù)據(jù)項(xiàng)，第2項(xiàng)為具有L2平方范數(shù)的向量Ψu的正則項(xiàng)．式(2)中，基于交替方向乘子法思想，將優(yōu)化變量拆分為兩個(gè)不同的變量u和z，那么增廣拉格朗日函數(shù)(augmented Lagrangian function)可以表示為

式中：m是拉格朗日乘子；μ是懲罰因子．使用傳統(tǒng)LADMM優(yōu)化算法，式(3)可以使用以下步驟迭代 更新．

式中：i表示LADMM的迭代次數(shù)；β為步長(zhǎng)；ρ1、ρ2為線性化系數(shù)．

2.2 LAC-LFSRnet

傳統(tǒng)的ADMM/LADMM優(yōu)化算法通常需要數(shù)十次甚至上百次迭代才能獲得滿意的結(jié)果．此外，算法中有眾多參數(shù)(如β、λ、ρ1等)和變換矩陣Ψ需要手工指定．因此，本文在傳統(tǒng)LADMM的啟發(fā)下設(shè)計(jì)了LAC-LFSRnet網(wǎng)絡(luò)，以克服上述傳統(tǒng)LADMM存在的缺點(diǎn)．該網(wǎng)絡(luò)結(jié)構(gòu)的基本思想是結(jié)合LADMM和深度神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，對(duì)LADMM的迭代算法轉(zhuǎn)化為一個(gè)深度展開(kāi)網(wǎng)絡(luò)．

本文的LAC-LFSRnet可以分為兩部分，即主體部分和后處理部分．LAC-LFSRnet的主體部分包含多個(gè)網(wǎng)絡(luò)層，每個(gè)網(wǎng)絡(luò)層都對(duì)應(yīng)傳統(tǒng)LADMM算法中每次迭代更新步驟的表達(dá)式．除式(4)中的更新規(guī)則外，在每一層添加一個(gè)帶有殘差的CNN塊，稱(chēng)為細(xì)化模塊，以增強(qiáng)網(wǎng)絡(luò)表達(dá)能力，提高結(jié)果的性能．整個(gè)結(jié)構(gòu)尾部的LAC-LFSRnet后處理部分合并主體各層的結(jié)果，以充分利用之前學(xué)習(xí)到的信息．本文接下來(lái)討論LAC-LFSRnet的細(xì)節(jié)．

2.2.1 LAC-LFSRnet主體部分

圖1(a)給出了LAC-LFSRnet的整體網(wǎng)絡(luò)結(jié)構(gòu)，包含主體部分和后處理部分．主體部分的一層可分為兩個(gè)模塊，即LADMM模塊(如圖1(b)所示)和細(xì)化模塊(如圖1(d)所示)．例如對(duì)于變量m，本文指定第i＋1層的輸入為 m(i)，輸出為 m(i+1)．為了清楚地描述網(wǎng)絡(luò)機(jī)制，本文以LAC-LFSRnet的第i＋1層為例進(jìn)行介紹．

1)LADMM模塊

LADMM模塊的第i＋1層對(duì)應(yīng)式(4)，變量u、z、m、μ由上一層迭代更新得到．具體分析如下. ①當(dāng)u(i)更新為u?(i)時(shí)，LR圖像v和下采樣矩陣S給定，ρ1設(shè)置為可學(xué)習(xí)的參數(shù)，而不再是算法中的固定值．另外，考慮到 STv項(xiàng)可能會(huì)產(chǎn)生額外的規(guī)則分布偽影，本模塊用可學(xué)習(xí)的η參數(shù)與該項(xiàng)相乘來(lái)避免這種情況．②當(dāng)z(i)更新為z(i+1)時(shí)，λ和ρ2是可學(xué)習(xí)的參數(shù)．已有文獻(xiàn)[22]表明，當(dāng)卷積過(guò)濾器是線性的且具有矩陣形式時(shí)，變換Ψ可以表示為Ψ z=AR elu(Bz)形式，其中A和B是卷積核．同理對(duì)于 ΨT也可以進(jìn)行類(lèi)似的表示．因此，本文使用一個(gè)對(duì)稱(chēng)的基于CNN的子模塊(如圖1(c)所示)替換ΨTΨ z項(xiàng)，其中第1個(gè)和最后一個(gè)卷積核用來(lái)變換特征圖的數(shù)量，剩下的對(duì)稱(chēng)部分表示變換 ΨTΨ．③當(dāng)m(i)更新為 m(i+1)時(shí)，根據(jù)式(4)，容易由z、u得到．④當(dāng)更新μ(i)時(shí)，步長(zhǎng)β是可學(xué)習(xí)參數(shù)．總之，在LADMM模塊中的可學(xué)習(xí)變量集Θ包含{ρ1, ρ2,η,λ, ΨTΨ ,β}(Li)，其中L是LAC-LFSRnet的總層數(shù)，i= {1 ,2,…,L}是層號(hào)．考慮到 ΨTΨ(i)子模塊中需要卷積處理，所以本網(wǎng)絡(luò)使用矩陣形式而不是向量形式實(shí)現(xiàn)網(wǎng)絡(luò)，以避免在向量形式和矩陣形式之間反復(fù)轉(zhuǎn)換．

在LADMM模塊中，4個(gè)迭代變量進(jìn)入第1層網(wǎng)絡(luò)時(shí)的初始值為：z(0)=0，u(0)=0，m(0)=0，μ(0)=0.005．

2)細(xì)化模塊

2.2.2 LAC-LFSRnet后處理部分

如圖1(a)所示，LAC-LFSRnet的后處理部分用于處理主體部分每層i = 1,2,…,L的結(jié)果．后處理部分由分層混合模塊和尾部細(xì)化模塊組成，最后輸出超分辨率的結(jié)果u(i)．

圖1 LAC-LFSRnet網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structures of the proposed LAC-LFSRnet network

1)分層混合模塊

分層混合結(jié)構(gòu)是一種被證實(shí)有效的結(jié)構(gòu)，用來(lái)融合不同的特征圖[34]．從迭代優(yōu)化的角度而言，網(wǎng)絡(luò)每一層的輸出u(1)，u(2),…, u(L)對(duì)應(yīng)每次迭代的結(jié)果．在Xie等[35]的工作中，每層u(i)(i = 1,2,…,L)分別與HR圖像進(jìn)行比較計(jì)算損失函數(shù) loss(i)(i = 1,2,…,L)，總損失是所有 loss(i)的簡(jiǎn)單求和．然而，每層網(wǎng)絡(luò)的輸出對(duì)結(jié)果的貢獻(xiàn)可能并不相同，即某些層輸出的結(jié)果可能包含了更多有用的信息，這些層的輸出相對(duì)其他層應(yīng)該具有更高的權(quán)重．為使不同層的輸出具有自適應(yīng)的權(quán)重，本文應(yīng)用一個(gè)1×1卷積核的瓶頸層(bottleneck layer)，可以表示為

式中：*表示卷積操作；[u(1), u(2),…, u(i)]表示網(wǎng)絡(luò)每層的輸出在通道維度上的拼接操作；b為偏置．

2)尾部細(xì)化模塊

它位于整個(gè)LAC-LFSRnet網(wǎng)絡(luò)的尾部，由卷積層和ReLU層組成．卷積層的作用是減小分層混合模塊的輸出uH的通道數(shù)，ReLU層增強(qiáng)了最終輸出的非線性表達(dá)能力，避免反向傳播過(guò)程中梯度消失．實(shí)驗(yàn)結(jié)果表明，由主體部分和后處理部分組成的LACLFSRnet的性能優(yōu)于只有主體部分的LFSRnet．

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)準(zhǔn)備

本文使用斑馬魚(yú)光場(chǎng)數(shù)據(jù)集產(chǎn)生訓(xùn)練數(shù)據(jù)對(duì){ y(0),u}，其中y(0)表示網(wǎng)絡(luò)的輸入，u為真值．在真實(shí)光場(chǎng)成像過(guò)程中，光場(chǎng)圖像往往存在高斯-泊松混合噪聲，且會(huì)有部分缺失．因此，本文首先對(duì)HR圖像U (·,·,s ,t)進(jìn)行預(yù)處理，使用中值濾波去除壞點(diǎn)，然后基于BM3D高斯去噪濾波器[36]實(shí)現(xiàn)Anscombe方差穩(wěn)定變換去噪，作為本文的真值u，即(·,·,s, t)．為了提高LAC-LFSRnet對(duì)LR圖像中不同級(jí)別噪聲的魯棒性，本文采用了一種混合訓(xùn)練策略來(lái)增強(qiáng)數(shù)據(jù)集，對(duì)(·,·,s ,t)進(jìn)行直接下采樣，得到(·,·,s, t)，將(·,·,s, t)和原始的LR圖像V (·,·,s, t)共用作為L(zhǎng)ACLFSRnet網(wǎng)絡(luò)的輸入y(0)．也就是說(shuō)，位于角度的真值對(duì)應(yīng)著兩組輸入，構(gòu)成兩個(gè)訓(xùn)練數(shù)據(jù)對(duì)

本實(shí)驗(yàn)使用10組光場(chǎng)圖像Un(x, y ,s ,t )(n =1, 2,…, 10), N = 415, M =13，每組具有169個(gè)角度分布，因此訓(xùn)練對(duì)的總數(shù) Ntrain為3380．超分辨率的倍數(shù)設(shè)置為5．進(jìn)入網(wǎng)絡(luò)之前對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行歸一化處理.

3.2 網(wǎng)絡(luò)訓(xùn)練細(xì)節(jié)

本文使用GPU加速的Pytorch框架訓(xùn)練LACLFSRnet. LAC-LFSRnet的總層數(shù)L設(shè)置為20．損失函數(shù)定義為

式中：uHR是整個(gè)LAC-LFSRnet的輸出；N表示uHR的尺寸．實(shí)驗(yàn)設(shè)置總訓(xùn)練輪數(shù)(epoch)為40．訓(xùn)練過(guò)程的梯度更新算法為：前20個(gè)epoch選擇Adam，后20個(gè)epoch選擇隨機(jī)梯度下降(stochastic gradient descent，SGD) ．學(xué)習(xí)率設(shè)置為 0.0001(epoch/30)．本實(shí)驗(yàn)沒(méi)有使用特殊的權(quán)重初始化方法或其他訓(xùn)練技巧．

3.3 實(shí)驗(yàn)結(jié)果對(duì)比

本文將LAC-LFSRnet的結(jié)果與當(dāng)前主流的超分辨率方法進(jìn)行對(duì)比，包括BM3D＋Bicubic、SRCNN[37]、FSRCNN[38]、RED30[39]、MSRN[40]和EDSR[41]．根據(jù)上文的實(shí)驗(yàn)設(shè)置，所有模型進(jìn)行重新訓(xùn)練．在測(cè)試階段，將原始LR即不同角度的V (·,·,s, t )輸入網(wǎng)絡(luò)，使用峰值信噪比PSNR衡量超分辨率的效果．在光場(chǎng)圖像中，位于邊緣角度的圖像可能在后續(xù)重建等處理中被忽略，最重要的是處于中間位置的圖像．由于斑馬魚(yú)光場(chǎng)數(shù)據(jù)集的角度為13，因此本文選擇處于整個(gè)光場(chǎng)最中心位置(x ,y) =(7,7)的單張圖像作為測(cè)試圖像．

表1展示了本文的模型與其他現(xiàn)有模型在斑馬魚(yú)光場(chǎng)數(shù)據(jù)集中間位置圖像上的超分辨率結(jié)果．圖2給出相應(yīng)的視覺(jué)效果．以上結(jié)果表明，在給定實(shí)驗(yàn)條件下，LAC-LFSRnet模型表現(xiàn)良好，PSNR遠(yuǎn)高于其他方法．這可以歸因于LAC-LFSRnet比其他網(wǎng)絡(luò)擁有更多的層數(shù)和更深的網(wǎng)絡(luò)，從而提高了恢復(fù)真值細(xì)節(jié)的能力．圖2結(jié)果表明LAC-LFSRnet在處理帶有輕微噪聲的圖像時(shí)可以更好地恢復(fù)紋理細(xì)節(jié)．

表1 不同方法在斑馬魚(yú)數(shù)據(jù)集上的定量比較結(jié)果Tab.1 Quantitative comparisons of different methods on the zebrafish dataset

圖2 不同方法在斑馬魚(yú)數(shù)據(jù)集上的視覺(jué)效果比較 Fig.2 Comparison of visual effects of different methodson the zebrafish dataset

由于斑馬魚(yú)數(shù)據(jù)集本身存在一定噪聲，本文使用無(wú)明顯噪聲的果蠅光場(chǎng)數(shù)據(jù)集進(jìn)一步探究LACLFSRnet和LADMM傳統(tǒng)優(yōu)化方法在處理圖像超分辨率問(wèn)題上的表現(xiàn)．除了訓(xùn)練數(shù)據(jù)對(duì)變?yōu)閧V (·,·,s, t )、U (·,·,s, t )}外，此處和斑馬魚(yú)光場(chǎng)數(shù)據(jù)集實(shí)驗(yàn)具有相同的訓(xùn)練策略及參數(shù)設(shè)置．表2列出基于L2平方范數(shù)正則化的LADMM方法、基于頻域快速解法的LADMM＋FFT算法的運(yùn)行時(shí)間、收斂所需迭代次數(shù)和峰值信噪比PSNR，以及LAC-LFSRnet(20層＋有后處理部分)的測(cè)試所需平均時(shí)間和PSNR．其中，迭代次數(shù)最大設(shè)置為100．圖3展示了LADMM方法和LAC-LFSRnet模型對(duì)果蠅數(shù)據(jù)集超分辨率的結(jié)果，并對(duì)細(xì)節(jié)部分進(jìn)行放大處理．表2和圖3的結(jié)果表明，基于神經(jīng)網(wǎng)絡(luò)的LAC-LFSRnet相比傳統(tǒng)的LADMM迭代優(yōu)化方法具有更快的運(yùn)行速度和更好的恢復(fù)效果．

圖3 不同方法在果蠅數(shù)據(jù)集上的視覺(jué)效果及細(xì)節(jié)比較Fig.3 Comparison of visual effects and details of different methods on the drosophila dataset

表2 不同方法在果蠅數(shù)據(jù)集上的定量比較結(jié)果Tab.2 Quantitative comparisons of different methods on the drosophila dataset

3.4 消融實(shí)驗(yàn)

3.4.1 后處理部分

本文提出LAC-LFSRnet由主體部分和后處理部分組成．后處理部分融合不同層的輸出，實(shí)現(xiàn)自適應(yīng)地從主體部分的不同層輸出中提取有用的信息．圖4表明當(dāng)主體部分的層數(shù)固定時(shí)(16、20、22)，有后處 理部分的表現(xiàn)均好于沒(méi)有后處理部分的表現(xiàn)．

圖4 不同網(wǎng)絡(luò)層數(shù)和是否有后處理部分的對(duì)比Fig.4 Comparisons of different layers L of the main part as well as with/without postprocessing part

3.4.2 主體部分的層數(shù)

本文介紹了LAC-LFSRnet的主體部分是由多層級(jí)聯(lián)組成的．考慮到增加網(wǎng)絡(luò)深度可能會(huì)影響網(wǎng)絡(luò)性能，本文探索了主體部分的層數(shù)L和結(jié)果性能的關(guān)系．圖4表明在有后處理部分的情況下，L＝20時(shí)的PSNR比L＝16要高出約2.0 dB，而L＝22時(shí)的PSNR比L＝20低1.5 dB．結(jié)果表明，主體部分層數(shù)從16增加到20會(huì)提高結(jié)果性能，但網(wǎng)絡(luò)深度的進(jìn)一步增加，性能反而會(huì)下降．由于L＝20時(shí)模型的結(jié)果要顯著優(yōu)于其他兩種情況．因此本文選擇主體部分的層數(shù)為20．

3.4.3 主體部分每層后面的細(xì)化模塊

在本文LAC-LFSRnet中，主體部分的每一層都由LADMM模塊和細(xì)化模塊組成．本文探索了使用細(xì)化模塊和不使用細(xì)化模塊的結(jié)果差異．如圖5所示，經(jīng)過(guò)細(xì)化模塊的方案比沒(méi)有細(xì)化模塊的方案有更好的性能(約0.5 dB)．所以在復(fù)雜度允許的條件下可以考慮添加細(xì)化模塊．

圖5 不同網(wǎng)絡(luò)層數(shù)和是否有細(xì)化模塊對(duì)比Fig.5 Comparisons of different layers L of the main part as well as with/without the refinement module

4 結(jié) 語(yǔ)

本文提出了一種基于模型方法和基于學(xué)習(xí)方法相結(jié)合的光場(chǎng)超分辨率網(wǎng)絡(luò)．首先介紹了光場(chǎng)超分辨率模型和傳統(tǒng)的LADMM算法．受LADMM算法和卷積神經(jīng)網(wǎng)絡(luò)的啟發(fā)，本文提出了LAC-LFSRnet的網(wǎng)絡(luò)，詳細(xì)介紹LAC-LFSRnet模型的具體結(jié)構(gòu)．斑馬魚(yú)光場(chǎng)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，LAC-LFSRnet模型同當(dāng)前主流的圖像超分辨率方法相比，具有較好的圖像超分辨率處理能力，并且有一定的去噪功能．果蠅光場(chǎng)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，LAC-LFSRnet模型同傳統(tǒng)LADMM算法相比，在性能和效率上更具優(yōu)勢(shì)．最后，本文還進(jìn)行了消融實(shí)驗(yàn)分析，驗(yàn)證了LACLFSRnet內(nèi)部結(jié)構(gòu)(后處理部分、細(xì)化模塊)的有效性.