趙圓圓，施圣賢

融合多尺度特征的光場圖像超分辨率方法

趙圓圓，施圣賢*

上海交通大學機械與動力工程學院，上海 200240

光場相機作為新一代的成像設備，能夠同時捕獲光線的空間位置和入射角度，然而其記錄的光場存在空間分辨率和角度分辨率之間的制約關系，尤其子孔徑圖像有限的空間分辨率在一定程度上限制了光場相機的應用場景。因此本文提出了一種融合多尺度特征的光場圖像超分辨網(wǎng)絡，以獲取更高空間分辨率的光場子孔徑圖像。該基于深度學習的網(wǎng)絡框架分為三大模塊：多尺度特征提取模塊、全局特征融合模塊和上采樣模塊。網(wǎng)絡首先通過多尺度特征提取模塊學習4D光場中固有的結(jié)構(gòu)特征，然后采用融合模塊對多尺度特征進行融合與增強，最后使用上采樣模塊實現(xiàn)對光場的超分辨率。在合成光場數(shù)據(jù)集和真實光場數(shù)據(jù)集上的實驗結(jié)果表明，該方法在視覺評估和評價指標上均優(yōu)于現(xiàn)有算法。另外本文將超分辨后的光場圖像用于深度估計，實驗結(jié)果展示出光場圖像空間超分辨率能夠增強深度估計結(jié)果的準確性。

超分辨；光場；深度學習；多尺度特征提取；特征融合

1 引 言

光場成像的概念最早由Lippmann[1]于1908年提出，經(jīng)過較長一段時間的發(fā)展，Adelson和Wang[2]于1992年搭建了全光相機模型，隨后Ng等人[3]于2005年設計出了手持式光場相機。作為新一代的成像設備，近年來光場相機已經(jīng)被廣泛應用到三維測試領域，如：三維流場測試[4-8]、三維火焰溫度場重建[9]以及三維物體形貌重建[10-11]等。與傳統(tǒng)相機不同，光場相機在主透鏡與成像平面(CCD/CMOS)之間安裝了一個微透鏡陣列，可通過單次拍攝同時捕獲空間中光線的空間位置和入射角度，因此能夠從單張原始光場圖像中還原出所拍攝場景的三維信息。然而由于光場相機的固有結(jié)構(gòu)設計，其空間分辨率與角度分辨率之間存在一定的制約關系[3]。以商用光場相機Lytro Illum為例，其捕獲的光場為7728 pixels×5368 pixels，而經(jīng)過光場渲染得到的15×15的子圖像陣列中每張子孔徑圖像的分辨率僅為625 pixels×434 pixels。過低的子圖像空間分辨率導致光場深度估計算法得到的深度圖分辨率過低，同時對深度估計結(jié)果的準確性造成一定的影響。因此，越來越多的學者投入到光場超分辨率研究中，以拓展光場相機的應用場景。

目前，主流的光場超分辨率主要分為空間超分辨率、角度超分辨率和時間超分辨率以及三者的任意組合。具體地，利用4D光場中的冗余信息并提出其所遵循的模型框架來實現(xiàn)超分辨率，這些光場超分辨率方法大致分為三大類：基于幾何投影的方法、基于先驗假設的優(yōu)化方法和基于深度學習的方法[12]。基于幾何投影的方法主要是根據(jù)光場相機的成像原理，通過獲取不同視角子孔徑圖像之間的亞像素偏移來對目標視圖進行超分辨。Lim等人[13]通過分析得出，光場2D角度維度上的數(shù)據(jù)中暗含著不同視角圖像在空間維度上的亞像素偏移信息，繼而提出了利用數(shù)學模型將其投影至凸集上進行迭代優(yōu)化來獲取高分辨率圖像的方法。Georgiev等人[14]建立了專門針對聚焦型光場相機的超分辨框架，通過子圖像中的對應點找出相鄰視圖之間的亞像素偏移，然后將相鄰視圖中的像素傳播至目標視圖中得到超分辨率結(jié)果?；谙闰灱僭O的方法是研究人員為了重建出更真實的高分辨率視圖所提出的。這類方法在利用4D光場結(jié)構(gòu)的同時加入了對實際拍攝場景的先驗假設，由此提出相應的物理模型對光場超分辨率問題進行優(yōu)化求解。Bishop等人[15]在光場成像模型中加入了朗伯反射率和紋理保留的先驗假設，并在變分貝葉斯框架中對光場圖像進行超分辨，實驗表明該算法在真實圖像上有較好的表現(xiàn)。Rossi等人[16]提出了一種利用不同光場視圖信息并結(jié)合圖正則化器來增強光場結(jié)構(gòu)并最終得到高分辨率視圖的方法?？紤]實際光場圖像中的噪聲問題，Alain和Smolic[17]提出了一種結(jié)合SR-BM3D[18]單圖像超分辨濾波器和LFBM5D[19]光場降噪濾波器的方法，通過在LFBM5D[19]濾波步驟和反投影步驟之間反復交替以實現(xiàn)光場超分辨?；谏疃葘W習的光場超分辨率近年來也在逐漸興起。Yoon等人[20]首次采用深度卷積神經(jīng)網(wǎng)絡對光場圖像進行空間和角度超分辨。在他們的工作中，首先通過空間超分辨網(wǎng)絡對每個子孔徑圖像進行上采樣并結(jié)合4D光場結(jié)構(gòu)對其增強細節(jié)，然后通過角度超分辨網(wǎng)絡生成相鄰視圖之間新的視角圖像。Wang等人[21]將光場子圖像陣列看作是2D圖像序列，用雙向遞歸卷積神經(jīng)網(wǎng)絡對光場中相鄰視角圖像之間的空間關系進行建模，并設計了一種隱式多尺度融合方案來進行超分辨重建。Zhang等人[22]提出了一種使用殘差卷積神經(jīng)網(wǎng)絡的光場圖像超分辨方法(ResLF)，通過學習子圖像陣列中水平、豎直和對角方向上的殘差信息，并將其用于補充目標視圖的高頻信息，實驗結(jié)果表明該方法在視覺和數(shù)值評估上均表現(xiàn)出優(yōu)良的性能。

為了充分利用4D光場的冗余信息，需要結(jié)合光場中2D空間維度和2D角度維度上的數(shù)據(jù)來學習4D光場中的固有結(jié)構(gòu)特征和豐富的紋理細節(jié)，以最終實現(xiàn)光場超分辨率。受基于深度學習的立體圖像超分辨率網(wǎng)絡框架PASSRnet[23]的啟發(fā)，本文提出了一種融合多尺度特征的光場超分辨率網(wǎng)絡結(jié)構(gòu)。該方法的核心思想是：在無遮擋情況下，光場×的子圖像陣列中，中心視角圖像中的像素點與其他周圍視角圖像中與之對應的像素點之間存在特定的變換關系。通過利用這一幾何約束，某一視圖的紋理細節(jié)特征可被來自其他視圖的補充信息所增強。本文所提出的超分辨率網(wǎng)絡框架中，首先通過原子空間金字塔池化(atrous spatial pyramid pooling，ASPP)模塊[24]來擴大感受野以學習到光場中2D空間維度上的多尺度特征，然后經(jīng)由融合模塊對所提取的特征進行融合并結(jié)合光場中2D角度維度上的幾何約束進行全局特征增強，最后由上采樣模塊對光場圖像進行空間超分辨。該網(wǎng)絡通過對多尺度特征的融合與增強，能夠累積到光場中豐富的紋理細節(jié)信息，在×2超分辨率任務中，該方法在遮擋和邊緣區(qū)域也能表現(xiàn)出良好的重建效果，平均信噪比(peak signal to noise ratio，PSNR)比現(xiàn)有方法提高了0.48 dB。本文將超分辨后的光場圖像用于深度估計，以探索光場空間超分辨率對深度估計結(jié)果的增強作用。

2 本文方法

2.1 算法模型與框架

在本文中，使用HR表示原始的高分辨率光場，LR表示對應的經(jīng)過下采樣得到的低分辨率光場。由于高分辨率光場與對應的低分辨率光場之間保持一致性，因此LR可看作是HR經(jīng)過光學模糊和下采樣而得到的?？紤]到上述過程中引入的噪聲問題，可對LR和HR之間的一致性關系進行如下數(shù)學建模[25]：

式中：為模糊矩陣，表示下采樣矩陣，代表過程中可能會引入的誤差項。

光場超分辨率重建任務可看作是式(1)描述過程的逆過程，即對LR進行上采樣并進一步去除模糊，從而得到超分辨率后的光場SR。具體過程可被數(shù)學描述為

式中：B-1表示去模糊矩陣，S-1為上采樣矩陣，表示超分辨率后的光場GSR與原始的高分辨率光場GHR之間的誤差。由上式可以看出，在超分辨率重建任務中，利用更多的紋理細節(jié)信息可以較大程度上重建出更接近原始數(shù)據(jù)的光場。由于真實圖像中往往存在噪聲，故在超分辨率重建過程中加入抗噪聲模塊，將會進一步提升超分辨率算法的性能。

本文所提出的算法框架將LR和HR作為網(wǎng)絡的輸入數(shù)據(jù)和真實數(shù)據(jù)，以訓練得到上采樣映射，從而輸出光場超分辨率重建結(jié)果SR。如圖1(a)所示，該網(wǎng)絡結(jié)構(gòu)分為三大模塊：多尺度特征提取模塊、全局特征融合模塊和上采樣模塊。首先，多尺度特征提取模塊分別對低分辨率光場LR中的每個視圖進行特征提取，以得到×的特征圖陣列；然后生成的特征圖陣列經(jīng)過堆疊后被發(fā)送至融合模塊進行特征融合，同時該模塊利用光場中角度維度上的約束對所提取的特征進行全局增強；而后獲得的光場結(jié)構(gòu)特征被發(fā)送至上采樣模塊以最終輸出超分辨后的光場子圖像陣列。每個模塊的網(wǎng)絡結(jié)構(gòu)設計與作用將在下一節(jié)介紹。

2.1.1 多尺度特征提取

紋理信息對于大多數(shù)圖像處理任務具有十分重要的意義。在超分辨率任務中，對高頻信息的有效提取和利用決定了能否詳實地重建出高分辨率圖像中的細節(jié)部分。因此，本文采用ASPP塊來擴大接收域并分別從每張光場子孔徑圖像中提取多尺度特征。如圖1(b)的示例，該ASPP塊由膨脹率不同的原子空洞卷積組成。不同膨脹率的原子空洞卷積的感受野不同，因此ASPP塊可以累積來自圖像中不同區(qū)域的紋理細節(jié)信息。本文算法在ASPP塊結(jié)構(gòu)基礎上加入了殘差式的設計，組成了ResASPP(residual atrous spatial pyramid pooling，ResASPP)塊的網(wǎng)絡子結(jié)構(gòu)。如圖1(c)所示，將3個結(jié)構(gòu)參數(shù)相同的ASPP塊級聯(lián)并以殘差的形式加到上游輸入中即為1個ResASPP塊。在每個ASPP塊中，首先3個原子空洞卷積分別以=1,4,8的膨脹率對上游輸入進行特征提取，然后再由1個1×1的卷積核對所得到的多尺度特征進行融合。整體的多尺度特征提取模塊的操作流程為：低分辨率光場LR中的子孔徑圖像經(jīng)過1個常規(guī)卷積和1個殘差塊(residual block，ResB)的處理提取出低級特征；接著，由交替出現(xiàn)兩次的ResASPP塊和殘差塊對低級特征進行多尺度特征提取及特征融合，從而得到每張子孔徑圖像的中級特征。如圖1(a)所示，多尺度特征提取模塊分別對×的低分辨率子圖像陣列中的每個視圖進行操作，最終提取出與之相對應的×特征圖陣列。在多尺度特征提取環(huán)節(jié)，網(wǎng)絡主要對4D光場中2D空間維度上的信息加以利用并從中獲取圖像空間中的紋理細節(jié)特征。

2.1.2 全局特征融合

圖2 融合塊FusionB原理示意圖。(a) FusionB結(jié)構(gòu)；(b) 多尺度特征與經(jīng)過FusionB融合后的特征對比

光場中每張低分辨率視圖是從略微不同的角度來捕獲場景，因此某一視圖中未獲取的紋理細節(jié)可能會被另一個視圖捕獲到。即一個視圖的紋理細節(jié)特征可被來自其他視圖的補充信息所增強?？紤]到光場中每個視角之間的基線很小，中心視角圖像可通過一定的“翹曲變換”(warping transformation)生成其他周圍視角圖像，反之亦然。中心視圖生成周圍視圖的過程可被數(shù)學描述為

2.1.3 上采樣模塊及損失函數(shù)

在特征提取和融合模塊完成對4D光場結(jié)構(gòu)特征的學習后，上采樣模塊將對獲取的特征圖進行超分辨率重建。該模塊采用了超分辨率網(wǎng)絡常用的上采樣方法?子像素卷積(sub-pixel convolution)，或被稱為像素洗牌操作(pixel shuffle)[26]。子像素卷積模塊首先從輸入的通道數(shù)為的特征圖中產(chǎn)生2個通道數(shù)為的特征圖，然后對得到的通道數(shù)為2′的特征圖進行抽樣操作，并由此生成分辨率為倍的高分辨率特征圖[26]。該高分辨率特征圖被發(fā)送至1個常規(guī)的卷積層中進行特征融合并最終生成超分辨后的光場子圖像陣列。在訓練過程中，超分辨后的光場子孔徑圖像分別與實際的高分辨率光場子孔徑圖像進行一一對比，本文的損失函數(shù)使用L1范數(shù)(如式(10)所示)，因為在神經(jīng)網(wǎng)絡訓練過程中表現(xiàn)出了更好的性能。另外，網(wǎng)絡采用泄露因子為0.1的帶泄露修正線性單元(leaky ReLU)作為激活函數(shù)以避免訓練過程中神經(jīng)元不再進行信息傳播的情況。

2.2 算法性能評價指標

本文選用圖像超分辨率重建領域常用的PSNR和結(jié)構(gòu)相似性(structural similarity，SSIM)評價指標對算法性能進行評價。對于超分辨率重建后得到的光場SR和真實光場數(shù)據(jù)HR可計算出光場中每張子孔徑圖像對應的PSNR值(用PSNR表示，單位dB)：

3 實驗結(jié)果與分析

實驗使用了來自HCI1[28]和HCI2[29]的4D合成光場圖像以及由Lytro Illum光場相機拍攝的分別來自Stanford[30]和EPFL[31]的真實圖像。從Stanford和EPFL數(shù)據(jù)集中分別隨機取出約5/6的光場數(shù)據(jù)與HCI2數(shù)據(jù)集組合作為訓練集，并把Stanford和EPFL數(shù)據(jù)集中剩下的光場數(shù)據(jù)與HCI1中的光場數(shù)據(jù)組合作為測試集。本實驗中訓練集和測試集分別有419個和91個光場圖像。所有的實驗LF圖像均按照5×5的角度分辨率進行預處理，然后使用雙三次插值對高分辨率光場HR進行空間×2降采樣以獲得低分辨率光場LR，再使用本文方法對LR進行超分辨處理以得到超分辨率重建結(jié)果SR。超分辨率重建結(jié)果的質(zhì)量由PSNR和SSIM來進行定量評估。在實驗中，將本文方法與×2單張圖像超分辨方法FALSR[32]和傳統(tǒng)光場超分辨方法GBSR以及基于深度學習的光場圖像超分辨方法ResLF進行對比，用于展示所提方法的性能與潛力。

在訓練過程中，LR中的低分辨率(low resolution，LR)子孔徑圖像被以32 pixels的步長裁剪成了空間大小為64 pixels×64 pixels的小塊，HR中的高分辨率(high resolution，HR)子孔徑圖像也對應地被裁剪成大小為128 pixels×128 pixels的小塊，由此構(gòu)成網(wǎng)絡的輸入數(shù)據(jù)和真實數(shù)據(jù)。在實驗中，通過水平和垂直地隨機翻轉(zhuǎn)圖像來進行數(shù)據(jù)增強。本文搭建的神經(jīng)網(wǎng)絡在Nvidia GTX 1070 GPU的PC上基于Pytorch框架進行訓練，模型使用Adam優(yōu)化方法[33]并且使用Xaviers方法[34]初始化每一層卷積層的權(quán)重。模型的初始學習率設置為2×10-4，每20個周期衰減0.5倍，經(jīng)過80個周期后停止訓練，整個訓練過程大約需要2天左右的時間。在測試過程中，分別將模型應用到合成數(shù)據(jù)集和真實數(shù)據(jù)集上以評估本文所采用的超分辨網(wǎng)絡的性能，進一步地將超分辨率光場SR中的超分辨率(super resolution，SR)子孔徑圖像陣列應用到深度估計上以觀察光場空間超分辨率對視差計算的影響。

3.1 合成光場圖像

在訓練過程中使用了HCI2合成數(shù)據(jù)集中的光場圖像，因此使用HCI1中的合成光場圖像對各超分辨率方法進行性能測試。實驗中基于深度學習的超分辨率算法FALSR和ResLF采用的是作者發(fā)布的預先訓練好的模型。另外，雙三次插值圖像超分辨率方法在實驗中被當作基準算法。圖3展示了各算法對場景Buddha、Mona和Papillon的超分辨率重建結(jié)果。實驗結(jié)果表明，雙三次插值重建出的圖像整體上比較模糊，這是由于該方法主要利用了圖像中的低頻信息而忽略了對高頻信息的有效利用。而基于光場幾何約束的傳統(tǒng)方法GBSR能夠較為真實地重建出超分辨率圖像，整體上表現(xiàn)出了不錯的性能，然而該方法重建場景中的邊緣部分會出現(xiàn)模糊或過度銳化問題。另外，GBSR算法完成1個場景的光場超分辨率重建大概需要2 h~3 h，十分耗時?；谏疃葘W習的×2單張圖像超分辨方法FALSR對于場景中同一物體內(nèi)部區(qū)域的重建效果較好，但由于僅利用單張視圖而沒有考慮4D光場結(jié)構(gòu)中的隱含線索，因此無法重建復雜的紋理，同時該方法存在較大程度的銳化過度問題。而基于深度學習的光場超分辨方法ResLF通過結(jié)合EPI空間中的極線約束可較為真實地重建出圖像中的紋理細節(jié)，但由于沒有用到光場中的全部視角圖像從而導致對遮擋邊緣部分的重建結(jié)果有些失真。本文提出的超分辨率網(wǎng)絡通過利用光場中的所有視角圖像，能夠更為真實地重建出高分辨率圖像中的紋理信息，同時全局特征融合模塊一定程度上改善了邊緣模糊失真和銳化過度的情況，在主觀視覺上表現(xiàn)出了更好的重建性能。定量的性能評估結(jié)果如表1所示，藍色字體標注了除本文方法外的評估指標最高的算法，紅色字體則標注了本文方法優(yōu)于藍色字體所標注方法的場景。由表1看出ResLF重建出的圖像保持著較高的結(jié)構(gòu)相似度，GBSR在合成圖像重建上整體獲得了次佳的分數(shù)，而本文方法在PSNR和SSIM上均優(yōu)于其他方法。

3.2 真實光場圖像

圖3 合成數(shù)據(jù)光場超分辨結(jié)果。(a) Buddha場景；(b) Mona場景；(c) Papillon場景

超分辨率算法常被用于真實圖像任務，本文進一步地使用Lytro Illum相機拍攝的真實光場數(shù)據(jù)來測試各超分辨率算法的性能。真實圖像往往存在許多實際問題，特別是Lytro拍攝的光場圖像存在較多噪點，這對光場超分辨率重建以及視差計算造成了一定的困難。通常HR光場子圖像中1個像素位置的噪點經(jīng)過下采樣-上采樣過程之后在SR圖像中將會呈現(xiàn)出2×2像素區(qū)域大小的噪點。噪點在圖像中隨機離散地分布，較多的噪點導致真實圖像超分辨率結(jié)果的PSNR值與合成圖像相比整體偏低。

圖4展示了真實光場數(shù)據(jù)的超分辨率重建結(jié)果。其中，F(xiàn)ALSR由于沒有利用來自其他視角圖像中的冗余信息而導致重建效果不佳，甚至重建圖像中物體的邊緣可能會存在較大程度的扭曲變形，如圖4(a)中重建的柵欄的邊緣部分。ResLF通過利用多個方向的EPI信息能夠較為詳實地還原圖像中復雜的紋理細節(jié)，特別是對于圖像空間中方向為水平、豎直和對角的紋理。但該方法超分辨率重建圖像中的邊緣部分仍會存在過度平滑和模糊的現(xiàn)象，如圖4(b)中重建出的車牌號碼中的字母“A”。本文所提方法能夠較好地重建出各個方向的紋理信息，包括圓滑的邊緣信息，整體上表現(xiàn)出了較高的光場超分辨率重建性能，如圖4(c)中的?；找约盎ò甑倪吘墶?/p>

定量評估結(jié)果如表2所示，藍色字體標注了除本文方法外的評價指標最高的算法，紅色字體標注了本文方法優(yōu)于藍色字體所標注方法的場景。由表2，本文方法重建出的Fence場景的PSNR低于ResLF和FALSR。這是由于該場景的原始圖像中存在較多噪點，而本文網(wǎng)絡在設計中沒有特別考慮降噪問題，同時融合模塊過多地累加了噪點的多尺度特征。另外，本文方法在Fence場景下的SSIM略低于ResLF，這是因為ResLF對水平、豎直和對角的紋理有較強的超分辨率重建能力，而Fence場景中存在較多的對角紋理。在Cars和Flowers場景中，本文方法在PSNR和SSIM上的表現(xiàn)均優(yōu)于其他方法。將本文網(wǎng)絡用于測試集中的Stanford真實光場圖像的超分辨率重建上，得到的平均PSNR/SSIM為38.30 dB/0.9778，比ResLF文獻中在Stanford數(shù)據(jù)集上得到的PSNR/SSIM(35.48 dB/0.9727)值略高，且比FALSR文獻中在公開數(shù)據(jù)集Set5[35]上×2超分辨所得的PSNR(37.82 dB)值也略高。綜合地看，本文所提出的超分辨網(wǎng)絡在主觀視覺和評價指標上處于相對領先的水平。

表1 不同超分辨算法在合成數(shù)據(jù)上的性能比較

圖4 真實數(shù)據(jù)光場超分辨結(jié)果。(a) Fence場景；(b) Cars場景；(c) Flowers場景

3.3 應用于深度估計

為了觀察光場空間超分辨率對視差計算結(jié)果的影響，本節(jié)分別對經(jīng)下采樣得到的低分辨率光場LR和經(jīng)本文方法得到的超分辨率光場SR進行了深度估計。深度估計算法統(tǒng)一采用POBR[36]，圖5中分別展示了場景真實的視差圖(Ground truth)、由LR計算得到的低分辨率視差圖(LR depth)和由SR計算得到的高分辨率視差圖(SR depth)。值得一提的是，SR depth的分辨率為LR depth的2倍，因此對光場進行空間超分辨率可進一步獲得高分辨率的深度圖。另一方面，深度估計結(jié)果表明，高分辨率的光場子圖像陣列中包含更為豐富的紋理信息，尤其能為遮擋或邊緣區(qū)域提供更多的線索，因此可以更加準確地還原出所拍攝場景的深度信息，如圖5中黑色方框標記的部分。

表2 不同超分辨算法在真實數(shù)據(jù)上的性能對比

為了更直觀地展示深度估計結(jié)果的優(yōu)劣，本文將LR depth和SR depth分別與Ground truth對比，得到圖6所示的誤差圖。在實驗中，SR depth與Ground truth直接相減求絕對值以得到誤差圖。而由于LR depth和Ground truth的分辨率不同無法直接做差，因此先采用雙三次插值對Ground truth進行下采樣，然后再將經(jīng)下采樣得到的視差圖與LR depth對比來得到LR depth的誤差圖。雙三次插值的本質(zhì)是對圖像進行平滑濾波，這會使得Ground truth下采樣后的視差數(shù)據(jù)值較小幅度地偏離原始數(shù)據(jù)，并且使得視差數(shù)據(jù)的極大值變小。因此LR depth的誤差圖與SR depth的誤差圖相比，其中絕大部分像素位置的數(shù)值會偏大，而在紋理邊緣所對應的像素位置的數(shù)值會偏小。故圖6所展示的誤差圖對比是一種略失公允的對比，但對比結(jié)果依然能夠說明一定的問題。如圖6中紅色方框標記區(qū)域的視差計算誤差，超分辨后的光場深度估計結(jié)果優(yōu)于低分辨率光場的深度估計結(jié)果，這與在圖5上的直觀視覺對比結(jié)果相一致。另外，本文分別對兩個場景的平均視差誤差LR depth error和SR depth error進行了計算。其中，Mona場景中低分辨率光場視差的平均計算誤差為0.1699 pixels，高分辨率光場視差的平均計算誤差為0.0075 pixels。而Flower場景中低分辨率光場視差的平均計算誤差為0.2013 pixels，高分辨率光場視差的平均計算誤差為0.0434 pixels。

圖5 視差估計結(jié)果。(a) Mona場景視差圖；(b) Flowers場景視差圖

圖6 深度估計結(jié)果與真實深度之間的誤差圖(單位：像素)。(a)，(b) Mona場景誤差圖；(c)，(d) Flowers場景誤差圖

4 結(jié) 論

本文提出了一種融合多尺度特征的光場超分辨網(wǎng)絡以提高光場子孔徑圖像的空間分辨率。在所提的網(wǎng)絡框架中，通過多尺度特征提取模塊探索4D光場中的固有結(jié)構(gòu)信息，然后采用融合模塊對提取到的紋理信息進行融合和增強，最后使用上采樣模塊實現(xiàn)光場子圖像陣列的超分辨率。實驗結(jié)果表明，該方法在合成光場數(shù)據(jù)集和真實光場數(shù)據(jù)集上均表現(xiàn)出了較好的性能，×2超分辨率重建情況下，平均PSNR比單圖超分辨方法FALSR高0.48 dB，平均SSIM比光場超分辨率方法ResLF評價指標高0.51%。另外，該方法在主觀視覺上也表現(xiàn)出了良好的超分辨率重建性能。該方法不僅能夠重建圖像空間中水平、豎直和對角方向的紋理，同時還可用于其他各個方向的復雜紋理重建。進一步地，本文將超分辨結(jié)果用于光場深度估計，發(fā)現(xiàn)其能夠為遮擋或邊緣區(qū)域提供更多的線索，實驗結(jié)果展示出光場圖像空間超分辨率在一定程度上增強了視差計算結(jié)果的準確性。

[1] Lippmann G. épreuves réversibles donnant la sensation du relief[J]., 1908, 7(1): 821?825.

[2] Adelson E H, Wang J Y A. Single lens stereo with a plenoptic camera[J]., 1992, 14(2): 99?106.

[3] Ng R, Levoy M, BrédifM,. Light field photography with a hand-held plenoptic camera[R]. Stanford Tech Report CTSR 2005-02, 2005.

[4] Tan Z P, Johnson K, Clifford C,. Development of a modular, high-speed plenoptic-camera for 3D flow-measurement[J]., 2019, 27(9): 13400?13415.

[5] Fahringer T W, Lynch K P, Thurow B S. Volumetric particle image velocimetry with a single plenoptic camera[J]., 2015, 26(11): 115201.

[6] Shi S X, Ding J F, New T H,. Volumetric calibration enhancements for single-camera light-field PIV[J]., 2019, 60(1): 21.

[7] Shi S X, Ding J F, New T H,. Light-field camera-based 3D volumetric particle image velocimetry with dense ray tracing reconstruction technique[J]., 2017, 58(7): 78.

[8] Shi S X, Wang J H, Ding J F,. Parametric study on light field volumetric particle image velocimetry[J]., 2016, 49: 70?88.

[9] Sun J, Xu C L, Zhang B,. Three-dimensional temperature field measurement of flame using a single light field camera[J]., 2016, 24(2): 1118?1132.

[10] Shi S X, Xu S M, Zhao Z,. 3D surface pressure measurement with single light-field camera and pressure-sensitive paint[J]., 2018, 59(5): 79.

[11] Ding J F, Li H T, Ma H X,. A novel light field imaging based 3D geometry measurement technique for turbomachinery blades[J]., 2019, 30(11): 115901.

[12] Cheng Z, Xiong Z W, Chen C,. Light field super-resolution: a benchmark[C]//,Long Beach, CA, 2019.

[13] Lim J, Ok H, Park B,. Improving the spatail resolution based on 4D light field data[C]//, Cairo, Egypt, 2009, 2: 1173?1176.

[14] Georgiev T, Chunev G, Lumsdaine A. Superresolution with the focused plenoptic camera[J]., 2011, 7873: 78730X.

[15] Bishop T E, Favaro P. The light field camera: extended depth of field, aliasing, and superresolution[J]., 2012, 34(5): 972?986.

[16] Rossi M, Frossard P. Graph-based light field super-resolution[C]//, Luton, UK, 2017: 1?6.

[17] Alain M, Smolic A. Light field super-resolution via LFBM5D sparse coding[C]//, Athens, Greece, 2018: 1?5.

[18] Egiazarian K, Katkovnik V. Single image super-resolution via BM3D sparse coding[C]//, Nice, France, 2015: 2849?2853.

[19] Alain M, Smolic A. Light field denoising by sparse 5D transform domain collaborative filtering[C]//, Luton, UK, 2017: 1?6.

[20] Yoon Y, Jeon H G, Yoo D,. Learning a deep convolutional network for light-field image super-resolution[C]//,Santiago, Chile, 2015: 57?65.

[21] Wang Y L, Liu F, Zhang K B,. LFNet: a novel bidirectional recurrent convolutional neural network for light-field image super-resolution[J]., 2018, 27(9): 4274?4286.

[22] Zhang S, Lin Y F, Sheng H. Residual networks for light field image super-resolution[C]//, Long Beach, CA, USA, 2019: 11046?11055.

[23] Wang L G, Wang Y Q, Liang Z F,. Learning parallax attention for stereo image super-resolution[C]//, Long Beach, CA, USA, 2019: 12250?12259.

[24] Chen L C, Zhu Y K, Papandreou G,. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//,Glasgow, United Kingdom, 2018: 801?818.

[25] Wang R G, Liu L L, Yang J,. Image super-resolution based on clustering and collaborative representation[J]., 2018, 45(4): 170537. 汪榮貴, 劉雷雷, 楊娟, 等. 基于聚類和協(xié)同表示的超分辨率重建[J]. 光電工程, 2018, 45(4): 170537.

[26] Shi W Z, Caballero J, Huszár F,. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//,Las Vegas, USA,2016: 1874?1883.

[27] Xu L, Fu R D, Jin W,. Image super-resolution reconstruction based on multi-scale feature loss function[J]., 2019, 46(11): 180419. 徐亮, 符冉迪, 金煒, 等. 基于多尺度特征損失函數(shù)的圖像超分辨率重建[J]. 光電工程, 2019, 46(11): 180419.

[28] Wanner S, Meister S, Goldluecke B. Datasets and benchmarks for densely sampled 4D light fields[M]//Bronstein M, Favre J, Hormann K.,&,Lugano, Switzerland: The Eurographics Association, 2013: 225?226.

[29] Honauer K, Johannsen O, Kondermann D,. A dataset and evaluation methodology for depth estimation on 4D light fields[C]//, Taipei, Taiwan, China, 2016: 19?34.

[30] Raj S A, Lowney M, Shah R,. Stanford lytro light field archive[EB/OL]. http://lightfields.stanford.edu/LF2016.html. 2016.

[31] Rerabek M, Ebrahimi T. New light field image dataset[C]//, Lisbon, Portugal, 2016.

[32] Chu X X, Zhang B, Ma H L,. Fast, accurate and lightweight super-resolution with neural architecture search[Z]. arXiv: 1901.07261, 2019.

[33] Kingma D P, Ba L J. Adam: a method for stochastic optimization[C]//, San Diego, America, 2015.

[34] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//, Sardinia, Italy, 2010: 249?256.

[35] Bevilacqua M, Roumy A, Guillemot C,. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]//, Guildford, UK, 2012.

[36] Chen J, Hou J H, Ni Y,. Accurate light field depth estimation with superpixel regularization over partially occluded regions[J]., 2018, 27(10): 4889?4900.

Light-field image super-resolution based on multi-scale feature fusion

Zhao Yuanyuan, Shi Shengxian*

School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China

Structure of light-field image super resolution network

Overview:As a new generation of imaging equipment, a light-field camera can simultaneously capture the spatial position and incident angle of light rays. However, the recorded light-field has a trade-off between spatial resolution and angular resolution. Especially the limited spatial resolution of sub-aperture images limits the application scenarios of light-field cameras. Therefore, a light-field super-resolution network that fuses multi-scale features to obtain super-resolved light-field is proposed in this paper. The deep-learning-based network framework contains three major modules: multi-scale feature extraction module, global feature fusion module, and up-sampling module. The design ideas of different modules are as follows.

a) Multi-scale feature extraction module: To explore the complex texture information in the 4D light-field space, the feature extraction module uses ResASPP blocks to expand the perception field and to extract multi-scale features. The low-resolution light-field sub-aperture images are first sent to a Conv block and a Res block for low level feature extraction, and then a ResASPP block and a Res block are alternated twice to learn multi-scale features that accumulate high-frequency information in the 4D light-field.

b) Global feature fusion module: The light-field images contain not only spatial information but also angular information, which implies inherent structures of 4D light-field. The global feature fusion module is proposed to geometrically reconstruct the super-resolved light-field by exploiting the angular clues. It should be noted that the feature maps of all the sub-images from the upstream are first stacked in the channel dimension of the network and then are sent to this module for high-level features extraction.

c) Up-sampling module: After learning the global features in the 4D light-field structure, the high-level feature maps could be sent to the up-sampling module for light-field super resolution. This module uses sub-pixel convolution or pixel shuffle operation to obtain 2 spatial super-resolution, after feature maps are sent to a conventional convolution layer to perform feature fusion and finally output a super-resolved light-field sub-images array.

The network proposed in this paper was applied to the synthetic light-field dataset and the real-world light-field dataset for light-field images super-resolution. The experimental results on the synthetic light-field dataset and real-world light-field dataset showed that this method outperforms other state-of-the-art methods in both visual and numerical evaluations. In addition, the super-resolved light-field images were applied to depth estimation, and the results illustrated the parallax calculation enhancement of light-field spatial super-resolution, especially in occlusion and edge regions.

Citation: Zhao Y Y, Shi S X,. Light-field image super-resolution based on multi-scale feature fusion[J]., 2020,47(12): 200007

* E-mail: kirinshi@sjtu.edu.cn

Light-field image super-resolution based on multi-scale feature fusion

Zhao Yuanyuan, Shi Shengxian*

School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China

As a new generation of the imaging device, light-field camera can simultaneously capture the spatial position and incident angle of light rays. However, the recorded light-field has a trade-off between spatial resolution and angular resolution. Especially the application range of light-field cameras is restricted by the limited spatial resolution of sub-aperture images. Therefore, a light-field super-resolution neural network that fuses multi-scale features to obtain super-resolved light-field is proposed in this paper. The deep-learning-based network framework contains three major modules: multi-scale feature extraction, global feature fusion, and up-sampling. Firstly, inherent structural features in the 4D light-field are learned through the multi-scale feature extraction module, and then the fusion module is exploited for feature fusion and enhancement. Finally, the up-sampling module is used to achieve light-field super-resolution. The experimental results on the synthetic light-field dataset and real-world light-field dataset showed that this method outperforms other state-of-the-art methods in both visual and numerical evaluations. In addition, the super-resolved light-field images were applied to depth estimation in this paper, the results illustrated that the disparity map was enhanced through the light-field spatial super-resolution.

super-resolution; light-field; deep learning; multi-scale feature extraction; feature fusion

National Natural Science Foundation of China (11772197)

10.12086/oee.2020.200007

TP391.4

A

趙圓圓，施圣賢. 融合多尺度特征的光場圖像超分辨率方法[J]. 光電工程，2020，47(12): 200007

: Zhao Y Y, Shi S XLight-field image super-resolution based on multi-scale feature fusion[J]., 2020, 47(12): 200007

2020-01-03；

2020-04-15

國家自然科學基金資助項目(11772197)

趙圓圓(1995-)，女，碩士研究生，主要從事計算機視覺、光場成像技術的研究。E-mail：ZhaoYuanyuan_236@163.com

施圣賢(1980-)，男，博士，副教授，主要從事機器視覺、光場三維測試技術的研究。E-mail：kirinshi@sjtu.edu.cn