摘 要:基于神經隱式表面的重建方法因其能高保真地重建場景而受到廣泛關注。然而,這些研究主要集中在理想輸入的重建上,對于模糊輸入重建效果并不理想。為了解決以上問題,提出了Deblur-NeuS,一種基于神經隱式場的模糊多視圖三維重建方法。通過引入模糊核預測模塊和隱式位移場來模擬模糊過程以重建模糊視圖和表面,并為模糊表面增加模糊點云監(jiān)督,優(yōu)化隱式表面的學習。在測試階段移除模糊核模塊與隱式位移場,即可直接提取更清晰的幾何表面。在模糊數(shù)據(jù)集上的實驗結果顯示,重建的表面質量以及圖像渲染的質量都得到了顯著提升。該方法增強了網(wǎng)絡對模糊輸入的魯棒性,能從運動模糊圖像中恢復幾何表面細節(jié)。
關鍵詞:神經隱式表面;模糊多視圖;三維重建
中圖分類號:TP391 文獻標志碼:A 文章編號:1001-3695(2025)02-039-0606-06
doi:10.19734/j.issn.1001-3695.2024.03.0166
Blurry multi-view 3D reconstruction based on neural implicit field
Xu Zihui,Wang Yiqun’
(College of Computer Science,Chongqing University,Chongqing 400000,China)
Abstract:Neural implicit surface-based reconstruction methods are widely valued for their high-fidelity scene reconstruction capabilities.However,most of these studies have focused on reconstructing ideal input,yielding less effective results for blurry input.To address this issue,this paper proposed Deblur-NeuS,a method for blurry multi-view 3D reconstruction based on neural implicit fields.The method simulated the blurring process to reconstruct blurry views and surfaces by introducing a blur kernel prediction module and an implicit displacement field.Additionally,it added blurry point cloud supervision for the blurry surface,which optimized the learning of the implicit surfaces.During the testing phase,the blur kernel prediction module and the implicit displacement field were removed,which enabled the direct extraction of clear geometric surfaces.Experimental results on blurred datasets demonstrate significant improvements in the quality of reconstructed surfaces and the quality of image rendering.The method enhances the network’s robustness to blurred inputs and enables the recovery of geometric surface details from motion-blurred images.
Key words:neural implicit surfaces;blurry multi-view images;3D reconstruction
多視圖三維重建,即從二維圖像重建場景的三維幾何模型,一直是計算機視覺和計算機圖形學領域非常重要的研究方向[1],已廣泛應用于自動駕駛、機器人和虛擬現(xiàn)實等多個領域。近年來,隨著深度學習的迅速發(fā)展,出現(xiàn)了一系列新的重建方法,主要分為兩類:一是基于深度卷積神經網(wǎng)絡的多視圖立體匹配方法[2],如MVSNet等方法[3~5];二是以神經輻射場[6]為代表的基于物理模型的重建方法。
NeRF[7]通過模擬光線在連續(xù)場景體積中的傳輸,利用觀測到的圖像信息來推斷三維結構,其獨特的基于體渲染的方法能夠合成新視角的高質量圖像,為三維重建領域帶來了革命性的影響。受到NeRF的啟發(fā),后續(xù)研究使用體渲染的方式學習曲面的隱函數(shù)表示,如NeuS[8]提出將符號距離函數(shù)(SDF)嵌入到體渲染公式中,使其更適合于曲面提取?;谏窠涬[式表面的方法,通過深度神經網(wǎng)絡隱式地表示三維形狀,如將表面表示為占位函數(shù)[9,10]或符號距離函數(shù)[11,12],不僅能夠有效捕捉復雜的幾何細節(jié),還能靈活適應視角變化,生成任意分辨率的對象形狀,在重建復雜結構物體方面有卓越的表現(xiàn)。
然而,現(xiàn)有方法大多關注理想輸入的重建,但現(xiàn)實世界中獲得的圖像往往并不理想。例如,在3D打印領域,消費者級別的手持設備在拍攝時常常產生模糊圖像,會降低打印模型的質量;同樣,在無人駕駛汽車的視覺系統(tǒng)中,攝像頭可能會因為車輛的高速移動而捕捉到模糊的圖像,對車輛的導航和安全決策都會產生影響。這些模糊現(xiàn)象將顯著降低重建場景質量,導致渲染新視圖中的偽影,且使三維模型表面過于光滑,細節(jié)缺失。為了解決上述問題,受Deblur-NeRF[13]利用模糊核重建模糊視圖來提升新視圖合成質量的啟發(fā),提出了一種基于神經隱式場的模糊多視圖三維重建方法,主要貢獻如下:
a)提出了一種有效的從模糊多視圖中重建清晰幾何表面的方法。通過模擬模糊過程來重建模糊視圖和表面,提升神經隱式場對模糊輸入的魯棒性。
b)提出模糊核預測模塊為每條光線預測不同的稀疏模糊核來重建模糊視圖,聯(lián)合優(yōu)化神經隱式表面等模塊,讓網(wǎng)絡恢復出清晰的隱式場景表示。
c)引入隱式位移場以獲取模糊表面的SDF表示,并提供顯式的三維監(jiān)督優(yōu)化隱式表面的學習,以消除輻射場和幾何表面間的偏差,提升復雜場景下重建表面的質量。
1 相關工作
1.1 基于神經隱式表面的三維重建
神經網(wǎng)絡編碼的隱式表示最近引起了很多關注,隱式表示已成功應用于形狀表示、新視圖合成和多視圖三維重建等領域?;谏窠涬[式表面的多視圖三維重建方法可以分為表面渲染和體渲染兩類。表面渲染方法如DVR[14]和IDR[11],它們直接在物體表面確定亮度,并使用隱式梯度提供可微渲染公式。文獻[14]提出的DVR利用表面渲染對三維形狀的占用函數(shù)進行建模,使用根搜索方法獲取表面的位置并預測二維圖像。Yariv等人[11]提出的IDR對形狀的符號距離函數(shù)進行建模,并使用球面跟蹤算法渲染2D圖像。
NeRF[7]和文獻[15,16]通過體渲染方式對更復雜的場景進行建模。Oechsle等人[10]提出UNISURF,將占用函數(shù)嵌入到體渲染公式中,通過衰減策略來控制在訓練期間在表面周圍采樣哪個區(qū)域,而無須顯式建模體積密度。Yariv等人[17]提出的VolSDF和Wang等人[8]提出的NeuS都是在體渲染過程中使用基于SDF的權重函數(shù)來使顏色和幾何形狀更接近。由于神經網(wǎng)絡難以學習和渲染高頻紋理,Darmon等人[18]在標準神經渲染優(yōu)化中添加跨不同視圖的直接照片一致性項。Fu等人[19]利用來自SfM的稀疏幾何和多視圖立體成像中的光度一致性來顯式地進行多視圖幾何優(yōu)化。Wang等人[20]提出HF-NeuS,通過將SDF分解并采用逐層優(yōu)化策略,有效提升了神經渲染中高頻細節(jié)的重建質量。Wang等人[21]還介紹了一種新的三平面架構的神經隱式表達方法PET-NeuS,利用三平面架構和自注意力卷積,增強了局部細節(jié)表達并降低了噪聲干擾。
1.2 模糊輸入的神經輻射場
由于在神經體渲染方式的成功,許多研究都引入了領域知識來改進NeRF的模糊輸入情況。Deblur-NeRF[13]通過引入稀疏模糊核(deformable sparse kernel,DSK)模塊對模糊過程進行建模,聯(lián)合優(yōu)化NeRF和DSK模塊,使其能夠恢復清晰的NeRF,使網(wǎng)絡能夠學習構建清晰的神經輻射場。接著Peng等人[22]提出PDRF,通過逐步去模糊精確建模并結合場景上下文優(yōu)化,同時采用高效的重要性采樣以加速場景優(yōu)化。Lee等人[23]則提出了一種新型框架DP-NeRF,該框架基于成像過程的物理先驗,利用剛性模糊核強化三維一致性,精細化顏色合成的誤差。Wang等人[24]提出BAD-NeRF,模擬了運動模糊圖像的成像過程,并聯(lián)合優(yōu)化了神經輻射場參數(shù)與相機運動軌跡,對嚴重運動模糊和不精確相機姿態(tài)具有魯棒性。Li等人[25]提出一種聯(lián)合去模糊和再模糊學習框架,用于訓練對錯位的單幅圖像離焦去模糊。以上工作探尋了如何從模糊圖像中高效地重建高質量的輻射場。
2 提出的方法
2.1 模型整體框架
本節(jié)詳細地介紹了一種從模糊多視圖中重建清晰幾何表面的方法——Deblur-NeuS。給定一組場景的模糊圖像和相應的姿勢,目標是從模糊圖像中恢復表面細節(jié)。在訓練階段,根據(jù)圖像位姿得到批量輸入光線,通過對稀疏模糊核的位置偏移預測來對輸入光線進行優(yōu)化變換。在優(yōu)化光線上采樣,將采樣點的位置編碼輸入到網(wǎng)絡中。根據(jù)隱式表面場以及輻射場的輸出計算得到采樣點對應的體密度和RGB值,體渲染得到優(yōu)化光線對應的顏色,最終加權來生成模糊的顏色。同時使用模糊點云來監(jiān)督表面場和位移場模擬的模糊表面。在驗證階段,擯棄模糊核和隱式位移場,直接獲得清晰的表面重建結果。整個模型訓練流程如圖1所示。
2.2 基于模糊核的SDF表面重建
在現(xiàn)實世界中,曝光是通過接收自然光在感光材料上產生光化學效應,最終形成潛像的過程。如果在這一過程中,場景中的物體相對于其他物體發(fā)生了變化,就會導致入射光發(fā)生變化,并最終反映為主體的模糊。對這一過程進行建模,模糊圖像中像素的顏色可以看作是運動軌跡上像素顏色的疊加,使用模糊核來構建運動軌跡。模糊圖像可以通過將清晰圖像與稀疏模糊核進行卷積而形成:
在卷積模型中,模糊結果是由相鄰像素組合而成的,而相鄰像素是以同一攝像機中心為源點的相鄰光線的渲染結果。然而,實際的模糊過程通常涉及混合從不同源點投射的光線,如圖2所示。這種變化在卷積模型中難以直接模擬,因為它要求相鄰像素之間存在更復雜的光線混合關系。于是對光線源點以及像素點位置都進行變換,從而準確地反映出光線在三維空間中的移動。這意味著在處理三維場景的光照問題時,可以更加精細地調整光線源點,從而得到更為真實和準確的模糊效果。
2.3 基于位移函數(shù)的模糊點云監(jiān)督
由于在將體渲染與SDF隱式表示相結合時存在偏差[19],神經隱式表面學習主要使用顏色損失來隱式優(yōu)化SDF網(wǎng)絡,這會導致訓練優(yōu)化期間的幾何歧義,尤其是在處理結構復雜的場景時,會導致重建質量下降。為了解決幾何偏差問題,一個簡單的解決方案是對SDF網(wǎng)絡引入顯式的幾何監(jiān)督。對于模糊視圖,無法獲得清晰的點云來監(jiān)督SDF網(wǎng)絡,于是引入位移場來重建模糊表面,并使用模糊點云監(jiān)督SDF網(wǎng)絡,使網(wǎng)絡專注于表面的優(yōu)化。
首先引入位移場[20]來模擬運動模糊偏移。為了實現(xiàn)隱式表面的運動模糊,將模糊表面建模為基線函數(shù)和位移函數(shù)沿基線函數(shù)法線的組合。基線函數(shù)fb代表物體表面的隱函數(shù),位移函數(shù)fd是一個附加的隱函數(shù),可以模擬表面點偏移的軌跡。假設f是訓練階段期望獲得的模糊幾何表面的隱函數(shù),位移函數(shù)fd′將表面上的點xb映射到沿法線nb的表面點x,如圖6所示。反之亦然,將基面上的點x映射到沿法線nb的表面點xb,因此fd′(xb)=fd(x)。由于隱函數(shù)的性質,對于場景中所有的點,兩個函數(shù)之間的關系可以表示如下:
在通過隱式位移場獲得模糊表面的SDF表示后,利用稀疏的模糊點云來直接定位模糊表面的零水平集,從而增強幾何精度并專注于真實表面優(yōu)化。這種在訓練期間的直接三維結構監(jiān)督糾正了幾何偏差并提高了重建精度。對從Colmap稀疏重建中獲得的稀疏三維點云進行處理,應用半徑濾波器來排除異常值[26]。假設這些稀疏點位于物體表面上,即這些稀疏點的SDF值為零:f(p)=0,p∈P,P代表從重建中獲得的稀疏點云。
為了使用于監(jiān)督模糊表面的損失函數(shù)隨視角的變化而變化,對于不同視圖,可見的稀疏點是不同的。在從視角渲染圖像時,使用模糊表面的隱函數(shù)來估計可見的SDF值。基于模糊的稀疏點的SDF值為零的假設,提出了感知遮擋的SDF損失:
3 實驗與結果分析
3.1 數(shù)據(jù)集
本文在公開的DTU[27]和BlendedMVS[28]數(shù)據(jù)集上進行實驗,以驗證方法的有效性。從DTU 數(shù)據(jù)集中選擇了8個具有挑戰(zhàn)性的場景,從BlendedMVS數(shù)據(jù)集中選擇了4個場景進行比較。DTU是一個多視圖立體數(shù)據(jù)集,每個場景由49或64個視圖組成,分辨率為 1600×1200。BlendedMVS與DTU數(shù)據(jù)集類似,但有更豐富的背景內容。每個場景包括20~1 000張輸入圖像,每張圖像的分辨率為768×576。這兩個數(shù)據(jù)集都提供了真實幾何曲面和攝像機姿態(tài)。每個場景中的圖像被分為測試集和訓練集,測試集保留1/7,訓練集中的2/3圖像被選中進行模糊處理。模糊圖像由n×n線性平滑濾波器卷積生成。
3.2 實驗細節(jié)
實驗每批采樣512條光線,設置稀疏模糊核的點數(shù)量為N=5,并遵循NeuS中的分層采樣策略對每條光線的點進行采樣。模型使用帶有默認參數(shù)的Adam優(yōu)化器,將學習率設置為5×10-4,衰減到8×10-5。在單個NVIDIA RTX 3090Ti GPU上訓練模型300 000次。網(wǎng)絡細節(jié)如下:模糊核預測模塊,網(wǎng)絡結構為4層MLP(multilayer perceptron),每層有64個隱藏單元和ReLU激活函數(shù)。兩個SDF網(wǎng)絡由兩個8層MLP構成,具有256個隱藏單元和中間的跳過連接。輻射場網(wǎng)絡由具有256個隱藏單元的4層MLP組成。
在對比過程中,統(tǒng)一采用25作為提取曲面的閾值,通過marching cube從預定義邊界框的SDF中提取網(wǎng)格,體積大小為5123。同時,實驗中使用了各基線方法論文推薦的默認參數(shù)設置和迭代次數(shù),確保了比較的公正性,增強結果的信服力。
3.3 評價指標
為了綜合評估本研究提出的模糊多視圖三維重建方法與其他方法間的性能差異,選用了以下評價指標來衡量重建質量以及從重建模型中渲染的新視角圖片的質量。這些指標包括倒角距離(Chamfer distance)、峰值信噪比(peak signal to noise ratio,PSNR)和結構相似性指數(shù)(structural similarity index mea-sure,SSIM)。
倒角距離作為衡量點云相似性的關鍵指標,通過計算點云間每個點到另一點云最近鄰距離的平均值及其逆過程來評估。該指標對于評價三維模型的幾何細節(jié)與拓撲結構的準確性極為關鍵,其值越低,表明重建模型與真實模型的一致性越高,重建效果越好。峰值信噪比(PSNR)通過均方誤差衡量重建圖像與真實圖像間的質量差異。結構相似性指數(shù)(SSIM)則進一步綜合考慮圖像的亮度、對比度及結構信息,更貼近人眼的視覺感知,是評估圖像視覺質量的重要工具。圖像評價指標的提升反映了重建圖像與參考圖像差異的減少,標志著圖像質量的優(yōu)化。
3.4 消融實驗
為了驗證所添加模塊對重建效果和性能的影響,Deblur-NeuS在模糊的DTU數(shù)據(jù)集上進行了消融實驗,并選擇三個場景的平均值作為量化指標。實驗以NeuS為基線,逐步添加模塊,以驗證每個模塊的效果。消融實驗結果如表1所示,加入模糊核預測模塊后,Model-A渲染圖像的質量得到了顯著提升,重建質量也得到了增強。Model-B進一步引入位移函數(shù),可以看到對提高重建質量起到了積極作用。此外,Model-C在移除模糊核預測模塊后的表現(xiàn)進一步證實了該模塊在提升渲染和重建質量方面的關鍵作用。Model-D添加了模糊的稀疏點云監(jiān)督Euclid Math OneLApSDF后,點云的性能相比基線方法有了顯著提升,這揭示了三維特征點對于隱式表面監(jiān)督的重要性。通過融合這些模塊的優(yōu)勢,完整模型在模糊多視圖重建任務中的性能得到了全面提升。
為了評估新增模塊對模型執(zhí)行效率的影響,對比了Deblur-NeuS和基線模型訓練300 000次的平均訓練時間,利用消費者級別的顯卡作時間統(tǒng)計分別為27.6 h和14.2 h。雖然在模型中引入了模糊核預測模塊和隱式位移場增加了一定的計算開銷,但值得注意的是,這些模塊對提升模型的推理精度起到了至關重要的作用。此外,盡管存在額外的計算步驟,模型的推理時間與其他方法相比并沒有顯著差異,這表明本文的優(yōu)化策略有效平衡了計算效率和重建質量??傮w而言,這些模塊的引入在處理模糊圖像的三維重建時,顯著提升了結果的精確性和細節(jié)表現(xiàn)。
3.5 結果分析
為了證明本研究提出方法的有效性,將其與目前先進的基線方法NeuS、VolSDF和HF-NeuS進行了對比分析,這些方法在眾多評價指標上展現(xiàn)了優(yōu)異的性能。本節(jié)不將UNISURF或IDR等早期方法納入比較范圍,這樣能夠專注于最新的技術進展,并清晰地展現(xiàn)本研究模型相較于現(xiàn)有頂尖方法的改進與優(yōu)勢。所以選取這三種方法作為主要的對比基準,以此來證實該模型在處理模糊輸入時所展現(xiàn)出的卓越三維重建能力。
a)定性分析。圖7展示了在模糊的DTU和BlendedMVS數(shù)據(jù)集上進行曲面重建的結果,圖中第一行是模糊BlendedMVS數(shù)據(jù)集中的場景,其余為模糊DTU數(shù)據(jù)集中的場景,其中第一列參考圖像為訓練時作為監(jiān)督的模糊圖像。本節(jié)選擇了紋理豐富的場景進行可視化來展示Deblur-NeuS的重建效果。通過圖7中的直觀對比,可以清晰地觀察到其他方法在重建過程中存在一定的局限性。具體來說,對比方法在處理復雜表面時,往往會產生過于平滑的重建結果,例如,機器人的頭盔出現(xiàn)了缺失,小鳥和佛像的表面過于平滑,而Deblur-NeuS能夠有效地重建出具有豐富細節(jié)的表面。在機器人場景中,準確地恢復了樂高頭盔上的角。在鳥類模型的重建中,呈現(xiàn)出羽毛細膩的層次和紋理,連鳥喙和眼睛的細節(jié)也得到了精確的刻畫。此外,對于佛像模型,面部更為立體,還能夠捕捉到腹部的細微裂紋,這在其他方法的重建結果中是難以觀察到的。這些實例充分證明了Deblur-NeuS成功地保留了場景的細節(jié)信息。
圖8展示了圖像渲染的結果,(a)為清晰圖像,(b)為訓練時用來監(jiān)督的模糊圖像,(c)為從清晰的輻射場中渲染出的視圖??梢钥吹?,在去模糊圖像中,物體的邊緣更加清晰,沒有明顯偽影,鳥的翅膀和眼睛以及腹部的裂縫變得更加清晰,這驗證了Deblur-NeuS可以學習到清晰的神經輻射場。
b)定量分析。在表2中展示了在模糊DTU數(shù)據(jù)集中8個場景的定量結果,Deblur-NeuS在大多數(shù)場景中均取得了更低的倒角距離,更高的PSNR和SSIM,這表明Deblur-NeuS在表面重建質量上顯著優(yōu)于對比方法。DTU數(shù)據(jù)集中的大多數(shù)場景都有光滑的表面,幾何表面高頻細節(jié)并不明顯。為了測試處理各種場景的能力,從BlendedMVS數(shù)據(jù)集的4個具有挑戰(zhàn)性的場景上進行了測試。表3中的定性結果清晰地展示了Deblur-NeuS在這些復雜場景下的性能優(yōu)勢,與其他方法相比,成功提升了重建質量與渲染質量,與在模糊DTU數(shù)據(jù)集上表現(xiàn)一致。這進一步證實了Deblur-NeuS在模糊多視圖三維重建任務中的適應性和有效性,在不同數(shù)據(jù)集場景下的重建質量都有明顯提升。
4 結束語
本文提出了一種用于模糊圖像三維重建的新方法,克服了模糊圖像中高頻信息缺失的缺點,可重建無偽影視圖和更準確的幾何模型。該方法提出使用模糊核和隱式位移場來模擬模糊過程,重建模糊視圖和表面,聯(lián)合優(yōu)化各網(wǎng)絡模塊,提升網(wǎng)絡對模糊輸入的魯棒性,并使用模糊點云對模糊表面進行監(jiān)督,使網(wǎng)絡專注于幾何表面的優(yōu)化,提升了復雜場景下的重建質量。實驗驗證了Deblur-NeuS在運動模糊等非理想視圖的三維重建中的有效性。未來,可以考慮嘗試優(yōu)化其他不理想輸入的三維重建效果。
參考文獻:
[1]Samavati T,Soryani M.Deep learning-based 3D reconstruction:a survey[J].Artificial Intelligence Review,2023,56(9):9175-9219.
[2]鄢化彪,徐方奇,黃綠娥,等.基于深度學習的多視圖立體重建方法綜述 [J].光學精密工程,2023,31(16):2444-2464.(Yan Huabiao,Xu Fangqi,Huang Lu’e,et al.A review of multi-view stereo reconstruction methods based on deep learning[J].Optics and Precision Engineering,2023,31(16):2444-2464.)
[3]鄭米培,趙明富,邢鑌,等.基于自適應聚合與深度優(yōu)化的三維重建算法 [J].計算機應用研究,2023,40(5):1595-1600.(Zheng Mipei,Zhao Mingfu,Xing Bin,et al.3D reconstruction algorithm based on adaptive aggregation and depth optimization[J].Application Research of Computers,2023,40(5):1595-1600.)
[4]劉會杰,柏正堯,程威,等.融合注意力機制和多層U-Net的多視圖立體重建 [J].中國圖象圖形學報,2022,27(2):475-485.(Liu Huijie,Bo Zhengyao,Cheng Wei,et al.Multi-view stereo reconstruction by fusing attention mechanism and multi-layer U-Net[J].Journal of Image and Graphics,2022,27(2):475-485.)
[5]Yao Yao,Luo Zixin,Li Shiwei,et al.MVSNet:depth inference for unstructured multi-view stereo[C]//Proc of European Conference on Computer Vision.Cham:Springer,2018:767-783.
[6]馬漢聲,祝玉華,李智慧,等.神經輻射場多視圖合成技術綜述 [J].計算機工程與應用,2024,60(4):21-38.(Ma Hansheng,Zhu Yuhua,Li Zhihui,et al.A review of neural radiation field multiview synthesis techniques[J].Computer Engineering and Applications,2024,60(4):21-38.
[7]Mildenhall B,Srinivasan P P,Tancik M,et al.NeRF:representing scenes as neural radiance fields for view synthesis[J].Communications of the ACM,2021,65(1):99-106.
[8]Wang Peng,Liu Lingjie,Liu Yuan,et al.NeuS:learning neural impli-cit surfaces by volume rendering for multi-view reconstruction[EB/OL].(2021-06-20).https://doi.org/10.48550/arXiv.2106.10689.
[9]Mescheder L,Oechsle M,Niemeyer M,et al.Occupancy networks:learning 3D reconstruction in function space[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2019:4460-4470.
[10]Oechsle M,Peng S,Geiger A.UNISURF:unifying neural implicit surfaces and radiance fields for multi-view reconstruction[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway,NJ:IEEE Press,2021:5589-5599.
[11]Yariv L,Kasten Y,Moran D,et al.Multiview neural surface reconstruction by disentangling geometry and appearance[J].Advances in Neural Information Processing Systems,2020,33:2492-2502.
[12]Kellnhofer P,Jebe L C,Jones A,et al.Neural lumigraph rendering [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2021:4287-4297.
[13]Ma Li,Li Xiaoyu,Liao Jing,et al.Deblur-NeRF:neural radiance fields from blurry images[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2022:12861-12870.
[14]Niemeyer M,Mescheder L,Oechsle M,et al.Differentiable volumetric rendering:learning implicit 3D representations without 3D supervision[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2020:3504-3515.
[15]Zhang Kai,Riegler G,Snavely N,et al.NeRF+:analyzing and improving neural radiance fields [EB/OL].(2020-10-05).https://arxiv.org/abs/2010.07492.
[16]Barron J T,Mildenhall B,Tancik M,et al.Mip-NeRF:a multiscale representation for anti-aliasing neural radiance fields[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway,NJ:IEEE Press,2021:5855-5864.
[17]Yariv L,Gu Jiatao,Kasten Y,et al.Volume rendering of neural impli-cit surfaces[J].Advances in Neural Information Processing Systems,2021,34:4805-4815.
[18]Darmon F,Bascle B,Devaux J C,et al.Improving neural implicit surfaces geometry with patch warping[C]//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2022:6260-6269.
[19]Fu Qiancheng,Xu Qingshan,Ong Y S,et al.Geo-NeuS:geometry-consistent neural implicit surfaces learning for multi-view reconstruction[J].Advances in Neural Information Processing Systems,2022,35:3403-3416.
[20]Wang Yiqun,Skorokhodov I,Wonka P.Improved surface reconstruction using high-frequency details[EB/OL].(2022-09-22).https://arxiv.org/abs/2206.07850.
[21]Wang Yiqun,Skorokhodov I,Wonka P.Pet-NeuS:positional encoding tri-planes for neural surfaces[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2023:12598-12607.
[22]Peng Cheng,Chellappa R.PDRF:progressively deblurring radiance field for fast scene reconstruction from blurry images[C]//Proc of AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2023:2029-2037.
[23]Lee D,Lee M,Shin C,et al.DP-NeRF:deblurred neural radiance field with physical scene priors[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2023:12386-12396.
[24]Wang Peng,Zhao Lingzhe,Ma R,et al.Bad-NeRF:bundle adjusted deblur neural radiance fields[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2023:4170-4179.
[25]Li Yu,Ren Dongwei,Shu Xinya,et al.Learning single image defocus deblurring with misaligned training pairs[C]//Proc of AAAI Confe-rence on Artificial Intelligence.Palo Alto,CA:AAAI Press,2023:1495-1503.
[26]Zhou Qianyi,Park J,Koltun V.Open3D:a modern library for 3D data processing [EB/OL].(2018-01-30).https://doi.org/10.48550/arXiv.1801.09847.
[27]Jensen R,Dahl A,Vogiatzis G,et al.Large scale multi-view stereopsis evaluation [C] //Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2014:406-413.
[28]Yao Yao,Luo Zixin,Li Shiwei,et al.BlendedMVS:a large-scale dataset for generalized multi-view stereo networks[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway,NJ:IEEE Press,2020:1790-1799.
[29]Schonberger J L,F(xiàn)rahm J-M.Structure-from-motion revisited[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2016:4104-4113.