張 豪 ，張 強 ，邵思羽 ，丁海斌

（1. 空軍工程大學(xué)研究生院，西安710038； 2. 空軍工程大學(xué)防空反導(dǎo)學(xué)院，西安710038；3. 陸軍工程大學(xué)訓(xùn)練基地，江蘇徐州221004）

0 引言

近年來，計算機視覺和機器學(xué)習(xí)領(lǐng)域的研究者們在單圖像的三維重建方面取得了令人矚目的進展。按照模型重建方法的不同，可以分為傳統(tǒng)重建方法和基于深度學(xué)習(xí)的重建方法兩類。傳統(tǒng)的三維重建方法主要基于第三方模型庫，這些第三方庫內(nèi)部封裝了大量的三維圖形處理函數(shù)，能夠輕易繪制三維圖形。但這種方法的先驗知識在模型的設(shè)計階段就已經(jīng)被設(shè)定好，很難擴展到其他類別物體上，生成的模型只能沿著特定類別的變化而變化。隨著深度學(xué)習(xí)在三維領(lǐng)域的發(fā)展，單幅圖像三維重建的方法開始逐漸增多。周繼來等［1］提出了一種基于曲度特征的三維模型算法，解決了復(fù)雜曲面三維模型的問題。朱俊鵬等［2］運用卷積神經(jīng)網(wǎng)絡(luò)處理深度圖像，重建出了三維視差圖。3D ShapeNets［3］是較早提出的一種基于深度學(xué)習(xí)的三維重建網(wǎng)絡(luò)，通過輸入深度圖像［4-5］，利用深度卷積網(wǎng)絡(luò)提取信息，將三維幾何模型表示為三維體素上的二值分布，預(yù)測外形類型并填補未知的體素來完成三維重建，取得了一定的效果。

目前基于深度學(xué)習(xí)的三維重建方法大多都是將預(yù)測的形狀與真實的三維模型進行比較，通過損失函數(shù)最小化使得預(yù)測的形狀越來越精確。由于模型的多維性，網(wǎng)絡(luò)在訓(xùn)練的過程中很難學(xué)習(xí)到有用的細節(jié)［6］。以前的工作大多使用了不同的損失函數(shù)，在預(yù)測形狀的模塊上添加了先驗知識，或是使用額外的監(jiān)督訓(xùn)練使預(yù)測的三維模型接近真實形狀。例如最近的兩種方法：DRC（Differentiable Ray Consistency）算法［7］和AtalsNet 算法［8］，使用了不同的表示、損失函數(shù)以及訓(xùn)練策略來解決網(wǎng)絡(luò)學(xué)習(xí)的問題。圖1 是兩種模型在椅子類別的訓(xùn)練集上進行訓(xùn)練和測試的結(jié)果，可以看出當(dāng)輸入的圖像為椅子類別時，兩個模型建立的三維模型效果都比較好。但是，如果輸入的圖像不是來自椅子訓(xùn)練集，這兩種方法都無法給出合理的預(yù)測，而是給出與訓(xùn)練的數(shù)據(jù)集相似的輸出。Henderson等［9］使用LSI模型將網(wǎng)格作為輸出表示，運用光照參數(shù)和陰影信息從圖像中重構(gòu)三維模型，效果優(yōu)于以往大多數(shù)工作。Kato 等［10］通過LVP 算法訓(xùn)練鑒別器來學(xué)習(xí)視圖的先驗知識，成功解決了生成三維形狀模糊性的問題。但從某種程度上看，現(xiàn)有的三維重建技術(shù)只是基于訓(xùn)練的三維數(shù)據(jù)集進行篩選，挑選出數(shù)據(jù)集中最接近輸入圖像的三維模型，泛化能力弱。

本文針對三維模型重建問題提出了一種基于深度圖像估計、球面投影映射、三維對抗生成網(wǎng)絡(luò)相結(jié)合的算法模型。該算法模型的主要特點有：1）采用模塊化設(shè)計，強制網(wǎng)絡(luò)的每個模塊使用前一個模塊的特性，而不是直接記住訓(xùn)練數(shù)據(jù)集中的形狀；每個模塊預(yù)測的結(jié)果與輸入的圖像具有相同的尺寸，這樣可以得到更規(guī)則的映射。2）現(xiàn)有的三維重建算法在輸入圖像分辨率低時很難重建出精細的三維模型，本文模型通過引入超分辨率模塊能很好地解決這個問題。

仿真實驗結(jié)果表明，與目前主流的三維重建技術(shù)相比，本文算法模型在訓(xùn)練類別外的單圖像三維形狀重建中取得了理想的效果，解決了當(dāng)前模型存在的泛化能力弱的問題。

圖1 不同輸入下DRC與AtlasNet模型測試結(jié)果Fig. 1 DRC and Atlasnet model test results with different inputs

1 網(wǎng)絡(luò)模型結(jié)構(gòu)

單圖像三維重建算法通過學(xué)習(xí)某種函數(shù)，將二維圖像映射到三維形狀。本文針對目前三維重建技術(shù)泛化能力差的問題進行研究，以MarrNet［11］網(wǎng)絡(luò)模型作為基礎(chǔ)，提出了一個改進算法模型。如圖2，首先通過一個單視圖深度估計器從輸入的二維圖像中預(yù)測其深度信息；然后深度圖像投影到球形網(wǎng)格中，并對球形圖進行精修；最后引入一個體素重建網(wǎng)絡(luò)估計三維形狀。該算法的神經(jīng)網(wǎng)絡(luò)模塊只需要通過球形圖來重建對象的幾何模型，而不必學(xué)習(xí)幾何投影，增強了模型的通用性；同時通過在判別模塊引入正則化參數(shù)來解決模型泛化能力差的問題。下面介紹每個模塊的具體實現(xiàn)細節(jié)。

圖2 本文模型結(jié)構(gòu)示意圖Fig. 2 Structure diagram of the proposed model

1.1 深度圖像估計器

深度圖像的來源可以追溯到計算機視覺的早期，類似于灰度圖像，它的每個像素值是傳感器距離物體的實際距離。多年來，研究人員一直在探索如何從紋理、陰影或彩色圖像中恢復(fù)2.5D 草圖。近年來，隨著深度學(xué)習(xí)的發(fā)展，很多人開始用神經(jīng)網(wǎng)絡(luò)來估計圖像的深度、表面法線。Wu等［11］提出了一種名為MarrNet的單圖像三維重構(gòu)模型，將深度圖像估計器作為重建網(wǎng)絡(luò)中的一個模塊。但MarrNet 的深度估計器的缺點在于當(dāng)輸入的圖像清晰度低時，提取的深度圖像效果不佳，進而會影響圖像三維重建的效果。本文采用的深度圖像估計器與現(xiàn)有的深度圖像估計方法相比，能解決輸入圖像分辨率低導(dǎo)致深度信息丟失以及訓(xùn)練困難的問題。

深度估計器模塊由超分辨率重構(gòu)網(wǎng)絡(luò)及編碼器-解碼器（AutoEncoder，AE）結(jié)構(gòu)組成。由于拍攝的二維圖像可能由于對焦、搖晃等外界因素導(dǎo)致分辨率不夠清晰，從而對深度圖像的提取造成影響，導(dǎo)致建立的三維模型效果欠佳［12］。在整個網(wǎng)絡(luò)結(jié)構(gòu)的最前端加入一個超分辨率重構(gòu)的網(wǎng)絡(luò)模塊（Enhanced Super-Resolution Generative Adversarial Network，ESRGAN）［13］有助于提高圖像清晰度，使深度圖像提取效果更佳，建立的三維模型更真實。AE 的目標(biāo)是找到隨機映射，使輸入輸出差異最小。通過編碼解碼的過程使模型學(xué)習(xí)到數(shù)據(jù)的分布和特征，能夠有效捕捉圖像的有效特征，提取出效果較好的深度圖像。

1.1.1 超分辨率重構(gòu)模塊

增強型超分辨率生成對抗網(wǎng)絡(luò)ESRGAN是本文估計器的核心結(jié)構(gòu)，這是一種單圖像超分辨率改進算法結(jié)構(gòu)。如圖3所示，此模型由卷積層、采樣層和4個殘差塊構(gòu)成。

圖3 ESRGAN結(jié)構(gòu)示意圖Fig. 3 Structure diagram of ESRGAN

與其他超分辨率模塊不同的是，ESRGAN 在殘差塊中移除了歸一化（Batch Normalization，BN）層，圖4是傳統(tǒng)殘差塊與ESRGAN 中殘差塊對比。BN 層通過在訓(xùn)練中使用一批數(shù)據(jù)的均值和方差規(guī)范化特征并且在測試時通過使用在整個訓(xùn)練集上預(yù)估后的均值和方差規(guī)范化測試數(shù)據(jù)。當(dāng)訓(xùn)練集和測試集的統(tǒng)計結(jié)果相差甚遠時，BN 層常常趨向于引入一些偽影并且限制了模型的泛化能力。通過移除BN 層能夠有效地提高性能并且減少模型的計算復(fù)雜度。低分辨率的圖像經(jīng)過卷積、采樣等操作能得到分辨率較高的圖像。

圖4 傳統(tǒng)殘差塊和ESRGAN殘差塊的對比Fig. 4 Comparison of traditional residual block and ESRGAN residual block

1.1.2 編碼器-解碼器

在最近的深度圖像提取器研究中，編碼器主要采用18 層的深度殘差網(wǎng)絡(luò)（Residual neural Network，ResNet）。這是微軟實驗室何凱明團隊在2015 年提出的一種深度卷積網(wǎng)絡(luò)。ResNet相較普通網(wǎng)絡(luò)，在每兩層間增加了短路機制，形成殘差學(xué)習(xí)，ResNet 的提出解決了網(wǎng)絡(luò)深度變深以后性能退化的問題，為一些復(fù)雜的特征提取和分類提供了可行性［14］。

但是在實際的訓(xùn)練中，ResNet存在著訓(xùn)練較為困難、圖像分割細節(jié)不夠好的問題，本文在ResNet 的基礎(chǔ)上引入U 型網(wǎng)絡(luò)結(jié)構(gòu)（nested U-Net architecture，UNet++），在網(wǎng)絡(luò)中間添加更多的跳轉(zhuǎn)連接，以更好地結(jié)合圖像的信息進行分割［15］。

式（1）是UNet++網(wǎng)絡(luò)結(jié)構(gòu)的核心思想，其中：H()表示一個卷積和一個激活函數(shù)；u()表示一個上采樣層；[]表示連接層。例如x1，2就是由x1，0、x1，1和上采樣后的x2，1拼接之后，再經(jīng)過一次卷積和線性激活函數(shù)層（Rectified Linear Unit，ReLU）得到的。

解碼器包含四組5×5全卷積層和激活函數(shù)ReLU 層，然后是四組1×1 卷積層和ReLU 層。解碼器輸出相應(yīng)的深度圖像信息。

1.2 球面投影模塊

球面投影這一概念近幾年被證明在三維形狀的重構(gòu)上起到了不錯的效果。文獻［16-17］中研究了球面投影上可微的球面卷積，目的是使模塊中神經(jīng)網(wǎng)絡(luò)輸出的投影能夠保持旋轉(zhuǎn)不變性。這項技術(shù)需要在有限頻帶的頻譜域中進行卷積，這樣就會導(dǎo)致高頻信息的混疊和丟失，而形狀重建的質(zhì)量很大程度上依賴于高頻分量［18］。目前，將球面投影這項技術(shù)應(yīng)用于單圖像三維重構(gòu)領(lǐng)域還處于初步階段，還有很大的發(fā)展空間。

本文將深度圖像作為輸入，如圖5 使用攝像機參數(shù)將深度信息轉(zhuǎn)換成點云的形式，然后用立方體算法將它們轉(zhuǎn)換成表面信息。立方體算法是體素重建中的經(jīng)典算法，該算法的基本思想是逐個處理三維模型數(shù)據(jù)中的立方體，找出與等值面相交的立方體，采用線性插值計算出等值面與立方體邊的交點。根據(jù)立方體每一頂點與等值面的相對位置，將等值面與立方體邊上的交點按一定方式連接生成等值面，作為等值

面在該立方體內(nèi)的一個逼近表示。

圖5 球面投影示意圖Fig. 5 Schematic diagram of spherical projection

假設(shè)P(x，y，z)是立方體中的任意一點，根據(jù)線性插值運算，可得該點處的函數(shù)值，如式（2）：

其中：系數(shù)ai(i= 0，1，…，7)為立方體中8個定點的函數(shù)值，若等值面閾值為c，則聯(lián)立方程組為式（3），就可以計算出等值面與立方體邊界上的交線。

將得到的表面信息通過單位球面的每個U軸、V軸投射到球體中心來生成球面表示，整個過程是不可微的。圖6 展示了整個球面投影模塊的結(jié)構(gòu)，深度估計器模塊輸出的深度圖像作為輸入，通過球面投影轉(zhuǎn)換為三維模型。

圖6 球面投影模塊結(jié)構(gòu)Fig. 6 Structure of spherical projection moduale

1.3 判別模塊

由于球面投影的局限性，當(dāng)圖像中的物體發(fā)生自遮擋時，曲面信息會丟失，通過深度圖像投影產(chǎn)生的三維模型在細節(jié)上會存在嚴(yán)重的丟失。引入三維對抗生成網(wǎng)絡(luò)中的判別模塊能較好地解決這個問題。

判別器由5個帶有ReLU 激活函數(shù)的卷積層構(gòu)成，將球面投影得到的三維形狀與實際形狀區(qū)分開來。為了提升模型的泛化能力，在損失函數(shù)中加入了正則化懲罰項。這個模塊借鑒了三維對抗生成網(wǎng)絡(luò)（3D-Generative Adversarial Network，3D-GAN）的思想，使判別器能夠?qū)铣傻娜S模型的真實性進行判斷，建立更逼真的三維模型［19］。

式（4）是判別模塊的損失函數(shù)，其中：Pg、Px分別代表不同圖像數(shù)據(jù)集生成的三維形狀，Pr則為對應(yīng)的真實三維形狀，D表示判別器，λ是懲罰項。判別模塊通過訓(xùn)練使損失函數(shù)值減小，恢復(fù)重建的三維模型更多細節(jié)［20-21］。

2 實驗與結(jié)果分析

2.1 評價指標(biāo)

2.1.1 深度估計器

在深度估計器模塊，本文將MarrNet網(wǎng)絡(luò)中的深度提取器作為基準(zhǔn)，分別對不同二維圖像提取出的深度圖像進行對比分析。

在評價指標(biāo)方面，使用真實圖像和輸出圖像二維交并比（Intersection-over-Union ，IoU）與均方誤差（Mean Squared Error，MSE）作為衡量指標(biāo)。計算方法如式（5）、（6）所示：

其中：A表示預(yù)測圖像，B表示真實圖像。IoU值越高則預(yù)測效果越好。

2.1.2 三維重建指標(biāo)

在評價三維重建效果方面，本文以目前單視圖重建效果最優(yōu)的兩種網(wǎng)絡(luò)DRC 和AtalsNet 作為基準(zhǔn)，采用IoU 值和倒角距離（Chamfer Distance，CD）值作為衡量三維重建效果的指標(biāo)。式（7）是三維體素重建模型與實際三維模型之間的體素相交部分，其中：i、j、k表示體素位置，I()表示一個指標(biāo)函數(shù)，t為體素化閾值。

由于深度圖像和球面圖都無法提供形狀內(nèi)部信息，只通過IoU 來評價重建效果是片面的，因此引入倒角距離作為另一種評價指標(biāo)。式（8）為倒角距離的計算公式，其中：S1、S2分別表示從預(yù)測和真實三維形狀的表面采樣點的集合，通過計算預(yù)測點到真實點的平均距離衡量三維模型的重建效果。

2.2 訓(xùn)練數(shù)據(jù)集

本文使用Shapenet 數(shù)據(jù)集進行網(wǎng)絡(luò)培訓(xùn)和測試，此數(shù)據(jù)集包含了55 種常見的物品類別以及對應(yīng)的51 300 個三維模型。在此數(shù)據(jù)集的基礎(chǔ)上，本文還增加了部分類別的真實深度圖像用于深度估計器的訓(xùn)練。對于所有的模型，本文挑選了汽車、椅子、飛機這三種類別進行訓(xùn)練。將訓(xùn)練完成的模型在其他類別上進行測試，用來評估模型的泛化能力。

2.3 結(jié)果分析

2.3.1 深度估計器

本文分別將分辨率為72 和分辨率為300 的圖像作為輸入，對椅子等四個類別的圖像來測試本文深度估計器提取效果。從表1 可以看出，當(dāng)輸入圖像為低分辨率時，本文模型IoU 指標(biāo)較Marrnet 模型提高了0.189。圖7 是低分辨率圖像提取的深度圖像對比，可以明顯看出本文的模型提取的深度圖像細節(jié)更多。如圖8 所示，當(dāng)輸入圖像為高分辨率時，本文模型提取的深度圖像效果也略優(yōu)于Marrnet。從結(jié)果上看，本文采用的深度估計器模塊在提取效果上優(yōu)于目前主流的模型。圖9是各類別預(yù)測結(jié)果的MSE值，從中可以看出在汽車、飛機等數(shù)據(jù)集上訓(xùn)練深度估計器，本文模型訓(xùn)練結(jié)果可以推廣到預(yù)測新的類別深度圖像。訓(xùn)練集與新測試類別的MSE值區(qū)別并不是特別明顯，足以證明本文深度估計器的優(yōu)秀泛化能力。

表1 不同分辨率圖像的IoU值對比Tab. 1 Comparison of IoU values of images with different resolutions

圖7 輸入為低分辨率圖像的深度圖像提取效果Fig. 7 Depth image extraction effect when inputting LR image

圖8 輸入為高分辨率圖像的深度圖像提取效果Fig. 8 Depth image extraction effect when inputting HR image

圖9 各類別預(yù)測結(jié)果的MSE值Fig. 9 MSE values of prediction results of different classes

2.3.2 三維模型重建

為了驗證本文提出的模型具有較好的泛化能力，整個訓(xùn)練過程中只用到了飛機、汽車、椅子三個數(shù)據(jù)集進行訓(xùn)練。在最后的測試中，分為了兩個部分：一是對訓(xùn)練數(shù)據(jù)集進行測試，二是對訓(xùn)練數(shù)據(jù)集以外的圖像進行測試，以驗證模型的泛化能力。

表2 是在訓(xùn)練集類別模型測試的倒角距離。從表中可以看出，在訓(xùn)練集（椅子、汽車、飛機）上測試，AtlasNet 模型在倒角距離的表現(xiàn)略優(yōu)于本文模型，但從圖10 的模型重構(gòu)的實際結(jié)果上看，AtlasNet 模型并沒有預(yù)測出符合實際的結(jié)果形狀。經(jīng)過分析，在訓(xùn)練集的CD 值表現(xiàn)弱于AtlasNet 是由于此模型是從訓(xùn)練庫中挑選與輸入圖像最為接近的三維形狀作為預(yù)測結(jié)果，而CD 值計算的是預(yù)測點和真實點的平均距離，因此AtlasNet 表現(xiàn)較好。但從結(jié)果上看，AtlasNet 部分預(yù)測結(jié)果偏離實際，沒有參考價值。

在訓(xùn)練集之外，將本文模型與目前主流模型進行了實驗對比，從表3 的結(jié)果可以看出在訓(xùn)練集外，本文模型所有類別的倒角距離表現(xiàn)都優(yōu)于對比模型。預(yù)測的部分三維形狀如圖11 所示。從各模型輸出的三維形狀結(jié)果可以看出，現(xiàn)有模型在訓(xùn)練集外三維重建上效果不佳，重建的形狀與真實形狀相差甚遠，泛化能力弱。而本文模型重建的效果相較于現(xiàn)有模型有明顯提升，盡管在細節(jié)方面還需要改進，但本文模型生成的三維形狀最符合客觀事實，驗證了模型的高泛化能力。

表2 訓(xùn)練集類別各模型倒角距離測試結(jié)果Tab. 2 Test results of chamfer distance of training set classes obtained by different models

表3 訓(xùn)練集外類別各模型倒角距離測試結(jié)果Tab. 3 Test results of chamfer distance of classes outside training set obtained by different models

圖10 輸入為訓(xùn)練集圖像的三維模型預(yù)測結(jié)果Fig. 10 3D model prediction results with inputting training set images

圖11 輸入為訓(xùn)練集外圖像的三維模型預(yù)測結(jié)果Fig. 11 3D model prediction results with inputting images outside training set

圖12 是現(xiàn)有主流模型與本文模型在六種常見物體的三維重建IoU 評價指標(biāo)對比。從圖中可以看出，不論是在訓(xùn)練集還是在非訓(xùn)練集上測試，本文模型預(yù)測結(jié)果和真實三維模型的IoU 指標(biāo)都優(yōu)于對比的模型。但本文模型在部分物體的IoU 指標(biāo)上提升并不明顯，這是由于IoU 指標(biāo)的局限性導(dǎo)致的，單一的IoU 指標(biāo)并不能直觀地表現(xiàn)三維重建的客觀真實性，所以本文在評價指標(biāo)上還引入了CD 值作為參考。從圖11 的重建效果也可以看出本文模型的優(yōu)勢。總的來說，本文模型三維重建的效果更優(yōu)，更加接近真實三維形狀，尤其是在非訓(xùn)練集上的測試，更是證明了本文模型具有較強的泛化能力。

圖12 現(xiàn)有模型與本文模型重建IoU值對比Fig. 12 Reconstruction IoU comparison of existing models and the proposed model

3 結(jié)語

針對目前單視圖三維重建泛化能力差，以及當(dāng)輸入圖像分辨率低時，重建的三維模型細節(jié)丟失的問題，本文提出了一個基于深度學(xué)習(xí)的三維重構(gòu)框架，通過引入超分辨率模塊，AutoEncoder 網(wǎng)絡(luò)結(jié)構(gòu)很好地對深度圖像進行了提取。為了保證重構(gòu)三維模型的細節(jié)和泛化能力，模型加入球面投影以及判別模塊，使得訓(xùn)練結(jié)果不會太過依賴數(shù)據(jù)集，解決了過擬合的問題。從實驗結(jié)果可以看出，本文模型在重構(gòu)細節(jié)和泛化能力上優(yōu)于目前主流的三維模型重構(gòu)方法；并且當(dāng)輸入圖像清晰度低時，本文模型依舊能通過提取較好深度圖像，建立符合客觀現(xiàn)實的三維重建模型。但由于三維模型數(shù)據(jù)庫還不夠完善，且三維模型的維度較高、訓(xùn)練難度較大，本文模型只在簡單的物體類別上進行了訓(xùn)練和驗證，如何通過單圖像建立復(fù)雜的三維模型是目前需要解決的一個問題，也是我們今后進一步研究的方向。