馮 偉 計(jì)忠平 付曉峰 魏明強(qiáng) 張玉偉

1(杭州電子科技大學(xué)圖形圖像研究所 浙江 杭州 310018) 2(南京航空航天大學(xué) 江蘇 南京 210016) 3(齊魯工業(yè)大學(xué)機(jī)械與汽車工程學(xué)院 山東 濟(jì)南 250353)

0 引 言

浮雕是一種在平面上進(jìn)行雕刻的藝術(shù)品，它是一種介于2D和3D之間，雕刻與繪畫相結(jié)合的藝術(shù)作品，它結(jié)合透視與光線來(lái)表現(xiàn)三維空間，因其獨(dú)特的藝術(shù)表現(xiàn)形式，深受藝術(shù)家們的喜愛(ài)。此外，浮雕因其壓縮空間的特性，占用空間少，特別適合裝飾。廣泛應(yīng)用在建筑、用具器物、錢幣、獎(jiǎng)牌等物品上。

從空間的壓縮程度來(lái)看，浮雕又分為淺浮雕和高浮雕，淺浮雕相較于高浮雕來(lái)說(shuō)，深度值壓縮較大，更接近于平面的繪畫形式，在日常生活中淺浮雕應(yīng)用更為廣泛，傳統(tǒng)的淺浮雕作品需要藝術(shù)家們手工雕刻完成，制作流程復(fù)雜且耗費(fèi)時(shí)間。如何在計(jì)算機(jī)中利用3D物體進(jìn)行淺浮雕建模，受到了人們的廣泛關(guān)注。目前，很多3D物體由于自身頂點(diǎn)數(shù)限制，無(wú)法生成精致的淺浮雕模型，而如何提升低質(zhì)量3D模型的細(xì)節(jié)，進(jìn)而提升淺浮雕建模質(zhì)量，越來(lái)越受到人們關(guān)注。

本文提出一種利用深度學(xué)習(xí)增強(qiáng)3D模型淺浮雕建模質(zhì)量的方法，利用3D模型渲染出的高低分辨率法向圖作為訓(xùn)練集，搭建一個(gè)基于法向圖的超分辨率卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)的輸入是低分辨率法向圖，輸出是高分辨率法向圖，實(shí)驗(yàn)表明利用該方法能夠豐富低分辨率3D模型的細(xì)節(jié)特征，進(jìn)而提升淺浮雕建模質(zhì)量。

1 相關(guān)工作

利用3D模型進(jìn)行淺浮雕建模，一直是較受關(guān)注的話題，Cignoni等[1]利用3D模型的高度場(chǎng)，對(duì)高度場(chǎng)做非線性壓縮，開(kāi)創(chuàng)了淺浮雕建模的先河。但是這種方法無(wú)法處理復(fù)雜模型中深度值不連續(xù)的問(wèn)題。Weyrich等[2]直接處理高度場(chǎng)的梯度值，通過(guò)非線性改變梯度值來(lái)解決深度不連續(xù)的問(wèn)題。Song等[3]利用縮放后的微分坐標(biāo)，泊松重建淺浮雕。Kerber等[4-5]同樣針對(duì)3D模型的高度場(chǎng)做非線性縮放，利用雙邊濾波分離高頻與低頻信息，來(lái)保留細(xì)節(jié)信息。Sun等[6]利用不同鄰域大小的自適應(yīng)直方圖均衡得到最終高度場(chǎng)，保留了淺浮雕中不同尺度的信息。Bian等[7]提出非線性壓縮梯度域，利用拉普拉斯銳化增強(qiáng)淺浮雕的幾何特征。最近，基于法向圖的淺浮雕建模方法，在保留細(xì)節(jié)和去除不連續(xù)性方面的表現(xiàn)，引起了很多關(guān)注。Ji等[8]首次使用3D物體渲染出的法向圖，由法向圖得到梯度域，泊松重建出淺浮雕高度場(chǎng)，這樣可以避免直接處理一些深度值不連續(xù)的高度圖。Wei等[9]在此基礎(chǔ)上，將輸入的法向圖分解為基礎(chǔ)層和細(xì)節(jié)層，以此來(lái)增強(qiáng)淺浮雕的幾何特征。Schüller等[10]在保證深度約束的前提下，通過(guò)逼近3D模型的法線生成全局最優(yōu)曲面。

當(dāng)3D模型本身頂點(diǎn)數(shù)較少時(shí)，這些方法因?yàn)轫旤c(diǎn)數(shù)目的限制，生成的淺浮雕模型，質(zhì)量普遍不高。因此，為了提高低頂點(diǎn)數(shù)3D模型的細(xì)節(jié)特征，針對(duì)3D模型渲染出的法向圖，做超分辨率放大，提升細(xì)節(jié)，使淺浮雕模型更精致。目前在圖像的超分辨率重建方面，深度學(xué)習(xí)已經(jīng)成為越來(lái)越重要的研究方法，它相較于傳統(tǒng)方法，速度更快，效果更好。SRCNN[11]作為超分辨率在深度學(xué)習(xí)方面的開(kāi)山之作，低分辨率圖像經(jīng)過(guò)雙三次插值達(dá)到高分辨率圖像尺寸后輸入網(wǎng)絡(luò)，經(jīng)過(guò)簡(jiǎn)單的三個(gè)卷積層，就取得了不錯(cuò)的結(jié)果；FSRCNN[12]利用反卷積代替插值操作，將低分辨率圖像輸入網(wǎng)絡(luò)，通過(guò)上采樣擴(kuò)大了圖像的尺寸；ESPCN[13]首次引入亞像素卷積層，僅對(duì)低分辨率圖像做卷積操作，對(duì)得到的多通道特征圖做周期篩選處理得到高分辨率圖像，大幅提高了計(jì)算效率。VDSR[14]首次將ResNet[15]即殘差網(wǎng)絡(luò)引入超分辨率網(wǎng)絡(luò)，不僅加深了網(wǎng)絡(luò)的層數(shù)，還解決了低分辨率與高分辨率圖片大量低頻信息相近影響訓(xùn)練結(jié)果的問(wèn)題。2017ntire超分辨率挑戰(zhàn)賽冠軍解決方案EDSR[16]創(chuàng)造性地去除了網(wǎng)絡(luò)中的BN層[17]，節(jié)省了大量?jī)?nèi)存與計(jì)算資源，并加深加寬了網(wǎng)絡(luò)模型，得到了更好的結(jié)果。2018ntire超分辨率挑戰(zhàn)賽冠軍解決方案WDSR[18]，認(rèn)為超分辨率網(wǎng)絡(luò)中激活函數(shù)會(huì)阻止信息流的傳遞，因此WDSR[18]將激活函數(shù)之前的特征圖數(shù)目進(jìn)行了擴(kuò)展，降低基礎(chǔ)特征圖數(shù)目減少參數(shù)量，利用更少的參數(shù)得到更優(yōu)的預(yù)測(cè)結(jié)果。這些都是針對(duì)普通圖像進(jìn)行超分辨率放大的網(wǎng)絡(luò)模型，而針對(duì)法向圖這種含有3D模型空間信息的特殊圖片，還需要結(jié)合法向圖的特點(diǎn)對(duì)網(wǎng)絡(luò)進(jìn)行修改，構(gòu)建一個(gè)適用于法向圖超分辨率放大的網(wǎng)絡(luò)模型。

2 主要工作

針對(duì)超分辨率重建法向圖的任務(wù)，本文收集并篩選了20種3D模型，以提高本文算法的通用性，其中：16種3D模型用于生成訓(xùn)練集，4種3D模型用于生成測(cè)試集。同一模型的高度場(chǎng)，在不同視角下也大不相同。因此，針對(duì)每個(gè)模型，都選取相同的66個(gè)角度，每個(gè)模型每個(gè)角度都生成一對(duì)低分辨率與高分辨率法向圖。至此超分辨率模型的數(shù)據(jù)集構(gòu)建完成。在超分辨率網(wǎng)絡(luò)的設(shè)計(jì)中，本文參考了WDSR[18]網(wǎng)絡(luò)，結(jié)合對(duì)法向圖做超分辨率放大的任務(wù)，對(duì)網(wǎng)絡(luò)做了加寬加深的處理，同時(shí)設(shè)計(jì)了一種針對(duì)法向圖的loss函數(shù)，利用GPU進(jìn)行訓(xùn)練，得到了較好的效果。進(jìn)行實(shí)驗(yàn)的配置為CPU:AMD R5 2600,GPU:GTX 1080,RAM:16 GB。

3 法向圖超分辨率訓(xùn)練模型

3.1 法向圖超分辨率數(shù)據(jù)集

本文篩選了20種3D模型，如圖1所示，同一種模型在不同角度下生成的法向圖所含的三維信息也有很大不同，因此借助3D模型渲染法向圖的相關(guān)算法，針對(duì)每個(gè)模型的66個(gè)角度渲染出對(duì)應(yīng)的低分辨率和高分辨率法向圖。生成了大約2 000幅法向圖，如圖2所示，其中：1 000幅為3D模型直接渲染出的1 024×1 024的高分辨率法向圖，而另外1 000幅是低頂點(diǎn)數(shù)的相同3D模型渲染出的256×256的低分辨率圖片。其中，80%用作訓(xùn)練集，15%用作驗(yàn)證集，5%用作測(cè)試集。借助超分辨率網(wǎng)絡(luò)對(duì)低分辨率法向圖做4倍放大，同時(shí)為了提高本文算法的通用性，訓(xùn)練集和測(cè)試集中的法向圖來(lái)自于不同的3D模型。圖3展示了高低分辨率法向圖的細(xì)節(jié)對(duì)比。

圖1 超分辨率法向圖數(shù)據(jù)集生成過(guò)程

圖2 法向圖超分辨率重建數(shù)據(jù)集(只列出部分高分辨率法向圖)

(a) 高分辨率法向圖

(b) 低分辨率法向圖圖3 不同分辨率法向圖的細(xì)節(jié)對(duì)比

3.2 網(wǎng)絡(luò)原理

與傳統(tǒng)的圖像分類與分割任務(wù)相比，超分辨率重建任務(wù)是更加基礎(chǔ)的計(jì)算機(jī)視覺(jué)問(wèn)題。網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的復(fù)雜程度對(duì)于超分辨率重建任務(wù)來(lái)說(shuō)影響較大。為了能得到高質(zhì)量的超分辨率重建圖像，本文在卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方面主要參考了EDSR[16]和WDSR[18]。EDSR[16]通過(guò)引入殘差網(wǎng)絡(luò)ResNet[15]，大大增加了網(wǎng)絡(luò)的深度，避免了深層網(wǎng)絡(luò)出現(xiàn)梯度消失的問(wèn)題。殘差網(wǎng)絡(luò)對(duì)于圖像分類或分割任務(wù)來(lái)說(shuō)，效果提升較大，但不能直接套用在超分辨率重建這種低層次計(jì)算機(jī)視覺(jué)問(wèn)題之上，因此EDSR[16]對(duì)殘差網(wǎng)絡(luò)做了修改，移除了網(wǎng)絡(luò)中的批規(guī)范層。批規(guī)范層主要應(yīng)用在基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類分割任務(wù)中，它可以加速網(wǎng)絡(luò)的收斂，還有一定正則化的效果，可以防止模型過(guò)擬合。但是在圖像超分辨率重建方面，表現(xiàn)并不是很好，它破壞了圖像原本的對(duì)比度信息，影響了網(wǎng)絡(luò)輸出圖片的質(zhì)量。另外，批規(guī)范層的計(jì)算量與一個(gè)卷積層幾乎持平，通過(guò)去除批規(guī)范層，可以加寬網(wǎng)絡(luò)或堆疊更多的卷積層，增加網(wǎng)絡(luò)的參數(shù)量，從而在有限的計(jì)算資源下得到更好的性能表現(xiàn)。由于EDSR[16]網(wǎng)絡(luò)引入大量殘差塊，會(huì)導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定，所以采用了殘差縮放的方法，即在殘差塊相加之前，經(jīng)過(guò)卷積處理的一路要先乘以一個(gè)小數(shù)，這樣可以避免由于殘差塊太多帶來(lái)的訓(xùn)練不穩(wěn)定的問(wèn)題。

在EDSR[16]網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，WDSR[18]認(rèn)為ReLU激活函數(shù)會(huì)阻止信息流的傳遞，因此，WDSR[18]擴(kuò)展了激活函數(shù)之前的特征圖數(shù)目，同時(shí)減少了基礎(chǔ)特征圖的數(shù)目來(lái)降低整體的網(wǎng)絡(luò)參數(shù)，顯著提高了網(wǎng)絡(luò)的性能。

與普通圖片的超分辨率重建任務(wù)有所不同，本文的法向圖是一種特殊的含有三維信息的二維圖像，法向圖的每一個(gè)像素點(diǎn)代表著3D模型中每個(gè)頂點(diǎn)的法向量。但是法向圖的像素取值范圍在0到1之間，而實(shí)際的法向量在-1到1間取值，因此在將法向圖輸入網(wǎng)絡(luò)之前還需要一步轉(zhuǎn)換操作：

N=2P-1

(1)

式中：P代表法向圖中的像素值；N代表實(shí)際的法向量。

對(duì)超分辨率重建網(wǎng)絡(luò)的輸出還要加入約束，即網(wǎng)絡(luò)預(yù)測(cè)出的法向圖，每個(gè)像素點(diǎn)位置處所代表的法向量要滿足長(zhǎng)度為1這個(gè)基本條件。另外，本文引入了超分辨率任務(wù)中常用的指標(biāo)峰值信噪比psnr對(duì)本文的實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)，psnr值一般在20 dB到40 dB之間，值越高說(shuō)明超分辨率重建的圖像越接近原始圖像。

3.3 網(wǎng)絡(luò)訓(xùn)練細(xì)節(jié)

網(wǎng)絡(luò)的輸入是RGB三通道的256×256分辨率的低分辨率法向圖，ground truth即是對(duì)應(yīng)的1 024×1 024分辨率的高分辨率法向圖。本文構(gòu)建的超分辨率網(wǎng)絡(luò)可以做到對(duì)原始法向圖做4倍放大，即輸入一幅256分辨率的法向圖，網(wǎng)絡(luò)預(yù)測(cè)得到一幅1 024分辨率的法向圖。其中網(wǎng)絡(luò)具體的結(jié)構(gòu)設(shè)計(jì)參考了WDSR[18]超分辨率網(wǎng)絡(luò)，如圖4所示，輸入網(wǎng)絡(luò)的圖像首先經(jīng)過(guò)一個(gè)普通的卷積層，然后送入多個(gè)殘差塊組成的Redidual Block，其中，每個(gè)殘差塊內(nèi)部由兩個(gè)卷積層和一個(gè)ReLU激活函數(shù)組成。殘差網(wǎng)絡(luò)輸出的特征圖與原始輸入的特征圖分別做卷積和上采樣處理，最后兩個(gè)分支融合得到網(wǎng)絡(luò)的輸出，即最終預(yù)測(cè)出的高分辨率法向圖。其中上采樣操作采用的是ESPCN[13]中的亞像素卷積層，其具體步驟為：將H×W×1的低分辨率特征圖通過(guò)普通卷積層生成H×W×r2的特征圖(H、W代表特征圖尺寸；r代表特征圖通道數(shù)，也表示超分辨率放大倍數(shù))，再通過(guò)周期篩選的方法得到rH×rW×1的高分辨率特征圖。圖像尺寸的放大函數(shù)被隱含在了普通卷積層中，在反向傳播時(shí)會(huì)自動(dòng)學(xué)習(xí)到，這樣避免了對(duì)高分辨率特征圖做卷積的復(fù)雜性，提高了計(jì)算效率。

圖4 法向圖超分辨率網(wǎng)絡(luò)結(jié)構(gòu)

為了防止網(wǎng)絡(luò)過(guò)擬合，本文還采用了數(shù)據(jù)增強(qiáng)的方法，對(duì)訓(xùn)練集中的圖片進(jìn)行隨機(jī)翻轉(zhuǎn)90度。在訓(xùn)練中本文采用adam優(yōu)化器，同時(shí)將weight decay設(shè)為0.000 1，它可以進(jìn)一步減少網(wǎng)絡(luò)過(guò)擬合問(wèn)題。初始學(xué)習(xí)率設(shè)為0.000 1，batchsize設(shè)為1。本文使用一個(gè)GTX 1080顯卡對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練迭代次數(shù)為300。

法向圖超分辨率網(wǎng)絡(luò)的損失函數(shù)為：

Loss=|Np-Ng|

(2)

式中：Np代表超分辨率網(wǎng)絡(luò)預(yù)測(cè)得到的并經(jīng)過(guò)單位化處理后的法向圖；Ng代表3D模型渲染出來(lái)的并經(jīng)過(guò)單位化處理后的法向圖。函數(shù)整體表示為Np與Ng所代表的所有法向量之間的L1損失。

4 實(shí)驗(yàn)與結(jié)果分析

我們對(duì)測(cè)試集中的低分辨率法向圖，分別利用EDSR[16]、WDSR[18]和雙三次上采樣方法(Bicubic)進(jìn)行放大，實(shí)驗(yàn)結(jié)果如圖5所示，其展示了四幅預(yù)測(cè)集圖片利用不同方法放大之后的細(xì)節(jié)對(duì)比，發(fā)現(xiàn)基于深度學(xué)習(xí)的超分辨率放大結(jié)果要顯著優(yōu)于雙三次上采樣這類傳統(tǒng)算法。利用psnr值作為法向圖重建質(zhì)量的評(píng)估標(biāo)準(zhǔn)，對(duì)三種算法處理后的圖像與ground truth之間求峰值信噪比psnr，并進(jìn)行比較，結(jié)果如表1所示，利用超分辨率網(wǎng)絡(luò)預(yù)測(cè)出的圖片質(zhì)量較高，達(dá)到了我們的預(yù)期結(jié)果，其中WDSR[18]模型要優(yōu)于EDSR[16]模型。

表1 高分辨率法向圖與ground truth之間的峰值信噪比 單位：dB

5 本文算法的意義

利用3D模型生成淺浮雕，當(dāng)3D模型本身頂點(diǎn)數(shù)較少時(shí)，無(wú)法生成高質(zhì)量的淺浮雕模型。本文提出一種提高3D模型淺浮雕建模質(zhì)量的方法，通過(guò)對(duì)3D模型的法向圖做超分辨率放大，間接提升3D模型的細(xì)節(jié)特征，利用超分辨率網(wǎng)絡(luò)放大之后的法向圖生成淺浮雕模型，提高淺浮雕建模質(zhì)量。為了驗(yàn)證本文算法的有效性，我們?cè)O(shè)計(jì)了兩個(gè)實(shí)驗(yàn)流程，流程一是由低頂點(diǎn)數(shù)的3D模型直接渲染生成1 024×1 024分辨率的法向圖，流程二是由相同的低頂點(diǎn)數(shù)的3D模型首先渲染出256×256分辨率的法向圖，利用WDSR[18]超分辨率網(wǎng)絡(luò)對(duì)其進(jìn)行超分辨率放大，得到1 024×1 024分辨率的法向圖。實(shí)驗(yàn)結(jié)果如圖6所示，圖6(a)為流程一最終生成的法向圖，圖6(b)為流程二最終生成的法向圖。對(duì)其細(xì)節(jié)進(jìn)行放大比較，發(fā)現(xiàn)右側(cè)圖片的細(xì)節(jié)明顯優(yōu)于左側(cè)圖片。由此得出結(jié)論，本文算法在3D模型本身頂點(diǎn)數(shù)較少的情況下，可以生成細(xì)節(jié)更豐富的法向圖。

(a) (b)圖6 不同算法流程生成的法向圖細(xì)節(jié)對(duì)比

同時(shí)我們利用法向圖借助Ji等[8]的算法進(jìn)行淺浮雕建模，結(jié)果如圖7所示，分別對(duì)圖6中兩個(gè)流程最終生成的法向圖進(jìn)行淺浮雕建模，圖7(a)為沒(méi)有經(jīng)過(guò)本文算法增強(qiáng)的法向圖生成的淺浮雕模型，圖7(b)為經(jīng)過(guò)本文算法增強(qiáng)的法向圖生成的淺浮雕模型。可以看出圖7(b)的淺浮雕模型細(xì)節(jié)更豐富，說(shuō)明本文算法可以有效提升低分辨率3D模型的淺浮雕建模質(zhì)量。

6 結(jié) 語(yǔ)

本文提出一種增強(qiáng)3D模型淺浮雕建模質(zhì)量的方法，當(dāng)3D模型本身頂點(diǎn)數(shù)較低，無(wú)法生成高質(zhì)量淺浮雕時(shí)，本文利用3D模型渲染出的法向圖，對(duì)法向圖進(jìn)行超分辨率放大，間接提升3D模型的細(xì)節(jié)，進(jìn)而提升淺浮雕建模質(zhì)量。實(shí)驗(yàn)結(jié)果表明，本文算法顯著提升了低分辨率3D模型的細(xì)節(jié)特征，進(jìn)而提高了淺浮雕建模質(zhì)量。

本文僅針對(duì)低頂點(diǎn)數(shù)的3D模型提升3D模型的淺浮雕建模質(zhì)量，有一定的局限性，需要設(shè)計(jì)一個(gè)更為通用的算法；本文算法數(shù)據(jù)集需要進(jìn)一步擴(kuò)大，挑選更多類別的3D模型，構(gòu)建相應(yīng)的3D場(chǎng)景及淺浮雕模型，提高算法的適用性。