陳金娥

(安徽醫(yī)學(xué)高等專(zhuān)科學(xué)校 人事處,安徽 合肥 230601)

多視圖三維模型重建方法近年來(lái)被廣泛地應(yīng)用于醫(yī)療診斷、建筑施工、空間設(shè)計(jì)、場(chǎng)景偵查等領(lǐng)域,具有良好的發(fā)展空間。

文獻(xiàn)[1]提出了多層次感知的多視圖三維模型重建方法,采用權(quán)值共享和解碼器實(shí)現(xiàn)虛擬場(chǎng)景多維度的搭建,但是輸出的三維重建模型結(jié)果與實(shí)際設(shè)計(jì)目標(biāo)偏差過(guò)大,結(jié)果不可靠,很難滿足精度要求高的用戶(hù)需求。文獻(xiàn)[2]采用基于超點(diǎn)圖網(wǎng)絡(luò)的三維點(diǎn)云室內(nèi)場(chǎng)景分割模型方法,利用膠囊卷積網(wǎng)絡(luò),通過(guò)三維模型的體素感知原理,實(shí)現(xiàn)場(chǎng)景多視圖的模型重建。此方法可以實(shí)現(xiàn)簡(jiǎn)單的虛擬場(chǎng)景三維重建,但是對(duì)于特殊的場(chǎng)景設(shè)計(jì),無(wú)法做到自適應(yīng)調(diào)整,具有針對(duì)性。

為此本文提出基于AISI網(wǎng)絡(luò)虛擬場(chǎng)景多視圖三維重建模型研究方法,通過(guò)ASIS網(wǎng)絡(luò)框架、代價(jià)體正則化以及特征感知原理,提高三維重建模型的精準(zhǔn)度、完整性和有效性為目的,滿足各個(gè)領(lǐng)域的發(fā)展需求。

1 ASIS網(wǎng)絡(luò)框架原理分析

ASIS網(wǎng)絡(luò)框架的工作內(nèi)容是將三維立體場(chǎng)景根據(jù)連接特征,提取主干網(wǎng)絡(luò),再分別切割出語(yǔ)義信息一致的實(shí)例[3]?？蚣茉砣鐖D1所示。

圖1 ASIS網(wǎng)絡(luò)框架原理圖

1.1 構(gòu)建代價(jià)體

代價(jià)體代替?zhèn)鹘y(tǒng)多視圖三維重建模型的圖像一致性學(xué)習(xí)過(guò)程,利用視覺(jué)特征點(diǎn),完成空間虛擬場(chǎng)景中實(shí)際距離的推斷,降低實(shí)際場(chǎng)景與虛擬場(chǎng)景之間的誤差。場(chǎng)景深度平面?zhèn)€數(shù)計(jì)算公式如式(1)所示:

(1)

其中,M表示虛擬場(chǎng)景深度平面的個(gè)數(shù),S表示深度間隔尺度變量,n表示兩個(gè)待計(jì)算平面角度的間隔相機(jī)椎體變量,?表示平面空間中特征通道個(gè)數(shù),Li表示圖像數(shù)據(jù)集合。

本文通過(guò)可微分單應(yīng)性變換方法構(gòu)建代價(jià)體,構(gòu)建代價(jià)體前需要確定虛擬場(chǎng)景搭建需要平面的個(gè)數(shù),依次控制模型遍歷計(jì)算的范圍[4]。單應(yīng)性矩陣的優(yōu)點(diǎn)是通過(guò)平面掃描算法識(shí)別虛擬空間圖紙內(nèi)的各類(lèi)特征點(diǎn),矩陣計(jì)算公式如式(2)所示:

(2)

單應(yīng)性矩陣掃描方法可以計(jì)算三維空間構(gòu)件之間的距離和,不僅保證掃描精度和準(zhǔn)確度,而且掃描范圍大,降低掃描時(shí)間,提高虛擬場(chǎng)景深度平面識(shí)別效率[5]。掃描實(shí)例如圖2所示。

圖2 回歸網(wǎng)絡(luò)掃描邊緣框架圖(以門(mén)為實(shí)例)

1.2 代價(jià)體正則化與回歸網(wǎng)絡(luò)

代價(jià)體正則化與回歸網(wǎng)絡(luò)是過(guò)濾視圖圖像的噪聲干擾,借助squash函數(shù)達(dá)到提高網(wǎng)絡(luò)信息擬合精確度的需求[6]。squash函數(shù)如下:

(3)

其中,Hi表示卷積層的輸入量,Ki表示卷積單元,Ri表示正則化遍歷的步長(zhǎng),t表示樣本數(shù)據(jù)時(shí)間維度,dj表示模量計(jì)算尺度;kt表示噪音因子。

將構(gòu)建的代價(jià)體進(jìn)行正則化分類(lèi),將虛擬場(chǎng)景中可以連接的搭建節(jié)點(diǎn)進(jìn)行過(guò)濾分類(lèi),可以一定程度上減少重建模型的計(jì)算量[7]。代價(jià)體正則化編碼過(guò)程圖如圖3所示。

圖3 代價(jià)體正則化編碼過(guò)程圖

將轉(zhuǎn)換的網(wǎng)絡(luò)信息利用squash函數(shù)進(jìn)行調(diào)用,輸出虛擬場(chǎng)景多視圖重建的邊緣集合,調(diào)用映射函數(shù)實(shí)現(xiàn)一一對(duì)應(yīng)的深度映射關(guān)系,避免平面要素丟失,保證虛擬場(chǎng)景重建模型的精準(zhǔn)度[8]。映射函數(shù)如式(4):

(4)

其中,Fi表示圖像的映射函數(shù),d(p)表示有效的圖像像素集合,Hr表示映射發(fā)出端的深度值,l表示像素初始深度的估計(jì)值,f(loss)表示損失函數(shù),di(p)1表示訓(xùn)練元素深度推斷概率體的期望值。

代價(jià)體回歸網(wǎng)絡(luò)模擬圖如圖4所示。

代價(jià)體回歸網(wǎng)絡(luò)的特點(diǎn)是數(shù)據(jù)訓(xùn)練時(shí)間長(zhǎng),對(duì)于三維虛擬場(chǎng)景邊界的識(shí)別和構(gòu)建清晰明確,更好的固定模型的參數(shù)量和場(chǎng)景邊界,以便生成更加清晰的模型圖像。

圖4 代價(jià)體回歸網(wǎng)絡(luò)模型圖

2 虛擬場(chǎng)景多視圖三維重建模型設(shè)計(jì)

2.1 獲取多視圖三維數(shù)據(jù)

以單個(gè)構(gòu)建為單位,分別遍歷多視圖圖像的各個(gè)實(shí)例,獲取場(chǎng)景的單元參數(shù)。為了保證三維場(chǎng)景的高度還原,本文設(shè)定獲取的多視圖三維數(shù)據(jù)由4個(gè)必備參數(shù)組成。參數(shù)1為三個(gè)方向的坐標(biāo)定位值以及相對(duì)位置坐標(biāo);參數(shù)2為構(gòu)建的顏色信息;參數(shù)3為視圖圖像的語(yǔ)義標(biāo)簽,用于表示該單元的類(lèi)別和切分區(qū)域;參數(shù)4為普通數(shù)據(jù),用于后期數(shù)據(jù)編譯,提取特征參量[9]。四個(gè)參數(shù)分別從位置、細(xì)節(jié)、特征三個(gè)方面對(duì)視圖單元進(jìn)行定位,使得獲取的數(shù)據(jù)具有分析意義。網(wǎng)絡(luò)框架分割原理圖如圖5所示。

圖5 ASIS網(wǎng)絡(luò)框架分割原理圖

2.2 初始三維圖像預(yù)處理

對(duì)于三維圖像數(shù)據(jù)的預(yù)處理分別兩部分,首要是遍歷多視圖三維數(shù)據(jù)庫(kù),通過(guò)ASIS網(wǎng)絡(luò)框架對(duì)虛擬場(chǎng)景圖像進(jìn)行分割,另外是篩選出虛擬場(chǎng)景空間的細(xì)節(jié)特征、位置特征、顯著特征。

分割模塊的依據(jù)是協(xié)調(diào)三維數(shù)據(jù)的語(yǔ)義標(biāo)簽和位置標(biāo)簽的信息,將每個(gè)實(shí)例進(jìn)行分類(lèi),然后通過(guò)代價(jià)體回歸網(wǎng)絡(luò)計(jì)算,核算出不同實(shí)例類(lèi)別之間的分界線[10]。對(duì)于一個(gè)構(gòu)件內(nèi)的總多實(shí)例,采用二層編碼的方式進(jìn)行記錄,一層記錄所屬構(gòu)件單元,二層編碼記錄維度內(nèi)的實(shí)例,區(qū)分各個(gè)點(diǎn)的所屬位置[11]。特征矩陣如式(5):

(5)

構(gòu)件、實(shí)例切割后,對(duì)每個(gè)區(qū)域內(nèi)的數(shù)據(jù)進(jìn)行篩選,通過(guò)特征矩陣提取出具有代表意義的特征量,為虛擬場(chǎng)景多視圖架構(gòu)重建奠定相對(duì)位置基礎(chǔ)[12]。

2.3 虛擬場(chǎng)景多視圖并行匹配

虛擬場(chǎng)景的多視圖并行匹配的要素為細(xì)節(jié)特征、位置特征、顯著特征,只有從多個(gè)角度對(duì)構(gòu)建模型進(jìn)行約束,才可以高度還原虛擬場(chǎng)景的位置[13]。并行匹配原理如圖6所示:

圖6 虛擬場(chǎng)景多視圖并行匹配原理圖

細(xì)節(jié)體征包括構(gòu)件的形狀特征、大小特征,細(xì)節(jié)特征計(jì)算公式如下:

(6)

其中,L(X)表示細(xì)節(jié)特征表達(dá)式,w表示批標(biāo)準(zhǔn)化,αCon(X)表示修正線性單元,β表示卷積核尺寸,ConV2表示特征向量。

顯著特征表達(dá)式如下:

(7)

其中,G(X)表示顯著特征,L表示全局通道數(shù)量,ε(X)表示全局最大池化,b表示突出概率比。

顯著特征的識(shí)別是通過(guò)全局的池化對(duì)輸入數(shù)據(jù)進(jìn)行過(guò)濾,提前會(huì)設(shè)定好已經(jīng)存在體素的特征,利用卷積操作辨認(rèn)顯著特征與其他特征表現(xiàn)出的體素差異,進(jìn)行匹配對(duì)應(yīng)即可[14]。

位置特征如式(8):

(8)

位置特征的感知條件是將虛擬場(chǎng)景的三維立體維度進(jìn)行壓縮,選擇全局平均池化對(duì)有效數(shù)據(jù)進(jìn)行識(shí)別,學(xué)習(xí)整體數(shù)據(jù),輸出獨(dú)立架構(gòu)的尺寸以及相對(duì)對(duì)象位置[15]。顯著特征識(shí)別模擬圖如圖7所示。

圖7 顯著特征識(shí)別模擬圖

最后利用權(quán)重函數(shù)計(jì)算三個(gè)特征值的平衡點(diǎn),權(quán)重公式如式(9)所示:

(9)

其中,X′表示通道注意力權(quán)重,?表示矩陣乘法,⊕表示廣播加法,其他未知數(shù)意義同上。

將細(xì)節(jié)特征、位置特征、顯著特征在虛擬場(chǎng)景的所有通道中進(jìn)行并行匹配運(yùn)算,通道的注意力權(quán)重趨近于1,則此點(diǎn)位構(gòu)件的最佳重構(gòu)位置,完整虛擬場(chǎng)景單獨(dú)構(gòu)件的位置匹配。

2.4 多視圖三維立體視覺(jué)重建模型生成

虛擬場(chǎng)景多視圖三維重建模型利用懲罰函數(shù)優(yōu)化場(chǎng)景內(nèi)的各個(gè)構(gòu)件,輸出搭建的整體,懲罰檢驗(yàn)函數(shù)如式(1)所示:

(10)

其中,D表示懲罰函數(shù),g表示二元交叉熵,τ表示懲罰權(quán)重。

懲罰函數(shù)是在全局的角度上,對(duì)三維空間整體的布局利用懲罰函數(shù)進(jìn)行融合,優(yōu)化構(gòu)件之間細(xì)節(jié)的銜接,保證重建模型的連續(xù)性和完整性。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)背景及過(guò)程

本文選擇對(duì)照試驗(yàn)檢驗(yàn)本文研究的基于ASIS網(wǎng)絡(luò)的虛擬場(chǎng)景多視圖三維重建模型的準(zhǔn)確度和完整度,實(shí)驗(yàn)面向的對(duì)象是一個(gè)復(fù)雜的虛擬環(huán)境圖像,應(yīng)用的方法為目前主流的Colmap重建方法、MVSNet重建方法以及本文設(shè)計(jì)的重建模型方法,對(duì)比每種重建模型輸出的效果,檢驗(yàn)基于ASIS網(wǎng)絡(luò)的虛擬場(chǎng)景多視圖三維重建模型構(gòu)建方法的可行性。

在實(shí)驗(yàn)中分別選擇三種相同配置的電腦用于軟件支持,并提前將重建虛擬環(huán)境的圖紙存入電腦中,兩組試驗(yàn)依次進(jìn)行,以滿足實(shí)驗(yàn)要求。設(shè)置選取了合成圖像數(shù)據(jù)集ShapeNet的子集,并將數(shù)據(jù)集劃分為4/5的訓(xùn)練集與1/5的測(cè)試集。網(wǎng)絡(luò)以尺寸為224×224的圖像作為輸入并輸出323分辨率的三維空間網(wǎng)格,體素化閾值t設(shè)置為0.3。選用Adam優(yōu)化器進(jìn)行梯度運(yùn)算,將其初始學(xué)習(xí)率設(shè)置為0.001,衰減率設(shè)置為0.5。

3.2 實(shí)驗(yàn)數(shù)據(jù)分析

試驗(yàn)結(jié)束后,讀取試驗(yàn)數(shù)據(jù),三種應(yīng)用方法分別輸出的多視圖三維重建模型圖像如圖8所示:

圖8 重建模型效果對(duì)比圖

三種方法都可以實(shí)現(xiàn)虛擬場(chǎng)景的搭建,細(xì)致觀察傳統(tǒng)方法2構(gòu)建的模型圖質(zhì)量差,還原基本的場(chǎng)景后,會(huì)存在不明曲線。傳統(tǒng)方法1和本文設(shè)計(jì)方法的區(qū)別直觀不明顯,因此通過(guò)提取計(jì)算機(jī)數(shù)據(jù),完整性誤差、準(zhǔn)確性誤差、重建整體度的誤差數(shù)據(jù)匯總圖如圖9所示。

圖9展示了相同虛擬環(huán)境圖像在不同方法中構(gòu)建模型應(yīng)用輸出結(jié)果的完整性、準(zhǔn)確性誤差、重建整體度的評(píng)價(jià)數(shù)據(jù)。因?yàn)楸疚牟捎么鷥r(jià)體正則計(jì)算原理和回歸網(wǎng)絡(luò)遍歷方法,解決虛擬場(chǎng)景多視圖模型構(gòu)建中產(chǎn)生的漏洞,明確虛擬場(chǎng)景空間構(gòu)造的邊界線,降低完整性誤差和準(zhǔn)確性誤差,提高模型重建的高還原度。

圖9 誤差數(shù)據(jù)匯總圖

根據(jù)圖9可以得知,傳統(tǒng)方法1的平均完整性誤差為0.449,平均準(zhǔn)確性誤差為0.481,平均重建整體度為0.439。傳統(tǒng)方法2的平均完整性誤差為0.455,平均準(zhǔn)確性誤差為0.412,平均重建整體度為0.418。本文研究方法的平均完整性誤差為0.382,平均準(zhǔn)確性誤差為0.393,平均重建整體度為0.410。從上述數(shù)據(jù)可以看出,與兩種傳統(tǒng)方法中性能較優(yōu)的方法相比,本文方法的完整性誤差降低16%,準(zhǔn)確性誤差降低4%,重建整體度提高2%。因此,說(shuō)明本文方法的優(yōu)化效果較為明顯。

另外匯總?cè)N方法構(gòu)建時(shí)間,測(cè)試結(jié)果圖如圖10所示。

圖10 模型構(gòu)建進(jìn)度結(jié)果圖

觀察圖10,可以清晰的看出本文設(shè)計(jì)的重建模型方法用時(shí)最短,三種模型構(gòu)建方法整體進(jìn)度差別主要顯示在場(chǎng)景重現(xiàn)階段,對(duì)于數(shù)據(jù)采集和數(shù)據(jù)輸出所耗用時(shí)間的長(zhǎng)短差距不大,穩(wěn)定在1～2 min之間,但是場(chǎng)景重構(gòu)階段的時(shí)長(zhǎng)對(duì)于Colmap重建方法的差距較小,與MVSNet重建方法的差距較大,提前10 min完成重建。結(jié)合方法模擬重建的精度測(cè)試結(jié)果,基于AISI網(wǎng)絡(luò)虛擬場(chǎng)景多視圖三維重建模型的工作效率高,比傳統(tǒng)方法提高50%,具有可應(yīng)用性。

綜上所述,本文設(shè)計(jì)的基于AISI網(wǎng)絡(luò)虛擬場(chǎng)景多視圖三維重建模型方法的精準(zhǔn)度和工作效率比傳統(tǒng)方法的效果更優(yōu),具有良好的精準(zhǔn)性和可適配性。

4 結(jié)束語(yǔ)

針對(duì)數(shù)據(jù)網(wǎng)絡(luò)計(jì)算方法準(zhǔn)確性低的問(wèn)題,本文研究了一種基于AISI網(wǎng)絡(luò)虛擬場(chǎng)景多視圖三維重建模型研究方法,得出以下結(jié)論:

1)利用ASIS網(wǎng)絡(luò)框架、數(shù)據(jù)降噪處理、懲罰函數(shù)增強(qiáng)虛擬場(chǎng)景多視圖三維重建模型還原的精準(zhǔn)性,達(dá)到更高的虛擬場(chǎng)景的重建效果。

2)通過(guò)多視圖并行匹配方法,增加重建模型的自適應(yīng)性功能,提高模型應(yīng)用的效果和價(jià)值。

在接下來(lái)的研究中可以側(cè)重建模型數(shù)據(jù)安全的加密處理,進(jìn)一步加強(qiáng)模型的自適應(yīng)性,提高虛擬場(chǎng)景模型的匹配度。