楊 軍，王幸幸，蘆有鵬

(1.蘭州交通大學(xué) 測繪與地理信息學(xué)院，甘肅 蘭州 730070；2.蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070；3.蘭州交通大學(xué) 交通運(yùn)輸學(xué)院，甘肅 蘭州 730070)

在三維模型分析和處理過程中，尋找非剛性模型間準(zhǔn)確的對應(yīng)關(guān)系是計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)及相關(guān)研究領(lǐng)域中的一個(gè)重點(diǎn)及難點(diǎn)問題。三維模型對應(yīng)關(guān)系計(jì)算被廣泛應(yīng)用于三維打印、醫(yī)學(xué)影像分析、自動(dòng)駕駛和電影動(dòng)畫等領(lǐng)域。因此，在兩個(gè)或多個(gè)三維模型間建立正確的對應(yīng)關(guān)系是一項(xiàng)非常重要的基礎(chǔ)性研究工作[1]。三維模型一般是由三角網(wǎng)格或點(diǎn)云表示，如果對源模型與目標(biāo)模型間所有的頂點(diǎn)逐個(gè)進(jìn)行匹配，會(huì)增加時(shí)間與空間復(fù)雜度，因此采樣算法的選擇對提高模型間對應(yīng)關(guān)系的匹配率起著至關(guān)重要的作用。利用深度學(xué)習(xí)的優(yōu)勢可以將不規(guī)則三維點(diǎn)云轉(zhuǎn)換為規(guī)則的數(shù)據(jù)形式，便于特征學(xué)習(xí)[2]。

目前，對于剛性模型或等距模型間的對應(yīng)關(guān)系計(jì)算，相關(guān)研究算法已經(jīng)趨于成熟，并可以得到準(zhǔn)確的對應(yīng)關(guān)系。例如文獻(xiàn)[3]提出基于博弈論的對應(yīng)關(guān)系計(jì)算方法，通過選擇相互剛性約束的模型表面上的點(diǎn)進(jìn)行最優(yōu)匹配，獲得剛性模型間準(zhǔn)確的對應(yīng)關(guān)系。而對于非剛性模型或非等距模型間對應(yīng)關(guān)系計(jì)算問題，OVSJANIKOV等[4]提出利用函數(shù)映射(Functional Maps，F(xiàn)M)方法將模型間對應(yīng)關(guān)系計(jì)算問題轉(zhuǎn)化為函數(shù)映射矩陣的優(yōu)化問題，即將源模型和目標(biāo)模型上的特征點(diǎn)與特征描述符聯(lián)系起來，通過構(gòu)建線性函數(shù)將復(fù)雜的點(diǎn)到點(diǎn)對應(yīng)關(guān)系轉(zhuǎn)化為模型描述符函數(shù)之間的映射關(guān)系。相比單純地計(jì)算復(fù)雜的、非線性的點(diǎn)到點(diǎn)映射，函數(shù)映射能獲得更準(zhǔn)確的對應(yīng)關(guān)系。但是基于該理論的計(jì)算方法過度依賴描述符的選擇，并且由于模型的自身對稱性導(dǎo)致錯(cuò)誤匹配，可以通過改進(jìn)點(diǎn)到點(diǎn)映射方法并添加一些正則化約束項(xiàng)來獲得最優(yōu)描述符。

近年來，研究者將深度學(xué)習(xí)方法應(yīng)用于對應(yīng)關(guān)系計(jì)算，然而基于深度學(xué)習(xí)的模型匹配方法面臨的挑戰(zhàn)主要是缺乏用于監(jiān)督學(xué)習(xí)的帶標(biāo)簽訓(xùn)練數(shù)據(jù)。近期的研究逐漸從最初的有監(jiān)督學(xué)習(xí)趨向于無監(jiān)督學(xué)習(xí)模式。例如文獻(xiàn)[5]提出一種頻譜無監(jiān)督函數(shù)映射網(wǎng)絡(luò)(Spectral Unsupe Rvised Functional Maps Network，SURFMNet)構(gòu)建模型對應(yīng)關(guān)系的方法。該方法首先通過FMNet體系結(jié)構(gòu)學(xué)習(xí)描述符，對描述符函數(shù)進(jìn)行非線性變換，然后對描述符函數(shù)迭代優(yōu)化獲得最優(yōu)的函數(shù)映射對應(yīng)關(guān)系，最后再恢復(fù)到點(diǎn)到點(diǎn)映射。該方法適用于等距模型或發(fā)生較小尺度形變的模型，一旦模型發(fā)生較大形變或受拓?fù)湓肼曈绊?，將?dǎo)致模型間的基函數(shù)存在不一致的情況，使模型匹配率有所下降。GQOUEIX等[6]提出一種端到端的模型變形網(wǎng)絡(luò)對應(yīng)關(guān)系計(jì)算方法，通過使用共享的模板學(xué)習(xí)一致的網(wǎng)格參數(shù)來計(jì)算模型對應(yīng)關(guān)系。該深度學(xué)習(xí)網(wǎng)絡(luò)采用編碼器-解碼器架構(gòu)，編碼器模型變形網(wǎng)絡(luò)將目標(biāo)模型作為輸入并生成一個(gè)全局特征描述符，解碼器模型變形網(wǎng)絡(luò)以全局特征描述符作為輸入將模板上的點(diǎn)映射回原始幾何模型，通過從模板的重構(gòu)比對中讀取對應(yīng)信息來獲得模型間映射關(guān)系。雖然該方法直接從原始三維模型數(shù)據(jù)中學(xué)習(xí)對應(yīng)關(guān)系，但是其嚴(yán)重依賴中間模板的質(zhì)量，極大地降低了算法的可擴(kuò)展性。

受上述啟發(fā)，筆者直接從原始三維模型中學(xué)習(xí)特征，結(jié)合函數(shù)映射理論構(gòu)建一種無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)(Unsupervised Siamese Deep Functional Maps Network，USDFMN)。主要?jiǎng)?chuàng)新點(diǎn)和貢獻(xiàn)有：① 在特征提取網(wǎng)絡(luò)中采用可微網(wǎng)格采樣算子(Differentiable Mesh Sampling Operator，DMSO)以減少將網(wǎng)格處理成點(diǎn)集時(shí)產(chǎn)生的誤差，通過孿生網(wǎng)絡(luò)學(xué)習(xí)共享參數(shù)獲得三維模型特征，而不是從預(yù)先計(jì)算的描述符中學(xué)習(xí)特征；② 在計(jì)算函數(shù)映射時(shí)提出一種新的正則化約束方法，利用正則化函數(shù)映射層計(jì)算最優(yōu)的函數(shù)映射矩陣，有效解決了模型出現(xiàn)錯(cuò)誤匹配問題；③ 結(jié)合ZoomOut算法，將生成的函數(shù)映射矩陣高質(zhì)量地恢復(fù)到點(diǎn)到點(diǎn)映射，所提出的基于無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)(USDFMN)的對應(yīng)關(guān)系計(jì)算方法，即使在訓(xùn)練集有限的情況下也能獲得更準(zhǔn)確的對應(yīng)關(guān)系。

1 相關(guān)研究工作

三維模型對應(yīng)關(guān)系計(jì)算是通過提取源模型的特征信息，并與目標(biāo)模型進(jìn)行特征信息比對，在兩模型間建立有意義的語義聯(lián)系。目前三維模型對應(yīng)關(guān)系計(jì)算方法主要分為：基于幾何特征的方法、基于函數(shù)映射的方法和基于深度學(xué)習(xí)的方法?；趲缀翁卣鞯姆椒ㄊ歉鶕?jù)三維模型表面的幾何性質(zhì)來構(gòu)建模型間對應(yīng)關(guān)系，例如法向量(Normal Orientation)[7]、曲率(Curvature)等局部幾何特征信息，測地距離(Geodesic Distance)、擴(kuò)散距離(Diffusion Distance)[8]等全局幾何特征信息。后期研究者根據(jù)先驗(yàn)知識(shí)人工設(shè)計(jì)特征描述符，如方向直方圖簽名(Signature of Histograms of OrienTations，SHOT)描述符[9]、熱核簽名(Heat Kernel Signatures，HKS)描述符[10]和波核簽名(Wave Kernel Signatures，WKS)描述符[11]，來構(gòu)建模型間準(zhǔn)確的對應(yīng)關(guān)系。文獻(xiàn)[12]提出一種融合波核簽名與熱核簽名的特征描述符來計(jì)算源模型與目標(biāo)模型間的對應(yīng)關(guān)系的方法，與只使用單一特征描述符方法相比，可以得到更準(zhǔn)確的對應(yīng)關(guān)系。雖然使用特征描述符的對應(yīng)關(guān)系計(jì)算方法比單純的計(jì)算點(diǎn)到點(diǎn)映射對應(yīng)關(guān)系準(zhǔn)確率有所提高，但受模型自身對稱性、噪聲干擾、部件缺失和大尺度形變等影響，都會(huì)導(dǎo)致計(jì)算出的對應(yīng)關(guān)系準(zhǔn)確率不高。

函數(shù)映射是近幾年提出的三維模型對應(yīng)關(guān)系計(jì)算方法，因其具有較高的映射準(zhǔn)確率和計(jì)算效率，受到許多研究者的關(guān)注。文獻(xiàn)[13]提出一種基于光滑性假設(shè)的去除映射模糊的方法，將目標(biāo)模型的拉普拉斯-貝爾特拉米算子的特征函數(shù)映射到源模型函數(shù)空間內(nèi)，獲得準(zhǔn)確的點(diǎn)到點(diǎn)映射關(guān)系。文獻(xiàn)[14]提出校準(zhǔn)三維模型間基矩陣的對應(yīng)關(guān)系計(jì)算方法，將模型間對應(yīng)關(guān)系的計(jì)算轉(zhuǎn)化為由模型特征函數(shù)構(gòu)建的基矩陣之間的校準(zhǔn)運(yùn)算，并通過尖端點(diǎn)遍歷匹配方法獲取較優(yōu)的匹配結(jié)果。文獻(xiàn)[15]研究部分非剛性模型函數(shù)映射的對應(yīng)關(guān)系計(jì)算，采用拉普拉斯矩陣的擾動(dòng)分析計(jì)算出較為準(zhǔn)確的部分模型與完整模型間的對應(yīng)關(guān)系。文獻(xiàn)[16]使用相似性函數(shù)分析從源模型表面到目標(biāo)模型表面最近鄰域的多樣性和相似性，獲得較為準(zhǔn)確的對應(yīng)關(guān)系。文獻(xiàn)[17]提出一種結(jié)合頻譜特征值對齊與ZoomOut算法的部分模型與完整模型對應(yīng)關(guān)系計(jì)算的方法。該方法在頻譜部分函數(shù)映射框架的基礎(chǔ)上，添加局部正則化項(xiàng)來提高局部優(yōu)化精度，利用迭代頻譜上采樣ZoomOut優(yōu)化算法獲得更為精準(zhǔn)的映射關(guān)系，在模型發(fā)生畸變或受到拓?fù)湓肼暩蓴_的情況下，能夠準(zhǔn)確地計(jì)算出殘缺對應(yīng)關(guān)系。而以上基于函數(shù)映射的方法對于發(fā)生較大尺度變形的模型無法有效獲得準(zhǔn)確的對應(yīng)關(guān)系。

隨著深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺、三維模型分析和處理等領(lǐng)域的應(yīng)用，研究者提出結(jié)合深度學(xué)習(xí)計(jì)算三維模型對應(yīng)關(guān)系的方法。深度函數(shù)映射(Deep Functional Maps，DFM)[18]利用殘差網(wǎng)絡(luò)訓(xùn)練源模型與目標(biāo)模型表面的拉普拉斯特征描述符，得到更為準(zhǔn)確、涵蓋信息更全面的模型特征描述符。算法運(yùn)用函數(shù)映射方法計(jì)算出函數(shù)映射矩陣，結(jié)合拉普拉斯特征基和函數(shù)映射矩陣計(jì)算獲得模型的模糊映射(Soft-Correspondence)矩陣，將模型間的對應(yīng)關(guān)系計(jì)算作為深度函數(shù)映射網(wǎng)絡(luò)架構(gòu)的一部分，通過對模糊映射矩陣與測地距離矩陣進(jìn)行點(diǎn)積操作得到準(zhǔn)確的對應(yīng)關(guān)系。HALIMI等[19]在深度函數(shù)的基礎(chǔ)上，用模型的幾何約束代替模型間真實(shí)對應(yīng)關(guān)系，定義無監(jiān)督損失函數(shù)以此來評估對應(yīng)關(guān)系的準(zhǔn)確性。但由于模型固有的對稱特性，影響了模型對應(yīng)關(guān)系計(jì)算的準(zhǔn)確率。GAO等[20]通過引入卷積變分自動(dòng)編碼器(Convolutional Variational AutoEncoder，CVAE)對源模型和目標(biāo)模型進(jìn)行編碼，并加入循環(huán)一致性損失，用于構(gòu)建模型空間上準(zhǔn)確的映射關(guān)系。當(dāng)變形在視覺上相似時(shí)，表明算法的對應(yīng)關(guān)系計(jì)算效果良好，但對于語義相似但視覺效果上極大不同的模型，算法的模型匹配度在一定程度上不準(zhǔn)確。

綜上所述，已有的三維模型對應(yīng)關(guān)系計(jì)算方法主要包括以下4點(diǎn)不足：① 依賴人工設(shè)計(jì)的描述符，提取到的模型特征信息有限，無法有效表征表面整體結(jié)構(gòu)特性；② 函數(shù)映射理論結(jié)合一些匹配算法無法有效解決模型自身對稱性和描述符本身缺陷影響對應(yīng)關(guān)系計(jì)算問題；③ 基于深度學(xué)習(xí)的模型匹配方法通常需要大量的訓(xùn)練數(shù)據(jù)，導(dǎo)致時(shí)間開銷和計(jì)算開銷高；④ 部分算法依賴于固定的參數(shù)模板，不同數(shù)據(jù)集上的可擴(kuò)展性在一定程度上會(huì)明顯降低。為此，在3D-CODED算法[6]的基礎(chǔ)上結(jié)合深度函數(shù)映射理論，筆者提出一種新的學(xué)習(xí)模型描述符的方法，通過構(gòu)建無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)(USDFMN)，直接利用原始的三維模型準(zhǔn)確地計(jì)算模型間對應(yīng)關(guān)系。

2 網(wǎng)絡(luò)采樣和深度函數(shù)

2.1 可微網(wǎng)格采樣算子

可微網(wǎng)格采樣算子(Differentiable Mesh Sampling Operator，DMSO)[21]的原理是在網(wǎng)絡(luò)訓(xùn)練過程中對不同網(wǎng)格密度的源模型與目標(biāo)模型進(jìn)行采樣，通過對包圍采樣點(diǎn)的網(wǎng)格頂點(diǎn)進(jìn)行逐頂點(diǎn)偏移，反向傳播計(jì)算每個(gè)頂點(diǎn)偏移的梯度，迭代使網(wǎng)絡(luò)模型參數(shù)達(dá)到最優(yōu)。該算子常應(yīng)用于模型重建、模型變形等研究領(lǐng)域。文中的深度學(xué)習(xí)網(wǎng)絡(luò)USDFMN在處理不同拓?fù)浣Y(jié)構(gòu)的網(wǎng)格模型過程中結(jié)合DMSO，對三維網(wǎng)格模型均勻采樣一組點(diǎn)，使該網(wǎng)絡(luò)能夠處理不同網(wǎng)格密度的源模型和目標(biāo)模型，減少了將網(wǎng)格處理成點(diǎn)集時(shí)產(chǎn)生的誤差。采樣過程如圖1所示。

步驟1給定由頂點(diǎn)v1、v2、v3圍成的面e=(v1，v2，v3)，在e上采樣一點(diǎn)I，則I的位置可以表示為

I=ω1v1+ω2v2+ω3v3，

(1)

其中，ω1+ω2+ω3=1是點(diǎn)I的重心坐標(biāo)。

步驟2對e的原始頂點(diǎn)進(jìn)行逐頂點(diǎn)偏移，設(shè)頂點(diǎn)偏移量為ov1、ov2和ov3，則點(diǎn)I的偏移量位置為

oI+ω1ov1+ω2ov2+ω3ov3。

(2)

步驟3執(zhí)行反向傳播，通過govi=ωigovp計(jì)算出每個(gè)原始頂點(diǎn)逐點(diǎn)偏移的梯度，使得訓(xùn)練的網(wǎng)絡(luò)模型參數(shù)達(dá)到最優(yōu)，其中g(shù)表示梯度。

步驟4依次迭代采樣，直至均勻采樣到所需采樣點(diǎn)數(shù)目，得到原始三維模型的采樣點(diǎn)集。

圖1 DMSO采樣

2.2 深度函數(shù)映射(DFM)

(3)

(4)

如果基函數(shù)關(guān)于內(nèi)積空間正交，則映射TF可以表示為一個(gè)矩陣C，使得對于任何系數(shù)向量a表示的函數(shù)f，都有TF(a)=Ca，因此通過矩陣C構(gòu)建兩模型原始的映射關(guān)系T。

設(shè)源模型M和目標(biāo)模型N分別包含m和n個(gè)頂點(diǎn)，則利用函數(shù)映射計(jì)算模型間的映射關(guān)系，主要包括以下4個(gè)步驟：

步驟1對每個(gè)模型分別計(jì)算離散的拉普拉斯-貝爾特拉米算子(Laplace Beltrami Operator，LBO)的前k個(gè)特征函數(shù)，記為kM和kN。

步驟2計(jì)算每個(gè)模型上的一組描述符函數(shù)，將描述符函數(shù)在基函數(shù)上的系數(shù)作為矩陣的列存儲(chǔ)在矩陣A、B中。

步驟3通過求解以下優(yōu)化問題來獲得最優(yōu)函數(shù)映射矩陣Copt：

(5)

其中，Edesc(C)為描述符項(xiàng)，旨在計(jì)算出最優(yōu)的函數(shù)映射矩陣C；矩陣A、B是以源模型M和目標(biāo)模型N的基函數(shù)上的系數(shù)為列向量的基矩陣；為了確保Copt的準(zhǔn)確性，添加正則化項(xiàng)Ereg(C)對描述符項(xiàng)進(jìn)行約束；ΛM和ΛN分別是M和N的Laplace算子特征值的對角矩陣；α是權(quán)重值。

步驟4將函數(shù)映射矩陣C恢復(fù)到點(diǎn)到點(diǎn)映射T，將映射從譜域轉(zhuǎn)換至空間域。

隨著數(shù)據(jù)驅(qū)動(dòng)技術(shù)的發(fā)展，研究者開始嘗試在函數(shù)映射的基礎(chǔ)上從數(shù)據(jù)中學(xué)習(xí)特征描述符，將對應(yīng)關(guān)系的計(jì)算作為學(xué)習(xí)過程的一部分，使對應(yīng)關(guān)系在深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過程中達(dá)到最優(yōu)。這類方法可以在有監(jiān)督學(xué)習(xí)的模式下學(xué)習(xí)，如文獻(xiàn)[13]提出的FMNet網(wǎng)絡(luò)框架，聚焦解決以下優(yōu)化問題：

(6)

與此同時(shí)，該方法也可以在無監(jiān)督學(xué)習(xí)模式下學(xué)習(xí)，文獻(xiàn)[5]中提出一種無監(jiān)督頻譜函數(shù)映射網(wǎng)絡(luò)框架(Spectral Unsupervised FMNet，SURFMNet)。該方法不計(jì)算映射關(guān)系與真實(shí)對應(yīng)關(guān)系間的誤差損失，而是評估函數(shù)映射矩陣的結(jié)構(gòu)性質(zhì)，用函數(shù)映射的雙射性、正交性和描述符保留性等幾何約束替代標(biāo)簽訓(xùn)練網(wǎng)絡(luò)，并構(gòu)建無監(jiān)督損失函數(shù)，通過優(yōu)化描述符的非線性變換獲得準(zhǔn)確的函數(shù)映射。

3 無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)

目前大部分三維模型對應(yīng)關(guān)系計(jì)算方法都是對人工設(shè)計(jì)的特征描述符進(jìn)行變換或者采用有監(jiān)督學(xué)習(xí)模式訓(xùn)練網(wǎng)絡(luò)模型進(jìn)而獲得特征描述符，僅有少數(shù)方法直接從原始模型中學(xué)習(xí)特征。因此，文中在文獻(xiàn)[6]的基礎(chǔ)上，旨在直接學(xué)習(xí)原始三維模型的特征，結(jié)合深度函數(shù)映射理論提出一種新的學(xué)習(xí)模型描述符的方法，通過無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)(USDFMN)來計(jì)算三維模型間對應(yīng)關(guān)系。

3.1 網(wǎng)絡(luò)框架

USDFMN網(wǎng)絡(luò)直接從原始模型中學(xué)習(xí)特征，然后通過函數(shù)映射框架來計(jì)算模型描述符的對應(yīng)關(guān)系?？傮w框架包括特征提取層和正則化函數(shù)映射層兩個(gè)主要部分，如圖2所示。其中特征提取層采用編碼器-解碼器作為基本網(wǎng)絡(luò)結(jié)構(gòu)。編碼器包括4次下采樣過程，對模型進(jìn)行高維特征提取，每個(gè)卷積塊中均使用修正線性單元(Rectified Linear Unit，ReLU)作為激活函數(shù)，并利用批歸一化(Batch Normalization，BN)使數(shù)據(jù)服從正態(tài)分布。解碼器包括4次上采樣過程，對提取的特征進(jìn)行上采樣操作，將編碼得到的高維特征恢復(fù)到原始特征。

特征提取層旨在學(xué)習(xí)共享參數(shù)Θ，使用孿生網(wǎng)絡(luò)從源模型和目標(biāo)模型的原始數(shù)據(jù)中逐點(diǎn)提取魯棒性更強(qiáng)和信息更加豐富的特征。為了使網(wǎng)絡(luò)結(jié)構(gòu)能夠適用不同網(wǎng)格密度的源模型和目標(biāo)模型，引入可微網(wǎng)格采樣算子(DMSO)對網(wǎng)格模型進(jìn)行采樣操作，減少了將網(wǎng)格處理成點(diǎn)集時(shí)產(chǎn)生的誤差。

正則化函數(shù)映射層的目的是通過學(xué)習(xí)一種新的正則化方法，利用特征提取層學(xué)習(xí)到的特征計(jì)算出魯棒性更強(qiáng)的函數(shù)映射對應(yīng)關(guān)系。將學(xué)習(xí)到的特征投影到兩個(gè)模型各自的拉普拉斯特征基上，并輸入到正則化函數(shù)映射層中計(jì)算函數(shù)映射關(guān)系。由于從空間域轉(zhuǎn)到低維的譜域中操作，無需計(jì)算測地距離矩陣，因此不需要訓(xùn)練模型具有相同的點(diǎn)數(shù)或固定網(wǎng)格連通性。

無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)的具體實(shí)現(xiàn)步驟如下：

步驟1將源模型M和目標(biāo)模型N輸入到網(wǎng)絡(luò)中，通過孿生網(wǎng)絡(luò)學(xué)習(xí)共享參數(shù)Θ，并從原始的三維模型中學(xué)習(xí)特征描述符P、Q。

步驟3利用正則化函數(shù)映射層從源模型和目標(biāo)模型的譜描述符中計(jì)算出最優(yōu)函數(shù)映射矩陣C。

步驟4通過計(jì)算兩個(gè)模型的倒角距離(Chamfer Distance，CD)來構(gòu)建無監(jiān)督損失函數(shù)，對計(jì)算出的函數(shù)映射矩陣C進(jìn)行評估。

步驟5使用基于迭代頻譜上采樣的ZoomOut算法[22]將最終的函數(shù)映射矩陣C恢復(fù)成點(diǎn)到點(diǎn)對應(yīng)關(guān)系T。

圖2 無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)框架

3.2 約束條件和損失函數(shù)

(7)

其中，ci為矩陣C的行向量，qi為矩陣Q的行向量。

使用ZoomOut算法可以直接將函數(shù)映射矩陣轉(zhuǎn)換為點(diǎn)到點(diǎn)映射對應(yīng)關(guān)系，該方法在譜域中通過迭代上采樣細(xì)化映射對應(yīng)關(guān)系獲得更準(zhǔn)確的對應(yīng)關(guān)系，達(dá)到進(jìn)一步優(yōu)化的目的。使用距離度量dCD建立無監(jiān)督損失函數(shù)，計(jì)算模型間誤差來評估模型對應(yīng)關(guān)系的效果。若S1和S2分別表示采樣源模型和目標(biāo)模型的三維點(diǎn)集，則定義無監(jiān)督損失函數(shù)lusl如下：

(8)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

文中算法的實(shí)驗(yàn)環(huán)境基于Linux Ubuntu 18.04操作系統(tǒng)，以i9-9900k CPU和NVIDIA GeForce RTX2080Ti GPU(11 GB顯存)處理器作為硬件支持，深度學(xué)習(xí)開發(fā)環(huán)境為CUDA-Toolkit 10.0版本，采用深度學(xué)習(xí)框架TensorFlow 1.13，編程語言為Python 3.7。

4.2 實(shí)驗(yàn)數(shù)據(jù)集

采用SURREAL[23]數(shù)據(jù)集作為訓(xùn)練集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，該數(shù)據(jù)集是一個(gè)大規(guī)模的合成人體模型，結(jié)合真實(shí)人體模型和姿態(tài)學(xué)習(xí)的SMPL模型(Skinned Multi-Person Linear Model)[24]來保證各種人體體型的自然姿態(tài)的真實(shí)度。選取SURREAL數(shù)據(jù)集中前5 000個(gè)三角網(wǎng)格模型進(jìn)行數(shù)據(jù)預(yù)處理，重新網(wǎng)格化將包含頂點(diǎn)信息和面片信息的off模型轉(zhuǎn)換成對應(yīng)幾何特征信息的mat類型的數(shù)據(jù)用于訓(xùn)練。選取FAUST數(shù)據(jù)集中100個(gè)人體模型作為測試集，對訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行測試。同時(shí)在TOSCA數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)來驗(yàn)證所提方法的有效性，該數(shù)據(jù)集中共包含80個(gè)對象，包括貓、狗、狼等8種不同類別的三維模型數(shù)據(jù)。

4.3 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)根據(jù)數(shù)據(jù)集中模型的數(shù)量，設(shè)置訓(xùn)練批尺寸(Batch Size)為4，初始學(xué)習(xí)率為0.001，網(wǎng)絡(luò)訓(xùn)練過程迭代5 000次。為了減少網(wǎng)絡(luò)訓(xùn)練的損失和優(yōu)化參數(shù)，使用自適應(yīng)矩估計(jì)優(yōu)化器(Adaptive Moment Estimation，Adam)在每一個(gè)epoch中計(jì)算損失函數(shù)的梯度，進(jìn)而自適應(yīng)更新學(xué)習(xí)率，將學(xué)習(xí)率逐漸降低至0.000 1，以此達(dá)到優(yōu)化神經(jīng)網(wǎng)絡(luò)模型的目的。為了防止訓(xùn)練網(wǎng)絡(luò)時(shí)出現(xiàn)梯度消失或爆炸問題，在網(wǎng)絡(luò)每一層輸入前添加一個(gè)批歸一化層(Batch Normalization)，批處理歸一化值設(shè)為0.98。

4.4 評估標(biāo)準(zhǔn)與結(jié)果分析

模型對應(yīng)關(guān)系的準(zhǔn)確率一般以測地誤差(Geodesic Error)來度量，即目標(biāo)模型上的點(diǎn)與真實(shí)標(biāo)記點(diǎn)(Ground-truth Correspondence)之間的測地距離與目標(biāo)模型表面積之比[25]。假定點(diǎn)x為源模型X上一點(diǎn)，目標(biāo)模型Y上存在與點(diǎn)x對應(yīng)的點(diǎn)y，(x，y*)為標(biāo)記的真實(shí)對應(yīng)關(guān)系，則定義測地誤差Ω(x)為

(9)

其中，dy(y，y*)為目標(biāo)模型上的點(diǎn)y與標(biāo)記的點(diǎn)y*之間的測地距離，area(Y)為目標(biāo)模型的表面積。測地誤差越小，表明對應(yīng)關(guān)系準(zhǔn)確率越高。

圖3是文中算法與3D-CODED算法[6]、SURFMNet算法[5]和DFMNet算法[18]在FAUST數(shù)據(jù)集上構(gòu)建的對應(yīng)關(guān)系結(jié)果對比。從圖3(a)的3D-CODED算法實(shí)驗(yàn)結(jié)果可以看出，在人體模型的胳膊和腿部出現(xiàn)了錯(cuò)誤對應(yīng)，這是由于該算法強(qiáng)烈依賴中間模板的質(zhì)量所造成的結(jié)果。從圖3(b)的SURFMNet算法實(shí)驗(yàn)結(jié)果可以看出，在模型的手部和小腿部分出現(xiàn)錯(cuò)誤匹配，主要是因?yàn)镾HOT描述符對三角網(wǎng)格結(jié)構(gòu)敏感，當(dāng)存在噪聲干擾或者映射模糊情況時(shí)，模型拓?fù)浣Y(jié)構(gòu)信息發(fā)生較大變化。從圖3(c)的DFMNet算法實(shí)驗(yàn)結(jié)果可以看出，模型的腹部以及左腿部分出現(xiàn)錯(cuò)誤匹配情況，這是因?yàn)樵撍惴ㄒ蕾噹?biāo)簽的數(shù)據(jù)訓(xùn)練描述符并未對函數(shù)映射添加正則化約束項(xiàng)，從而導(dǎo)致的結(jié)果。由于直接學(xué)習(xí)模型的原始特征，并使用新的正則化約束優(yōu)化函數(shù)映射的計(jì)算，所以文中算法在有限的訓(xùn)練集情況下構(gòu)建的全局映射關(guān)系一致性較好，對應(yīng)關(guān)系結(jié)果明顯優(yōu)于對比算法，如圖3(d)所示。3D-CODED算法利用SURREAL數(shù)據(jù)集中230 000個(gè)人體模型用于訓(xùn)練，而文中算法選取同樣數(shù)據(jù)集中的5 000個(gè)模型用于訓(xùn)練，由于添加了新的正則化約束，文中在相對較少的訓(xùn)練數(shù)據(jù)情況下獲得了更準(zhǔn)確的對應(yīng)關(guān)系。綜上所述，文中算法在有限的訓(xùn)練數(shù)據(jù)情況下仍能獲得準(zhǔn)確的對應(yīng)關(guān)系，網(wǎng)絡(luò)的魯棒性更強(qiáng)，在不同數(shù)據(jù)集上泛化能力更好。

(a) 3D-CODED算法

(b) SURFMNet算法

(c) DFMNet算法

(d) 文中算法

文中算法與3D-CODED算法[6]、SURFMNet算法[5]和DFMNet算法[18]分別對TOSCA模型庫中的貓模型和狗模型所構(gòu)建的對應(yīng)關(guān)系對比結(jié)果如圖4和圖5所示。圖4(a)和圖5(a)是3D-CODED算法的結(jié)果，由于受模型自身對稱性的影響，圖4(a)貓模型的腿部、背部等部件以及圖5(a)狗模型的后腿、頭部等部件都出現(xiàn)錯(cuò)誤映射分布的情況。圖4(b)和圖5(b)是SURFMNet算法的結(jié)果，可以看出，圖4(b)貓模型的右后腿、頸部和圖5(b)狗模型的左后腿的爪部以及尾巴部件出現(xiàn)部分對應(yīng)錯(cuò)誤。圖4(c)和圖5(c)是DFMNet算法的結(jié)果，由于對計(jì)算出的函數(shù)映射未添加正則化約束項(xiàng)，從而導(dǎo)致圖4(c)貓模型的左前腿部分以及圖5(c)狗模型的左后腿部分、腹部等部件出現(xiàn)對應(yīng)錯(cuò)誤情況。而文中算法通過新的一種正則化約束方法，并利用正則化函數(shù)映射層有效區(qū)分模型對稱特性，解決了模型對稱性影響對應(yīng)關(guān)系計(jì)算問題，如圖4(d)貓模型和圖5(d)狗模型的映射分布情況，對應(yīng)關(guān)系準(zhǔn)確率較高。

(a) 3D-CODED算法

(b) SURFMNet算法

(c) DFMNet算法

(d) 文中算法

(a) 3D-CODED算法

(b) SURFMNet算法

(c) DFMNet算法

(d) 文中算法

圖6是不同算法構(gòu)建的狼模型對應(yīng)關(guān)系可視化結(jié)果?？梢钥闯?，圖6(a)、圖6(b)和圖6(c)的狼模型出現(xiàn)部分錯(cuò)誤對應(yīng)的情況，而文中算法獲得的狼模型的映射分布均勻一致，視覺度量效果更好。

(a) 3D-CODED算法

(b) SURFMNet算法

(c) DFMNet算法

(d) 文中算法

表1是利用3D-CODED算法[6]、SURFMNet算法[5]、DFMNet算法[18]以及文中算法在不同數(shù)據(jù)集上計(jì)算三維模型對應(yīng)關(guān)系測地誤差的定量結(jié)果比較。實(shí)驗(yàn)結(jié)果表明，相比于文獻(xiàn)[6]方法中依賴人工設(shè)計(jì)的模板，通過從模板的重構(gòu)比對中讀取對應(yīng)信息來獲得最終映射關(guān)系，文中算法采用無監(jiān)督孿生深度函數(shù)映射方法計(jì)算三維模型對應(yīng)關(guān)系，即使在有限的訓(xùn)練集情況下，構(gòu)建的人體模型對應(yīng)關(guān)系測地誤差相對減小了 0.018，構(gòu)建的貓模型、狗模型、狼模型的對應(yīng)關(guān)系測地誤差分別減小了0.031、0.287和0.054。由于文獻(xiàn)[5]中采用的SHOT描述符對三角網(wǎng)格結(jié)構(gòu)變化比較敏感，在不同數(shù)據(jù)集上泛化能力不強(qiáng)，文中算法相比該算法所構(gòu)建的人體模型對應(yīng)關(guān)系測地誤差減小了0.01，構(gòu)建的貓模型、狗模型、狼模型的對應(yīng)關(guān)系測地誤差分別減小了0.280、0.187和0.239。相比文獻(xiàn)[18]算法，文中算法由于利用正則化函數(shù)映射層對函數(shù)映射進(jìn)行約束，計(jì)算出魯棒性更強(qiáng)的函數(shù)映射對應(yīng)關(guān)系，構(gòu)建的人體模型對應(yīng)關(guān)系測地誤差減小了0.008，構(gòu)建的貓模型、狗模型、狼模型的對應(yīng)關(guān)系測地誤差分別減小了0.017、0.152和0.033。

表1 不同方法的模型間對應(yīng)關(guān)系的測地誤差

表2 不同方法的測地誤差比較

不同方法對人體模型對應(yīng)關(guān)系計(jì)算的測地誤差定量結(jié)果對比如表2所示。與文獻(xiàn)[5]和文獻(xiàn)[6]相比，文中算法構(gòu)建的對應(yīng)關(guān)系測地誤差均有所減小。文獻(xiàn)[18]的有監(jiān)督學(xué)習(xí)方法依賴帶標(biāo)簽的數(shù)據(jù)訓(xùn)練模型描述符，且未對函數(shù)映射添加正則化約束項(xiàng)。文獻(xiàn)[26]采用傳統(tǒng)的函數(shù)映射方法無法解決由于模型自身對稱性影響對應(yīng)關(guān)系計(jì)算問題，計(jì)算過程復(fù)雜且時(shí)間開銷高。文獻(xiàn)[27]在函數(shù)映射的基礎(chǔ)上添加拉普拉斯交換性、雙射性、正交性等幾何約束對特征描述符進(jìn)行約束以獲得較為準(zhǔn)確的結(jié)果，和文中算法接近。而文中算法采用無監(jiān)督孿生深度函數(shù)映射方法，通過添加正則化函數(shù)映射層優(yōu)化函數(shù)映射矩陣獲得更為準(zhǔn)確的匹配結(jié)果。與文獻(xiàn)[18]、文獻(xiàn)[26]和文獻(xiàn)[27]相比，文中算法構(gòu)建的對應(yīng)關(guān)系測地誤差分別減小了0.008、0.024和0.001。

為了表明算法的有效性，文中對比了不同算法的時(shí)間復(fù)雜度，結(jié)果如表3所示。預(yù)處理是算法實(shí)現(xiàn)之前對數(shù)據(jù)集進(jìn)行的操作，可以看出文中算法的預(yù)處理時(shí)間為60 s，與文獻(xiàn)[5]相比相對較長，主要是由于在將數(shù)據(jù)集輸入網(wǎng)絡(luò)之前對模型進(jìn)行重新網(wǎng)格化，以便獲得涵蓋信息更全面的特征描述符。文獻(xiàn)[18]涉及函數(shù)映射矩陣與模糊映射矩陣的轉(zhuǎn)換，僅在譜域中進(jìn)行操作，而文中算法從空間域到譜域的轉(zhuǎn)換操作比較耗時(shí)，所以訓(xùn)練測試時(shí)間較長。文獻(xiàn)[5]在訓(xùn)練過程中，對測地距離矩陣不斷調(diào)優(yōu)導(dǎo)致訓(xùn)練時(shí)間較長。文獻(xiàn)[6]將源模型通過模板重構(gòu)出對應(yīng)的目標(biāo)模型比較費(fèi)時(shí)，所以文中算法與文獻(xiàn)[5]和文獻(xiàn)[6]相比，時(shí)間在一定程度上有所減少。后處理(Post-processing)是將函數(shù)映射矩陣轉(zhuǎn)換成點(diǎn)到點(diǎn)映射的過程。文獻(xiàn)[5]、文獻(xiàn)[6]和文獻(xiàn)[18]采用傳統(tǒng)的迭代最近點(diǎn)算法 (Iterative Closest Points，ICP)解決模型的匹配問題，文獻(xiàn)[26]和文獻(xiàn)[27]在ICP算法的基礎(chǔ)上添加連續(xù)性和方向性來約束映射。雖然以上方法耗時(shí)短，但并不能獲得精確的對應(yīng)關(guān)系，而文中算法利用ZoomOut算法將函數(shù)映射矩陣C恢復(fù)到點(diǎn)到點(diǎn)映射對應(yīng)關(guān)系，通過在譜域中迭代上采樣來優(yōu)化映射來獲得高質(zhì)量的對應(yīng)關(guān)系。

表3 不同方法的運(yùn)行時(shí)間比較

圖7 不同方法的測地誤差曲線

為進(jìn)一步評價(jià)文中算法與SURFMNet[5]、3D-CODED[6]、DFMNet[18]、DirectOp[26]、SRFM[27]等算法的對應(yīng)關(guān)系計(jì)算結(jié)果，不同方法的測地誤差曲線圖如圖7所示。圖中橫坐標(biāo)為測地誤差，縱坐標(biāo)為對應(yīng)關(guān)系正確率的百分比。由此可知，文中算法有15.1%的對應(yīng)關(guān)系沒有測地誤差，有92.25%的對應(yīng)關(guān)系的測地誤差小于0.05，且對應(yīng)關(guān)系的準(zhǔn)確率均優(yōu)于其他對比方法。當(dāng)測地誤差大于0.1時(shí)，僅有SRFM算法的對應(yīng)關(guān)系率接近100%，主要因?yàn)閷瘮?shù)映射添加拉普拉斯交換性等幾何約束進(jìn)行優(yōu)化，獲得較為準(zhǔn)確的對應(yīng)關(guān)系。此外，DFMNet算法的結(jié)果始終優(yōu)于DirectOp算法，原因在于DFMNet算法利用深度學(xué)習(xí)技術(shù)訓(xùn)練描述符，使得對應(yīng)關(guān)系準(zhǔn)確率逐漸提高。相比SURFMNet算法利用無監(jiān)督學(xué)習(xí)方法計(jì)算對應(yīng)關(guān)系，3D-CODED算法采用模板對源模型和目標(biāo)模型進(jìn)行重構(gòu)，通過讀取對應(yīng)信息來獲得更為準(zhǔn)確的對應(yīng)關(guān)系。

5 結(jié)束語

利用算法直接學(xué)習(xí)原始三維模型的特征，結(jié)合深度函數(shù)映射理論，筆者提出一種新的學(xué)習(xí)模型對應(yīng)關(guān)系的方法，通過構(gòu)建無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)(USDFMN)來計(jì)算三維模型間對應(yīng)關(guān)系。首先通過孿生網(wǎng)絡(luò)學(xué)習(xí)共享的參數(shù)從原始的三維模型中學(xué)習(xí)特征進(jìn)而獲得相應(yīng)的譜描述符；然后利用正則化函數(shù)映射層從源模型和目標(biāo)模型的譜描述符中計(jì)算出最優(yōu)函數(shù)映射矩陣；最后通過計(jì)算倒角距離構(gòu)建無監(jiān)督損失函數(shù)，以此度量模型相似性，對計(jì)算出的對應(yīng)關(guān)系進(jìn)行評估。文中算法選取SURREAL數(shù)據(jù)集進(jìn)行訓(xùn)練，在數(shù)據(jù)有限的情況下仍能獲得準(zhǔn)確的對應(yīng)關(guān)系；同時(shí)在TOSCA數(shù)據(jù)集上也取得相對較好的匹配結(jié)果，表明文中算法提高了在不同數(shù)據(jù)集上的泛化能力。然而，文中算法也存在需要改進(jìn)的地方，由于提取模型局部特征對模型對應(yīng)關(guān)系計(jì)算準(zhǔn)確率具有重要影響，故可利用更高效的特征提取網(wǎng)絡(luò)框架來提取特征進(jìn)而提高模型匹配準(zhǔn)確率。