宋欣悅 任爽 向靜文

摘要：本文為提高三維模型檢索性能，解決因訓(xùn)練數(shù)據(jù)不足導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)模型過(guò)擬合的問(wèn)題，提出一種基于遷移學(xué)習(xí)和多特征融合的三維模型檢索算法。基于多視圖的方法，借助發(fā)展較為成熟的圖像特征提取技術(shù)，將遷移學(xué)習(xí)引入卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練中，對(duì)不同領(lǐng)域且存在不同分布情況的數(shù)據(jù)進(jìn)行映射。通過(guò)改進(jìn)的領(lǐng)域適配方法（DDC）減小域間差異?；诙鄠€(gè)源模型、多個(gè)目標(biāo)模型學(xué)習(xí)，比單一模型具有更強(qiáng)泛化能力與魯棒性。對(duì)通用特征進(jìn)行PCA降維與特殊特征進(jìn)行融合，獲得更強(qiáng)的特征表示能力。提出一種基于遷移學(xué)習(xí)的三維模型特征提取技術(shù)路線，以驗(yàn)證集的平均查全率和平均查準(zhǔn)率作為評(píng)估指標(biāo)，以查準(zhǔn)一查全曲線作為評(píng)判曲線。旨在提高三維模型檢索的效率和準(zhǔn)確率，以適應(yīng)目前小數(shù)據(jù)集挖掘研究浪潮。

關(guān)鍵詞：三維模型;特征提取;多視圖;遷移學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò)

隨著5G的迅速發(fā)展，其低時(shí)延、高帶寬的特性真正打開(kāi)了全連接世界的大門(mén)。為智能終端發(fā)展與虛擬現(xiàn)實(shí)體驗(yàn)帶來(lái)更多可能。依托于計(jì)算機(jī)建模技術(shù)的發(fā)展以及各種三維建模軟件的廣泛應(yīng)用，三維模型數(shù)量呈爆炸性增長(zhǎng)，而三維模型的逼真度、豐富度等對(duì)用戶體驗(yàn)起到了至關(guān)重要的作用。為了高效的管理與復(fù)用，以期借助計(jì)算機(jī)對(duì)三維模型進(jìn)行快速、高精度的自動(dòng)化檢索，減少創(chuàng)造產(chǎn)品的時(shí)間和金錢(qián)代價(jià)，模型的特征提取成為其檢索效果好壞的關(guān)鍵環(huán)節(jié)之一。因此，三維模型特征提取技術(shù)成為研究熱點(diǎn)。三維模型特征提取有三大類(lèi)方法：基于體素的方法、基于點(diǎn)云的方法與基于多視圖的方法?；隗w素的方法占用大量的計(jì)算力和存儲(chǔ)空間，對(duì)硬件計(jì)算能力要求較高;基于點(diǎn)云的方法由于點(diǎn)云無(wú)序，輸入處理模型時(shí)點(diǎn)的排序一定會(huì)存在一個(gè)序列，讓網(wǎng)絡(luò)不受序列的影響挖掘點(diǎn)云的內(nèi)部特性是難點(diǎn)所在;基于多視圖的方法對(duì)噪聲的抗干擾能力強(qiáng)，并且能夠借助發(fā)展較為成熟的圖像特征提取技術(shù)提高三維模型特征提取的能力，因此，近年來(lái)很多學(xué)者將圖像特征提取利用的深度學(xué)習(xí)方法引入到三維模型。典型工作有：基于全景視圖的DeepPano算法[1]、基于幾何圖像的Geometry Image[2]算法，以及多視角下的卷積神經(jīng)網(wǎng)絡(luò)Multi-view Convolutional Neural Networks，MVCNN[3-5]、基于成對(duì)圖像的Pairwise算法[6]等。但是利用深度學(xué)習(xí)的方法在小樣本數(shù)據(jù)集上的泛化性能有待提高，卷積神經(jīng)網(wǎng)絡(luò)被廣泛用于模型識(shí)別與檢索領(lǐng)域，效果的好壞很大一部分原因來(lái)自數(shù)據(jù)規(guī)模是否能夠支撐計(jì)算，為了減小數(shù)據(jù)規(guī)模的影響力，基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型迅速發(fā)展并在多個(gè)領(lǐng)域得到了應(yīng)用。已有學(xué)者基于遷移學(xué)習(xí)思想，將己訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)，用于圖像的分類(lèi)、檢測(cè)和分割。本文提出一種基于遷移學(xué)習(xí)的三維模型特征提取方法，提高卷積神經(jīng)網(wǎng)絡(luò)在小規(guī)模三維數(shù)據(jù)集上的遷移學(xué)習(xí)能力。通過(guò)基于多視圖的方法，將三維模型用一組多視圖表示，將遷移學(xué)習(xí)的思想引入卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練中，對(duì)不同領(lǐng)域且存在不同分布情況的數(shù)據(jù)進(jìn)行映射，很好的解決樣本數(shù)據(jù)量不足的問(wèn)題，取得更好的效果。通過(guò)改進(jìn)的領(lǐng)域適配方法（DDC）減小域間差異?；诙鄠€(gè)源模型、多個(gè)目標(biāo)模型學(xué)習(xí)，比單一模型具有更強(qiáng)泛化能力與魯棒性。對(duì)通用特征進(jìn)行PCA降維并與特殊特征進(jìn)行多特征融合，獲得更強(qiáng)的特征表示能力。

基于多視圖的三維模型檢索關(guān)鍵步驟通常包括三步：二維視圖的獲取、特征提取和相似性度量，如圖1所示。

1 二維視圖的獲取

三維模型的二維視圖可以通過(guò)虛擬攝像機(jī)拍攝的方式獲得，本文采用光場(chǎng)描述法對(duì)三維模型進(jìn)行處理并提取其特征。

光場(chǎng)描述法LFD（Light-Field Descriptors）[7]采用模型的視覺(jué)相似性匹配三維模型，具體指標(biāo)是使用光場(chǎng)中的圖像差異來(lái)衡量相似度。錄制空間為一個(gè)多面體，具有十二個(gè)面和二十個(gè)頂點(diǎn)。該方法首先對(duì)一個(gè)三維模型進(jìn)行預(yù)處理，如平移、縮放等。緊接著在二十個(gè)頂點(diǎn)處放置攝像頭，得到一組視圖組，包含二十張視圖，這些視圖可以粗略地表示三維模型的形狀特征。然后對(duì)視圖組進(jìn)行特征提取，包括三十五維的Zemike特征和十維的Fourier描述符。

2 特征提取

獲得三維模型的多視圖后需要進(jìn)行二維視圖的特征提取。雖然二維圖像特征提取的研究己久，并且相當(dāng)成熟。但三維模型經(jīng)過(guò)拍照或投影等獲取的視圖較僅僅為二維圖像的特征提取還是有較大難度的。因?yàn)橐粋€(gè)三維模型的多視圖之間有空間相關(guān)性，不能割裂。三維模型特征提取過(guò)程中，深度學(xué)習(xí)本質(zhì)上也是一種概率統(tǒng)計(jì)模型，因此訓(xùn)練深度學(xué)習(xí)模型需要大量的訓(xùn)練樣本，樣本量不足可能導(dǎo)致模型準(zhǔn)確率低下。引入遷移學(xué)習(xí)的理論訓(xùn)練出具有高識(shí)別率卷積神經(jīng)網(wǎng)絡(luò)的方法具有重要意義。

2.1 改進(jìn)領(lǐng)域適配方法

為了最小化領(lǐng)域間的差異，領(lǐng)域適配方法（DDC）被提出，其通過(guò)在源域和目標(biāo)域之間添加自適應(yīng)層來(lái)達(dá)到目的。深度遷移學(xué)習(xí)方法采用了最小化最大均值差異（MMD）來(lái)衡量概率分布差異，它利用核空間中源領(lǐng)域與目標(biāo)領(lǐng)域間的概率分布均值來(lái)量化差異值[8]

DDC只在網(wǎng)絡(luò)框架中適配了一層網(wǎng)絡(luò)。因此需要確定適應(yīng)層的位置，選取方法為逐層計(jì)算源數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間的MMD距離，之后將距離最小的層作為自適應(yīng)層進(jìn)行知識(shí)遷移。這可能無(wú)法達(dá)到很好的知識(shí)遷移效果，因此，可以對(duì)DDC進(jìn)行改進(jìn)，通過(guò)添加更多的適配層進(jìn)行聯(lián)合，增強(qiáng)知識(shí)遷移的效果，提高通用特征提取準(zhǔn)確率。

2.2 多源多目標(biāo)模型

有學(xué)者提出引入遷移學(xué)習(xí)使用圖像數(shù)據(jù)集微調(diào)預(yù)訓(xùn)練模型來(lái)解決小樣本帶來(lái)的過(guò)擬合問(wèn)題[10]，相對(duì)于現(xiàn)有的深度遷移學(xué)習(xí)方法直接使用源模型與目標(biāo)模型抽取特征，采用更多的源模型遷移特征[11]，更多的目標(biāo)模型提取特殊特征，有利于改善最后融合特征的組合比例，且具有更強(qiáng)的特征表示能力。由于模型的自身結(jié)構(gòu)不同導(dǎo)致所抽取的特征不同，導(dǎo)致采用同一種方法使用不同的模型所得到的識(shí)別率有所差別，怎樣充分利用這些源模型的通用特征與目標(biāo)模型的特殊特征將是本文的重點(diǎn)研究?jī)?nèi)容，通過(guò)提出一種基于多源多目標(biāo)模型的遷移特征融合學(xué)習(xí)方法來(lái)解決這個(gè)問(wèn)題。旨在放大各個(gè)算法的優(yōu)點(diǎn)，增強(qiáng)泛化能力與魯棒性。見(jiàn)圖3。

本文研究的多源多目標(biāo)模型的遷移特征融合學(xué)習(xí)方法的總體思想如下：利用不同結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)可以抽取到不同的特性，首先在相關(guān)大數(shù)據(jù)集上預(yù)訓(xùn)練得n個(gè)的源CNN模型，分別將源模型在目標(biāo)數(shù)據(jù)集上進(jìn)行DDC遷移適配學(xué)習(xí)，獲得n個(gè)通用特征;然后在目標(biāo)小數(shù)據(jù)集上訓(xùn)練得m個(gè)適合小數(shù)據(jù)集的目標(biāo)模型，獲得m個(gè)特殊特征;最后將獲得的基礎(chǔ)通用特征經(jīng)過(guò)PCA降維后與直接在特定領(lǐng)域數(shù)據(jù)集上訓(xùn)練模型得到的特殊特征進(jìn)行融合。

本研究選取兩個(gè)源模型，三個(gè)目標(biāo)模型，不同模型通過(guò)排列組合進(jìn)行結(jié)果對(duì)比。（模型A與模型B組合記為A-B）

在本研究中，每種特征提取算法針對(duì)視圖的某一個(gè)或幾個(gè)方面的信息進(jìn)行描述，最終得到一個(gè)特征描述符。將多個(gè)不同的特征組合起來(lái)，形成一個(gè)新的特征，這是一種常見(jiàn)的可以提高檢索性能的方法，但是這種方法有兩個(gè)很明顯的問(wèn)題：一是組合后的特征向量維度很高，計(jì)算起來(lái)速度很慢，導(dǎo)致系統(tǒng)效率降低，并且過(guò)多的通用特征會(huì)導(dǎo)致特殊特征在特征融合后的比例減小，這一點(diǎn)將利用特征降維的方法來(lái)解決;二是不同特征之間存在信息冗余和相互影響的情況，使得組合之后的特征未必能很好地提高系統(tǒng)的檢索精度，這一點(diǎn)將利用特征融合來(lái)解決。

2.3 特征降維

隨著采用的源模型數(shù)目增多，得到的融合通用特征維數(shù)也越來(lái)越大，往往會(huì)使得在目標(biāo)數(shù)據(jù)集上訓(xùn)練而來(lái)的特殊特征在最后的多源融合特征中所占比例太小，對(duì)后面相似度度量所起到的影響微乎其微，可能導(dǎo)致最后得到的檢索模型缺乏普適性，特殊特征沒(méi)有發(fā)揮其應(yīng)有的作用。對(duì)于此問(wèn)題，我們采取的辦法是將抽取到的通用特征進(jìn)行降維處理，使得最后得到融合特征維數(shù)降低，減少檢索模型的訓(xùn)練時(shí)間，并且改善最后的融合特征的組合比例。

常見(jiàn)的降維算法有主成分分析（Principal Component Analysis，PCA），線性判別分析（Linear Discriminant Analysis）、特征選擇（Feature S election）等;其中，PCA降維方法在機(jī)器學(xué)習(xí)中很常用，是一種無(wú)參數(shù)的數(shù)據(jù)降維方法。在進(jìn)行PCA降維之前，需要確保所有數(shù)據(jù)處于同一標(biāo)準(zhǔn)下。利用線性投影，將高維空間的數(shù)據(jù)投影到低維的空間中，并期望在所投影的維度上數(shù)據(jù)的方差最大（投影后的數(shù)據(jù)盡可能的分開(kāi)），以此使用較少的數(shù)據(jù)維度，同時(shí)保留住較多的原始數(shù)據(jù)樣本點(diǎn)的特性。

本文首先將每一張圖片樣本通過(guò)改進(jìn)的DDC適配網(wǎng)絡(luò)學(xué)習(xí)后的源模型轉(zhuǎn)化為通用特征向量數(shù)據(jù)，將其保存，再應(yīng)用PCA算法進(jìn)行降維處理。

2.4 特征融合

對(duì)于一個(gè)模型，將兩個(gè)用不同特征計(jì)算得到的相似度進(jìn)行加權(quán)線性相加，得到一個(gè)新的相似度：

3 相似性度量

在任何多媒體信息檢索中，無(wú)論信息載體是圖片、音頻、視頻還是三維模型，相似性度量都是至關(guān)重要的一環(huán)?；诙嘁晥D的三維模型檢索中的圖片匹配與傳統(tǒng)的圖片檢索算法的相似度度量有所不同。傳統(tǒng)的圖片檢索匹配只是單對(duì)單的匹配問(wèn)題。而多視圖匹配是從三維模型中提取出來(lái)的一組圖片序列與另一組圖片序列之間的匹配，因此屬于多對(duì)多的匹配問(wèn)題。

在數(shù)學(xué)中，豪斯多夫距離量度主要用于度量空間中真子集之間的距離。在豪斯多夫距離定義中，集合中的某點(diǎn)與另一集合中歐氏距離最近的點(diǎn)定義為匹配對(duì)。所有匹配對(duì)中的最大值表示兩個(gè)集合之間的距離。嚴(yán)格數(shù)學(xué)定義如下：

4 檢索性能評(píng)價(jià)指標(biāo)

在信息檢索領(lǐng)域，判斷檢索結(jié)果好壞時(shí)，查全率（Recall ratio）與查準(zhǔn)率（Precision ratio）是兩個(gè)最常用的指標(biāo)。它們表示系統(tǒng)的“過(guò)濾能力”，即讓和檢索對(duì)象相關(guān)的對(duì)象“通過(guò)”，“阻止”無(wú)關(guān)對(duì)象。查準(zhǔn)率和查全率可以精準(zhǔn)的反應(yīng)檢索效果的好壞。在三維模型檢索領(lǐng)域也不例外，常用的檢索性能評(píng)價(jià)指標(biāo)為平均查全率（AverageRecall，AR）和平均查準(zhǔn)率（Average Precision，AP）。其中，檢索結(jié)果為10個(gè)三維模型，與檢索對(duì)象相關(guān)的對(duì)象定義為相似度排序前10名，則，

平均查全率的計(jì)算公式如下：

一般經(jīng)常使用查準(zhǔn)一查全曲線（Precision-Recall Curve）來(lái)評(píng)判三維模型檢索算法的檢索性能。查準(zhǔn)一查全曲線是信息檢索的重要性能評(píng)估指標(biāo)，橫軸表示平均查全率，縱軸表示平均查準(zhǔn)率，曲線圍成的面積越大表示方法越好。

5結(jié)束語(yǔ)

三維模型的特征提取為三維模型檢索技術(shù)中的關(guān)鍵環(huán)節(jié)。針對(duì)特征提取精度的提高，本文旨在提出一種技術(shù)路線一一基于遷移學(xué)習(xí)的三維模型特征提取方法。旨在提高三維模型檢索的效率和準(zhǔn)確率，以適應(yīng)目前小數(shù)據(jù)集挖掘研究浪潮。

從理論的角度本文對(duì)已有的研究進(jìn)行了分析與改進(jìn)，實(shí)驗(yàn)論證方而還有所不足，在之后的日子里將繼續(xù)進(jìn)行下去，通過(guò)實(shí)驗(yàn)對(duì)本文提出的技術(shù)路線進(jìn)行完善。

參考文獻(xiàn)

[1] SHI B， BAI S， ZHOU Z， et al. DeepPano： deep panoramicrepresentation for 3D shape recognition [J]. IEEE SignalProcessing Let ters，

2015， 22 （12）：

2339-2 343.

[2]SINHA A，JING B，RAMANI K. Deep learning 3D shapesurfaces using geometry images [C] //Proceedings of the14th European Conference Computer Vision. Amsterdam，Netherlands：

Springer. 2016：

22 3-240.

[3] SU H，MAJI S，KALOGERAKIS E，et al.

Mul t i-view convolutional neural networks for 3D shaperecognition [C] //Proceedings of the 2015 IEEEInternat ional Conference on Compu ter Vi S ion.Piscataway：

IEEE， 2015：

945-95 3.

[4] WANG C，PELILLO M，SIDDIQI K，et al.

Dominantset clustering and pooling for mul ti-v iew 3Dobject recognition [J/OL]. arXiv preprint arXiv：1906. 01592， 2019.

[5]MA Y X，ZHENG B，GUO Y L，et al. Boosting multi-viewconvolutional neural networks for 3D object recognitionvia view saliency [C] //Proceedings of the 12th ChineseConference on Image and Graphics Technologies.Heidelberg： Springer， 2017： 199-209.

[6] JOHNS E，LEUTENEGGER S，DAVISON A J. Pairwisedecomposition of image sequences for active multi-view recognition [C] //Proceedings of the 2016 IEEEConference on Computer Vision and Pattern Recognition.Washington， DC： IEEE Computer Society， 2016： 3813-3822.

[7] CHEN D， TIAN X， SHEN Y et al. On Visual

SimilarityBased 3D Model Retrieval [C]，/Computer Graphics Forum.Blackwell Publishing，

Inc， 2003： 22 3-2 32.

[8] GRETTON A， BORGWARDT K M， RASCH M J，

et al. Akernel two-sample test [J]. Journal of Machine LearningResearch， 2012， 13 （Mar）：72 3-77 3.

[9] BORGWARDT K M，GRETTON A， RASCH MJ，

et al. Smola.Integrating structured biological data by kernelmaximum mean discrepancy. In Bioinformatics， 2006.

[10]劉穎，張帥，范九倫.基于遷移學(xué)習(xí)及特征融合的輪胎花紋圖像分類(lèi)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2019， 40（0 5）：1401-1406.

[11]徐露露.基于深度卷積特征的遷移學(xué)習(xí)在圖像識(shí)別上的應(yīng)用研究[D].華南理工大學(xué)，2018.

作者簡(jiǎn)介

宋欣悅，碩士學(xué)位。研究方向?yàn)樘摂M現(xiàn)實(shí)、大數(shù)據(jù)分析。

任爽，博士，副教授。研究方向?yàn)樘摂M現(xiàn)實(shí)、區(qū)塊鏈、大數(shù)據(jù)分析。

向靜文，碩士學(xué)位。研究方向?yàn)樘摂M現(xiàn)實(shí)、區(qū)塊鏈。