摘 要：在機械制造智能化進程中不可避免地產(chǎn)生了海量零配件模型信息，給數(shù)據(jù)的高效檢索帶來了巨大的挑戰(zhàn)?？紤]到設(shè)計草圖具備用戶友好且輕量級的特性，方法通過構(gòu)造深度跨域表征模型進行基于設(shè)計草圖的機械零配件模型檢索。針對草圖和三維模型的跨模態(tài)信息關(guān)聯(lián)問題，提出特征聯(lián)合學習方法，旨在控制檢索對象類內(nèi)及類間差異的過程中，使特征描述符習得單一域特征的同時融合跨域信息，建立跨模態(tài)數(shù)據(jù)在共嵌空間下的一致性關(guān)聯(lián)表征。最后，利用哈希編碼構(gòu)建索引表實現(xiàn)海量數(shù)據(jù)的快速檢索。在零部件數(shù)據(jù)上的實驗結(jié)果表明，所提出的基于設(shè)計草圖的零配件檢索方法在同期方法中既能實現(xiàn)最準確的檢索結(jié)果，也具備較高的檢索效率。方法在提升跨模態(tài)零配件信息檢索準確性的同時提高了數(shù)據(jù)管理效率，從而間接提升了產(chǎn)品設(shè)計的效率和便捷性，相關(guān)系統(tǒng)已經(jīng)在部分企業(yè)落地應(yīng)用且獲得良好反饋。

關(guān)鍵詞：三維模型檢索；設(shè)計草圖；特征提??；相似性度量；跨模態(tài)檢索

中圖分類號：TP391 文獻標志碼：A

文章編號：1001－3695（2023）03－046－0919－06

doi：10.19734/j.issn.1001-3695.2022.06.0318

Retrieval algorithm for parts and accessories based on design sketch

Bao Yuru1，Liu Yuhao2，Chen Ruidong1，Chang Rihao1，Nie Weizhi1

（1.School of Electrical Automation amp; Information Engineering，Tianjin University，Tianjin 300072，China；2.Tianjin Navigation Instrument Research Institute，Tianjin 300130，China）

Abstract：In the intelligent transformation of the mechanical manufacturing，a large amount of spare parts models is inevitably generated，which brings huge challenges to the efficient retrieval of data.Considering the user-friendly and lightweight characteristics of design sketches，this paper conducted model retrieval of mechanical parts based on design sketches by constructing a deep cross-domain representation model.Aiming at the problem of cross-modal information association between sketches and 3D models，this paper proposed a feature joint learning method，which controlled the differences within and between classes of retrieved models.By this method，feature descriptors could acquire single-domain features as well as fuse the cross-domain information，and thus，the method established a consistent association representation of cross-modal data in a co-embedding space.Finally，it constructed the index table by using hash coding to realize fast retrieval of massive data.The experimental results on the parts data show that the proposed retrieval method based on the design sketch can not only achieve the most accurate retrieval results，but also have higher retrieval efficiency among the comparison methods.The method not only improves the accuracy of cross-modal spare parts information retrieval，but also improves the efficiency of data management，thereby indirectly improving the efficiency and convenience of product design.The related systems have been applied in some enterprises and have received good feedback.

Key words：3D model retrieval；design sketch；feature extraction；similarity measurement；cross-modal retrieval

0 引言

隨著計算機信息處理技術(shù)的發(fā)展，計算機輔助設(shè)計和數(shù)字化設(shè)計的發(fā)展極大便利了工業(yè)機械零部件的設(shè)計研發(fā)，更快的產(chǎn)品設(shè)計和更便利的研發(fā)方式有效地提高了產(chǎn)品迭代效率，但與此同時，迅速增長的模型數(shù)量給數(shù)據(jù)管理帶來了極大的挑戰(zhàn)。由于缺乏有效的管理策略，設(shè)計人員及管理人員為了找到合適的零件模型往往需要在零件庫中進行大量重復的查詢工作，極大地影響了工作效率。由于設(shè)計工作的持續(xù)進行，這一問題呈現(xiàn)出愈演愈烈的趨勢，所以如何通過有效的技術(shù)手段實現(xiàn)數(shù)據(jù)的快速檢索和有效關(guān)聯(lián)，是如今科研工作者亟待解決的技術(shù)問題。

近年來，隨著智能制造轉(zhuǎn)型的加快，基于草圖的形狀檢索在計算機視覺和計算機圖形學中越來越受到關(guān)注。以前的工作［1，2］更傾向于先將三維形狀渲染成線渲染［3］，再獲取投影和草圖的手工提取特征以測量它們的相似性。Saavedra等人［1］提取投影和草圖的外部輪廓，然后應(yīng)用三種描述符來描述輪廓。隨后，曼哈頓距離被用于相似性匹配。Eitz等人［2］從多個角度使用遮擋輪廓和暗示輪廓渲染三維形狀，他們通過特征袋方法來提取投影和草圖的特征并計算其余弦相似度。由于手工設(shè)計的特征以及淺層學習特征的識別能力有限，傳統(tǒng)的基于草圖的三維形狀檢索方法的性能并不理想。

隨著深度學習方法在計算機視覺領(lǐng)域的大量普及，一些基于深度學習的草圖—三維模型檢索方法得到了廣泛研究，主要分為基于表示的檢索方法和基于匹配的檢索方法［4］。

基于表示的檢索方法傾向于學習一種映射方式，將草圖特征和三維模型特征映射到共同的特征空間。Furuya等人［5］采用跨模態(tài)的流形學習（CDMR）來彌合域之間的差距，從而使模型的三維形狀特征可以與流形上的草圖特征進行比較。Lei等人［6］提出了一種深點到子空間的度量學習（DPSML），首先將草圖投影到特征向量中，再將三維形狀投影到由幾個選定的基礎(chǔ)特征向量張成的子空間中，最后，通過實時求解優(yōu)化問題，將兩個特征空間之間的相似度定義為查詢特征向量與其在子空間中的最近點之間的距離。Yassee等人［7］使用動態(tài)時間規(guī)整算法，利用圖像輪廓的視覺突出部分來描述二維形狀。然而，由于草圖和三維形狀的異質(zhì)性，很難學習一種既不受多模態(tài)數(shù)據(jù)影響又能夠具備較強區(qū)分能力的表征。

基于匹配的檢索方法通過建立草圖—模型對，并不斷優(yōu)化匹配對之間的距離度量實現(xiàn)檢索［8］。Wang等人［9］提出了包含兩個卷積神經(jīng)網(wǎng)絡(luò)的Siamese網(wǎng)絡(luò)來提取草圖和投影的特征，同時，該方法結(jié)合了域內(nèi)和域間的損失函數(shù)以約束網(wǎng)絡(luò)訓練。 Zhu等人［10］提出了一種跨域神經(jīng)網(wǎng)絡(luò)（CDNN）和金字塔跨域神經(jīng)網(wǎng)絡(luò)（PCDNN）方法，可以減小草圖特征和三維形狀特征之間的差異。Xie等人［11］提出從三維形狀學習二維投影深度特征的Wasserstein平均，然后通過構(gòu)建度量網(wǎng)絡(luò)學習具有判別性和緊湊性的三維形狀和草圖特征。在Shape2Vec［12］中，三維形狀特征、草圖特征和相機圖像特征都被映射到共嵌空間中以進行跨域比較。Dai等人［13］提出了深度相關(guān)度量學習（DCML）和深度相關(guān)整體度量學習（DCHML），通過訓練兩個不同的深度神經(jīng)網(wǎng)絡(luò)，利用判別性損失來最小化類內(nèi)距離并最大化類間距離，同時設(shè)計了相關(guān)損失以最小化不同域之間的分布差異。Ha等人［14］在Sketch-RNN中將一張草圖看做是筆畫序列，每個筆畫又看做一個點序列，進行草圖識別。Xu等人在SketchMate［15］中既將草圖視為一系列點，同時又保有它本身圖像層面的特征，以增強習得的特征。Xie等人［16］提出基于Wasserstein距離學習三維形狀的平均表示， 并應(yīng)用另一個網(wǎng)絡(luò)來提取草圖的特征，最后使用歐幾里德距離計算相似度。Chen等人［17］提出了一種深度交叉模態(tài)自適應(yīng)（DCA）算法。 首先，他們在兩個深度卷積神經(jīng)網(wǎng)絡(luò)之后設(shè)計了兩個度量網(wǎng)絡(luò)，這兩個網(wǎng)絡(luò)利用基于重要性感知的度量學習來獲取特定模態(tài)的判別特征，然后，他們引入基于對抗性學習的跨模態(tài)轉(zhuǎn)換網(wǎng)絡(luò)，從而彌補兩種模態(tài)信息之間的差異。文獻［18］對基于內(nèi)容和語義的檢索任務(wù)［19］及三維模型體素表達的特征提?。?0］兩方面進行了研究，通過集成二維形狀和全局特征實現(xiàn)檢索。在算法效率方面，文獻［21］提出深度草圖—模型哈希算法，該算法提出基于隨機視角的三維模型切片網(wǎng)絡(luò)，以習得高辨識度的三維模型表征，同時，算法提出困難樣本二進制編碼方法以保持編碼結(jié)果的語義緊湊性，從而在檢索準確性和檢索效率上得到權(quán)衡。

在海量模型數(shù)據(jù)檢索的應(yīng)用方面，部分國外公司已經(jīng)開發(fā)了相關(guān)的產(chǎn)品。德國的Cadenas公司開發(fā)的標準庫零件檢索系統(tǒng)整合了超過300家公司的模型庫，并對海量模型構(gòu)建了目錄，方便用戶對模型信息進行整合和采購。法國的TraceParts公司開發(fā)了針對制造業(yè)的零配件產(chǎn)品目錄，實現(xiàn)了類似的功能。上述檢索系統(tǒng)都有了一定的市場基礎(chǔ)，但都僅僅能夠檢索標準件模型，無法做到對開放域條件下的非標件檢索。另一方面，兩者都支持草圖的檢索，但不支持常規(guī)圖片的檢索，其應(yīng)用場景有一定的局限性。

本文關(guān)注于利用設(shè)計草圖進行零配件模型檢索，旨在利用跨媒體檢索技術(shù)實現(xiàn)產(chǎn)品設(shè)計階段的高效信息獲取。但是，三維模型的結(jié)構(gòu)信息與草圖的像素信息存在天然的模態(tài)語義鴻溝，而且產(chǎn)品設(shè)計人員的查詢意圖也千差萬別，這都給實現(xiàn)準確的檢索帶來了極大的困難和挑戰(zhàn)。因此，如何獲取草圖與目標模型的共性信息及其數(shù)字化表征，如何構(gòu)建高效索引以實現(xiàn)基于草圖數(shù)據(jù)的零配件模型精準快速檢索，成為本文著重解決的關(guān)鍵問題。

近年來，在深度度量學習的加持下，基于匹配的檢索方法往往能夠取得比基于表示的檢索方法更準確的檢索效果，但是，現(xiàn)有大部分方法都停留于算法研究，且更關(guān)注通用三維模型的檢索，忽略了工業(yè)零配件特有的規(guī)范性和嚴謹性為三維模型檢索帶來的隱形紅利，同時，在眾多現(xiàn)有研究方法中也缺乏成熟的商用產(chǎn)品。尤其是缺乏國產(chǎn)軟件和系統(tǒng)，繼續(xù)對技術(shù)進行落地和相關(guān)平臺的開發(fā)，彌補了市場的不足。

1 算法介紹

針對工業(yè)零配件的結(jié)構(gòu)特性，本文從結(jié)構(gòu)性描述和數(shù)字化描述兩個方面入手，進行多模態(tài)信息提取和相似度計算，系統(tǒng)結(jié)構(gòu)如圖1所示。首先，網(wǎng)絡(luò)利用圖形學方法捕捉草圖和零配件模型的結(jié)構(gòu)性信息，以進行粗略篩選。其次，通過度量學習獲取草圖和模型的跨域共性表征，以實現(xiàn)精細化檢索。本文將方法命名為基于設(shè)計草圖的零配件檢索算法（parts retrieval based-on design sketch，PRDS）。

1.1 結(jié)構(gòu)性描述信息提取

由于輸入草圖和部分三維模型具備視覺感知的對應(yīng)關(guān)系，在利用深度度量學習進行特征匹配前，可以使用傳統(tǒng)計算機視覺方法對數(shù)據(jù)施加約束性匹配條件，達到數(shù)據(jù)粗略篩選的效果，以提高檢索效率。開孔是機械零件最常見和最常用的特征，在多種機械結(jié)構(gòu)中起著不同的作用和用途，本方法在構(gòu)建草圖數(shù)據(jù)時，預先對三維模型的圓形開孔進行了標注，作為篩選標簽，具體實現(xiàn)方式如下：

首先，本方法將輸入圖像進行二值化處理，由于不可見的開孔在設(shè)計草圖中用虛線標示，本算法采用形態(tài)學中的閉操作（先腐蝕，再膨脹）對二值化圖像中的虛線進行彌合，此時，圖像上各個區(qū)域已經(jīng)成為封閉的連通域，本方法提取當前各個連通域的輪廓以進一步檢測開孔，由于草圖中多層嵌套的輪廓中僅有內(nèi)輪廓參與構(gòu)成開孔，所以本方法僅提取內(nèi)輪廓并計算其周長P及面積S。根據(jù)圓形度計算公式：

α=（4π×S）/P2（1）

通過圓形度α對圖像中的開孔進行鑒別，最后統(tǒng)計各個角度草圖中的總開孔數(shù)并進行獨熱編碼作為結(jié)構(gòu)描述信息cI。為了保證數(shù)據(jù)的豐富性，利用cI對數(shù)據(jù)集中具備相近開孔數(shù)量（編碼記做cM）的三維模型進行篩選，并通過式（2）利用歐氏距離進行實例級的相似度計算，獲取草圖與模型的粗略相似度g0。

為了驗證系統(tǒng)的性能，本文在系統(tǒng)搭建過程中利用網(wǎng)絡(luò)爬蟲技術(shù)獲取了30萬余個零部件三維模型數(shù)據(jù)，同時，通過幾何調(diào)整和噪聲融合等方式對模型進行微調(diào)，以增加模型的數(shù)據(jù)量，最終得到約300萬個模型數(shù)據(jù)用來構(gòu)建三維模型庫。經(jīng)測試，該系統(tǒng)具備對海量三維模型進行高效檢索的能力，相關(guān)測評結(jié)果在2.8節(jié)中詳細描述。

2 實驗分析

2.1 數(shù)據(jù)集

實驗采用ESB（engineering shape benchmark） 數(shù)據(jù)集［27］驗證本文算法性能。ESB數(shù)據(jù)集包含867個模型，劃分為三個大類（平薄壁組件、直角立方棱柱和旋轉(zhuǎn)體），并細分為圓盤類零件、T形零件和支架式零件等42類零件，另外仍有66個模型被分類在三個雜項類中，由于雜項包含多種無法專項細分的模型，會嚴重誤導模型的訓練，本實驗予以忽略。在此基礎(chǔ)上，本方法利用數(shù)據(jù)增強手段對數(shù)據(jù)集進行擴充，并在增強后的2 403個模型上開展實驗。本方法對輸入數(shù)據(jù)進行如下預處理操作：

本文在VTK（visualization toolkit）［28，29］的基礎(chǔ)上對.STL格式的三維模型進行處理，提取.PCD格式點云模型數(shù)據(jù)開展實驗。

考慮到其他方法大多利用多視圖數(shù)據(jù)代表三維模型作為網(wǎng)絡(luò)輸入，本文根據(jù)各方法采用的不同多視圖渲染方式對ESB數(shù)據(jù)集中的三維模型提取多視圖表征。

由于該數(shù)據(jù)集不提供設(shè)計草圖，本文在實驗所需的模型文件基礎(chǔ)上根據(jù)工程制圖原則繪制了對應(yīng)的三視圖作為實驗輸入，提供設(shè)計草圖信息。

2.2 實施細節(jié)

本文所有實驗均在配備Intel i7 CPU、32 GB內(nèi)存和一張NVIDIA 1080Ti GPU的服務(wù)器上進行，軟件環(huán)境為Python 3.6.13以及PyTorch 1.9.0。

實驗將數(shù)據(jù)集劃分為訓練集1 683條，測試集720條，批數(shù)據(jù)大小設(shè)置為24。在訓練過程中，視圖數(shù)據(jù)分辨率調(diào)整為224×224×3，并使用ResNet-34［22］作為視圖描述符提取主干網(wǎng)絡(luò)；點云大小設(shè)置為2 048，使用PointNet［23］作為三維點云描述符提取主干網(wǎng)絡(luò)，提取后的特征維度均設(shè)置為1 024。

訓練過程將輸入數(shù)據(jù)劃分為錨定正負組來進行數(shù)據(jù)組織，并將度量學習和基于softmax的分類器用于控制域特征以及跨域數(shù)據(jù)的分布。此外，在訓練時將學習速率設(shè)置為0.001，并使用SGD進行優(yōu)化。

2.3 評價指標

為全面表現(xiàn)模型檢索性能，本文使用三維模型檢索常用的六種評價指標［30，31］進行評估：

a）最近鄰（nearest neighbor，NN），表示當前檢索結(jié)果中最準確結(jié)果所占的檢索精度。

b）第一批次（first tier，F(xiàn)T），前K個匹配樣本的召回率，其中K是查詢類別基數(shù)。

c）第二批次（second tier，ST），前2K個匹配樣本的召回率，其中K是查詢類別基數(shù)。

d）E度量（E-measure，E），前n個檢索結(jié)果的準確率和召回率的調(diào)和平均值。

e）折扣累計增益（discounted cumulative gain，DCG），一種以相關(guān)性作為正比例系數(shù)為檢索結(jié)果分配權(quán)重的統(tǒng)計方法。

f）平均精度均值（mean average precision，mAP），對于一組查詢，mAP是每個查詢平均精度分數(shù)的平均值。

2.4 對比實驗

為體現(xiàn)模型檢索效果的優(yōu)越性，實驗在ESB數(shù)據(jù)集上與當前多種典型方法進行了對比，包括跨模態(tài)流形評價算法（CDMR）以及深度交叉模態(tài)自適應(yīng)算法（DCA）等，并在上述評價指標上進行了詳細比較，結(jié)果匯總于表1中。

表1中PRDS-16和PRDS-512表示不同哈希編碼長度的實驗結(jié)果，對比可知本文算法在采用16 bit哈希編碼時檢索性能已優(yōu)于近期方法，而采用512 bit哈希編碼能夠?qū)崿F(xiàn)最佳檢索性能。

由表1可知，本文提出的PRDS在各項指標上都能實現(xiàn)較理想的效果。由于跨模態(tài)流形評價算法（CDMR）采用傳統(tǒng)方式對草圖和三維模型的多視圖分別提取描述符，受到草圖—三維模型的域間差異性、草圖域內(nèi)多樣性和三維模型復雜性的多重干擾，使人工提取合適的特征尤為困難；基于分段三維隨機視圖的深度草圖—模型散列算法（DSSH）雖然利用深度度量學習和散列編碼解決了特征提取的效果和效率問題，但對三維模型進行多視圖提取不可避免地造成了三維空間的信息損失，會對共嵌空間匹配的準確性產(chǎn)生消極影響。

本文算法在多個指標上均有提升，例如，對比DCA方法，在NN指標上有5%的提升；對比LWBR方法在FT指標上有12.6%的提升；對比Siamese方法在ST指標上有50.6%的提升。同樣地，在E、DCG以及mAP指標上，本文算法也具備明顯的效果提升。當前最先進的方法或利用度量學習進行數(shù)據(jù)對齊，或利用最佳視角提取來提高跨域相似性學習能力，相比之下，PRDS不僅關(guān)注跨域檢索中不同域間的數(shù)據(jù)一致性，也著重區(qū)別特定域內(nèi)的數(shù)據(jù)分布以增強特征描述符的分辨特性，從而能在草圖—三維模型檢索上表現(xiàn)出一定的優(yōu)越性。

圖5中展示了有關(guān)方法的查準率—查全率曲線（precision-recall curves），由圖可知，PRDS在查全率0.95以下均能夠達到同期最佳查準率。

2.5 相似度重要性分析

相似度是檢索任務(wù)的基本依據(jù)，參照式（7） ，本方法綜合了初篩相似度g0和聯(lián)合學習相似度g1進行相似度衡量，不同相似度權(quán)值對檢索效果有顯著的影響，通過對比實驗證明了這一觀點。不同權(quán)值下檢索的mAP指標如圖6所示。

從圖6中可以看出，在權(quán)值系數(shù)為β=0.7時檢索效果最好，而通過初篩相似度g0實現(xiàn)檢索任務(wù)的mAP指標僅達到利用聯(lián)合學習相似度g1進行檢索的54.5%?？梢姡疚乃惴ǖ南嗨贫群饬恐?，聯(lián)合學習相似度重要性更高，在檢索效果中起主要作用。但是，初步篩選出的模型范圍能夠為聯(lián)合學習創(chuàng)造一個較為獨立且純凈的數(shù)據(jù)環(huán)境，從而使聯(lián)合學習能夠達到更好的區(qū)分度，提高檢索任務(wù)的整體準確率，最終實現(xiàn)完整的算法效果預期。

2.6 特征分布分析

在特征學習過程中，本方法在域內(nèi)采用分類損失函數(shù)LCL和度量學習損失函數(shù)LML進行特征的監(jiān)督學習，并對域間學習應(yīng)用跨域損失函數(shù)LCA進行監(jiān)督，為驗證本訓練策略能夠增強特征的域間表征能力和類間區(qū)分能力，采用t-SNE特征降維方式［33，34］可視化了不損失函數(shù)監(jiān)督下的特征分布，如圖7所示。

如圖7（a），跨域原始數(shù)據(jù)間具備較顯著的差別，且不同類別數(shù)據(jù)的區(qū)分度很低；如圖7（b），在LCL監(jiān)督下進行特征學習后，特征間出現(xiàn)了略明顯的類間分化，但是邊界仍然模糊，表明當前特征對不同類別的區(qū)分能力不足；如圖7（c），同時使用LCL和LML監(jiān)督訓練，不同類別的數(shù)據(jù)出現(xiàn)了明顯邊界，類內(nèi)數(shù)據(jù)間的距離也隨之縮小，提高了特征對不同類別的區(qū)分能力，但是不同域的特征間沒有充分的關(guān)聯(lián)；如圖7（d），在聯(lián)合學習損失LCL、LML和LCA的監(jiān)督下，特征既保留了類別間的區(qū)分度，也建立了不同域間的充分關(guān)聯(lián)，保證了網(wǎng)絡(luò)的檢索效果。相關(guān)的消融實驗結(jié)果如表2所示，實驗結(jié)果進一步驗證了以上結(jié)論，證明了提出各個損失函數(shù)的必要性。

2.7 定性實驗結(jié)果

本文將基于設(shè)計草圖的檢索方法在ESB數(shù)據(jù)集上進行了實驗，并將部分檢索結(jié)果展示在表3中?？梢?，本算法能在簡單機械部件（如T型零件和管狀零件等）上實現(xiàn)準確的檢索效果，同時，得益于結(jié)構(gòu)性特征抽取模塊的篩選能力，本文算法還能檢索到結(jié)構(gòu)復雜且易混淆的模型（如齒輪類零件和輻條輪類零件）。因此，本文算法具備準確捕捉目標視覺特征和拓撲結(jié)構(gòu)的能力，具備優(yōu)良的檢索能力。

2.8 海量模型管理系統(tǒng)性能測試

為了驗證海量數(shù)據(jù)環(huán)境下的算法及系統(tǒng)檢索性能，本文方法在包含300萬個模型的數(shù)據(jù)庫上進行系統(tǒng)性能測試。測試采用標準的系統(tǒng)測試方案，對檢索功能的響應(yīng)速度、系統(tǒng)支持的并發(fā)量和吞吐量等指標進行了測試，結(jié)果如表4所示。

為保證在不同訪問量下測試結(jié)果的有效性及可靠性，本文統(tǒng)計了多個時間段下多次系統(tǒng)性能評估的平均值作為測試結(jié)果。

經(jīng)驗證，系統(tǒng)基本滿足小規(guī)模公司、百萬量級數(shù)據(jù)下的檢索和管理工作，系統(tǒng)已經(jīng)過專業(yè)第三方的測試，證明了本文算法的實用性、可靠性并已經(jīng)實現(xiàn)落地應(yīng)用。

3 結(jié)束語

二維圖像和三維模型之間的模態(tài)語義鴻溝使得利用兩者各自的共性信息進行檢索成為一項極具難度和挑戰(zhàn)的任務(wù)。本文提出一種基于設(shè)計草圖實現(xiàn)機械零部件三維模型檢索的算法。首先，算法利用計算機視覺方法對輸入二維圖像的結(jié)構(gòu)特征進行提煉并作為三維模型數(shù)據(jù)庫的一種粗糙篩選條件，得到粗匹配三維模型樣本集。其次，本文提出一種聯(lián)合學習算法，一方面利用二維圖像與三維模型的類間差異進行相同域信息的區(qū)別和提取，以提高模型的分辨力；另一方面將不同域的特征信息映射到共嵌特征空間，算法利用深度度量學習方法將跨域數(shù)據(jù)在共嵌空間中對齊。為了衡量本算法的檢索性能，本文在工程模型數(shù)據(jù)集（ESB）上進行了大量實驗，并用多種三維模型檢索指標對實驗效果進行量化評估和比較，實驗結(jié)果展示了本算法在眾多基于草圖的三維模型檢索方法中的優(yōu)越性。在未來的工作中，還應(yīng)針對不同類型的零配件探究更加精確而高效的初步篩選條件，也應(yīng)針對不同類型的零配件設(shè)計草圖進行廣泛的實驗以提高模型在更多工程應(yīng)用場景下的適應(yīng)性。

參考文獻：

［1］Saavedra J M，Bustos B，Schreck T，et al.Sketch-based 3D model retrieval using keyshapes for global and local representation［C］//Proc of the 5th Eurographics Workshop on 3D Object Retrieval.Pisca-taway，NJ：IEEE Press，2012：47－50.

［2］Eitz M，Richter R，Boubekeur T，et al. Sketch-based shape retrieval［J］.ACM Trans on Graphics，2012，31（4）：1-10.

［3］Xu Yongzhe，Hu Jiangchuan，Wattanachote K，et al. Sketch-based shape retrieval via best view selection and a cross-domain similarity measure［J］.IEEE Trans on Multimedia，2020，22（11）：2950－2962.

［4］Zakaria M M，Tabia H，Ait E O.Dual independent classification for sketch-based 3D shape retrieval［C］//Proc of International Confe-rence on Image Processing.Washington DC：IEEE Computer Society，2020：2676－2680.

［5］Furuya T，Ohbuchi R.Ranking on cross-domain manifold for sketch-based 3D model retrieval［C］//Proc of International Conference on Cyberworlds.Washington DC：IEEE Computer Society，2013：274－281.

［6］Lei Yinjie，Zhou Ziqin，Zhang Pingping，et al. Deep point-to-subspace metric learning for sketch-based 3D shape retrieval［J］.Pattern Recognition，2019，96：106981.

［7］Yassee Z，Verroust-Blondet A，Nasri A.View selection for sketch-based 3D model retrieval using visual part shape description［J］.The Visual Computer，2017，33（5）：565－583.

［8］Kuwabara S，Ohbuchi R，F(xiàn)uruya T.Query by partially-drawn sketches for 3D shape retrieval［C］//Proc of International Conference on Cyberworlds.Piscataway，NJ：IEEE Press，2019：69-76.

［9］Wang Fang，Kang Le，Li Yi.Sketch-based 3D shape retrieval using convolutional neural networks［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2015：1875-1883.

［10］Zhu Fan，Xie Jin，F(xiàn)ang Yi.Learning cross-domain neural networks for sketch-based 3D shape retrieval［C］//Proc of the 30th AAAI Confe-rence on Artificial Intelligence.Palo Alto，CA：AAAI Press，2016：3683－3689.

［11］Xie Jin，Dao Guoxian，Zhu Fan，et al.DeepShape：deep-learned shape descriptor for 3D shape retrieval［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2017，39（7）：1335-1345.

［12］Ponjou T F，Dodgson N.Shape2Vec：semantic-based descriptors for 3D shapes，sketches and images［J］.ACM Trans on Graphics，2016，35（6）：208.

［13］Dai Guoxian，Xie Jin，F(xiàn)ang Yi.Deep correlated holistic metric learning for sketch-based 3D shape retrieval［C］//Proc of the 6th International Conference on Learning Representations.Piscataway，NJ：IEEE Press，2018：3374－3386.

［14］Ha D，Eck D.A neural representation of sketch drawings［C］ //Proc of the 6th International Conference on Learning Representations.［S.l.］：ICLR，2018.

［15］Xu Peng，Huang Yongye，Yuan Tongtong，et al.SketchMate：deep ha-shing for million-scale human sketch retrieval［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2018：8090－8098.

［16］Xie Jin，Dai Guoxian，Zhu Fan，et al. Learning barycentric representations of 3D shapes for sketch-based 3D shape retrieval［C］//Proc of the 30th IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：3615－3623.

［17］Chen Jiaxin，F(xiàn)ang Yi.Deep cross-modality adaptation via semantics preserving adversarial learning for sketch-based 3D shape retrieval［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：624-640.

［18］邱泳鋒，高雪瑤，劉嘉源，等.基于手繪草圖的三維模型檢索［J］.科學技術(shù)創(chuàng)新，2021（6）：64-65.（Qiu Yongfeng，Gao Xueyao，Liu Jiayuan，et al. Three-dimensional model retrieval based on hand-drawn sketches［J］.Innovation in Science and Technology，2021（6）：64-65.）

［19］裴焱棟，顧克江.基于內(nèi)容和語義的三維模型檢索綜述［J］.計算機應(yīng)用，2020，40（7）：1863-1872.（Pei Yandong，Gu Kejiang.Summary of 3D model retrieval based on content and semantics［J］.Journal of Computer Applications，2020，40（7）：1863-1872.）

［20］陳瑞清.基于體素化的三維形體特征提取與匹配［D］.上海：上海交通大學，2015.（Chen Ruiqing.Three-dimensional shape feature extraction and matching based on voxelization［D］.Shanghai：Shanghai Jiaotong University，2015.）

［21］Chen Jiaxin，Qin Jie，Lyu Li，et al. Deep sketch-shape hashing with segmented 3D stochastic viewing［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2019：791-800.

［22］He Kaiming，Zhuang Xiangyu，Ren Shaoqing，et al.Deep residual learning for image recognition［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：770-778.

［23］Qi C R，Su Hao，Mo Kaichun，et al.PointNet：deep learning on point sets for 3D classification and segmentation［C］//Proc of the 30th IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：77-85.

［24］Gormley C，Tong Z.ElasticSearch：the definitive guide［M］.1st ed.［S.l.］：O’Reilly Media，2015.

［25］Wold S，Esbensen K，Geladi P.Principal component analysis［J］.Chemometrics and Intelligent Laboratory Systems，1987，2（1－3）：37－52.

［26］Jolliffe I T.Principal component analysis［J］.Journal of Marketing Research，2002，87（4）：513.

［27］Jayanti S，Kalyanaraman Y，Iyer N，et al.Developing an engineering shape benchmark for CAD models［J］.CAD Computer Aided Design，2006，38（9）：939－953.

［28］Schroeder W J，Avila L S，Hoffman W.Visualizing with VTK：a tutorial［J］.IEEE Computer Graphics and Applications，2000，20（5）：20－27.

［29］Schroeder W，Martin K，Lorensen B.The visualization toolkit［M］//Visualization Handbook.［S.l.］：Kitware Inc.，2004：593－614.

［30］劉安安，李天寶，王曉雯，等.基于深度學習的三維模型檢索算法綜述［J］.數(shù)據(jù)采集與處理，2021，36（1）：1-21.（Liu An’an，Li Tianbao，Wang Xiaowen，et al.Overview of 3D model retrieval algorithms based on deep learning［J］.Data Acquisition and Proces-sing，2021，36（1）：1－21.）

［31］楊育彬，林琿，朱慶.基于內(nèi)容的三維模型檢索綜述［J］.計算機學報，2004，27（10）：1297-1310.（Yang Yubin，Lin Hui，Zhu Qing.Overview of content-based 3D model retrieval［J］.Chinese Journal of Computers，2004，27（10）：1297-1310.）

［32］Li B，Lu Y，Godil A，et al.SHREC’13 track：large scale sketch-based 3D shape retrieval［C］//Proc of Eurographics Workshop on 3D Object Retrieval.Goslar，Germany：Eurographics Association，2013：89－96.

［33］Van Der Maaten L，Hinton G.Visualizing non-metric similarities in multiple maps［J］.Machine Learning，2012，87（1）：33－55.

［34］Van Der Maaten L.Accelerating t-SNE using tree-based algorithms［J］.Journal of Machine Learning Research，2014，15（1）：3221－3245.

收稿日期：2022－06－18；修回日期：2022－08－11 基金項目：國家重點研發(fā)計劃項目（2020YFB1711700）；國家自然科學基金資助項目（61772359，61525206，61872267）；天津市新一代人工智能重大專項（19ZXZNGX00110，18ZXZNGX00150）；天津市青年基金資助項目（19JCQNJC00500）

作者簡介：鮑玉茹（1997－），女，碩士，主要研究方向為計算機視覺、多媒體信息分析；劉雨豪（1995－），男，助理工程師，碩士；陳睿東（1998－），男（通信作者），碩士，主要研究方向為多媒體內(nèi)容分析、人工智能（chenruidong@tju.edu.cn）；常日灝（1998－），男，碩士，主要研究方向為計算機視覺、跨媒體信息檢索；聶為之（1987－），男，副教授，博導，博士，主要研究方向為計算機視覺、多媒體信息分析、跨媒體信息檢索、人工智能．