姚啟皓,王偉昊,尤鳴宇

（同濟(jì)大學(xué)電子與信息工程學(xué)院，上海，201804）

自動裝配是三維計(jì)算機(jī)視覺領(lǐng)域一個非常重要的研究課題，也是許多智能機(jī)器人系統(tǒng)的理想功能［1］.將自動裝配技術(shù)應(yīng)用于智能機(jī)器人領(lǐng)域，不僅幫助用戶從頭組裝如積木、家具等各種裝配體，也可以對部件缺損的裝配體進(jìn)行修補(bǔ)，很大程度節(jié)約了人力成本，也彌補(bǔ)了人類能力的不足.

現(xiàn)有的工作已經(jīng)使機(jī)器人能夠從零開始將一組部件組裝成一個整體，即三維部件組裝［2］，但是目前對部件缺失裝配體的補(bǔ)全以及完整組裝過程中特定步驟的實(shí)現(xiàn)，研究還較少.例如，訓(xùn)練機(jī)器人修理一把缺少一條椅腿的椅子，這是人機(jī)協(xié)同以及多智能體協(xié)同裝配場景下一個非常基本但重要的任務(wù)，所以，對于三維裝配補(bǔ)全的研究將成為今后的重點(diǎn).

三維裝配補(bǔ)全任務(wù)，除了任務(wù)自身需要機(jī)器人詳細(xì)理解不完整的結(jié)構(gòu)并推斷出候選部件及部件-結(jié)構(gòu)關(guān)系帶來的難度，還存在將模型推廣到實(shí)際應(yīng)用的問題，即模型補(bǔ)全的裝配體應(yīng)當(dāng)能應(yīng)用于實(shí)際場景來指導(dǎo)機(jī)器人在現(xiàn)實(shí)中正確完成相應(yīng)的裝配補(bǔ)全任務(wù)，這要求補(bǔ)全的裝配體要兼具幾何層面的準(zhǔn)確性和物理層面的穩(wěn)定性，以裝配更穩(wěn)定和更實(shí)用的產(chǎn)品.現(xiàn)階段，其他裝配補(bǔ)全工作往往忽視對裝配體穩(wěn)定性的考慮，不利于模型從虛擬到現(xiàn)實(shí)的推廣，也影響裝配補(bǔ)全本身的精度.對不穩(wěn)定裝配體的典型展示如圖1 所示.

圖1 不穩(wěn)定裝配體的典型展示Fig.1 A typical display of unstable assemblies

對于裝配體的穩(wěn)定性研究的主要難點(diǎn)：（1）對各類裝配體的穩(wěn)定性的定義缺乏相關(guān)的評價標(biāo)準(zhǔn)；（2）因?yàn)辄c(diǎn)云中不包含部件的物理信息，所以直接利用點(diǎn)云進(jìn)行裝配體穩(wěn)定性驗(yàn)證的難度很大，也缺乏相關(guān)的理論指導(dǎo)和工作支撐；（3）裝配體的穩(wěn)定性驗(yàn)證結(jié)論一般通過定性分析得出，難以用來定量優(yōu)化三維裝配補(bǔ)全模型.

針對上述問題，本文提出一種基于穩(wěn)定性優(yōu)化的三維裝配補(bǔ)全方法StableFiT（Finishing the Incomplete 3D Assembly with Transformer），指導(dǎo)補(bǔ)全出穩(wěn)定性和實(shí)用性更高的裝配體.

該方法的主要貢獻(xiàn)：（1）定義了一種衡量裝配體穩(wěn)定性的方法，并基于NVIDIA Isaac Sim 仿真平臺實(shí)現(xiàn)了該方法；（2）提出一種點(diǎn)云格式下的裝配體穩(wěn)定性判別器模型，實(shí)現(xiàn)了點(diǎn)云格式下裝配體的穩(wěn)定性分類；（3）將提出的判別器模型引入三維裝配補(bǔ)全模型，實(shí)現(xiàn)了三維裝配補(bǔ)全的定量穩(wěn)定性優(yōu)化，并在定性和定量實(shí)驗(yàn)中取得了優(yōu)異的表現(xiàn).

1 三維裝配補(bǔ)全相關(guān)工作

三維部件裝配是一項(xiàng)典型的裝配任務(wù)，其目標(biāo)是將一組給定的部件從頭組裝成完整的裝配體［3-5］，目前對三維部件裝配的研究工作較為廣泛.Zhan et al［2］首次正式定義三維部件裝配問題，提出開創(chuàng)意義的DGL（Dynamic Graph Learning）框架，基于動態(tài)圖神經(jīng)網(wǎng)絡(luò)對部件之間的幾何關(guān)系進(jìn)行建模，預(yù)測每個部件的位姿.Harish et al［6］提出RGL-NET（Recurrent Graph Learning），利用遞歸圖學(xué)習(xí)范式來逐步細(xì)化部件之間的關(guān)系，能獲得更準(zhǔn)確的姿態(tài)預(yù)測.Wu et al［7］提出一個基于部件的端到端生成式框架PQ-Net，通過三維重建對各個部件重新進(jìn)行建模.Li et al［8］提出PageNet，同樣采用生成式的框架，整個框架由一個基于VAEGANs［9-10］的部件生成器和一個部件組裝器組成，能實(shí)現(xiàn)兩階段的三維部件組裝.其他相關(guān)工作利用其他模態(tài)的信息來源作為輸入，如Li et al［11］使用圖像作為輸入.最新的關(guān)于三維部件裝配的研究在問題設(shè)置上作出一定調(diào)整，如Wu et al［12］按照語義信息劃分不同的部件組，Xu et al［13］將任務(wù)目標(biāo)轉(zhuǎn)為無監(jiān)督合成新的裝配體.但上述工作均以裝配體的部件全集作為輸入來預(yù)測部件的6 自由度位姿，三維裝配補(bǔ)全在此基礎(chǔ)上被提出，兩者在任務(wù)設(shè)置上存在一定差異.

三維裝配補(bǔ)全旨在根據(jù)給定的半成品裝配體，從一系列候選部件組成的工具包中挑選合適的部件并以正確的位姿拼裝，最終將半成品補(bǔ)裝完整.Wang et al［14］首次提出并定義三維裝配補(bǔ)全這一新任務(wù)，設(shè)計(jì)了一個基于Transformer 的框架FiT（Finishing the Incomplete 3D Assembly with Transformer），通過注意力機(jī)制對候選部件與半成品部件之間的幾何關(guān)系進(jìn)行建模，發(fā)掘半成品真正缺失的部件并預(yù)測其位姿，完成裝配補(bǔ)全.目前，有關(guān)三維裝配補(bǔ)全的研究仍在初步階段.

三維點(diǎn)云補(bǔ)全是相近的一項(xiàng)任務(wù)，不同于“拼裝式”補(bǔ)全，三維點(diǎn)云補(bǔ)全直接對點(diǎn)云數(shù)據(jù)中的缺失部分進(jìn)行“生成式”預(yù)測和恢復(fù)，通常采用帶有編碼器-解碼器框架的生成式解決方案，如Tchapmi et al［15］的TopNet，Yuan et al［16］的PCN（Point Completion Network）和Wen et al［17］的SA-Net（Skip-Attention Network）.還有一些方法采用對抗學(xué)習(xí)的框架來提高點(diǎn)云補(bǔ)全的真實(shí)性和一致性，如Sarmad et al［18］的 RL-GAN-Net（Reinforcement Learning Agent Controlled GAN Network）和Hu et al［19］的Render4Completion.最近的一些工作將Transformer［20］引入三維形狀補(bǔ)全來對點(diǎn)云分布進(jìn)行全局建模，如Yan et al［21］的Shape-Former 和Mittal et al［22］的AutoSDF 都引入了PQVAE［23-24］，在離散空間中學(xué)習(xí)三維表征并用Transformer 來回歸補(bǔ)全缺失區(qū)域，Wen et al［25］的PMP-Net++和Li et al［26］的ProxyFormer 同樣使用Transformer 進(jìn)行三維點(diǎn)云補(bǔ)全.總體地，三維裝配補(bǔ)全側(cè)重于部件級別的補(bǔ)全，每個部件都是一組具有特定幾何和語義信息的點(diǎn)云，而三維點(diǎn)云補(bǔ)全則側(cè)重由于遮擋等造成的缺失補(bǔ)全.

上述裝配工作僅關(guān)注部件的幾何關(guān)系，沒有考慮裝配體的穩(wěn)定性，這一方面會影響三維裝配補(bǔ)全的準(zhǔn)確性，另一方面也不利于將三維裝配補(bǔ)全真正應(yīng)用于實(shí)際.本文在Wang et al［14］的基礎(chǔ)上，設(shè)計(jì)了一種穩(wěn)定性的驗(yàn)證方式與評價指標(biāo)，并將穩(wěn)定性約束引入三維裝配補(bǔ)全框架，進(jìn)一步提升補(bǔ)全的裝配體的正確性和穩(wěn)定性.

2 基于NVIDIA Isaac Sim 仿真平臺的裝配體穩(wěn)定性驗(yàn)證方法

針對上述裝配體穩(wěn)定性的問題，本文創(chuàng)造性地提出一種基于NVIDIA Isaac Sim 仿真平臺的裝配體穩(wěn)定性驗(yàn)證方法，如圖2 所示.首先對數(shù)據(jù)進(jìn)行從點(diǎn)云到USD 的格式轉(zhuǎn)換，然后將其導(dǎo)入NVIDIA Isaac Sim 仿真平臺；在物理仿真過程中，仿真環(huán)境會實(shí)時記錄裝配體的狀態(tài)；仿真結(jié)束后，系統(tǒng)會根據(jù)本文制定的穩(wěn)定性判斷規(guī)則來計(jì)算裝配體的穩(wěn)定性指標(biāo)，驗(yàn)證經(jīng)過三維補(bǔ)全的裝配體的穩(wěn)定性.

圖2 基于Isaac Sim 仿真平臺的裝配體穩(wěn)定性驗(yàn)證方法Fig.2 A stability verification method for the completed assembly based on Isaac Sim simulation platform

利用仿真平臺上的穩(wěn)定性驗(yàn)證結(jié)果，本文訓(xùn)練了一個裝配體穩(wěn)定性判別器模型.輸入補(bǔ)全的裝配體的點(diǎn)云，模型能直接判定裝配體的穩(wěn)定性.該穩(wěn)定性判別器模型可以直接在點(diǎn)云數(shù)據(jù)格式對裝配體的穩(wěn)定性進(jìn)行判定，不需要在仿真平臺中實(shí)現(xiàn)，為將穩(wěn)定性引入三維裝配補(bǔ)全網(wǎng)絡(luò)的優(yōu)化提供了便利與可能.

2.1 裝配體穩(wěn)定性量化定義參考相關(guān)國家標(biāo)準(zhǔn)［27］中的穩(wěn)定性測試方法，本文設(shè)計(jì)了一種關(guān)于裝配體穩(wěn)定性的普適性驗(yàn)證方法與量化指標(biāo).為了使補(bǔ)全的裝配體具有良好的現(xiàn)實(shí)遷移性，穩(wěn)定性驗(yàn)證應(yīng)最大程度地模擬裝配體在現(xiàn)實(shí)中被使用時的情況，本文的做法是將裝配體靜止放置于水平面上，觀察其是否能保持穩(wěn)定，即是否發(fā)生晃動或傾翻等現(xiàn)象.記初始時刻為t=0，此時裝配體的狀態(tài)記作s0=(x0，y0，z0)，其中(x，y，z)表示裝配體重心的三維坐標(biāo).記末尾時刻為t=T，此時裝配體的狀態(tài)記作sT=(xT，yT，zT)，同時實(shí)時記錄0～T任意時刻裝配體沿x和y方向的速度Vxt，Vyt（采用右手坐標(biāo)系，默認(rèn)z方向?yàn)樨Q直向上，0 ≤t≤T）.則初始時刻與末尾時刻裝配體狀態(tài)s0和sT之間的余弦相似度為：

記裝配體穩(wěn)定性為S，S為二值變量，S=1 表示裝配體穩(wěn)定，S=0 表示裝配體不穩(wěn)定，則本文提出的裝配體穩(wěn)定性的具體量化定義可歸納為：

其中，對于速度的約束條件主要是確保穩(wěn)定的裝配體不會發(fā)生晃動，對于狀態(tài)的約束條件主要是確保穩(wěn)定的裝配體不會發(fā)生傾翻.

式（2）是本文提出的關(guān)于裝配體穩(wěn)定性的一種具有普適性的定義方式，對于某些特定類型的裝配體，如椅子、桌子等，其穩(wěn)定性的定義以及檢驗(yàn)方式應(yīng)當(dāng)在此基礎(chǔ)上作出適當(dāng)修改，比如在檢驗(yàn)時添加適當(dāng)大小的外力以更貼合其現(xiàn)實(shí)的使用場景.本文后續(xù)會對此進(jìn)行更加深入的探索.

2.2 基于NVIDIA Isaac Sim 仿真平臺的穩(wěn)定性驗(yàn)證NVIDIA Isaac Sim 是NVIDIA Omniverse平臺推出的一款機(jī)器人模擬工具包，Isaac Sim 具有構(gòu)建虛擬機(jī)器人世界和實(shí)驗(yàn)的基本功能，為研究和從業(yè)人員提供所需的工具和工作流程來創(chuàng)建穩(wěn)定的、物理上精確的仿真環(huán)境及合成數(shù)據(jù)集.

基于NVIDIA Isaac Sim 仿真平臺，本文搭建了一個非常接近現(xiàn)實(shí)場景且物理精確的仿真環(huán)境來對裝配體進(jìn)行穩(wěn)定性檢驗(yàn)，其具體流程可以參考圖2，首先添加一個具有物理屬性的水平面來承載待檢測的裝配體，然后導(dǎo)入裝配體.由于仿真平臺只支持USD 格式文件的導(dǎo)入，所以需要先將點(diǎn)云格式的裝配體轉(zhuǎn)換成USD 格式.導(dǎo)入裝配體后，將其靜止放置在水平面上并為其賦予物理屬性.為了使提出的穩(wěn)定性檢驗(yàn)方法具有普適性，將所有裝配體統(tǒng)一設(shè)置為質(zhì)量m=5 kg，且均由相同材料制成.準(zhǔn)備工作完成后，按下Isaac Sim操作界面的仿真按鈕，平臺內(nèi)置的物理引擎將自動對物理現(xiàn)象進(jìn)行實(shí)時的精確的模擬，同時，Isaac Sim 界面的顯示面板也將實(shí)時顯示裝配體的位置坐標(biāo)及其沿各個方向的速度，方便用戶實(shí)時掌握裝配體的狀態(tài).記仿真開始的時刻為0，在T時刻仿真自動結(jié)束.最終，仿真環(huán)境根據(jù)2.1 中定義的穩(wěn)定性量化指標(biāo)對裝配體的穩(wěn)定性進(jìn)行評估，并將結(jié)果返回給用戶.

2.3 裝配體穩(wěn)定性判別器如果按照2.2 所述，每次對補(bǔ)全的裝配體進(jìn)行穩(wěn)定性檢驗(yàn)都要先轉(zhuǎn)換文件格式再導(dǎo)入仿真環(huán)境，會大大增加實(shí)驗(yàn)的時間成本，并且，通過這種方式獲得的裝配體穩(wěn)定性標(biāo)簽不具有梯度信息，無法用于三維裝配補(bǔ)全網(wǎng)絡(luò)的梯度更新與優(yōu)化.

為了解決上述問題，本文設(shè)計(jì)了一個基于裝配體穩(wěn)定性的判別器模型，如圖3 所示.該模型主要由兩層結(jié)構(gòu)組成：第一層為特征提取層，采用PointNet［28］提取部件級別的點(diǎn)云特征；第二層為分類層，包含兩個全連接層和一個預(yù)測層，全連接層將部件級別的點(diǎn)云特征進(jìn)行整合，提取實(shí)例級別的點(diǎn)云特征，最終在預(yù)測層實(shí)現(xiàn)從實(shí)例級點(diǎn)云特征到穩(wěn)定性類別標(biāo)簽的預(yù)測.

圖3 裝配體穩(wěn)定性判別器Fig.3 Assembly stability discriminator

穩(wěn)定性判別器模型總體實(shí)現(xiàn)的效果為：對模型輸入裝配體所有部件的點(diǎn)云數(shù)據(jù)，輸出關(guān)于該裝配體穩(wěn)定性的預(yù)測評分，評分越接近1，表示裝配體的穩(wěn)定性越好.輸出的評分還具有梯度信息，為后續(xù)對3D 裝配補(bǔ)全網(wǎng)絡(luò)進(jìn)行優(yōu)化提供可能.

利用基于Isaac Sim 仿真平臺的穩(wěn)定性驗(yàn)證方法，本文得到了一批帶有穩(wěn)定性標(biāo)簽的裝配體數(shù)據(jù)，并基于此訓(xùn)練出裝配體穩(wěn)定性判別器模型，具體的訓(xùn)練細(xì)節(jié)參考4.3.穩(wěn)定性判別器模型訓(xùn)練過程的損失函數(shù)定義如下：

3 基于穩(wěn)定性優(yōu)化的三維裝配補(bǔ)全方法

首先對三維裝配補(bǔ)全任務(wù)進(jìn)行簡單介紹.

將本課題組已有的FiT 框架作為三維裝配補(bǔ)全網(wǎng)絡(luò)的主體架構(gòu)，在其基礎(chǔ)上引入2.3 中的裝配體穩(wěn)定性判別器模型，首創(chuàng)性地提出了一種基于穩(wěn)定性優(yōu)化的三維裝配補(bǔ)全方法StableFiT，整體架構(gòu)如圖4 所示.其中，F(xiàn)iT 是一個基于Transformer 的三維裝配補(bǔ)全框架，主要由PointNet、編碼器、解碼器和預(yù)測器四部分組成.PointNet 提取半成品裝配體部件以及候選部件庫中各候選部件的點(diǎn)云特征，編碼器將半成品裝配體的部件特征編碼為記憶向量，解碼器將部件庫中的候選部件特征編碼為查詢向量，查詢向量通過注意力機(jī)制進(jìn)一步與記憶向量交互.最后一部分的預(yù)測器包含兩個結(jié)構(gòu)相同的網(wǎng)絡(luò)，一個挑選可能性最大的缺失部件，另一個預(yù)測其最佳的裝配補(bǔ)全位姿，最終將半成品補(bǔ)裝完整.穩(wěn)定性判別器采用2.3 所述預(yù)訓(xùn)練好的裝配體穩(wěn)定性判別器，負(fù)責(zé)對補(bǔ)全的裝配體進(jìn)行穩(wěn)定性檢驗(yàn)，檢驗(yàn)結(jié)果以損失函數(shù)的形式反饋給三維裝配補(bǔ)全網(wǎng)絡(luò)FiT，實(shí)現(xiàn)基于穩(wěn)定性的三維裝配補(bǔ)全網(wǎng)絡(luò)性能優(yōu)化，使補(bǔ)全的裝配體更符合現(xiàn)實(shí)任務(wù)的需求.

圖4 基于穩(wěn)定性優(yōu)化的三維裝配補(bǔ)全方法StableFiTFig.4 StableFiT for 3D assembly completion with stability optimization

StableFiT 的訓(xùn)練過程實(shí)際是一個多任務(wù)學(xué)習(xí)過程，包括候選部件分類、位姿預(yù)測及穩(wěn)定性優(yōu)化.本文分別為候選部件分類任務(wù)設(shè)計(jì)了分類損失lc，為位姿預(yù)測任務(wù)設(shè)計(jì)了平移損失?t、旋轉(zhuǎn)損失lr和點(diǎn)云倒角距離損失?s，為穩(wěn)定性優(yōu)化任務(wù)設(shè)計(jì)了穩(wěn)定性損失?sta.關(guān)于損失?c，?t，?r和?s的具體定義以及計(jì)算方式參見文獻(xiàn)［14］，本文不再贅述.

本文設(shè)計(jì)的穩(wěn)定性損失定義如下：

StableFiT 訓(xùn)練過程的總體損失定義如下：

其中，λ表示損失權(quán)重，各損失權(quán)重的設(shè)置參考4.3.

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)數(shù)據(jù)使用PartNet 數(shù)據(jù)集［29］對提出的方法進(jìn)行評估.PartNet 是一個大規(guī)模的三維模型數(shù)據(jù)集，附有部件級別的實(shí)例分割標(biāo)注.選用其中的椅子和桌子類別的數(shù)據(jù)，共包含6323 把椅子和8218 張桌子，選取部件總數(shù)不超過20 的椅子和桌子進(jìn)行實(shí)驗(yàn).對每個部件使用最遠(yuǎn)點(diǎn)采樣（Furthest Point Sampling，F(xiàn)PS）1000 個點(diǎn)，并使用PCA（Principal Component Analysis）［30］將部件點(diǎn)云轉(zhuǎn)換到規(guī)范空間.

4.2 評價指標(biāo)及基準(zhǔn)模型采用匹配精度、點(diǎn)云倒角距離、部件精度、連接精度和不穩(wěn)定裝配體比例五種評價指標(biāo)對實(shí)驗(yàn)結(jié)果進(jìn)行評估.

匹配精度（Match Accuracy，MA）評估候選部件挑選的準(zhǔn)確性：

其中，j為缺失部件數(shù)量，c為匹配正確的部件數(shù)量.

點(diǎn)云倒角距離（Shape Chamfer Distance，SCD）和部件精度（Part Accuracy，PA）衡量裝配補(bǔ)全完成的整體質(zhì)量.

兩個點(diǎn)云之間的倒角距離：

部件精度，即與真實(shí)值的點(diǎn)云倒角距離在一定閾值內(nèi)的部件比例：

其中，閾值τp設(shè)置為0.01.

連接精度［2］（Connectivity Accuracy，CA）衡量補(bǔ)全的裝配體中部件的連接情況：

其中，cij為部件點(diǎn)云pi中與部件點(diǎn)云pj距離最近的點(diǎn)，即接觸點(diǎn)；C為半成品裝配體與候選部件之間接觸點(diǎn)對的集合；閾值τc設(shè)置為0.01.

穩(wěn)定裝配體比例（Proportion of Stable Assembly，PSA）評估補(bǔ)全的裝配體的穩(wěn)定性分布情況：

其中，s代表穩(wěn)定裝配體的數(shù)量，a代表所有補(bǔ)全的裝配體的數(shù)量.

采用多種基準(zhǔn)模型與提出的StableFiT 方法進(jìn)行對比，包括Sung et al［31］的Complement，Li et al［11］的Single Image 和Wang et al［14］的FiT.

Complement 方法通過有無部件的對比學(xué)習(xí)方法來學(xué)習(xí)部分形狀在特征空間中的表示.本研究保留了其中基于PointNet 的特征提取網(wǎng)絡(luò)和位姿解碼器，并通過在候選部件庫中采樣錯誤部件的對比學(xué)習(xí)方法，訓(xùn)練解碼器完成部件的挑選和6 自由度拼裝位姿的預(yù)測.

Single Image 方法主要采用單張圖片指導(dǎo)完成三維組裝.本研究刪除了模型中的圖像編碼器部分，采用PointNet 將缺失部件的裝配體建模為全局特征，將候選部件建模為局部特征，并將二者結(jié)合以實(shí)現(xiàn)三維裝配補(bǔ)全.

FiT 方法在模型訓(xùn)練過程中提出一種對稱性損失，目的是使模型補(bǔ)全的裝配體具有更好的對稱性來近似模擬穩(wěn)定性，但其不具有通用性，在現(xiàn)實(shí)場景中的適用范圍受限，故本研究在對比實(shí)驗(yàn)中沒有對基準(zhǔn)模型采用該損失.

4.3 實(shí)驗(yàn)方法

4.3.1 穩(wěn)定性判別器模型訓(xùn)練利用4.1 所述數(shù)據(jù)對基準(zhǔn)模型FiT［14］進(jìn)行訓(xùn)練，訓(xùn)練輪次分別為20，40，80，160，320 和最佳輪次的模型補(bǔ)全的裝配體，將其如2.2 所述輸入NVIDIA Isaac Sim仿真環(huán)境中進(jìn)行穩(wěn)定性驗(yàn)證，得到帶有穩(wěn)定性標(biāo)簽的半成品裝配體數(shù)據(jù)集.對該數(shù)據(jù)集進(jìn)行一定的處理，將其中穩(wěn)定裝配體與不穩(wěn)定裝配體的比例調(diào)整至7∶3，再利用處理后的數(shù)據(jù)集訓(xùn)練2.3 提出的穩(wěn)定性判別器模型.訓(xùn)練過程中，設(shè)置初始學(xué)習(xí)率為0.001，batch size 為64，訓(xùn)練輪次為200.對于椅子和桌子數(shù)據(jù)集分別按上述步驟訓(xùn)練得到對應(yīng)的穩(wěn)定性判別器模型，最終得到的椅子穩(wěn)定性判別器模型的分類準(zhǔn)確率可達(dá)80%，桌子穩(wěn)定性判別器模型的分類準(zhǔn)確率可達(dá)76%.

以上是單部件缺失時的實(shí)驗(yàn)方法，對于多部件缺失的情況，處理步驟與上述基本一致，只是訓(xùn)練數(shù)據(jù)集的構(gòu)建稍有不同.這里選擇訓(xùn)練輪次為40，80，160 和最佳輪次的模型補(bǔ)全的裝配體進(jìn)行NVIDIA Isaac Sim 仿真環(huán)境下的穩(wěn)定性驗(yàn)證，得到帶有穩(wěn)定性標(biāo)簽的半成品裝配體數(shù)據(jù)集，后續(xù)對于穩(wěn)定性判別器模型訓(xùn)練參數(shù)的設(shè)置與上述一致.最終訓(xùn)練得到的椅子穩(wěn)定性判別器模型的分類準(zhǔn)確率可達(dá)84%，桌子穩(wěn)定性判別器模型的分類準(zhǔn)確率可達(dá)77%.

4.3.2 StableFiT 模型訓(xùn)練采用AdamW 優(yōu)化器對StableFiT 模型進(jìn)行訓(xùn)練，設(shè)置初始學(xué)習(xí)率為1.5×10-4，batch size 為32，訓(xùn)練輪次為500，使用四張NVIDIA V100 顯卡進(jìn)行訓(xùn)練.單部件缺失和多部件缺失情況下的損失函數(shù)權(quán)重設(shè)置稍有不同，具體如表1 所示.StableFiT 框架中的穩(wěn)定性判別器模型直接使用4.3.1 中訓(xùn)練好的裝配體穩(wěn)定性判別器模型，在訓(xùn)練過程中其參數(shù)被凍結(jié)，不參與此處的訓(xùn)練.

表1 StableFiT 訓(xùn)練過程中損失函數(shù)權(quán)重的設(shè)置Table 1 Weights settings for loss function during StableFiT training process

4.4 實(shí)驗(yàn)結(jié)果與分析為了驗(yàn)證提出的基于穩(wěn)定性優(yōu)化的三維裝配補(bǔ)全方法StableFiT 的有效性，從兩個角度設(shè)計(jì)實(shí)驗(yàn)并對實(shí)驗(yàn)結(jié)果進(jìn)行分析：（1）驗(yàn)證提出的方法是否可以提升現(xiàn)有的三維裝配補(bǔ)全網(wǎng)絡(luò)的精度；（2）驗(yàn)證提出的方法是否能有針對性地提升補(bǔ)全的裝配體的穩(wěn)定性.

為了完成第一個驗(yàn)證，將StableFiT 方法與基準(zhǔn)模型Complement，Single Image 和FiT 在單部件缺失(j=1)的情況下進(jìn)行對比實(shí)驗(yàn)，同時與基準(zhǔn)模型FiT 在多部件缺失(j=3)的情況下進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2 所示，表中箭頭的方向表示更優(yōu)的結(jié)果方向，黑體字表示結(jié)果最優(yōu).

表2 本文方法與基準(zhǔn)方法的性能的比較Table 2 Performance of our method and the baseline methods

由表可見，單部件缺失時，StableFiT 的性能顯著優(yōu)于基準(zhǔn)模型Complement 和Single Image，大多數(shù)指標(biāo)，尤其是部件精度PA和連接精度CA的優(yōu)勢更明顯.這說明Single Image 在不進(jìn)行基于部件分割的特征增強(qiáng)時，其性能會顯著下降；Complement 的部件精度PA表現(xiàn)較差，是幾何相似的部件對對比學(xué)習(xí)的干擾造成的.無論是在單部件缺失還是在多部件缺失的情況下，StableFiT的性能都基本優(yōu)于基準(zhǔn)模型FiT，驗(yàn)證了Stable-FiT 提升現(xiàn)有三維裝配補(bǔ)全網(wǎng)絡(luò)精度的效果.其中，和FiT 相比，StableFiT 對部件精度PA的提升最顯著，在單部件和多部件缺失的情況下分別提升2.89%和4.24%.這是因?yàn)檠b配體的穩(wěn)定性直接受部件裝配質(zhì)量的影響，穩(wěn)定的裝配體要求部件以準(zhǔn)確的位姿完成補(bǔ)全，所以穩(wěn)定性優(yōu)化能直接促進(jìn)部件精度的提升.部件是否被正確選擇也會影響裝配體的穩(wěn)定性，所以引入穩(wěn)定性優(yōu)化后模型的匹配精度MA也得到了較大的提升.這些都再次證明了本文StableFiT 方法的有效性.

實(shí)驗(yàn)結(jié)果還顯示，各個方法在桌子類別數(shù)據(jù)上的性能普遍優(yōu)于在椅子類別數(shù)據(jù)上的性能，這是因?yàn)樽雷拥慕Y(jié)構(gòu)相對簡單，對稱性更明顯，且部件構(gòu)成相對固定，不同種類桌子之間的結(jié)構(gòu)化差異比椅子小，因而對桌子進(jìn)行三維裝配補(bǔ)全的難度低于椅子.雖然如此，StableFiT 對椅子和桌子兩種類別的數(shù)據(jù)均能很好地適應(yīng)，在這兩種類別數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果均得到了一定的提升.

另外還發(fā)現(xiàn)，引入穩(wěn)定性優(yōu)化后，模型在多部件缺失場景下的性能提升優(yōu)于單部件缺失場景.這是因?yàn)槎嗖考a(bǔ)全任務(wù)的難度相對較大，基準(zhǔn)模型補(bǔ)全的不穩(wěn)定裝配體的比例會相對較高，所以StableFiT 方法發(fā)揮作用的空間相對更大.

為了完成第二個驗(yàn)證，分別利用訓(xùn)練好的StableFiT 模型與基準(zhǔn)模型FiT 對同一批半成品裝配體進(jìn)行補(bǔ)全，統(tǒng)計(jì)裝配補(bǔ)全結(jié)果中穩(wěn)定裝配體所占的比例，結(jié)果如表2 的PSA一列所示.分析實(shí)驗(yàn)結(jié)果可知，單部件缺失時，StableFiT 裝配補(bǔ)全結(jié)果中穩(wěn)定裝配體所占的比例略高于FiT；多部件缺失時，StableFiT 裝配補(bǔ)全結(jié)果中穩(wěn)定裝配體所占的比例和FiT 相比，提升比較明顯，證明了StableFiT 對提升裝配體穩(wěn)定性的效果.

為了直觀說明StableFiT 對裝配體穩(wěn)定性提升的效果，將StableFiT 與基準(zhǔn)模型FiT 補(bǔ)全的裝配體在NVIDIA Isaac Sim 仿真平臺上進(jìn)行驗(yàn)證，圖5 展示了引入穩(wěn)定性優(yōu)化前后FiT 模型補(bǔ)全的部分裝配體的對比情況.圖5a 和圖5b 是單部件缺失時兩種方法補(bǔ)全的裝配體，圖5c 和圖5d 是多部件缺失時兩種方法補(bǔ)全的裝配體.每幅子圖中左側(cè)的裝配體是由基準(zhǔn)模型FiT 補(bǔ)全得到的，右側(cè)的裝配體是利用StableFiT 補(bǔ)全得到的.圖中還通過放大局部細(xì)節(jié)來更好地對比展示裝配體的穩(wěn)定性情況，紅色框展示的是裝配體不穩(wěn)定的細(xì)節(jié)，藍(lán)色框展示引入穩(wěn)定性優(yōu)化后的改進(jìn)情況.

圖5 StableFiT 與FiT 補(bǔ)全裝配效果的對比Fig.5 Assembly completion results of StableFiT and FiT

圖5a 和圖5b 中由FiT 模型補(bǔ)全的裝配體都存在典型的拼裝錯誤.如紅色框中所示，圖5a 中裝配體的桌面在裝配補(bǔ)全時發(fā)生拼裝位姿的錯誤，沒有和桌子的邊框?qū)R，圖5b 中裝配體的椅腿在裝配補(bǔ)全過程中拼裝姿態(tài)發(fā)生錯誤，這些都會導(dǎo)致裝配體的不穩(wěn)定.引入穩(wěn)定性優(yōu)化后，利用StableFiT 補(bǔ)全的裝配體不存在上述問題，穩(wěn)定性得到了提升，如藍(lán)色框中所示.圖5c 中由FiT模型補(bǔ)全的裝配體存在多部件補(bǔ)全中常見的部件選擇錯誤，導(dǎo)致其在某個待補(bǔ)全位置沒有椅腿，而在另一個待補(bǔ)全位置上有兩條椅腿，這顯然是不穩(wěn)定的.引入穩(wěn)定性優(yōu)化后，裝配體的部件被正確挑選，并以相對準(zhǔn)確的位姿被裝配到待補(bǔ)全位置上.圖5d 中由FiT 模型補(bǔ)全的裝配體存在典型的連接性錯誤，桌腿和桌面沒有連接成整體，這也是一種不穩(wěn)定現(xiàn)象.引入穩(wěn)定性優(yōu)化后，這種錯誤得到了針對性的解決.

綜上，本文提出的基于穩(wěn)定性優(yōu)化的三維裝配補(bǔ)全方法StableFiT，一方面可以提升現(xiàn)有三維裝配補(bǔ)全網(wǎng)絡(luò)的精度，補(bǔ)全出更高質(zhì)量的裝配體，另一方面，也能針對性地提升補(bǔ)全的裝配體的穩(wěn)定性，證明了穩(wěn)定性優(yōu)化的效果.

4.5 消融實(shí)驗(yàn)為了充分探討損失函數(shù)中各損失項(xiàng)在三維裝配補(bǔ)全任務(wù)中的作用，在PartNet 數(shù)據(jù)集中某一類別數(shù)據(jù)的單部件補(bǔ)全場景下設(shè)計(jì)了全面的消融實(shí)驗(yàn)，分析不同損失項(xiàng)對性能的影響.

通過單獨(dú)刪除損失函數(shù)中的每個損失項(xiàng)來評估其對性能的影響，實(shí)驗(yàn)結(jié)果如表3 所示，表中箭頭的方向表示更優(yōu)的結(jié)果方向，黑體字表示結(jié)果最優(yōu).由表可知，損失函數(shù)的每個損失項(xiàng)都有助于模型性能的提高.具體地，平移損失?t對部件拼裝位姿的預(yù)測至關(guān)重要，刪除?t之后部件精度和連接精度都大幅降低；旋轉(zhuǎn)損失?r對部件正確挑選的影響更大，刪除?r之后匹配精度比其他指標(biāo)下降得更明顯；點(diǎn)云倒角距離損失?s同樣有助于部件以正確的位姿完成拼裝，主要影響的是點(diǎn)云倒角距離，但刪除?s之后匹配精度反而得到小幅的提升，綜合所有指標(biāo)來看，?s對部件拼裝的正向作用高于其潛在的負(fù)面作用，應(yīng)在損失函數(shù)中保留.本文設(shè)計(jì)的穩(wěn)定性損失?sta的添加，一方面使穩(wěn)定裝配體的比例上升，另一方面，也使其他的性能指標(biāo)得到提升，充分證明了其有效性.

表3 各損失項(xiàng)對實(shí)驗(yàn)性能的影響Table 3 Effect of loss components on experiment results

5 結(jié)論

三維裝配補(bǔ)全任務(wù)嘗試解決半成品裝配體的部件補(bǔ)全問題，具有很高的實(shí)用價值.針對現(xiàn)有的三維裝配補(bǔ)全方法較少考慮裝配體穩(wěn)定性的問題，本文提出一種基于穩(wěn)定性優(yōu)化的三維裝配補(bǔ)全方法StableFiT，一方面可以提高補(bǔ)全后裝配體的穩(wěn)定性，使其更加滿足機(jī)器人裝配實(shí)施的需求，另一方面，也可對現(xiàn)有的三維裝配補(bǔ)全過程進(jìn)行性能優(yōu)化，提升補(bǔ)全的裝配體的整體質(zhì)量.后續(xù)將繼續(xù)完善穩(wěn)定性驗(yàn)證方式，增強(qiáng)其合理性，并基于不同的裝配場景設(shè)計(jì)特定的穩(wěn)定性驗(yàn)證方式；還將把本文提出的穩(wěn)定性優(yōu)化方法拓展到其他裝配任務(wù)中，如三維部件裝配.