王 蕾,郭向坤,李 姝

1(中國科學院大學,北京 100049)

2(中國科學院 沈陽計算技術(shù)研究所,沈陽 110168)

3(沈陽理工大學,沈陽 110159)

1 緒論

混合現(xiàn)實[1]是在虛擬現(xiàn)實基礎(chǔ)上發(fā)展而來的新技術(shù),它在同一時刻將計算機系統(tǒng)生成的虛擬場景、物體或系統(tǒng)提示等信息疊加到真實場景中展現(xiàn)給用戶,在同一個空間場景中虛實共存,從而產(chǎn)生一個全新的感官世界[2].基于混合現(xiàn)實的虛擬拆裝系統(tǒng)是混合現(xiàn)實技術(shù)在工業(yè)領(lǐng)域的全新應(yīng)用,為機械部件拆裝帶來了新思路和新方法.

近年來,虛擬拆裝系統(tǒng)得到了大量的研究.然而,這些研究大多集中在系統(tǒng)交互、系統(tǒng)開發(fā)等方面[3-5],很少有針對拆裝邏輯的研究.現(xiàn)有的關(guān)于拆裝邏輯的研究[6,7]也存在邏輯設(shè)計只是針對某一個或某一類特定的機械模型,并不能適應(yīng)于所有模型,導(dǎo)致系統(tǒng)存在通用性差、適用范圍小等問題.針對這些問題,本文提出一種基于圖遍歷算法的數(shù)據(jù)結(jié)構(gòu)來表達各個模型的邏輯關(guān)系,并基于此算法設(shè)計并實現(xiàn)了一套基于混合現(xiàn)實的虛擬拆裝原型系統(tǒng).實驗結(jié)果表明:該系統(tǒng)實現(xiàn)了對模型部件按工藝流程進行虛擬拆解和裝配,提高了虛擬拆裝系統(tǒng)的通用性,說明該系統(tǒng)具有很好的實用價值.

2 系統(tǒng)整體架構(gòu)設(shè)計

該系統(tǒng)基于混合現(xiàn)實技術(shù),以Unity3D 引擎為開發(fā)工具,借助HoloLens MR 頭顯進行交互的通用虛擬拆裝系統(tǒng),系統(tǒng)的整體框架可以分為3個部分:數(shù)據(jù)工具、系統(tǒng)拆裝邏輯、自然交互系統(tǒng).虛擬拆裝系統(tǒng)整體架構(gòu)圖如圖1所示.

圖1 虛擬拆裝系統(tǒng)整體架構(gòu)圖

2.1 數(shù)據(jù)工具

數(shù)據(jù)工具負責采集處理系統(tǒng)所需的各種數(shù)據(jù)并進行存儲,供系統(tǒng)其他部分使用.這些數(shù)據(jù)主要包括:(1)模型數(shù)據(jù):用于供交互系統(tǒng)展示的機械模型.在Solid Works 建模軟件中構(gòu)建設(shè)備部件的機械模型,然后導(dǎo)入到3D Max 中進行減面、紋理重置、渲染等優(yōu)化,使得模型更加兼容Unity 引擎的開發(fā).(2)邏輯數(shù)據(jù):用于供拆裝核心動作邏輯判定拆裝是否符合真實拆裝邏輯,其中主要包括模型的位置信息及模型之間的邏輯關(guān)系.(3)依賴表:用于供拆裝核心運作邏輯判定各部分依賴是否得到滿足,實現(xiàn)對拆裝順序的限制.

2.2 系統(tǒng)拆裝邏輯

系統(tǒng)拆裝邏輯的設(shè)計是實現(xiàn)系統(tǒng)通用性的核心,針對現(xiàn)有的虛擬拆裝系統(tǒng)所存在的問題,本文設(shè)計出一種基于圖遍歷算法[8]的數(shù)據(jù)結(jié)構(gòu)來表達各個模型的邏輯關(guān)系,解決了拆裝順序的可定義和通用性等問題,并能夠?qū)δＰ筒考垂に嚵鞒踢M行虛擬拆解和裝配.虛擬拆裝系統(tǒng)拆裝核心運作邏輯主要包括以下兩個方面:連接邏輯和順序邏輯.系統(tǒng)拆裝邏輯的設(shè)計與實現(xiàn)將在第3節(jié)詳細介紹.

2.3 自然交互系統(tǒng)

結(jié)合語音交互技術(shù)、手勢交互技術(shù)以及交互方法的組織方法,獲取和識別語音、手勢等信息建立多模式人機交互接口,構(gòu)建出一套滿足直接與虛擬信息進行實時互動交互的人機自然交互接口.結(jié)合拆裝流程對裝配人員意圖智能化理解,保證裝配操作人員在拆裝過程中,不僅能夠?qū)δＰ筒考垂に嚵鞒踢M行虛擬拆解和裝配,還能準確無誤地獲取裝配交互信息,實現(xiàn)信息實時共享.最終設(shè)計出一種全息融合顯示模式,并完成支持語音和手勢自然交互系統(tǒng)的設(shè)計和實現(xiàn),提高用戶的交互效率和交互體驗.

3 系統(tǒng)拆裝邏輯的設(shè)計與實現(xiàn)

機械模型的合理正確拆裝是虛擬拆裝系統(tǒng)的關(guān)鍵,系統(tǒng)開發(fā)過程中必須借助一系列嚴密的邏輯思想,才能夠控制整個拆裝流程按照部件實際的拆裝時序進行虛擬拆解和裝配[9].虛擬拆裝系統(tǒng)要實現(xiàn)對機械模型通用的拆裝仿真,其拆裝核心運作邏輯就要詳細設(shè)計以下兩個部分:連接邏輯和順序邏輯.

3.1 連接邏輯

在虛擬拆裝過程中,系統(tǒng)需要“感知”哪些機械部件是連著的,即系統(tǒng)要像人一樣知道部件的連接邏輯.以及當操作某一部分時會對部件的其他部分造成哪些影響,即需要讓系統(tǒng)“感知”現(xiàn)實中部件連接的特點.因此,虛擬拆裝系統(tǒng)連接邏輯的設(shè)計需要考慮以下兩個方面:(1)任意兩個可連接的部件,可以連接,也可以拆解.(2)連接在一起的幾個部件,當拖動其中一個部件時,與之相連的部件均會發(fā)生聯(lián)動,它們的相對位置始終保持不變.

3.1.1 連接邏輯設(shè)計

機械部件的拆裝過程與分形或遞歸的思想相似,對一個部件或幾個部件組成的整體而言,二者的操作和管理幾乎相同.因此為簡化系統(tǒng)設(shè)計,需要對其做一個封裝,若干個(包括一個)連接好的部件作為一個節(jié)點進行處理.但同時,多部件組成的復(fù)合節(jié)點在拆裝過程中是動態(tài)的、多變的,需要進行動態(tài)維護,并且保存若干個最大的復(fù)合節(jié)點在程序?qū)崿F(xiàn)和使用上沒有明顯的必要.另外,作為整個系統(tǒng)的基礎(chǔ),單部件節(jié)點保存著整個機械模型的關(guān)系數(shù)據(jù),是始終存在的;作為單部件節(jié)點的引用和封裝,復(fù)合節(jié)點不包含實質(zhì)信息的邏輯存在,設(shè)計為在需要時生成的臨時對象.

通過對部件的連接方式總結(jié)和分析,本文設(shè)計一種類似化學鍵[10]概念的連接邏輯.每個節(jié)點上有若干個半鍵(HalfBond)可以與其他節(jié)點上的半鍵配對形成一個連接,這樣兩個節(jié)點之間就有了邏輯關(guān)系.根據(jù)機械部件的連接特點,為實現(xiàn)連接邏輯的通用性,半鍵的設(shè)計需要考慮以下幾點:(1)與化學鍵不同的是半鍵有類型,只有同類型的半鍵才能配對連接.同時,同類型半鍵有不對稱性,即區(qū)分公母口.(2)部件上的每個半鍵均有自己的位置信息,能夠判斷與其他半鍵之間的位置關(guān)系.(3)復(fù)合節(jié)點的半鍵,來自其所包含的部件,部件之間已配對的半鍵不再暴露出來作為復(fù)合節(jié)點的半鍵.

3.1.2 連接邏輯算法實現(xiàn)

連接邏輯算法設(shè)計的關(guān)鍵是要“感知”部件之間的連接關(guān)系.本文定義一種特殊的圖結(jié)構(gòu)G=來表達部件與部件之間的關(guān)系,即將部件視為節(jié)點(V),部件間的連接關(guān)系視為邊(E).因此求解部件之間的連接狀態(tài)即遍歷求解圖G=的極大連通子圖.假設(shè)某模型的部件和部件之間的連接狀態(tài)如圖2所示.從圖2中可以看出,該模型由5個節(jié)點組成,每個節(jié)點上有若干個半鍵,這些半鍵可以與其他節(jié)點上的半鍵配對形成一條邊,其中節(jié)點B、D存在沒有配對的半鍵.由圖1可知,連接邏輯設(shè)計需要考慮以下幾點:(1)單個部件未連接時即為單個節(jié)點,需要記錄其半鍵的個數(shù)、類型和位置信息;(2)當兩個部件的半鍵配對連接后形成復(fù)雜節(jié)點,連接后的復(fù)雜節(jié)點可以當作新節(jié)點進行操作,新節(jié)點的半鍵即為其組成節(jié)點未連接的半鍵集合.(3)當節(jié)點連接成環(huán)時,如圖中節(jié)點ABC,需要進行特殊處理.(4)當連接后的部件需要拆解,即復(fù)雜節(jié)點需要斷鏈時,則該復(fù)雜節(jié)點將會成為無效節(jié)點.

圖2 部件連接狀態(tài)

連接邏輯算法的關(guān)鍵是在圖G=中求出當前節(jié)點所在的極大連通子圖,算法需要返回當前節(jié)點所在的最大包含節(jié)點,即獲取與當前節(jié)點連通的所有節(jié)點.連接邏輯算法實現(xiàn)流程圖如圖3.

從算法流程圖中可以看出,本文提出的算法使用圖的深度優(yōu)先搜索(DFS)遍歷對由部件之間連接關(guān)系構(gòu)成的圖G=進行遍歷并求出G的極大連通子圖,主要過程如下:

(1)創(chuàng)建兩個集合,用來在遍歷的同時分別存儲節(jié)點和半鍵;同時定義一個變量,用來記錄新節(jié)點的個數(shù),執(zhí)行(2).

(2)判斷當前節(jié)點是否為復(fù)雜節(jié)點,若是則將復(fù)雜節(jié)點中的所有節(jié)點加入到節(jié)點集合中執(zhí)行(3),否則執(zhí)行(6).

(3)將所有單一節(jié)點存儲到節(jié)點集合中,執(zhí)行(4).

(4)判斷是否存在未遍歷的節(jié)點.若存在則執(zhí)行(5),否則執(zhí)行(8).

(5)從節(jié)點集合中取出下一個節(jié)點,若該鍵連接節(jié)點,則新節(jié)點數(shù)加一,并遞歸執(zhí)行(4);否則半鍵加入鍵集合執(zhí)行(4).

(6)判斷集合中是否包含了當前節(jié)點,若包含則說明已遍歷過該節(jié)點,即圖中存在環(huán)路執(zhí)行(8),否則執(zhí)行(3).

(7)返回新節(jié)點數(shù),執(zhí)行(4).

(8)若新節(jié)點數(shù)大于零說明存在更大的包含節(jié)點,即找到了極大連通子圖.否則返回當前節(jié)點,說明沒有比自身更大的連通圖.至此,算法實現(xiàn)找到了最大的包含節(jié)點,即獲取到了部件之間的連接關(guān)系.

圖3 連接邏輯算法流程圖

3.2 順序邏輯

機械設(shè)備裝配中各部件間的拆裝順序具有一定的順序邏輯,因此,在虛擬拆裝系統(tǒng)設(shè)計時需要考慮到拆裝順序可能造成的影響,即在拆裝過程中,系統(tǒng)需要“辨別”拆裝順序是否按照工藝流程進行,若是則做出正確的拆裝響應(yīng),否則需要做出錯誤提示.讓系統(tǒng)“辨別”拆裝順序正確與否的關(guān)鍵是系統(tǒng)順序邏輯設(shè)計.

3.2.1 順序邏輯設(shè)計

為簡化設(shè)計,本文定義一種特殊的數(shù)據(jù)結(jié)構(gòu)——依賴表來實現(xiàn)對拆裝順序的限制.其核心思想是:當一個節(jié)點包含某幾個部件時,它必須包含另外幾個部件,否則該節(jié)點存在依賴異常,即拆裝順序不正確.在實現(xiàn)中,前者使用一個復(fù)合節(jié)點做篩選,后者使用另一個復(fù)合節(jié)點做判定.在程序啟動時按照依賴表把每條依賴寫入對應(yīng)部件節(jié)點中,每個部件節(jié)點可能存在多條依賴.當判斷某節(jié)點內(nèi)是否存在依賴異常時,通過篩選節(jié)點確定哪幾條依賴生效,然后對生效的依賴所對應(yīng)的判定節(jié)點進行判定.若判定全部通過,則依賴全部滿足,否則存在依賴異常.本文中,依賴表定義為二維數(shù)組,每行兩個元素,分別為篩選節(jié)點和判定節(jié)點(這里的節(jié)點包含復(fù)雜節(jié)點).

在安裝過程中,當兩個半鍵配對連接后,兩個部件及其連接的所有部件形成一個復(fù)合節(jié)點.如果連接這兩個部件前需要先連其他部件,那么這個復(fù)合節(jié)點中必然存在依賴異常,否則不存在依賴異常.因此,判斷該鍵是否可以配對連接,即判斷連接后該節(jié)點是否存在依賴異常.類似的,在拆解過程中,當拆開兩個半鍵時,所屬的兩個部件會有各自的復(fù)合節(jié)點.如果拆開這兩個部件前需要先拆其他部件,那么這兩個復(fù)合節(jié)點中必然存在依賴異常.因此,判斷該鍵是否可以斷開,即判斷拆開后的兩個復(fù)合節(jié)點是否存在依賴異常.

3.2.2 順序邏輯算法實現(xiàn)

依賴表中已經(jīng)存入了部件節(jié)點之間的依賴關(guān)系.系統(tǒng)要正確實現(xiàn)拆裝順序,需要設(shè)計算法來解讀依賴表,系統(tǒng)會根據(jù)依賴的滿足與否判定拆裝是否正確,并以此體現(xiàn)拆裝順序.

解讀依賴表首先考慮用包含關(guān)系進行判斷,即判斷篩選節(jié)點中是否包含判定節(jié)點.但是包含關(guān)系不能解決所有情況,例如存在相同部件,檢測出包含但不能證明是該節(jié)點所需的部件,因此不僅需要考慮類型包含還需要考慮實例包含和結(jié)構(gòu)包含.在所有的包含類型中,類型包含是基礎(chǔ),通過參考節(jié)點的數(shù)據(jù)來決定進階判定,若參考節(jié)點無實例無鍵數(shù)據(jù),則為純類型包含;若其中若干節(jié)點有實例物體,則另加實例判定;若其中若干物體有鍵數(shù)據(jù),則另加結(jié)構(gòu)判定.算法流程設(shè)計如下:(1)檢測篩選節(jié)點的類型包含.(2)將檢測到的類型加入到實例集合中.(3)使用圖的廣度優(yōu)先搜索檢測判定節(jié)點的具體實例.(4)若存在實例包含則對實例的鍵的位置進行結(jié)構(gòu)包含檢測.當3種包含都滿足則說明拆裝過程不存在依賴異常,部件與部件之間的鍵連接或斷開操作順序正確.否則,依賴異常,拆裝操作中斷.

4 測試結(jié)果與分析

虛擬拆裝系統(tǒng)借助HoloLens MR 頭顯采用混合現(xiàn)實的方式進行交互,基于混合現(xiàn)實的人機交互為用戶和應(yīng)用環(huán)境提供了無縫的界面[11].本文采用機械模型——6 關(guān)節(jié)機械臂以及特種閥門進行系統(tǒng)通用性測試,并驗證系統(tǒng)拆裝邏輯的準確性.機械臂主要由6個節(jié)點組成,具體結(jié)構(gòu)如圖4.

圖4 機械臂

4.1 連接邏輯測試

(1)移動:將節(jié)點3到節(jié)點6 共4個部件安裝在一起形成一個整體,移動其中一個部件節(jié)點5 導(dǎo)致連帶移動,即部件整體形成的復(fù)雜節(jié)點也會向相同的方向移動.移動操作效果圖如圖5.

圖5 移動測試

(2)旋轉(zhuǎn):將節(jié)點4到節(jié)點6 共3個部件安裝在一起形成一個整體,將其中一個節(jié)點逆時針旋轉(zhuǎn)90°,部件整體形成的復(fù)雜節(jié)點也會跟隨旋轉(zhuǎn)相同的角度.旋轉(zhuǎn)操作效果圖如圖6.

圖6 旋轉(zhuǎn)測試

(3)固定:將節(jié)點3到節(jié)點6 共4個部件安裝在一起形成一個整體,固定其中一個節(jié)點,部件整體形成的復(fù)雜節(jié)點也被固定,無法進行移動或者旋轉(zhuǎn)等操作.固定操作效果圖如圖7.

圖7 固定測試

測試結(jié)果表明,在拆裝過程中連接邏輯能夠精確判斷部件之間的連接關(guān)系,系統(tǒng)能夠根據(jù)具體的操作做出正確的響應(yīng).滿足了連接邏輯的設(shè)計要求,驗證了連接邏輯的準確性.

4.2 順序邏輯測試

節(jié)點3到節(jié)點6 共4個部件安裝在一起形成一個整體,將形成的復(fù)雜節(jié)點設(shè)置為T.按照工藝流程及測試系統(tǒng)需要,我們在依賴表中設(shè)置依賴關(guān)系為:復(fù)雜節(jié)點T與節(jié)點2裝配之前需要先將節(jié)點2與節(jié)點1裝配,拆解順序與此相反.因此,若嚴格按照安裝順序進行裝配,順序邏輯不存在依賴異常,系統(tǒng)將準確的進行裝配操作;若違反安裝順序,例如在節(jié)點2 未與節(jié)點1裝配之前將復(fù)雜節(jié)點T與節(jié)點2進行裝配,系統(tǒng)將提示裝配異常.拆解操作與裝配順序相反,這里不加贅述.順序邏輯測試如圖8.

圖8 順序邏輯測試

測試結(jié)果表明,在拆裝過程中順序邏輯能夠正確處理部件之間的拆裝順序,系統(tǒng)能夠按照工藝流程準確的進行拆解和裝配,若違反順序,系統(tǒng)將不會做出拆裝響應(yīng).滿足了順序邏輯的設(shè)計要求,驗證了順序邏輯的準確性.

4.3 閥門拆裝測試

為了使測試結(jié)果更具普適性,本文對特種閥門進行了同樣的測試.圖9展示了特種閥門在該虛擬拆裝系統(tǒng)中的拆裝測試,測試結(jié)果表明:系統(tǒng)的拆裝邏輯能夠按照工藝流程正確的處理部件之間的拆解和裝配,即驗證了系統(tǒng)拆裝邏輯的準確性以及系統(tǒng)的通用性.

圖9 閥門拆裝測試

5 結(jié)論

為了解決現(xiàn)有的虛擬拆裝系統(tǒng)存在通用性差等問題,本文提出了一種基于圖遍歷算法的拆裝邏輯,并在此基礎(chǔ)上設(shè)計實現(xiàn)了一套基于混合現(xiàn)實的虛擬拆裝系統(tǒng).最后,通過自然交互的方式,使用了不同模型對該系統(tǒng)進行了測試.測試結(jié)果表明:該系統(tǒng)不僅能夠生動形象的展示模型拆裝的過程,也能正確處理部件之間的拆裝順序,并且能夠按照工藝流程對拆裝過程進行限制,對于不同的模型具有通用性.因此,本系統(tǒng)初步解決了現(xiàn)有虛擬拆裝系統(tǒng)通用性差、適用范圍小等問題,具有很高的實用價值.

本文實現(xiàn)的系統(tǒng)在用戶體驗方面還需進一步完善,同時本文提出的算法也有改進的余地.下一步將提高界面友好度并改進算法復(fù)雜度,以實現(xiàn)系統(tǒng)更加真實高效的運行.