盧山雨，劉世民，丁志昆，鮑勁松

(東華大學(xué) 機(jī)械工程學(xué)院，上海 201620)

0 引言

隨著“工業(yè)4.0”“中國(guó)制造2025”等工業(yè)戰(zhàn)略的先后提出，以智能制造為主導(dǎo)的第四次工業(yè)革命已經(jīng)來(lái)臨。智能制造系統(tǒng)利用新一代信息技術(shù)集成加工過(guò)程中的設(shè)備資源，實(shí)現(xiàn)加工過(guò)程的信息感知、網(wǎng)絡(luò)通信和數(shù)據(jù)集成，并以制造過(guò)程數(shù)據(jù)的分析為基礎(chǔ)，實(shí)現(xiàn)制造過(guò)程的性能優(yōu)化分析、自主決策、高性能等智能化服務(wù)[1]。周濟(jì)等[2]提出，制造系統(tǒng)的發(fā)展內(nèi)涵始終是以人為本，制造系統(tǒng)也始終是由人、信息系統(tǒng)、物理系統(tǒng)組成。在傳統(tǒng)制造模式中，“人—信息系統(tǒng)—物理系統(tǒng)”三者缺乏有效聯(lián)系，信息傳遞效率低，導(dǎo)致加工效率低、成本高；隨著制造技術(shù)的不斷演進(jìn)，基于數(shù)字孿生(Digital Twin, DT)技術(shù)的加工系統(tǒng)被提出，通過(guò)數(shù)字空間和物理空間中模型完全、實(shí)時(shí)的映射實(shí)現(xiàn)加工中的仿真和控制，被認(rèn)為是實(shí)現(xiàn)智能制造系統(tǒng)的重要技術(shù)之一。然而，目前數(shù)字孿生加工系統(tǒng)的數(shù)據(jù)雖然高度集成，但是復(fù)雜多樣，缺少高效的人機(jī)信息交互方法。因此，本文通過(guò)研究增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)技術(shù)在數(shù)字孿生加工系統(tǒng)中的應(yīng)用，加強(qiáng)數(shù)字孿生加工系統(tǒng)中的人機(jī)交互手段，從而進(jìn)一步加強(qiáng)系統(tǒng)中信息傳遞的效率，提高加工效率，降低加工成本。

1 研究現(xiàn)狀

1.1 加工模式的發(fā)展

隨著科學(xué)技術(shù)的不斷發(fā)展，加工制造模式發(fā)生了巨大的變化。如圖1a所示，在傳統(tǒng)加工過(guò)程中，工人在檢測(cè)工件是否符合工藝要求時(shí)，往往需要中斷加工，這種模式信息集成度低，加工過(guò)程缺乏連續(xù)性和實(shí)時(shí)性，導(dǎo)致加工效率低、產(chǎn)品質(zhì)量一致性差。數(shù)字孿生加工技術(shù)可以改進(jìn)傳統(tǒng)加工方法(如圖1b)，通過(guò)建立加工系統(tǒng)的數(shù)字孿生模型，集成加工各要素的狀態(tài)數(shù)據(jù)，實(shí)現(xiàn)加工過(guò)程的實(shí)時(shí)監(jiān)控、仿真、優(yōu)化與決策[3]。然而，因?yàn)閺?fù)雜產(chǎn)品加工需要滿足極端服役環(huán)境，對(duì)產(chǎn)品質(zhì)量和性能要求極高(如航天產(chǎn)品)，而且產(chǎn)品的幾何形貌、表面粗糙度和殘余應(yīng)力等變化復(fù)雜，所以人在加工過(guò)程中不可或缺。AR技術(shù)能夠加強(qiáng)人與數(shù)字孿生加工系統(tǒng)的聯(lián)系，將數(shù)字孿生加工系統(tǒng)中的傳感器和設(shè)備信息實(shí)時(shí)顯示在物理世界中，從而增強(qiáng)人對(duì)加工狀態(tài)的感知，實(shí)現(xiàn)實(shí)時(shí)在線測(cè)量，同時(shí)將AR直接介入加工系統(tǒng)，提高了數(shù)字孿生加工系統(tǒng)對(duì)復(fù)雜產(chǎn)品加工過(guò)程的應(yīng)對(duì)能力，如圖1c所示。

1.2 數(shù)字孿生在加工中的應(yīng)用

自Michael Grieves教授于2002年提出數(shù)字孿生概念后[4]，國(guó)內(nèi)外學(xué)者對(duì)數(shù)字孿生技術(shù)在加工系統(tǒng)中的應(yīng)用進(jìn)行了廣泛研究。在車間層面，Coronado等[5]通過(guò)MTConnect協(xié)議獲取車間設(shè)備數(shù)據(jù)，構(gòu)建了車間數(shù)字孿生模型；Zhou等[6]提出一個(gè)面向數(shù)字孿生制造單元的通用框架。在設(shè)備層面，Luo等[7-8]提出一種用于數(shù)字孿生機(jī)床的建模方法，包括多領(lǐng)域統(tǒng)一建模方法、映射方法和自主策略，實(shí)現(xiàn)了一個(gè)數(shù)控機(jī)床的數(shù)字孿生系統(tǒng)，可以優(yōu)化操作模式，減少突發(fā)故障，提高數(shù)控機(jī)床的穩(wěn)定性；Zhu等[9]提出一種基于Web的虛擬車銑系統(tǒng)，使設(shè)計(jì)和加工人員能夠更高效地做出決策或驗(yàn)證計(jì)算機(jī)數(shù)字控制(Computer Numerical Control，CNC)代碼；Cao等[10]使用數(shù)字孿生系統(tǒng)作為數(shù)控加工的智能和分析中心；Liu等[11]提出一種基于數(shù)字孿生概念的機(jī)床系統(tǒng)開(kāi)發(fā)方法。在產(chǎn)品層面，Miller等[12]通過(guò)總結(jié)加工零件的行為信息擴(kuò)展了3D-CAD模型；Zhao等[13]提出一種用于產(chǎn)品制造過(guò)程的數(shù)字孿生過(guò)程模型(Digital Twin Process Model，DTPM)建模方法，討論了實(shí)時(shí)數(shù)據(jù)的獲取方法和模擬數(shù)據(jù)的管理方法；Liu等[14-15]提出一種基于數(shù)字孿生技術(shù)的新型產(chǎn)品加工過(guò)程評(píng)估方法，可以隨著加工條件的動(dòng)態(tài)變化和可用制造資源的不確定性來(lái)評(píng)估過(guò)程計(jì)劃。

值得注意的是，制造系統(tǒng)中人的作用不可忽視，因此需要解決數(shù)字孿生制造系統(tǒng)中的人機(jī)交互問(wèn)題。對(duì)于這一問(wèn)題，Ma等[16]分析了產(chǎn)品生命周期中人機(jī)交互模式的缺點(diǎn)和新要求，提出一種面向數(shù)字孿生的人機(jī)交互框架；趙浩然等[17]針對(duì)數(shù)字孿生車間的可視化監(jiān)控提出一種多層次的三維可視化監(jiān)控模型和實(shí)時(shí)數(shù)據(jù)驅(qū)動(dòng)的虛擬車間運(yùn)行模式；Tao等[18]基于數(shù)字孿生進(jìn)行了高保真可視化仿真設(shè)計(jì)；Tong等[19]提出一種基于智能機(jī)床(Intelligent Machine Tool, IMT)數(shù)字孿生的實(shí)時(shí)加工數(shù)據(jù)應(yīng)用和服務(wù)，實(shí)現(xiàn)了數(shù)字孿生中的數(shù)據(jù)可視化并進(jìn)行了分析，包括加工軌跡、加工狀態(tài)和能耗。

1.3 數(shù)字孿生與增強(qiáng)現(xiàn)實(shí)

上述文獻(xiàn)研究了數(shù)字孿生數(shù)據(jù)的可視化方法和人機(jī)交互方法，其中可視化方式還停留在傳統(tǒng)的看板系統(tǒng)和2D顯示器，難以全面直觀地表達(dá)海量的孿生數(shù)據(jù)；作為一種高度人機(jī)交互界面，AR已經(jīng)在游戲、教育等領(lǐng)域展開(kāi)廣泛應(yīng)用。在制造業(yè)中，李旺等[20]研究了面向AR的裝配工藝信息模型，通過(guò)AR技術(shù)對(duì)基本裝配工藝信息模型進(jìn)行增強(qiáng)可視化表達(dá)；Ceruti等[21]使用AR技術(shù)模擬增材制造過(guò)程，有助于提前發(fā)現(xiàn)可能的設(shè)計(jì)誤差和加工誤差，避免浪費(fèi)時(shí)間和材料，同時(shí)提高加工效率；Antonelli等[22]基于AR指導(dǎo)焊接過(guò)程的可視化，大大提高了焊接效率；程云等[23]提出并研究了一種基于AR的產(chǎn)品質(zhì)量信息傳輸方法，該方法可以提高加工過(guò)程中產(chǎn)品的檢測(cè)效率和加工效率，減輕工人負(fù)擔(dān)；方維等[24]提出一種基于AR的智能分揀系統(tǒng)，解決了傳統(tǒng)人工分揀系統(tǒng)在倉(cāng)庫(kù)分揀中效率低、揀錯(cuò)率高的問(wèn)題；Andreas等[25]通過(guò)將AR技術(shù)應(yīng)用于車間布置提高了車間布置的效率和成功率；Liu等[26]提出網(wǎng)絡(luò)物理機(jī)床(Cyber Physical Machine Tool，CPMT)的概念，采用AR實(shí)現(xiàn)人與CPMT之間直觀、高效的人機(jī)交互。上述文獻(xiàn)研究了AR技術(shù)在不同制造階段中的應(yīng)用，但是缺少利用AR對(duì)數(shù)字孿生加工系統(tǒng)進(jìn)行數(shù)據(jù)可視化和控制的研究。

為了解決數(shù)字孿生加工系統(tǒng)中數(shù)字孿生信息表達(dá)困難、缺乏高效的人機(jī)交互手段的問(wèn)題，本文提出面向AR的數(shù)字孿生加工架構(gòu)，構(gòu)建了面向AR的數(shù)字孿生加工過(guò)程信息集成模型，重點(diǎn)研究了數(shù)字孿生AR多視圖動(dòng)態(tài)生成方法和多元信息融合追蹤技術(shù)，實(shí)現(xiàn)了高效的數(shù)字孿生數(shù)據(jù)可視化和穩(wěn)定的虛實(shí)融合；將孿生數(shù)據(jù)與物理世界結(jié)合，增強(qiáng)了人與數(shù)字孿生加工系統(tǒng)的聯(lián)系，提高了人對(duì)加工過(guò)程的感知和控制，從而保證加工質(zhì)量，提高加工效率。

2 面向AR的數(shù)字孿生加工系統(tǒng)與建模

2.1 面向AR的數(shù)字孿生加工體系

本文以工序?yàn)榛締卧獦?gòu)建了圖2所示的面向AR的數(shù)字孿生加工系統(tǒng)，包括物理加工、數(shù)字化孿生加工和AR。圖中，P={P0,P1，…，Pn}表示加工工序，Ts表示執(zhí)行某工序Pi需要的時(shí)間段。在工序Pi內(nèi)，加工對(duì)象在t時(shí)刻的工步為pk，首先從物理世界獲取觀察到的加工對(duì)象狀態(tài)數(shù)據(jù)ProductStatei(t,pk)，包括尺寸要素、功能要素和性能要素；同時(shí)，從虛擬世界數(shù)字孿生模型中獲取孿生對(duì)象的狀態(tài)數(shù)據(jù)進(jìn)行分析計(jì)算，預(yù)測(cè)出當(dāng)前孿生對(duì)象的狀態(tài)DTStatei(t,pk)。其次，比對(duì)和分析觀察值、設(shè)計(jì)值和預(yù)測(cè)值，完成一次數(shù)字孿生比對(duì)操作。然后，使用AR技術(shù)將上述數(shù)字孿生比對(duì)過(guò)程進(jìn)行透明化和可視化。最后，將孿生信息注冊(cè)并顯示在指定的物理對(duì)象上，輔助工人進(jìn)行作業(yè)。

加工時(shí)除了觀察加工對(duì)象，工人還需要觀察制造設(shè)備和加工刀具等，系統(tǒng)通過(guò)建立數(shù)字化孿生設(shè)備和數(shù)字化孿生刀具獲取設(shè)備狀態(tài)MStatei(t,pk)和刀具狀態(tài)ToolStatei(t,pk)，與相對(duì)應(yīng)的孿生對(duì)象數(shù)據(jù)進(jìn)行比對(duì)，具體的比對(duì)過(guò)程類似于上述加工對(duì)象的比對(duì)過(guò)程?；贏R的數(shù)字孿生人機(jī)交互循環(huán)包括物理世界人機(jī)交互環(huán)路和虛擬世界人機(jī)交互環(huán)路兩部分，系統(tǒng)通過(guò)對(duì)數(shù)據(jù)的可視化增強(qiáng)了人對(duì)物理場(chǎng)景的理解，同時(shí)利用人對(duì)數(shù)據(jù)的比較和分析加強(qiáng)了系統(tǒng)的數(shù)字化決策能力。AR系統(tǒng)中物理世界(左側(cè)實(shí)線循環(huán))和虛擬世界(右側(cè)虛線循環(huán))的不同占比，體現(xiàn)了系統(tǒng)對(duì)物理世界和虛擬世界不同的增強(qiáng)強(qiáng)度。

2.2 面向AR的數(shù)字孿生加工過(guò)程信息集成模型

面向AR的數(shù)字孿生加工過(guò)程信息集成模型(DT-MPM)如圖3所示，包括靜態(tài)數(shù)據(jù)PSD(工件在加工過(guò)程中保持不變的數(shù)據(jù))、實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)RTD和推理數(shù)據(jù)RD，即

DT-MPM=(PSD,RTD,RD)。

(1)

PSD=(GDD,PDD,TP,MP)。

(2)

式中：GDD為工件的幾何模型數(shù)據(jù)；PDD為工藝設(shè)計(jì)數(shù)據(jù)；TP為刀具屬性數(shù)據(jù)；MP為機(jī)床屬性數(shù)據(jù)。

RTD=(WQD,RTS,RMS)。

(3)

式中：WQD為工件質(zhì)量數(shù)據(jù)；RTS為刀具實(shí)時(shí)狀態(tài)數(shù)據(jù)；RMS為機(jī)床實(shí)時(shí)狀態(tài)數(shù)據(jù)。

RD=(WQP,MSP,TSP,CPR)。

(4)

式中：WQP為工件質(zhì)量預(yù)測(cè)值；MSP為機(jī)床狀態(tài)預(yù)測(cè)值；TSP為刀具狀態(tài)預(yù)測(cè)值；CPR為當(dāng)前加工建議。

3 數(shù)字孿生AR多視圖動(dòng)態(tài)生成與融合

基于數(shù)字孿生的加工信息集成模型利用AR技術(shù)可以實(shí)現(xiàn)信息可視化。數(shù)字孿生加工系統(tǒng)中的數(shù)據(jù)具有多樣化和復(fù)雜化的特征，在不同加工步中需要關(guān)注不同數(shù)據(jù)。然而，傳統(tǒng)的界面內(nèi)容均為事先設(shè)定和布局靜態(tài)，無(wú)法自主選擇感興趣的數(shù)據(jù)，很難滿足數(shù)字孿生加工系統(tǒng)的需求。因此，本文從視圖動(dòng)態(tài)生成與融合兩方面出發(fā)，實(shí)現(xiàn)孿生模型信息的多視圖生成、注冊(cè)與動(dòng)態(tài)跟蹤。

3.1 數(shù)字孿生AR多視圖動(dòng)態(tài)生成

圖4所示為面向數(shù)字孿生加工的AR多視圖動(dòng)態(tài)生成方法。在加工工序Pi時(shí)，系統(tǒng)從信息模型中獲取不同數(shù)據(jù)及其關(guān)聯(lián)對(duì)象。首先，系統(tǒng)將數(shù)據(jù)自動(dòng)轉(zhuǎn)化為相應(yīng)的可視化對(duì)象，其中工件和刀具模型被表示為三維模型，靜態(tài)信息(如工藝要求)用文本形式表示，動(dòng)態(tài)信息(如刀具溫度)用圖表形式表示；然后，信息模型中的關(guān)聯(lián)對(duì)象與物理對(duì)象融合，形成可視化對(duì)象注冊(cè)所需的錨點(diǎn)A；接著，對(duì)比當(dāng)前視角和理想觀察畫(huà)面，生成可視化對(duì)象變換矩陣M；最后，將可視化對(duì)象和錨點(diǎn)A綁定，根據(jù)變換矩陣M調(diào)整可視圖對(duì)象姿態(tài)生成AR視圖對(duì)象。

每個(gè)AR多視圖中所包含的AR視圖對(duì)象并不固定，工序不同，或者實(shí)際加工情況發(fā)生變化，視圖對(duì)象的選取也不相同。將系統(tǒng)動(dòng)態(tài)選擇視圖對(duì)象ARVOrecommend、人工選擇視圖對(duì)象ARVOselect和固有視圖對(duì)象ARVOfixed組合，共同構(gòu)成AR多視圖

ARMV?(ARVOrecommend,ARVOselect,ARVOfixed)。

(5)

式中:ARMV表示AR多視圖；ARVOfixed包括控制界面、數(shù)字孿生加工建議界面等由用戶提前設(shè)置的AR視圖對(duì)象；ARVOselect是用戶根據(jù)當(dāng)前加工狀態(tài)和經(jīng)驗(yàn)主動(dòng)選擇的AR視圖對(duì)象；ARVOrecommend表示系統(tǒng)根據(jù)當(dāng)前加工狀態(tài)自動(dòng)選擇的AR視圖對(duì)象。

ARVOrecommend的推薦排序結(jié)果與AR視圖對(duì)象View、系統(tǒng)上下文狀態(tài)Context和工序Process相關(guān)，即

R:View×Context×Process→Rating。

(6)

在不考慮Context對(duì)推薦的影響時(shí)，可以通過(guò)協(xié)作過(guò)濾算法進(jìn)行視圖推薦。假設(shè)在工序P中，特定視圖v的評(píng)分為rv,p，比較視圖v的評(píng)分與其他已計(jì)算工序視圖Pv的評(píng)分，將其他工序評(píng)分的加權(quán)平均值用作預(yù)測(cè)。如果視圖Pv是工序P中已經(jīng)評(píng)過(guò)分的一組視圖，則視圖v的平均評(píng)分

(7)

協(xié)作過(guò)濾算法基于相似工序?qū)σ晥Dv的評(píng)分來(lái)預(yù)測(cè)特定工序?qū)σ晥Dv的評(píng)分。工序之間的相關(guān)性用皮爾遜相關(guān)系數(shù)計(jì)算，特定工序P和其他工序a的相似性w(p,a)的確定公式為

(8)

式中：Ip為工序P的視圖集合；Ia為工序a的視圖集合。

w(p,a)的值用于衡量?jī)蓚€(gè)工序評(píng)分向量之間的相似度，高絕對(duì)值表示高相似度，且w(p,a)∈[-1,+1]?？梢缘玫侥彻ば騊中視圖v的推薦評(píng)分pcollab(v,i)，

(9)

(10)

式中因子k為標(biāo)準(zhǔn)化權(quán)重。

在信息融合計(jì)算中，系統(tǒng)上下文信息定義為

Context=(C1,C2,…,Ck)。

(11)

式中Ci?C(i∈[1,k])表示任意類型中某維度的上下文信息，包括如機(jī)床狀態(tài)信息、刀具狀態(tài)信息、工件加工幾何狀態(tài)、工件加工物理狀態(tài)等。通過(guò)灰色關(guān)聯(lián)度算法求解系統(tǒng)中的上下文關(guān)系與視圖關(guān)聯(lián)度矩陣

(12)

最后，用式(13)和式(14)選擇VOrecommend中的視圖對(duì)象：

(13)

(14)

通過(guò)該方法，可以根據(jù)需要選取評(píng)分排名前N(N由使用者決定)的視圖，與固定視圖和用戶選擇視圖共同組成AR多視圖。

3.2 虛實(shí)注冊(cè)與動(dòng)態(tài)跟蹤

上述方法可以動(dòng)態(tài)構(gòu)建數(shù)字孿生加工的AR多視圖，但是面對(duì)加工過(guò)程中工件和加工狀態(tài)不斷變化的情況，直觀、準(zhǔn)確地實(shí)現(xiàn)AR可視化具有挑戰(zhàn)性，本文結(jié)合目前絕大多數(shù)平板和AR設(shè)備都具備的攝像頭和傳感器模塊對(duì)物理對(duì)象進(jìn)行注冊(cè)追蹤，如圖5所示。該動(dòng)態(tài)注冊(cè)追蹤方法分為離線和在線兩個(gè)階段，離線階段利用數(shù)字孿生的特點(diǎn)生成產(chǎn)品多工序多視角圖像樣本，并計(jì)算樣本梯度方向描述符和相機(jī)姿態(tài)，保存為匹配模板；在線階段，根據(jù)相機(jī)采集到的圖像，實(shí)時(shí)計(jì)算梯度方向描述符，并采用LINE-MOD模板匹配方法[27]進(jìn)行匹配，匹配成功后將AR視圖對(duì)象注冊(cè)到相應(yīng)位置。在追蹤時(shí)，融合計(jì)算加速度計(jì)、磁力計(jì)和陀螺儀產(chǎn)生的數(shù)據(jù)來(lái)估計(jì)設(shè)備姿態(tài)，避免因丟失工件視野而造成的反復(fù)注冊(cè)問(wèn)題。

系統(tǒng)于在線階段通過(guò)模型視圖注冊(cè)可得初始姿態(tài)P0，隨后啟用傳感器數(shù)據(jù)進(jìn)行實(shí)時(shí)追蹤。首先對(duì)傳感器數(shù)據(jù)進(jìn)行濾波融合，得到當(dāng)前姿態(tài)估計(jì)Pi，

(15)

式中：ri為某時(shí)刻的設(shè)備姿態(tài)；μ1為低頻噪聲；μ2為高頻噪聲；τ為時(shí)間常數(shù)；Δt為采樣間隔。

然而，在長(zhǎng)時(shí)間運(yùn)行中，姿態(tài)估計(jì)可能存在誤差累積和丟幀的問(wèn)題，需要進(jìn)一步利用滑動(dòng)窗口算法對(duì)其位姿Pf進(jìn)行計(jì)算和估計(jì)，滑動(dòng)窗口跟蹤算法如下：

讀取一組連續(xù)姿態(tài)數(shù)據(jù)Pi(i∈[1,20])，因?yàn)闃O短時(shí)間內(nèi)姿態(tài)的各個(gè)分量均為線性變化，所以通過(guò)最小二乘法對(duì)姿態(tài)進(jìn)行線性擬合，得到i+1時(shí)刻的姿態(tài)估計(jì)

Pi=a×i+b。

(16)

當(dāng)歷史Pi的偏差加權(quán)平方和最小時(shí)，得到最準(zhǔn)確的預(yù)測(cè)值

(17)

(18)

(19)

聯(lián)立方程，解得：

(20)

(21)

根據(jù)式(20)和式(21)，結(jié)合Pi=a×i+b可以得到下一時(shí)刻的姿態(tài)預(yù)測(cè)值Pf。

4 案例分析

本文基于上述方法設(shè)計(jì)開(kāi)發(fā)了面向AR的數(shù)字孿生加工系統(tǒng)，該系統(tǒng)集成了產(chǎn)品加工過(guò)程數(shù)據(jù)，并根據(jù)用戶需求提供了相應(yīng)的數(shù)字孿生AR視圖，從而可以直接控制加工系統(tǒng)，降低用戶獲取有效信息的難度，提高加工效率。下面將從系統(tǒng)架構(gòu)、實(shí)例驗(yàn)證及結(jié)果進(jìn)行討論。

4.1 系統(tǒng)原型架構(gòu)

面向AR的數(shù)字孿生加工過(guò)程系統(tǒng)軟件架構(gòu)包括數(shù)據(jù)監(jiān)測(cè)和控制兩部分，如圖6所示。在監(jiān)測(cè)部分，系統(tǒng)通過(guò)多種設(shè)備和傳感器采集加工過(guò)程中的數(shù)據(jù)，包括工件幾何、物理、設(shè)備狀態(tài)信息，根據(jù)這些信息生成加工狀態(tài)預(yù)測(cè)和加工建議，然后將這些內(nèi)容實(shí)時(shí)轉(zhuǎn)換為AR視圖并顯示；控制部分允許用戶與數(shù)字孿生的物理部分和虛擬部分進(jìn)行交互。從數(shù)字孿生AR視圖中獲得直觀、全面的加工過(guò)程信息后，

用戶可以利用這些信息做出決策，通過(guò)AR系統(tǒng)直接控制數(shù)字空間和物理空間，也可以通過(guò)手勢(shì)和語(yǔ)音命令控制數(shù)字孿生的虛擬部分來(lái)影響物理世界。

4.2 案例驗(yàn)證

本文以某典型航天結(jié)構(gòu)件帶載體盒加工為例，工件材料為高體積分?jǐn)?shù)鋁碳化硅(SiCp/Al)，具有高強(qiáng)度、低密度和極好的尺寸穩(wěn)定性等優(yōu)點(diǎn)。加工時(shí)，由于材料熔點(diǎn)低，造成刀具磨損快，導(dǎo)致工件表面質(zhì)量和加工精度難以保證。工件實(shí)物和數(shù)字模型如圖7所示。

系統(tǒng)的數(shù)據(jù)采集方法如圖8所示。在運(yùn)行過(guò)程中，靜態(tài)數(shù)據(jù)根據(jù)需要直接從數(shù)據(jù)庫(kù)中讀取。動(dòng)態(tài)數(shù)據(jù)分為機(jī)床狀態(tài)數(shù)據(jù)和安裝在機(jī)床上的外掛傳感器數(shù)據(jù)兩種。機(jī)床狀態(tài)數(shù)據(jù)可以直接從機(jī)床控制器中通過(guò)OPC-UA協(xié)議讀??；外掛傳感器數(shù)據(jù)則根據(jù)其通信方法的不同，采用相應(yīng)的通信協(xié)議先讀取至終端，再對(duì)數(shù)據(jù)進(jìn)行清洗和整理，剔除空值和異常值后整合到信息集成模型。

表1所示為帶載體盒加工過(guò)程中涉及的數(shù)據(jù)來(lái)源、類型和相關(guān)技術(shù)指標(biāo)的說(shuō)明。

表1 數(shù)據(jù)來(lái)源和類型

根據(jù)所采集數(shù)據(jù)的類型特點(diǎn)構(gòu)建不同的動(dòng)態(tài)AR視圖對(duì)象，包括設(shè)備信息、工件加工質(zhì)量信息、切削力及其預(yù)測(cè)值等AR視圖對(duì)象，如圖9所示。

綜合本文所提方法，對(duì)當(dāng)前工序狀態(tài)下所有動(dòng)態(tài)AR視圖進(jìn)行評(píng)價(jià)，如表2所示。

表2 部分AR視圖得分

根據(jù)得分結(jié)果，系統(tǒng)選擇排名前六的視圖作為推薦視圖，然后加上固定視圖(控制選項(xiàng)視圖和工序進(jìn)程視圖)生成數(shù)字孿生AR多視圖，如圖10所示。

最后，將面向AR的數(shù)字孿生加工系統(tǒng)應(yīng)用到帶載體盒的實(shí)際加工過(guò)程中。圖11所示為機(jī)器加工過(guò)程中該系統(tǒng)的使用者視角(即使用者實(shí)際看到的內(nèi)容)和視圖內(nèi)容細(xì)節(jié)，圖中通過(guò)Hololens眼鏡可以直觀、全面地看到制造環(huán)境中的數(shù)字孿生數(shù)據(jù)。另外，使用者可以通過(guò)手勢(shì)、語(yǔ)音等多種方式與系統(tǒng)進(jìn)行深度交互，進(jìn)而控制加工過(guò)程信息展示。如圖12所示，采用手勢(shì)和語(yǔ)音可以與系統(tǒng)中的大部分視圖交互，交互行為包括但不限于：①調(diào)整視圖對(duì)象的縮放、位置、角度；②從視圖庫(kù)中選擇不同的視圖對(duì)象；③通過(guò)視圖對(duì)象控制加工設(shè)備，如選擇當(dāng)前工序、調(diào)整NC代碼、更換刀具等。同時(shí)操作人員凝視(系統(tǒng)可以捕捉使用者視線)視圖中的元素時(shí)，系統(tǒng)將自動(dòng)彈出該元素的具體數(shù)值，從而實(shí)現(xiàn)更為精細(xì)的狀況感知。

4.3 實(shí)驗(yàn)討論

表3所示為對(duì)傳統(tǒng)方法、現(xiàn)有孿生加工方法和本文方法的對(duì)比。與傳統(tǒng)方法相比，現(xiàn)有的數(shù)字孿生方法可以實(shí)時(shí)感知和預(yù)測(cè)產(chǎn)品的幾何和物理變化，并推薦相關(guān)的決策方法，但相比于本文方法，忽略了加工信息的AR可視化與交互。

表3 傳統(tǒng)方法、現(xiàn)有孿生加工方法和本文方法的主要指標(biāo)比較

為評(píng)估本文所提注冊(cè)追蹤算法的注冊(cè)精度和跟蹤穩(wěn)定性，進(jìn)行了多次注冊(cè)精度和追蹤穩(wěn)定性評(píng)估實(shí)驗(yàn)，如表4所示。該算法在不同工序階段、不同情況下都有優(yōu)越的追蹤性能。

表4 注冊(cè)追蹤方法性能測(cè)試

5 結(jié)束語(yǔ)

隨著數(shù)字孿生技術(shù)在制造業(yè)的廣泛研究與應(yīng)用，產(chǎn)品數(shù)字孿生中集成了產(chǎn)品的全生命周期數(shù)據(jù)，可以通過(guò)數(shù)字孿生系統(tǒng)對(duì)其加工結(jié)果進(jìn)行仿真和預(yù)測(cè)。然而，目前的數(shù)字孿生系統(tǒng)缺乏高效的數(shù)據(jù)可視化人機(jī)交互接口，限制了數(shù)字孿生的應(yīng)用。本文將AR技術(shù)融入到數(shù)字孿生加工系統(tǒng)中，提出面向AR的數(shù)字孿生加工架構(gòu)，構(gòu)建了面向AR的數(shù)字孿生加工過(guò)程信息集成模型，重點(diǎn)研究了數(shù)字孿生加工系統(tǒng)的AR多視圖動(dòng)態(tài)生成方法和多元信息融合追蹤技術(shù)，實(shí)現(xiàn)了高效的數(shù)據(jù)可視化和穩(wěn)定的虛實(shí)融合，并通過(guò)典型航天結(jié)構(gòu)件帶載體盒加工的案例驗(yàn)證了所提方法的可行性和有效性。

然而本研究仍然存在一些不足，目前系統(tǒng)能夠采集的數(shù)據(jù)還比較有限，如何結(jié)合更多的實(shí)時(shí)數(shù)據(jù)和設(shè)計(jì)數(shù)據(jù)來(lái)增強(qiáng)人對(duì)當(dāng)前加工狀態(tài)的感知，是未來(lái)的研究重點(diǎn)。