楊樂 楊志威

通訊作者：楊志威，1995年11月，男，漢族，河南周口人，就讀于上海海事大學碩士研究生。研究方向：數字孿生技術與應用、智能制造。

基金項目：港口機械與海工裝備智能裝配關鍵技術研究及其示范應用（18040501600）;臨港新片區(qū)高新產業(yè)和科技創(chuàng)新專項項目（SH-LG-GK-2020-37）。

摘? 要：當前，制造系統(tǒng)的復雜化越來越高，為提升制造系統(tǒng)中協(xié)作機器人的狀態(tài)監(jiān)控的實時性、準確性與可預測性，借助數字孿生技術進行協(xié)作機器人的狀態(tài)監(jiān)控系統(tǒng)架構設計，并基于一個葉片裝配案例完成對基于數字孿生的協(xié)作機器人狀態(tài)監(jiān)控系統(tǒng)的開發(fā)與應用，通過系統(tǒng)應用提升了協(xié)作機器人狀態(tài)監(jiān)控的透明度，驗證了系統(tǒng)架構的有效性。

關鍵詞：數字孿生;協(xié)作機器人;狀態(tài)監(jiān)控

一、引言

當前，隨著制造業(yè)信息化的快速發(fā)展，尤其是數字化、智能化程度的提升，傳統(tǒng)的技術已經不能適應當前制造業(yè)的智能化發(fā)展需求[1]。同時隨著“工業(yè)4.0”和“中國制造2025”等智能制造戰(zhàn)略的實施，對于制造業(yè)在物理與虛擬空間的融合要求越來越高[2]。

制造業(yè)的制造環(huán)境正在變得越來越復雜，生產工廠隨之成為智能化裝備應用的高度復雜集合體[3]。特別是在智能化市場的背景下，導致新的智能化裝備涌現(xiàn)出來，智能化裝備與技術正不斷在生產過程中普及與應用。

當前的制造工廠正不斷探尋智能化裝備的最優(yōu)生產效益，正普遍使用稱為協(xié)作機器人的新一代工業(yè)機器人。然而，隨著生產過程智能化水平的提高，系統(tǒng)往往變得復雜，尤其是在產品裝配等復雜的生產過程中，對于協(xié)作機器人的狀態(tài)監(jiān)控仍然存在不足。

對于協(xié)作機器人在復雜裝配過程應用的研究，為了提升協(xié)作機器人狀態(tài)監(jiān)控的透明度與實時性，同時為了進行后續(xù)的設備故障預測，同時避免對協(xié)作機器人實體頻繁操作驗證產生的壽命等損害，通過在虛擬空間進行快速設計、集成開發(fā)協(xié)作機器人三維可視化狀態(tài)監(jiān)控與仿真系統(tǒng)成為了最優(yōu)方法[4]。在此，數字孿生成為了協(xié)作機器人狀態(tài)監(jiān)控開發(fā)與應用的新方法，借助數字孿生的概念實現(xiàn)對協(xié)作機器人物理行為狀態(tài)的監(jiān)控[5-6]。

本文的重點是關于數字孿生如何解決協(xié)作機器人的狀態(tài)監(jiān)控問題，本文基于一個裝配案例，描述基于數字孿生的協(xié)作機器人狀態(tài)監(jiān)控系統(tǒng)的開發(fā)并研究其實用性。這個案例是一個葉片裝配問題，因為葉片裝配是一個復雜、繁瑣并且危險的工作，將協(xié)作機器人應用于葉片裝配過程減輕人員的工作強度。

二、理論背景

（一）制造系統(tǒng)物理空間與信息空間的融合

在制造環(huán)境中，系統(tǒng)主要由生產要素、生產活動、生產過程三部分構成[7]。

系統(tǒng)使用者面對的系統(tǒng)困難程度可以稱為系統(tǒng)復雜性[8]，制造系統(tǒng)復雜性中的重要一方面是關于物理空間與信息空間之間的交互與融合。制造系統(tǒng)發(fā)展的復雜性按照信息與物理空間的融合程度可以分為以下四個階段。

第一階段，制造系統(tǒng)全部由制造設備實體組成，生產設備在人員的監(jiān)視下運行。

第二階段，信息系統(tǒng)開始出現(xiàn)，信息系統(tǒng)為物理生產過程進行指導，制造系統(tǒng)的復雜性相對較低。

第三階段，計算機與信息技術在制造活動中的應用越來越頻繁，各個設備之間通過網絡連接，此時能夠通過信息空間對物理制造設備進行控制，這也是目前制造系統(tǒng)處于的階段。

第四階段，信息與物理之間的交互與融合變得更加深入，對于制造系統(tǒng)的可預測性也更強，制造系統(tǒng)的自治性、調節(jié)性與柔性更強。

復雜的制造系統(tǒng)具有復雜的信息處理與交互過程，隨著智能化裝備在制造業(yè)的廣泛應用，復雜系統(tǒng)往往在監(jiān)控中存在弊端，系統(tǒng)隨之變得難以監(jiān)控與預測，特別是如果系統(tǒng)有人的參與時系統(tǒng)監(jiān)控的不足可能是致命的[9]。因此，在對復雜生產系統(tǒng)的過程監(jiān)控上需要更加實時、準確與透明的方法。

（二）數字孿生理論與優(yōu)勢

數字孿生通過將物理實體在虛擬空間進行創(chuàng)建與驅動完成孿生，通過數字化技術創(chuàng)建與物理實體所完全對應的虛擬映射模型，該虛擬映射模型被稱為孿生體[10]。數字孿生是物理實體的動態(tài)數字表示，數字化技術、物聯(lián)網技術和虛擬現(xiàn)實等技術的進步使數字孿生成為可能，它可以更加逼真地反映物理系統(tǒng)的實時運行狀況[11]。

當前為解決智能制造在實現(xiàn)過程中遇到的物理與信息空間融合瓶頸問題，數字孿生技術借助自身優(yōu)勢受到國內外企業(yè)和學者的廣泛關注。數字孿生通過構建與物理實體一致的孿生模型，通過數據交互實現(xiàn)對物理空間與信息空間之間的融合，孿生體不斷借助歷史數據對物理實體的運行狀態(tài)進行優(yōu)化[12]。

在國內，北航的陶飛等人提出了數字孿生車間的概念，提出了數字孿生車間五維模型[13]。鄭守國等人提出基于數字孿生的飛機總裝生產線車間建模框架，進一步提升了飛機總裝生產線車間在物理空間與信息空間的實時交互與深度融合 [14]。張素明提出一種基于數字孿生技術的火箭測試與發(fā)射過程健康管理系統(tǒng)設計方案，該方案通過建立運載火箭測試與發(fā)射階段數字孿生模型，實現(xiàn)對火箭測試和發(fā)射過程的天地鏡像仿真，依托數字孿生模型，對運載火箭健康管理功能進行了設計和優(yōu)化[15]。

國外的研究中，從學術研究來看，Greyce N Schroeder于 2014年發(fā)布了第一份關于DT的白皮書，并指出DT將加強產品設計和制造之間的循環(huán)[16]。在企業(yè)領域，Siemens公司將數字孿生技術應用到小型工控機設計中，完成了Nanobox PC的開發(fā)[17]。PTC公司采用數字孿生技術完成了物理與信息空間的實時交互，通過虛擬模型發(fā)現(xiàn)物理對象潛在的問題，并生成最優(yōu)的應用結果[18]。

（三）數字孿生建模要素

數字孿生技術在制造過程中的實際應用，需要從幾何，物理，行為和數據等維度對物理車間進行數字孿生模型創(chuàng)建，數字孿生建模架構如圖1所示。

1.幾何模型

數字孿生體是物理空間實體的真實映射，首先在孿生體的創(chuàng)建上需要從外觀、尺寸等方面建立與物理實體的一致性，基于實體的幾何尺寸、外觀與材質等方面進行三維模型創(chuàng)建與渲染，通常采用三維建模軟件用于對車間中的所有實體要素進行三維建模。

2.物理屬性

在孿生體的物理規(guī)則上需要建立約束關系，后期對于模型的數據驅動不會出現(xiàn)偏離與實踐運行過程不一致的狀況，借助虛擬現(xiàn)實軟件中物理引擎對物體添加物理屬性來完成對現(xiàn)實中運動、旋轉和碰撞等模擬。

3.行為規(guī)則

物理空間的生產過程是由多類生產要素構建的行為與規(guī)則集合，在數字孿生虛擬空間中各個模型在行為上的銜接、切換需要遵從物理空間的特性，主要涉及各個設備的運動狀態(tài)切換規(guī)則。

4.數據

數據是驅動數字孿生虛擬空間進行實時同步的關鍵，同時數據能夠將幾何，物理，行為等維度進行連接，從而實現(xiàn)三維模型對物理空間實體真實性映射，針對物理空間數據的多樣性，需要借助數據庫等工具進行管理，同時也便于處理與調用。

三、基于數字孿生的協(xié)作機器人狀態(tài)監(jiān)控系統(tǒng)架構設計

基于數字孿生技術理論，將數字孿生技術在協(xié)作機器人上進行運用，通過三維模型設計、物理屬性設置、行為規(guī)則建模與采集傳輸協(xié)作機器人的數據，從而完成協(xié)作機器人工作環(huán)境的孿生，并借助實際運行狀態(tài)數據在數字孿生虛擬空間完成狀態(tài)監(jiān)測與過程監(jiān)控，同時提供仿真操作虛擬環(huán)境，方便操作人員進行預測模擬，設計基于數字孿生的協(xié)作機器人狀態(tài)監(jiān)控系統(tǒng)架構如圖2所示。

（一）物理對象

物理對象即為孿生對象，數字孿生的實現(xiàn)以物理對象為基礎，孿生體借助數據驅動完成對物理對象行為的模擬并保持同步運轉，從而實現(xiàn)孿生映射過程。

（二）虛擬孿生體

虛擬孿生體是根據物理對象的四個維度構建的，即從幾何、物理、行為和數據進行映射。虛擬孿生體能夠進行過程監(jiān)控、生產優(yōu)化、運行指導等，虛擬孿生體在實時數據的驅動下，保證虛擬模型跟隨物理實體對象同步運行，從而實現(xiàn)各大功能。

（三）數據管理

數據管理是對孿生模型創(chuàng)建中數據維度的管理，通過數據管理完成數據采集與存儲，實現(xiàn)數據遠程訪問。數據管理依據數據庫進行創(chuàng)建，通過編目、分庫創(chuàng)建實現(xiàn)對不同設備、不同時刻、不同類型數據的存儲，通過數據整個數字孿生系統(tǒng)運轉。

（四）實時狀態(tài)監(jiān)控

基于虛擬孿生體完成的三維可視化場景創(chuàng)建、物理屬性設置、行為規(guī)則模擬，再借助數據驅動，可以實現(xiàn)實時數據驅動行為建模。監(jiān)控內容包括所有生產過程的實時同步映射，所有物理空間的生產流程都通過直觀的三維實時虛擬場景顯示。

四、基于數字孿生的協(xié)作機器人狀態(tài)監(jiān)控系統(tǒng)創(chuàng)建

基于系統(tǒng)架構，系統(tǒng)創(chuàng)建應從幾何建模、虛擬場景開發(fā)、物理屬性設置、行為規(guī)則與數據管理幾個維度進行創(chuàng)建，最終進行集成開發(fā)與應用，基于數字孿生的協(xié)作機器人狀態(tài)監(jiān)控系統(tǒng)創(chuàng)建流程如下圖3所示。

基于數字孿生的協(xié)作機器人狀態(tài)監(jiān)控系統(tǒng)創(chuàng)建的流程表述為：首先基于協(xié)作機器人實體尺寸、外觀等設計協(xié)作機器人三維模型;其次借助虛擬現(xiàn)實開發(fā)引擎進行虛擬場景創(chuàng)建，同時將設計好的三維模型導入到虛擬場景中;再之在虛擬場景中進行物理屬性設置，同時進行控制腳本的開發(fā);接下來依據物理空間協(xié)作機器人標準行為流程在虛擬環(huán)境中進行行為模型創(chuàng)建與腳本開發(fā);最后實時采集狀態(tài)數據，同時在虛擬環(huán)境中對模型進行驅動，下面針對五大部分進行研究與分析。

（一）協(xié)作機器人幾何建模與正運動學分析

協(xié)作機器人幾何建模是指三維模型的創(chuàng)建，本文采用的是UR5協(xié)作機器人，其UR5協(xié)作機器人幾何參數模型如圖4所示。其中，依據尺寸使用SolidWorks進行三維建模，到3dsMax中進行渲染處理，并以FBX格式導出。

由UR5協(xié)作機器人幾何參數模型可知，軸一、五、六處于豎直方向，軸二、三、四處于水平方向，軸二、三、四相鄰3軸平行，滿足機器人運動學的Pieper準則，其中，UR5機械臂DH參數如表1所示。

本研究用D-H變換矩陣表示軸i坐標系在軸i-1坐標系中的位置和角度，由此完成正運動學求解。根據D-H法建立坐標系的原則，D-H變換矩陣表示為：

（二）虛擬場景創(chuàng)建

系統(tǒng)要求創(chuàng)建的虛擬場景具有良好的真實感和沉浸感，因此，采用虛擬現(xiàn)實開發(fā)引擎Unity3D作為數字孿生虛擬空間的開發(fā)軟件，可以減少系統(tǒng)底層開發(fā)的工作量，提高系統(tǒng)開發(fā)效率?；赨nity3D的虛擬場景開發(fā)流程如下圖5所示，主要包含三維模型導入、模型布局、環(huán)境設置、腳本開發(fā)、終端發(fā)布五大過程。

（三）物理屬性設置

Unity3D中包含多類物理引擎，物理引擎的作用是模擬當有外力作用到對象時的按照真實物理行為作出的合理反應，通過物理引擎，在虛擬場景中物體之間的發(fā)生接觸與作用后產生影響與效果展現(xiàn)的更加真實。其中，Rigidbody（剛體）可以模擬對象在受力下作出與現(xiàn)實世界中一致現(xiàn)象或行為的模擬;碰撞體與剛體一起促使物體碰撞的發(fā)生以及對碰撞后反應動作的而模擬。

（四）基于FSM的虛擬環(huán)境行為規(guī)則模型

在虛擬環(huán)境中定義模型運動動作時，考慮到物理協(xié)作機器人的狀態(tài)都是離散變化的，針對不同狀態(tài)的切換需要進行消息的監(jiān)聽，從而作出對應狀態(tài)下的動作。因此，本文采用基于有限狀態(tài)機（Finite State Machine，F(xiàn)SM）實現(xiàn)行為規(guī)則模擬。有限狀態(tài)機FSM由狀態(tài)、事件、轉換和活動組成[19]。

以物理空間UR5協(xié)作機器人對物體進行識別完成抓取動作為例設計有限狀態(tài)機模型如圖6所示，該模型由來自物理環(huán)境采集指令與數據構建的有限輸入集合;由物理環(huán)境機械臂行為構建的有限狀態(tài)集合，每一個狀態(tài)由物理環(huán)境機械臂的實時動作數據驅動;以及有限輸出集合。

（五）數據驅動

可通過TCP/IP通信獲取UR5協(xié)作機器人實時狀態(tài)信息與數據，通過UR5協(xié)作機器人的相關IP地址與端口對相應數據的讀取與解析，進而實現(xiàn)數據存儲與顯示。UR5協(xié)作機器人的實時與歷史數據使用MySQL數據庫進行存儲與管理。

在Unity3D虛擬環(huán)境中使用C#編寫數據庫訪問腳本并將獲取的數據傳遞給UR5協(xié)作機器人的幾何變換屬性參數，從而實現(xiàn)模型的驅動，Unity3D中協(xié)作機器人模型數據驅動流程如圖7所示。

五、案例分析

汽輪機葉片轉子試驗臺是進行多功能葉片振動試驗的主要場所，在汽輪機葉片試驗臺上裝備UR5協(xié)作機器人幫助完成葉片的裝配工作，葉片試驗臺UR5協(xié)作機器人物理環(huán)境如圖8所示。

針對物理空間中的UR5協(xié)作機器人實體創(chuàng)建三維模型，在3dsMAX完成渲染后，導入到Unity3D創(chuàng)建的虛擬化環(huán)境中，同時進行燈光與材質的設置，建立好的UR5協(xié)作機器人狀態(tài)監(jiān)控虛擬場景如下圖9所示。

為了完成UR5協(xié)作機器人的工作空間的限定，通過碰撞檢測判斷是否接觸到地面等其他周圍物體，給整個UR5協(xié)作機器人三維模型添加Box Collider碰撞器。

系統(tǒng)通過封裝好的數據庫接口讀取實時數據傳遞給模型幾何變換與物理屬性的參數從而完成動態(tài)驅動過程。在對UR5協(xié)作機器人采集數據時，通過Socket對UR5協(xié)作機器人的實時反饋端口進行訪問，該端口自動返回機器人狀態(tài)與消息，采樣周期為8 ms，因此響應速度較快，能夠保證數據的實時性。

在虛擬環(huán)境中通過腳本獲取機械臂狀態(tài)數據并傳遞給UR5機械臂模型幾何變換參數中的變換屬性，實現(xiàn)各個關節(jié)的轉動。由于虛擬狀態(tài)監(jiān)控環(huán)境采用1∶1的三維模型設計，同時使用實時采集的數據完成位置與角度的驅動，因此保證了UR5協(xié)作機器人的驅動狀態(tài)與物理實體的一致性。

依據汽輪機葉片轉子試驗臺的物理機械臂實體對葉片抓取的標準過程，物理UR5協(xié)作機器人的葉片抓取過程狀態(tài)為：機器人處于初始位置;機器人移動到葉片放置位置;機器人抓取葉片;機器人移動到裝配位置;抓手釋放安裝葉片;回到初始位置?；谟邢逘顟B(tài)機的行為規(guī)則模擬，在狀態(tài)轉換與控制上依據實時數據作為響應事件的輸入變量，進一步保證了模型驅動的精度。

在虛擬環(huán)境中完成葉片轉子試驗臺的三維模型設計，并完成導入與布局，從而獲取實時采集的UR5協(xié)作機器人運行數據，構建狀態(tài)輸入變量集合，完成數據接收，并結合機械臂物體識別與抓取行為規(guī)則狀態(tài)機程序邏輯按照抓取行為規(guī)則進行狀態(tài)的切換，虛擬環(huán)境中UR5機械臂葉片抓取裝配驅動如圖10所示。

基于數字孿生技術的UR5協(xié)作機器人狀態(tài)監(jiān)控系統(tǒng)的開發(fā)，通過系統(tǒng)應用表明，相對于以往的汽輪機葉片轉子試驗臺大大提升了整個葉片裝配過程的透明度，較其他機器人監(jiān)控平臺存在以下優(yōu)點。

一是解決了傳統(tǒng)二維監(jiān)控面板的沉浸感不足，基于數字孿生的三維虛擬監(jiān)控環(huán)境與物理空間的保真度更高，對于物理空間的觀察更加直觀與真實。

二是解決了傳統(tǒng)機器人不具備的遠程監(jiān)控能力，提升了遠程監(jiān)控時的延遲性，基于數字孿生實時數據驅動的狀態(tài)監(jiān)控響應更加快速。

三是解決了傳統(tǒng)機器人采用攝像機監(jiān)控存在的死角，實現(xiàn)了全方位的狀態(tài)監(jiān)控。

六、結論

本文將數字孿生技術應用到協(xié)作機器人的狀態(tài)監(jiān)控領域，對基于數字孿生的協(xié)作機器人狀態(tài)監(jiān)控系統(tǒng)進行研究，設計了系統(tǒng)架構，同時對系統(tǒng)開發(fā)所使用到的軟件與開發(fā)內容、開發(fā)流程進行了研究，并基于一個葉片裝配案例完成對基于數字孿生的協(xié)作機器人狀態(tài)監(jiān)控系統(tǒng)的開發(fā)、應用與驗證。通過實際應用表明，該系統(tǒng)能夠實時對協(xié)作機器人的狀態(tài)進行監(jiān)控，同時能夠實現(xiàn)對抓取裝配過程的仿真，通過數字孿生三維可視化監(jiān)控幫助完成了對機械臂實際運行過程中的分析，能夠為協(xié)作機器人運行方案的改善提供支持與優(yōu)化。

參考文獻：

[1]陶飛，劉蔚然，劉檢華，劉曉軍，劉強，屈挺，胡天亮，張執(zhí)南，向峰，徐文君，王軍強，張映鋒，劉振宇，李浩，程江峰，戚慶林，張萌，張賀，隋芳媛，何立榮，議旺民，程輝.數字孿生及其應用探索[J].計算機集成制造系統(tǒng)， 2018，24（01）：1-18.

[2]陶飛，劉蔚然，張萌，胡天亮，戚慶林，張賀，隋芳媛，王田，徐慧，黃祖廣，馬昕，張連超，程江峰，姚念奎，易旺民，朱愷真，張新生，孟凡軍，金小輝，劉中兵，何立榮，程輝，周二專，李洋，呂倩，羅椅民.數字孿生五維模型及十大領域應用[J].計算機集成制造系統(tǒng)， 2019，25（01）：1-18.

[3]A. Bilberg， A.A. Malik. Digital twin driven human-robot collaborative assembly， CIRP Annals - Manufacturing Technology ， 2019，68（1）： 499–502.

[4]S. Choi， K. Jung， S. Do Noh. Virtual reality applications in manufacturing industries： Past research， present findings， and future directions[J]. Concurrent Engineering， 2015，23： 40–63.

[5]J. Cheng， H. Zhang， F. Tao， et al. DT-II： Digital twin enhanced Industrial Internet reference framework towards smart manufacturing[J]. Robotics and Computer-Integrated Manufacturing ， 2020，62： 101881.

[6]R. Stark， C. Fresemann， K. Lindow. Development and operation of Digital Twins for technical systems and services[J]. CIRP Annals， 2019， 68： 129–132.

[7]陶飛，張萌，程江峰，戚慶林.數字孿生車間——一種未來車間運行新模式[J].計算機集成制造系統(tǒng)， 2017，23（01）：1-9.

[8]Kleba John Bernhard， Reina-Rozo Juan David. Fostering peace engineering and rethinking development： A Latin American view[J]. Technological Forecasting & Social Change， 2021，167.

[9]M. Grieves， J. Vickers. Digital twin： Mitigating unpredictable， undesirable emergent behavior in complex systems[J]. Transdisciplinary Perspectives on Complex Systems， Springer， 2017：85–113.

[10]YOU Minglei， LIU Qitao， SUN Hongjian. New communication strategy for spectrum sharing enabled smart grid cyber-physical system[J]. IET Cyber-Physical Systems： Theory and Applications， 2017， 2（3）：136-142.

[11]Uhlemann T， Schock C， Lehmann C. The digital twin： demonstrating the potential of real time data acquisition in production systems[J]. Procedia Manufacturing， 2017， 9（4）：113-120.

[12]秦曉珠，張興旺.數字孿生技術在物質文化遺產數字化建設中的應用[J].情報資料工作， 2018（2）：103-111.

[13]陶飛，劉蔚然，劉檢華.數字孿生及其應用探索[J].計算機集成制造系統(tǒng)， 2018，24（1）：1-18.

[14]鄭守國，張勇德，謝文添，樊虎，王青.基于數字孿生的飛機總裝生產線建模[J/OL].浙江大學學報（工學版）：1-12[2021-06-06]. http：//kns.cnki.net/kcms/ detail/33.1245.T.20210519.0835.002.html.

[15]張素明，岳夢云.基于數字孿生的火箭測試與發(fā)射過程健康管理技術研究[J].計算機測量與控制， 2021，29（05）：8-14.

[16]Greyce N， Charles S， Carlos E. Pereira. Digital twin data modeling with automation ML and a communication methodology for data exchange[J]. IFAC Papers On Line， 2016，49（30）：124-127.

[17]Schleich B， Anwer N， Mathieu L. Shaping the digital twin for design and production engineering[J]. CIRP Annals-Manufacturing Technology， 2017，66（1）：33-35.

[18]Ferguson S， Bennett E. Digital twin tackles design challenges[J]. World Pumps， 2017，17（4）：26-28.

[19]桂前進，姚昕，汪李來，邵竹星，楊賀鈞，郝振宇.基于分層有限狀態(tài)機的檢修工作票智能防誤技術[J].合肥工業(yè)大學學報（自然科學版）， 2021，44（04）：458-463.