李 浩，劉 根，文笑雨+，王昊琪，張玉彥，李 客，馬文鋒，孫春亞，羅國富，黃榮杰

(1.鄭州輕工業(yè)大學(xué) 河南省機(jī)械裝備智能制造重點(diǎn)實(shí)驗(yàn)室，河南 鄭州 450002；2.中信重工機(jī)械股份有限公司，河南 洛陽 471003)

0 引言

數(shù)字孿生(Digital Twin, DT)是實(shí)現(xiàn)智能制造的關(guān)鍵使能技術(shù)之一，其通常被定義為構(gòu)建等價(jià)于物理實(shí)體的虛擬模型，通過物理實(shí)體和虛擬模型之間的虛實(shí)交互反饋、數(shù)據(jù)融合分析、決策迭代優(yōu)化等，為物理實(shí)體增加或擴(kuò)展新的能力[1]。數(shù)字孿生概念最早由Grieves教授在美國密歇根大學(xué)的產(chǎn)品全生命周期管理課程上提出，當(dāng)時(shí)被稱作鏡像空間模型[2]，后被定義為信息鏡像模型和數(shù)字孿生[3]，其實(shí)現(xiàn)依賴于諸多先進(jìn)技術(shù)的發(fā)展和應(yīng)用，其技術(shù)體系分為數(shù)據(jù)保障、建模計(jì)算和沉浸式體驗(yàn)等[4]。

目前，數(shù)字孿生的研究和應(yīng)用已經(jīng)從工業(yè)產(chǎn)品擴(kuò)展到智慧城市、電網(wǎng)系統(tǒng)和智能建筑等多個(gè)領(lǐng)域，涉及人們?nèi)粘Ｉ畹姆椒矫婷妫遣煌I(lǐng)域?qū)?shù)字孿生應(yīng)用的重點(diǎn)并不完全相同。例如，數(shù)字孿生城市強(qiáng)調(diào)為城市的建設(shè)、運(yùn)轉(zhuǎn)和規(guī)劃提供一套完整的數(shù)字基礎(chǔ)設(shè)施，最終目的是實(shí)現(xiàn)“城市大腦”，提高人的生活質(zhì)量[5]；在智能建筑中，數(shù)字孿生致力于模擬人與建筑環(huán)境的互動，以改善居住體驗(yàn)[6]；電力系統(tǒng)數(shù)字孿生的研究對象是高維度長時(shí)間跨度的時(shí)空數(shù)據(jù)塊，研究核心為人工智能安全監(jiān)測[7]。

在不同的應(yīng)用對象和領(lǐng)域中，數(shù)字孿生的基本理念均建立于與真實(shí)活動等價(jià)的虛擬數(shù)字化表達(dá)，而在智能制造、智慧城市、電網(wǎng)系統(tǒng)和智能建筑等領(lǐng)域，人是大部分活動的核心，人機(jī)交互是數(shù)字孿生研究與應(yīng)用中必不可少的一環(huán)。然而，人為失誤、人為惡意攻擊、人的故有行為習(xí)慣等均會導(dǎo)致人機(jī)交互安全風(fēng)險(xiǎn)，如何提高不同數(shù)字孿生系統(tǒng)中人機(jī)交互的安全控制能力是亟待解決的問題。現(xiàn)有數(shù)字孿生系統(tǒng)中的人機(jī)交互具有跨系統(tǒng)、多層次和高時(shí)效等特征[8]，這些特征雖然擴(kuò)大了人機(jī)交互的可行范圍，但是也增加了信息處理與安全控制的難度，主要體現(xiàn)在以下3方面：

(1)人機(jī)交互安全控制體系有待完善 相比于傳統(tǒng)工業(yè)互聯(lián)網(wǎng)平臺，面向人機(jī)交互的數(shù)字孿生系統(tǒng)是一個(gè)“人—機(jī)—環(huán)境”一體化系統(tǒng)，人與機(jī)器、人與環(huán)境、機(jī)器與環(huán)境之間的可變因素都能導(dǎo)致安全隱患，如何揭示其工業(yè)安全特征并建立完整的人機(jī)交互安全控制體系是研究的難點(diǎn)。

(2)缺乏有效的人機(jī)交互安全控制機(jī)制 數(shù)字孿生環(huán)境下，信息交互包括分散在不同地點(diǎn)的機(jī)器與系統(tǒng)、機(jī)器與人以及系統(tǒng)與人之間復(fù)雜的信息傳遞，國內(nèi)有關(guān)面向人機(jī)交互的數(shù)字孿生系統(tǒng)工業(yè)安全控制框架與機(jī)制的研究相對較少。

(3)安全控制關(guān)鍵技術(shù)亟需突破 未來的智能制造系統(tǒng)是一個(gè)基于工業(yè)互聯(lián)網(wǎng)的復(fù)雜人工智能系統(tǒng)，面向人機(jī)交互的數(shù)字孿生系統(tǒng)中的人機(jī)遠(yuǎn)程操控安全、人機(jī)協(xié)作安全、環(huán)境不確定性安全等問題更加突出，亟需突破這些工業(yè)安全與控制問題的關(guān)鍵技術(shù)。

針對以上不足，本文研究了面向人機(jī)交互的數(shù)字孿生系統(tǒng)工業(yè)安全控制體系與關(guān)鍵技術(shù)?？偨Y(jié)了面向人機(jī)交互的數(shù)字孿生系統(tǒng)特征，建立了數(shù)字孿生系統(tǒng)工業(yè)安全與控制三維體系架構(gòu)；提出數(shù)字孿生系統(tǒng)工業(yè)安全與控制機(jī)制；重點(diǎn)研究了人機(jī)遠(yuǎn)程安全操控技術(shù)、人機(jī)協(xié)作作業(yè)安全控制技術(shù)、仿真模型與數(shù)據(jù)安全技術(shù)、數(shù)字孿生系統(tǒng)安全態(tài)勢感知與監(jiān)測預(yù)警技術(shù)；最后，給出智能設(shè)備遠(yuǎn)程人機(jī)交互與安全操控原型系統(tǒng)和汽車焊接裝配工作站人機(jī)協(xié)作安全控制的案例。

1 相關(guān)研究現(xiàn)狀

1.1 數(shù)字孿生與人機(jī)交互

近年來，數(shù)字孿生技術(shù)在國內(nèi)外工業(yè)制造領(lǐng)域發(fā)展迅速。最典型的是，西門子公司在德國“工業(yè)4.0”的框架下構(gòu)建了整合制造流程的智能生產(chǎn)系統(tǒng)模型，提出基于數(shù)字孿生的信息交互模式，并在西門子工業(yè)生產(chǎn)流程中進(jìn)行了應(yīng)用驗(yàn)證[9-10];莊存波等[11]研究了產(chǎn)品數(shù)字孿生體的內(nèi)涵、體系結(jié)構(gòu)及其發(fā)展趨勢；陶飛等研究了數(shù)字孿生車間的概念、系統(tǒng)組成、運(yùn)行機(jī)制、特點(diǎn)和關(guān)鍵技術(shù)，設(shè)計(jì)了數(shù)字孿生車間的參考系統(tǒng)架構(gòu)[12]，并提出數(shù)字孿生五維模型[13]，為相關(guān)領(lǐng)域踐行數(shù)字孿生理念與技術(shù)提供了重要的參考；李浩等[14]研究了數(shù)字孿生技術(shù)在復(fù)雜產(chǎn)品設(shè)計(jì)制造方面的應(yīng)用及其關(guān)鍵技術(shù)，提出基于數(shù)字孿生的復(fù)雜產(chǎn)品設(shè)計(jì)制造一體化開發(fā)框架；王昊琪等[15-16]研究了基于數(shù)字孿生的系統(tǒng)設(shè)計(jì)方法；苗田等[17]研究了數(shù)字孿生技術(shù)在產(chǎn)品全生命周期管理中的應(yīng)用；Zhu等[18]將增強(qiáng)現(xiàn)實(shí)技術(shù)引入數(shù)字孿生，實(shí)現(xiàn)了數(shù)字孿生體的可視化顯示；趙浩然等[19]研究了數(shù)字孿生車間的三維可視化實(shí)時(shí)監(jiān)控方法，提出一種多層次的三維可視化監(jiān)控模式和實(shí)時(shí)數(shù)據(jù)驅(qū)動的虛擬車間運(yùn)行模式；吳迎年等[20]針對智能制造生產(chǎn)線中的機(jī)器人抓取需求設(shè)計(jì)了視覺伺服抓取系統(tǒng)，實(shí)現(xiàn)了數(shù)字模型與物理模型的信息同步、互操作，以及數(shù)字模型對物理模型狀態(tài)的預(yù)測；劉庭煜等[21]針對人員宏觀行為數(shù)字孿生模型構(gòu)建問題提出一種三階段級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法，對車間現(xiàn)場視頻中的人員進(jìn)行識別和定位；Xu等[22]提出一種基于數(shù)字孿生的工業(yè)云機(jī)器人控制框架，該框架包括物理工業(yè)機(jī)器人、數(shù)字工業(yè)機(jī)器人、數(shù)字孿生數(shù)據(jù)和工業(yè)云機(jī)器人控制服務(wù)系統(tǒng)；Liu等[23]以結(jié)構(gòu)的風(fēng)險(xiǎn)因素為研究對象提煉索力、位移等安全行為原始數(shù)據(jù)，并基于數(shù)字孿生技術(shù)進(jìn)行力學(xué)分析、施工仿真和監(jiān)測數(shù)據(jù)等信息的融合研究；Jiang等[24]構(gòu)造了異構(gòu)離散制造系統(tǒng)統(tǒng)一邏輯建模方法和虛實(shí)模型互連接、數(shù)據(jù)互交互實(shí)現(xiàn)機(jī)制，提出一種“消息中間件+內(nèi)存數(shù)據(jù)庫+關(guān)系數(shù)據(jù)”的數(shù)據(jù)交互機(jī)制，以實(shí)現(xiàn)物理系統(tǒng)、服務(wù)系統(tǒng)和仿真系統(tǒng)之間的互操作；Zhuang等[25]提出一種基于數(shù)字孿生的復(fù)雜產(chǎn)品裝配數(shù)據(jù)管理與過程追溯方法；Wang等[26]提出基于數(shù)字孿生數(shù)據(jù)驅(qū)動的智能定制框架，該框架由定制化產(chǎn)品、生產(chǎn)系統(tǒng)和產(chǎn)品使用環(huán)境3部分組成；Liu等[27]提出一種基于生物擬態(tài)的數(shù)字孿生建模方法，該方法能夠自適應(yīng)地構(gòu)建加工過程的多物理數(shù)字孿生體；Yu等[28]開發(fā)了一種通用的數(shù)字孿生架構(gòu)參考模型，以經(jīng)濟(jì)高效的方式實(shí)現(xiàn)情境感知的產(chǎn)品族設(shè)計(jì)優(yōu)化，并以一個(gè)動態(tài)環(huán)境下的產(chǎn)品族重配置案例證明所開發(fā)參考模型在情境感知中的決策輔助能力；陶飛等[29]提出數(shù)字孿生車間的概念，闡述了數(shù)字孿生車間的系統(tǒng)組成、運(yùn)行機(jī)制、特點(diǎn)、關(guān)鍵技術(shù)等，并探討了基于車間孿生數(shù)據(jù)的車間物理世界和信息世界的交互與共融理論及其實(shí)現(xiàn)方法；Li等[30]研究了面向數(shù)字孿生車間的制造任務(wù)語義建模和制造服務(wù)動態(tài)推薦框架；Luo等[31]為了實(shí)現(xiàn)數(shù)控機(jī)床可靠、準(zhǔn)確的預(yù)測性維護(hù)，研究了一種數(shù)字孿生模型—孿生數(shù)據(jù)融合驅(qū)動預(yù)測性維護(hù)方法。

綜上所述，數(shù)字孿生已從概念研究向關(guān)鍵技術(shù)研究和多領(lǐng)域融合運(yùn)用轉(zhuǎn)變，其中孿生模型構(gòu)建方法、基于數(shù)字孿生的可視化顯示和監(jiān)控等的研究較多，針對數(shù)字孿生環(huán)境下人機(jī)交互的工業(yè)安全與控制技術(shù)研究較少。人機(jī)交互主要研究人機(jī)界面中人對機(jī)器的操作方式和交互方式，人機(jī)界面是人與機(jī)器接觸的部分，其包括手機(jī)和電腦的軟件界面，以及各種設(shè)備的控制面板[32]。張鳳軍等[33]回顧與分析了虛擬現(xiàn)實(shí)的人機(jī)交互范式，總結(jié)了三維交互、手勢交互、手持交互、語音交互、觸覺交互、多通道交互等虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)交互技術(shù)的主要研究成果與發(fā)展趨勢；劉會聰?shù)萚34]將應(yīng)變傳感器集成至人體傳感手套用作人手的手勢檢測，將彎曲傳感器集成至軟體機(jī)械手用作軟體機(jī)械手的姿勢及運(yùn)動控制，實(shí)現(xiàn)了通過傳感手套控制軟體機(jī)械手的人機(jī)交互功能；Erol等[35]研究了一種新型的基于情感的協(xié)作式人機(jī)交互感知體系結(jié)構(gòu)，通過識別人的情緒狀態(tài)來實(shí)現(xiàn)人機(jī)協(xié)作。數(shù)字孿生只有進(jìn)行大量人機(jī)交互，才能使基于數(shù)字孿生的智能制造系統(tǒng)通過智能化和集成化的手段來增強(qiáng)信息交互的柔性和自組織能力，快速響應(yīng)市場需求變化[36]。目前大多數(shù)遠(yuǎn)程人機(jī)交互均依賴不同的制造軟件，如企業(yè)資源計(jì)劃系統(tǒng)、高級計(jì)劃與排程系統(tǒng)、制造企業(yè)生產(chǎn)過程執(zhí)行系統(tǒng)[37-40]，單純的工業(yè)軟件并不能解決遠(yuǎn)程人機(jī)交互中的有效操作和安全控制等核心問題[41-42]，而且數(shù)字孿生環(huán)境下的人機(jī)交互技術(shù)需要應(yīng)對不斷迭代運(yùn)行的“虛實(shí)交互”環(huán)節(jié)，給人機(jī)交互技術(shù)設(shè)計(jì)帶來了新的挑戰(zhàn)。結(jié)合數(shù)字孿生環(huán)境的特點(diǎn)及人機(jī)交互技術(shù)的最新研究進(jìn)展，本文將深入研究面向人機(jī)交互的數(shù)字孿生系統(tǒng)安全控制關(guān)鍵技術(shù)。

1.2 數(shù)字孿生系統(tǒng)工業(yè)安全

數(shù)字孿生系統(tǒng)的應(yīng)用推進(jìn)了工業(yè)化發(fā)展，在提高生產(chǎn)效率和產(chǎn)品質(zhì)量的同時(shí)也帶來了許多工業(yè)安全問題，生產(chǎn)事故頻發(fā)使工業(yè)安全受到了越來越的關(guān)注。為確保數(shù)字孿生有效落地的同時(shí)保證工業(yè)安全，國內(nèi)外學(xué)者展開了相關(guān)研究。王婷等[43]針對工業(yè)整體安全情況，提出工業(yè)安全監(jiān)控與管理系統(tǒng)的設(shè)計(jì)解決方案，通過整合氣體、溫度、流量、壓力等多種信息，并配合集散控制系統(tǒng)(Distributed Control System, DCS)、藍(lán)牙、移動互聯(lián)等通信手段匯總信息，實(shí)現(xiàn)對工業(yè)安全的動態(tài)監(jiān)控及預(yù)警；趙飛等[44]針對普通四工位刀架無法進(jìn)行刀具狀態(tài)監(jiān)測的問題，運(yùn)用數(shù)字孿生技術(shù)進(jìn)行新型四工位刀架設(shè)計(jì)與開發(fā)，實(shí)現(xiàn)了對刀具健康狀態(tài)的監(jiān)測，保證了刀具生產(chǎn)的安全性和可靠性；張連超等[45]針對衛(wèi)星數(shù)字孿生車間中有軌無軌混合環(huán)境下的移動工具碰撞問題，提出一種時(shí)間可控的混合環(huán)境下的路徑規(guī)劃方法，結(jié)果表明，該方法能夠有效解決混合環(huán)境下路徑規(guī)劃時(shí)間不可控的問題，避免移動工具碰撞，提升了工業(yè)環(huán)境的安全性；張文杰等[46]針對航天器試驗(yàn)過程中與其他制造環(huán)節(jié)海量數(shù)據(jù)共享困難的問題，提出基于數(shù)字孿生和多智能體的智能試驗(yàn)體系架構(gòu)設(shè)計(jì)方法，并通過試驗(yàn)表明該方法可有效解決數(shù)據(jù)沖突問題，提升生產(chǎn)過程中的數(shù)據(jù)安全，而且將產(chǎn)品試驗(yàn)與工裝設(shè)計(jì)精度提升了15%；Grieves等[47]利用數(shù)字孿生系統(tǒng)解決了復(fù)雜工業(yè)系統(tǒng)中的不可預(yù)測問題和突發(fā)情況，使工業(yè)安全得到提升；Mandolla等[48]將區(qū)塊鏈技術(shù)用于構(gòu)建增材制造中的數(shù)字孿生，并將所提解決方案用于飛機(jī)工業(yè)領(lǐng)域進(jìn)行案例分析，發(fā)現(xiàn)所設(shè)計(jì)的方案能夠?yàn)榻踩ヂ?lián)的制造基礎(chǔ)設(shè)施提供概念和理論支撐。

可見，隨著數(shù)字孿生技術(shù)的研究越來越深入，數(shù)字孿生系統(tǒng)工業(yè)安全已經(jīng)引起學(xué)術(shù)界和企業(yè)界的重視，特別是針對需要在高溫、極寒、高壓和高頻振動等惡劣環(huán)境下運(yùn)行的系統(tǒng)工業(yè)安全的研究，但是面向人機(jī)交互的數(shù)字孿生系統(tǒng)的工業(yè)安全研究較少，尚缺乏完善的人機(jī)交互安全控制體系架構(gòu)和有效的人機(jī)交互安全控制機(jī)制。

2 面向人機(jī)交互的數(shù)字孿生系統(tǒng)工業(yè)安全與控制體系架構(gòu)

2.1 面向人機(jī)交互的數(shù)字孿生系統(tǒng)特征

與傳統(tǒng)工業(yè)互聯(lián)網(wǎng)平臺相比，工業(yè)數(shù)字孿生系統(tǒng)是一個(gè)人、機(jī)和環(huán)境互相融合，動態(tài)變化的復(fù)雜虛實(shí)迭代系統(tǒng)，系統(tǒng)中的人機(jī)遠(yuǎn)程操控安全、人機(jī)協(xié)作安全、環(huán)境安全等問題的重要性超過傳統(tǒng)工業(yè)互聯(lián)網(wǎng)平臺。工業(yè)數(shù)字孿生系統(tǒng)中的人機(jī)交互方式和技術(shù)較多，常見的有人機(jī)協(xié)作、個(gè)性化的生物識別、全方位感知等，這些新方式與技術(shù)的應(yīng)用，使得面向人機(jī)交互的數(shù)字孿生系統(tǒng)呈現(xiàn)出以人為中心、系統(tǒng)具有不確定性、亟需安全管控等特征。具體描述如下：

(1)人機(jī)環(huán)境交互 面向人機(jī)交互的數(shù)字孿生系統(tǒng)是一個(gè)“人—機(jī)—環(huán)境”融合的動態(tài)系統(tǒng)，不僅包括基本設(shè)備、工業(yè)環(huán)境，還包括人機(jī)遠(yuǎn)程交互操作、人機(jī)協(xié)作等可能的交互過程，虛擬現(xiàn)實(shí)(Virtual Reality, VR)/增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)/介導(dǎo)現(xiàn)實(shí)(Mediated Reality, MR)、手勢交互、語音交互等新技術(shù)的應(yīng)用逐漸普及，形成一個(gè)“人—機(jī)—環(huán)境”協(xié)調(diào)運(yùn)行的虛擬系統(tǒng)。

(2)以人為中心 由于面向人機(jī)交互的數(shù)字孿生系統(tǒng)不是一個(gè)以自動化、程序化為主，而是以人的行為為主的系統(tǒng)，個(gè)性化的生物識別、全方位感知、可穿戴動作捕捉、光學(xué)視覺動作捕捉、VR/AR/MR等與人交互的技術(shù)將大量應(yīng)用。系統(tǒng)運(yùn)行和決策過程需要考慮人的工作狀態(tài)，以及不同人的熟練程度、甚至情感感知等不確定性因素，生產(chǎn)節(jié)拍要考慮人的不確定性，從而形成數(shù)字孿生系統(tǒng)中的柔性控制。

(3)系統(tǒng)不確定性 由于人的行為和狀態(tài)變化、機(jī)器運(yùn)行失控以及環(huán)境動態(tài)變化會導(dǎo)致數(shù)字孿生系統(tǒng)具有不確定性，如人的疲勞或情感導(dǎo)致工作節(jié)拍異常、各種工作環(huán)境中的突發(fā)情況，需要從人員、設(shè)備、環(huán)境和網(wǎng)絡(luò)體系等方面進(jìn)行全面綜合的態(tài)勢感知與監(jiān)測預(yù)警，建立系統(tǒng)不確定性風(fēng)險(xiǎn)預(yù)警、識別與快速反應(yīng)機(jī)制，以確保物理系統(tǒng)和數(shù)字孿生系統(tǒng)穩(wěn)定運(yùn)行。

(4)運(yùn)行安全管控 系統(tǒng)運(yùn)行安全管控是面向人機(jī)交互的數(shù)字孿生系統(tǒng)的重要研究內(nèi)容，不僅面臨系統(tǒng)被破解、被入侵等安全風(fēng)險(xiǎn)，還要應(yīng)對人機(jī)遠(yuǎn)程操控安全、人機(jī)協(xié)作安全、機(jī)機(jī)協(xié)作安全等工業(yè)現(xiàn)場安全因素，需構(gòu)建數(shù)字孿生系統(tǒng)的安全管控體系，研究人—機(jī)交互安全預(yù)警與控制方法，以確保系統(tǒng)運(yùn)行安全可控和人機(jī)安全。

2.2 數(shù)字孿生系統(tǒng)工業(yè)安全與控制體系架構(gòu)

數(shù)字孿生系統(tǒng)工業(yè)安全與控制體系如圖1所示，圖中的三維體系為安全防護(hù)層次、安全管理與控制機(jī)制、安全防護(hù)保障措施。

(1)安全防護(hù)層次 主要包括人、設(shè)備、控制、網(wǎng)絡(luò)、應(yīng)用、模型/數(shù)據(jù)六大防護(hù)對象，形成人的安全、物理安全、信息安全和功能安全四大類安全保護(hù)。與傳統(tǒng)工業(yè)互聯(lián)網(wǎng)平臺安全防護(hù)層次相比，更強(qiáng)調(diào)人的安全和物理安全，形成以人機(jī)安全為核心的數(shù)字孿生安全保障體系。

(2)安全管理與控制機(jī)制 安全管理與控制機(jī)制是工業(yè)安全與控制體系的重要組成部分，包括風(fēng)險(xiǎn)評估機(jī)制、應(yīng)急計(jì)劃管理和安全控制機(jī)制等，需要制定滿足業(yè)務(wù)場景需求的風(fēng)險(xiǎn)評估機(jī)制和安全控制機(jī)制，并依據(jù)策略機(jī)制制定應(yīng)急計(jì)劃管理流程，是數(shù)字孿生系統(tǒng)穩(wěn)定可靠運(yùn)行的基礎(chǔ)。

(3)安全防護(hù)保障措施 安全措施是為了保障數(shù)字孿生系統(tǒng)中人、機(jī)、環(huán)境的安全而采取的保護(hù)舉措與行動，包括安全防護(hù)技術(shù)、態(tài)勢感知、監(jiān)測預(yù)警和處置恢復(fù)等。

2.3 安全防護(hù)層次與關(guān)鍵技術(shù)支持體系

面向人機(jī)交互的數(shù)字孿生系統(tǒng)體系架構(gòu)是一個(gè)云、邊、端協(xié)同的“人—機(jī)—環(huán)境”分布式系統(tǒng)。由于面向人機(jī)交互的數(shù)字孿生系統(tǒng)呈現(xiàn)出以人為中心、系統(tǒng)具有不確定性、亟需安全管控等特征，使得其對安全防護(hù)層次和關(guān)鍵安全控制技術(shù)的要求比傳統(tǒng)工業(yè)互聯(lián)網(wǎng)平臺更高。數(shù)字孿生系統(tǒng)安全防護(hù)層次與關(guān)鍵技術(shù)支持體系由安全防控層次對象、系統(tǒng)安全管理與控制機(jī)制、工業(yè)安全與控制關(guān)鍵技術(shù)構(gòu)成，如圖2所示。安全防控層次對象如下：

(1)人員安全 人機(jī)協(xié)作過程中，如何確保人員不被設(shè)備誤傷，研究基于數(shù)字孿生的人機(jī)協(xié)作安全控制方法與技術(shù)。

(2)設(shè)備安全 設(shè)備運(yùn)行過程中，針對人為因素、復(fù)雜工況因素、自身故障等可能造成的安全威脅，構(gòu)建設(shè)備安全檢測和預(yù)防體系與技術(shù)。

(3)控制安全 指遠(yuǎn)程設(shè)備操控過程中的控制，包括人員識別、多級驗(yàn)證、控制協(xié)議安全、控制軟件安全和控制功能安全。

(4)網(wǎng)絡(luò)安全 包括承載工業(yè)智能生成和應(yīng)用的工業(yè)內(nèi)部網(wǎng)絡(luò)、外部網(wǎng)絡(luò)及標(biāo)識解析系統(tǒng)等的安全，具體指網(wǎng)絡(luò)系統(tǒng)的硬件、軟件及其系統(tǒng)中的數(shù)據(jù)受到保護(hù)，不因偶然或惡意而遭到破壞、更改、泄露，系統(tǒng)連續(xù)、可靠、正常地運(yùn)行，網(wǎng)絡(luò)服務(wù)不中斷[49]。

(5)應(yīng)用安全 包括數(shù)字孿生系統(tǒng)安全與工業(yè)應(yīng)用程序安全，如系統(tǒng)的訪問控制、入侵防范、攻擊防范、行為管控、來源控制等。

(6)模型/數(shù)據(jù)安全 包括模型與數(shù)據(jù)采集、傳輸、存儲、處理等各個(gè)環(huán)節(jié)的數(shù)據(jù)以及用戶信息的安全。數(shù)字孿生模型可以直接操控物理設(shè)備，進(jìn)而影響到人與設(shè)備的安全。

在工業(yè)互聯(lián)網(wǎng)平臺的網(wǎng)絡(luò)安全和應(yīng)用安全等通用安全技術(shù)基礎(chǔ)上，數(shù)字孿生系統(tǒng)安全控制的關(guān)鍵技術(shù)還有一些特殊技術(shù)，如基于數(shù)字孿生體的設(shè)備遠(yuǎn)程安全操控技術(shù)、人機(jī)協(xié)作作業(yè)安全控制技術(shù)、模型/數(shù)據(jù)安全技術(shù)、安全態(tài)勢感知與監(jiān)測預(yù)警技術(shù)等，這些技術(shù)支撐著系統(tǒng)安全可靠地運(yùn)行。

3 數(shù)字孿生系統(tǒng)工業(yè)安全管理與控制機(jī)制

工業(yè)安全管理與控制機(jī)制是工業(yè)安全與控制體系的重要組成部分，主要包括風(fēng)險(xiǎn)評估機(jī)制、應(yīng)急計(jì)劃管理和安全控制機(jī)制等。針對工業(yè)數(shù)字孿生系統(tǒng)，需要制定滿足業(yè)務(wù)場景需求的風(fēng)險(xiǎn)評估機(jī)制和安全控制機(jī)制。數(shù)字孿生系統(tǒng)工業(yè)安全與控制機(jī)制主要包括兩個(gè)方面：①針對數(shù)字孿生系統(tǒng)中遠(yuǎn)程信息傳輸?shù)谋Ｃ軉栴}，構(gòu)建人與設(shè)備進(jìn)行遠(yuǎn)程交互的信息安全機(jī)制；②針對制造現(xiàn)場人與機(jī)器交互時(shí)的人身安全問題，構(gòu)建數(shù)字孿生系統(tǒng)中人機(jī)交互作業(yè)安全控制機(jī)制。

3.1 數(shù)字孿生系統(tǒng)遠(yuǎn)程交互信息安全機(jī)制

本文構(gòu)建了數(shù)字孿生系統(tǒng)遠(yuǎn)程人機(jī)交互的信息安全機(jī)制體系，整個(gè)安全架構(gòu)包括用戶操作層安全、邏輯控制層安全、系統(tǒng)控制層安全、工業(yè)網(wǎng)絡(luò)層安全和硬件執(zhí)行層安全(如圖3)，形成一套完整嚴(yán)密的安全控制機(jī)制。

整個(gè)安全架構(gòu)采用智能模塊單元體系架構(gòu)，每一個(gè)智能模塊單元均具備獨(dú)立的安全控制能力，當(dāng)系統(tǒng)中的某一智能模塊單元出現(xiàn)問題時(shí)，不會擴(kuò)散到其他智能模塊單元。

(1)用戶操作層 針對用戶操作的安全威脅，采用固定IP和端口、APP電子簽名、動態(tài)登錄密碼等方式防止虛假界面盜取用戶信息、篡改APP。

(2)邏輯控制層 針對邏輯控制過程中的越權(quán)操作、非法指令、夾帶非法信息等威脅，采用指令審查、多級審批等方法保證非法指令、越權(quán)操作不被執(zhí)行。

(3)系統(tǒng)控制層 針對竊取用戶信息、滲透入侵、非法訪問、不合理操作等安全威脅，采用設(shè)備狀態(tài)的實(shí)時(shí)監(jiān)控、操作行為記錄審計(jì)、系統(tǒng)用戶權(quán)限分配、非法訪問攔截、非法操作和系統(tǒng)異常報(bào)警等方式來預(yù)防。

(4)工業(yè)網(wǎng)絡(luò)層 針對網(wǎng)絡(luò)監(jiān)聽、數(shù)據(jù)包的截獲破譯與篡改等安全威脅，采取防火墻、安全超文本傳輸協(xié)議、安全套接層協(xié)議和安全交易技術(shù)協(xié)議等對網(wǎng)絡(luò)傳輸過程中的數(shù)據(jù)包進(jìn)行加密和身份認(rèn)證，并對數(shù)據(jù)包進(jìn)行電子簽名。

(5)硬件執(zhí)行層 針對存在的設(shè)備端口入侵、設(shè)備不合理操作和設(shè)備故障異常等安全威脅，采用端口禁用、權(quán)限控制、通信安全協(xié)議、設(shè)備端操作審查、設(shè)備故障預(yù)警與自修復(fù)等方式進(jìn)行安全防護(hù)。

3.2 數(shù)字孿生系統(tǒng)中的人機(jī)交互作業(yè)安全控制機(jī)制

機(jī)器人具有高強(qiáng)度、大負(fù)載、高速度等特點(diǎn)，工作時(shí)需要較大的運(yùn)動空間，當(dāng)與人共同作業(yè)時(shí)，遇到緊急情況很難像一般自動系統(tǒng)一樣采取人為急停措施，容易造成安全事故，人機(jī)協(xié)作過程中的工業(yè)安全問題亟待解決。為此，研究了基于數(shù)字孿生的人機(jī)交互作業(yè)安全控制方法，如圖4所示。

在實(shí)際操作前，數(shù)字孿生模型能夠進(jìn)行安全操作訓(xùn)練，即在虛擬環(huán)境中幫助操作人員熟悉作業(yè)環(huán)境，避免因違規(guī)操作導(dǎo)致安全事故；在實(shí)際操作過程中，數(shù)字孿生模型能夠?qū)崟r(shí)得到由機(jī)器反饋的狀態(tài)數(shù)據(jù)，然后根據(jù)控制算法，以最小化危險(xiǎn)度為目標(biāo)規(guī)劃機(jī)器人的運(yùn)動，或根據(jù)已有的工人操作習(xí)慣數(shù)據(jù)對可能發(fā)生的碰撞進(jìn)行預(yù)警；在操作完成后，將本次機(jī)器數(shù)據(jù)和工人操作數(shù)據(jù)保存為訓(xùn)練數(shù)據(jù)，建立安全知識庫。所保存的數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)保存為兩種格式，格式1為實(shí)體1，關(guān)系，實(shí)體2，格式2為實(shí)體1，屬性1，屬性值1，屬性2，屬性值2,…。例如將工人的操作習(xí)慣數(shù)據(jù)保存為工人1，合法進(jìn)行，A操作，工人1，A操作，true，B操作，true，C操作，false，…。

知識庫的構(gòu)建過程為：首先從一次完整操作中提取實(shí)體和非實(shí)體數(shù)據(jù)，例如工人和設(shè)備為實(shí)體數(shù)據(jù)，工人和設(shè)備間的關(guān)系為非實(shí)體數(shù)據(jù)，然后將實(shí)體數(shù)據(jù)和非實(shí)體數(shù)據(jù)保存為上述格式，形成結(jié)構(gòu)化的數(shù)據(jù)集，這些結(jié)構(gòu)化的數(shù)據(jù)集組成安全知識庫。當(dāng)某種操作被執(zhí)行前，知識庫系統(tǒng)程序遍歷知識庫，基于字符串識別進(jìn)行簡單的語義分析并判斷該操作是否合法[50]。隨著日常操作經(jīng)驗(yàn)的積累，安全知識庫更加完善，其中的語義漏洞將逼近于零，這種基于知識庫的安全判斷準(zhǔn)確率會越來越高。

4 數(shù)字孿生系統(tǒng)工業(yè)安全與控制關(guān)鍵技術(shù)

4.1 人機(jī)遠(yuǎn)程安全操控技術(shù)

人機(jī)遠(yuǎn)程安全操控技術(shù)是一種多學(xué)科交叉的技術(shù)，涉及機(jī)械、電子、自動控制、傳感器、通信和人工智能等學(xué)科[51]。數(shù)字孿生系統(tǒng)中的人機(jī)遠(yuǎn)程安全操控技術(shù)指操作人員通過虛擬設(shè)計(jì)的孿生模型與遠(yuǎn)程物理設(shè)備進(jìn)行交互的信息安全控制技術(shù)[52]。在遠(yuǎn)程控制過程中，控制信號經(jīng)過較長網(wǎng)絡(luò)鏈路和大量節(jié)點(diǎn)的轉(zhuǎn)發(fā)，帶來破解、被入侵等一系列信息安全問題[53]，包括信息攔截、數(shù)據(jù)惡意篡改、保密信息被監(jiān)聽、越權(quán)操作和非法指令等，如圖5所示。為解決上述安全問題，綜合運(yùn)用非對稱加密技術(shù)、對稱加密技術(shù)、數(shù)字簽名技術(shù)和多級審批技術(shù)對設(shè)備遠(yuǎn)程安全操控?cái)?shù)據(jù)包進(jìn)行強(qiáng)化保護(hù)，以保證非法指令、越權(quán)操作不被執(zhí)行，使系統(tǒng)具備防篡改和防監(jiān)聽的能力。

單一的安全操控技術(shù)難以解決整個(gè)系統(tǒng)的安全隱患，需要將這些前沿關(guān)鍵技術(shù)有機(jī)組合，形成基于數(shù)字孿生體的設(shè)備遠(yuǎn)程安全操控體系。利用非對稱加密技術(shù)中基于大整數(shù)質(zhì)因數(shù)分解的不易性，可以確保保密信息不被中間環(huán)節(jié)破解和監(jiān)聽，在此基礎(chǔ)上本文引入數(shù)字簽名技術(shù)來解決操作者身份被仿冒和數(shù)據(jù)包報(bào)文被中途修改的問題。同時(shí)，基于數(shù)字孿生體的設(shè)備遠(yuǎn)程安全控制能夠集成運(yùn)用對稱加密和非對稱加密技術(shù)，在保證信息安全的同時(shí)節(jié)約計(jì)算資源。如圖5所示，甲要向乙發(fā)送一條信息，甲乙首先各自生成一對密鑰，甲方生成的密鑰用來簽名和驗(yàn)證簽名，乙方生成的密鑰用來進(jìn)行非對稱加密通信，然后在步驟3將自己的公鑰發(fā)送給對方保存；在步驟4，甲設(shè)置一個(gè)用于對稱加密的密碼，用乙的公鑰加密該密碼并發(fā)送給乙，乙用私鑰解密；步驟7中，甲用自己的私鑰對要發(fā)送的報(bào)文進(jìn)行簽名，然后將簽過名的報(bào)文用對稱密鑰加密后發(fā)送給乙，乙收到該報(bào)文用對稱密鑰解密；最后乙用甲的公鑰驗(yàn)證數(shù)字簽名，從而保證信息安全。

4.2 人機(jī)協(xié)作作業(yè)安全控制技術(shù)

面向人機(jī)交互的數(shù)字孿生系統(tǒng)以人的行為為主，人的安全是系統(tǒng)安全的核心。與遠(yuǎn)程控制不同，人機(jī)交互中的操作人員和設(shè)備需要近距離協(xié)作，作為新一代共融機(jī)器人技術(shù)的基礎(chǔ)難題之一，人機(jī)協(xié)作安全問題不僅能夠增強(qiáng)人與機(jī)器及非結(jié)構(gòu)物理環(huán)境接觸的安全要求，還將加劇人與機(jī)器人協(xié)作作業(yè)在安全方面的矛盾[54]。因此，如何有效保障操作人員的自身安全是一個(gè)難題，特別是在人機(jī)協(xié)作作業(yè)過程中，使機(jī)器人逐漸具備感知學(xué)習(xí)能力和決策能力，從而進(jìn)行主動反應(yīng)與避讓[55]。

數(shù)字孿生環(huán)境下的人機(jī)協(xié)作安全控制系統(tǒng)需要具備實(shí)時(shí)、多源、異構(gòu)數(shù)據(jù)的感知、接入和融合能力。在圖6所示的人機(jī)協(xié)作安全控制技術(shù)示意圖中，通過相機(jī)監(jiān)視整個(gè)人機(jī)協(xié)作場景，并通過計(jì)算機(jī)處理得到圖像后，分別基于標(biāo)簽識別算法和人體關(guān)鍵點(diǎn)識別算法檢測出機(jī)器人和工作人員。在此基礎(chǔ)上，根據(jù)雙目測距原理計(jì)算人體各個(gè)關(guān)鍵點(diǎn)和機(jī)器人各個(gè)關(guān)節(jié)點(diǎn)的空間坐標(biāo)(x,y,z)，并設(shè)計(jì)人機(jī)距離算法來確定最小人機(jī)安全距離。然后，根據(jù)操作人員接近機(jī)器人的距離評估碰撞風(fēng)險(xiǎn)，觸發(fā)相應(yīng)的控制策略，包括正常工作、減速工作，以及讓機(jī)器人緊急停止并發(fā)出強(qiáng)烈的警告信號。人機(jī)協(xié)作安全控制系統(tǒng)運(yùn)行數(shù)據(jù)還能通過局域網(wǎng)傳輸給本地服務(wù)終端，工作人員可實(shí)時(shí)對該系統(tǒng)進(jìn)行監(jiān)管與控制。

4.3 仿真模型與數(shù)據(jù)安全技術(shù)

除了人機(jī)遠(yuǎn)程操控安全和人機(jī)近距離協(xié)同作業(yè)安全外，模型和數(shù)據(jù)安全可靠也是保證數(shù)字孿生系統(tǒng)整體安全的關(guān)鍵因素，特別在數(shù)字孿生技術(shù)與智能制造加速融合過程中，封閉系統(tǒng)向開放系統(tǒng)轉(zhuǎn)變勢在必行，模型和數(shù)據(jù)風(fēng)險(xiǎn)將集中出現(xiàn)[56-57]。數(shù)字孿生系統(tǒng)是一個(gè)由模型和數(shù)據(jù)聯(lián)合驅(qū)動的動態(tài)復(fù)雜系統(tǒng)，虛擬系統(tǒng)和物理系統(tǒng)存在互為映射和驅(qū)動控制的關(guān)系，虛擬系統(tǒng)中的模型可實(shí)時(shí)驅(qū)動與控制物理系統(tǒng)運(yùn)行。模型安全和數(shù)據(jù)安全是保障物理系統(tǒng)按照預(yù)定設(shè)置精準(zhǔn)可靠運(yùn)行的前提，兩者聯(lián)系緊密且各具特點(diǎn)。模型安全包括物理模型安全和虛擬模型安全：前者指設(shè)備服役過程是否安全可靠，與設(shè)備的設(shè)計(jì)、制造、運(yùn)維等因素相關(guān)；后者的本質(zhì)是數(shù)據(jù)安全，其重點(diǎn)是考慮數(shù)據(jù)的惡意篡改、丟失等問題。數(shù)據(jù)安全強(qiáng)調(diào)虛實(shí)交互中數(shù)據(jù)存儲、傳輸、接收等過程中的安全風(fēng)險(xiǎn)，以及增加信息維度帶來的數(shù)據(jù)安全風(fēng)險(xiǎn)等。因此從模型和數(shù)據(jù)兩個(gè)維度分別探討相關(guān)的關(guān)鍵技術(shù)，整體框架如圖7所示，其中包括多種潛在風(fēng)險(xiǎn)及應(yīng)對技術(shù)，具體分析如下：

(1)模型安全風(fēng)險(xiǎn) 模型包括物理模型和虛擬模型。物理模型安全建立在制造精準(zhǔn)、制造誤差可控的基礎(chǔ)上，制造過程中產(chǎn)生較大偏差會引發(fā)物理系統(tǒng)不穩(wěn)定，并隨設(shè)備使用時(shí)間的增長，其振動幅度越來越大，從而引發(fā)設(shè)備故障或事故。例如軸徑超過允許的誤差范圍后，軸在轉(zhuǎn)動過程中會對軸承產(chǎn)生周期性沖擊，沖擊幅度逐漸增大，造成軸承破損，引發(fā)系統(tǒng)故障。數(shù)字孿生系統(tǒng)下，模型安全依賴于精準(zhǔn)設(shè)計(jì)、可靠制造等關(guān)鍵技術(shù)。虛擬模型在本質(zhì)上是數(shù)據(jù)，其安全也是數(shù)據(jù)安全的一部分，虛擬模型中數(shù)據(jù)的誤改動、傳輸過程中的數(shù)據(jù)丟失、模型庫的非法入侵等都會帶來模型安全風(fēng)險(xiǎn)，需要建立可靠的安全防控體系來確保模型安全，降低外來入侵者操控模型的風(fēng)險(xiǎn)。

(2)數(shù)據(jù)安全風(fēng)險(xiǎn) 數(shù)字孿生系統(tǒng)的應(yīng)用涉及傳感器的大量鋪設(shè)、數(shù)據(jù)采樣頻率和物理系統(tǒng)復(fù)雜度的提升等，因此擁有多物理量、多尺度、多源異構(gòu)等特點(diǎn)的大數(shù)據(jù)。數(shù)據(jù)的采集和傳輸、知識庫的建立等過程都隱藏著巨大的安全風(fēng)險(xiǎn)：①中心化的存儲方式會加劇泄露風(fēng)險(xiǎn)，雖然攻擊難度增加，但是攻擊目標(biāo)明確、成本低；②多樣性的數(shù)據(jù)蘊(yùn)藏著極敏感和高價(jià)值信息，所面臨的不再是單一竊取者，而是多層次的竊取者；③隨著數(shù)據(jù)中所蘊(yùn)含信息維度的增加，擴(kuò)展了安全防御邊界，安全預(yù)防的應(yīng)對方法和遭受攻擊的解析過程愈加復(fù)雜，安全管理范圍逐漸擴(kuò)大；④因果關(guān)系的線性分析轉(zhuǎn)變?yōu)閺?fù)雜的多變量非線性分析，智能的數(shù)據(jù)分析結(jié)果對決策者的影響逐漸增大，且隨數(shù)據(jù)分析真陽性的增多，決策者將失去判斷，如果模型中的參量被篡改，或者分析系統(tǒng)被控制，則將是災(zāi)難性的；⑤數(shù)據(jù)的提供者和維護(hù)者日益龐雜，為攻擊者提供了多種竊取路徑，攻防雙方力量的非對等性呈下降趨勢，數(shù)據(jù)挖掘和分析技術(shù)的進(jìn)步，伴隨著攻擊者竊取手段的不斷更新，技術(shù)壁壘的作用在降低。

基于上述分析，需要采用全面而又前沿的安全防控技術(shù)來降低安全風(fēng)險(xiǎn)。為此，本文提出以下應(yīng)對安全風(fēng)險(xiǎn)的技術(shù)手段：

(1)模型構(gòu)建與封裝技術(shù) 采用密文計(jì)算技術(shù)(同態(tài)加密技術(shù)、安全多方計(jì)算技術(shù)、可驗(yàn)證計(jì)算技術(shù)、密文檢索等技術(shù))對虛擬模型數(shù)據(jù)進(jìn)行封裝和加密，避免非法入侵惡意修改數(shù)據(jù)。

(2)個(gè)性化生物特征識別 利用可信認(rèn)證與生物認(rèn)證等技術(shù)，剔除假冒對象與數(shù)據(jù)，從源頭上確保數(shù)據(jù)源安全可靠。

(3)傳輸加密 利用高速網(wǎng)絡(luò)傳輸加密、跨域數(shù)據(jù)交換、威脅監(jiān)測等技術(shù)，確保數(shù)據(jù)在動態(tài)傳輸中的機(jī)密性和完整性。

(4)分類存儲 在隔離存儲的基礎(chǔ)上分級分類存儲，落實(shí)安全存儲和訪問控制，對高價(jià)值數(shù)據(jù)，如元數(shù)據(jù)、密集度高的數(shù)據(jù)或被高頻次訪問的數(shù)據(jù)，通過數(shù)據(jù)同步、數(shù)據(jù)復(fù)制、數(shù)據(jù)鏡像、冗余備份和災(zāi)難恢復(fù)等技術(shù)手段來確保數(shù)據(jù)完整。

(5)安全銷毀技術(shù) 通過刪除元數(shù)據(jù)、緩存數(shù)據(jù)和磁盤殘留信息來避免非法信息殘留。通過刪除元數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)、多次讀寫等方式，使數(shù)據(jù)銷毀流程形成閉環(huán)，確保數(shù)據(jù)刪除得干凈徹底。

4.4 數(shù)字孿生系統(tǒng)態(tài)勢感知與監(jiān)測預(yù)警技術(shù)

態(tài)勢感知是一種基于環(huán)境且動態(tài)、整體地洞悉安全風(fēng)險(xiǎn)的能力，是以安全大數(shù)據(jù)為基礎(chǔ)，從全局視角提升對安全威脅的發(fā)現(xiàn)識別、理解分析、響應(yīng)處置能力的一種方式，最終為系統(tǒng)的安全防控決策和措施提供依據(jù)[58]。面向人機(jī)交互的數(shù)字孿生系統(tǒng)是一個(gè)“人—機(jī)—環(huán)境”相互融合的動態(tài)復(fù)雜系統(tǒng)，因此，對數(shù)字孿生系統(tǒng)的工業(yè)安全控制進(jìn)行研究需要從人員、設(shè)備、環(huán)境和網(wǎng)絡(luò)體系等方面進(jìn)行全面綜合的態(tài)勢感知與監(jiān)測預(yù)警，并建立一個(gè)綜合評估模型，以評估出不同等級的系統(tǒng)安全態(tài)勢。圖8所示為數(shù)字孿生系統(tǒng)的態(tài)勢感知與監(jiān)測預(yù)警框架，利用數(shù)據(jù)采集設(shè)備從孿生系統(tǒng)中抓取“人—機(jī)—環(huán)境”數(shù)據(jù)，并借助算法分析感知系統(tǒng)態(tài)勢，最終根據(jù)感知結(jié)果進(jìn)行實(shí)時(shí)監(jiān)測預(yù)警，具體分析如下：

(1)人的態(tài)勢感知與監(jiān)測預(yù)警

人的安全是數(shù)字孿生系統(tǒng)安全的核心，然而人的工作環(huán)境、工作狀態(tài)、熟練程度、情感等多種因素隨時(shí)間變化，出現(xiàn)緊急突發(fā)狀況時(shí)，不能保證人可以隨時(shí)快速響應(yīng)并進(jìn)行正確處理。利用態(tài)勢感知與監(jiān)測預(yù)警技術(shù)時(shí)刻監(jiān)測人員的安全情況，可以最大地降低安全風(fēng)險(xiǎn)，保障人員安全，例如可以通過工人的腦電信號監(jiān)測其作業(yè)疲勞程度[59]，采用心率監(jiān)測分析工人的生理疲勞情況[60]，基于多模情緒相關(guān)信號識別工人的情緒[61]。本文研究一種框架，利用個(gè)性化的生物識別、全方位感知、可穿戴動作捕捉、光學(xué)視覺動作捕捉、VR/AR/MR等技術(shù)，識別人的情緒、疲勞程度、周圍環(huán)境的變化，例如采用神經(jīng)機(jī)制模型[62]對動態(tài)情緒面孔進(jìn)行深度加工可以判斷人是否發(fā)生焦慮，利用語音語調(diào)識別方法可以判斷人的情緒是否發(fā)生變化[63]，利用視頻流分析技術(shù)[64]可以實(shí)時(shí)感知環(huán)境變化，達(dá)到在發(fā)生安全風(fēng)險(xiǎn)前發(fā)出提醒和告警，防患于未然的目的。

(2)設(shè)備的態(tài)勢感知與監(jiān)測預(yù)警

設(shè)備是數(shù)字孿生系統(tǒng)的執(zhí)行單位。在長期運(yùn)行中，由于高速、高溫的工作環(huán)境，以及大負(fù)載、沖擊等惡劣工況，設(shè)備發(fā)生故障不可避免，若不能及時(shí)發(fā)現(xiàn)潛在的故障，則會使故障惡化，并因部件間耦合形成故障傳遞而引發(fā)事故。態(tài)勢感知與監(jiān)測預(yù)警利用數(shù)據(jù)處理、信號分析、機(jī)器學(xué)習(xí)、概率統(tǒng)計(jì)等技術(shù)和方法從數(shù)據(jù)中挖掘早期特征，時(shí)刻感知數(shù)字孿生系統(tǒng)中設(shè)備的態(tài)勢，在出現(xiàn)早期故障時(shí)及時(shí)發(fā)出預(yù)警，從而保障設(shè)備安全。

(3)環(huán)境的態(tài)勢感知與監(jiān)測預(yù)警

數(shù)字孿生系統(tǒng)下的環(huán)境具有動態(tài)性和不確定性，需要時(shí)刻感知環(huán)境變化，對潛在的安全隱患發(fā)出預(yù)警。為了分析環(huán)境的變化，可利用視頻監(jiān)控技術(shù)，依賴圖像處理、深度學(xué)習(xí)、圖像分割、模式識別等技術(shù)，對視頻流進(jìn)行處理，并利用高性能服務(wù)器提高響應(yīng)速度，實(shí)現(xiàn)感知環(huán)境、快速分析和及時(shí)預(yù)警。

(4)數(shù)據(jù)的態(tài)勢感知與監(jiān)測預(yù)警

數(shù)字孿生系統(tǒng)中的數(shù)據(jù)價(jià)值高、不可泄漏，對數(shù)據(jù)的安全態(tài)勢進(jìn)行感知與預(yù)警可保障系統(tǒng)的可靠性。本文通過安全態(tài)勢感知技術(shù)對平臺系統(tǒng)和數(shù)據(jù)流轉(zhuǎn)過程的安全勢態(tài)進(jìn)行探測、分析和可視化，從時(shí)間和空間維度對安全威脅情報(bào)和各類安全態(tài)勢信息進(jìn)行大數(shù)據(jù)分析，幫助管理人員掌握數(shù)據(jù)安全現(xiàn)狀，實(shí)現(xiàn)對數(shù)字孿生系統(tǒng)的精細(xì)化運(yùn)維和管理。同時(shí)，利用監(jiān)測預(yù)警技術(shù)為數(shù)據(jù)源、大數(shù)據(jù)平臺和大數(shù)據(jù)流轉(zhuǎn)提供全方位、全視域的威脅甄別與預(yù)警，通過主動行為發(fā)出安全防護(hù)信息，如威脅監(jiān)測識別、危險(xiǎn)入侵預(yù)警、威脅信號推送等。

5 案例

5.1 智能設(shè)備遠(yuǎn)程人機(jī)交互與安全操控原型系統(tǒng)

根據(jù)所提面向人機(jī)交互的數(shù)字孿生系統(tǒng)安全操控技術(shù)，開發(fā)了智能設(shè)備遠(yuǎn)程人機(jī)交互與安全操控原型系統(tǒng)，初步實(shí)現(xiàn)了遠(yuǎn)程控制、多級權(quán)限操作、安全控制等功能。

在原型系統(tǒng)構(gòu)建中，需要實(shí)現(xiàn)硬件執(zhí)行層、網(wǎng)絡(luò)層、系統(tǒng)層、邏輯控制層和用戶操作層5層架構(gòu)模型，如圖9所示。通過樹形網(wǎng)絡(luò)將系統(tǒng)切分為若干單元，各單元通過安全網(wǎng)關(guān)與交換機(jī)進(jìn)行多類型設(shè)備在物理上的連通，形成智能設(shè)備互聯(lián)平臺；然后，通過網(wǎng)關(guān)和防火墻接入互聯(lián)網(wǎng)，對硬件執(zhí)行層中的PLC、電機(jī)、加工中心、數(shù)控機(jī)床系統(tǒng)和機(jī)器人等進(jìn)行遠(yuǎn)程管控與關(guān)鍵參數(shù)修改。另外，OPC Server和系統(tǒng)頁面部署在工業(yè)網(wǎng)絡(luò)中的服務(wù)器主機(jī)上，系統(tǒng)層和業(yè)務(wù)邏輯層的大部分軟件代碼都運(yùn)行在服務(wù)器主機(jī)上。在用戶操作層，通過客戶端的瀏覽器訪問系統(tǒng)頁面監(jiān)控系統(tǒng)狀態(tài)，用戶可以通過內(nèi)部的智能設(shè)備互聯(lián)平臺或?yàn)g覽器直接登陸系統(tǒng)，進(jìn)行遠(yuǎn)程控制、權(quán)限管理與在線驗(yàn)證和審批等。

根據(jù)系統(tǒng)整體的框架和層次模型，針對各層面臨的不同安全威脅部署相應(yīng)的應(yīng)對策略，如圖10所示。在安全驗(yàn)證和操作流程審批模塊中，用戶向系統(tǒng)發(fā)出未經(jīng)加密處理的連接請求；系統(tǒng)收到用戶請求后，查找安全模塊的設(shè)備互聯(lián)網(wǎng)協(xié)議(Internet Protocol，IP)與地址和媒體存取控制位(Media Access Control, MAC)名單，如果在名單內(nèi)，則進(jìn)行下一步，否則拒絕接入請求；找到安全模塊設(shè)備之后，要求用戶提供自己的身份證明，用戶收到該報(bào)文以后，向系統(tǒng)發(fā)送自己的證書文件，身份證書核對無誤后進(jìn)入下一步，否則拒絕用戶接入；然后系統(tǒng)要求用戶提供用戶名、密碼和驗(yàn)證碼等信息，與用戶開始加密通訊，用戶將用戶名、密碼和驗(yàn)證碼發(fā)送給系統(tǒng)；系統(tǒng)核對無誤后將用戶接入系統(tǒng)的Java服務(wù)器頁面(Java Server Pages，JSP)。

5.2 汽車焊接裝配工作站的人機(jī)協(xié)作安全控制技術(shù)驗(yàn)證

在某汽車焊接裝配工作站人機(jī)協(xié)作安全控制案例中，采用ABB-IRB1600機(jī)器人，采用身高為173 cm、身體質(zhì)量指數(shù) (Body Mass Index, BMI)小于25的男性為人體模型。人機(jī)協(xié)作區(qū)域由兩個(gè)雙目相機(jī)監(jiān)控，其中一個(gè)像機(jī)位于機(jī)器人正前方3 m處，另一個(gè)位于機(jī)器人左方或右方3 m處，兩個(gè)雙目攝像機(jī)對人—機(jī)協(xié)作場景進(jìn)行冗余拍攝，使該場景中無監(jiān)控盲區(qū)。

圖11基于Unity 3D建立了與物理空間真實(shí)人機(jī)協(xié)作對應(yīng)的數(shù)字孿生環(huán)境，并開發(fā)了對應(yīng)數(shù)字模型的C#腳本，同時(shí)采用MySQL數(shù)據(jù)庫存儲采集到的物理場景實(shí)時(shí)數(shù)據(jù)，通過Unity 3D平臺接口與模型實(shí)時(shí)通訊，達(dá)到物理空間與虛擬空間同步的目的。在數(shù)字孿生環(huán)境下，通過向設(shè)計(jì)人員提供重要的感知線索并進(jìn)行多模式反饋，能夠增強(qiáng)人們對協(xié)作場景和機(jī)器人運(yùn)動的感知能力，設(shè)計(jì)人員可以近距離從不同角度直觀地觀察人機(jī)協(xié)作場景，檢查各個(gè)設(shè)備的位置，如果有需要，則可通過控制器手動調(diào)整設(shè)備位置，在此基礎(chǔ)上，分別基于機(jī)器視覺和級聯(lián)金字塔網(wǎng)絡(luò)檢測機(jī)器人和操作人員的關(guān)鍵點(diǎn)。其中，基于機(jī)器視覺可識別粘貼在機(jī)器人各關(guān)節(jié)上的標(biāo)簽坐標(biāo)，這種方法具有較好的通用性[65]；利用開源的級聯(lián)金字塔網(wǎng)絡(luò)能夠快速精確地識別人體關(guān)鍵點(diǎn)[66]。為了保證人機(jī)協(xié)作過程安全，設(shè)置了不同的安全閾值，當(dāng)人機(jī)之間的距離d≥30 cm時(shí)，機(jī)器人以正常速度工作；當(dāng)30 cm

6 結(jié)束語

本文針對面向人機(jī)交互的數(shù)字孿生系統(tǒng)中，人機(jī)交互安全控制體系有待完善、缺乏有效的人機(jī)交互安全控制機(jī)制、安全控制關(guān)鍵技術(shù)亟需突破等問題，提出面向人機(jī)交互的數(shù)字孿生系統(tǒng)工業(yè)安全控制體系架構(gòu)，分析了數(shù)字孿生系統(tǒng)工業(yè)安全管理與控制機(jī)制，研究了數(shù)字孿生系統(tǒng)工業(yè)安全與控制的關(guān)鍵技術(shù)，并給出兩個(gè)系統(tǒng)開發(fā)案例。

目前，數(shù)字孿生的理論和技術(shù)研究仍處于初級階段，鮮有在企業(yè)應(yīng)用成熟的數(shù)字孿生系統(tǒng)。當(dāng)數(shù)字孿生系統(tǒng)在實(shí)際車間運(yùn)行時(shí)，由于實(shí)際工況的復(fù)雜性及越來越高的工業(yè)安全等級要求，跨系統(tǒng)集成、人機(jī)交互、安全控制等技術(shù)成為數(shù)字孿生系統(tǒng)開發(fā)與實(shí)施的難點(diǎn)。隨著數(shù)字孿生理論與技術(shù)研究的不斷深入，本文提出的體系架構(gòu)、安全控制機(jī)制和關(guān)鍵技術(shù)將會被不斷地完善和拓展。