楊 遷 胡 元 林易樂

（浙江圖盛輸變電工程有限公司溫州科技分公司，浙江 溫州 325000）

輸電線路無人機(jī)巡檢作業(yè)是保證電網(wǎng)安全穩(wěn)定運(yùn)行的重要手段，開展專項操作技能培訓(xùn)對于線路運(yùn)維作業(yè)的順利開展具有重要意義。無人機(jī)巡檢作業(yè)有時需要由2人及以上人員構(gòu)成的班組協(xié)同完成。實際培訓(xùn)通常是由專家或有經(jīng)驗的教師先進(jìn)行理論講授，再開展實操訓(xùn)練。通過對注意事項、職責(zé)任務(wù)、配合要點等內(nèi)容進(jìn)行講述的方式，作業(yè)人員對協(xié)同操作過程和要領(lǐng)的體會往往不夠深刻。在理論講解后直接在實際線路上進(jìn)行操作訓(xùn)練，容易出現(xiàn)操作配合不到位的情況，存在較大的安全風(fēng)險。綜合采用虛擬現(xiàn)實、人機(jī)交互和網(wǎng)絡(luò)技術(shù)，構(gòu)建一個沉浸式作業(yè)環(huán)境和可自由操作的仿真培訓(xùn)平臺，讓多名作業(yè)人員通過不同崗位角色參與到作業(yè)過程中，體驗如何配合、協(xié)同完成線路設(shè)備的巡檢檢修操作，將有效解決當(dāng)前無人機(jī)巡檢作業(yè)培訓(xùn)中所面臨的問題。

目前，仿真培訓(xùn)已廣泛應(yīng)用于軍工、教育等多個行業(yè)的操作訓(xùn)練，協(xié)同操作仿真在航天、裝配、空戰(zhàn)仿真等多個領(lǐng)域中得到了應(yīng)用。結(jié)果表明；該方式不僅能夠在經(jīng)濟(jì)上帶來較大效益，而且能夠有效提升訓(xùn)練水平[1-3]。仿真培訓(xùn)在線路運(yùn)維培訓(xùn)領(lǐng)域應(yīng)用最初是通過采用三維仿真技術(shù)還原線路運(yùn)維場景和標(biāo)準(zhǔn)化操作過程，通過形象直觀地講解項目的作業(yè)方法、人員組合、工器具配備、作業(yè)步驟、安全措施等內(nèi)容，提升教學(xué)培訓(xùn)效果。近年來，隨著虛擬現(xiàn)實技術(shù)的發(fā)展，虛擬現(xiàn)實頭盔、手柄、傳感器等多種設(shè)備逐步應(yīng)用于線路運(yùn)維的培訓(xùn)中，實現(xiàn)了線路運(yùn)維過程的人機(jī)交互和沉浸式體驗，有效增強(qiáng)了培訓(xùn)效果，并且使得基于虛擬場景的線路運(yùn)維技能培訓(xùn)成為可能[4-6]。但目前僅能夠用于單人、單流程的模擬操作訓(xùn)練，還不能用于多人協(xié)同操作。

協(xié)同仿真訓(xùn)練是以虛擬現(xiàn)實技術(shù)為基礎(chǔ)，在由計算機(jī)生成的包含了作業(yè)場景與作業(yè)人員動作過程的三維虛擬場景中，不同人員通過各自的終端進(jìn)行實時操作信息交互，驅(qū)動協(xié)同虛擬環(huán)境中的人體模型來完成整個作業(yè)過程的仿真操作。實現(xiàn)虛擬協(xié)同操作需要解決兩個關(guān)鍵問題：一是如何對多用戶的并發(fā)維修行為進(jìn)行控制，防止沖突發(fā)生；二是如何保證多個不同客戶端中仿真作業(yè)場景的一致性。基于此，本文重點研究了線路運(yùn)維多人協(xié)同操作模型的構(gòu)建方法，通過對基于多人協(xié)同操作的系統(tǒng)構(gòu)成、體系架構(gòu)和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進(jìn)行設(shè)計，采用Unity 3D、3DMax、VC++、數(shù)據(jù)庫管理系統(tǒng)軟件等基礎(chǔ)開發(fā)平臺，實現(xiàn)了線路運(yùn)維多人協(xié)同仿真操作和對作業(yè)過程的監(jiān)控和管理，解決了多用戶并發(fā)操作沖突控制和虛擬仿真場景的一致性的問題。

1 多人協(xié)同操作模型

1.1 協(xié)同操作流程設(shè)計

線路運(yùn)維多人協(xié)同仿真操作過程中，各作業(yè)人員分別使用虛擬現(xiàn)實交互設(shè)備進(jìn)入同一作業(yè)場景中進(jìn)行作業(yè)任務(wù)的仿真操作，多人協(xié)同過程中涉及大量的并發(fā)操作可能導(dǎo)致沖突的出現(xiàn)。因此，對多用戶的并發(fā)操作行為進(jìn)行控制，防止沖突發(fā)生是實現(xiàn)線路運(yùn)維虛擬協(xié)同操作訓(xùn)練首先需要解決的問題。由于線路運(yùn)維協(xié)同操作過程比較復(fù)雜，且涉及的作業(yè)工具和線路設(shè)備比較多，因此本文采用令牌機(jī)制和動態(tài)權(quán)限分配方法[7-9]對作業(yè)項目的操作流程進(jìn)行規(guī)劃，通過主動分配操作令牌，引導(dǎo)每個環(huán)節(jié)的操作過程，防止多人操作中沖突的發(fā)生。

根據(jù)線路運(yùn)維項目的實際操作需求，每個作業(yè)項目的操作過程都可以分為并行操作過程和多人同步操作過程。每個角色設(shè)定序號、崗位、權(quán)限和狀態(tài)四個特征量，各角色的崗位根據(jù)實際操作要求分配，設(shè)置等待和操作兩種狀態(tài)。根據(jù)實際作業(yè)要求設(shè)計各個步驟的操作內(nèi)容和崗位角色，在各步驟開始時動態(tài)分配操作權(quán)限，在步驟結(jié)束處設(shè)置提醒標(biāo)志，作業(yè)人員在各操作步驟結(jié)束收到提醒標(biāo)志后的釋放操作權(quán)限，在下一步驟開始前重新進(jìn)行權(quán)限分配。例如，假設(shè)某項運(yùn)維作業(yè)由K名人員參與，作業(yè)任務(wù)由M個操作步驟組成。仿真操作任務(wù)啟動后，系統(tǒng)首先根據(jù)實際作業(yè)要求將不同權(quán)限（1～K）分配給不同的角色，然后由權(quán)限最高的角色負(fù)責(zé)完成操作具體操作動作，其他多人角色進(jìn)行協(xié)助。當(dāng)最高權(quán)限的角色出現(xiàn)操作異常時，系統(tǒng)會自動將操作令牌分配給權(quán)限最高的等待作業(yè)人員，通過實現(xiàn)操作權(quán)限的動態(tài)分配避免并發(fā)沖突，保證整個過程的順利進(jìn)行和系統(tǒng)的正常運(yùn)行。

1.1.1 并行操作過程

線路運(yùn)維協(xié)同操作過程中存在多人在同一時段分別獨(dú)立開展各自任務(wù)的情況，本文稱之為并行操作過程。并行操作流程如圖1所示，系統(tǒng)首先對作業(yè)人員進(jìn)行分流，將作業(yè)人員劃分為互不相關(guān)的N個串行操作小組。對某一組內(nèi)作業(yè)人員來說，系統(tǒng)根據(jù)線路運(yùn)維實際操作要求對組內(nèi)所有參與操作的人員進(jìn)行權(quán)限分配，獲得最高優(yōu)先級的作業(yè)人員按照單人串行模式進(jìn)行操作，當(dāng)該人員出現(xiàn)網(wǎng)絡(luò)掉線、退出等異常情況時，系統(tǒng)將主動從等待狀態(tài)的人員中挑選一名候補(bǔ)人員繼續(xù)進(jìn)行操作。所有作業(yè)人員在每個步驟完成后均將操作權(quán)限釋放，在進(jìn)入下個環(huán)節(jié)后獲得系統(tǒng)重新分配的權(quán)限。由于在線路運(yùn)維中有嚴(yán)格的操作標(biāo)準(zhǔn)，當(dāng)兩路作業(yè)人員還有一人未完成設(shè)定任務(wù)，則需等待另一人員完成后才能共同進(jìn)入到下一類型的操作步驟中。

1.1.2 多人同步操作過程

無人機(jī)巡檢操作中存在需要多人協(xié)同操作才能完成的任務(wù)，例如無人機(jī)飛行控制、無人機(jī)云臺控制等，為了保證操作的正確性和有效性，系統(tǒng)需要對操作權(quán)限進(jìn)行設(shè)置。多人協(xié)同操作流程如圖2所示，首先根據(jù)權(quán)限遞減次序選出兩名作業(yè)人員，然后系統(tǒng)會向兩名作業(yè)人員發(fā)布協(xié)作指令，當(dāng)兩名作業(yè)人員都回復(fù)同意時，操作正式開始。操作過程中，系統(tǒng)時刻監(jiān)控是否有作業(yè)人員掉線、退出等特殊情況，如出現(xiàn)此類情況，系統(tǒng)及時將操作指令按照權(quán)限遞減次序發(fā)布給下一作業(yè)人員，以保證操作順利執(zhí)行完畢。作業(yè)人員在完成各步驟的任務(wù)后主動釋放操作權(quán)限，即進(jìn)入下一個操作步驟。

圖1 并行操作流程圖

圖2 多人協(xié)同操作流程圖

1.2 仿真任務(wù)建模

1.2.1 層次化任務(wù)結(jié)構(gòu)

實現(xiàn)輸配電線路無人機(jī)巡檢作業(yè)的多人協(xié)同操作過程的仿真，首先要能夠全面、清晰地描述所有可能的操作任務(wù)，并能夠真實、流暢地還原各項具體操作動作。將無人機(jī)線路巡檢作業(yè)仿真操作任務(wù)進(jìn)行層次化分解，實現(xiàn)對線路運(yùn)維操作任務(wù)的建模與封裝，可以更靈活地操控虛擬人以及虛擬無人機(jī)執(zhí)行指定的操作動作，實現(xiàn)對線路巡檢仿真過程的準(zhǔn)確實時控制。因此，任務(wù)分解是實現(xiàn)操作過程仿真的關(guān)鍵，本文將操作任務(wù)分解與人體活動仿真相結(jié)合，設(shè)計以人體活動為核心的操作任務(wù)分解模型，作業(yè)人員完成某一任務(wù)的具體操作過程如圖3所示。

圖3 操作過程

以操作過程中的人體活動為依據(jù)，實現(xiàn)每個具體操作的仿真是完成整個仿真操作過程的基礎(chǔ)，因此任務(wù)分解應(yīng)將完整的過程分解至完成操作的所有運(yùn)動及動作信息的層次，并實現(xiàn)對這些具體動作信息的準(zhǔn)確表達(dá)。本文基于過程和分層的設(shè)計思想[12]，認(rèn)為各項復(fù)雜的操作任務(wù)由若干子任務(wù)構(gòu)成，而每項子任務(wù)由互不相關(guān)且易于描述的多個基本動作構(gòu)成。根據(jù)動作類型和任務(wù)的抽象程度，本文將線路運(yùn)維操作活動由上到下分為三層：業(yè)務(wù)相關(guān)的檢修任務(wù)層、面向較小作業(yè)目標(biāo)的作業(yè)單元層、任務(wù)無關(guān)的基本動作層。任務(wù)分解模型如圖4所示。

圖4 任務(wù)的層次分解

（1）基本動作層：參數(shù)化的基本動作層與具體操作任務(wù)無關(guān)，具有通用語義，例如作業(yè)人員行走、彎腰、轉(zhuǎn)身、拿放工具等不同的基本動作形式。

（2）作業(yè)單元層：作業(yè)單元層用來描述虛擬作業(yè)人員完成某一作業(yè)任務(wù)而需要開展的各項操作，是對所要實現(xiàn)檢修任務(wù)層過程的細(xì)分，各單元內(nèi)容通過基本動作組合得到。

（3）檢修任務(wù)層：最終要實現(xiàn)的目標(biāo)，由作業(yè)單元的順序組合來完成，例如無人機(jī)起飛、懸停、拍照等任務(wù)。通過檢修任務(wù)層—作業(yè)單元層—基本動作層三個層次不僅可以完整地描述任意作業(yè)任務(wù)，還可以為作業(yè)過程的評價和分析提供信息支撐。

1.2.2 動作庫的建立

根據(jù)上述對作業(yè)任務(wù)進(jìn)行層次化分解，當(dāng)作業(yè)人員對虛擬場景中的仿真對象進(jìn)行操作時，通過調(diào)用動作庫中的基本動作，組合成一個操作行為完成單元操作任務(wù)，再通過完成多項單元任務(wù)可最終實現(xiàn)檢修任務(wù)目標(biāo)。因此，基本動作庫應(yīng)具備不相交性、完整性和可重用性，涵蓋一整套可以描述實際作業(yè)所需的各種操作且能被重復(fù)使用的基本動作。為了便于實現(xiàn)線路運(yùn)維中各項操作的建模和仿真，本文根據(jù)結(jié)合實際線路運(yùn)維的操作內(nèi)容和特點，定義了一套基本動作作為描述各種操作行為的標(biāo)準(zhǔn)，并通過設(shè)定指令實現(xiàn)對基本動作的調(diào)用，例如：

（1）Worker Gesture（gesture1：手部操作；gesture2：身體姿態(tài)）：虛擬人從當(dāng)前姿勢調(diào)整到所希望的手部操作及合適的身體姿態(tài)。

（2）Target Location（location：作業(yè)位置）：通過傳遞位置參數(shù)，虛擬人可到達(dá)執(zhí)行操作任務(wù)的作業(yè)位置。

（3）Use Tool（name：工器具名稱；gesture1：手部操作；gesture2：身體姿態(tài)；equipment：操作對象）：虛擬人獲取場景中的設(shè)備對某設(shè)備進(jìn)行操作。

（4）Operation（equipment area：設(shè) 備 區(qū) 域；action：操作動作）：對某一設(shè)備執(zhí)行具體的巡檢操作。

（5）Release（equipment：釋放設(shè)備名稱；gesture1：手部復(fù)原狀態(tài)；gesture2：身體復(fù)原姿態(tài)）：虛擬人完成操作后，釋放設(shè)備，手部和身體均恢復(fù)到初始或某種指定狀態(tài)。

本文綜合采用關(guān)鍵幀動畫仿真和逆向運(yùn)動計算方法對虛擬人的基本動作進(jìn)行表達(dá)。采用關(guān)鍵幀方法實現(xiàn)相對固定的動作，首先建立由關(guān)鍵幀動畫構(gòu)成的基本動畫庫，通過調(diào)用數(shù)據(jù)庫中的關(guān)鍵幀動畫實現(xiàn)虛擬作業(yè)人員的操作行為。對于一些難以用固定動作表示的動作，例如操作大小不同的物體，抓取時手部張開的范圍和姿態(tài)存在一定差異，此類情況則采用逆向運(yùn)動學(xué)方法實現(xiàn)真實的交互，例如通過獲得初始手型的位置和方向以及目標(biāo)手型的位置和方向，則可以計算出完成從初始手型到目標(biāo)手型的轉(zhuǎn)換所需要的時間步數(shù)，實現(xiàn)對非固定動作的模擬。

1.3 三維仿真資源建模

1.3.1 模型定義

為了實現(xiàn)虛擬作業(yè)人員與虛擬場景中的對象的動態(tài)交互和展示，線路運(yùn)維仿真環(huán)境中的部分三維物體是非靜態(tài)的。為了便于進(jìn)行動畫控制，提高仿真過程中虛擬作業(yè)人員與仿真對象之間的交互效率，本文基于特征建模思想建立一個預(yù)定義的對象描述，對非靜態(tài)的三維物體用于交互的特征和屬性進(jìn)行定義，不僅描述設(shè)備的幾何特性，還對功能特征和執(zhí)行任務(wù)進(jìn)行描述。通過預(yù)先存儲與物體進(jìn)行交互相關(guān)的信息，并為所創(chuàng)建的動作庫中的基本動作提供參數(shù)，使虛擬作業(yè)人員能夠快速調(diào)用相關(guān)信息和基本動作實現(xiàn)指定任務(wù)的交互操作。通過綜合交互對象部位、交互操作位置、設(shè)備狀態(tài)變化等信息，可以實現(xiàn)虛擬作業(yè)人員與物體直接任意可能的交互行為仿真。本文根據(jù)線路運(yùn)維項目的操作特點將交互特征進(jìn)行了細(xì)分，如表1所示。

表1 交互特征列表

1.3.2 三維建模

為了構(gòu)建真實的線路運(yùn)維虛擬操作環(huán)境，需要建立基本的線路運(yùn)維資源模型，主要包括線路設(shè)備的三維模型、缺陷模型、人物模型以及作業(yè)環(huán)境。本文采用參數(shù)化建模軟件3DMax建立線路運(yùn)維虛擬作業(yè)過程中涉及的三維模型，建模流程如圖5所示，最后將發(fā)布的模型文件導(dǎo)入到虛擬現(xiàn)實開發(fā)平臺Unity3D中進(jìn)行線路運(yùn)維仿真場景的構(gòu)建。

圖5 三維建模流程

2 系統(tǒng)設(shè)計

2.1系統(tǒng)構(gòu)成

本文將無人機(jī)巡線仿真培訓(xùn)系統(tǒng)的功能分為學(xué)員端和教員端，其中學(xué)員客戶機(jī)主要實現(xiàn)線路運(yùn)維操作過程的多人協(xié)同操作，多名學(xué)員可以通過不同的硬件設(shè)備參與到同一個線路運(yùn)維項目中，通過手柄、頭戴式立體眼鏡進(jìn)行作業(yè)過程交互操作和沉浸式體驗；教員通過控制臺實現(xiàn)對多人同時訓(xùn)練過程的監(jiān)控、記錄和管理。目前，多臺計算機(jī)的網(wǎng)絡(luò)協(xié)同組建方法主要包括分布式協(xié)同和集中式協(xié)同。分布式協(xié)同通過網(wǎng)絡(luò)節(jié)點接收信息并進(jìn)行關(guān)鍵性的信息處理后，再將結(jié)果發(fā)送給服務(wù)器或其他網(wǎng)絡(luò)節(jié)點進(jìn)行仲裁，該方式負(fù)載分配合理，但控制算法比較復(fù)雜，適合具有大規(guī)模節(jié)點的分布式協(xié)同任務(wù)。集中式協(xié)同則是由服務(wù)器統(tǒng)一接收當(dāng)前各個網(wǎng)絡(luò)節(jié)點的輸入信息，并統(tǒng)一計算處理后回發(fā)各節(jié)點，該方式容易處理沖突，控制簡單，但是對服務(wù)器要求比較高，適合網(wǎng)絡(luò)節(jié)點較少的應(yīng)用系統(tǒng)。線路運(yùn)維的協(xié)同操作培訓(xùn)一般由培訓(xùn)中心組織在局域網(wǎng)開展，單次協(xié)同訓(xùn)練的人數(shù)在2～4名，集中式協(xié)同比較符合線路運(yùn)維協(xié)同仿真培訓(xùn)的實際需求，因此本文采用集中式協(xié)同構(gòu)架組建本仿真培訓(xùn)系統(tǒng)，如圖6所示。

圖6 協(xié)同操作仿真培訓(xùn)系統(tǒng)組成

系統(tǒng)由1臺仿真計算服務(wù)器、多臺用于線路運(yùn)維訓(xùn)練的學(xué)員客戶機(jī)、1臺教員機(jī)、1套立體投影監(jiān)控系統(tǒng)和網(wǎng)絡(luò)交換機(jī)組成。其中，線路運(yùn)維學(xué)員佩戴虛擬現(xiàn)實輸入設(shè)備（如手柄、位置跟蹤儀等）和反饋設(shè)備（如立體頭盔、力反饋裝置等）進(jìn)行線路運(yùn)維的協(xié)同操作仿真訓(xùn)練，客戶機(jī)采集和處理虛擬現(xiàn)實輸入設(shè)備的數(shù)據(jù)，并根據(jù)仿真計算服務(wù)器計算結(jié)果生成該線路運(yùn)維人員第一視角的三維作業(yè)場景、驅(qū)動力反饋裝置使得線路運(yùn)維人員感知操作結(jié)果。仿真計算服務(wù)器接收各線路運(yùn)維人員操作數(shù)據(jù)后執(zhí)行仿真計算，進(jìn)行三維虛擬場景仿真、碰撞檢測計算、抓持仿真、人體和物體動力學(xué)仿真以及協(xié)同仿真處理，最后把計算結(jié)果分別發(fā)送給客戶機(jī)和教員機(jī)，并且實現(xiàn)過程記錄、操作回放和多視角觀看功能。教師可以通過教員機(jī)發(fā)送仿真培訓(xùn)項目訓(xùn)練的控制指令，通過立體投影系統(tǒng)觀察和監(jiān)視各線路運(yùn)維人員的操作過程及協(xié)同完成任務(wù)情況。

2.2 體系結(jié)構(gòu)

針對輸配電線路無人機(jī)巡檢作業(yè)多人協(xié)同仿真培訓(xùn)系統(tǒng)的功能需求，本文采用基于數(shù)據(jù)建模的方法來構(gòu)建系統(tǒng)的體系結(jié)構(gòu)，包括表現(xiàn)層、邏輯層、數(shù)據(jù)層和支撐層，如圖7所示。

圖7 系統(tǒng)體系結(jié)構(gòu)

2.2.1 表現(xiàn)層

表現(xiàn)層通過不同的硬件終端設(shè)備為教員、學(xué)員等不同用戶提供人機(jī)交互操作界面，獲取并顯示協(xié)同操作過程中生成的數(shù)據(jù)。

2.2.2 邏輯層

邏輯層是整個協(xié)同操作仿真培訓(xùn)系統(tǒng)的核心，實現(xiàn)對業(yè)務(wù)邏輯的處理、系統(tǒng)管理及配置管理，包括仿真操作訓(xùn)練、仿真操作考核、權(quán)限設(shè)定、培訓(xùn)監(jiān)控和信息管理等模塊。本系統(tǒng)在協(xié)同仿真操作模塊中，將線路運(yùn)維的具體操作分解為檢修任務(wù)層、作業(yè)單元層和基本動作層，根據(jù)協(xié)同操作流程設(shè)計驅(qū)動虛擬場景并控制整個仿真操作過程。

2.2.3 數(shù)據(jù)層

數(shù)據(jù)層封裝線路運(yùn)維仿真中涉及的各項資源，包括三維模型庫、設(shè)備信息庫、試題庫、用戶信息庫等，其中三維模型庫又分為場景模型、人物模型、工器具模型、動作模型等。

2.2.4 支撐層

支撐層主要為系統(tǒng)軟件技術(shù)開發(fā)平臺和網(wǎng)絡(luò)協(xié)議，軟件平臺包括主要采用Unity 3D、3DMax、VC++、數(shù)據(jù)庫管理系統(tǒng)軟件，為仿真作業(yè)視景驅(qū)動與程序控制提供基礎(chǔ)開發(fā)平臺。網(wǎng)絡(luò)平臺支持TCP/IP、IPX、DirectPlay、視頻協(xié)議等，實現(xiàn)組網(wǎng)和網(wǎng)絡(luò)傳輸功能，保證大數(shù)據(jù)量的吞吐。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

線路運(yùn)維協(xié)同仿真系統(tǒng)是一個多計算機(jī)、多顯示設(shè)備的協(xié)同訓(xùn)練仿真環(huán)境，在協(xié)同操作過程中，各個作業(yè)人員通過虛擬現(xiàn)實設(shè)備與虛擬場景交互，只有當(dāng)各作業(yè)人員在本地看到的場景與其他作業(yè)人員看到的場景一致時，才能保證協(xié)同操作過程的順利進(jìn)行。在多名作業(yè)人員進(jìn)行協(xié)同操作的過程中，仿真系統(tǒng)必須保證虛擬場景的一致性，包括構(gòu)成虛擬場景的元素、仿真對象的位置和狀態(tài)、仿真對象之間的約束關(guān)系等。場景、角色、腳本和通信需要頻繁地與數(shù)據(jù)服務(wù)器進(jìn)行數(shù)據(jù)交換，保證各名作業(yè)人員之間數(shù)據(jù)同步也是協(xié)同作業(yè)實現(xiàn)的關(guān)鍵。為保證各客戶機(jī)之間數(shù)據(jù)同步的實時性和可靠性，本文采用數(shù)據(jù)同步技術(shù)設(shè)計協(xié)同仿真系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，如圖8所示。

圖8 協(xié)同操作仿真培訓(xùn)系統(tǒng)拓?fù)浣Y(jié)構(gòu)圖

在協(xié)同仿真作業(yè)系統(tǒng)中設(shè)置一個公共數(shù)據(jù)服務(wù)器創(chuàng)建一個虛擬場景元素數(shù)據(jù)同步中心，每個各作業(yè)人員客戶機(jī)以C/S方式直接訪問公共數(shù)據(jù)服務(wù)器上存放的公共信息。系統(tǒng)運(yùn)行前，各客戶機(jī)下載一份虛擬場景元素數(shù)據(jù)，通過修改虛擬場景元素數(shù)據(jù)庫，各臺學(xué)員客戶機(jī)即可更新本地的虛擬場景。系統(tǒng)在運(yùn)行中不通過網(wǎng)絡(luò)傳遞整個虛擬場景數(shù)據(jù)，僅傳遞虛擬場景中各物體的位置、姿態(tài)數(shù)據(jù)和相互關(guān)系等數(shù)據(jù)，各臺學(xué)員客戶機(jī)接收這些數(shù)據(jù)，并在本地更新場景以及虛擬人和反饋裝置的執(zhí)行信息，協(xié)同操作仿真流程如圖9所示。通過盡量減少網(wǎng)絡(luò)傳輸帶寬，保證數(shù)據(jù)交互的實時性，實現(xiàn)訓(xùn)練過程中各作業(yè)人員客戶機(jī)虛擬仿真場景一致性。

圖9 協(xié)同操作仿真系統(tǒng)流程圖

3 系統(tǒng)實現(xiàn)

3.1 視景仿真

構(gòu)建虛擬的線路運(yùn)維場景是實現(xiàn)多人協(xié)同操作訓(xùn)練的基礎(chǔ)，本文采用Unity 3D虛擬現(xiàn)實基礎(chǔ)開發(fā)平臺首先搭建了用于線路運(yùn)維場景仿真的三維動態(tài)仿真平臺，再借助三維仿真模型庫和三維動態(tài)仿真平臺，通過自定義腳本分析方法、導(dǎo)入設(shè)備文件的方式，即可簡單、快速搭建動態(tài)三維作業(yè)場景，如圖10所示。

圖10 三維動態(tài)仿真平臺操作示例圖

3.2 功能實現(xiàn)

本系統(tǒng)首先利用三維動態(tài)仿真平臺對實際的線路運(yùn)維環(huán)境進(jìn)行三維還原，然后通過虛擬現(xiàn)實輸入設(shè)備實現(xiàn)人機(jī)交互操作。多名學(xué)員借助不同的客戶機(jī)可分別進(jìn)入到同一作業(yè)環(huán)境中，以不同角色進(jìn)行協(xié)同操作，按照系統(tǒng)預(yù)設(shè)的操作流程完成各個作業(yè)步驟。以500 kV單回耐張塔巡檢作業(yè)為例，一人操作遙控器、一人操作地面站，即操控手和程控手，操控設(shè)置以及顯示視角應(yīng)與實際巡檢操作完全一致，也可使用配套的VR眼鏡進(jìn)行訓(xùn)練。

圖11 作業(yè)點巡檢流程

2#操控收負(fù)責(zé)將無人機(jī)操控至指定位置懸停，1#程控手負(fù)責(zé)調(diào)整云臺，操控?zé)o人機(jī)相機(jī)對準(zhǔn)待巡檢位置處完成符合作業(yè)規(guī)范的照片拍攝，協(xié)同完成一個任務(wù)后，兩名作業(yè)人員協(xié)同進(jìn)入下一巡檢點的拍攝任務(wù)。此環(huán)節(jié)按照多人同步操作過程執(zhí)行。此過程除規(guī)定的作業(yè)任務(wù)，不限制學(xué)員進(jìn)行其他操作。

圖12 巡檢操作的仿真示例圖

通過局域網(wǎng)將各臺學(xué)員客戶機(jī)、教員機(jī)與服務(wù)器互聯(lián)構(gòu)建一個協(xié)同仿真培訓(xùn)系統(tǒng)，多名學(xué)員可按照線路運(yùn)維實際要求組成一個班組，按照各自崗位扮演不同作業(yè)角色，在同一個虛擬工作環(huán)境下進(jìn)行同一個線路巡檢項目的協(xié)同操作訓(xùn)練，如圖13所示。借助虛擬作業(yè)環(huán)境，各學(xué)員以第一人稱體驗視角在虛擬場景中根據(jù)實際作業(yè)要求通過相互配合，進(jìn)行線路運(yùn)維過程的自由模擬操作，并且可以在真實空間中進(jìn)行自由溝通交流。通過真實感受各自崗位的作業(yè)工況和操作職責(zé)，強(qiáng)化對多人協(xié)同作業(yè)能力和操作要領(lǐng)的訓(xùn)練。

圖13 多人協(xié)同訓(xùn)練（第一人稱體驗視角）

在多人協(xié)同操作的過程中，教師可以通過教員機(jī)以一個可以自由控制的第三人稱視角觀看整個操作過程，如圖14所示?？梢酝ㄟ^投影幕進(jìn)行展示，便于其他人員進(jìn)行現(xiàn)場觀摩和技術(shù)交流。

圖14 第三人稱觀看視角

4 結(jié)論

（1）采用令牌機(jī)制和動態(tài)權(quán)限分配方法設(shè)計了線路運(yùn)維中的并行操作過程和多人同步操作過程，采用層次化任務(wù)結(jié)構(gòu)對線路運(yùn)維任務(wù)進(jìn)行了層次化分解，采用特征建模思想描述非靜態(tài)三維物體的特征，通過建立線路運(yùn)維資源模型和基本動作庫構(gòu)建了線路運(yùn)維多人協(xié)同操作模型，解決了多人操作中的沖突問題，可有效保證系統(tǒng)運(yùn)行的穩(wěn)定性。

（2）通過局域網(wǎng)將各臺學(xué)員客戶機(jī)與教員機(jī)、服務(wù)器互聯(lián)構(gòu)建了無人機(jī)巡線仿真訓(xùn)練系統(tǒng)，采用數(shù)據(jù)同步技術(shù)搭建了協(xié)同仿真系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，通過保證各客戶機(jī)之間數(shù)據(jù)同步的實時性和可靠性，實現(xiàn)了訓(xùn)練過程中各作業(yè)人員客戶機(jī)虛擬仿真場景一致性。

（3）采用Unity 3D、3DMax、VC++、數(shù)據(jù)庫軟件等基礎(chǔ)開發(fā)平臺，實現(xiàn)了線路運(yùn)維協(xié)同仿真培訓(xùn)功能，多名學(xué)員可以通過不同客戶機(jī)參與到同一個線路運(yùn)維項目中進(jìn)行協(xié)同操作，各學(xué)員通過頭戴式立體眼鏡和交互設(shè)備實現(xiàn)了作業(yè)過程的沉浸式體驗和交互操作，通過教員機(jī)實現(xiàn)了對多人訓(xùn)練過程的監(jiān)控、記錄和管理。結(jié)果表明，該系統(tǒng)運(yùn)行穩(wěn)定可靠，可以為線路運(yùn)維的協(xié)同訓(xùn)練提供了一種先進(jìn)、有效的培訓(xùn)手段，可以用于線路運(yùn)維專項技能訓(xùn)練和實際操作之前的模擬演練。