陳睿澤 梁劍濤 惠博涵 任宇

摘要：傳統(tǒng)模式下的大型機(jī)械維修往往需要對(duì)維修工人耗費(fèi)大量時(shí)間培訓(xùn)，維修時(shí)，工人仍需查閱厚重的維修指南。對(duì)于更為精密的設(shè)備，專家還需專赴現(xiàn)場(chǎng)進(jìn)行指導(dǎo)。本文介紹了一種通過增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)構(gòu)建的維修指導(dǎo)平臺(tái)，適用于復(fù)雜機(jī)電裝備的遠(yuǎn)程指導(dǎo)裝配與維修。工作時(shí)，維修工人通過AR眼鏡等設(shè)備接受來自專家端的AR標(biāo)志及來自電子手冊(cè)的維修指導(dǎo)，以快速尋找到故障點(diǎn)并維修，減少傳統(tǒng)方式所需的人力物力及財(cái)力。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí);遠(yuǎn)程指導(dǎo);裝配維修

中圖分類號(hào)：TP391.9? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)：1674-957X（2021）10-0166-02

0  引言

增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)借助計(jì)算機(jī)圖形圖像與數(shù)據(jù)交互技術(shù)，將虛擬信息實(shí)時(shí)映射到真實(shí)場(chǎng)景中，兩種信息相互補(bǔ)充，增加了人類感知真實(shí)場(chǎng)景的信息量與理解程度。將AR技術(shù)應(yīng)用于復(fù)雜裝備維修，可在一定程度上解決新型復(fù)雜裝備維修人員少、技術(shù)資料海量等問題，提高維修效率。

在維修業(yè)內(nèi)，無論是在技術(shù)培訓(xùn)中還是遠(yuǎn)程維修協(xié)作中，或是預(yù)覽產(chǎn)品構(gòu)型，AR技術(shù)的應(yīng)用前景正在日趨擴(kuò)大。所以，我們欲結(jié)合AR眼鏡等硬件，配合軟件輔助，搭載成集遠(yuǎn)程技術(shù)指導(dǎo)、解放雙手的自然交互以及輔助決策的維修平臺(tái)。

1? 相關(guān)研究

2000年Fussell等[1，2]的研究表明基于實(shí)時(shí)視頻流的協(xié)同模式可以提高任務(wù)完成的效率。在此之后，結(jié)合投影儀和可穿戴AR設(shè)備的工作模式開始出現(xiàn)。2008年Desney[3]等人描述了遠(yuǎn)程交互方式的的效率性以及其評(píng)價(jià)方法，并通過實(shí)驗(yàn)測(cè)試了不同交互方式的效率。2012年，John[4]等人試圖研究以機(jī)器人為中介的遠(yuǎn)程交互，研究表明，人類能夠理解遠(yuǎn)程機(jī)器人手勢(shì)，并且重要的是，可以將這些手勢(shì)與共同出現(xiàn)的語(yǔ)音相結(jié)合，論證了機(jī)器自主推送維修方案的可能性。Wang Peng[5]等又提出了一種基于投影儀的混合現(xiàn)實(shí)遠(yuǎn)程協(xié)作系統(tǒng)，該系統(tǒng)使遠(yuǎn)程用戶可以使用手勢(shì)和頭部指向協(xié)作完成物理任務(wù)，并驗(yàn)證了其效率性。國(guó)內(nèi)的柳有權(quán)[6]等學(xué)者也設(shè)計(jì)了多種手勢(shì)指向使得遠(yuǎn)程協(xié)同維修更具直觀性。以上大量理論性的研究為此后AR遠(yuǎn)程協(xié)同交互的具體應(yīng)用打下了基礎(chǔ)。

在實(shí)際應(yīng)用領(lǐng)域，眾多國(guó)際先進(jìn)制造企業(yè)也已經(jīng)著手利用AR技術(shù)提高維修工作和技術(shù)培訓(xùn)的效率[7]?？湛屠檬殖质降腁R設(shè)備上的傳感器跟蹤使用者的運(yùn)動(dòng)和所處環(huán)境，在產(chǎn)品上顯示相關(guān)部件的3D模型以及相關(guān)數(shù)據(jù)和信息，幫助工程師順利完成施工和檢查。法荷航維修工程公司在所有維修人員培訓(xùn)中使用混合現(xiàn)實(shí)和虛擬現(xiàn)實(shí)技術(shù)，受訓(xùn)者只需要5天時(shí)間便可完成全部培訓(xùn)課程。

2? 本文方法

2.1 調(diào)研結(jié)果及分析

結(jié)合前期市場(chǎng)調(diào)研的反饋結(jié)果，我們總結(jié)出裝備的遠(yuǎn)程維修主要存在以下需求：①產(chǎn)品現(xiàn)場(chǎng)故障診斷困難，普通技術(shù)人員較難解決;②現(xiàn)場(chǎng)維護(hù)人員技能培訓(xùn)需要較長(zhǎng)周期，且流動(dòng)性大;③傳統(tǒng)產(chǎn)品使用手冊(cè)查閱難、搜索難、理解難;④產(chǎn)品故障現(xiàn)場(chǎng)經(jīng)常出現(xiàn)“小問題，大成本”的現(xiàn)象;⑤產(chǎn)品售后技術(shù)支持不及時(shí)，影響客戶滿意度及品牌形象;⑥技術(shù)專家的寶貴知識(shí)與經(jīng)驗(yàn)較難保留和傳承。

根據(jù)以上結(jié)果，該平臺(tái)應(yīng)達(dá)到以下目標(biāo)：①使現(xiàn)場(chǎng)可視化：專家端可以以第一視角的方式看到工作現(xiàn)場(chǎng)，實(shí)時(shí)給予指導(dǎo)，降低錯(cuò)誤率，同時(shí)也省去了專家往返兩地的時(shí)間與路費(fèi)。②支持解放雙手的自然交互方式：現(xiàn)場(chǎng)操作人員頭戴AR眼鏡，通過凝視、手勢(shì)、語(yǔ)音方式與專家端交互。③支持輔助決策：針對(duì)設(shè)備的操作規(guī)程及維修步驟，制作基于AR的三維可視化的交互式電子手冊(cè)，系統(tǒng)會(huì)根據(jù)要求自動(dòng)推送正確操作的流程。

2.2 系統(tǒng)結(jié)構(gòu)化設(shè)計(jì)

本平臺(tái)分為操作端、服務(wù)端以及專家端三模塊，并且整合了AR眼鏡等硬件設(shè)備實(shí)現(xiàn)遠(yuǎn)程提供技術(shù)指導(dǎo)和輔助決策，從而快捷、高效地進(jìn)行設(shè)備的遠(yuǎn)程維修指導(dǎo)，工業(yè)巡檢等工作。

2.3 操作端設(shè)計(jì)

操作端作為產(chǎn)品的前端，主要有數(shù)據(jù)采集和數(shù)據(jù)展示的功能。操作端采集第一人稱視頻，并與專家端雙方實(shí)時(shí)通話;接收專家發(fā)出的圈注、標(biāo)記?；?G通信的高速率、低延時(shí)，實(shí)時(shí)畫面較為流暢。

現(xiàn)場(chǎng)維修人員頭戴AR眼鏡通過凝視、手勢(shì)、語(yǔ)音方式與虛擬設(shè)備進(jìn)行交互，此操作也可在手機(jī)、平板上進(jìn)行。而且當(dāng)圖像識(shí)別匹配當(dāng)前有故障的零部件或故障點(diǎn)時(shí)，還可自動(dòng)激活電子手冊(cè)專家?guī)熘信c當(dāng)前故障部件相關(guān)的操作、維修或保養(yǎng)方式的指導(dǎo)程序，進(jìn)行輔助決策。

AR智能眼鏡完全解放了裝配人員或維修人員的雙手，特別是做攀爬的維修作業(yè)時(shí)，使其集中精力完成任務(wù)，根據(jù)裝配人員或維修人員的需求，隨時(shí)將信息推送到眼前，從而提高工作效率。

2.3.1 數(shù)據(jù)采集

數(shù)據(jù)采集包括音視頻采集、音視頻處理和音視頻發(fā)送。通過操作端設(shè)備自帶的相機(jī)和麥克風(fēng)等追蹤用戶的聲音、動(dòng)作和周圍環(huán)境，并利用聲網(wǎng)提供的軟件開發(fā)工具包（Agora Video SDK），調(diào)用其中函數(shù)并做處理，借助工具包中豐富的應(yīng)用程序編程接口（API）組合，運(yùn)用視頻通話等接口，實(shí)現(xiàn)音視頻處理及發(fā)送。

2.3.2 數(shù)據(jù)展示

平臺(tái)集成聲網(wǎng)視頻會(huì)議SDK，通過Vuforia處理信息，在AR眼鏡中或者手機(jī)客戶端軟件內(nèi)顯示專家發(fā)送的三維標(biāo)注。每一次維修案例都是寶貴的經(jīng)驗(yàn)，維修人員可以通過截屏以及錄屏等方式保存指導(dǎo)過程，并可以通過時(shí)間、故障類型、專家姓名等方式進(jìn)行檢索。此外，維修人員還可在操作端選定三維可視化的交互式電子手冊(cè)專家?guī)?，查看工作流程，在用戶進(jìn)行任務(wù)時(shí)，系統(tǒng)自動(dòng)檢測(cè)用戶的每一步操作，并進(jìn)行步驟提示。

2.4 服務(wù)端設(shè)計(jì)

服務(wù)端是部署在服務(wù)器上的后臺(tái)管理軟件，為客戶端和專家端提供服務(wù)，如管理用戶ID，充當(dāng)數(shù)據(jù)轉(zhuǎn)發(fā)中介以及儲(chǔ)存電子手冊(cè)專家端信息等。

2.4.1 后臺(tái)管理服務(wù)

后臺(tái)管理系統(tǒng)最大的作用是對(duì)用戶進(jìn)行管理，其數(shù)據(jù)庫(kù)對(duì)每個(gè)用戶的使用情況進(jìn)行追蹤，實(shí)現(xiàn)用戶ID與動(dòng)態(tài)ID綁定，建立用戶ID列表，并使用My SQL語(yǔ)言實(shí)現(xiàn)對(duì)用戶角色訪問權(quán)限的控制。

2.4.2 數(shù)據(jù)轉(zhuǎn)發(fā)

平臺(tái)集成Agora Video SDK中的Chat接口以及文檔、圖片發(fā)送等通道，同時(shí)也在Unity平臺(tái)上將Agora Video SDK和AR標(biāo)注的功能集成，從而形成數(shù)據(jù)傳輸服務(wù)器來實(shí)現(xiàn)技術(shù)人員和專家之間的實(shí)時(shí)視頻通話交流。

數(shù)據(jù)傳輸服務(wù)器是一種計(jì)算機(jī)實(shí)施的信息傳輸方法，包括在服務(wù)器上對(duì)選擇規(guī)則進(jìn)行評(píng)估，以便選擇數(shù)據(jù)流和確定數(shù)據(jù)流內(nèi)容。該方法還包括將數(shù)據(jù)流內(nèi)容送至另一個(gè)計(jì)算機(jī)以便向用戶呈現(xiàn)。

2.4.3 電子手冊(cè)專家?guī)?/p>

電子手冊(cè)專家?guī)熘С謱＜易灾鳂?gòu)建術(shù)語(yǔ)、圖片、視頻等維修知識(shí)庫(kù)?？捎蓪＜叶巳肟谏蟼?，在操作員進(jìn)行維修任務(wù)時(shí)，系統(tǒng)自動(dòng)檢測(cè)用戶的每一步操作，并進(jìn)行步驟提示。

2.5 專家端設(shè)計(jì)

專家端是部署在移動(dòng)設(shè)備及個(gè)人電腦上的專家指導(dǎo)客戶端軟件，可以由一位或多位技術(shù)專家參與遠(yuǎn)程指導(dǎo)技術(shù)。專家可以在專家端軟件界面看到來自操作端維修人員第一視角的視頻，通過實(shí)現(xiàn)凍屏標(biāo)注、三維標(biāo)注等功能指導(dǎo)維修人員參與維修。

專家端上可進(jìn)行凍屏標(biāo)注，進(jìn)行二維手勢(shì)交互，將標(biāo)注內(nèi)容采集保存后將其處理成若干個(gè)坐標(biāo)點(diǎn)發(fā)送至服務(wù)端。利用服務(wù)端中在Unity平臺(tái)上將Agora Video SDK和AR標(biāo)注的功能集成，通過手勢(shì)識(shí)別算法，結(jié)合操作端采集的三維空間信息，將繪制的線條轉(zhuǎn)化為相應(yīng)的動(dòng)態(tài)三維標(biāo)識(shí)，再轉(zhuǎn)發(fā)到操作端設(shè)備上。區(qū)別于普通的二維標(biāo)識(shí)，該標(biāo)識(shí)具有三維信息，可從各個(gè)視角觀察。

3? 實(shí)驗(yàn)與分析

為了驗(yàn)證該平臺(tái)的確可以為使用者節(jié)省時(shí)間以及提供便利性，本文設(shè)計(jì)了智能小車裝配的實(shí)驗(yàn)。

本實(shí)驗(yàn)選取了五十位從未接觸過智能小車裝配的人員，平均分兩組參加實(shí)驗(yàn)。一組通過該平臺(tái)由一位經(jīng)常進(jìn)行小車裝配的“專家”進(jìn)行遠(yuǎn)程指導(dǎo)，另一組作為對(duì)照組只提供紙質(zhì)版的裝配手冊(cè)，分別記錄兩組的裝配時(shí)間。在裝配完成之后，各組組員再分別從直觀性和便利性兩方面為兩組裝配指導(dǎo)方式進(jìn)行評(píng)分。

①將定時(shí)器插頭插入主板接收孔里。

②將定時(shí)器固定到指定位置。

③逆時(shí)針擰緊螺絲。

④將車輪固定至指定位置。

結(jié)果顯示，使用本文方法的人員平均裝配時(shí)長(zhǎng)為237.8秒，直觀性平均分為7.6分，便利性平均分為7.6分;而使用傳統(tǒng)紙質(zhì)手冊(cè)的人員平均裝配時(shí)長(zhǎng)達(dá)到303.4秒，直觀性與便利性平均分僅為3.8分與4.4分。

由實(shí)驗(yàn)結(jié)果可知，在用戶反饋之中，無論是直觀性還是便利性，使用本平臺(tái)都要遠(yuǎn)優(yōu)于傳統(tǒng)紙質(zhì)書方法。另外，使用本文的方法可提高約22%的裝配效率。

4? 結(jié)語(yǔ)

本文根據(jù)前期調(diào)研，提出了一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的遠(yuǎn)程協(xié)同維修系統(tǒng)。使用時(shí)，操作端的維修工人可以通過AR眼鏡等設(shè)備收到來自專家端具有空間錨點(diǎn)功能的三維立體指導(dǎo)以及來自服務(wù)端自動(dòng)推送的電子手冊(cè)專家?guī)觳襟E提示。較大程度地提高了效率以及直觀性和便利性。

未來平臺(tái)將繼續(xù)拓展電子手冊(cè)專家?guī)?，并向信息分享模式化的方向上進(jìn)步。計(jì)劃到達(dá)項(xiàng)目中期時(shí)，專家?guī)熘袑@得較大規(guī)模操作信息，可向外部租用或分享數(shù)據(jù)庫(kù)。到達(dá)項(xiàng)目后期，平臺(tái)將融入人工智能及深層思考技術(shù)，使平臺(tái)完全自主推送維修教程，無需專家加入。

參考文獻(xiàn)：

[1]FUSSELL SR， KRAUT RE， SIEGEL J. Coordination of communication： effects of shared visual context on collaborative work[C]//ACM conference on Computer Supported Cooperative Work. New York： ACM Press， 2000： 21-30.

[2]KRAUT RE， FUSSELL SR， SIEGEL J. Visual information as a conversational resource in collaborative physical tasks[J]. Human-Computer Interaction， 2003， 18（1-2）：13-49.

[3]Desney S. Tan，Darren Gergle， Regan Mandryk，Kori Inkpen，Melanie Kellar，Kirstie Hawkey， Mary Czerwinski. Using job-shop scheduling tasks for evaluating collocated collaboration[J]. Personal and Ubiquitous Computing， 2008， 12（3）.

[4]John-John Cabibihan，Wing-Chee So，Sujin Saj，Zhengchen Zhang. Telerobotic Pointing Gestures Shape Human Spatial Cognition[J]. International Journal of Social Robotics， 2012， 4（3）.

[5]Peng Wang， Shusheng Zhang， Xiaoliang Bai， Mark Billinghurst，Li Zhang， Shuxia Wang，Dechuan Han， Hao Lv，Yuxiang Yan. A gesture-and head-based multimodal interaction platform for MR remote collaboration[J]. The International Journal of Advanced Manufacturing Technology， 2019， 105（7-8）.

[6]柳有權(quán)，王愿超，徐琨，劉正雄，黃攀峰.基于混合現(xiàn)實(shí)的遠(yuǎn)程協(xié)同式裝配維修引導(dǎo)[J/OL].圖學(xué)學(xué)報(bào)：1-7[2021-03-29].

[7]Lindsay Bjerregaard，藍(lán)楠.VR/AR技術(shù)正在走進(jìn)MRO領(lǐng)域[J].航空維修與工程，2018（07）：28-29.