崔海青，張旭鵬，詹湘琳

(中國民航大學(xué) 電子信息與自動(dòng)化學(xué)院，天津 300300)

0 引言

目前我國民航業(yè)正處于飛速發(fā)展期，國內(nèi)機(jī)場(chǎng)年起降達(dá)1 300萬架次，運(yùn)輸機(jī)場(chǎng)達(dá)260個(gè)。航空運(yùn)輸作為一種快速、高效的運(yùn)輸方式已經(jīng)成為大眾對(duì)于遠(yuǎn)距出行的首選。面對(duì)如此龐大的機(jī)隊(duì)規(guī)模和快速增長的運(yùn)輸需求，航空公司的安全運(yùn)營壓力和維護(hù)成本在不斷上升。飛機(jī)維修的質(zhì)量和效率決定著飛機(jī)運(yùn)營的安全和成本，高質(zhì)量的維修可以減少技術(shù)原因所帶來的差錯(cuò)。飛機(jī)維修工作具有步驟冗雜，難度較高等特點(diǎn)，傳統(tǒng)的維修方式在遇到緊急狀況下已經(jīng)無法滿足上述的需求。同時(shí)維修人員需隨時(shí)查閱維修手冊(cè)，但傳統(tǒng)紙質(zhì)維修手冊(cè)存在查詢方式繁瑣、容易沾染污漬、維修指示流程不直觀等缺點(diǎn)。

進(jìn)入信息化時(shí)代后，通信軟件擔(dān)當(dāng)了最簡單的遠(yuǎn)程維修指導(dǎo)媒介。視頻指導(dǎo)可以一定程度的提高維修效率，但是實(shí)際操作過程中也會(huì)存在一些偏差。專家端對(duì)故障知識(shí)的理解和現(xiàn)場(chǎng)端對(duì)故障部位的判斷存在著不對(duì)稱性，無法對(duì)整個(gè)維修任務(wù)進(jìn)行快速、直觀的指導(dǎo)。故隨著這一問題的出現(xiàn)，遠(yuǎn)程輔助維修有了更多的實(shí)現(xiàn)形式。李林瞳等[1]針對(duì)航天員在空間站中設(shè)備更換等問題，對(duì)適用宇航智能交互場(chǎng)景的混合現(xiàn)實(shí)技術(shù)做出了技術(shù)研究，證明了混合現(xiàn)實(shí)技術(shù)在航天員在軌輔助支持上實(shí)現(xiàn)的可能性。從遠(yuǎn)程維修設(shè)備方面來看，DOVE系統(tǒng)[2]和Huang W等[3]分別提出了不同的針對(duì)于計(jì)算機(jī)的遠(yuǎn)程輔助維修操作系統(tǒng)。Wang Peng[4]和Kerthyayana[5]提出了基于虛擬現(xiàn)實(shí)設(shè)備的遠(yuǎn)程輔助維修系統(tǒng)。這些設(shè)備都擁有未能解放維修人員雙手、操作步驟繁瑣、連接不穩(wěn)定等特點(diǎn)。而從遠(yuǎn)程維修技術(shù)上來看，顧慧慧等[6]、郭建龍等[7]和崔義輝[8]均提出了以不同的3D模型庫作為基礎(chǔ)的遠(yuǎn)程協(xié)助操作系統(tǒng)，但是都未對(duì)所使用的設(shè)備對(duì)人機(jī)交互體驗(yàn)問題提出有效的解決方案，遠(yuǎn)程維修指導(dǎo)效率并未得到提升。

針對(duì)上述問題研究，本文通過對(duì)HoloLens端的深度傳感器使用，專家端在遠(yuǎn)程電腦上進(jìn)行維修指導(dǎo)操作，遠(yuǎn)程端生成具有三維空間位置信息的二維、三維標(biāo)注，有效提高了設(shè)備修理的工作效率和工作質(zhì)量。借助遠(yuǎn)程標(biāo)注，解決了維修信息呈現(xiàn)方式單一、專家代入感不強(qiáng)、維修人員頻繁切換維修輔助設(shè)備等帶來的缺點(diǎn)，使專家端和現(xiàn)場(chǎng)端的交互更加簡潔、具體。

1 系統(tǒng)設(shè)計(jì)

如圖1所示，本文系統(tǒng)從設(shè)計(jì)角度分為專家端和現(xiàn)場(chǎng)端兩部分?，F(xiàn)場(chǎng)端維修人員佩戴HoloLens設(shè)備接收專家信息，專家端使用PC對(duì)現(xiàn)場(chǎng)端進(jìn)行指導(dǎo)。專家端指導(dǎo)方式分為二維手勢(shì)和三維手勢(shì)兩部分。二維標(biāo)注包括圓形圈選、方形圈選、箭頭指示、二維畫線四部分。二維標(biāo)注的圓形圈選和方形圈選為不同的維修部位提供了多種選擇，給現(xiàn)場(chǎng)端和專家端更加直接的觀感。二維箭頭指示是幫助指引維修人員進(jìn)行拿取零件、放置拆卸物、重點(diǎn)標(biāo)注維修點(diǎn)等操作，且二維箭頭在頭戴設(shè)備中以三維方式呈現(xiàn)。二維畫線部分用于專家端進(jìn)行快速標(biāo)注和快速書寫內(nèi)容，防止維修過程中出現(xiàn)流程遺漏。三維標(biāo)注基于HoloLens端的空間感知能力，專家端在PC上進(jìn)行二維畫線，通過手勢(shì)識(shí)別算法，識(shí)別出專家端手繪圖形，調(diào)用立體空間的三維模型，放置在專家標(biāo)識(shí)位置，顯示在現(xiàn)場(chǎng)維修人員的頭戴設(shè)備當(dāng)中，使得維修人員無需停止當(dāng)前工作翻閱維修手冊(cè)。詳細(xì)標(biāo)注方式見表1所示。

圖1 系統(tǒng)流程圖

表1 本文設(shè)計(jì)的標(biāo)注方式

2 標(biāo)注工具

為了實(shí)現(xiàn)專家端自由選擇標(biāo)注類型和顏色，是通過改變Panel類對(duì)象的Switch屬性實(shí)現(xiàn)。同時(shí)Mark類包含了標(biāo)注起始點(diǎn)信息、結(jié)束點(diǎn)信息、顏色信息和標(biāo)注索引信息。通過直接繼承Mark類就可以實(shí)現(xiàn)對(duì)ArrowMark類、CircleMark類、RectMark類、LineMark類和3DMark類進(jìn)行標(biāo)注和轉(zhuǎn)換。ArrowMark類代表二維箭頭標(biāo)注；CircleMark類代表二維圈選標(biāo)注；RectMark類代表二維方框標(biāo)注；LineMark類代表二維曲線標(biāo)注；3DMark代表筆畫識(shí)別三維標(biāo)注。表2是Switch屬性值對(duì)應(yīng)的操作工具和功能。

表2 Switch屬性值對(duì)應(yīng)的操作工具和功能

3 遠(yuǎn)程指導(dǎo)標(biāo)注方法

3.1 空間坐標(biāo)轉(zhuǎn)換

專家端在進(jìn)行遠(yuǎn)程標(biāo)注的過程中，涉及到世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系之間的轉(zhuǎn)換[9]。將現(xiàn)場(chǎng)維修人員啟動(dòng)設(shè)備位置設(shè)置為世界坐標(biāo)系原點(diǎn)，專家端可以借助HoloLens設(shè)備得到現(xiàn)場(chǎng)端所有物體的位置坐標(biāo)。

如圖2所示，為各個(gè)坐標(biāo)軸之間的關(guān)系。以HoloLens相機(jī)的光心作為相機(jī)坐標(biāo)系的原點(diǎn)，用Oc表示，Xc，Yc，Zc表示相機(jī)坐標(biāo)系坐標(biāo)軸，物體坐標(biāo)系分別于x軸、y軸的正方向平行，光軸與z軸重合。圖像坐標(biāo)系坐標(biāo)原點(diǎn)為攝像機(jī)光軸與圖像物理坐標(biāo)系的交點(diǎn)位置[10]，為x，y兩條坐標(biāo)系[11]。像素坐標(biāo)系原點(diǎn)為圖像左上角，為u，v兩條坐標(biāo)軸。

圖2 坐標(biāo)軸關(guān)系圖

世界坐標(biāo)系是以虛擬世界原點(diǎn)為坐標(biāo)原點(diǎn)建立的三維坐標(biāo)系，一般原點(diǎn)為Ow，Xw，Yw，Zw分別表示為三條坐標(biāo)軸。而將世界坐標(biāo)軸轉(zhuǎn)換到相機(jī)坐標(biāo)軸只有位置和朝向上的改變，借助旋轉(zhuǎn)矩陣R和平移向量T，通過公式(1)來進(jìn)行改變[12]：

(1)

同時(shí)HoloLens的相機(jī)矩陣和投射矩陣存儲(chǔ)了當(dāng)前設(shè)備的方向和位置，通過CameraToWorldMatrixAPI獲取得到以上矩陣信息，為下一步標(biāo)注做準(zhǔn)備。

3.2 遠(yuǎn)程標(biāo)注設(shè)計(jì)

在得到設(shè)備方向和位置的基礎(chǔ)上，進(jìn)行對(duì)現(xiàn)場(chǎng)端標(biāo)注?；诰S修人員操作流程和專家端繪制的簡易程度，本文共設(shè)計(jì)了二維手勢(shì)標(biāo)注和三維手勢(shì)標(biāo)注兩類操作指令。其中二維手勢(shì)標(biāo)注包括箭頭指示、圓形圈選、方形圈選、二維畫線四部分。三維手勢(shì)包括順逆時(shí)針指引、箭頭放置物體指引。這些標(biāo)注都需要借助于HoloLens端的空間感知能力。

HoloLens傳輸至專家的視頻數(shù)據(jù)中包含了當(dāng)前環(huán)境的空間矩陣數(shù)據(jù)，專家在PC端進(jìn)行標(biāo)注時(shí)，首先凍結(jié)當(dāng)前視頻畫面，確認(rèn)標(biāo)注類型。真實(shí)空間確認(rèn)空間標(biāo)注點(diǎn)P2如圖3所示，HoloLens端通過空間矩陣信息計(jì)算出當(dāng)前視頻凍結(jié)狀態(tài)下相機(jī)在現(xiàn)場(chǎng)維修端位置A1，根據(jù)投射面C1C2C3C4計(jì)算出點(diǎn)P1。結(jié)合HoloLens的空間感知功能[13]，計(jì)算出A1、P1兩點(diǎn)連接所發(fā)出的射線碰撞在真實(shí)空間中的點(diǎn)P2，最終確定出標(biāo)注在現(xiàn)場(chǎng)維修端的位置。

圖3 真實(shí)標(biāo)注點(diǎn)確認(rèn)

3.2.1 $P算法改進(jìn)

$-family識(shí)別器是一個(gè)非常龐大的手勢(shì)識(shí)別器家族，其中包含$1[14-15]、$N[16]、$P[17-19]、$Q[20-21]等算法。$1算法為單筆畫識(shí)別，$N算法雖然為多筆畫識(shí)別并能識(shí)別多筆劃的順序，但是其占用內(nèi)存較大，無法在HoloLens上進(jìn)行快速運(yùn)算；$Q算法在計(jì)算過程中計(jì)算速率不及$P算法，所以本文選擇$P算法進(jìn)行快速筆畫識(shí)別改進(jìn)。同時(shí)筆畫識(shí)別是針對(duì)于二維筆畫進(jìn)行快速識(shí)別的算法。為了專家端進(jìn)行快速的三維標(biāo)注，本文對(duì)$P算法應(yīng)用場(chǎng)景進(jìn)行拓展，將其應(yīng)用在三維空間當(dāng)中。

$N算法在進(jìn)行多筆劃識(shí)別時(shí)，通過將多筆劃分解成單個(gè)筆劃，同時(shí)結(jié)合角度、時(shí)間等信息獲得出具有方向信息的手勢(shì)。而原始的$P算法是根據(jù)兩個(gè)手勢(shì)的點(diǎn)云狀況來進(jìn)行匹配。專家端繪制的筆劃會(huì)產(chǎn)生一組候選點(diǎn)集合Q，同時(shí)模板也會(huì)生成一組模板點(diǎn)集合H。通過確定Q和H的最佳匹配度，來確定出當(dāng)前手繪筆劃的名稱。識(shí)別過程需要滿足以下幾點(diǎn)：

1)對(duì)于專家端手繪速度或采樣點(diǎn)數(shù)的變化具有高適應(yīng)性；

2)允許專家自己定義手勢(shì)筆劃；

3)交互速度足夠快。

專家端繪制筆劃之后，第一步進(jìn)行筆劃路徑的重采樣。專家端在進(jìn)行繪制筆劃時(shí)的速度對(duì)手勢(shì)筆劃輸入的數(shù)量有著明顯的影響。為了能夠使得在不同移動(dòng)速度下的筆劃具有可比性，通過對(duì)手勢(shì)筆劃進(jìn)行重采樣，原始點(diǎn)序列定義的路徑由N個(gè)等距點(diǎn)序列定義。同時(shí)過低的采樣點(diǎn)N會(huì)使得采樣精度損失，過高的采樣點(diǎn)N會(huì)增加運(yùn)算時(shí)間。故在$P算法中選擇N=32。首先計(jì)算手勢(shì)筆劃路徑總長度，用總長度除以N-1計(jì)算出N個(gè)點(diǎn)之間每個(gè)增量的長度I。然后通過線性插值的方法，當(dāng)步進(jìn)距離超過I時(shí)，添加一個(gè)點(diǎn)，從而完成第一步重采樣工作。

第二步為手繪筆劃和模板筆劃的旋轉(zhuǎn)對(duì)齊。在可能的角度空間中找到兩個(gè)筆劃的最佳對(duì)齊。將手勢(shì)質(zhì)心和鼠標(biāo)按下的第一點(diǎn)形成的角度記作手勢(shì)的指示角度，通過旋轉(zhuǎn)將其旋轉(zhuǎn)到0°，進(jìn)行模板對(duì)齊。

第四步是找到最佳匹配模板。兩個(gè)手勢(shì)點(diǎn)云的最小距離匹配值如公示(2)所示，假設(shè)手繪手勢(shì)和待選手勢(shì)分別為Q和H，對(duì)于Q中的每個(gè)點(diǎn)Qi，都可以找到最近的Hj與之匹配，直到所有的點(diǎn)都進(jìn)行匹配。而匹配的結(jié)果隨著Qi和Hj中點(diǎn)的選擇的順序變化而變化。選擇不同的Qi作為匹配起點(diǎn)，計(jì)算從1到n個(gè)點(diǎn)匹配之后，返回所有運(yùn)行結(jié)果的最小匹配值：

(2)

但在此計(jì)算過程中，Q中第一個(gè)點(diǎn)在進(jìn)行匹配過程中擁有H的所有點(diǎn)的匹配數(shù)據(jù)。Q中后續(xù)的點(diǎn)在匹配過程中能夠選擇的點(diǎn)也相應(yīng)減少，Q中最后一個(gè)點(diǎn)進(jìn)行匹配時(shí)只有一個(gè)點(diǎn)可供選擇。在此基礎(chǔ)上添加一個(gè)加權(quán)值ωi∈[0，1]，采用公示(3)線性加權(quán)的方式對(duì)最小匹配值進(jìn)行計(jì)算：

(3)

其中：

(4)

最后得出的結(jié)果取決于Q和H的匹配的方向，因此需要返回一個(gè)最小值Min(d1，d2)，其中d1，d2分別為Q到H和H到Q的點(diǎn)云距離。

同時(shí)$P算法中點(diǎn)序列未包含時(shí)間信息，故無法在運(yùn)用到三維空間后進(jìn)行標(biāo)注方向識(shí)別問題。故在重采樣之后加入特定時(shí)間點(diǎn)選擇，$P點(diǎn)序列中加入時(shí)間序列T對(duì)點(diǎn)序列進(jìn)行標(biāo)注。在繪制筆畫時(shí)，挑選3個(gè)特定時(shí)間點(diǎn)，并記錄3個(gè)點(diǎn)的時(shí)間狀況和位置信息，分別為：起始點(diǎn)P1、繪制時(shí)間中間點(diǎn)P2和結(jié)束點(diǎn)P3。后續(xù)通過三點(diǎn)之間的位置時(shí)間關(guān)系進(jìn)行二維到三維的轉(zhuǎn)換標(biāo)注，實(shí)現(xiàn)改進(jìn)的$P算法從二維空間到三維空間的應(yīng)用。

改進(jìn)后的$P算法的流程圖如圖4所示。在專家端繪制手繪信號(hào)之后，進(jìn)行專家端手繪手勢(shì)進(jìn)行$P算法的重采樣、對(duì)特定時(shí)間采樣點(diǎn)進(jìn)行挑選、手勢(shì)旋轉(zhuǎn)、手勢(shì)縮放、手勢(shì)模板匹配。在二維手勢(shì)進(jìn)行模板匹配之后，進(jìn)行三維標(biāo)注類型的選擇。當(dāng)標(biāo)注類型為箭頭標(biāo)注時(shí)，同時(shí)設(shè)備計(jì)算專家端手繪筆畫的長度和繪制方向，結(jié)合空間感知能力將三維箭頭模型調(diào)用，放置在專家端確認(rèn)標(biāo)注的位置；當(dāng)標(biāo)注類型為旋轉(zhuǎn)標(biāo)注時(shí)，設(shè)備通過對(duì)特定時(shí)間點(diǎn)數(shù)據(jù)處理，調(diào)用出專家端所需含有旋轉(zhuǎn)方向(順時(shí)針、逆時(shí)針)的三維旋轉(zhuǎn)模型，放置于專家端標(biāo)注位置。

圖4 改進(jìn)后$P算法流程圖

3.2.2 三維箭頭指引

根據(jù)對(duì)遠(yuǎn)程輔助維修的實(shí)際指導(dǎo)過程中發(fā)現(xiàn)，二維的箭頭標(biāo)注指令不能更加立體的表現(xiàn)出專家端所描述的維修意圖，并且為了縮短專家端操作步驟，故添加了三維箭頭模型的快速調(diào)用過程。采用圖5(a)二維箭頭手勢(shì)作為定義，專家端在屏幕上通過手繪曲線標(biāo)注繪制出二維手勢(shì)，現(xiàn)場(chǎng)端就會(huì)在對(duì)應(yīng)的繪制位置生成預(yù)設(shè)好的三維操作模型，如圖5(b)所示。在快速調(diào)用模型的過程中，本文對(duì)$P手勢(shì)識(shí)別算法進(jìn)行了改進(jìn)，將二維手勢(shì)識(shí)別應(yīng)用在三維手勢(shì)識(shí)別當(dāng)中。將手繪手勢(shì)與訓(xùn)練庫中的手勢(shì)模板進(jìn)行匹配，從而快速調(diào)用出需求的三維模型。

廖：的確有許多領(lǐng)導(dǎo)都強(qiáng)調(diào)過二者的關(guān)聯(lián)，可取的一面是認(rèn)為此乃科學(xué)史“走出象牙塔”、發(fā)揮其社會(huì)功效的重要路徑；但也有將其視為“走出經(jīng)費(fèi)困境”、可以賺錢的重要途徑者.

圖5 專家端和現(xiàn)場(chǎng)端三維箭頭標(biāo)注視角

在專家端手繪手勢(shì)過程中，改進(jìn)后的$P算法識(shí)別手勢(shì)通過對(duì)手繪曲線進(jìn)行點(diǎn)的重采樣、旋轉(zhuǎn)、縮放、模板匹配最高得分從而獲取出最相近的手勢(shì)。

在模板匹配過程中，原始的$P算法將手繪筆畫縮放在統(tǒng)一標(biāo)準(zhǔn)的正方形內(nèi)，在進(jìn)行二維空間到三維空間的轉(zhuǎn)換過程中，識(shí)別出來的三維模型大小一致。但針對(duì)實(shí)際安裝指導(dǎo)過程中專家端需要不同長度的三維模型。所以通過對(duì)$P算法縮放部分進(jìn)行改進(jìn)，對(duì)專家端手繪筆畫進(jìn)行邊框處理，計(jì)算出手繪圖形的最小外接矩形，根據(jù)外接矩形的長和寬確定三維模型的大小，實(shí)現(xiàn)標(biāo)注長度的可調(diào)節(jié)。

3.2.3 三維旋轉(zhuǎn)指引

維修過程中，會(huì)涉及到旋擰螺絲、扳手方向等問題。旋轉(zhuǎn)指引可分為順時(shí)針旋轉(zhuǎn)和逆時(shí)針旋轉(zhuǎn)。專家端在PC端進(jìn)行筆畫繪制時(shí)，繪制筆畫方向不同，結(jié)合繪制的點(diǎn)具有三維特性，可以通過對(duì)相鄰點(diǎn)之間的叉積來計(jì)算出向量的方向。最后根據(jù)識(shí)別結(jié)果進(jìn)行三維立體模型的放置。

如圖6所示，改進(jìn)$P算法對(duì)時(shí)間點(diǎn)采樣的起始點(diǎn)，中間點(diǎn)和結(jié)束點(diǎn)分別為P1，P2，P3。設(shè)矢量P1=(x1，y1)，P2=(x2，y2)，P3=(x3，y3)。若P1×P2>0同時(shí)P2×P3>0，則識(shí)別為順時(shí)針三維指引；若P1×P2<0同時(shí)P2×P3<0，則識(shí)別為逆時(shí)針三維指引。順逆時(shí)針識(shí)別效果如圖7所示。

圖6 順、逆時(shí)針手勢(shì)識(shí)別

圖7 專家端和現(xiàn)場(chǎng)端三維旋轉(zhuǎn)標(biāo)注視角

3.2.4 箭頭指示標(biāo)注指令

箭頭指示是為維修人員在大范圍尋找故障點(diǎn)、拿取零部件等場(chǎng)景提供的指示功能，可使維修人員在復(fù)雜的工作環(huán)境中迅速定位維修目標(biāo)。發(fā)送箭頭指令可根據(jù)專家端需求控制箭頭指令的角度、長度。遠(yuǎn)程端需要在PC端進(jìn)行二維圖形的放置，現(xiàn)場(chǎng)端在現(xiàn)場(chǎng)端看到專家給出的二維指令信息，該信息不會(huì)隨著人員的移動(dòng)而移動(dòng)。

繪制箭頭的長度根據(jù)公式(5)，Vector2表示二維空間中的向量和點(diǎn)，P0為專家端鼠標(biāo)按下時(shí)起始點(diǎn)，P1為鼠標(biāo)抬起時(shí)的終止點(diǎn)，分別在x軸，y軸上進(jìn)行減法運(yùn)算，得到指示箭頭長度。箭頭指示方向根據(jù)公式(6)，只需要判斷起始點(diǎn)和終止點(diǎn)y軸的正負(fù)問題。如果P1.y-P0.y>0，箭頭朝向向上；如果P1.y-P0.y<0，箭頭朝向朝下。同時(shí)更新繪制箭頭的位置方向，保持x，y軸方向不變，z軸根據(jù)P1和P0所計(jì)算出的向量夾角進(jìn)行旋轉(zhuǎn)。如圖8所示，專家端給出二維標(biāo)注，借助HoloLens空間感知能力，繪制出HoloLens端的箭頭標(biāo)注。

圖8 專家端和現(xiàn)場(chǎng)端箭頭標(biāo)注視角

Vector2.P1-Vector2.P0

(5)

P1.y-P0.y>0

(6)

3.2.5 圓形圈選標(biāo)注指令和方形圈選標(biāo)注指令

圓形圈選和方形圈選圖9是為操作人員當(dāng)前的操作步驟提供目標(biāo)圈選功能，可幫助操作人員在復(fù)雜的工作環(huán)境中快速的找到所需目標(biāo)，同時(shí)為了方便維修人員區(qū)分專家端的標(biāo)注，防止標(biāo)注類型單一所造成的維修事故。類似箭頭標(biāo)注指令，鼠標(biāo)點(diǎn)擊點(diǎn)P0為起始點(diǎn)，鼠標(biāo)抬起點(diǎn)P1為結(jié)束點(diǎn)，根據(jù)公式(7)在標(biāo)注過程中需要確定圈選的大小，只需分別確定x軸和y軸方向長度即可。根據(jù)公式(8)確定圈選位置，計(jì)算出中心點(diǎn)即為圈選圖形的放置位置。

圖9 專家端和現(xiàn)場(chǎng)端箭頭標(biāo)注視角

|P1.x-P0.x|，|P1.y-P0.y|

(7)

(Vector2.P1+Vector2.P0)/2

(8)

3.2.6 手繪曲線標(biāo)注

手繪曲線部分使用的是Unity中的Line Renderer組件。通過Line Render組件對(duì)多個(gè)點(diǎn)數(shù)組的采集，在每個(gè)點(diǎn)之間繪制一條直線，可以完成任何線條的繪制。手繪曲線標(biāo)注部分是應(yīng)對(duì)不規(guī)則的維修部位、專家需要快速標(biāo)注筆記所開發(fā)的功能。同樣此部分功能也借助于HoloLens的空間感知功能，將標(biāo)注部分顯示在物體表面，可以從各個(gè)視角觀察專家端所繪制的曲線。

4 遠(yuǎn)程標(biāo)注實(shí)驗(yàn)結(jié)果及分析

4.1 開發(fā)實(shí)例環(huán)境

遠(yuǎn)程專家使用遠(yuǎn)程專家客戶端進(jìn)行標(biāo)注指示和視頻通話對(duì)用戶進(jìn)行維修指引，遠(yuǎn)程專家客戶端如圖所示，專家端操作面板操作選擇界面包括清除上次標(biāo)注、確認(rèn)本次標(biāo)注、刪除所有標(biāo)注，通過對(duì)標(biāo)注標(biāo)號(hào)的索引進(jìn)行操作。為了方便專家端進(jìn)行多種類的遠(yuǎn)程指導(dǎo)，遠(yuǎn)程專家端的可操作模塊包括標(biāo)注顏色選擇、標(biāo)注類型選擇和標(biāo)注清除選擇，其中標(biāo)注顏色包括紅綠黃3種顏色；標(biāo)注選擇包括二維標(biāo)注和三維標(biāo)注，二維標(biāo)注包括箭頭、曲線、圓圈和方形標(biāo)注，三維標(biāo)注包括箭頭和旋轉(zhuǎn)標(biāo)注；識(shí)別模塊進(jìn)行二維筆畫標(biāo)注到三維立體標(biāo)注的識(shí)別和模型調(diào)用。視頻傳輸部分通過UDP從現(xiàn)場(chǎng)端發(fā)送給專家端，TCP/IP協(xié)議則完成標(biāo)注部分的發(fā)送。

MR硬件：Microsoft公司的第二代HoloLens眼鏡。

軟件運(yùn)行環(huán)境：遠(yuǎn)程維修指導(dǎo)系統(tǒng)需要同時(shí)運(yùn)行專家PC端在Unity端應(yīng)用、HoloLens眼鏡應(yīng)用，同時(shí)為了保持維修過程中的網(wǎng)絡(luò)流暢性，專家端和遠(yuǎn)程端都運(yùn)行在同一個(gè)局域網(wǎng)中，表3是遠(yuǎn)程維修指導(dǎo)系統(tǒng)運(yùn)行環(huán)境。

表3 遠(yuǎn)程維修指導(dǎo)系統(tǒng)運(yùn)行環(huán)境

4.2 開發(fā)實(shí)例與分析

本文將二維標(biāo)注和三維標(biāo)注相結(jié)合，實(shí)現(xiàn)基于HoloLens的現(xiàn)場(chǎng)端和遠(yuǎn)程端的高效維修指導(dǎo)。整個(gè)系統(tǒng)在Unity3D中進(jìn)行開發(fā)。

因?yàn)樵嫉?P算法不能對(duì)順、逆時(shí)針進(jìn)行判斷，故對(duì)其相似算法$N進(jìn)行了比較。在相同匹配模板下，對(duì)$N算法和改進(jìn)之后的$P算法在Unity平臺(tái)上進(jìn)行了三維識(shí)別耗時(shí)對(duì)比。為了計(jì)算兩組算法耗時(shí)對(duì)比，在改進(jìn)$P和$N算法重采樣之前加入sw.Start()開始監(jiān)視代碼運(yùn)行時(shí)間，在手勢(shì)識(shí)別結(jié)束之后加入sw.Stop()停止監(jiān)視，進(jìn)行手勢(shì)指令耗時(shí)計(jì)算。

針對(duì)兩種算法分別對(duì)10次手勢(shì)識(shí)別耗時(shí)進(jìn)行統(tǒng)計(jì)，兩種算法在3種標(biāo)注指令的耗時(shí)如圖10所示。

圖10 改進(jìn)$P和$N耗時(shí)對(duì)比

圖10(a)為三維箭頭指令耗時(shí)對(duì)比圖，圖10(b)為三維順時(shí)針指令耗時(shí)對(duì)比圖，圖10(c)為三維逆時(shí)針指令耗時(shí)對(duì)比圖。從對(duì)比圖中我們可以得出，在同樣進(jìn)行10次實(shí)驗(yàn)的條件下，三維箭頭指令在改進(jìn)的$P算法支持下平均耗時(shí)3.27 ms，而$N則平均耗時(shí)9.16 ms；三維順時(shí)針指令在改進(jìn)的$P算法支持下平均耗時(shí)1.74 ms，而$N則平均耗時(shí)10.74 ms；三維逆時(shí)針指令在改進(jìn)的$P算法支持下平均耗時(shí)1.60 ms，而$N則平均耗時(shí)8.2 ms。

通過對(duì)比兩種算法在三維空間中識(shí)別的耗時(shí)對(duì)比，證明了改進(jìn)的$P算法有更快的識(shí)別速度，能夠更好的應(yīng)用在三維空間的標(biāo)注當(dāng)中，提升專家端的遠(yuǎn)程協(xié)助維修效率。

5 結(jié)束語

本文通過對(duì)$P算法進(jìn)行改進(jìn)，將二維空間的$P算法運(yùn)用到三維空間進(jìn)行三維遠(yuǎn)程標(biāo)注，使得算法具有識(shí)別方向特性，也提高了三維模型的識(shí)別速率，提高了維修效率。同時(shí)遠(yuǎn)程維修輔助系統(tǒng)結(jié)合二維標(biāo)注和三維標(biāo)注，二者同時(shí)使用使得遠(yuǎn)程標(biāo)注系統(tǒng)發(fā)揮穩(wěn)定，解決了遠(yuǎn)程輔助不直觀的問題，使得專家端和現(xiàn)場(chǎng)端聯(lián)系更緊密。

本文的系統(tǒng)還有很多值得改進(jìn)的地方，比如通過對(duì)改進(jìn)$P算法和$N算法使用過程中內(nèi)存統(tǒng)計(jì)，同樣進(jìn)行10次筆劃識(shí)別，改進(jìn)$P算法內(nèi)存使用率上雖相較于$N內(nèi)存使用率減少約為38.4%，但是相較于一筆識(shí)別的$1算法還是有一定差距。在接下來的系統(tǒng)開發(fā)中可針對(duì)減少算法內(nèi)存的使用進(jìn)行改進(jìn)。