崔波，王崴，2，瞿玨★，李自豪

（1.空軍工程大學(xué)防空反導(dǎo)學(xué)院，西安710051；2.西安交通大學(xué)機(jī)械制造系統(tǒng)工程國家重點(diǎn)實(shí)驗(yàn)室，西安710049）

基于增強(qiáng)現(xiàn)實(shí)的裝備誘導(dǎo)維修系統(tǒng)設(shè)計與實(shí)現(xiàn)*

崔波1，王崴1，2，瞿玨1★，李自豪1

（1.空軍工程大學(xué)防空反導(dǎo)學(xué)院，西安710051；2.西安交通大學(xué)機(jī)械制造系統(tǒng)工程國家重點(diǎn)實(shí)驗(yàn)室，西安710049）

針對目前裝備維修過程中存在的復(fù)雜度高、上手慢和安全性低等問題，構(gòu)建了一個誘導(dǎo)維修原型系統(tǒng)，并圍繞增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)闡述了誘導(dǎo)維修系統(tǒng)的設(shè)計與實(shí)現(xiàn)；采用了模塊化設(shè)計方法，通過分析誘導(dǎo)維修系統(tǒng)設(shè)計需求，對系統(tǒng)所需要的各個功能模塊進(jìn)行了設(shè)計，并且使得系統(tǒng)的維修任務(wù)能夠根據(jù)維修對象的改變在框架不變的前提下得到修改或升級；利用該原型系統(tǒng)對發(fā)動機(jī)活塞環(huán)和離合器片更換兩項(xiàng)維修任務(wù)進(jìn)行了誘導(dǎo)，驗(yàn)證了系統(tǒng)的功能。

增強(qiáng)現(xiàn)實(shí)，誘導(dǎo)維修，人機(jī)交互，系統(tǒng)設(shè)計，數(shù)據(jù)管理

0 引言

隨著我軍機(jī)械化、信息化進(jìn)程的不斷深入，我軍裝備向大型復(fù)雜、技術(shù)密集的方向發(fā)展，大量武器裝備運(yùn)用了先進(jìn)的加工和裝配工藝，在提升武器性能的同時也增大了維護(hù)維修的難度，提高了對維修人員的要求。因此，增強(qiáng)部隊維修能力、提升裝備維修性、保證裝備完好率成為提升我軍戰(zhàn)斗力的關(guān)鍵因素。面對裝備內(nèi)大量零部件組成的裝配體系及其內(nèi)部復(fù)雜的約束關(guān)系，基層維修人員只能依靠傳統(tǒng)的紙質(zhì)維修手冊和裝備的工程圖冊的指導(dǎo)進(jìn)行維修，使得維修人員的注意力需要在手冊和維修對象間頻繁切換，而且在戰(zhàn)場搶修環(huán)境下，維修人員往往處于較為惡劣的維修環(huán)境，精神狀態(tài)高度緊張。這種傳統(tǒng)的維修方式不僅制約了維修效率的提升，而且會導(dǎo)致較高的誤操作發(fā)生概率，即便經(jīng)驗(yàn)豐富的維修人員也很難保證快速準(zhǔn)確地完成維修任務(wù)。

誘導(dǎo)維修是后勤保障領(lǐng)域的新概念，20世紀(jì)90年代初，增強(qiáng)現(xiàn)實(shí)被波音公司應(yīng)用于輔助機(jī)艙內(nèi)電纜連接和接頭裝配［1］；德國的Arvika［2］和同期的Starmate［3］系統(tǒng)也表現(xiàn)出AR在復(fù)雜機(jī)電系統(tǒng)維護(hù)維修領(lǐng)域的巨大應(yīng)用價值；阿爾及利亞高技術(shù)與發(fā)展中心的Samir等人將AR用于水泵維修，開發(fā)了ARPPSM系統(tǒng)（Augmented Reality for Photovoltaic Pumping Systems Maintenance），以解決復(fù)雜光伏水泵系統(tǒng)的維修性問題［4］；美國空軍聯(lián)合空軍研究試驗(yàn)室和哥倫比亞大學(xué)等6所單位開展了增強(qiáng)現(xiàn)實(shí)保障維修（Augmented Reality for Maintenance and Repair，ARMAR）項(xiàng)目［5-6］的研究。其目的是在裝備維修保障方面評估和探索AR技術(shù)的可行性和效能。

根據(jù)以上背景，本文提出在裝備維修領(lǐng)域運(yùn)用“增強(qiáng)現(xiàn)實(shí)誘導(dǎo)維修”技術(shù)。其核心是運(yùn)用增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)，根據(jù)維修任務(wù)、裝備三維模型、電子維修手冊等資源信息生成三維圖像和動畫、維修方法提示、維修注意事項(xiàng)等誘導(dǎo)信息，并將其以虛實(shí)疊加的增強(qiáng)信息顯示方式呈現(xiàn)在維修人員的視場中，在維修人員注意力集中的“維修區(qū)域”疊加顯示各類圖形文字信息，形成伴隨式的誘導(dǎo)維修信息，以輔助和引導(dǎo)維修人員進(jìn)行維修作業(yè)。

1 方案設(shè)計

圖1 系統(tǒng)總體結(jié)構(gòu)

誘導(dǎo)維修系統(tǒng)分為跟蹤注冊、人機(jī)交互、數(shù)據(jù)管理、誘導(dǎo)信息生成與輸出4個模塊進(jìn)行設(shè)計［7-9］。其中跟蹤注冊模塊負(fù)責(zé)獲取維修者頭部位姿以完成虛擬信息和真實(shí)世界的自然融合；人機(jī)交互模塊使得系統(tǒng)能夠理解維修者意圖以作出合適的響應(yīng)；數(shù)據(jù)管理模塊能對各類數(shù)據(jù)進(jìn)行有序儲存和管理；誘導(dǎo)信息生成與輸出模塊通過對資料信息的組織和處理，生成適當(dāng)?shù)奈淖?、圖形、交互界面等信息并顯示在頭盔顯示器上；圖1表示系統(tǒng)總體結(jié)構(gòu)和各模塊間信息的流向。為增強(qiáng)系統(tǒng)通用性，在進(jìn)行各模塊設(shè)計時，預(yù)留了可編輯和定制的空間，比如可以更換維修模型和編輯維修任務(wù)，使系統(tǒng)能夠根據(jù)需要進(jìn)行修改和拓展。

1.1跟蹤注冊模塊

1.1.1混合注冊系統(tǒng)

結(jié)合現(xiàn)有注冊方式和誘導(dǎo)維修系統(tǒng)的特點(diǎn)，對混合注冊方法進(jìn)行了研究，提出了一種新型的融合慣性、地磁、視覺數(shù)據(jù)的多傳感器混合注冊算法［10］。算法通過設(shè)計互補(bǔ)濾波器［11］融合陀螺儀、加速度計和地磁傳感器的數(shù)據(jù)，得到頭部姿態(tài)；構(gòu)建系統(tǒng)狀態(tài)方程并將系統(tǒng)量測分為慣性和視覺兩個通道，視覺通道通過匹配關(guān)鍵幀和分解單應(yīng)性矩陣更新量測，使算法擺脫了人工標(biāo)志的限制；根據(jù)兩個量測通道的特點(diǎn)設(shè)計無跡卡爾曼濾波（Unscented Kalman Filter，UKF）［12］方案，融合互補(bǔ)濾波器的輸出和加速度計信號得到最終頭部的姿態(tài)和位置。圖2為混合注冊算法的結(jié)構(gòu)框圖。

圖2 注冊系統(tǒng)總體框圖

1.1.2多傳感器硬件系統(tǒng)

混合跟蹤的傳感器系統(tǒng)由視覺傳感器（攝像頭）、陀螺儀、加速度計和地磁感應(yīng)計組成。攝像頭和慣性/地磁模塊一同固連在自制的增強(qiáng)現(xiàn)實(shí)頭盔上，如圖3所示。

圖3 AR頭盔

1.2 人機(jī)交互模塊

考慮到裝備維修過程中受限的空間環(huán)境以及噪聲干擾，同時也為滿足誘導(dǎo)維修系統(tǒng)在戰(zhàn)場快速搶修方面的應(yīng)用需求，本文設(shè)計了語音和手勢識別的方式，并配合顯示的菜單界面構(gòu)成的多通道人機(jī)交互模塊，結(jié)構(gòu)如圖4所示。在軟件維護(hù)修改時，開發(fā)人員借助鼠標(biāo)鍵盤的常規(guī)方式對系統(tǒng)進(jìn)行操作；在維修進(jìn)行過程中，維修者要進(jìn)行維修操作且受到空間限制，因此，借助麥克風(fēng)外設(shè)和Microsoft Speech SDK輸入語音指令，借助體感控制器Leap Motion和Leap SDK輸入手勢指令。上面部分指令直接對系統(tǒng)進(jìn)行控制，部分指令通過操作菜單界面間接輸入。

圖4 人機(jī)交互模塊結(jié)構(gòu)

1.2.1語音指令輸入

本文通過麥克風(fēng)采集用戶語音并采用Microsoft Speech SDK所提供的Speech API（SAPI）進(jìn)行語音識別。其中根據(jù)維修任務(wù)制定相應(yīng)的語法規(guī)則是實(shí)現(xiàn)高效正確識別的關(guān)鍵，識別引擎根據(jù)語法規(guī)則生成識別的結(jié)果一般為孤立的字或詞。本文采用命令控制語法，制定了10條語音指令，分別為打開菜單、關(guān)閉菜單、光標(biāo)上行、光標(biāo)下行、確認(rèn)、返回、任務(wù)開始、下一步、上一步、任務(wù)結(jié)束。將這10條指令存入格式的語法規(guī)則文件如圖5。

圖5 xml語法規(guī)則文件

1.2.2手勢指令輸入

利用Leap公司的手勢控制器Leap Motion捕獲維修者手勢動作并通過Leap SDK中的API函數(shù)獲取維修者手勢命令。Leap Motion利用一個紅外投射器和兩個紅外攝像頭根據(jù)立體視覺原理測量手部位置，作用范圍為設(shè)備上方20 mm～600 mm的錐形區(qū)域，跟蹤精度可達(dá)0.01 mm。本文設(shè)計并利用3D打印制作了PVC材質(zhì)的Leap Motion固定座，用尼龍帶將其固定在維修者胸前。

1.2.3菜單界面設(shè)計

誘導(dǎo)信息需要通過頭戴式顯示器呈現(xiàn)給維修者，為了將維修過程展示給其他人員以及方便軟件維護(hù)人員對維修任務(wù)、模型等內(nèi)容進(jìn)行修改。本文設(shè)計了“編輯/演示”和“維修”兩套界面，通過windows雙屏顯示技術(shù)分別將“編輯/演示”界面和“維修”界面顯示在LCD液晶屏和頭戴式顯示器上，兩個界面上的信息將同步顯示，在“展示”界面中將顯示虛實(shí)融合的視頻影像和更多面向軟件維護(hù)者的選項(xiàng)，“維修”界面則是給維修者呈現(xiàn)交互信息，如圖6，當(dāng)“維修”界面在光學(xué)透視顯示器上顯示時，其中黑色部分將以透視形式呈現(xiàn)真實(shí)場景，用于其上顯示的虛擬信息形成疊加。

圖6 兩套顯示界面關(guān)系

圖7 兩級菜單界面

在計算機(jī)上通過鼠標(biāo)和鍵盤可以對兩個界面進(jìn)行操作，但對維修者而言只能用手勢和語音對界面進(jìn)行操作以完成維修過程中的交互。在“維修”界面中，之前制定的10條語音/手勢指令中打開菜單、關(guān)閉菜單、光標(biāo)上行、光標(biāo)下行、確認(rèn)、返回這6條是用來操作菜單界面的，通過操作菜單界面可以實(shí)現(xiàn)對維修任務(wù)的選擇、任務(wù)進(jìn)度查看、維修導(dǎo)航路徑查看以及維修對象信息查看。設(shè)計的兩級菜單界面如圖7。

1.3數(shù)據(jù)管理模塊

本文將誘導(dǎo)維修中要用到的各類信息資源主要分為維修文檔資料和維修模型資料兩類。維修文檔資料主要包括維修任務(wù)、維修方法步驟、注意事項(xiàng)、維修對象信息和零部件信息等文本、圖片或音頻資料；維修模型資料主要包括維修樣機(jī)、場景環(huán)境、工具設(shè)備的三維模型、貼圖和紋理等信息。

1.3.1維修文檔資料管理

本文通過建立維修文檔資料集合模型對維修文檔資料進(jìn)行管理。考慮到XML語言文檔內(nèi)容有結(jié)構(gòu)分離、跨平臺性、可拓展性等特點(diǎn)，采用XML語言建立維修文檔資料集合模型，該模型面向某個特定型號的裝備所涉及的各類資料，這些維修資料按照維修任務(wù)、維修方法步驟、注意事項(xiàng)、維修對象信息和零部件信息等分層次、分類別管理，維修資料中記錄了諸如維修任務(wù)名稱、維修步驟列表、語音提示的音頻文件路徑的詳細(xì)信息。圖8為維修文檔資料集合模型結(jié)構(gòu)圖。

圖8 文檔資料集合模型結(jié)構(gòu)圖

圖9 維修任務(wù)工具編輯界面

文檔資料集合模型可以通過“演示/維護(hù)”界面中相應(yīng)的模塊進(jìn)行編輯和修改，以定制不同的維修任務(wù)，通過圖9所示界面可以對維修任務(wù)和所用工具進(jìn)行編輯。

1.3.2三維模型管理

圖形誘導(dǎo)信息對維修人員起到了主要引導(dǎo)作用，它由維修對象零部件和維修工具的三維模型構(gòu)成的動畫和對應(yīng)的箭頭提示所組成，因此對三維模型進(jìn)行有效的組織管理是生成圖形誘導(dǎo)信息的關(guān)鍵。本文依托開源圖形庫OSG（OpenSceneGraph）進(jìn)行圖形開發(fā)，涉及到的所有三維模型，包括裝備零部件和維修工具器材都事先通過ProE軟件進(jìn)行建模得到三維實(shí)體模型，并用Deep Exploration軟件轉(zhuǎn)換為面片模型，再用Creator軟件進(jìn)行紋理貼圖，最后將模型導(dǎo)入誘導(dǎo)維修系統(tǒng)，圖10為氣缸體從建模至導(dǎo)入系統(tǒng)的步驟。

圖10 模型導(dǎo)入步驟

各零部件拆裝動畫的播放必須要遵循零件的裝配關(guān)系，因此本文建立了層次化的裝配體模型如圖11，該模型包含5方面的信息。

圖11 層次化裝配體模型

①零件本身信息，包括零部件模型的尺寸、幾何形狀、在虛擬空間中的位姿信息等。本文將零件表示為：Ci={Bi，IDi，namei，materiali，CADi}，Bi∈R4×4為零件Ci在虛擬空間中的位姿矩陣，IDi，namei，materiali分別代表零件的序號、名稱和材質(zhì)，CADi為零件的三維面片模型。

②裝配結(jié)構(gòu)層次關(guān)系，可以用{C1，C2，C3，…，Cn}表示被維修對象中的一個裝配體，n是該裝配體包含零件或子裝配體的數(shù)量。若Ci為裝配體說明其可以被繼續(xù)拆分為零件，則可將其表示為Ci={Ci1，Ci2，Ci3，…，Cin}。

③零部件運(yùn)動信息，播放零件在拆裝動畫時，零件模型需要朝規(guī)定的方向轉(zhuǎn)動或移動，這就需要事先給每個需要被拆卸或裝配的零件設(shè)置好運(yùn)動方向和運(yùn)動副。

④零部件約束關(guān)系，零部件間配合約束包括兩方面的信息：約束類型和參照元素。約束類型包括貼合、對齊、插入、相切等。參照元素是指零部件裝配時所參照的點(diǎn)、線、面、坐標(biāo)系等幾何構(gòu)造元素。生成拆卸或裝配動畫時，每當(dāng)完成對一個零件的拆卸或裝配時，就從層次化的裝配體模型中刪除或添加上有關(guān)改零件的約束關(guān)系，只有當(dāng)零件滿足特定約束條件時才能完成相應(yīng)拆卸或裝配動作。

⑤拆裝序列信息，每個維修任務(wù)都對應(yīng)一個拆裝序列，拆裝序列根據(jù)維修規(guī)程嚴(yán)格制定。系統(tǒng)通過拆裝序列檢索當(dāng)前步驟需要拆卸或裝配的零部件，并根據(jù)設(shè)置好運(yùn)動方向和運(yùn)動副使其運(yùn)動，從而生成拆卸或裝配的誘導(dǎo)動畫。

通過“演示/維護(hù)”界面中的特定功能界面可以導(dǎo)入維修模型資料，并建立層次化的裝配體模型，以拓展對不同的維修對象的誘導(dǎo)維修，如圖12。

圖12 層次模型構(gòu)建界面

1.4誘導(dǎo)信息生成與輸出模塊

誘導(dǎo)信息生成與輸出模塊分為硬件和軟件部分，硬件采用Star 1200XLD頭戴式光學(xué)透視顯示器作為增強(qiáng)信息的顯示設(shè)備，軟件方面在Windows7平臺下利用OSG（OpenSceneGraph）框架完成模型、文字等圖像信息的渲染、顯示和語音播報的輸出。

圖13 兩種頭戴式顯示器

頭戴式顯示器（HMD Head mount display）分為視頻透視式和光學(xué)透視式，視頻透視式將攝像頭采集到的真實(shí)場景圖像與虛擬信息在屏幕上合成虛實(shí)疊加影像，如圖13（a）；光學(xué)透視式直接將虛擬信息顯示在半反射透鏡上，真實(shí)場景的實(shí)像和半反射透鏡上的虛擬信息在成像平面上合成虛實(shí)疊加影像如圖13（b）。由于本文設(shè)計了“編輯/演示”和“維修”兩套界面用于提供不同需求的顯示，因此，本文顯示方案可表示為圖14。

圖14 系統(tǒng)顯示方案

2 發(fā)動機(jī)誘導(dǎo)維修實(shí)例

本文以某型號單缸風(fēng)冷四沖程汽油發(fā)動機(jī)為對象，對誘導(dǎo)維修系統(tǒng)進(jìn)行了功能驗(yàn)證，并選定“更換活塞環(huán)和缸套”和“更換離合器片”作為演示維修任務(wù)。圖15（a）是維修者裝備好誘導(dǎo)維修頭盔的情景，圖15（b）為維修工作臺，工作臺由左至右擺放了維修對象、維修工具和更換備件。

圖15 維修者與工作臺

由于HMD中的顯示效果無法對外展示，因此，本文展示的是“編輯/演示”界面中，已經(jīng)完成虛實(shí)疊加的誘導(dǎo)信息顯示效果。下頁圖16和圖17分別是拆卸小鏈輪固定螺栓并取下小鏈輪和拆卸離合器固定螺母的維修視角。

圖16 拆卸小鏈輪固定螺栓并取下小鏈輪

圖17 拆卸離合器固定螺母

當(dāng)遇到任務(wù)切換、拿放工具零件或其他原因?qū)е戮S修者視角偏離目標(biāo)時，系統(tǒng)將顯示紅色指示線并配合文字提示提醒維修者將視角調(diào)整到位，如圖18。

圖18 維修視角導(dǎo)航

3 結(jié)論

本文分4個模塊設(shè)計并實(shí)現(xiàn)了誘導(dǎo)維修系統(tǒng)，通過三維模型動畫、二維指示箭頭、文字提示、語音播報的方式，實(shí)現(xiàn)了對某型單缸風(fēng)冷四沖程發(fā)動機(jī)活塞環(huán)缸套的更換和離合器片更換，兩個維修任務(wù)的誘導(dǎo)。該系統(tǒng)還實(shí)現(xiàn)了手勢和語音的多通道人機(jī)交互，對外演示和誘導(dǎo)維修的同步進(jìn)行。此外，該系統(tǒng)還具備較強(qiáng)的拓展性和通用性，能夠根據(jù)具體需要導(dǎo)入維修對象的三維模型并編輯維修任務(wù)，可實(shí)現(xiàn)對不同對象和任務(wù)的誘導(dǎo)維修。該系統(tǒng)基本實(shí)現(xiàn)了“以人為中心”的維修，為解決戰(zhàn)場快速搶修問題提供了思維和途徑。在提高我國軍用裝備維修性、保障性方面具有一定價值。

［1］MIZELL D.Boeing’s wire bundle assembly project［J］.Fundamentals of Wearable Computers and Augmented Reality，2001（10）：447-467.

［2］FRIEDRICH W.ARVIKA-augmented reality for development［C］//Production and Service Proceedings of the International Symposium on Mixed and Augmented Reality，Washington D.C：IEEE Computer Society，2002.

［3］SCHWALD B，F(xiàn)IGUE J，CHAUVINEAU E，et al.STARMATE：using augmented reality technology for computer guided maintenance of complex mechanical elements［J］. E-work and E-Commerce，2001（1）：196-202.

［4］BENBELKACEM S，BELHOCINE M，BELLARBI A，et al. Augmented reality for photovoltaic pumping systems maintenance tasks［J］.Renewable Energy，2013（55）：428-437.

［5］HENDERSON S J，F(xiàn)EINER S K.Augmented reality in the psychomotor phase of a procedural task［C］//Mixed and Augmented Reality（ISMAR），2011 10th IEEE International Symposium on，2011：191-200.

［6］HENDERSON S，F(xiàn)EINER S.Exploring the benefits of augmented reality documentation for maintenance and repair［J］. Visualization and Computer Graphics，IEEE Transactions on，2011，17（10）：1355-1368.

［7］趙新燦，左洪福.增強(qiáng)現(xiàn)實(shí)維修誘導(dǎo)系統(tǒng)關(guān)鍵技術(shù)研究［J］.中國機(jī)械工程，2008，19（6）：678-682.

［8］趙新燦，左洪福.增強(qiáng)現(xiàn)實(shí)維修誘導(dǎo)系統(tǒng)交互技術(shù)研究［J］.中國機(jī)械工程，2009，11（19）：1312-1316.

［9］潘紹松.面向過程的維修誘導(dǎo)關(guān)鍵技術(shù)研究［D］.南京：南京航空航天大學(xué)，2012.

［10］羅斌，王涌天，沈浩，等.增強(qiáng)現(xiàn)實(shí)混合跟蹤技術(shù)綜述［J］.自動化學(xué)報，2013，39（8）：1185-1201.

［11］劉輝邦，褚金奎，支煒，等.基于STM32的無人機(jī)姿態(tài)測量系統(tǒng)設(shè)計［J］.傳感器與微系統(tǒng)，2013，32（8）：108-110.

［12］郭軍海.彈道測量數(shù)據(jù)融合技術(shù)［M］.北京：國防工業(yè)出版社，2012：169-174.

Design and Implementation of Equipment Maintenance Guiding System Based on Augmented Reality

CUI Bo1，WANG Wei1，2，QU Jue1★，LI Zi-hao1
（1.School of Air-Defense and Anti-Missile，Air Force Engineering University，Xi’an 710051，China；
2.State Key Laboratory for Manufacturing System Engineering，Xi’an Jiaotong University，Xi’an 710049，China）

Aiming at the problems that include high complexity，not easy-going and low security existing in the progress of equipment maintenance，a maintenance guiding prototype system is introduced，and design and implementation of maintenance guiding system is stated on augmented reality key techniques.Modular design method is adopted，and through analyzing design requirements of the system，each function module contained within the system is designed，which makes the system’s maintenance task can be upgraded or modified according to the change of maintenance objects on the premise of the same framework.Using the prototype system，two of maintenance tasks that include replacement of piston ring and clutch plate of engine are guided，which verify the function of the system.

augmented reality，maintenance guiding，man-machine interaction，systematic design，data management

TP391

A

1002-0640（2016）11-0176-06

2015-10-16

2015-11-30

國家自然科學(xué)基金資助項(xiàng)目（51405505）

崔波（1992-），男，河南獲嘉人，碩士研究生。研究方向：人機(jī)交互，誘導(dǎo)維修。

瞿玨（1985-），男，湖南汨羅人，碩士，講師。研究方向：虛擬現(xiàn)實(shí)、誘導(dǎo)維修和人機(jī)工程。