查晨東，袁博

?

裝甲裝備增強(qiáng)現(xiàn)實(shí)維修引導(dǎo)系統(tǒng)設(shè)計(jì)

查晨東，袁博

（陸軍裝甲兵學(xué)院，北京 100072）

裝甲裝備增強(qiáng)現(xiàn)實(shí)維修引導(dǎo)系統(tǒng)的設(shè)計(jì)目的是為了能夠使其在實(shí)際的維修中具有輔助維修的作用，通過虛擬模型和真實(shí)維修場景的實(shí)時(shí)融合，幫助維修人員快捷、方便地獲取維修過程中需要的提示信息。根據(jù)某型號(hào)裝甲裝備維修保障工作實(shí)際需要，設(shè)計(jì)并實(shí)現(xiàn)了裝甲裝備增強(qiáng)現(xiàn)實(shí)維修引導(dǎo)系統(tǒng)；根據(jù)系統(tǒng)各模塊的功能，詳細(xì)介紹了該系統(tǒng)工作流程。

裝甲裝備；增強(qiáng)現(xiàn)實(shí)；維修引導(dǎo)；模塊

典型的增強(qiáng)現(xiàn)實(shí)系統(tǒng)[1]通過計(jì)算圖像采集設(shè)備的位姿信息，將計(jì)算機(jī)生成的虛擬模型實(shí)時(shí)疊加到真實(shí)場景中，通過頭戴顯示器、手機(jī)或平板電腦等顯示設(shè)備將虛實(shí)融合后的疊加圖像呈現(xiàn)在用戶眼前。增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)了真實(shí)場景與虛擬模型共存，可以在復(fù)雜裝備維修中為維修人員提供直觀靈活的操作流程，并且對于不熟悉復(fù)雜裝甲裝備檢測維修的用戶也可以通過裝甲裝備維修引導(dǎo)系統(tǒng)對裝甲裝備零部件進(jìn)行維修。可以看出，增強(qiáng)現(xiàn)實(shí)維修引導(dǎo)系統(tǒng)對于縮短裝甲裝備的維護(hù)周期、提高維修效率具有重要意義。

1 增強(qiáng)現(xiàn)實(shí)維修引導(dǎo)系統(tǒng)模塊化設(shè)計(jì)

文中的增強(qiáng)現(xiàn)實(shí)維修引導(dǎo)系統(tǒng)，設(shè)計(jì)了以下基本功能：圖像采集、維修目標(biāo)的識(shí)別和跟蹤、虛擬信息三維模型、虛實(shí)融合顯示和人機(jī)交互功能。圖像采集功能需要實(shí)時(shí)獲取真實(shí)的維修作業(yè)場景中的視頻圖像，然后將視頻序列圖像逐幀送入其他模塊進(jìn)行處理。維修目標(biāo)識(shí)別和跟蹤功能需要識(shí)別場景中待維修部件的位置，實(shí)時(shí)跟蹤并獲取目標(biāo)在視頻圖像幀中的精確位置，由此解算攝像機(jī)的位姿矩陣。維修過程中需要的虛擬引導(dǎo)信息以數(shù)據(jù)的形式存儲(chǔ)在數(shù)據(jù)庫中，通過維修目標(biāo)識(shí)別的結(jié)果判定需要的信息，從數(shù)據(jù)庫中調(diào)用與當(dāng)前目標(biāo)對應(yīng)的虛擬模型和維修引導(dǎo)信息，并通過在目標(biāo)跟蹤過程中得到的攝像機(jī)的位姿矩陣進(jìn)行實(shí)時(shí)的三維注冊，疊加至真實(shí)維修作業(yè)場景中，實(shí)現(xiàn)實(shí)時(shí)的維修引導(dǎo)。顯示功能指為了使虛擬模型與真實(shí)維修場景融合后更加符合用戶的真實(shí)視覺，需要將真實(shí)維修場景中的光照、陰影等元素加入到待渲染的虛擬模型的環(huán)境中。人機(jī)交互功能指根據(jù)維修人員的需求對疊加的虛擬信息進(jìn)行更換。系統(tǒng)整體框架如圖1所示。

如1圖所示，可將系統(tǒng)工作流程模塊化演示如下：①通過圖像采集模塊對局部維修場景進(jìn)行視頻圖像采集，并將視頻序列圖像傳輸至目標(biāo)識(shí)別模塊中，利用目標(biāo)識(shí)別模塊對場景中的維修目標(biāo)進(jìn)行識(shí)別定位，通過滑動(dòng)窗口檢測出維修目標(biāo)的ROI區(qū)域并將其送入跟蹤模塊處理，同時(shí)通過人眼觀察判斷當(dāng)前目標(biāo)的故障狀態(tài)；②在跟蹤注冊模塊中對維修目標(biāo)特征點(diǎn)進(jìn)行跟蹤并實(shí)時(shí)計(jì)算出攝像機(jī)的位姿矩陣，同時(shí)從數(shù)據(jù)庫中調(diào)用與該維修目標(biāo)所對應(yīng)的虛擬維修引導(dǎo)信息，對維修人員給予虛擬維修信息提示；③在虛實(shí)融合模塊中形成虛實(shí)疊加圖像并將其傳輸至顯示模塊使用計(jì)算機(jī)顯示終端。另外，人機(jī)交互模塊可在跟蹤注冊成功后根據(jù)當(dāng)前維修狀態(tài)對疊加的虛擬維修引導(dǎo)信息加以選擇或變更。下面對各個(gè)模塊的具體結(jié)構(gòu)和功能進(jìn)行介紹。

圖1 系統(tǒng)框架

1.1 圖像采集模塊和顯示模塊

圖像采集模塊主要由智能設(shè)備的攝像頭組成，攝像頭除了采集圖像，將序列圖像送入系統(tǒng)處理之外，其本身的各項(xiàng)參數(shù)也是增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的重點(diǎn)。需要從序列圖像中解算攝像機(jī)的各項(xiàng)參數(shù)，所以序列圖像不能出現(xiàn)模糊的現(xiàn)象。

顯示模塊主要由系統(tǒng)的載體決定，系統(tǒng)的載體可以是筆記本電腦、手機(jī)或平板等具有顯示功能的移動(dòng)載體，可以將真實(shí)場景與虛擬模型以視頻圖像的方式呈現(xiàn)。增強(qiáng)現(xiàn)實(shí)有多種顯示設(shè)備來滿足各種各樣增強(qiáng)現(xiàn)實(shí)系統(tǒng)的不同需求，常用的有平透視式頭盔顯示器、手機(jī)和平板電腦、其他便于攜帶的設(shè)備等。然而就本文的實(shí)際應(yīng)用來看，采用移動(dòng)設(shè)備來進(jìn)行顯示，移動(dòng)設(shè)備具有便攜的優(yōu)勢，對工作環(huán)境的限制較小，使用范圍較廣。

1.2 目標(biāo)識(shí)別模塊

目標(biāo)識(shí)別模塊主要功能是根據(jù)系統(tǒng)發(fā)出的維修指令，選擇場景中的某個(gè)裝甲裝備零部件進(jìn)行維修，然后快速識(shí)別出該部件在場景的位置，并將其位置發(fā)送至跟蹤注冊模塊。

1.3 跟蹤注冊模塊

跟蹤注冊模塊的主要功能是通過對維修目標(biāo)實(shí)時(shí)跟蹤，以不同圖像中維修目標(biāo)的位置來計(jì)算出攝像機(jī)相對于維修目標(biāo)的位置和姿態(tài)[2]。

1.4 數(shù)據(jù)庫和虛實(shí)融合模塊

數(shù)據(jù)庫是裝甲裝備維修引導(dǎo)系統(tǒng)的基礎(chǔ)內(nèi)容，它的主要功能是在離線階段建立三維虛擬模型以及維修信息，并將其以數(shù)據(jù)的形式儲(chǔ)存。

通過系統(tǒng)的目標(biāo)識(shí)別模塊和跟蹤注冊模塊可以確定維修目標(biāo)的類型和攝像機(jī)實(shí)時(shí)的位姿信息，在虛實(shí)融合模塊中可以根據(jù)這些信息從已建立好的數(shù)據(jù)庫中選擇相應(yīng)的虛擬模型和維修引導(dǎo)信息并將其準(zhǔn)確疊加到視頻圖像中指定的位置。在進(jìn)行虛擬模型渲染時(shí)，調(diào)用了OpenGL底層單元，通過搭建模型和紋理貼圖完成虛擬模型的構(gòu)建。

1.5 人機(jī)交互模塊

人機(jī)交互模塊是為了方便維修人員對系統(tǒng)提供的功能進(jìn)行選擇，在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中常用人機(jī)交互方式有語音交互、基于視覺的手勢交互等，這些交互方式通常是通過操控增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的功能菜單來實(shí)現(xiàn)的。由于本文設(shè)計(jì)的裝甲裝備增強(qiáng)現(xiàn)實(shí)系統(tǒng)的載體是平板電腦等具有硬件顯示功能的移動(dòng)設(shè)備，因此本文采用GUI界面的交互形式進(jìn)行人機(jī)交互。

2 系統(tǒng)實(shí)現(xiàn)

本文中的裝甲裝備修引導(dǎo)系統(tǒng)以操縱臺(tái)為對象。操作平臺(tái)為Windows7系統(tǒng)，使用羅技c920攝像頭為圖像采集設(shè)備。利用Qt[3]設(shè)計(jì)程序運(yùn)行界面，如圖2所示，界面中顯示窗口用于實(shí)時(shí)顯示圖像，其大小為640×480；系統(tǒng)狀態(tài)欄用于顯示系統(tǒng)的狀態(tài)，系統(tǒng)有空閑、識(shí)別和跟蹤3種狀態(tài)；攝像機(jī)位置包括6個(gè)參數(shù)，在跟蹤狀態(tài)下將實(shí)時(shí)計(jì)算出這6個(gè)參數(shù)；故障列表欄用于選擇操縱臺(tái)的故障類型，從而導(dǎo)入不同的維修操作模型。

圖2 系統(tǒng)實(shí)現(xiàn)

3 結(jié)論

本文設(shè)計(jì)并實(shí)現(xiàn)了增強(qiáng)現(xiàn)實(shí)裝甲裝備維修引導(dǎo)系統(tǒng)。對增強(qiáng)現(xiàn)實(shí)技術(shù)在裝甲裝備維修的應(yīng)用方面進(jìn)行了探索，對系統(tǒng)的整體框架進(jìn)行了模塊化設(shè)計(jì)，并對各模塊的功能進(jìn)行了介紹，在實(shí)際維修環(huán)境中對系統(tǒng)的功能進(jìn)行了展示。本文設(shè)計(jì)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)一定程度上實(shí)現(xiàn)了增強(qiáng)現(xiàn)實(shí)技術(shù)與裝甲裝備維修保障工作的結(jié)合，具有一定的實(shí)用價(jià)值。

［1］趙新燦，左洪福.增強(qiáng)現(xiàn)實(shí)維修誘導(dǎo)系統(tǒng)交互技術(shù)研究［J］.中國機(jī)械工程，2008，19（11）：1312-1316.

［2］張志禹，劉耀陽.基于SURF與光流法的增強(qiáng)現(xiàn)實(shí)跟蹤注冊［J］.計(jì)算機(jī)工程與應(yīng)用，2015，51（3）：166-170.

［3］方世煙，林東.基于Qt的電紙書圖形用戶界面設(shè)計(jì)［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2012，21（3）：216-219.

2095－6835（2018）24－0017－02

TP391.9

A

10.15913/j.cnki.kjycx.2018.24.017

查晨東（1993—），男，研究方向?yàn)樵鰪?qiáng)現(xiàn)實(shí)。

〔編輯：嚴(yán)麗琴〕