徐敏+姚年春

摘要：在搭建了裝配仿真系統(tǒng)整體架構(gòu)的基礎(chǔ)上，文章對基于Kmect的虛擬場景的建立、仿真工具與產(chǎn)品模型的創(chuàng)建等關(guān)鍵技術(shù)進行了較為深入的討論，并以此為依據(jù)開發(fā)了汽車零配件裝配仿真系統(tǒng)。應(yīng)用結(jié)果表明，人機交互技術(shù)的應(yīng)用顯著提升了裝配工作效率與學習體驗感。

關(guān)鍵詞：Kmect；人機交互；裝配仿真

裝配仿真是虛擬現(xiàn)實技術(shù)在工業(yè)領(lǐng)域中的一個重要應(yīng)用，可以利用裝配仿真及時發(fā)現(xiàn)設(shè)計缺陷，提高裝配流程的效率與合理性。本文將基于Kmect的人體運動數(shù)據(jù)獲取技術(shù)與計算機仿真技術(shù)相結(jié)合，研究了虛擬場景的建立、仿真工具與產(chǎn)品模型的創(chuàng)建等問題，實現(xiàn)了虛擬裝配系統(tǒng)的仿真。

1人體交互技術(shù)與Kinect介紹

人機交互技術(shù)主要研究的是使用者與計算機之間的互動聯(lián)系。使用者利用對計算機的相關(guān)操作以實現(xiàn)二者之間的雙向數(shù)據(jù)交換，將使用者的需求準確傳輸至計算機，后者能夠有效完成信息的分析、計算、管理等工作。人機交互技術(shù)作為計算機用戶界面設(shè)計中的一項重要內(nèi)容，其與計算機技術(shù)同步發(fā)展，并與人機工程學、認知科學及語言學等多學科領(lǐng)域緊密相關(guān)[1]。

目前，隨著計算機圖形學、機器視覺、圖像識別與虛擬現(xiàn)實等技術(shù)的迅速發(fā)展，人機交互技術(shù)的輸入輸出方式更加多元化、人機對話方式更加便捷自然、交互過程的智能化程度更高。

Kmect作為微軟XBOX360體感周邊外圍設(shè)備，在開發(fā)過程中運用了基于深度圖像的骨骼追蹤算法，不需要任何其他輔助工具就能夠進行人體運動姿態(tài)的識別與捕捉[2]。

Kmect前方從左向右依次配置有紅外線發(fā)射器、RGB攝像頭、紅外線接收器。其中，RGB攝像頭能夠以30巾貞/秒的速度獲取彩色圖像；兩側(cè)的紅外發(fā)射、接收器用于獲取深度圖像；兩側(cè)不對稱的麥克風陣列具有聲源判斷、音頻處理、語音識別等功能；底座馬達可調(diào)節(jié)其俯仰角度。

2虛擬裝配系統(tǒng)的實現(xiàn)

2.1系統(tǒng)架構(gòu)

本文設(shè)計的系統(tǒng)從Kmect獲取的深度圖像中提取手勢區(qū)域，并依據(jù)特征進行分類以作為鼠標的輸入；獲取Kmect采集的不同骨骼節(jié)點數(shù)據(jù)，并以各自的位置信息分別定義交互動作，同時將右手骨骼坐標換算為計算機屏幕坐標，以右手的動作取代光標操作，實現(xiàn)以更自然、便捷的方式與虛擬現(xiàn)實場景之間的動態(tài)交互。

2.2交互動作的定義

虛擬現(xiàn)實場景通常以操作者的手勢與一定的動作來控$|J，以達到人機交互更加自然的目的。而上述特定的動作的定義則是依據(jù)對手勢的識別或者判斷骨骼節(jié)點間相對位置。以右手伸展、右臂抬起與肩平齊動作為例，需判斷右手與右肩骨骼節(jié)點縱坐標的相似性，右手與右肩骨骼節(jié)點橫坐標的距離差值。

常用交互動作的定義和功能有：（1）右手手掌完全打開定義松開鼠標左鍵，實現(xiàn)零件抓取的功能；（2）右手握拳定義按下鼠標左鍵，實現(xiàn)零件釋放的功能；（3）右手水平移動定義鼠標在桌面的移動；（4）右手擺動定義由虛擬裝配界面退出；（5）右手伸展、右臂抬起與肩平齊定義裝配零部件向右旋轉(zhuǎn)；（6）左手伸展、左臂抬起與肩平齊定義裝配零部件向左旋轉(zhuǎn)[3]。

2.3場景的建立

裝配仿真是以場景的創(chuàng)建為前提與基礎(chǔ)的，其具體的搭建流程包括：實際場景的捕獲、工位建模、目標建模（含產(chǎn)品、工具、人體等）以及系統(tǒng)初始化。

本文設(shè)計的系統(tǒng)基于對虛擬模型的組合創(chuàng)建了仿真場景。虛擬模型的創(chuàng)建可直接利用數(shù)字化企業(yè)的互云力制造應(yīng)用（Digital Enterprise Lean Manufacturing Interactive Application，DELMIA）軟件或配合交互式CAD/CAE/CAM系統(tǒng)（Computer Aided Three-dimensional Interactive Application，CATIA）完成，其中，DELMIA能夠有效實現(xiàn)仿真環(huán)境的可控及真實性需求。然后再選用事件驅(qū)動模式完成安放、觀察角度的變換等，并進一步搭建仿真場景。

2.4產(chǎn)品模型和裝配工具模型的創(chuàng)建

仿真工具與產(chǎn)品模型是實現(xiàn)虛擬裝備的重要條件。由于在交互操作過程中，涉及對產(chǎn)品模型的拆卸、組合、安裝等工作，因此系統(tǒng)創(chuàng)建采用基于模型的方法。而其中最核心的項目為三維幾何建模，利用該方法在仿真環(huán)境下呈現(xiàn)出實際物體的形狀、大小等物理特性，同時表征了數(shù)字模型各構(gòu)成部分的運動與約束關(guān)系。此外，在對操作資源進行查找、分析的基礎(chǔ)上，使用建模軟件，能夠達到對裝配工具參數(shù)化建模的目的[4]。

3基于Kinect的人體運動數(shù)據(jù)的獲取

由Kmect骨骼追蹤所創(chuàng)建的人體模型主干節(jié)點組成如

圖1（a）所示，可以明顯看出頭、手、腳都僅有一個節(jié)點，即說明依靠Kmect骨骼追蹤并不能可靠地識別手指的運動，同時也不能判斷使用者面部的方向。但是，在DELMIA互動軟件中創(chuàng)建的人體模型除了與上圖類似的部分外，還增添了若干手、腳指（趾）部關(guān)節(jié)點，如圖1（b）所示。

在不考慮手、腳指（趾）的微小動作的情況下，DELMIA所創(chuàng)建的人體模型中絕大多數(shù)繞節(jié)點做旋轉(zhuǎn)運動的地部位均可以對應(yīng)Kinect模型中的球關(guān)節(jié)，如表1所示。

在Kmect軟件中，人體模型的頭、手、腳等主干關(guān)節(jié)在僅發(fā)生位移而沒有進行旋轉(zhuǎn)運動的時候，可利用其自身和節(jié)點的位置坐標來計算DELMIAS動軟件中相關(guān)節(jié)點間對應(yīng)部位的轉(zhuǎn)動角度。同理，可利用右（左）肩和雙肩中部位置節(jié)點的位置坐標來計算右（左）鎖骨的轉(zhuǎn)動角度。此外，在Kinect軟件中，被認為能夠進行獨立位移運動的左、中、右臀，對應(yīng)于DELMIA中作為整體發(fā)生位移運動。

4運行實例

汽車零配件裝配仿真場景包含汽車、置物架、人體模型。在操作環(huán)境中配置完成Kmect軟件，在與計算機連接成功后進入系統(tǒng)運行狀態(tài)。當人體進行抓取、防止等操作動作時，能夠看到DELMIAS動軟件中的虛擬操作者進行相關(guān)操作動作[5]。

5結(jié)語

在搭建了裝配仿真系統(tǒng)整體架構(gòu)的基礎(chǔ)上，重點介紹了基于對虛擬模型的組合創(chuàng)建仿真場景、基于Kinect的人體運動數(shù)據(jù)的獲取，其中包含人體模型在DELMIA與Kmect中的相互對應(yīng)關(guān)系，并采取這些方法開發(fā)了汽車零配件裝配仿真系統(tǒng)。應(yīng)用結(jié)果表明，基于Kmect的裝配仿真系統(tǒng)極大提升了設(shè)計效果與學習沉浸感。

[參考文獻]

[1]王朝增.基于Kinect的裝配仿真及其人機工效分析[D].杭州：浙江理工大學，2013.

[2]廖宏建，曲哲.基于Kinect體感交互技術(shù)的虛擬裝配實驗系統(tǒng)開發(fā)[J].實驗技術(shù)與管理，2013（7）：98-102.

[3]趙陽，何漢武，吳悅明，等.增強現(xiàn)實交互環(huán)境下發(fā)動機裝配序列呈現(xiàn)方法研究與實現(xiàn)[J].裝備制造技術(shù)，2015（4）：146-149.

[4]羅凌峰.基于行為交互的虛擬裝配及展示研究[D].北京：北京交通大學，2015.

[5]趙陽.增強現(xiàn)實環(huán)境下汽車發(fā)動機裝配訓(xùn)練系統(tǒng)研究[D].廣州：廣東工業(yè)大學，2015.endprint