吳珍發(fā)， 趙皇進(jìn)， 鄭國(guó)磊

（1. 莆田學(xué)院信息工程學(xué)院，福建 莆田 351100；2. 北京航空航天大學(xué)機(jī)械工程及自動(dòng)化學(xué)院，北京 100191）

基于語(yǔ)義分解的人機(jī)任務(wù)快速規(guī)劃及仿真自動(dòng)生成方法

吳珍發(fā)1， 趙皇進(jìn)2， 鄭國(guó)磊2

（1. 莆田學(xué)院信息工程學(xué)院，福建 莆田 351100；2. 北京航空航天大學(xué)機(jī)械工程及自動(dòng)化學(xué)院，北京 100191）

人機(jī)任務(wù)仿真規(guī)劃是人機(jī)系統(tǒng)應(yīng)用的基礎(chǔ)性工作，也是任務(wù)仿真制作過程中最具專業(yè)性和復(fù)雜性的工作之一，研究人機(jī)任務(wù)仿真快速規(guī)劃方法對(duì)提高人機(jī)系統(tǒng)的應(yīng)用水平具有重要的意義。針對(duì)現(xiàn)有人機(jī)系統(tǒng)中人機(jī)任務(wù)仿真交互量大、仿真進(jìn)程不能自動(dòng)生成以及仿真結(jié)果重用性差等問題，提出一種基于語(yǔ)義分解的人機(jī)任務(wù)快速規(guī)劃及仿真自動(dòng)生成方法。首先，采用分層模式，對(duì)人機(jī)任務(wù)的自然語(yǔ)義進(jìn)行逐層分解和細(xì)化，直至最終可由計(jì)算機(jī)系統(tǒng)直接實(shí)現(xiàn)和執(zhí)行的動(dòng)作來描述為止；然后，引入任務(wù)路徑、軌跡和進(jìn)程等概念，對(duì)復(fù)雜人機(jī)任務(wù)過程進(jìn)行結(jié)構(gòu)化定義和表示，提出相應(yīng)的圖形化人機(jī)任務(wù)過程圖形化規(guī)劃方法，并在此基礎(chǔ)上建立人機(jī)任務(wù)仿真自動(dòng)生成方法。開發(fā)支持這種方法的程序原型，并以飛機(jī)裝配中卡板打開操作為例，對(duì)這種方法進(jìn)行測(cè)試和驗(yàn)證。

語(yǔ)義分解；人機(jī)仿真；過程規(guī)劃；自動(dòng)生成

人機(jī)任務(wù)仿真是利用計(jì)算機(jī)的高性能圖形處理能力并結(jié)合現(xiàn)有的CAD技術(shù)，把虛擬人放入設(shè)計(jì)人員構(gòu)建的虛擬產(chǎn)品設(shè)計(jì)制造環(huán)境和任務(wù)中進(jìn)行動(dòng)態(tài)仿真和評(píng)價(jià)。首先，根據(jù)人機(jī)工程任務(wù)和分析的需要，通過計(jì)算機(jī)程序?qū)μ摂M人的姿態(tài)和動(dòng)作進(jìn)行控制，使虛擬人較真實(shí)地模仿人的姿態(tài)和動(dòng)作；然后，利用人機(jī)工程評(píng)價(jià)方法對(duì)虛擬人當(dāng)前的姿態(tài)和動(dòng)作進(jìn)行分析；最后，根據(jù)人機(jī)分析結(jié)果對(duì)產(chǎn)品及任務(wù)設(shè)計(jì)進(jìn)行相應(yīng)的評(píng)價(jià)和改進(jìn)。

國(guó)外在 90年代初就開展了工程領(lǐng)域內(nèi)人機(jī)仿真及評(píng)價(jià)方面的應(yīng)用研究，比如 Mavrikios等[1]、Chilton和 Smith[2]都進(jìn)行了各具特色的應(yīng)用，主要側(cè)重于航空航天工業(yè)和汽車制造業(yè)領(lǐng)域內(nèi)的虛擬樣機(jī)裝配和虛擬維修中的人機(jī)仿真與分析。國(guó)內(nèi)在這方面的應(yīng)用研究起步較晚，王小強(qiáng)等[3]、郭慶和馬超[4]、王長(zhǎng)元和樊軍[5]、李博等[6]在飛機(jī)維修、飛行儀表仿真以及載人潛器等領(lǐng)域，開展了人機(jī)仿真與分析的應(yīng)用研究。目前已被廣泛采用的如Jack等人機(jī)工程仿真軟件系統(tǒng)[7]，可以及時(shí)發(fā)現(xiàn)和修正工程活動(dòng)中的各種問題，對(duì)提升這些領(lǐng)域的工程質(zhì)量發(fā)揮了重要的作用。但是，這些軟件系統(tǒng)的應(yīng)用和運(yùn)行需要大量的人機(jī)交互操作，制作整個(gè)人機(jī)任務(wù)仿真的過程需要耗費(fèi)大量的時(shí)間，人機(jī)任務(wù)仿真結(jié)果不具有可編輯性和重用性。一旦仿真環(huán)境(產(chǎn)品設(shè)計(jì)尺寸、虛擬人交互對(duì)象位置等)發(fā)生改變時(shí)，整個(gè)人機(jī)任務(wù)過程仿真必須重新制作。

智能規(guī)劃系統(tǒng)在一定程度上可以克服這些問題。這些系統(tǒng)一般采用的是狀態(tài)轉(zhuǎn)移系統(tǒng)模型，以狀態(tài)空間搜索方法來實(shí)現(xiàn)系統(tǒng)的智能規(guī)劃[8]。在機(jī)器人任務(wù)規(guī)劃領(lǐng)域，大量采用Petri Nets來實(shí)現(xiàn)機(jī)器人任務(wù)自動(dòng)規(guī)劃[9]。但是，不同于智能動(dòng)畫、智能規(guī)劃以及機(jī)器人任務(wù)規(guī)劃等，人機(jī)仿真中的虛擬人行為控制通常具有明確的目標(biāo)，其運(yùn)動(dòng)過程是事先確定的，亦即整個(gè)虛擬人的動(dòng)作或操作流程均是由專業(yè)設(shè)計(jì)人員預(yù)先規(guī)劃和定義的。為此，本文提出以人機(jī)任務(wù)的自然語(yǔ)義分解為基礎(chǔ)，來建立人機(jī)任務(wù)仿真過程快速規(guī)劃以及仿真自動(dòng)生成方法，下面即詳細(xì)闡述這些技術(shù)方法。首先，給出人機(jī)交互任務(wù)的自然語(yǔ)義分解模式，并在此基礎(chǔ)上提出和建立人機(jī)任務(wù)的結(jié)構(gòu)化定義與表示模型及其圖形化規(guī)劃方法；然后，構(gòu)建人機(jī)任務(wù)仿真自動(dòng)生成流程，并簡(jiǎn)要介紹其中的關(guān)鍵步驟和方法；最后，針對(duì)人機(jī)任務(wù)仿真過程快速規(guī)劃和仿真自動(dòng)生成實(shí)現(xiàn)的需要，自行開發(fā)其支持程序原型，并以飛機(jī)裝配中卡板打開操作為例，對(duì)所提出的方法進(jìn)行測(cè)試和驗(yàn)證。

本文是對(duì)已結(jié)題的國(guó)家自然科學(xué)基金項(xiàng)目《飛機(jī)裝配工藝姿態(tài)自適應(yīng)計(jì)算和工效數(shù)值評(píng)估模型研究》（基金編號(hào)：60873157）中涉及的部分內(nèi)容進(jìn)行進(jìn)一步研究和總結(jié)。

1 人機(jī)交互任務(wù)規(guī)劃

人機(jī)交互任務(wù)規(guī)劃是對(duì)人機(jī)任務(wù)仿真中虛擬人的運(yùn)動(dòng)過程及相關(guān)動(dòng)作或操作序列進(jìn)行設(shè)計(jì)，其中包括任務(wù)自然語(yǔ)義描述、任務(wù)過程表示及如何直觀地建立任務(wù)過程等。

1.1 任務(wù)描述模式

如圖1所示，采用分層模式、亦即樹結(jié)構(gòu)來定義和描述由一個(gè)虛擬人或智能對(duì)象完成的人機(jī)交互任務(wù)的自然語(yǔ)義。其中：

(1) 結(jié)點(diǎn)。即為任務(wù)或行為的描述，其結(jié)構(gòu)用BNF定義為：

其中，“主體”為負(fù)責(zé)行為執(zhí)行的對(duì)象，“行為”即為“主體”的執(zhí)行過程。

(2) 結(jié)點(diǎn)列。在同一層上，用一個(gè)結(jié)點(diǎn)序列、亦即結(jié)點(diǎn)存在先后鏈接關(guān)系來定義一個(gè)行為過程。在此過程中，第一個(gè)結(jié)點(diǎn)與上一層的某個(gè)結(jié)點(diǎn)相關(guān)聯(lián)，稱后者為這一結(jié)點(diǎn)列的父結(jié)點(diǎn)，前者為此父結(jié)點(diǎn)的子結(jié)點(diǎn)(列)。一個(gè)子結(jié)點(diǎn)列是其父結(jié)點(diǎn)語(yǔ)義描述的進(jìn)一步分解和細(xì)化。

圖1 任務(wù)自然語(yǔ)義的描述模式

根據(jù)結(jié)點(diǎn)在分層模式中的位置，將圖1中結(jié)點(diǎn)分為以下3類：

(1) 根結(jié)點(diǎn)。將圖1中的最頂層“層0”結(jié)點(diǎn)，稱其任務(wù)（命名）結(jié)點(diǎn)。其內(nèi)容為，根據(jù)式(1)，對(duì)任務(wù)的功能、目標(biāo)及完成方法等語(yǔ)義進(jìn)行總體描述，如“虛擬人手工鉚接”，其中“虛擬人”為“主體”，“手工鉚接”為“行為”。

(2) 葉結(jié)點(diǎn)。是不具有子結(jié)點(diǎn)列的結(jié)點(diǎn)。用這類結(jié)點(diǎn)來描述可由計(jì)算機(jī)系統(tǒng)直接定義、表示、執(zhí)行或?qū)崿F(xiàn)的最小行為單元（簡(jiǎn)稱動(dòng)作），如虛擬人“抓取”和“行走”等。由葉結(jié)點(diǎn)構(gòu)成的子結(jié)點(diǎn)列是其父結(jié)點(diǎn)的最詳盡描述，也是這一父結(jié)點(diǎn)的最終分解結(jié)果。

(3) 中間結(jié)點(diǎn)。亦即除了根和葉結(jié)點(diǎn)外的其他所有結(jié)點(diǎn)。

在人機(jī)交互任務(wù)仿真中，常用動(dòng)作見表1所示。在參考、研究和分析人的基本行為動(dòng)作的基礎(chǔ)上，根據(jù)工程領(lǐng)域內(nèi)人機(jī)仿真的需要，定義了4類虛擬人基本動(dòng)作，即抓取、行走、放開和作業(yè)，這4類基本動(dòng)作具有一般性和通用性?；緞?dòng)作的組合可以用來描述比較復(fù)雜的虛擬人行為活動(dòng)，并能夠用于不同目的的虛擬人仿真。每個(gè)基本動(dòng)作都需要定義其動(dòng)作屬性即執(zhí)行該動(dòng)作所必需的信息或前提條件，動(dòng)作屬性的類型一般有：①虛擬人及其動(dòng)作執(zhí)行末端，即虛擬人執(zhí)行動(dòng)作時(shí)使用的肢體，并包含虛擬人本身。這是所有基本動(dòng)作的必要屬性，因?yàn)槊總€(gè)基本動(dòng)作都需要由指定的虛擬人完成；②虛擬人當(dāng)前位姿，包括當(dāng)前虛擬人的位置和姿態(tài)；③交互對(duì)象，指與虛擬人發(fā)生交互的高級(jí)智能對(duì)象(advanced smart object, ASO)；④對(duì)象交互部位，即虛擬人與ASO進(jìn)行交互的具體部位；⑤對(duì)象動(dòng)作，描述交互過程（包括對(duì)象間交互、虛擬人與對(duì)象間的交互）中對(duì)象的行為動(dòng)作（或反應(yīng)），包括對(duì)象或?qū)ο蟛课坏淖兓ú馁|(zhì)、顏色、大小等）和運(yùn)動(dòng)（平移、旋轉(zhuǎn)等），一個(gè)對(duì)象可以擁有多個(gè)對(duì)象動(dòng)作。對(duì)象的動(dòng)作往往引起虛擬人的運(yùn)動(dòng)，比如電梯升降帶動(dòng)人的上下運(yùn)動(dòng)，打開筆記本電腦翻蓋時(shí)人的手隨翻蓋一起作旋轉(zhuǎn)運(yùn)動(dòng)等。這種虛擬人的反應(yīng)運(yùn)動(dòng)由對(duì)象動(dòng)作引起，虛擬人的運(yùn)動(dòng)具有被動(dòng)性。對(duì)象動(dòng)作的組成屬性主要包括：對(duì)象動(dòng)作部位、運(yùn)動(dòng)形式（平移及平移方向、旋轉(zhuǎn)及旋轉(zhuǎn)軸線等）、運(yùn)動(dòng)范圍（平移距離、旋轉(zhuǎn)角度等）以及虛擬人的驅(qū)動(dòng)部位（手、腳、全身）等。

表1 常用動(dòng)作的必要屬性及其定義方法

虛擬人的基本動(dòng)作和 ASO的對(duì)象動(dòng)作是人機(jī)交互任務(wù)自然語(yǔ)義的最小描述單元。如對(duì)于“虛擬人手工鉚接”任務(wù)，根據(jù)飛機(jī)裝配知識(shí)及實(shí)際操作要求，其自然語(yǔ)義分層表示如圖2(a)所示，其中各行標(biāo)號(hào)為：0，虛擬人手工鉚接；1，拿起鉚槍；2，進(jìn)行鉚接；11，走進(jìn)工具臺(tái)；12，拿起鉚槍；21，走近鉚接孔；22，進(jìn)行鉚接。從圖2(a)中可見，在對(duì)“虛擬人手工鉚接”任務(wù)進(jìn)行語(yǔ)義解釋和描述時(shí)，首先將其以分解為虛擬人“拿起鉚槍”和“進(jìn)行鉚接”等作業(yè)行為過程。由于目前計(jì)算機(jī)系統(tǒng)還不能直接執(zhí)行這兩種行為，需要對(duì)它們進(jìn)行進(jìn)一步細(xì)分為虛擬人“走近工具臺(tái)”與“拿起鉚槍”和“走近鉚接孔”與“進(jìn)行鉚接”等更為具體的行為。這四種行為依次對(duì)應(yīng)于表1中所定義的“行走”、“抓取”、“行走”和“作業(yè)”等動(dòng)作，因此均可直接實(shí)現(xiàn)和執(zhí)行，無需再行細(xì)分。上述任務(wù)語(yǔ)義細(xì)化過程也可用統(tǒng)一建模語(yǔ)言(unified modeling language, UML)的活動(dòng)圖來直觀表示，如圖2(b)所示。

圖2 虛擬人手工鉚接

1.2 任務(wù)過程

在特定的時(shí)間范圍內(nèi)，一項(xiàng)任務(wù)往往需要多個(gè)虛擬人或智能對(duì)象來共同完成，其過程稱為一個(gè)任務(wù)過程。任務(wù)過程的結(jié)構(gòu)化定義和表示如圖3所示。其中：

(3) 任務(wù)進(jìn)程。 q = ( t1,t2, … ,tk)為任務(wù)過程中所有任務(wù)軌跡 ti(i =1 ,2,… ,m )組成的序列，稱為一個(gè)任務(wù)進(jìn)程。一個(gè)任務(wù)進(jìn)程完整地描述了由動(dòng)作構(gòu)成的一項(xiàng)人機(jī)任務(wù)交互任務(wù)仿真的全過程，因而構(gòu)建任務(wù)進(jìn)程是人機(jī)交互任務(wù)規(guī)劃的最終目標(biāo)。

圖3 任務(wù)過程

1.3 任務(wù)規(guī)劃方法

以圖1所示的語(yǔ)義分解模式為基礎(chǔ)，給出如圖4所示的人機(jī)交互任務(wù)圖形化規(guī)劃方法。其中：

(1) 每行對(duì)應(yīng)于由一個(gè)虛擬人或智能對(duì)象完成的一條任務(wù)路徑，路徑上每個(gè)語(yǔ)義動(dòng)作“Semantic”均為被解釋為表1中一個(gè)相應(yīng)的動(dòng)作“Action”。任務(wù)路徑上各動(dòng)作間的執(zhí)行順序可方便和直觀地進(jìn)行交互調(diào)整。多任務(wù)路徑代表著由多個(gè)虛擬人或虛擬對(duì)象完成的人機(jī)任務(wù)過程。

(2) 每列、即泳道“Swimlane”為任務(wù)軌跡。不同泳道將執(zhí)行動(dòng)作序列隔開，以表達(dá)單個(gè)或多個(gè)動(dòng)作執(zhí)行時(shí)序關(guān)系。處在同一個(gè)泳道中的語(yǔ)義動(dòng)作將在同一時(shí)間段內(nèi)被執(zhí)行。同一個(gè)泳道中允許存在同一虛擬人執(zhí)行兩個(gè)或兩個(gè)以上的動(dòng)作，這意味著一個(gè)虛擬人可以在同一時(shí)間段內(nèi)完成多個(gè)并列動(dòng)作，如“Action4”和“Action5”為同一虛擬人在同一時(shí)刻并列執(zhí)行的兩個(gè)動(dòng)作。

綜合采用圖1和圖4所示的圖形化方式，設(shè)計(jì)人員可非常直觀和方便地設(shè)計(jì)、修改、調(diào)整和控制人機(jī)交互任務(wù)過程，從而大大降低了任務(wù)規(guī)劃的難度和復(fù)雜性，并為人機(jī)交互任務(wù)仿真的自動(dòng)生成提供有力的支持。

圖4 任務(wù)規(guī)劃的圖形化表示

2 任務(wù)仿真自動(dòng)生成

所謂人機(jī)交互任務(wù)過程仿真的自動(dòng)生成，是指根據(jù)已經(jīng)規(guī)劃好的任務(wù)進(jìn)程自動(dòng)計(jì)算仿真過程中所有運(yùn)動(dòng)物體每一時(shí)刻的環(huán)境狀態(tài)，包括虛擬人的位置和姿態(tài)、虛擬對(duì)象的方位等。任務(wù)仿真生成后，得到的是一系列有序的環(huán)境狀態(tài)，環(huán)境狀態(tài)隨時(shí)間的推移進(jìn)行連續(xù)播放，以形成直觀的仿真動(dòng)畫效果。

2.1 環(huán)境狀態(tài)表示及計(jì)算

仿真過程中運(yùn)動(dòng)物體的環(huán)境狀態(tài)包括虛擬人的位姿PH和虛擬對(duì)象的方位PO兩部分。虛擬人的位姿由虛擬人根節(jié)點(diǎn)的位置和虛擬人姿態(tài)等組成，其中根節(jié)點(diǎn)位置由位置變換矩陣 TH表示，姿態(tài)由關(guān)節(jié)角向量θ表示，因此虛擬人位姿 PH可表示為虛擬對(duì)象的方位 PO由對(duì)象在三維空間中的位置變換矩陣 TO表示，即有。如表2所示，仿真過程中某一時(shí)刻的所有運(yùn)動(dòng)物體環(huán)境狀態(tài)Si用集合的形式表示為：

表2 運(yùn)動(dòng)物體的環(huán)境狀態(tài)

仿真過程中運(yùn)動(dòng)物體的環(huán)境狀態(tài)計(jì)算，包括相應(yīng)位置變換矩陣和虛擬人關(guān)節(jié)角向量的計(jì)算，通常采用如下3種計(jì)算方法：

(1) 狀態(tài)插值計(jì)算。在始末狀態(tài)已知的條件下，中間狀態(tài)可由始末狀態(tài)插值生成。比如虛擬人抓取物體的中間姿態(tài)可由虛擬人初始站立姿態(tài)和最終手抓取到物體的姿態(tài)插值生成。插值的方法有多種，其中最常用的方法是線性插值法。

(2) 利用經(jīng)驗(yàn)數(shù)據(jù)。虛擬人行走的過程是一個(gè)比較復(fù)雜的全身運(yùn)動(dòng)過程，難以用一般計(jì)算方法進(jìn)行計(jì)算，而通常是根據(jù)已有的虛擬人行走經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行匹配計(jì)算。經(jīng)驗(yàn)數(shù)據(jù)計(jì)算方法多用于虛擬人規(guī)律性或習(xí)慣性動(dòng)作的姿態(tài)計(jì)算，比如行走、上臺(tái)階、起立、坐下等動(dòng)作姿態(tài)的計(jì)算。

(3) 數(shù)學(xué)精確計(jì)算。若可用數(shù)學(xué)函數(shù)精確描述的環(huán)境狀態(tài)，通常采用這種計(jì)算方法。如對(duì)于旋轉(zhuǎn)動(dòng)作，可由旋轉(zhuǎn)軸線、旋轉(zhuǎn)角度等精確描述，并可建立精確的計(jì)算式，因此可直接運(yùn)用該計(jì)算式計(jì)算對(duì)象旋轉(zhuǎn)過程中的各個(gè)中間狀態(tài)。

2.2 動(dòng)作仿真生成

動(dòng)作的仿真生成是人機(jī)交互任務(wù)過程仿真自動(dòng)生成中的最小單元，每種動(dòng)作根據(jù)自身的特點(diǎn)需采用不同的環(huán)境狀態(tài)計(jì)算方法。其中：

(1) 平移動(dòng)作和旋轉(zhuǎn)動(dòng)作。根據(jù)設(shè)置的動(dòng)作步長(zhǎng)，采用數(shù)學(xué)精確計(jì)算方法計(jì)算動(dòng)作過程中動(dòng)作對(duì)象的各個(gè)中間狀態(tài)。

(2) 插值動(dòng)作。由給定的始末狀態(tài)線性插值來計(jì)算動(dòng)作過程中動(dòng)作對(duì)象各個(gè)中間位置的變換矩陣。

(3) 行走動(dòng)作。首先根據(jù)虛擬人行走的始末位置以及行走步長(zhǎng)插值計(jì)算行走過程中虛擬人根節(jié)點(diǎn)的中間位置，然后利用現(xiàn)有虛擬人的行走經(jīng)驗(yàn)數(shù)據(jù)，給每個(gè)中間位置賦一個(gè)相應(yīng)的行走姿態(tài)，使其形成完整的行走動(dòng)作。

(4) 抓取動(dòng)作。首先，根據(jù)抓取目標(biāo)利用虛擬人的IK計(jì)算[10]等姿態(tài)控制方法自動(dòng)計(jì)算虛擬人抓取到物體的最終狀態(tài)；然后，采用狀態(tài)插值計(jì)算方法，計(jì)算虛擬人抓取物體過程中的所有中間姿態(tài)。

(5) 放開動(dòng)作。與抓取動(dòng)作類似，首先，利用虛擬人的IK計(jì)算[10]等方法自動(dòng)計(jì)算虛擬人把物體放到目標(biāo)位置的最終狀態(tài)；然后，采用狀態(tài)插值計(jì)算方法，計(jì)算虛擬人放開物體過程中的所有中間姿態(tài)。

(6) 作業(yè)動(dòng)作。作業(yè)動(dòng)作一般由對(duì)象動(dòng)作定義，首先，生成對(duì)象動(dòng)作過程中虛擬對(duì)象的所有中間狀態(tài)；然后，利用對(duì)象驅(qū)動(dòng)方法生成與對(duì)象動(dòng)作過程中的中間狀態(tài)相對(duì)應(yīng)的虛擬人中間姿態(tài)。

各動(dòng)作仿真自動(dòng)計(jì)算結(jié)果是表2中所示的一系列動(dòng)作中運(yùn)動(dòng)物體的環(huán)境狀態(tài)序列 SA，即SA= ( S1,S2,… ,SK) 。

2.3 任務(wù)進(jìn)程仿真生成

在動(dòng)作仿真自動(dòng)生成的基礎(chǔ)上，按照任務(wù)過程將所生成的動(dòng)作仿真按次序拼接起來，以形成完整的任務(wù)進(jìn)程仿真，并最終獲得由一系列動(dòng)作仿真組成的環(huán)境狀態(tài)序列S，即如表3所示。任務(wù)進(jìn)程仿真演示就是將任務(wù)進(jìn)程中的所有環(huán)境狀態(tài)按時(shí)間順序依次進(jìn)行顯示，連續(xù)動(dòng)態(tài)地展現(xiàn)出整個(gè)人機(jī)交互任務(wù)的動(dòng)畫過程。調(diào)整兩個(gè)環(huán)境狀態(tài)（或動(dòng)作幀）之間切換的時(shí)間間隔，就能控制仿真演示的速度。

表3 運(yùn)動(dòng)物體的環(huán)境狀態(tài)序列

3 任務(wù)仿真實(shí)現(xiàn)及測(cè)試

采用C++編程語(yǔ)言、OpenGL圖形編程語(yǔ)言以及MFC界面類庫(kù)，在VC6.0集成開發(fā)環(huán)境中，通過COM組件開發(fā)了支持上述所提出和建立的人機(jī)交互任務(wù)仿真規(guī)劃及自動(dòng)生成方法的程序原型。以飛機(jī)裝配中卡板的打開操作過程仿真為例，對(duì)這些方法進(jìn)行測(cè)試和驗(yàn)證，如圖5所示。具體驗(yàn)證過程如下：

(1) 創(chuàng)建仿真環(huán)境。如圖 5(a)所示。首先，創(chuàng)建裝配型架 ASO，導(dǎo)入裝配型架及卡板的三維模型，在進(jìn)行打開操作的2個(gè)卡板模型上分別定義旋轉(zhuǎn)動(dòng)作和抓取點(diǎn)的交互元素，并定義虛擬人與卡板對(duì)象間的交互特征；其次，創(chuàng)建執(zhí)行交互任務(wù)的虛擬人Jack和Jeny，其中Jack是百分位為90的男性人體模型，而Jeny是百分位為80的女性人體模型；最后，在人機(jī)仿真文檔中導(dǎo)入裝配型架ASO、虛擬人Jack和Jeny以及其他環(huán)境模型（包括環(huán)境地板、工作臺(tái)等）。

(2) 建立卡板打開操作步驟。首先由虛擬人Jeny走到裝配型架左卡板附近的合適位置，接著虛擬人Jack走近裝配型架的右卡板，然后Jeny和Jack分別先后用右手和左手抓取左右卡板，最后同時(shí)打開左右卡板。整個(gè)卡板打開操作的基本執(zhí)行動(dòng)作如圖5(b)所示。

圖5 卡板打開操作仿真規(guī)劃及自動(dòng)生成

(3) 定義虛擬裝配工人必要的基本動(dòng)作。根據(jù)卡板打開操作動(dòng)作，分別定義Jeny和Jack完成人機(jī)交互過程所需要的基本動(dòng)作，其中定義Jeny的基本動(dòng)作包括行走、抓取以及作業(yè)，Jack與Jeny擁有相同的基本動(dòng)作定義，但兩者基本動(dòng)作的定義屬性完全不同。Jeny和Jack的基本動(dòng)作定義交互界面及其定義結(jié)果如圖6所示，基本動(dòng)作定義的先后次序可以與交互過程描述的不一致。

圖6 基本動(dòng)作定義交互界面

(4) 規(guī)劃任務(wù)進(jìn)程。定義Jeny和Jack的基本動(dòng)作完成后，需要對(duì)基本動(dòng)作之間的執(zhí)行先后順序進(jìn)行規(guī)劃，使其符合實(shí)際的人機(jī)交互過程，卡板打開操作任務(wù)過程的規(guī)劃結(jié)果如圖5(c)所示。

(5) 自動(dòng)生成仿真。任務(wù)進(jìn)程規(guī)劃完畢后，可以自動(dòng)生成卡板打開操作的人機(jī)交互仿真過程并進(jìn)行播放，圖5(d)所示為虛擬人打開卡板操作過程中的關(guān)鍵幾幀。如果人機(jī)交互環(huán)境發(fā)生變化，比如型架的擺放位置發(fā)生變化等，只要將人機(jī)交互仿真過程重新生成一遍就行，而不需要對(duì)人機(jī)交互任務(wù)過程進(jìn)行修改。

(6) 仿真效果分析。用本文方法制作“卡板打開”任務(wù)過程仿真及動(dòng)畫，包括模型定位、基本動(dòng)作定義以及ASO定義等，大概需要3個(gè)小時(shí)；當(dāng)仿真環(huán)境發(fā)生變化，比如卡板位置發(fā)生改變，不需要對(duì)任務(wù)過程進(jìn)行修改，重新生成過程仿真動(dòng)畫幾乎不需要時(shí)間，可編輯性和重用性好。而用Jack軟件[7]實(shí)現(xiàn)相同的過程仿真及動(dòng)畫，至少需要6個(gè)小時(shí)，而且當(dāng)仿真環(huán)境發(fā)生變化后，無法重復(fù)使用已經(jīng)建立的仿真及動(dòng)畫，可編輯性和重用性差。由此可見，應(yīng)用本文方法可節(jié)省仿真過程及動(dòng)畫的制作時(shí)間，實(shí)現(xiàn)仿真動(dòng)畫重復(fù)生成，為后續(xù)虛擬人作業(yè)效率計(jì)算及進(jìn)行人機(jī)工效評(píng)價(jià)奠定了良好的基礎(chǔ)。

4 結(jié) 束 語(yǔ)

針對(duì)當(dāng)前人機(jī)交互任務(wù)仿真規(guī)劃以手工方式為主，以及仿真結(jié)果不具可編輯性和重用性等問題，本文研究并提出了采用人機(jī)交互任務(wù)語(yǔ)義分層分解模式來進(jìn)行人機(jī)交互任務(wù)快速規(guī)劃，并在此基礎(chǔ)上建立了人機(jī)交互任務(wù)仿真自動(dòng)生成方法。不同于通過低層直接交互的方法來實(shí)現(xiàn)人機(jī)交互任務(wù)仿真的生成和采用狀態(tài)轉(zhuǎn)移模型來實(shí)現(xiàn)人機(jī)任務(wù)智能規(guī)劃，這種方法是以一系列執(zhí)行動(dòng)作序列來描述人機(jī)交互任務(wù)過程，并實(shí)現(xiàn)仿真的自動(dòng)生成，此過程更貼近用戶的習(xí)慣性思維，同時(shí)具備較高程度的智能化水平。應(yīng)用自行開發(fā)的原型程序，對(duì)這種方法進(jìn)行測(cè)試和驗(yàn)證。結(jié)果表明，應(yīng)用這種方法，減少了仿真動(dòng)畫制作所需的交互工作量，仿真生成結(jié)果具備良好的重用性，可根據(jù)需要對(duì)其進(jìn)行編輯和修改，并直接生成修改后的仿真動(dòng)畫。不過，在這種方法的應(yīng)用過程中，人機(jī)交互任務(wù)的自然語(yǔ)義分解仍依靠技術(shù)人員來完成，語(yǔ)義分解過程的智能化和自動(dòng)化水平低。因此，如何實(shí)現(xiàn)人機(jī)交互任務(wù)自然語(yǔ)義的自動(dòng)分解，將是下一步人機(jī)交互任務(wù)自動(dòng)化仿真技術(shù)的研究重點(diǎn)。

[1] Mavrikios D, Karabatsou V, Alexopoulos K, et al. A virtual reality based paradigm for Human-Oriented design for maintainability in aircraft development [C]// Proceedings of the 7th Aviation Technology, Integration and Operations Conference (AIAA). Belfast, Northern Ireland, 2007: 18-20.

[2] Chilton J, Smith D A. Concept of operations visualization for Ares I production [R]. NASA Technical Reports Server (NTRS). Huntsville, Alabama USA, MSFC-2103-1, 2008.

[3] 王小強(qiáng), 王金利, 馮 恒. 基于DELMIA的虛擬維修過程建模及應(yīng)用[J]. 航空科學(xué)技術(shù), 2014, 25(12): 73-76.

[4] 郭 慶, 馬 超. 基于JACK的民機(jī)維修任務(wù)仿真及人機(jī)工效評(píng)估[J]. 計(jì)算機(jī)與現(xiàn)代化, 2014, (11): 82-85.

[5] 王長(zhǎng)元, 樊 軍. 仿真飛行儀表的人機(jī)工效評(píng)價(jià)[J]. 計(jì)算機(jī)與數(shù)字工程, 2015, 43(3): 428-432.

[6] 李 博, 吉曉民, 陳登凱, 等. 多約束下的載人潛器艙內(nèi)計(jì)算機(jī)輔助工效設(shè)計(jì)系統(tǒng)研究[J]. 圖學(xué)學(xué)報(bào), 2014, 35(4): 553-562.

[7] Siemens. Jack product website [EB/OL]. [2015-02-08]. http://www.plm.automation.siemens.com/en_us/products/tecnom atix/manufacturing-simulation/human-ergonomics/jack.shtml.

[8] Ghallab M, Nau D, Traverso P. 自動(dòng)規(guī)劃: 理論和實(shí)踐[M].姜云飛, 楊 強(qiáng), 等譯. 北京: 清華大學(xué)出版社, 2008: 5-8, 493-496.

[9] Costelha H, Lima P. Modelling, analysis and execution of robotic tasks using petri nets [C]//Intelligent Robots and Systems, 2007. IROS 2007. IEEE/RSJ International Conference on. San Diego, CA, 2007: 1449-1454.

[10] 趙皇進(jìn), 鄭國(guó)磊. 具有避障能力的虛擬人姿態(tài)優(yōu)化算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2010, 22(7): 1145-1149.

Methods for Rapidly Planning Task Simulation and Automatically Generating Simulating Steps According to Division of Task Semantics

Wu Zhenfa1, Zhao Huangjin2, Zheng Guolei2
(1. College of Information Engineering, Putian University, Putian Fujian 351100, China; 2. School of Mechanical Engineering and Automation, Beijing University of Aeronautics and Astronautics, Beijing 100191, China)

Generally, the simulation of a human task with a computer-aided ergonomic system is always required in all the modern engineering activities, and it is one of most specialized and complicated works. So it is of importance to research and set up the procedure for rapidly planning a task simulation. But a great deal of interactions is needed during the application of current ergonomic systems so far, and the simulation steps cannot be created automatically. This paper proposes methods for rapidly planning the task simulation and automatically generating the simulating steps according to the division of the task semantics. Firstly, with the structure of hierarchical scheme, the natural semantics of an ergonomic task are divided into layers, in which all the leaf nodes are defined as the actions which can be performed or implemented with an ergonomic system at present. Secondly, the new concepts of task path, task trace and task process are defined, and the complex task is structurally modeled with the application of a proposed graphic scheme. The procedure of automatic generation of a task simulation steps is constructed. Finally, the program is developed, which is required to support the implementationof the established methods for planning the task simulation and automatically producing the simulation data. Taking the opening of a board of fixture during the aircraft assembly, these proposed methods are tested and verified.

semantic division; ergonomic simulation; process planning; automatically generating

TP 391

A

2095-302X(2015)05-0795-07

2015-02-09；定稿日期：2015-04-16

吳珍發(fā)(1964-)，男，福建莆田人，副教授，碩士。主要研究方向?yàn)橛?jì)算機(jī)輔助人機(jī)仿真、dotNET技術(shù)、單片機(jī)及嵌入式技術(shù)。E-mail：wuzhenfa@126.com