黨李成

（河南省疾病預(yù)防控制中心，河南　鄭州　450000）

?

面向可視化設(shè)計(jì)的虛擬實(shí)驗(yàn)對(duì)象指稱模型與交互模型研究

黨李成

（河南省疾病預(yù)防控制中心，河南鄭州450000）

摘要：本文主要研究面向可視化設(shè)計(jì)的虛擬實(shí)驗(yàn)教學(xué)對(duì)象指稱模型與交互模型，并將其應(yīng)用于虛擬實(shí)驗(yàn)教學(xué)可視化集成環(huán)境中的各軟件工具中。

關(guān)鍵詞：虛擬實(shí)驗(yàn)；指稱模型；交互模型

在虛擬實(shí)驗(yàn)教學(xué)的可視化設(shè)計(jì)與應(yīng)用示范過程中，用戶與虛擬實(shí)驗(yàn)可視化環(huán)境的交互一般采用鍵盤、鼠標(biāo)、麥克風(fēng)和音響等輸入/輸出設(shè)備實(shí)現(xiàn)，虛擬實(shí)驗(yàn)可視化環(huán)境通過人機(jī)交互界面來接受輸入設(shè)備的信號(hào)輸入，并向用戶輸出圖形/圖像及聲音等；多種方式的人機(jī)交互，以“以人為中心”的交互準(zhǔn)則，增強(qiáng)了虛擬實(shí)驗(yàn)的逼真性和沉浸感，使交互更加高效、靈活和自然。創(chuàng)建虛擬實(shí)驗(yàn)教學(xué)的可視化，其實(shí)驗(yàn)對(duì)象一定要明確。下面將從兩個(gè)方面介紹虛擬實(shí)驗(yàn)對(duì)象的指稱模型和交互模型。

1　面向可視化設(shè)計(jì)的虛擬實(shí)驗(yàn)對(duì)象指稱模型

指稱歸結(jié)是理解用戶意圖的關(guān)鍵，為界定不同指稱對(duì)所指對(duì)象的認(rèn)知度，明尼蘇達(dá)大學(xué)的Gundel等提出已知性等級(jí)（the Givenness Hierarchy）模式，劃分了6個(gè)認(rèn)知級(jí)別，由高到低等級(jí)順序如下：in focus（聚焦）＞activated（激活）＞familiar>uniquely identifiable＞referential＞type identifiable。認(rèn)知級(jí)別之間的關(guān)系為單向蘊(yùn)含關(guān)系，彼此并不相互排斥。也就是說，某一特定形式所表示的認(rèn)知狀態(tài)蘊(yùn)含了所有（在右的）低等級(jí)狀態(tài)，一旦達(dá)到這一認(rèn)知狀態(tài)，就意味著其他更低等級(jí)的認(rèn)知狀態(tài)也得以達(dá)到［1］。

根據(jù)Gundel的理論給出了交互對(duì)象的四種狀態(tài)：指點(diǎn)、聚焦、激活和沉寂，按照認(rèn)知狀態(tài)等級(jí)分階段進(jìn)行指稱的歸結(jié)?！爸更c(diǎn)”（point）狀態(tài)定義為在指點(diǎn)區(qū)域內(nèi)，“聚焦”（in focus）狀態(tài)定義為已選中，“激活”（activated）狀態(tài)定義為可見但非選中，“沉寂”（extinct）狀態(tài)定義為不可見且非選中（虛擬實(shí)驗(yàn)構(gòu)件超出場(chǎng)景的顯示范圍）。其狀態(tài)等級(jí)順序?yàn)椋褐更c(diǎn)＞聚焦＞激活＞沉寂。指稱歸結(jié)即為對(duì)各種指稱對(duì)象的選擇過程，按照狀態(tài)等級(jí)進(jìn)行，指點(diǎn)對(duì)象＞聚焦對(duì)象＞激活對(duì)象＞沉寂對(duì)象［2］。

在虛擬實(shí)驗(yàn)可視化設(shè)計(jì)的場(chǎng)景構(gòu)建工具中，定義虛擬實(shí)驗(yàn)構(gòu)件的包圍盒為將該構(gòu)件包圍的最小矩形區(qū)域。向虛擬實(shí)驗(yàn)場(chǎng)景中添加新的實(shí)驗(yàn)構(gòu)件或加載已有場(chǎng)景時(shí)，通過分析實(shí)驗(yàn)構(gòu)件的可視化信息，取得每個(gè)實(shí)驗(yàn)構(gòu)件所在的位置及包圍盒，在后臺(tái)管理和維護(hù)這些位置和區(qū)域信息，當(dāng)虛擬實(shí)驗(yàn)構(gòu)件發(fā)生位置移動(dòng)或外觀變化（放大、縮小、旋轉(zhuǎn)等）及時(shí)更新相應(yīng)的信息。

在虛擬實(shí)驗(yàn)構(gòu)件位置和區(qū)域信息的基礎(chǔ)上，可設(shè)計(jì)對(duì)象指稱算法。該算法首先通過用戶鼠標(biāo)事件取得用戶所指點(diǎn)的位置，再逐一與虛擬實(shí)驗(yàn)場(chǎng)景中的各實(shí)驗(yàn)構(gòu)件進(jìn)行匹配，判斷所指點(diǎn)位置是否包含在虛擬實(shí)驗(yàn)構(gòu)件的包圍盒中，然后逐級(jí)進(jìn)行聚焦對(duì)象、激活對(duì)象、沉浸對(duì)象的匹配，直至所有指稱都得到解析。具體算法流程如圖1所示。

圖1　對(duì)象指稱算法描述

2　面向可視化設(shè)計(jì)的虛擬實(shí)驗(yàn)對(duì)象交互模型

在虛擬實(shí)驗(yàn)教學(xué)的可視化設(shè)計(jì)與應(yīng)用示范過程中，使用者經(jīng)常需要根據(jù)虛擬實(shí)驗(yàn)教學(xué)可視化設(shè)計(jì)的典型任務(wù)，利用工具軟件進(jìn)行建模和可視化操作，如可選構(gòu)件搜索、場(chǎng)景構(gòu)件添加、連接關(guān)系編輯等。因此，虛擬實(shí)驗(yàn)設(shè)計(jì)工具軟件必須具有友好的人機(jī)交互方式。

虛擬實(shí)驗(yàn)場(chǎng)景設(shè)計(jì)工具考慮以構(gòu)件設(shè)計(jì)者角色、實(shí)驗(yàn)設(shè)計(jì)者角色為主要用戶群體，以快捷、易用的虛擬實(shí)驗(yàn)設(shè)計(jì)的實(shí)際需求為出發(fā)點(diǎn)，力求做到用戶交互的友好、人性化。用戶交互模型主要可以分為交互方式與交互界面兩部分內(nèi)容。交互界面以簡(jiǎn)潔、美觀、清晰為準(zhǔn)則，交互方式則以符合用戶使用習(xí)慣、簡(jiǎn)單易用、友好為準(zhǔn)則［3］。

根據(jù)虛擬實(shí)驗(yàn)場(chǎng)景運(yùn)行工具交互方式的需求，鑒于鼠標(biāo)操作方便快捷的特點(diǎn)，交互方式主要以鼠標(biāo)為主，輔以鍵盤控制。鼠標(biāo)交互中，包括工具軟件中的各組件，如虛擬實(shí)驗(yàn)臺(tái)設(shè)計(jì)區(qū)、按鈕、菜單和列表等的交互行為。為實(shí)現(xiàn)交互的人性化和友好性，設(shè)計(jì)了一些交互方式。

2.1根據(jù)虛擬實(shí)驗(yàn)對(duì)象指稱模型交互

當(dāng)鼠標(biāo)左鍵點(diǎn)擊工具軟件時(shí)，根據(jù)指稱的對(duì)象，工具軟件動(dòng)態(tài)的給予與對(duì)象相符的輔助操作響應(yīng)。

指稱對(duì)象為虛擬實(shí)驗(yàn)場(chǎng)景時(shí)，消息提示框中動(dòng)態(tài)顯示當(dāng)前鼠標(biāo)指針位置，同時(shí)工具軟件在后臺(tái)動(dòng)態(tài)刷新編輯列表，提供與實(shí)驗(yàn)場(chǎng)景相關(guān)選項(xiàng)，如場(chǎng)景背景色彩選擇、場(chǎng)景視圖縮放、還原、輔助設(shè)計(jì)網(wǎng)格顯示/關(guān)閉等場(chǎng)景輔助設(shè)計(jì)功能。

指稱對(duì)象為構(gòu)件對(duì)象時(shí)，工具軟件動(dòng)態(tài)的顯示構(gòu)件編輯框，突出顯示，提示給用戶當(dāng)前構(gòu)件的選定狀態(tài)，提供快速的構(gòu)件縮放編輯功能與構(gòu)件拖拽移動(dòng)功能。工具在后臺(tái)動(dòng)態(tài)刷新鼠標(biāo)右鍵菜單與鍵盤事件響應(yīng)方法：將右鍵菜單的響應(yīng)內(nèi)容與鍵盤事件更改為與構(gòu)件可視化編輯相關(guān)選項(xiàng)，如構(gòu)件刪除，構(gòu)件縮放、還原、旋轉(zhuǎn)等構(gòu)件編輯行為。同時(shí)，后臺(tái)將鼠標(biāo)的雙擊響應(yīng)設(shè)置為構(gòu)件屬性編輯，刷新屬性列表，方便用戶進(jìn)行構(gòu)件屬性修改。

指稱對(duì)象為可選構(gòu)件對(duì)象時(shí)，工具軟件動(dòng)態(tài)的顯示可選構(gòu)件可視化預(yù)覽，并將后臺(tái)狀態(tài)置為場(chǎng)景構(gòu)件添加，自動(dòng)生成唯一標(biāo)識(shí)的新的場(chǎng)景構(gòu)件名稱與場(chǎng)景構(gòu)件索引，將場(chǎng)景構(gòu)件數(shù)據(jù)加入索引表，并在虛擬實(shí)驗(yàn)區(qū)域的鼠標(biāo)位置處快速繪制所以加入的場(chǎng)景構(gòu)件，然后將指稱對(duì)象指為該場(chǎng)景對(duì)象。

指稱對(duì)象為構(gòu)件連接點(diǎn)時(shí)，該連接點(diǎn)可視化加粗以突出顯示，提示設(shè)計(jì)者已選擇該構(gòu)件連接點(diǎn)；指稱對(duì)象為連接關(guān)系時(shí)，將改變連接的顏色，并對(duì)連接可視化加粗以突出顯示，提示給用戶當(dāng)前連接的選定狀態(tài)。

工具軟件突出顯示連接關(guān)系中的所有中間連接點(diǎn)，以方便設(shè)計(jì)者對(duì)連接關(guān)系位置的識(shí)別。同時(shí)，工具在后臺(tái)動(dòng)態(tài)刷新鼠標(biāo)右鍵菜單與鍵盤事件響應(yīng)方法，將右鍵菜單的響應(yīng)內(nèi)容與鍵盤事件更改為與連接關(guān)系編輯相關(guān)選項(xiàng)，如連接關(guān)系刪除，連接關(guān)系顏色修改等。通過設(shè)計(jì)不同的連接關(guān)系顏色，用戶可以在場(chǎng)景比較繁復(fù)的情況下更直觀地觀察構(gòu)件間連接關(guān)系狀態(tài)；在信息欄中，實(shí)時(shí)地輸出鼠標(biāo)拾取的指稱對(duì)象名稱。

支持可選構(gòu)件列表面板與場(chǎng)景構(gòu)件及屬性面板的交互式隱藏與顯示，實(shí)驗(yàn)設(shè)計(jì)者選擇面積較大的虛擬實(shí)驗(yàn)設(shè)計(jì)區(qū)域，或是直觀地觀察到所有構(gòu)件詳細(xì)信息的實(shí)驗(yàn)設(shè)計(jì)區(qū)域方式。

2.2標(biāo)記圖像前/背景點(diǎn)的人機(jī)交互

用戶接口設(shè)計(jì)為用戶使用鼠標(biāo)在圖像上滑動(dòng)劃線來完成采樣過程。這樣的人機(jī)交互過程比較直觀、清晰，用戶只需要通過簡(jiǎn)單移動(dòng)鼠標(biāo)操作就能完成前景和背景的標(biāo)記。用戶通過菜單欄選擇需要?jiǎng)澐智熬斑€是背景后，然后單擊右鍵滑動(dòng)鼠標(biāo)，鼠標(biāo)經(jīng)過的圖像中像素點(diǎn)即為采樣點(diǎn)，系統(tǒng)將采樣點(diǎn)進(jìn)行標(biāo)記存儲(chǔ)。同時(shí)，將前景對(duì)象和背景的標(biāo)記賦以不同顏色：紅色線條表示前景的標(biāo)記，藍(lán)色線條表示背景的標(biāo)記。工具將劃線的軌跡即時(shí)顯示在圖像上，使得用戶能夠?qū)ο乱淮蔚漠嬀€位置做出調(diào)整，或者對(duì)錯(cuò)誤的標(biāo)記進(jìn)行刪除。

這一過程并不需要用戶進(jìn)行非常精確地操作，用戶只需要在圖像上隨意分前景和背景即可，一般標(biāo)記的地方都遠(yuǎn)離對(duì)象的邊界不易出錯(cuò)。即使用戶在劃線標(biāo)記時(shí)出現(xiàn)錯(cuò)誤，還可以選擇擦除標(biāo)記錯(cuò)誤的部分，當(dāng)出現(xiàn)重大失誤時(shí)可以選擇清除所有標(biāo)記，然后對(duì)圖像進(jìn)行重新標(biāo)記。

在進(jìn)行對(duì)象提取以后，用戶可以在現(xiàn)有的對(duì)象提取結(jié)果基礎(chǔ)上，進(jìn)一步輸入新的對(duì)象、背景的采樣點(diǎn)，為分割提取過程增加更多的約束條件，然后再次進(jìn)行對(duì)象的分割提取，可以取得更好的對(duì)象提取結(jié)果。圖2顯示了用戶對(duì)圖像前/背景點(diǎn)的標(biāo)記。

圖2　標(biāo)記前景與背景

2.3對(duì)象邊界精確調(diào)整的人機(jī)交互

在完成了對(duì)象輪廓的快速提取后，已經(jīng)得到了一個(gè)大致的對(duì)象提取結(jié)果。提取出的對(duì)象大致輪廓通過一個(gè)可編輯的多邊形展示給用戶，供用戶進(jìn)行進(jìn)一步的精確調(diào)整。用戶接口設(shè)計(jì)為用戶通過點(diǎn)擊拖動(dòng)多邊形的頂點(diǎn)調(diào)整多邊形的形狀，調(diào)整的目的是讓多邊形的輪廓更趨近于需要提取的對(duì)象輪廓。

在調(diào)整的過程中，用戶可以通過在多邊形邊界上雙擊左鍵增加新的多邊形頂點(diǎn)，也可以對(duì)多邊形頂點(diǎn)進(jìn)行刪除。這個(gè)過程同樣也比較直觀簡(jiǎn)潔，用戶只需要簡(jiǎn)單點(diǎn)擊拖動(dòng)操作就能完成對(duì)象輪廓的調(diào)整。

這一過程相對(duì)于標(biāo)記過程就需要用戶比較精確的操作了。雖然對(duì)象快速提取步驟已經(jīng)提取出了比較準(zhǔn)確的結(jié)果，但對(duì)于模糊區(qū)域及對(duì)比度較低的區(qū)域，仍然需要用戶較為細(xì)心的操作。圖3是用戶對(duì)對(duì)象輪廓的精確調(diào)整。

在調(diào)整完對(duì)象輪廓以后，用戶點(diǎn)擊對(duì)象提取按鈕以后，分割提取出精確的對(duì)象，同時(shí)將背景置為半透明，和提取出的對(duì)象構(gòu)件區(qū)別出來。此后用戶還可以進(jìn)一步對(duì)分割提取的邊界地方進(jìn)行調(diào)整，再次進(jìn)行對(duì)象提取，得到更好的對(duì)象提取結(jié)果。

用戶控制命令接口：在虛擬實(shí)驗(yàn)構(gòu)件的建模過程中，用戶會(huì)輸入各種控制命令，控制程序的運(yùn)行過程。因此，用戶控制命令接口能夠?qū)τ脩糨斎氲目刂泼钭龀鱿鄳?yīng)的動(dòng)作，用戶交互的具體流程如圖4所示。

圖3　對(duì)象邊緣精確調(diào)整

圖4　用戶交互模塊流程設(shè)計(jì)

3　結(jié)語

指稱模型是通過分析實(shí)驗(yàn)構(gòu)件的可視化信息，取得每個(gè)實(shí)驗(yàn)構(gòu)件所在的位置及包圍盒，再由對(duì)象指稱算法判斷所指點(diǎn)位置是否包含在虛擬實(shí)驗(yàn)構(gòu)件的所在區(qū)域，以便聚焦、激活和沉浸對(duì)象的匹配，將所有指稱進(jìn)行解析。

建立交互模型則是確定交互行為的方式，本文闡述指稱模型交互、標(biāo)記圖像前/背景點(diǎn)的人機(jī)交互及對(duì)象邊界精確調(diào)整等3種人機(jī)交互形式，使人機(jī)交互過程直觀、清晰操作簡(jiǎn)易。

參考文獻(xiàn)：

［1］徐向東.模型、指稱和實(shí)在［J］.云南大學(xué)學(xué)報(bào)，2003（7）：21-22.

［2］許寧云.指稱突兀的情景模型解析［J］.外語學(xué)刊，2006 （5）：77-78.

［3］陸楓，陳傳波，盧正鼎.基于交互模型的可視化建構(gòu)方法研究與實(shí)現(xiàn)［J］.計(jì)算機(jī)工程與科學(xué)，2003（12）：11-12.

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1003-5168（2016）01-0070-03

收稿日期：2015-12-28

作者簡(jiǎn)介：黨李成（1986-），男，碩士，助理工程師，研究方向：計(jì)算機(jī)應(yīng)用技術(shù)。

Research on Virtual Experiment Object Reference Model and InteractionModel for Visual Design

Dang Licheng
（Center for Disease Control and Prevention of Henan Province，Zhengzhou Henan 450000）

Abstract:In this paper,we mainly study the reference model and interaction model of virtual experiment teaching ob?ject oriented to visual design,and apply it to the software tools in the visual integrated environment of virtual experi?ment teaching.

Keywords:Virtual experiment；Reference model；Interaction model