王曉慧，王佳雨，趙凱，覃京燕,3

航空航天虛擬裝配培訓(xùn)情境下的情感交互設(shè)計

王曉慧1，王佳雨1，趙凱2，覃京燕1,3

（1.北京科技大學(xué)，北京 100083；2.西北綜合勘察設(shè)計研究院，陜西 710003；3.海南大學(xué)，海南 570228）

將虛擬現(xiàn)實和情感交互設(shè)計應(yīng)用于航空航天裝配培訓(xùn)場景，提高培訓(xùn)效率，改善培訓(xùn)體驗。通過調(diào)研多模態(tài)情感交互研究現(xiàn)狀，構(gòu)建航空航天虛擬裝配培訓(xùn)情境下的情感交互模型，使用基于生理信號的情感識別、語音提示、高亮提示、視頻指導(dǎo)等進行情感交互。以航空航天球閥的虛擬裝配培訓(xùn)為例，構(gòu)建具有情感交互的培訓(xùn)系統(tǒng)。通過用戶手指上佩戴皮膚電導(dǎo)傳感器收集的生理數(shù)據(jù)進行情感實時監(jiān)測，根據(jù)情感不同提供語音提示、高亮提示、視頻指導(dǎo)3種交互方案。通過在虛擬環(huán)境中完成裝配任務(wù)的效率，驗證情感交互在虛擬裝配培訓(xùn)系統(tǒng)中的有效性。實驗結(jié)果表明，在航空航天虛擬裝配培訓(xùn)場景下的情感化交互設(shè)計能夠有效縮短培訓(xùn)時間，有助于培訓(xùn)用戶體驗?zāi)繕?biāo)和可用性目標(biāo)的達成。研究成果促進了生理信號、語音交互、視覺交互等多模態(tài)情感交互范式的構(gòu)建，并驗證了在航空航天虛擬裝配培訓(xùn)應(yīng)用中的有效性，具有廣泛的學(xué)術(shù)意義和應(yīng)用前景。

虛擬現(xiàn)實；航空航天；裝配培訓(xùn)；交互設(shè)計；情感交互

虛擬現(xiàn)實和航空航天的結(jié)合能夠有效地推動航空航天技術(shù)和國防事業(yè)的發(fā)展。虛擬現(xiàn)實技術(shù)在航空航天領(lǐng)域目前主要應(yīng)用于飛行員模擬訓(xùn)練、在軌維修訓(xùn)練和虛擬裝配訓(xùn)練3個方面。產(chǎn)品的裝配操作必須在產(chǎn)品設(shè)計時確定，這在航天器等裝備中至關(guān)重要。隨著人工智能和虛擬現(xiàn)實技術(shù)的發(fā)展，利用三維數(shù)字樣機進行操作維修可行性分析與驗證、評估設(shè)計方案合理性能夠更早、更準(zhǔn)確地發(fā)現(xiàn)設(shè)計問題和縮短設(shè)計周期。我國新一代中型運載火箭長征七號就采用了VR技術(shù)和全三維設(shè)計制造仿真技術(shù)，大大提高了火箭研制水平和零件合格率[1]。波音777型號通過虛擬環(huán)境中的交互手段對產(chǎn)品的功能、制造、裝配、維修進行虛擬實驗，使得裝配問題和返工率大大縮減并提前完工[2]。

情感交互是智能人機交互中必不可少的一個模塊，已應(yīng)用在生活中的各行各業(yè)。教育培訓(xùn)中通過檢測學(xué)生情感來判斷學(xué)生參與度，從而給教師提供課堂教學(xué)反饋；社交輔助機器人通過自動檢測用戶情感判斷用戶的意圖，表達相應(yīng)的情感反饋并提供親切的對話或動作反饋；在商業(yè)領(lǐng)域通過檢測用戶文本中的情感需求分析用戶對產(chǎn)品的建議從而改善產(chǎn)品功能；在多媒體行業(yè)中通過實時監(jiān)測用戶情感實現(xiàn)音樂和視頻的個性化推薦；在汽車駕駛中通過檢測駕駛員情緒狀態(tài)提供不一樣的安全警報提示來降低安全事故發(fā)生概率等。

航空航天情境下會不可避免地出現(xiàn)人機交互的不適應(yīng)性、操作人員情緒壓力大及生理心理健康等一系列問題，而利用人機情感交互，可以讓計算機識別用戶情緒狀態(tài)，進而做出相應(yīng)改善用戶情緒的行為，使用戶和機器之間的交流更加親切自然，使操作人員情緒處于平靜緩和的狀態(tài)，從而使之高度集中注意力，避免失誤。本文研究航空航天虛擬裝配培訓(xùn)情境下的情感交互模型，使用基于生理信號的情感識別、語音交互和視覺交互進行多模態(tài)情感交互，提高培訓(xùn)效率，改善培訓(xùn)體驗。通過在虛擬環(huán)境中完成裝配任務(wù)的效率，驗證情感交互在虛擬裝配培訓(xùn)系統(tǒng)中的有效性。

1 國內(nèi)外研究現(xiàn)狀

1.1 多模態(tài)情感識別

單模態(tài)情感輸入形式主要包括視覺、聽覺、文本和生理信號等，多模態(tài)則為單模態(tài)的兩兩或者兩三組合。調(diào)研多模態(tài)情感識別的輸入、數(shù)據(jù)采集方式、輸出和應(yīng)用領(lǐng)域，得到多模態(tài)情感識別相關(guān)研究見表1。隨著語音交互的普及，通過語音的語速和頻率等判斷用戶情感已廣泛應(yīng)用于社交、娛樂等方面；圖像、視頻等視覺輸入具有并發(fā)性和無接觸性的優(yōu)點，通過攝像頭捕捉用戶的面部表情或動作手勢等識別方式是應(yīng)用非常廣泛的；而生理信號輸入是指個體的生理數(shù)據(jù)特征，是接觸性和強制性的，需要借助一定的可穿戴設(shè)備和傳感器完成。

面部表情、語音、動作手勢的輸入是個體通過主觀地控制自己身體和行為所表現(xiàn)的外在意識主導(dǎo)的信號，情感狀態(tài)可能不具有客觀性；生理信號輸入可以測試出在無意識行為狀態(tài)下，即不受主觀認(rèn)知狀態(tài)控制下的真實心理狀態(tài)，被試情感被更加真實客觀地反映，大大提升了情感分類的準(zhǔn)確性和魯棒性。本文采用生理信號輸入與面部表情輸入相結(jié)合的方式，識別用戶情感狀態(tài)。

1.2 情感交互輸出

多模態(tài)情感輸出主要包括視覺反饋、聽覺反饋和觸覺反饋，情感交互案例分析見表2。視覺反饋被應(yīng)用到各個領(lǐng)域，其優(yōu)點是直觀和具有沉浸感，能夠激發(fā)用戶情感的共鳴。情感交互中主要使用帶有特定情感特質(zhì)的視頻、能調(diào)節(jié)用戶情緒的圖像、與用戶情緒狀態(tài)相匹配的可視化表達、提示或引導(dǎo)用戶緩解情緒壓力的界面等來進行情感的視覺反饋。聽覺反饋也較為常用，其優(yōu)點是在對話中實時反饋，使用場景約束性小、高效便捷。觸覺反饋被很多交互界面用來反饋重要的系統(tǒng)狀態(tài)信息，例如通過手柄振動提示用戶操作完成。一些情感交互案例會使用多模態(tài)反饋，即將視覺反饋、聽覺反饋和觸覺反饋等反饋形式結(jié)合起來。

表1 多模態(tài)情感識別相關(guān)研究

表2 情感交互案例分析

圖1 航空航天虛擬裝配培訓(xùn)情境下的情感交互模型

2 航空航天虛擬裝配培訓(xùn)情境下的情感交互模型

本文提出航空航天虛擬裝配培訓(xùn)情境下使用基于生理信號的情感識別、語音提示、高亮提示、視頻指導(dǎo)進行情感交互的流程框架，航空航天虛擬裝配培訓(xùn)情境下的情感交互模型見圖1，旨在通過改善操作人員情緒體驗提高培訓(xùn)效率。

傳統(tǒng)的裝配培訓(xùn)流程：組織裝配培訓(xùn)—確定培訓(xùn)時間和地點—培訓(xùn)人員統(tǒng)一講解裝配理論知識—確定實地裝配培訓(xùn)時間和地點—培訓(xùn)人員操作示范—操作人員進行裝配操作——檢查操作是否規(guī)范—詢問培訓(xùn)人員—培訓(xùn)人員示范—重新裝配—檢查—詢問—示范—結(jié)束培訓(xùn)。傳統(tǒng)的線下培訓(xùn)步驟較多且需要組織人員和統(tǒng)一培訓(xùn)的時間地點，再者實地裝配培訓(xùn)過程中往往由于培訓(xùn)人員和操作人員數(shù)目不對等，不能進行一對一輔導(dǎo)而導(dǎo)致裝配問題不能及時解決而屢次失敗，容易引起操作人員激動、緊張、煩躁等消極情緒體驗。

經(jīng)過訪談?wù){(diào)研發(fā)現(xiàn)，裝配培訓(xùn)中操作人員情緒變化的主要原因是信息傳達的不及時性、不清楚裝配步驟、多次裝配失敗造成的焦慮和煩躁等。不同操作人員情緒變化的原因也不盡相同，比如有機械基礎(chǔ)和無機械基礎(chǔ)的操作人員情緒變化的程度和原因不同。針對這些情況，本文在模擬裝配培訓(xùn)場景中加入了語音提示、高亮提示、視頻指導(dǎo)等不同提示方式，提示強度逐漸提升，能覆蓋初級用戶、中級用戶、高級用戶，并通過實驗分析不同交互方式對操作人員情緒和操作行為的影響，面向不同用戶的情感交互模型見圖2。該情感交互模型不僅可以用于裝配培訓(xùn)，還可以用于實際生產(chǎn)。

3 具有情感交互的航空航天虛擬裝配培訓(xùn)系統(tǒng)

低溫球閥在航天航空領(lǐng)域被廣泛應(yīng)用于氫氧火箭發(fā)動機氫氧泵前閥，本文以航空航天球閥的虛擬裝配培訓(xùn)為例，構(gòu)建具有情感交互的航空航天虛擬裝配培訓(xùn)系統(tǒng)。使用UE4虛幻引擎進行軟件開發(fā)，硬件使用HTC Vive。

在PC端和VR環(huán)境下的交互設(shè)計見表3。用戶可以觀察球閥各個零件結(jié)構(gòu)和名稱，通過菜單界面進行交互，選擇適當(dāng)?shù)墓δ軜?biāo)簽，利用零件的移動、旋轉(zhuǎn)等裝配操作交互功能完成球閥裝配。

圖2 面向不同用戶的情感交互模型

表3 PC端和VR環(huán)境下的交互設(shè)計

在情感交互方面，由于用戶佩戴HTC Vive頭盔，無法基于面部表情進行情感識別。本文通過用戶手指上佩戴皮膚電導(dǎo)傳感器收集用戶生理數(shù)據(jù)對用戶情緒進行實時監(jiān)測。情緒識別基于流電皮膚反應(yīng)（Galvanic Skin Reaction，GSR），當(dāng)情緒波動，即感到焦慮、緊張時，神經(jīng)交感活動會增強，導(dǎo)致汗液分泌增加，從而導(dǎo)致皮膚電的數(shù)值增強。GSR傳感器通過在人兩個相鄰的手指上放置兩個電極來檢測人體表層皮膚的導(dǎo)電性，數(shù)字越高，代表情緒越緊張，達到某一閾值時，會被判斷為情緒發(fā)生了激烈的變化。GSR傳感器程序?qū)η榫w的檢測有客觀準(zhǔn)確的算法，不受人主觀意志的轉(zhuǎn)移。

航空航天虛擬裝配培訓(xùn)情境下的情感交互模型見圖3。系統(tǒng)觀測到用戶有激烈的情感變化如緊張、焦慮時，提供相應(yīng)的情感交互手段，主要有語音提示、高亮提示、視頻指導(dǎo)3種交互方案?？紤]到用戶習(xí)慣和培訓(xùn)效率，檢測到用戶情感發(fā)生變化時，優(yōu)先提供語音提示；當(dāng)用戶不能根據(jù)語音良好地完成操作而焦慮煩躁時，提供零件高亮顯示；繼續(xù)觀測用戶裝配程度和情緒變化，從而提供相應(yīng)的視頻指導(dǎo)，直到用戶正確地完成球閥的完整裝配。

系統(tǒng)提示界面見圖4。構(gòu)建的虛擬場景見圖4a，用戶按住手柄側(cè)邊的緊握鍵，系統(tǒng)顯示紅色的落地標(biāo)志，箭頭方向則代表落地的自身朝向，用戶按住緊握鍵選好合適的位置后松手實現(xiàn)位置移動，手柄交互實現(xiàn)移動見圖4b。場景內(nèi)的視頻播放器可以播放球閥的完整裝配視頻，視頻提示見圖4c，操作人員觀看視頻了解球閥裝配過程，從而完成球閥裝配任務(wù)。觀看視頻期間，可以通過鼠標(biāo)點擊或者VR扳機點擊視頻進行暫停和繼續(xù)播放。高亮提示見圖4d，能夠同時提供模型高亮顯示和對應(yīng)球閥分解圖高亮顯示：場景內(nèi)閥芯、調(diào)整墊1、調(diào)整墊2、密封圈模型邊緣紅色高亮顯示，顯示器上球閥分解圖相應(yīng)零件輪廓高亮顯示，高亮顯示持續(xù)5秒。場景的菜單交互功能主要包括導(dǎo)航菜單界面設(shè)計和功能菜單界面設(shè)計，菜單界面見圖4e。為了更好地輔助裝配培訓(xùn)，在場景中設(shè)置了提示界面設(shè)計，主要是零件名稱提示界面設(shè)計和裝配成功后提示界面設(shè)計，提示界面見圖4f。

圖3 航空航天虛擬裝配培訓(xùn)情境下的情感交互模型

圖4 系統(tǒng)提示界面

4 情感交互有效性實驗

系統(tǒng)依托UE4虛幻引擎和Steam VR平臺搭建球閥虛擬培訓(xùn)場景，使用Arduino和Python平臺進行情感實時監(jiān)測，通過UE4可視化編程和藍圖通信實現(xiàn)情感交互。通過在虛擬環(huán)境中完成裝配任務(wù)的效率，驗證情感交互在虛擬裝配培訓(xùn)系統(tǒng)中的有效性。實驗步驟如下：（1）實驗開始前培訓(xùn)被試實驗所需的按鍵操作，讓被試熟悉VR場景和HTC Vive按鍵操作，并讓被試自由練習(xí)2～3分鐘。（2）被試閱讀紙質(zhì)實驗任務(wù)，任務(wù)是將拆分的球閥零件進行裝配。（3）為被試佩戴好VR頭盔和手柄，并連接上GSR傳感器，詢問被試是否已經(jīng)做好準(zhǔn)備可以正式開始實驗。（4）被試正式開始實驗。被試在確定進入虛擬環(huán)境中后開始計時，裝配過程中實時監(jiān)測被試的情緒變化。根據(jù)情緒變化提供交互提示，直到被試將零件裝配完成。實驗全程對被試操作畫面進行錄屏，并記錄保存被試的GSR數(shù)據(jù)。（5）實驗完后成對被試進行訪談，記錄他們的用戶體驗和對交互設(shè)計方案的建議。

實驗召集了19名本科生，均沒有裝配經(jīng)驗。通過對實驗變量被試完成實驗時間、被試GSR數(shù)據(jù)、被試語音、高亮、視頻提示后操作分析。被試完成實驗的總時間統(tǒng)計見圖5。實驗結(jié)果顯示絕大多數(shù)被試可以在規(guī)定的15分鐘內(nèi)完成裝配，平均完成實驗的時間為9分鐘41秒，實驗時間最長的為15分鐘53秒，最短的為6分鐘5秒。大多數(shù)被試表示，經(jīng)過語音、高亮、視頻提示后已經(jīng)完全了解了球閥的裝配過程。

通過對采集的被試GSR數(shù)值隨時間變化進行分析，GSR數(shù)值變化代表了被試情緒的變化，GSR數(shù)值越高，被試情緒越緊張激烈。兩名被試實驗過程中GSR數(shù)值變化見圖6。在圖6a中，被試在實驗過程中情緒穩(wěn)定，順利完成實驗。在圖6b中，被試情緒不穩(wěn)定，多次出現(xiàn)了較為強烈的情緒變化。圖中紅色的點代表傳感器檢測到了被試情緒的變化，并且現(xiàn)場觀測到被試裝配操作遇到困難，這時在虛擬場景中給被試提供了提示，第一次紅點提供語音提示，第二次紅點提供高亮提示，第三次紅點提供視頻指導(dǎo)。可以從紅點周圍GSR數(shù)值的變化推斷出在給出交互提示后，被試GSR數(shù)值會有階段性降低和穩(wěn)定，說明在被試遇到裝配困難而產(chǎn)生強烈情緒變化時，給出裝配提示能有效緩解個體情緒，增強自信心，提高裝配積極性。

圖5 被試完成實驗的總時間統(tǒng)計

圖6 兩名被試實驗過程中GSR數(shù)值變化

觀察被試實驗全程錄屏，對比不同交互提示下被試操作的變化，可以看出大多數(shù)人在給出語音提示后，能夠意識到給出的提示信息，嘗試了提示所給出的零件的裝配操作，但是因為提示信息不充分不能夠正確地完成語音提示的操作。高亮提示后，操作者往往對球閥的裝配掌握了80%的信息，已經(jīng)能夠根據(jù)提示和觀測到的零件結(jié)構(gòu)成功裝配提示的零件。給出指導(dǎo)視頻后，被試已經(jīng)能夠完全掌握球閥的裝配步驟，能根據(jù)視頻快速發(fā)現(xiàn)自己的錯誤并予以改正。實驗結(jié)果表明，在航空航天虛擬裝配培訓(xùn)場景下的情感化交互設(shè)計能夠有效縮短培訓(xùn)時間，提升系統(tǒng)的易學(xué)性、易記憶性、有用性、可達性、高效性，具有界面美感與交互效能，用戶滿意度高。

5 結(jié)語

在虛擬環(huán)境中融入情感交互，使機器能夠察言觀色，主動與人產(chǎn)生互動，提高了裝配工作效率，精簡了交互流程步驟，提升了交互效率，增強了用戶體驗。本文研究航天航空虛擬裝配培訓(xùn)場景下情感交互系統(tǒng)的創(chuàng)新設(shè)計，結(jié)合基于生理信號的情感識別、語音交互和視覺交互。以航空航天球閥的虛擬裝配培訓(xùn)為例，構(gòu)建具有情感交互的培訓(xùn)系統(tǒng)，實驗表明情感交互可以有效縮短培訓(xùn)時間，提高培訓(xùn)用戶體驗?zāi)繕?biāo)和可用性目標(biāo)的達成，為未來航空航天領(lǐng)域下情感交互設(shè)計提供研究基礎(chǔ)。

[1] 余力凡. 虛擬現(xiàn)實技術(shù)在航天控制領(lǐng)域的應(yīng)用[J]. 航天控制, 2004, 22(3): 79-83.

YU Li-fan. Application of Virtual Reality Technology in Aerospace Control Field[J]. Aerospace Control, 2004, 22(3): 79-83.

[2] 宋倩, 洪海波, 楊辰, 等. 私有云平臺上的航天產(chǎn)品虛擬裝配培訓(xùn)技術(shù)研究[J]. 軍民兩用技術(shù)與產(chǎn)品, 2021(4): 17-22.

SONG Qian, HONG Hai-bo, YANG Chen, et al. Virtual Assembly Training Technology of Aerospace Products on Private Cloud Platform[J]. Dual Use Technologies & Products, 2021(4): 17-22.

[3] Bosch N, Chen Y, D Mello S. It’s Written on Your Face: Detecting Affective States from Facial Expressions while Learning Computer Programming[C]. Honolulu: International Conference on Intelligent Tutoring Systems, 2014.

[4] Khalfallah J, Slama J B H. Facial Expression Recognition for Intelligent Tutoring Systems in Remote Laboratories Platform[J]. Procedia Computer Science, 2015, 73: 274-281.

[5] Preeti K, Sasikumar M. Recognising Emotions from Ke-yboard Stroke Pattern[J]. International Journal of Computer Applications, 2010, 11(9): 24-28.

[6] Rozanska A, Podpora M. Multimodal Sentiment Analysis Applied to Interaction between Patients and A Humanoid Robot Pepper[J]. 2019, 52(27): 411-414.

[7] Chen L, Wu M, Zhou M, et al. Information-Driven Multirobot Behavior Adaptation to Emotional Intention in Human-Robot Interaction[J]. IEEE Transactions on Co-g-nitive and Developmental Systems, 2018, 10(3): 647- 658.

[8] Man Hao, Weihua Cao, Min Wu, et al. Proposal of Initi-a-tive Service Model for Service Robot[J]. CAAI Transa-ctions on Intelligence Technology, 2019, 2(4): 148-153.

[9] Javed H, Jeon M, Park C H. Adaptive Framework for Emotional Engagement in Child-Robot Interactions for Autism Interventions[C]. Jeju, Korea: International Con-ference on Ubiquitous Robots, 2018.

[10] Hao Y, Budd J, Jackson M M, et al. A Visual Feedback Design Based on A Brain-computer Interface to Assist Users Regulate Their Emotional State[C]. New York: CHI Extended Abstracts on Human Factors in Computing Systems, 2014.

[11] Peng F, Labelle V, Yue E, et al. A Trip to the Moon: Per-sonalized Animated Movies for Self-reflection[C]. New York: CHI Conference on Human Factors in Computing Systems, 2018.

[12] Miri P, Flory R, Uusberg A, et al. HapLand: A Scalable Robust Emotion Regulation Haptic System Testbed[C]. Colorado: CHI Conference Extended Abstracts on Human Factors in Computing Systems, 2017.

[13] Mark Bubel, Ruiwen Jiang, Christine H Lee, et al. Awa-r-eMe: Addressing Fear of Public Speech through Aware-ness[C]. New York: CHI Conference Extended Abstracts on Human Factors in Computing Systems, 2016.

[14] Luis Cruz, Jonathan Rubin, Rui Abreu, et al. A Wearable and Mobile Intervention Delivery System for Individuals with Panic Disorder[C]. Linz, Austria: International Conference on Mobile and Ubiquitous Multimedia, 2015.

[15] Brinkman W P, Hartanto D, Kang N, et al. A Virtual Re-a-lity Dialogue System for the Treatment of Social Phobia[C]. New York: CHI Extended Abstracts on Human Factors in Computing Systems, 2012.

Emotional Interaction Design in Aerospace Virtual Assembly Training

WANG Xiao-hui1, WANG Jia-yu1, ZHAO Kai2, QIN Jing-yan1,3

(1.University of Science and Technology Beijing, Beijing 100083, China; 2.Northwest Research Institute of Engineering Investigations and Design, Shaanxi 710003, China; 3.Hainan University, Hainan 570228, China)

This work combines virtual reality with emotional interaction design to explore the applications on aerospace assembly training and to improve training efficiency and improve training experience. By investigating the research on multimodal emotional interaction, the emotional interaction model in aerospace virtual assembly training is built by using emotion recognition based on physiological signals, speech interaction, highlights and videos. Taking the virtual assembly training of aerospace ball valve as an example, an aerospace virtual assembly training system with emotional interaction is constructed. Real-time emotional monitoring is performed by using physiological data collected from GSR sensors worn on the user’s finger. Three interactive schemes are provided according to different emotions: speech interaction, highlights and video. The effectiveness of emotional interaction in virtual assembly training system is verified by the efficiency of completing assembly tasks in the virtual environment. The experimental results show that the emotional interaction design can effectively shorten the training time and greatly improve the training experience of users. This work can promote the research on the multimodal emotional interaction paradigm by combining physiological signals, speech interaction, visual interaction, etc. This work verifies the effectiveness of the emotional interaction in the application of aerospace virtual assembly training, which has wide academic meaning and application prospects.

virtual reality; aerospace; assembly training; interaction design; emotional interaction

TB472

A

1001-3563(2022)02-0010-07

10.19554/j.cnki.1001-3563.2022.02.002

2021-08-09

長江學(xué)者獎勵項目（FRF-TP-18-010C1）；教育部2020年第二批產(chǎn)學(xué)合作協(xié)同育人項目（202101042001）；中央高?；究蒲袠I(yè)務(wù)費專項資金（QNXM20210025）；佛山市促進高?？萍汲晒?wù)產(chǎn)業(yè)發(fā)展扶持項目（2020DZXX05）

王曉慧（1987—），女，山東人，博士，北京科技大學(xué)教授，主要研究方向為情感計算、虛擬現(xiàn)實、信息可視化等。