李 晨 王 環(huán) 付裕暉

1.中國(guó)航空無(wú)線電電子研究所航空電子系統(tǒng)綜合技術(shù)重點(diǎn)實(shí)驗(yàn)室上海 200233

混合現(xiàn)實(shí)（mixed reality,MR）技術(shù)是一種使真實(shí)世界和虛擬物體在同一視覺空間中顯示和交互的計(jì)算機(jī)虛擬現(xiàn)實(shí)技術(shù)[1],其原理是通過(guò)頭戴式MR 顯示器的視頻透視功能或光學(xué)組件實(shí)現(xiàn)高保真度的混合現(xiàn)實(shí)顯示.在飛機(jī)座艙內(nèi)融入混合現(xiàn)實(shí)技術(shù),可以拓展現(xiàn)有座艙內(nèi)緊張的顯示屏資源,解決海量態(tài)勢(shì)信息有效顯示的難題.

基于MR 的交互界面可分為交互通道和顯示界面,其中,交互通道包含視線追蹤（gaze）、手勢(shì)（gesture）和語(yǔ)音（voice）[2].顯示界面是虛擬的三維空間影像,面對(duì)顯示信息的高度集成,座艙顯示界面正從向飛行員被動(dòng)提供“接收的服務(wù)”轉(zhuǎn)變?yōu)橹鲃?dòng)提供“需要的服務(wù)”.為了滿足飛行員的個(gè)性化需求,并向他們提供更良好的交互體驗(yàn),需要根據(jù)飛行員的個(gè)性化特征進(jìn)行MR 座艙顯示界面的適配設(shè)計(jì).

1 基于MR 的座艙界面概述

基于MR 的座艙顯示界面包括現(xiàn)實(shí)層和增強(qiáng)層[2],現(xiàn)實(shí)層提供透過(guò)鏡片的外部真實(shí)圖像,而增強(qiáng)層界面除顯示移植的實(shí)體座艙內(nèi)原有下顯界面和頭顯界面信息（如圖1 中1,2）外,還包括輔助虛擬界面（圖1 中3）,飛行員由遠(yuǎn)及近可分別看到頭顯界面、下顯界面以及輔助虛擬界面.文中增強(qiáng)層界面與現(xiàn)實(shí)層界面并無(wú)關(guān)聯(lián),即當(dāng)現(xiàn)實(shí)層發(fā)生變化時(shí),對(duì)增強(qiáng)層的內(nèi)容不產(chǎn)生影響.為便于飛行員延續(xù)之前的瀏覽和交互習(xí)慣,將下顯界面以二維平面類界面嵌入到三維虛擬環(huán)境中,界面布局沿用現(xiàn)有座艙內(nèi)的劃分方式,并保持原有信息的呈現(xiàn)方式.同時(shí),為增強(qiáng)飛行員的態(tài)勢(shì)感知和沉浸感,將平顯界面以三維立體界面的形式嵌入到三維環(huán)境中,將航向刻度帶變?yōu)橐粋€(gè)半徑很大、與水平面平行的環(huán)形刻度帶環(huán)繞飛行員顯示,飛機(jī)姿態(tài)信息固定顯示機(jī)頭前方,其他如高度、速度以及系統(tǒng)狀態(tài)等信息,可隨飛行員頭部轉(zhuǎn)動(dòng)而移動(dòng)位置.輔助虛擬界面包括虛擬鍵盤和手部菜單,可以提供信息輸入和選項(xiàng)選擇的功能[3],上述界面的布局劃分示意如圖1 所示.

圖1 基于MR 的座艙顯示界面及布局劃分Fig.1 Display interface and layout division of cockpit based on MR

2 個(gè)性化適配設(shè)計(jì)影響因素

MR 顯示界面的個(gè)性化適配設(shè)計(jì)是根據(jù)用戶不同特征進(jìn)行界面的差異化設(shè)計(jì).用戶模型由用戶背景信息、用戶行為信息、用戶領(lǐng)域信息組成[4],可用于描述用戶特征.其中,用戶背景信息是由基本特征信息和認(rèn)知特征信息組成的靜態(tài)數(shù)據(jù),是個(gè)性化適配設(shè)計(jì)的主要影響因素.

通常從以下角度描述用戶的基本特征信息：履歷、年齡、性別、收入、婚姻狀況、教育水平、產(chǎn)品使用經(jīng)驗(yàn)、技能水平、個(gè)性特征、地域特色、特定地區(qū)語(yǔ)法使用習(xí)慣等. 考慮到飛行員這一用戶群體的特殊性,忽略收入、婚姻狀況等影響極小的角度,同時(shí)將多個(gè)存在關(guān)聯(lián)關(guān)系角度進(jìn)行合并, 如性格特征是個(gè)人履歷、年齡、性別等綜合影響下的產(chǎn)物, 可以和個(gè)性特征綜合考慮；產(chǎn)品使用經(jīng)驗(yàn)和技能水平可以歸納為經(jīng)驗(yàn)；將地域特色、特定地區(qū)語(yǔ)法使用習(xí)慣等歸納為文化背景.綜上,飛行員的基本特征信息包括性格特征、教育水平、經(jīng)驗(yàn)、文化背景,而認(rèn)知特征信息主要為偏好[4].上述5 類信息的具體描述及對(duì)應(yīng)選項(xiàng)如表1 所示.

表1 飛行員背景信息表Table 1 The table of pilot background information

用戶特征對(duì)設(shè)計(jì)內(nèi)容的影響或大或小,將上述特征信息作為影響因子映射到MR 頭盔界面設(shè)計(jì)過(guò)程中的信息架構(gòu)、布局、交互流程以及視覺設(shè)計(jì)等環(huán)節(jié)[5],并針對(duì)其中適用的對(duì)象制定相應(yīng)的適配設(shè)計(jì)方式,得到個(gè)性化適配的設(shè)計(jì)策略,如表2 所示.

表2 個(gè)性化適配設(shè)計(jì)策略Table 2 Personalized adaptive design strategy

3 MR 座艙界面?zhèn)€性化設(shè)計(jì)實(shí)例

在未來(lái)有人/無(wú)人協(xié)同作戰(zhàn)[6]的發(fā)展背景下,本小節(jié)將在特定的任務(wù)場(chǎng)景下,通過(guò)運(yùn)用個(gè)性化適配的設(shè)計(jì)策略,說(shuō)明MR 座艙顯示界面的設(shè)計(jì)實(shí)例.

3.1 信息架構(gòu)

有人機(jī)飛行員可通過(guò)智能輔助決策系統(tǒng)對(duì)編隊(duì)內(nèi)無(wú)人機(jī)進(jìn)行監(jiān)控,并在輔助決策系統(tǒng)地協(xié)助下完成目標(biāo)選擇、任務(wù)類型確定、無(wú)人機(jī)任務(wù)分配等操作[7],有人/無(wú)人協(xié)同模塊所具備的一級(jí)功能包括目標(biāo)態(tài)勢(shì)顯示、任務(wù)規(guī)劃、無(wú)人機(jī)編隊(duì)等,如表3 所示.

表3 模塊功能需求分析Table 3 Module functional requirement analysis

1）基于性格特征適配的信息呈現(xiàn)種類設(shè)計(jì)

當(dāng)敵方目標(biāo)位于本機(jī)編隊(duì)的攻擊范圍內(nèi),可針對(duì)不同性格特征的飛行員提供不同種類的信息.若根據(jù)飛行員的決策特征（決策特征同性格特征一樣會(huì)對(duì)用戶行為產(chǎn)生影響）和風(fēng)險(xiǎn)偏好[8]對(duì)飛行員進(jìn)行分類,通過(guò)修正后的決策風(fēng)格量表（general decision-making style scale,GDMS）[9]和風(fēng)險(xiǎn)偏好問(wèn)卷,對(duì)各飛行員的決策特征和風(fēng)險(xiǎn)傾向進(jìn)行測(cè)試,按照分類規(guī)則對(duì)各飛行員進(jìn)行類別歸屬,通?？煞譃槔碇?冒險(xiǎn)型、理智-保守型和逃避依賴-保守型等3 類.以態(tài)勢(shì)畫面中的目標(biāo)信息塊設(shè)計(jì)為例,出于減少飛行員決策時(shí)間、避免干擾其決策的考慮, 對(duì)上述3 類飛行員呈現(xiàn)的目標(biāo)態(tài)勢(shì)（一級(jí)功能對(duì)應(yīng)信息）信息種類如表4 所示.

表4 顯示信息種類基于決策特征和風(fēng)險(xiǎn)偏好的適配Table 4 Adaptation of type of information based on decision-making characteritics and risk preference

2）基于教育水平適配的信息呈現(xiàn)數(shù)量設(shè)計(jì)

當(dāng)準(zhǔn)備執(zhí)行攻擊任務(wù)時(shí),態(tài)勢(shì)畫面上會(huì)顯示推薦的任務(wù)信息,可針對(duì)飛行員的教育水平呈現(xiàn)不同數(shù)量的推薦信息塊.對(duì)于教育水平較高（如大學(xué)及以上）的飛行員,信息密度的預(yù)測(cè)分?jǐn)?shù)更高,表明他們可以接受更多的、更復(fù)雜的選項(xiàng)信息推送[10],統(tǒng)向其推薦的武器選項(xiàng)可以是多個(gè).反之對(duì)于教育水平較低的飛行員,則傾向于接收更少的選項(xiàng)信息,系統(tǒng)可僅向其推薦一種武器.對(duì)不同教育水平飛行員呈現(xiàn)的目標(biāo)態(tài)勢(shì)信息數(shù)量,如表5 所示.

表5 顯示信息數(shù)量基于教育水平的適配Table 5 Adaptation of number of information based on education level

3.2 布局

當(dāng)飛行員查看無(wú)人機(jī)編隊(duì)的狀態(tài)時(shí),可根據(jù)其教育水平呈現(xiàn)不同的布局樣式.受教育程度更高的群體往往更傾向于圖形和文字相結(jié)合的呈現(xiàn)方式[10-11],可向大學(xué)及以上學(xué)歷的飛行員,呈現(xiàn)圖形類的布局樣式,通過(guò)幾何圖形和圖標(biāo)呈現(xiàn)所搭載的傳感器類型、武器類型及數(shù)量、油量等信息；而相對(duì)教育水平較低的飛行員可向其提供純文本的布局樣式,可將上述各項(xiàng)信息按照“標(biāo)題：數(shù)值”的格式呈現(xiàn),如圖2 所示.

圖2 狀態(tài)畫面布局基于教育水平的適配（左側(cè)更高）Fig.2 Layout style adaptation of UAV’s status display based on education level（the left one is higher）

3.3 操作步驟

有人機(jī)飛行員可在智能輔助決策系統(tǒng)的幫助下依次進(jìn)行目標(biāo)選擇、任務(wù)選擇、任務(wù)分配、任務(wù)剖面生成等操作.在進(jìn)行任務(wù)分配時(shí),新手飛行員會(huì)更多地參考智能體提供的意見,而專家飛行員會(huì)基于以往的作戰(zhàn)訓(xùn)練經(jīng)驗(yàn),直接作出分配決斷.因此,對(duì)經(jīng)驗(yàn)更豐富（一級(jí)及以上）的飛行員,可適當(dāng)減少推薦信息類頁(yè)面的調(diào)顯,以避免干擾決策或影響決策時(shí)間.上述操作步驟中依次調(diào)顯的頁(yè)面包括：

1）態(tài)勢(shì)頁(yè)面,選擇目標(biāo)和針對(duì)目標(biāo)的任務(wù)類型,如圖3 所示.

圖3 態(tài)勢(shì)頁(yè)面選取目標(biāo)及對(duì)應(yīng)任務(wù)Fig.3 Selection of target and mission on situation page

2）無(wú)人機(jī)菜單頁(yè)面,可通過(guò)手部菜單選擇無(wú)人機(jī)并查看其狀態(tài),如圖4 所示.

圖4 手部菜單選取無(wú)人機(jī)Fig.4 Selection of UAV on manual menu

3）任務(wù)分配頁(yè)面,飛行員完成任務(wù)分配,系統(tǒng)會(huì)對(duì)分配方案給出更高效或能夠避免任務(wù)沖突的優(yōu)化建議,飛行員可建議修改任務(wù)方案,而經(jīng)驗(yàn)更豐富的飛行員可直接跳過(guò)優(yōu)化頁(yè)面（虛線框中窗口）,進(jìn)入任務(wù)參數(shù)頁(yè)面,如圖5 所示.

圖5 任務(wù)分配步驟Fig.5 Assignment of multiple UAVs formation

4）任務(wù)剖面頁(yè)面,可查看任務(wù)進(jìn)程和無(wú)人機(jī)編隊(duì)的執(zhí)行情況,如圖6 所示.

圖6 生成任務(wù)剖面Fig.6 Generation of mission profile

3.4 視覺

配色方案設(shè)計(jì)是MR 界面視覺設(shè)計(jì)中的重要環(huán)節(jié), 是正確且完整地傳達(dá)界面視覺風(fēng)格的關(guān)鍵. MR顯示技術(shù)不同于液晶屏幕,在視覺設(shè)計(jì)層面有更多的限制和要求,例如:微軟在其混合現(xiàn)實(shí)的設(shè)計(jì)指南中建議在色彩選擇方面應(yīng)通過(guò)深色配色方案,可最大程度地減少眼睛疲勞.

色彩是一種地域文化的折射,不同地域文化的差異會(huì)形成風(fēng)格各異的配色設(shè)計(jì).在軍事領(lǐng)域,陸軍作戰(zhàn)部隊(duì)常采用黃綠色迷彩[12],海軍作戰(zhàn)部隊(duì)常采用藍(lán)灰色迷彩[13], 在作戰(zhàn)人員的印象中, 綠色系通常映射到陸地地域,藍(lán)色系常映射到沿海地域.為適配飛行員的文化背景,滿足飛行員更深層次的興奮型需求[14],下顯界面采用綠色和藍(lán)色兩種冷色系配色方案；輔助虛擬界面的色彩應(yīng)與下顯界面的配色協(xié)調(diào)；頭顯界面中元素的顯示顏色應(yīng)根據(jù)相關(guān)國(guó)軍標(biāo)[15]采用綠色或黃綠色單色顯示,且盡量不使用完全透明的背景板,配色定義如表6 所示,呈現(xiàn)效果如圖7、圖8 所示.

圖7 綠色系配色方案Fig.7 Color schemes with green

圖8 藍(lán)色系配色方案Fig.8 Color schemes with blue

表6 配色定義表Table 6 Definition table of color scheme

3.5 個(gè)性化偏好設(shè)置

在上述個(gè)性化適配設(shè)計(jì)的基礎(chǔ)上,通過(guò)“用戶身份識(shí)別+偏好設(shè)置”的方式實(shí)現(xiàn)MR 頭盔的個(gè)性化適配.在用戶初次登錄系統(tǒng)時(shí),根據(jù)用戶輸入的相關(guān)信息構(gòu)建用戶模型[4],這一過(guò)程也可以通過(guò)制定相關(guān)任務(wù)（例如決策風(fēng)格和風(fēng)險(xiǎn)偏好的主觀評(píng)價(jià)量表）并搜集測(cè)試結(jié)果完成.為進(jìn)一步滿足不同偏好的飛行員,在用戶首次進(jìn)入系統(tǒng)后,可通過(guò)偏好設(shè)置頁(yè)面進(jìn)一步選擇適合自己的交互方式和視覺風(fēng)格,此后若再次以相同身份登錄時(shí),則按其默認(rèn)偏好進(jìn)行個(gè)性化顯示.

4 結(jié)論

本文研究了基于混合現(xiàn)實(shí)的座艙界面?zhèn)€性化設(shè)計(jì)方法.結(jié)合用戶背景的信息,改進(jìn)了原有界面設(shè)計(jì)環(huán)節(jié)中的設(shè)計(jì)內(nèi)容.通過(guò)這種方法使得座艙界面在滿足飛行員可用性需求的基礎(chǔ)上,進(jìn)一步滿足他們的易用性和更深層次的需求.同時(shí),對(duì)使用二維界面設(shè)計(jì)工具完成三維界面交互設(shè)計(jì)進(jìn)行了探索,后續(xù)將繼續(xù)完成混合現(xiàn)實(shí)界面的設(shè)計(jì)和開發(fā)工作.未來(lái)需要深入考慮飛行員在虛擬系統(tǒng)中產(chǎn)生沉浸感知能力和傾向的個(gè)體間差異.