陳杰，劉成義，張煜，何景異，錢春霖，張曉棟，李崇斌，丁全

(1.武漢第二船舶設(shè)計研究所 武漢，430205;2.西安交通大學(xué)，西安 710049)

1 序言

工作負荷是用來衡量人機系統(tǒng)的可用程度或可接受程度的指標反映了在特定環(huán)境和操作條件下在完成任務(wù)的過程中操作者所付出的能力。包含體力工作負荷和腦力工作負荷，也叫做認知負荷[1]。NASA提出的工作負荷的評價指標包括腦力需求、體力需求、時間需求、業(yè)績水平、努力程度和受挫程度六大因素[2]。

過去40年來，工作負荷的定量測量已經(jīng)發(fā)展了許多不同的方法，主要分為三類：

(1)主觀測量，例如自報告、Cooper-Harper量表、美國國家航空和航天管理局任務(wù)負荷指標(NASA-TLX量表)[2-3]

(2)行為測量，在任務(wù)中評價操作者的行為表現(xiàn)，例如主任務(wù)法[4]、次任務(wù)法[5]；

(3)生理指標測量，例如測量大腦功能[6]、眼功能[7-9]、心臟功能[10]、肌肉功能[10]等生理指標。對于各種測量方法的評價依據(jù)也提出了相應(yīng)的標準，包括五個因素：測量靈敏度，診斷性，干擾性，實施要求和操作員接受性[11]。

近年來的研究趨向于關(guān)注腦力工作負荷測量，并采用多種方法綜合測量，實時反應(yīng)工作負荷的變化情況。Neerincx(2003)[12]等人提出了認知任務(wù)負荷模型(CTL)，由三個負荷因素：占用時間的百分比，任務(wù)設(shè)置切換的數(shù)量和信息加工的水平構(gòu)成三個測量維度，并應(yīng)用于荷蘭海軍進行驗證研究。Diana Donath等人[13]通過NASA-TLX主觀測量工作負荷和飛行員眼動分析的研究發(fā)現(xiàn)，在不同的任務(wù)情境中隨著任務(wù)復(fù)雜程度的增加或引入次任務(wù)，操作者在不同的飛行階段視覺掃描的行為存在差異，對應(yīng)著操作者主觀工作負荷的增加。

虛擬現(xiàn)實技術(shù)(Virtual Reality，簡稱VR)是一種通過計算機程序，創(chuàng)造三維虛擬世界的數(shù)字技術(shù)。近年來，隨著虛擬現(xiàn)實技術(shù)的發(fā)展和成熟，虛擬現(xiàn)實技術(shù)在包括場景展示、設(shè)計驗證、虛擬演練等諸多領(lǐng)域中得到實際運用。基于虛擬現(xiàn)實技術(shù)的設(shè)計、評估和驗證系統(tǒng)也得到了廣泛地運用，包括有波音、大眾、通用等公司[14]在很長一段時間以來通過使用虛擬現(xiàn)實技術(shù)，對數(shù)字模型進行模擬和驗證相關(guān)方案，減少了昂貴的物理原型的使用，節(jié)約了大量成本；同時能夠有效的縮短研發(fā)周期，提升產(chǎn)品設(shè)計質(zhì)量。

2007年Claudio H.S等人將VR技術(shù)用于核電控制臺設(shè)計的人因要求評估，進行了早期嘗試。Susanna Aromaa (2016)在礦石粉碎機維修平臺的設(shè)計中，通過VR與AR(增強現(xiàn)實)的對比研究，證明VR系統(tǒng)更適合支持對可見性、可達性、工具使用等方面的評估。美國能源部研究人員2018年基于人因素設(shè)計和評估方法，用于開發(fā)最終狀態(tài)控制現(xiàn)代化的控制室，并管理升級生命周期的各個階段。評估方法包括在系統(tǒng)仿真實驗室中操作員對系統(tǒng)原型進行的交互式操作，提出界面的修改建議[15]。

眼動追蹤是一種神經(jīng)心理學(xué)方法，是獲取生理數(shù)據(jù)的重要來源[16]，利用特定的眼動設(shè)備或者眼動系統(tǒng)來記錄一個人在某一環(huán)境中注視物體而產(chǎn)生的眼動數(shù)據(jù)。而眼動追蹤技術(shù)也常用于人機交互研究領(lǐng)域，眼動儀通過追蹤記錄使用者的眼動軌跡來反映其心理活動。

許多學(xué)者從眼動行為模式、用戶搜索行為特征、任務(wù)分析、界面可用性等角度開展眼動追蹤技術(shù)的研究。Eileen[17]對1986-2011年眼動的有關(guān)研究進行綜述，重點梳理了三種類型的眼動，即注視控制( Gaze Control)、平滑追蹤運動(Smooth Pursuit)和掃視( Saccades) ，并且分析了這三種眼動與視覺之間的交互；指出過去25年的眼動研究主要集中于基礎(chǔ)性問題，如保持注視穩(wěn)定性的機制、眼動注視區(qū)域、眼動注視的原因以及執(zhí)行復(fù)雜任務(wù)的時間等。Irene[18]等利用任務(wù)分析與眼動分析作為方法對藥品包裝設(shè)計的可用性進行了試驗，但沒有將任務(wù)分析與眼動分析進行對比驗證。

綜上所述，眼動追蹤技術(shù)與虛擬現(xiàn)實技術(shù)在人因評估研究中都已成為成熟、常用的評估技術(shù)，但結(jié)合兩者來進行的研究還很少。而且隨著計算機技術(shù)、人工智能技術(shù)、語音處理與音響技術(shù)、多傳感器技術(shù)等虛擬現(xiàn)實相關(guān)的技術(shù)進一步發(fā)展，虛擬現(xiàn)實模擬仿真復(fù)雜任務(wù)系統(tǒng)的效果會越來越好。本文希望通過船舶操作臺顯示界面的人因評估實例來總結(jié)出一套行之有效的結(jié)合虛擬現(xiàn)實技術(shù)與眼動追蹤技術(shù)的人因評估方法并對其進行驗證。

2 方法

2.1 實驗系統(tǒng)設(shè)計

實驗系統(tǒng)設(shè)計需要利用虛擬現(xiàn)實環(huán)境來完成對船舶操作臺顯示臺界面的仿真模擬。實驗設(shè)計兩個不同的實驗環(huán)境分別對應(yīng)虛擬環(huán)境以及實物操作環(huán)境，驗證虛擬環(huán)境與實物操作環(huán)境是否具有良好的一致性，同時在實驗人群中將測試者分為兩類，對比兩類人群在虛擬以及實物環(huán)境中的不同表現(xiàn)是否存在差異性，同時分析兩類人群在不同實驗環(huán)境中的工作負荷是否存在較大差異。

為了驗證虛擬現(xiàn)實仿真平臺的仿真效果，還需要對利用樣機進行模擬仿真的實物仿真平臺進行同步測試，因此實物仿真平臺也包含在實驗系統(tǒng)設(shè)計中。實驗硬件設(shè)備由實物模擬樣機，高性能主機，顯示屏，虛擬現(xiàn)實眼動儀，眼鏡式眼動儀，虛擬現(xiàn)實手柄，配套的實驗室記錄設(shè)備(記錄用紙筆，錄像機，錄音筆等)，使用軟件包括unity引擎(unity 2019.4.2f1)，眼動儀測試數(shù)據(jù)記錄軟件(iMotions)。

虛擬現(xiàn)實仿真平臺搭建示意圖如下圖2-1所示，實物仿真平臺搭建示意圖如下圖2-2所示。

圖1 虛擬現(xiàn)實仿真平臺搭建示意圖

圖2 實物仿真平臺搭建示意圖

2.2 評估指標

實驗以工作負荷的測量為核心評價標準，綜合運用主觀測量、行為測量、生理指標測量方法對工作負荷進行評估。其中主觀測量采用NASA-TLX量表，從腦力需求、體力需求、時間需求、自我表現(xiàn)、努力程度、受挫程度六個維度出發(fā)讓操作者對自己的操作做出主觀評價。行為測量由測試人員在實驗過程中記錄操作者完成任務(wù)情況與用時作為工作績效指標。生理指標測量采用眼動追蹤法，記錄操作者的瞳孔直徑、眨眼頻率、注視時長、注視區(qū)域并通過計算得出瞳孔變化率、眨眼頻率、注視熵、興趣區(qū)注視時長占比、興趣區(qū)注視率，以此評估工作負荷。

2.3 實驗任務(wù)設(shè)計

本實驗共測試9名被試：其中第Ⅲ類人群為2名專業(yè)操作員，具有多年船舶操作實踐經(jīng)歷，熟悉船舶操作臺屏界面、操作方式、任務(wù)指令與異常情況。第Ⅱ類人群為3名船舶操作臺設(shè)計人員，具有多年設(shè)計船舶操作臺的經(jīng)驗，熟悉船舶操作臺界面以及操作方式。第Ⅰ類人群為4名人因工程評價專家，掌握人因工程評價的各種方法與理論，對于船舶操作臺的人機工效能做出全面評價并給出改進建議，但對船舶操作任務(wù)流程較不熟悉。

實驗任務(wù)分為四個部分：

1)第一部分是訓(xùn)練任務(wù)，幫助被試者熟悉被試系統(tǒng)的現(xiàn)實界面邏輯與操作方式。

2)第二部分是模擬參數(shù)異常工況(工況一)：在任務(wù)過程中，顯示界面會不定時的出現(xiàn)參數(shù)異常情況，需要被試者及時發(fā)現(xiàn)異常并報告。異常情況間隔1 min隨機出現(xiàn)一次，每次出現(xiàn)持續(xù)10 s，被試者需要在持續(xù)時間內(nèi)發(fā)現(xiàn)異常情況。

3)第三部分是模擬指令任務(wù)工況(工況二)：被試者需要聽從主測的口令完成相應(yīng)的操作，觀察參數(shù)變化到達口令要求之后報告主測。每個子任務(wù)大概花費3-4 min，每個子任務(wù)之間間隔1 min。

4)第四部分是模擬事故工況(工況三)：系統(tǒng)后臺會不定時出現(xiàn)異常情況，被試者需要觀察參數(shù)情況，發(fā)現(xiàn)異常之后報告主測，主測下達操作口令，被試者進行操作直到故障解除，解除之后報告故障解除。每個子任務(wù)大概花費4-5分鐘，每個子任務(wù)之間間隔1 min。

3 結(jié)果

3.1 虛擬平臺與實物平臺對比結(jié)果

3.1.1 任務(wù)績效

從平均完成時間來看見圖3-5，實物平臺和虛擬平臺有較高的一致性，且實物平臺的反應(yīng)時間普遍低于虛擬平臺。

3.1.2 NASA-TLX量表

工況一和工況二的腦力需求實物較虛擬平臺的略低，但尚不存在顯著性差異，從工作負荷的影響因素開看，實物平臺的體力需求略低，虛擬平臺容易產(chǎn)生視覺疲勞，見圖6-8。

3.1.3 眼動指標

虛擬平臺的注視熵普遍高于實物平臺，這是虛擬平臺視野較小，因此被試需要更頻繁地掃視與眼跳所造成的。但兩種平臺的注視熵差異不大，見圖9-11。

3.2 不同類別被試人員試驗數(shù)據(jù)對比結(jié)果

3.2.1 任務(wù)績效

在任務(wù)一、二、三、四中，由于第III類用戶對此類非重要信息敏感度較低，故反應(yīng)時間較慢。第III類用戶由于操作熟練度的差異，在任務(wù)十二與十三中完成任務(wù)所需時間顯著低于其他兩類用戶；而其他任務(wù)三類用戶完成時間無明顯差異，見圖12-14。

3.2.2 NASA-TLX量表

由于第II類用戶比第I類用戶更熟悉界面，故工作負荷較低。三類用戶的工作負荷無明顯差異，但由于第II、III類用戶有更多的操作經(jīng)驗，工作負荷更低，見圖15-17。

3.2.3 眼動指標

三類人員的注視熵表現(xiàn)較為接近，但在一些任務(wù)中的表現(xiàn)上來說，Ⅰ類人員注視熵高于Ⅱ類人員高于III類人員，這也跟界面熟悉程度與操作熟練程度相關(guān)，注視熵越高表明對于界面越不熟悉操作越不熟練，見圖18-20。

3.3 驗證結(jié)果

3.3.1 虛擬平臺與實物平臺結(jié)果驗證

對虛擬平臺與實物平臺的整體實驗結(jié)果進行相關(guān)性檢驗，虛擬平臺與實物平臺在任務(wù)完成時間上的皮爾遜相關(guān)系數(shù)r=0.839，P=0.000在0.01級別(雙尾)，相關(guān)性顯著。在注視熵上的皮爾遜相關(guān)系數(shù)r=0.876，P=0.000在0.01級別(雙尾)，相關(guān)性顯著。在AOI注視率上的皮爾遜相關(guān)系數(shù)r=0.644，P=0.000在0.01級別(雙尾)，相關(guān)性顯著。

對虛擬平臺與實物平臺的整體實驗結(jié)果進行獨立樣本T檢驗以虛擬平臺與實物平臺為分組依據(jù)，其中瞳孔變化率F=1.255，P=0.264，注視熵F=3.222，P=0.074，AOI注視率F=1.549，P=0.215，具有一定相關(guān)性，無顯著差異。而完成率、瞳孔變化率、注視熵、AOI注視率F檢驗顯著性大于0.05，兩組數(shù)據(jù)的熟悉度無顯著性差異，具有一定相關(guān)性。

表1 虛實對比顯著性檢驗結(jié)果表

3.3.2 不同類別被試人員試驗數(shù)據(jù)對比結(jié)果驗證

從前面的數(shù)據(jù)結(jié)果中可以得知可將第Ⅰ類人群與第Ⅱ類人群沒有較大差異，可以將兩類人群合并為非專業(yè)人群。因此三類測試者在進行結(jié)果驗證的時候?qū)⑵浞譃閮深?，將兩者進行對比，其中2名船員為第一類人群也就是專業(yè)人群，剩余7名被試為第二類人群也就是非專業(yè)人群。

在眼動數(shù)據(jù)中兩者有著顯著差異性的是瞳孔變化率，AOI注視率，眨眼頻率，一類人群的這些指標都低于二類人群。

將經(jīng)過處理的NASA-TLX量表進行以兩類人群為分組的獨立樣本T檢驗可以得出，在虛擬平臺中兩者在受挫程度上存在顯著性差異，通過分析其處理結(jié)果均值可以發(fā)現(xiàn)，一類人群在虛擬平臺中受挫感更低，權(quán)重為零，而對于實物平臺兩者的受挫程度沒有顯著性差異。

表2 整體數(shù)據(jù)的兩類人群顯著性檢驗結(jié)果表

表3 NASA-TLX各分數(shù)顯著性檢驗結(jié)果表

4 討論

4.1 虛擬現(xiàn)實仿真平臺的有效性

本文關(guān)注的核心在于虛擬現(xiàn)實仿真平臺是否具有替代實物仿真平臺進行工作負荷評估的有效性。通過在虛擬仿真平臺和實物仿真平臺上進行三種工況任務(wù)操作，從工作負荷的測量指標結(jié)果可以看出，任務(wù)完成率、瞳孔變化率、注視熵、AOI注視率無顯著性差異，且兩平臺實驗結(jié)果的相關(guān)系數(shù)均大于0.6，表明實物仿真平臺與虛擬仿真平臺在評價結(jié)果上具有較高的一致性。而任務(wù)完成時間存在顯著性差異的結(jié)果也表現(xiàn)出了虛擬仿真平臺環(huán)境存在的不足，主要是由于佩戴虛擬現(xiàn)實頭盔容易產(chǎn)生視覺疲勞，以及通過虛擬現(xiàn)實手柄操作按鍵的交互方式不夠自然，影響到了操作時間。后續(xù)可以通過培訓(xùn)熟悉虛擬現(xiàn)實交互設(shè)備使用，以及使用數(shù)據(jù)手套降低操作時間。對兩個平臺的優(yōu)劣對比如下表所示，將虛擬現(xiàn)實技術(shù)用于設(shè)計評估，對設(shè)計對象的仿真度高，能有效縮短研發(fā)周期，降低開發(fā)成本。

表4 兩種平臺的優(yōu)劣對比

4.2 工作負荷評估方法的有效性

眼動指標作為工作負荷的測量指標，是許多研究中已經(jīng)驗證了其可靠性，相比于傳統(tǒng)主觀測量方法，具備實時性、客觀性等特點。對于工作負荷的測量指標本文采用了主觀評價、眼動跟蹤數(shù)據(jù)、任務(wù)績效三類指標的綜合評價，以保證評估結(jié)果的有效性。評估指標需要具備可以區(qū)分不同操作水平與經(jīng)驗的操作員工作負荷的敏感性。實驗結(jié)果表明，三類用戶在工作負荷測量指標方面具有顯著性差異，特別是任務(wù)完成時間、瞳孔變化率、AOI注視率、NASA-TLX量表中的受挫程度。均為專業(yè)人群表現(xiàn)較非專業(yè)人群良好，其他指標專業(yè)人群也好于非專業(yè)人群但沒有顯著性差異。主要原因在于，三類用戶的專業(yè)知識水平、注意策略、操作策略及技能、以及對界面的熟悉程度等方面存在較大差異， 隨著操作經(jīng)驗的增加，工作負荷下降。因此在工作負荷評估指標的敏感性方面得到了很好地驗證。同時，三類指標相比，眼動指標的敏感性好于其他指標。可以通過眼動數(shù)據(jù)進一步分析操作員的注意策略和掃視路徑，發(fā)現(xiàn)界面設(shè)計存在的問題，進行設(shè)計迭代。

5 結(jié)論

本文提出了一種在虛擬環(huán)境下基于眼動追蹤技術(shù)的人機交互系統(tǒng)工作負荷評估方法，經(jīng)過實驗檢驗后可以認為采用虛擬現(xiàn)實技術(shù)對人機交互系統(tǒng)進行仿真模擬來進行工作負荷評估是完全可行的，能夠很好地代替樣機實物模擬。在這套評估系統(tǒng)中，任務(wù)難度與被試人群專業(yè)與否在工作負荷指標表現(xiàn)上具有差異，很好地體現(xiàn)了評估系統(tǒng)的敏感性。該評估系統(tǒng)采用的生理測量手段只選用了眼動追蹤這一方法，可以在未來的工作中加入其他生理測量手段如皮電、腦電、心率等。隨著虛擬現(xiàn)實技術(shù)的進一步發(fā)展，更方便實用的應(yīng)用于虛擬現(xiàn)實環(huán)境下的人機交互手段會逐漸更新，這些技術(shù)的進步更有利于利用虛擬現(xiàn)實技術(shù)進行復(fù)雜系統(tǒng)的模擬，而測量工作負荷的評估手段與方法也會隨之進步。