胡瑾秋 胡靜樺 張曦月

（中國(guó)石油大學(xué)（北京）安全與海洋工程學(xué)院，北京 102249）

0 引言

視線追蹤技術(shù)能夠分析操作者的心理過(guò)程，適用于監(jiān)測(cè)與識(shí)別設(shè)備系統(tǒng)操作者的認(rèn)知狀態(tài)。近年來(lái)，對(duì)視線追蹤技術(shù)的應(yīng)用包括醫(yī)療安全、駕駛安全、視覺(jué)搜索和信息處理等方面[1-4]。文獻(xiàn)[5]使用視線追蹤技術(shù)來(lái)評(píng)估新手和駕駛熟練的飛行員的操作行為并判斷其認(rèn)知狀態(tài)。文獻(xiàn)[6-7]對(duì)外科醫(yī)生的操作熟練度進(jìn)行判斷，發(fā)現(xiàn)經(jīng)驗(yàn)較少的外科醫(yī)生視線主要集中于手術(shù)顯示器而忽視患者的生命體征。文獻(xiàn)[8]中使用眼動(dòng)數(shù)據(jù)識(shí)別專業(yè)車手和新手，將視線注視情況與道路環(huán)境相關(guān)聯(lián)以評(píng)估駕駛員的行駛狀態(tài)。同時(shí)，相關(guān)學(xué)者也開(kāi)展了一系列眼動(dòng)追蹤系統(tǒng)軟硬件以及認(rèn)知行為評(píng)估等關(guān)鍵技術(shù)的研究[9-11]，在提高注視點(diǎn)標(biāo)定準(zhǔn)確度等方面取得了一定的成果。因此，視線追蹤技術(shù)能對(duì)各個(gè)領(lǐng)域中操作者的認(rèn)知狀態(tài)進(jìn)行有效的監(jiān)測(cè)，從而實(shí)現(xiàn)異常行為的早期預(yù)警。

本文利用視線追蹤系統(tǒng)結(jié)合滅火救援指揮三維計(jì)算機(jī)模擬訓(xùn)練平臺(tái)開(kāi)展基于視線追蹤技術(shù)的油庫(kù)滅火應(yīng)急救援能力評(píng)估。針對(duì)穩(wěn)定燃燒型火災(zāi)模擬實(shí)驗(yàn)、爆炸型火災(zāi)模擬實(shí)驗(yàn)、火災(zāi)救援中冷卻與供水實(shí)驗(yàn)等場(chǎng)景，通過(guò)分析操作人員的各項(xiàng)眼動(dòng)數(shù)據(jù)建立以眼動(dòng)數(shù)據(jù)為指標(biāo)的救援能力評(píng)估模型。

1 眼動(dòng)分析實(shí)驗(yàn)

本實(shí)驗(yàn)利用滅火救援指揮三維計(jì)算機(jī)模擬訓(xùn)練平臺(tái)（簡(jiǎn)稱滅火救援系統(tǒng)），研究實(shí)驗(yàn)人員在模擬油罐火災(zāi)發(fā)生后的滅火救援能力。實(shí)驗(yàn)場(chǎng)景設(shè)計(jì)為某廠區(qū)一個(gè)拱頂油罐的火災(zāi)，實(shí)驗(yàn)?zāi)M的火災(zāi)類型包括滅火救援系統(tǒng)中的穩(wěn)定燃燒型火災(zāi)模擬實(shí)驗(yàn)、爆炸型火災(zāi)模擬實(shí)驗(yàn)、沸溢型火災(zāi)模擬實(shí)驗(yàn)以及敞開(kāi)式火災(zāi)模擬實(shí)驗(yàn)。在實(shí)驗(yàn)過(guò)程中，操作者通過(guò)選擇正確的消防滅火劑及其流速和流量，利用鍵盤、鼠標(biāo)控制人物行走和消防槍的位置姿態(tài)，對(duì)著火油罐進(jìn)行滅火救援。當(dāng)火量減少為0時(shí)視為當(dāng)前任務(wù)成功，同時(shí)設(shè)定規(guī)定實(shí)驗(yàn)時(shí)間為240s，若測(cè)試者在規(guī)定時(shí)間內(nèi)無(wú)法完成上述整個(gè)流程，則實(shí)驗(yàn)記錄將會(huì)自動(dòng)停止，視為實(shí)驗(yàn)失敗。部分階段的操作界面，如圖1。

在實(shí)驗(yàn)期間，測(cè)試者操作滅火救援系統(tǒng)對(duì)異常事件進(jìn)行處理的過(guò)程中，其各項(xiàng)動(dòng)作均被視線追蹤系統(tǒng)記錄下來(lái)，包括視線的移動(dòng)、鼠標(biāo)的點(diǎn)擊移動(dòng)以及對(duì)各項(xiàng)參數(shù)的輸入。

圖1 實(shí)驗(yàn)興趣區(qū)域劃分Fig.1 Shape of various AOIs in the experiment

圖2 熱點(diǎn)圖Fig.2 Eye movement hotspot map

2 失誤模式與失誤特征提取

2.1 興趣區(qū)域劃分

實(shí)驗(yàn)結(jié)束后，利用眼動(dòng)分析軟件得到的熱點(diǎn)圖像可以直觀地展現(xiàn)測(cè)試者在操作過(guò)程中的視線停留情況。如圖2是一位典型測(cè)試者在測(cè)試部分階段的熱點(diǎn)圖像，熱點(diǎn)區(qū)域顏色較深部分表示測(cè)試者在該區(qū)域的注視時(shí)間較長(zhǎng)，因此從圖中可以看出測(cè)試者在實(shí)驗(yàn)過(guò)程中對(duì)某些區(qū)域展現(xiàn)出較大的關(guān)注度，分配趨勢(shì)大致是以系統(tǒng)給出的文字提示為主，并且在實(shí)施滅火救援階段對(duì)火量和具體火情較為關(guān)注。

對(duì)規(guī)定目標(biāo)區(qū)域的眼動(dòng)指標(biāo)的分類分析可以將數(shù)據(jù)的有效性最大化并且使校準(zhǔn)誤差最小化。因此我們依據(jù)對(duì)熱點(diǎn)圖的分析，將整個(gè)實(shí)驗(yàn)系統(tǒng)中的10個(gè)特定的區(qū)域設(shè)置為興趣區(qū)域，其中包括4個(gè)提示欄模塊、3個(gè)選擇輸入模塊、1個(gè)火量顯示模塊、1個(gè)火勢(shì)模塊以及1個(gè)實(shí)驗(yàn)開(kāi)始模塊。興趣區(qū)具體的形狀、大小的劃分情況，如圖1文字標(biāo)注。

2.2 測(cè)試者認(rèn)知行為分析

利用眼動(dòng)數(shù)據(jù)分析軟件對(duì)興趣區(qū)域進(jìn)行劃分，通過(guò)數(shù)據(jù)統(tǒng)計(jì)可以得到測(cè)試者在各個(gè)區(qū)域的注視時(shí)間。圖3是一位典型測(cè)試者在進(jìn)行穩(wěn)定型油庫(kù)滅火救援實(shí)驗(yàn)時(shí)在各興趣區(qū)域注視時(shí)間的分布情況。

圖3 典型測(cè)試者各興趣區(qū)注視時(shí)間分布Fig.3 The fi xation time distribution of each AOI of typical subjects

從圖3可以看出，測(cè)試者在提示欄模塊和選擇輸入模塊的注視時(shí)間較長(zhǎng)，分別為40.7%和35.4%，在火勢(shì)模塊的注視時(shí)間最少，僅為2.3%。這一結(jié)果表明，在實(shí)驗(yàn)過(guò)程中測(cè)試者對(duì)于提示欄模塊以及選擇輸入模塊的重視程度是最高的，同時(shí)滅火劑種類的選擇及其流量、流速的設(shè)置也都是測(cè)試者們?cè)谶M(jìn)行實(shí)驗(yàn)時(shí)所關(guān)注的重點(diǎn)。

2.3 失誤特征的提取

在以上數(shù)據(jù)分析階段，發(fā)現(xiàn)進(jìn)行失敗操作的測(cè)試者的眼動(dòng)數(shù)據(jù)與典型操作具有不同的特征。因此按不同眼動(dòng)特征對(duì)這些測(cè)試者的眼動(dòng)數(shù)據(jù)進(jìn)行分類，并按其操作方式定性為不同的認(rèn)知狀態(tài)。將這些認(rèn)知狀態(tài)與安全行為科學(xué)原理中關(guān)于人為失誤分類方法的概念法分類結(jié)果（偏離、疏忽、錯(cuò)誤）相結(jié)合，最終得出3類人為失誤的失誤模式：精神萎靡、高度緊張以及操作生疏，如圖4。從而將實(shí)驗(yàn)結(jié)果按認(rèn)知狀態(tài)分為4組：A組：測(cè)試者正常操作狀態(tài)；B組：測(cè)試者精神萎靡狀態(tài)，包括測(cè)試者疲勞或在實(shí)驗(yàn)期間受其他因素的影響；C組：測(cè)試者高度緊張狀態(tài)；D組：測(cè)試者操作生疏狀態(tài)。包括未培訓(xùn)以及培訓(xùn)完后未掌握操作技巧的人員。

圖4 失誤模式分類Fig.4 Fault pattern classi fi cation

將這4組在各個(gè)目標(biāo)區(qū)域的視線停留時(shí)間進(jìn)行對(duì)比分析，得到其注視時(shí)間分布圖，如圖5。圖中橫坐標(biāo)按4種狀態(tài)在不同區(qū)域的注視情況分類，縱坐標(biāo)為該組在該區(qū)域視線停留時(shí)間占總時(shí)間的百分比。

圖5 4類測(cè)試者各興趣區(qū)注視時(shí)間分布Fig.5 The fi xation time distribution of each AOI of the four types of subjects

從圖5中可以看出：B組在提示欄模塊和選擇輸入模塊的注視時(shí)間遠(yuǎn)低于A組，分別為25.4%和24.5%，而在火勢(shì)模塊上遠(yuǎn)高于A組，達(dá)到了23.2%。C組在實(shí)驗(yàn)開(kāi)始模塊的注視時(shí)間遠(yuǎn)高于A組，達(dá)到了24.4%。D組在提示欄模塊和選擇輸入模塊的注視時(shí)間遠(yuǎn)低于A組，分別為20.4%和18.5%，而在火勢(shì)模塊和火量模塊上遠(yuǎn)高于A組，分別達(dá)到了16.1%和29.8%。

劃分興趣區(qū)域后，利用眼動(dòng)分析軟件可以得到測(cè)試者在不同區(qū)域之間的轉(zhuǎn)移頻次，因此使用統(tǒng)計(jì)估算建立一步轉(zhuǎn)移概率矩陣，將測(cè)試者注視在各個(gè)興趣區(qū)的情況作為所要構(gòu)成的馬爾可夫鏈中的一個(gè)狀態(tài)，然后統(tǒng)計(jì)出測(cè)試者在不同區(qū)域之間轉(zhuǎn)移的概率。設(shè)1，2，3，4，5分別對(duì)應(yīng)操作者注視實(shí)驗(yàn)開(kāi)始模塊、提示欄模塊、火勢(shì)模塊、選擇輸入模塊及火量模塊。aij為由i區(qū)域轉(zhuǎn)向j區(qū)域的頻數(shù)。如a23表示測(cè)試者當(dāng)前的注視點(diǎn)為提示欄模塊即處于2區(qū)域，下一注視點(diǎn)轉(zhuǎn)換為3區(qū)域（火勢(shì)模塊）。

設(shè)∑nj=1aij=ai（i,j=1,2,…n），那么由狀態(tài)i轉(zhuǎn)向狀態(tài)j的轉(zhuǎn)移概率為fij=aij/ai,（i=1,2…n）。在數(shù)據(jù)統(tǒng)計(jì)后，將測(cè)試者的轉(zhuǎn)移頻率近似地認(rèn)為是轉(zhuǎn)移概率。這樣可以得到4組狀態(tài)測(cè)試者注視點(diǎn)馬爾科夫鏈的一步轉(zhuǎn)移概率矩陣：

當(dāng)i=j時(shí)，對(duì)應(yīng)所建立的馬爾可夫鏈一步轉(zhuǎn)移概率矩陣對(duì)角線上的數(shù)值，依據(jù)轉(zhuǎn)移矩陣的定義，該數(shù)值能夠反應(yīng)出測(cè)試者們?cè)诟鱾€(gè)興趣區(qū)域內(nèi)停留重復(fù)注視的概率。通過(guò)對(duì)以上4個(gè)一次轉(zhuǎn)移概率矩陣的分析并結(jié)合興趣區(qū)域的劃分，對(duì)各組矩陣對(duì)角線上的概率值分析可以發(fā)現(xiàn)：與A類測(cè)試者對(duì)比，B類測(cè)試者在火勢(shì)模塊上的重復(fù)注視概率較大，D類測(cè)試者在火量模塊的重復(fù)注視率較大，其結(jié)果與各興趣區(qū)域注視時(shí)間分布的分析一致。而C類測(cè)試者對(duì)各個(gè)興趣區(qū)域的重復(fù)注視概率都比正常操作時(shí)的重復(fù)注視概率大的多，表明了該類測(cè)試者的注視視線的轉(zhuǎn)移頻率較低，易處于長(zhǎng)期注視某一興趣區(qū)的狀態(tài)。

2.4 典型人員失誤特征

通過(guò)對(duì)測(cè)試者進(jìn)行油庫(kù)滅火救援眼動(dòng)實(shí)驗(yàn)所得到的眼動(dòng)數(shù)據(jù)的統(tǒng)計(jì)分析，最終提取出了3類典型失誤模式，即精神萎靡、高度緊張以及操作生疏的眼動(dòng)失誤特征，見(jiàn)下表。

表 典型失誤模式及其特征Tab. Typical failure mode and its characteristics

3 案例分析

為了證明之前所提取的失誤特征的有效性，選取了其中一名無(wú)任何滅火救援培訓(xùn)的測(cè)試者進(jìn)行進(jìn)一步的驗(yàn)證分析。測(cè)試者首先在未接受培訓(xùn)的情況下針對(duì)4種類型火災(zāi)進(jìn)行模擬現(xiàn)場(chǎng)滅火救援實(shí)驗(yàn)，以模擬認(rèn)知狀態(tài)為操作生疏類型的人員的操作，同時(shí)對(duì)其操作過(guò)程中的眼動(dòng)數(shù)據(jù)進(jìn)行采集。在進(jìn)行滅火救援操作培訓(xùn)后，同一名測(cè)試者重復(fù)以上實(shí)驗(yàn)以模擬正常認(rèn)知狀態(tài)時(shí)的操作。

通過(guò)統(tǒng)計(jì)以上兩組不同認(rèn)知狀態(tài)下實(shí)驗(yàn)所得到的眼動(dòng)數(shù)據(jù)，最終得到了該測(cè)試者兩次實(shí)驗(yàn)的各個(gè)興趣區(qū)域注視時(shí)間的分布，如圖6。

圖6 案例中興趣區(qū)注視時(shí)間分布Fig.6 The fixation time distribution of interest zone in the case

從圖6中可以看出，測(cè)試者在未進(jìn)行滅火救援操作培訓(xùn)時(shí)，其視線在火量模塊的注視時(shí)間較高，達(dá)到了25.5%。在熟練掌握實(shí)驗(yàn)的操作技巧之后，該測(cè)試者的在火量模塊的時(shí)間占比下降了到了5.4%，并且在提示欄模塊以及選擇輸入模塊的停留時(shí)間明顯上升，分別達(dá)到了42.7%和32.4%。

由此可以看出測(cè)試者在正常操作狀態(tài)下以及操作生疏狀態(tài)下的視線分別集中于不同的特征區(qū)域。因此，也驗(yàn)證了提取測(cè)試者在操作過(guò)程中在提示欄、選擇輸入以及火量模塊的注視時(shí)間作為識(shí)別兩種認(rèn)知狀態(tài)的特征值是有效的。

4 結(jié)論

（1）針對(duì)現(xiàn)有的對(duì)于油庫(kù)滅火救援能力評(píng)估大多依賴于主觀判斷的情況，本文利用視線追蹤系統(tǒng)和實(shí)驗(yàn)室滅火救援三維模擬訓(xùn)練平臺(tái)實(shí)現(xiàn)了對(duì)模擬油庫(kù)滅火救援實(shí)驗(yàn)時(shí)的眼動(dòng)數(shù)據(jù)收集。提出了以眼動(dòng)數(shù)據(jù)為指標(biāo)的測(cè)試者失誤模式識(shí)別方法，從而實(shí)現(xiàn)對(duì)操作者操作狀態(tài)和認(rèn)知行為的監(jiān)測(cè)。

（2）本文通過(guò)對(duì)實(shí)驗(yàn)界面進(jìn)行興趣區(qū)域劃分，分別分析4類測(cè)試者在不同興趣區(qū)域的注視停留時(shí)間分布，并通過(guò)建立在不同區(qū)域間的一步轉(zhuǎn)移概率矩陣，最終得出了3類失誤模式的失誤特征：精神萎靡者視線長(zhǎng)期注視火勢(shì)模塊，高度緊張者視線轉(zhuǎn)移頻率較低，操作生疏者視線長(zhǎng)期注視火量模塊。

（3）利用操作者在不同區(qū)域的注視停留時(shí)間分布及其視線轉(zhuǎn)移情況可以判斷其認(rèn)知狀態(tài)。這一結(jié)果對(duì)研究訓(xùn)練平臺(tái)的培訓(xùn)效果評(píng)估具有一定的現(xiàn)實(shí)意義，有助于明確培訓(xùn)方向，完善培訓(xùn)體系與內(nèi)容。