李一帆，顏玢玢，王 鵬，陳 鐸，王葵如，桑新柱，趙思銘

（北京郵電大學(xué) 電子工程學(xué)院，北京 100876）

1 引 言

三維顯示技術(shù)能提供深度沉浸和臨場(chǎng)體驗(yàn)，其應(yīng)用領(lǐng)域包括電影、游戲、醫(yī)療等［1-2］。但是3D顯示技術(shù)使用戶在獲得逼真臨場(chǎng)感、沉浸感的同時(shí)也會(huì)帶來(lái)不可忽視的副作用，例如長(zhǎng)時(shí)間觀看3D 內(nèi)容會(huì)使觀看者出現(xiàn)諸如頭暈、惡心等不適癥狀，這些不良的影響被稱為3D 視覺(jué)疲勞，是一種由過(guò)度的雙眼視差和輻輳-調(diào)節(jié)不匹配［3］造成的眼部亞健康狀態(tài)。3D 視覺(jué)疲勞嚴(yán)重阻礙了3D 顯示的發(fā)展，例如3D 電影、A/VR［4-5］游戲等。3D 視疲勞的發(fā)生直接影響用戶的體驗(yàn)感，嚴(yán)重時(shí)甚至?xí)p傷雙眼。因此，3D 視疲勞評(píng)估成為近年來(lái)的一個(gè)重要課題。

視疲勞癥狀可以通過(guò)主觀感受［6］和客觀指標(biāo)［7-16］進(jìn)行評(píng)估。主觀感受涵蓋視覺(jué)疲勞、身體疲勞、暈動(dòng)病等，可以采用主觀問(wèn)卷的方式得到。然而在真實(shí)應(yīng)用場(chǎng)景中，每個(gè)人的評(píng)價(jià)標(biāo)準(zhǔn)無(wú)法統(tǒng)一，存在較強(qiáng)的個(gè)人片面性，缺乏客觀性。因此，增加客觀指標(biāo)衡量視疲勞程度是必要的。對(duì)視疲勞的客觀評(píng)估大多通過(guò)眼動(dòng)行為和腦電信號(hào)進(jìn)行分析，然而腦電實(shí)驗(yàn)因其設(shè)備昂貴、操作復(fù)雜等［17-23］難以廣泛應(yīng)用。相較于腦電信號(hào)儀，眼動(dòng)儀因其無(wú)接觸的特性得以靈活運(yùn)用在現(xiàn)實(shí)場(chǎng)景。眼球作為中樞神經(jīng)系統(tǒng)的一部分，可以反映人類的喚醒狀態(tài)。Jansen 等人使用掃視幅度與注視時(shí)長(zhǎng)作為評(píng)估指標(biāo)［8］。與掃視幅度或注視時(shí)間不同，Di Stasi 等人認(rèn)為掃視速度不受自主控制，因此可能比注視等參數(shù)更準(zhǔn)確地代表潛在的神經(jīng)活動(dòng)［9-10］。Macknik 等人觀察到視覺(jué)注意力會(huì)影響注視時(shí)的微掃視［11］。

以上這些研究?jī)H評(píng)估單一眼動(dòng)行為與視疲勞的關(guān)系，然而在實(shí)際場(chǎng)景中，如醫(yī)療中的3D 影像以及進(jìn)行A/VR 游戲等，觀看者受任務(wù)驅(qū)使，往往對(duì)眼動(dòng)行為進(jìn)行更多自主控制，導(dǎo)致眼動(dòng)行為更加復(fù)雜，僅通過(guò)單一的眼動(dòng)指標(biāo)難以準(zhǔn)確衡量3D 視疲勞。如眨眼頻率，此類眼動(dòng)行為較易受自主控制。在視覺(jué)疲勞初期，受試者往往能通過(guò)主動(dòng)調(diào)控減少眨眼頻率，導(dǎo)致眨眼頻率隨視覺(jué)疲勞的變化曲線呈非單調(diào)的特性，從而影響對(duì)視覺(jué)疲勞的準(zhǔn)確判斷。因此，在任務(wù)驅(qū)動(dòng)下觀看3D 內(nèi)容時(shí)，單一的眼動(dòng)行為無(wú)法對(duì)視疲勞進(jìn)行準(zhǔn)確評(píng)估，采用多種眼動(dòng)特征進(jìn)行聯(lián)合建模［24］是非常必要的。

本文在重復(fù)任務(wù)驅(qū)動(dòng)下觀看3D 視頻以更快地喚起受試者不同程度的疲勞。實(shí)驗(yàn)過(guò)程中通過(guò)問(wèn)卷調(diào)查得到受試者主觀0～3 四個(gè)等級(jí)的疲勞分?jǐn)?shù)，并采用眼動(dòng)儀實(shí)時(shí)記錄受試者的眼動(dòng)數(shù)據(jù)。實(shí)驗(yàn)結(jié)束后，對(duì)眼動(dòng)儀采集到的眼動(dòng)數(shù)據(jù)進(jìn)行整理，通過(guò)對(duì)客觀眼動(dòng)行為與主觀疲勞等級(jí)的相關(guān)性分析得到16 種可以表征視疲勞的客觀眼動(dòng)特征，并利用神經(jīng)網(wǎng)絡(luò)建立客觀特征與主觀疲勞等級(jí)之間的數(shù)學(xué)模型。模型對(duì)3D 視疲勞的等級(jí)預(yù)測(cè)準(zhǔn)確率達(dá)到82%，證明了本文所建立模型的有效性。通過(guò)該模型，可以實(shí)現(xiàn)對(duì)3D 視疲勞的實(shí)時(shí)監(jiān)測(cè)，避免不健康觀看對(duì)眼睛造成的不可逆損傷。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)刺激

作為實(shí)驗(yàn)刺激材料的3D 視頻內(nèi)容為4 段多人傳小球視頻，如圖1 所示。圖片的標(biāo)簽對(duì)應(yīng)實(shí)驗(yàn)過(guò)程中刺激材料的播放順序，分別為4 人、3 人、2 人、4 人互相傳球。在傳球過(guò)程中，成員需要隨機(jī)交換位置并在移動(dòng)過(guò)程中隨機(jī)將球拋給任意其他成員。

圖1 實(shí)驗(yàn)刺激材料內(nèi)容Fig.1 Contents of experimental stimulus

刺激材料的制作方法如圖2（a）所示。采用兩個(gè)水平放置的相機(jī)進(jìn)行拍攝，兩個(gè)攝像機(jī)的光學(xué)中心位于同一水平線上，光軸彼此平行，使得拍攝的圖像只有水平視差而沒(méi)有垂直視差。兩攝像機(jī)水平間隔25 cm，表演者在攝像機(jī)的5～6 m范圍內(nèi)，拍攝4 段4 min 的視頻。將拍攝的視頻進(jìn)行渲染合成后，通過(guò)柱透鏡光柵立體顯示器（685.8 mm（27 in），1 920 像素×1 024 像素分辨率，60 Hz 刷新率）呈現(xiàn)［25-27］，如圖2（b）所示。

圖2 實(shí)驗(yàn)刺激的制作。（a）采用兩個(gè)平行擺設(shè)的相機(jī)拍攝立體圖像；（b）合成視頻通過(guò)光柵立體顯示器播放。Fig.2 Production of experimental stimuli.（a）Using two parallel cameras to capture stereoscopic images；（b）Synthesized videos played on the 3D display based on LLA.

2.2 受試者

受試者為北京郵電大學(xué)17 名健康的學(xué)生（平均年齡：23 歲；范圍：21～26 歲；其中男性9 人，女性8 人）并在招募前給予知情同意。實(shí)驗(yàn)開始前進(jìn)行視力和立體視力測(cè)試以確保所有參與者視力正常。

2.3 實(shí)驗(yàn)設(shè)置和流程

實(shí)驗(yàn)場(chǎng)景如圖3 所示。本實(shí)驗(yàn)使用的眼動(dòng)儀為Tobii Pro Spectrum，其眼動(dòng)追蹤技術(shù)為雙傳感器雙眼立體采集，可以準(zhǔn)確測(cè)量視線信息及其三維空間中的位置，采樣頻率為300 Hz，理想條件下精確度和準(zhǔn)確度分別可以達(dá)到0.01°均方根值（RMS）和0.3°。在實(shí)驗(yàn)過(guò)程中，眼動(dòng)儀保持23°的傾角，與屏幕的距離保持60 cm。

圖3 實(shí)驗(yàn)場(chǎng)景Fig.3 Experimental scenarios

受試者坐在距離屏幕130 cm 處，在實(shí)驗(yàn)期間盡可能保持身體靜止而眼球可以自由運(yùn)動(dòng)。

實(shí)驗(yàn)室照明條件為300 lx，無(wú)眩光。在觀看任務(wù)之前，受試者被要求進(jìn)行2 min 的測(cè)試以確認(rèn)視力正常，眼動(dòng)儀可以在誤差允許范圍內(nèi)記錄受試者眼動(dòng)情況。之后，受試者休息5 min 以將自己的狀態(tài)調(diào)整到舒適的水平。實(shí)驗(yàn)過(guò)程如圖4所示，其中藍(lán)色部分代表4 段3D 視頻刺激材料，具體刺激內(nèi)容如圖1 所示。白色部分表示在每段視頻觀看結(jié)束后，進(jìn)行30 s 問(wèn)卷調(diào)查，得到受試者的主觀疲勞等級(jí)。為了更直觀地比較眼球運(yùn)動(dòng)的變化，第一段和第四段采用了相同的視頻。每個(gè)實(shí)驗(yàn)持續(xù)18 min，受試者直到實(shí)驗(yàn)結(jié)束才休息。眼動(dòng)儀在整個(gè)觀看過(guò)程中記錄眼球運(yùn)動(dòng)數(shù)據(jù)。為方便后續(xù)分析，將數(shù)據(jù)進(jìn)行分段處理。由于平均注視時(shí)長(zhǎng)大多在300～500 ms 之間，為保證數(shù)據(jù)段內(nèi)注視數(shù)據(jù)和掃視數(shù)據(jù)的可分析性，以10 s 為單位對(duì)數(shù)據(jù)進(jìn)行劃分。

表4 catboost 模型參數(shù)設(shè)置Tab.4 Catboost model parameter settings

圖4 實(shí)驗(yàn)流程Fig.4 Procedure of experiment

本實(shí)驗(yàn)為任務(wù)驅(qū)動(dòng)，因此在視頻觀看期間，受試者被要求計(jì)數(shù)指定目標(biāo)人物的接球次數(shù)，并在每段視頻后將計(jì)數(shù)結(jié)果告知研究人員。為保證受試者達(dá)到一定的視覺(jué)疲勞但又不會(huì)對(duì)參與者造成傷害，實(shí)驗(yàn)設(shè)置近距離觀看時(shí)長(zhǎng)為16 min。在實(shí)驗(yàn)結(jié)束后，所有的受試者都表示他們的眼睛非常疲勞，達(dá)到了實(shí)驗(yàn)?zāi)康摹?/p>

2.4 實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)需要采集主觀評(píng)價(jià)分?jǐn)?shù)與客觀眼動(dòng)指標(biāo)。主觀評(píng)價(jià)采用主觀問(wèn)卷的方法，評(píng)價(jià)項(xiàng)目包括“模糊”、“眼痛”、“眼干”、“眩暈”、“惡心”、“體勞”，采用4 分制打分，打分越高癥狀越明顯。主觀打分量表如表1 所示。對(duì)以上6 個(gè)結(jié)果分?jǐn)?shù)進(jìn)行加權(quán)平均，得出最終的視覺(jué)疲勞水平。

客觀眼動(dòng)指標(biāo)包括注視、掃視、眨眼等行為，其中注視指人眼在屏幕上某點(diǎn)做一段時(shí)間的停留，掃視指人眼在兩個(gè)注視點(diǎn)之間快速移動(dòng)，眨眼指人眼快速或緩慢的張開閉合。以上眼動(dòng)指標(biāo)可通過(guò)眼動(dòng)儀進(jìn)行采集，眼動(dòng)儀采樣頻率為300 Hz，記錄的數(shù)據(jù)包括人眼的瞳孔直徑、人眼相對(duì)屏幕左上角的三維空間坐標(biāo)和在屏幕上的注視點(diǎn)坐標(biāo)以及注視、掃視、眨眼3 種有用眼動(dòng)類型及其對(duì)應(yīng)的時(shí)間戳。

對(duì)眼動(dòng)儀導(dǎo)出的數(shù)據(jù)進(jìn)行整理，以10 s 分段，通過(guò)對(duì)3 種眼動(dòng)類型進(jìn)行次數(shù)統(tǒng)計(jì)，得到10 s內(nèi)注視次數(shù)、掃視次數(shù)和眨眼次數(shù)。根據(jù)各眼動(dòng)類型對(duì)應(yīng)的時(shí)間戳，通過(guò)計(jì)算開始和結(jié)束的時(shí)間戳之差，得到總注視時(shí)長(zhǎng)、平均注視時(shí)長(zhǎng)、總掃視時(shí)長(zhǎng)、平均掃視時(shí)長(zhǎng)、總眨眼時(shí)長(zhǎng)、平均眨眼時(shí)長(zhǎng)。根據(jù)人眼在屏幕上的注視點(diǎn)像素坐標(biāo)，通過(guò)計(jì)算相鄰兩注視點(diǎn)間的歐氏距離，得到總掃視長(zhǎng)度、平均掃視長(zhǎng)度、掃視角度。通過(guò)眼睛在注視點(diǎn)處的微掃視像素坐標(biāo)，計(jì)算所有微掃視點(diǎn)相對(duì)中心點(diǎn)的歐式距離得到微掃視指標(biāo)。根據(jù)掃視時(shí)長(zhǎng)和掃視長(zhǎng)度，得到掃視速度。此外，眼動(dòng)儀可直接得到左右眼瞳孔直徑。通過(guò)處理，可以得到以10 s為單位的16 種客觀眼動(dòng)特征。

3 特征分析與建模

3.1 16 種眼動(dòng)行為隨視疲勞的變化趨勢(shì)

完成整個(gè)實(shí)驗(yàn)流程之后，對(duì)受試者觀看4 個(gè)視頻片段時(shí)采集到的眼動(dòng)數(shù)據(jù)進(jìn)行分析整理，得到16 種眼球運(yùn)動(dòng)指標(biāo)在4 段視頻內(nèi)的平均值，如表2 所示。最后一列顯示了眼動(dòng)數(shù)據(jù)的變化趨勢(shì)，包括向上、向下和波動(dòng)。

（1）注視指標(biāo)。注視描述了眼睛在某一區(qū)域相對(duì)靜止的眼動(dòng)行為［7-8］。本文分析了3 個(gè)注視指標(biāo)，即注視次數(shù)、總注視時(shí)長(zhǎng)和平均注視時(shí)長(zhǎng)。根據(jù)表2 的結(jié)果，總注視時(shí)長(zhǎng)和平均注視時(shí)長(zhǎng)都呈下降趨勢(shì)，表明受試者越來(lái)越難瞄準(zhǔn)目標(biāo)且無(wú)意義的掃視活動(dòng)逐漸增加。注視次數(shù)保持在19～21 之間波動(dòng)的變化不明顯，可能是受試者主觀調(diào)控的原因。

（2）掃視指標(biāo)。掃視是指連接注視點(diǎn)的最佳視覺(jué)搜索指標(biāo)［9-10］。本文分析了8 個(gè)掃視指標(biāo)：3 個(gè)距離相關(guān)指標(biāo)——平均掃視長(zhǎng)度、總掃視長(zhǎng)度和掃視角度；3 個(gè)時(shí)間相間相關(guān)指標(biāo)——平均掃視時(shí)長(zhǎng)、總掃視時(shí)長(zhǎng)和掃視次數(shù)；速度指標(biāo)——掃視速度；與注視相關(guān)的指標(biāo)——注視時(shí)的微掃視［11-14］。如表2 所示，掃視長(zhǎng)度的變化趨勢(shì)呈波動(dòng)狀，這可能與實(shí)驗(yàn)設(shè)計(jì)有關(guān)。由于實(shí)驗(yàn)是任務(wù)驅(qū)動(dòng)型，受試者需要計(jì)算目標(biāo)對(duì)象的接球次數(shù)，因此不同于自由觀看，球和目標(biāo)對(duì)象的移動(dòng)會(huì)影響受試者的眼球運(yùn)動(dòng)軌跡。本文將掃視角度定義為-180°～180°，其中負(fù)值表示向下掃視，因此掃視角度呈上升趨勢(shì)，表明隨著視疲勞增加，人眼會(huì)逐漸傾向于向上掃視。此外，掃視持續(xù)時(shí)間增加，表明受試者無(wú)意義的掃視活動(dòng)增多，無(wú)法很好地捕捉物體，表明視覺(jué)疲勞加重。掃視速度呈下降趨勢(shì)，表明疲勞會(huì)降低中樞神經(jīng)系統(tǒng)的活性［10］。微掃視指標(biāo)指的是振幅最大、速度最快的注視型眼動(dòng)，是在人眼試圖注視時(shí)產(chǎn)生的一種不自主的眼球運(yùn)動(dòng)。在文獻(xiàn)［11］中提到，注意力等認(rèn)知過(guò)程可以調(diào)節(jié)微掃視的產(chǎn)生，從而在不同的時(shí)間點(diǎn)動(dòng)態(tài)地增強(qiáng)或抑制視覺(jué)信息。微掃視的增加可能是由于受試者的疲勞加劇，以至于注視時(shí)掃視增多，無(wú)法很好地凝視一點(diǎn)。在以上所有掃視指標(biāo)中，掃視長(zhǎng)度較易受到實(shí)驗(yàn)任務(wù)的影響，掃視時(shí)間、掃視速度和微掃視受自主性控制相對(duì)較少，因此它們可以更準(zhǔn)確地表示潛在的神經(jīng)活動(dòng)。

表2 4 個(gè)視頻片段內(nèi)眼動(dòng)特征的平均值及變化趨勢(shì)Tab.2 Average values and the trend of each 4-segment videos eye movement

（3）眨眼指標(biāo)。本文分析了3 個(gè)眨眼指標(biāo)——眨眼次數(shù)、總眨眼時(shí)間和平均眨眼時(shí)間。如表2 所示，眨眼持續(xù)時(shí)間呈增加趨勢(shì)，與相關(guān)神經(jīng)元放電速率降低有關(guān)［15］。而眨眼次數(shù)呈先增加后減少趨勢(shì)，眨眼次數(shù)減少可能受自主控制影響。

（4）瞳孔直徑。如表2 所示，瞳孔直徑先增大后減小。根據(jù)疲勞對(duì)瞳孔變化影響的研究［16］，工作負(fù)荷的增加導(dǎo)致主動(dòng)疲勞（由知覺(jué)活動(dòng)的協(xié)調(diào)參與引起的疲勞），從而導(dǎo)致瞳孔直徑的增加。長(zhǎng)時(shí)間工作會(huì)導(dǎo)致被動(dòng)疲勞（由長(zhǎng)期單調(diào)反應(yīng)引起的疲勞），并導(dǎo)致瞳孔直徑縮小。

3.2 16 種眼動(dòng)特征與視疲勞的相關(guān)性

在模型建立之前，根據(jù)16 個(gè)眼動(dòng)特征與主觀疲勞的相關(guān)性對(duì)眼動(dòng)特征進(jìn)行排序。本文使用兩種嵌入式特征評(píng)估方法：隨機(jī)森林［28］（RF）和catboost 集成樹模型。隨機(jī)森林是經(jīng)典的基于bagging 方式做集成來(lái)提升基本決策樹模型性能的集成模型；Catboost是2017年發(fā)布的基于boosting 方式逐步迭代決策樹模型來(lái)提高擬合效果的并行計(jì)算模型，能很好地處理類別特征。

本文在數(shù)據(jù)集上完成隨機(jī)森林（RF）和catboost 模型的訓(xùn)練后，可以獲得每個(gè)特征對(duì)模型的重要性排名，排名越高，特征就越重要。表3 列出了不同評(píng)估指標(biāo)下所有眼動(dòng)特征的排名。RF和catboost 的排名有一定的相似性。在不同的特征評(píng)估方法中，相關(guān)性高的眼動(dòng)特征排名均靠前，而不重要或信息較少的特征排名均較低。例如，在兩種評(píng)估方法中，掃視角度和微掃視都排在前兩位，而掃視長(zhǎng)度由于受實(shí)驗(yàn)任務(wù)和自主性控制影響而排名靠后。將權(quán)重平均分配給RF 和catboost，以獲得綜合特征排名。綜合結(jié)果計(jì)算如式（1）所示：

其中：Score(RF)表示采用隨機(jī)森林得到的重要性分?jǐn)?shù)，Score(CatBoost)表示采用catboost 計(jì)算的分?jǐn)?shù)。對(duì)二者進(jìn)行加權(quán)平均，得到綜合特征分?jǐn)?shù)，其排序如表3 最后一列所示。

表3 不同特征選擇算法的特征排序結(jié)果Tab.3 Feature ranking results of different feature selection algorithms

3.3 模型建立

本文根據(jù)16 種客觀眼動(dòng)特征和4 分類主觀疲勞分?jǐn)?shù)的對(duì)應(yīng)關(guān)系，建立了一個(gè)分類模型，由前饋神經(jīng)網(wǎng)絡(luò)和梯度提升決策樹模型融合而成。對(duì)于前饋神經(jīng)網(wǎng)絡(luò)部分，自行設(shè)計(jì)和優(yōu)化網(wǎng)絡(luò)的整體架構(gòu)以及激活單元、層數(shù)和學(xué)習(xí)率等超參數(shù)，應(yīng)用基于梯度下降的反向傳播算法，學(xué)習(xí)得到預(yù)測(cè)視疲勞等級(jí)的前饋神經(jīng)網(wǎng)絡(luò)模型。將其與梯度提升決策樹模型的預(yù)測(cè)結(jié)果集成，建立最終的組合預(yù)測(cè)模型。

3.3.1 數(shù)據(jù)處理

實(shí)驗(yàn)數(shù)據(jù)包括17 名受試者18 min 的眼動(dòng)數(shù)據(jù)，將其以10 s 進(jìn)行等間隔劃分，提取10 s 內(nèi)的16 種眼動(dòng)指標(biāo)，得到的數(shù)據(jù)樣本共1 836 份。將數(shù)據(jù)集隨機(jī)分為10 份，使用3 份作為驗(yàn)證集，其余7 份作為訓(xùn)練集。在訓(xùn)練集上建立視疲勞等級(jí)預(yù)測(cè)模型并對(duì)驗(yàn)證集中的視疲勞等級(jí)進(jìn)行測(cè)試，將預(yù)測(cè)時(shí)的準(zhǔn)確率作為衡量模型的標(biāo)準(zhǔn)。

為避免模型過(guò)擬合，本文借鑒交叉驗(yàn)證的方法訓(xùn)練模型，即將上述過(guò)程重復(fù)10 次，每次選取的訓(xùn)練集與驗(yàn)證集數(shù)據(jù)都不完全相同。將10 次訓(xùn)練誤差求平均作為實(shí)際訓(xùn)練誤差，進(jìn)行反向傳播以調(diào)整模型參數(shù)；并將10 次測(cè)試準(zhǔn)確率求平均作為實(shí)際測(cè)試準(zhǔn)確率，評(píng)估模型性能。通過(guò)上述方法，模型可以有10 種不同輸入，從而不會(huì)僅對(duì)其中一種輸入過(guò)分?jǐn)M合。采用交叉驗(yàn)證的方式，可以很好地減少過(guò)擬合風(fēng)險(xiǎn)。

在訓(xùn)練模型前需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化、類別標(biāo)簽編碼、缺失值和異常值處理4 部分預(yù)處理工作。數(shù)據(jù)標(biāo)準(zhǔn)化能夠有效加速模型學(xué)習(xí)時(shí)的收斂速度，此外，由于受試者之間存在個(gè)體差異，基于各個(gè)受試者進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化可以統(tǒng)一數(shù)據(jù)分布，使分析更合理。分別對(duì)各個(gè)受試者的16 項(xiàng)眼動(dòng)特征通過(guò)均值和方差進(jìn)行標(biāo)準(zhǔn)化，公式如式（2）所示：

其中：X為原始數(shù)據(jù)，μ和σ分別為數(shù)據(jù)的均值和方差，X'為數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化后的結(jié)果。

數(shù)據(jù)中的標(biāo)簽需要對(duì)其進(jìn)行one-hot 編碼，又稱一位有效編碼，其方法是使用N位狀態(tài)寄存器對(duì)N個(gè)狀態(tài)進(jìn)行編碼，每個(gè)狀態(tài)都有獨(dú)立的寄存器位，并且在任意時(shí)刻，其中只有一位有效。例如，當(dāng)?shù)燃?jí)標(biāo)簽為4 時(shí)，經(jīng)過(guò)編碼后變?yōu)椋?，0，0，1］的四維向量。

經(jīng)過(guò)缺失值和異常值檢測(cè)可以發(fā)現(xiàn)，在1 836份數(shù)據(jù)樣本中不存在缺失值，但存在部分異常值需要剔除。為確保訓(xùn)練的準(zhǔn)確性，通過(guò)箱線圖過(guò)濾數(shù)據(jù)中的異常值。如圖5 所示，以標(biāo)準(zhǔn)化后的左眼瞳孔直徑為例，將數(shù)據(jù)按順序排列，Q1～Q3分別代表下四分位數(shù)、中位數(shù)和上四分位數(shù)。根據(jù)式（3）、式（4）過(guò)濾異常值“X”：

圖5 采用箱線圖篩選左眼瞳孔直徑散點(diǎn)圖異常值Fig.5 Screening the outlier of the scatter plot of the pupil diameter of the left eye with the box chart

IQR 表示下四分位數(shù)與上四分位數(shù)之差，處于上四分位數(shù)減1.5 倍IQR 以及下四分位數(shù)加1.5 倍IQR 之間的數(shù)是較為合理的，范圍之外的數(shù)被認(rèn)為是異常值并進(jìn)行替換，替換方式為鄰近數(shù)值求平均。

3.3.2 模型設(shè)計(jì)

本文模型包括兩個(gè)部分，分別為前饋神經(jīng)網(wǎng)絡(luò)和梯度提升決策樹。其中前饋神經(jīng)網(wǎng)絡(luò)部分采用兩層的結(jié)構(gòu)，如圖6 所示，即除輸入層之外，兩層結(jié)構(gòu)包括一層隱藏層和一層輸出層。

圖6 前饋神經(jīng)網(wǎng)絡(luò)Fig.6 Feedforward neural network

激活函數(shù)選擇非線性的整流單元（RELU）：

將0 和輸入值中較大的值作為輸出，實(shí)現(xiàn)對(duì)z的非線性處理。

網(wǎng)絡(luò)的超參數(shù)設(shè)置對(duì)于模型預(yù)測(cè)的準(zhǔn)確度具有重要影響。網(wǎng)絡(luò)節(jié)點(diǎn)配置和超參數(shù)初始值設(shè)置如下：隱藏層神經(jīng)元個(gè)數(shù)為128，dropout 為0.1，learning rate 為0.03，訓(xùn)練和測(cè)試的batch size 分別為1 428 和612，epoch num 為100。

模型的損失函數(shù)定義為交叉熵?fù)p失函數(shù)CEloss（cross entropy loss），其公式如式（6）、式（7）所示：

公式（6）表示將結(jié)果取指數(shù)并進(jìn)行歸一化，將歸一化后0～1 的結(jié)果取對(duì)數(shù)。公式（7）中yk是one_hot 編碼后的數(shù)據(jù)標(biāo)簽，與log_softmax 的結(jié)果相乘并求和，取負(fù)值作為最終的損失函數(shù)值。

然而，神經(jīng)網(wǎng)絡(luò)也有局限性。隨著神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)深度增加，模型容量與復(fù)雜度隨之提升。模型參數(shù)增多會(huì)導(dǎo)致調(diào)優(yōu)復(fù)雜且模型可解釋性降低，同時(shí)更容易發(fā)生過(guò)擬合。

機(jī)器學(xué)習(xí)中另一大類算法——樹模型，則可以通過(guò)學(xué)習(xí)數(shù)據(jù)的分層結(jié)構(gòu)實(shí)現(xiàn)根據(jù)數(shù)據(jù)集的性質(zhì)調(diào)整模型的復(fù)雜度，在數(shù)據(jù)量有限且特征質(zhì)量一般的情況下相較于神經(jīng)網(wǎng)絡(luò)更具優(yōu)勢(shì)并且具有更好的模型可解釋性。這類算法的經(jīng)典模型是1963 年提出的決策樹模型，其通過(guò)計(jì)算節(jié)點(diǎn)分裂時(shí)的純度變化和剪枝可自動(dòng)實(shí)現(xiàn)特征的選擇。但單棵決策樹往往存在穩(wěn)定性差、不同預(yù)測(cè)樣本結(jié)果方差高的問(wèn)題。因此實(shí)際應(yīng)用通常使用隨機(jī)森林或梯度提升決策樹等集成樹模型，兩者分別通過(guò)并行和串行的模式集成多棵決策樹以有效降低模型的方差。

綜上所述，我們使用具有復(fù)雜非線性擬合能力的前饋神經(jīng)網(wǎng)絡(luò)模型和梯度提升決策樹的模型，并將兩者組合作為本問(wèn)題的預(yù)測(cè)模型。其中，catboost 模型的參數(shù)設(shè)計(jì)如表4 所示。

3.3.3 模型結(jié)果

基于3.2 節(jié)中提到的特征選擇算法，將綜合排名靠前的前i個(gè)特征分別作為模型的輸入，驗(yàn)證模型在不同數(shù)量特征集上的分類性能。如表5所示，第一列表示將特征排序中的前i個(gè)特征作為輸入特征集，例如，當(dāng)i=5 時(shí)，表示綜合特征排序在前5 名的眼動(dòng)特征，對(duì)應(yīng)表3 最后一列的前5 名特征。表5 的后三列分別表示當(dāng)前輸入特征集在3 種模型下的分類準(zhǔn)確率，第一個(gè)模型表示僅使用前饋神經(jīng)網(wǎng)絡(luò)，第二個(gè)模型表示僅使用梯度提升決策樹catboost 模型，第三個(gè)模型表示前饋神經(jīng)網(wǎng)絡(luò)與catboost 的融合模型。

表5 前i 個(gè)特征的分類準(zhǔn)確率Tab.5 Classification accuracy of top i feature

根據(jù)表5 列舉的準(zhǔn)確率，前饋神經(jīng)網(wǎng)絡(luò)和catboost 模型的預(yù)測(cè)準(zhǔn)確率達(dá)到了相似的結(jié)果，均在70%～80%。此外，不同的輸入特征集對(duì)模型性能有一定的影響，隨著輸入特征的增多，模型的分類準(zhǔn)確率呈上升趨勢(shì)。當(dāng)特征數(shù)量為15 時(shí)，模型的準(zhǔn)確度達(dá)到最高值，融合模型的分類準(zhǔn)確率此時(shí)為82%。相較以往的研究［24］——觀看3D電影引起的視疲勞的預(yù)測(cè)模型，本文提出的模型對(duì)于任務(wù)場(chǎng)景下更復(fù)雜的眼動(dòng)行為，可以更好地進(jìn)行視疲勞四等級(jí)的預(yù)測(cè)。但當(dāng)特征集大小為16 時(shí)，測(cè)試分類準(zhǔn)確率降低，可能是“總掃視長(zhǎng)度”特征與視覺(jué)疲勞之間的相關(guān)性太低，這一點(diǎn)與預(yù)期相符。盡管在以往的研究中掃視長(zhǎng)度可以作為評(píng)估視覺(jué)疲勞的指標(biāo)，然而在任務(wù)驅(qū)動(dòng)下，掃視長(zhǎng)度受主觀控制影響較大，隨目標(biāo)移動(dòng)而變化，導(dǎo)致其無(wú)法很好地衡量視覺(jué)疲勞。

上述實(shí)驗(yàn)說(shuō)明，本文選取的客觀眼動(dòng)指標(biāo)可以較好地評(píng)估任務(wù)驅(qū)動(dòng)下3D 觀看的視覺(jué)疲勞，且基于以上眼動(dòng)指標(biāo)建立的融合模型可以對(duì)視覺(jué)疲勞等級(jí)進(jìn)行較為準(zhǔn)確的預(yù)測(cè)。

為驗(yàn)證模型的普適性，本文在改變刺激材料以及觀看距離的條件下，統(tǒng)計(jì)了模型預(yù)測(cè)視疲勞的準(zhǔn)確率。如圖7 所示，本文將任務(wù)改為多人動(dòng)態(tài)場(chǎng)景下進(jìn)行四則運(yùn)算，同時(shí)將受試者觀看距離增加到145 cm。實(shí)驗(yàn)總時(shí)長(zhǎng)仍為18 min，分為4 段4 min 視頻，并在每段視頻觀看結(jié)束后進(jìn)行30 s 的問(wèn)卷調(diào)查。在整個(gè)實(shí)驗(yàn)過(guò)程中，對(duì)記錄的眼動(dòng)數(shù)據(jù)進(jìn)行如3.3.1 節(jié)的處理后，將眼動(dòng)特征輸入訓(xùn)練好的模型，并將模型的輸出與主觀疲勞等級(jí)進(jìn)行比較，得到最高預(yù)測(cè)準(zhǔn)確率為79%。此結(jié)果證明了模型在任務(wù)驅(qū)動(dòng)型實(shí)驗(yàn)中的普適性，同時(shí)證明不同觀看條件影響疲勞的變化但不影響眼動(dòng)特征與主觀疲勞的對(duì)應(yīng)關(guān)系。

圖7 實(shí)驗(yàn)刺激材料內(nèi)容Fig.7 Contents of experimental stimulus

4 結(jié) 論

本文提出了一種針對(duì)任務(wù)場(chǎng)景下觀看3D 視頻引起的視疲勞的等級(jí)評(píng)估模型，旨在采用觀看時(shí)的多種客觀眼動(dòng)指標(biāo)評(píng)估主觀視疲勞等級(jí)以實(shí)現(xiàn)對(duì)視疲勞的實(shí)時(shí)預(yù)測(cè)。該模型包括客觀眼動(dòng)特征的選取和模型建立，通過(guò)提取受試者在觀看時(shí)的眼動(dòng)數(shù)據(jù)處理得到16 種眼動(dòng)指標(biāo)，利用特征選擇算法對(duì)16 種特征進(jìn)行相關(guān)性分析，得到任務(wù)驅(qū)動(dòng)下能夠表征視覺(jué)疲勞的眼動(dòng)特征。采用前饋神經(jīng)網(wǎng)絡(luò)和梯度提升決策樹的融合模型，對(duì)客觀眼動(dòng)特征和主觀疲勞進(jìn)行映射建模。

經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，提取的眼動(dòng)特征可以有效評(píng)估任務(wù)驅(qū)動(dòng)下的視覺(jué)疲勞，且基于上述眼動(dòng)指標(biāo)建立的融合模型可以對(duì)視覺(jué)疲勞等級(jí)進(jìn)行較為準(zhǔn)確的預(yù)測(cè)，為醫(yī)療、A/VR 等領(lǐng)域任務(wù)驅(qū)動(dòng)下3D 視頻觀看的視疲勞評(píng)估提供了一種有效解決方案。