趙梓辰 衛(wèi)來 陸小鋒

（1.上海大學(xué)通信與信息工程學(xué)院 上海市 200444 2.蒙特沃德學(xué)院（上海） 上海市 201201）

1 引言

當(dāng)今社會由信息驅(qū)動，閱讀對于個體的身心發(fā)展起著至關(guān)重要的作用。但是，有一群擁有正常智力、沒有明顯的神經(jīng)異常、有足夠的教育條件，卻依然表現(xiàn)出閱讀困難的人，這一類人群通常都有視覺功能障礙，如偏視、斜視等。目前，這樣的兒童，檢出率大概在4-8%。由此可以看出兒童注意力低下已經(jīng)成為一種常見的學(xué)習(xí)障礙。由于注意力低下的兒童在閱讀識字方面存在一定的困難，因此影響了他們正常的學(xué)習(xí)和生活。有調(diào)查顯示，兒童的厭學(xué)情緒與長大后面臨的就業(yè)壓力都與閱讀障礙有緊密聯(lián)系。尤其是小學(xué)階段的閱讀障礙兒童，在識字方面有困難不僅會影響其語文成績，由于對算術(shù)應(yīng)用題的題目不理解也會影響其數(shù)學(xué)成績，進(jìn)而對他們自我概念的形成產(chǎn)生了一定的影響。

注意力是指人的心理活動指向和集中于某種事物的能力[1]，目前的注意力評測方式主要有紙質(zhì)量表、行為觀察和專業(yè)儀器檢測等方法，隨著科學(xué)技術(shù)的不斷發(fā)展，視線跟蹤技術(shù)逐漸應(yīng)用于注意力的研究。視線跟蹤方法可分為基于2D回歸的視線估計方法、基于3D人眼模型的視線跟蹤方法、基于人眼外觀特征的視線跟蹤方法[2]。采用以上傳統(tǒng)方法的視線追蹤設(shè)備存在結(jié)構(gòu)復(fù)雜、傷害眼睛、價格高昂和使用步驟繁瑣等問題。

本項目研究了基于神經(jīng)網(wǎng)絡(luò)的視線追蹤單眼注視點估計模型算法，可估計雙眼各自的注視點坐標(biāo)，從而計算測試者閱讀時的兩眼平均差值，與傳統(tǒng)基于神經(jīng)網(wǎng)絡(luò)的注視點估計模型預(yù)測雙眼視線匯聚點坐標(biāo)不同?；诖怂惴Ｐ烷_發(fā)青少年注意力快速評價篩查系統(tǒng)，與使用傳統(tǒng)視線追蹤設(shè)備相比，不需要額外硬件設(shè)備，僅通過單目攝像頭即可實現(xiàn)視線追蹤，降低了測試門檻，操作簡單快速。系統(tǒng)使用注視點估計模型獲取青少年閱讀中的注視點坐標(biāo)，計算相應(yīng)眼動數(shù)據(jù)，從而評判青少年的注意力水平。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的視線追蹤研究

本系統(tǒng)通過基于神經(jīng)網(wǎng)絡(luò)的視線追蹤方法[3][4]，獲取青少年閱讀時的視線軌跡，計算相應(yīng)眼動數(shù)據(jù)，從而分析注意力水平。視線軌跡、眼動數(shù)據(jù)都可以通過青少年閱讀過程中雙眼在屏幕上的注視點坐標(biāo)來獲取。

2.1 視線追蹤注視點估計數(shù)據(jù)集構(gòu)建

注視點估計即估算人眼視線的落點，其一般場景是估計人在一個二維平面上的注視點，如手機屏幕、電腦屏幕等，而模型輸入的圖像則是這些設(shè)備的前置攝像頭拍攝的。現(xiàn)有的視線追蹤公開數(shù)據(jù)集有GazeCapture[3]、MPIIFaceGaze[5]等，但被采集者以成年人為主，不符合本項目系統(tǒng)的應(yīng)用場景，所以我們提出了一個全新的以青少年為主的視線追蹤數(shù)據(jù)集。

我們在屏幕中共預(yù)設(shè)35個目標(biāo)點依次隨機出現(xiàn)，每個目標(biāo)點持續(xù)4秒，采集過程中被測人依次注視出現(xiàn)的目標(biāo)十字，通過筆記本自帶攝像頭，在同一方位、同一角度下錄制各目標(biāo)點對應(yīng)的視頻幀。并使用dlib庫對圖像分割出臉部、左眼、右眼圖像作為模型輸入。如圖1所示。

圖1：屏幕中的35個標(biāo)定點

考慮到標(biāo)定點轉(zhuǎn)換時測試者會出現(xiàn)視線漂移的情況，為了確保樣本中測試者在注視標(biāo)定點，我們僅使用每個標(biāo)注點后3秒的注視圖像作為樣本數(shù)據(jù)。

本數(shù)據(jù)集共采集30個樣本，每個樣本共3150幀圖像，數(shù)據(jù)集總規(guī)模為9萬幀圖像。如圖2所示。

圖2：單眼注視點估計模型

2.2 視線追蹤注視點估計模型設(shè)計

我們的目標(biāo)是設(shè)計一種可以利用單一圖像信息來準(zhǔn)確預(yù)測注視點的方法，鑒于卷積神經(jīng)網(wǎng)絡(luò)（CNN）強大的特征提取能力，我們使用這種方法來解決注視點估計問題。模型網(wǎng)絡(luò)共有3個輸入信息：左眼或右眼圖像、臉部圖像、眼睛位置信息，輸出為2維屏幕上的注視點坐標(biāo)。因研究注意力問題需要單眼視線落點，所以我們的模型僅輸入單眼圖像，從而得到單眼的視線落點坐標(biāo)。該模型以頭部相對于相機的姿態(tài)以及眼睛相對于頭部的位置信息預(yù)測凝視的位置。

從原始圖像中截取眼睛圖像和臉部圖像，圖像尺寸轉(zhuǎn)換為224×224，眼部網(wǎng)格是一個二進(jìn)制掩膜，用于指示眼睛在所處原始圖像中的位置，大小為15×15。模型主要由卷積層（過濾器大小/內(nèi)核數(shù)量：卷積層E1，卷積層F1:11×11/96，卷積層E2，卷積層F2:5×5/256，卷積層E3，卷積層F3:3×3/384，卷積層E4，卷積層F4:1×1/64）和全連接層（大?。喝B接層E1:128，全連接層F1:128，全連接層F2:64，全連接層FG1:256，全連接層FG2:128，全連接層1:128，全連接層2:2）組成，為了更好地讓模型聚焦于關(guān)鍵特征，在卷積層中嵌入混合注意力模塊。網(wǎng)絡(luò)模型的總體架構(gòu)如圖2所示。

2.3 模型性能分析

我們將數(shù)據(jù)集以9:1的比例劃分為訓(xùn)練集與測試集，輸入模型訓(xùn)練進(jìn)行15次正向傳播和反向傳播，訓(xùn)練模型的硬件平臺配置為：顯卡：RTX 3080，顯存：10G，處理器：AMD 5800X，內(nèi)存：32G，訓(xùn)練時長共30個小時。同時，為了提高模型的精度，我們加入了微調(diào)的步驟：在進(jìn)行驗證模型前，使用同一樣本的注視不同標(biāo)定點的數(shù)據(jù)訓(xùn)練模型，之后再進(jìn)行驗證，微調(diào)時的數(shù)據(jù)采集條件均與數(shù)據(jù)集的采集條件一致。以13寸的顯示屏為基準(zhǔn)，模型的平均誤差為3.2cm。模型應(yīng)用平臺硬件配置為：顯卡：GTX1650Q，顯存：4G，處理器：intel i7-1065G7，內(nèi)存：16G，平均檢測時間在0.13s左右。

3 注意力快速評價篩查軟件設(shè)計與實現(xiàn)

將上述視線追蹤注視點估計算法應(yīng)用于青少年注意力快速評價篩查軟件。軟件通過單目攝像頭獲取青少年閱讀過程中的視頻，按幀截取后輸入注視點估計模型，得到青少年閱讀中每一幀圖像所對應(yīng)的注視點坐標(biāo)。

3.1 軟件設(shè)計流程

青少年注意力快速評價篩查軟件基于C#語言開發(fā)，軟件流程如下：測試者輸入信息，根據(jù)提示進(jìn)行面部姿態(tài)定位調(diào)整，之后閱讀指定材料并回答題目。系統(tǒng)截取閱讀過程的視頻幀輸入注視點估計模型，得到注視點坐標(biāo)后計算相關(guān)眼動數(shù)據(jù)，最后生成結(jié)果報告。軟件流程如圖3。

圖3：篩查軟件流程圖

進(jìn)入軟件首頁，測試者輸入姓名、性別、年齡信息；之后測試者根據(jù)提示，調(diào)整頭部姿態(tài)，與屏幕中的臉部框貼合，進(jìn)行校準(zhǔn)，校準(zhǔn)完成后保持此頭部姿態(tài)不變；最后進(jìn)入閱讀環(huán)節(jié)，被測者首先注視屏幕，選擇與自己年齡對應(yīng)的文章等級并閱讀屏幕中出現(xiàn)的短文，其次完成閱讀后進(jìn)行答題，確保測試數(shù)據(jù)的有效性。閱讀過程中前置單目攝像頭全程錄制視頻。軟件相關(guān)界面如圖4。

圖4：軟件界面圖

最終將閱讀過程中的視頻按幀截取，通過dlib庫截取對應(yīng)幀的左右眼及臉部圖像作為模型的輸入，輸出得到每一幀對應(yīng)的注視點坐標(biāo)。

3.2 注意力的評價指標(biāo)

我們感知世界的最主要途徑是視覺感知，大腦通過對獲得的視覺圖像進(jìn)行加工，來對眼動過程進(jìn)行調(diào)整，因此眼動數(shù)據(jù)與感知及其認(rèn)知存在著重要聯(lián)系。閱讀是一種最有效的評估和多感官體驗，所以系統(tǒng)通過分析青少年閱讀過程中眼動數(shù)據(jù)并結(jié)合閱讀效率，來評價青少年注意力問題。參考美國readingplus公司提供的閱讀測試方案，系統(tǒng)選擇了50篇英文文章，分為五個等級，對應(yīng)各個年齡階段的青少年。

對注視點坐標(biāo)從時間、空間上進(jìn)行分析計算，可得到相應(yīng)的眼動數(shù)據(jù)。系統(tǒng)共計算以下眼動數(shù)據(jù)：兩眼平均差值、回看時過度掃視次數(shù)、部分回看行數(shù)、總注視時間、丟失率、總回看次數(shù)[6][7]，并且為部分眼動數(shù)據(jù)制定相應(yīng)指標(biāo)，作為評判注意力的標(biāo)準(zhǔn)。

閱讀完成后，回答相應(yīng)問題，答題正確率達(dá)到60%證明測試者認(rèn)真閱讀了材料，此次測試數(shù)據(jù)為有效數(shù)據(jù)，正確率不作為視覺注意力的評判依據(jù)；兩眼平均差值作為主要評判標(biāo)準(zhǔn)，可反應(yīng)測試者閱讀過程中的雙眼相關(guān)性，數(shù)值越低，雙眼相關(guān)性越好。平均差值過高，測試者可能存在斜視、弱視等視覺疾病，選取5度作為評判標(biāo)準(zhǔn)，計算公式為：

（其中：n為總注視點個數(shù)，s為左右眼注視點距離，d為臉部與屏幕距離）；丟失率為注視點飄出屏幕有效范圍外占總注視次數(shù)的比值，標(biāo)準(zhǔn)指標(biāo)設(shè)為5%，若超出5%，該青少年閱讀過程中可能存在注意力不集中的問題；回看次數(shù)和過度掃視次數(shù)主要反應(yīng)青少年的閱讀習(xí)慣；部分回看行數(shù)、總注視時間，因各個青少年的英語基礎(chǔ)不同，而各不相同，作為輔助的判別依據(jù)。表1為某位青少年的閱讀眼動數(shù)據(jù)，圖5為該青少年的閱讀軌跡圖。

圖5：眼動軌跡圖

表1：閱讀中的眼動數(shù)據(jù)及指標(biāo)

由表1可知，該青少年答題正確率為90%，證明此次閱讀的眼動數(shù)據(jù)為有效數(shù)據(jù)；兩眼平均差值較低，不存在眼部視覺問題；丟失率較高，閱讀過程中可能存在注意力不集中的問題；過度掃視次數(shù)及回看次數(shù)過高，可能存在閱讀習(xí)慣問題。綜上，該青少年可能存在注意力問題，建議參加相關(guān)提高注意力水平的專業(yè)訓(xùn)練，并且改善閱讀習(xí)慣。

3.3 軟件測試

在某中學(xué)使用本系統(tǒng)測試了100個青少年，共篩查出35位可能存在注意力問題的青少年。本系統(tǒng)以12.9寸屏幕為基準(zhǔn)，注視點估計平均誤差為3.2cm，注視點平均估計算法運算時間為0.13秒，整體篩查時間在5min以內(nèi)，模型精度與檢測速度符合醫(yī)院專家提供的醫(yī)學(xué)臨床要求。

4 總結(jié)

該項目研究了基于神經(jīng)網(wǎng)絡(luò)的視線追蹤單眼注視點估計模型，基于此模型設(shè)計開發(fā)了青少年注意力快速評價篩查軟件，與傳統(tǒng)基于視線追蹤的注意力測評系統(tǒng)相比，本系統(tǒng)僅通過單目攝像頭即可完成測試，不需要額外的硬件設(shè)備，具有使用成本低、適用性強、操作簡單，不對眼部產(chǎn)生額外傷害等優(yōu)點，可以及時有效地篩選出可能存在注意力問題的青少年，讓他們進(jìn)行進(jìn)一步專業(yè)的檢測和治療。

參考相關(guān)文獻(xiàn)并結(jié)合專業(yè)醫(yī)師建議，系統(tǒng)共計算以下眼動數(shù)據(jù)：兩眼平均差值、過度掃視次數(shù)、部分回看行數(shù)、總注視時間、丟失率、回看次數(shù)，其中部分?jǐn)?shù)據(jù)作為注意力水平的評判標(biāo)準(zhǔn)。使用該系統(tǒng)在某中學(xué)測試了100位青少年，篩查出35位可能存在注意力問題的青少年，驗證了該系統(tǒng)可以有效篩查出可能存在注意力問題的青少年。