熊碧輝 周后盤 黃經(jīng)州 阮益權(quán) 周里程

摘要：當(dāng)前利用計(jì)算機(jī)視覺技術(shù)檢測(cè)學(xué)生注意力的方法主要是基于人眼閉合特征和頭部偏轉(zhuǎn)特征。當(dāng)學(xué)生處于頭部正視、眼睛睜開而視線在看電腦屏幕以外區(qū)域時(shí)，用以上兩種特征無(wú)法檢測(cè)出該類分心情況。針對(duì)該問題，提出了一種融合視線檢測(cè)的注意力檢測(cè)方法。通過攝像頭抓取圖像，分析每幀圖像中學(xué)生的眼睛閉合特征、頭部偏轉(zhuǎn)特征以及視線特征，用以判別學(xué)生的注意力專注度。實(shí)驗(yàn)結(jié)果表明，融合視線的注意力檢測(cè)方法準(zhǔn)確性較高，具有一定的實(shí)用價(jià)值。

關(guān)鍵詞：在線教育；注意力檢測(cè)；頭部偏轉(zhuǎn)檢測(cè)；眼睛閉合檢測(cè)；視線檢測(cè)

DOI：10.11907/rjdk.173125

中圖分類號(hào)：TP301

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2018）007-0031-06

Abstract：Incurrentonlineeducation，theresearchmethodsofdetectingstudent′sattentionbasedoncomputervisionaremainlybasedonthecharacteristicsofhumaneyeclosureandheaddeflection，however，whenstudentsfacetothecomputerscreenbutlookatotherplaces，thisdistractioncanbedetectedbyapplyingneitherofthecharacteristicsmentionedabove.Tosolvethisproblem，anattentiondetectionmethodintegratedwitheyegazedetectionisproposed.Bycapturingpictureswiththecameraandanalyzingthecharacteristicsoftheeyeclosure，headdeflectionandlineofsightineachframe，thedegreeofastudent′sattractioncanbedetermined.Theexperimentalresultsshowthattheattentiondetectionmethodintegratedwitheyegazedetectionhashigheraccuracyindetectingstudentsattentionbehavior，andthushascertainpracticalvalue.

KeyWords：onlineeducation；attentiondetection；headdeflectiondetection；eyeclosuredetection；eyemovementdetection

0引言

近年來(lái)基于網(wǎng)絡(luò)的在線教育日趨普及，學(xué)生能在任何時(shí)間、任何地點(diǎn)學(xué)習(xí)，但該類無(wú)監(jiān)督的學(xué)習(xí)環(huán)境下師生無(wú)交流，難以確定學(xué)生是否認(rèn)真學(xué)習(xí)，此外，長(zhǎng)時(shí)間面對(duì)單調(diào)的電腦屏幕，學(xué)習(xí)效果受到影響，同時(shí)使得學(xué)生集體意識(shí)淡薄。因此，檢測(cè)學(xué)生注意力分散情況并給予提示尤為重要。

注意力檢測(cè)研究最廣的是駕駛員疲勞檢測(cè)，而在線教育領(lǐng)域注意力檢測(cè)研究則相對(duì)較少，其中通過計(jì)算機(jī)視覺技術(shù)檢測(cè)學(xué)習(xí)者注意力狀態(tài)的方法大多類似于駕駛員疲勞檢測(cè)方法，或在此基礎(chǔ)上融合生理特征檢測(cè)或行為檢測(cè)，如腦電波檢測(cè)、眼電圖檢測(cè)、心電圖檢測(cè)，或者通過監(jiān)測(cè)學(xué)習(xí)者的姿態(tài)、鼠標(biāo)鍵盤點(diǎn)擊行為等分析學(xué)習(xí)者的學(xué)習(xí)狀態(tài)[1-2]。余繞東[1]設(shè)計(jì)了一套智能注意力檢測(cè)系統(tǒng)，通過采集人臉、人眼信息并結(jié)合腦波檢測(cè)，分析學(xué)習(xí)者情感狀態(tài)，分別從顯式分心和隱式分心兩個(gè)層面實(shí)時(shí)檢測(cè)學(xué)習(xí)者是否分心，從而改善遠(yuǎn)程教育系統(tǒng)中情感缺失問題；盧希[2]利用Kinect傳感器采集學(xué)生的頭部姿態(tài)、面部表情等數(shù)據(jù)，分析學(xué)習(xí)者的學(xué)習(xí)狀態(tài)；吳滄海等[3]通過分析學(xué)習(xí)者面部表情、頭部姿態(tài)和眨眼頻率判別學(xué)習(xí)者注意力狀態(tài)。

該領(lǐng)域大多數(shù)方法對(duì)設(shè)備有一定要求，如文獻(xiàn)[2]中需要視線Kinect傳感器，還有要求使用高分辨率攝像頭或紅外光源，至于生理檢測(cè)方法則要求更高，需要在學(xué)習(xí)者身上放置傳感器，使學(xué)習(xí)者產(chǎn)生心理負(fù)擔(dān)。本文在研究相關(guān)方法后發(fā)現(xiàn)，在學(xué)生處于頭部正視、眼睛睜開但視線在電腦屏幕以外區(qū)域的情況下，僅依靠人臉特征和人眼特征無(wú)法檢測(cè)分心情況。借鑒駕駛員疲勞檢測(cè)中視線區(qū)域檢測(cè)方法，并考慮低分率攝像頭應(yīng)用條件，本文提出了一種融合視線檢測(cè)的多特征注意力檢測(cè)方法，對(duì)眼睛閉合檢測(cè)方法進(jìn)行改進(jìn)，從而整體上提高注意力檢測(cè)的準(zhǔn)確性。通過低分辨率攝像頭或筆記本電腦自帶攝像頭實(shí)時(shí)采集圖像，利用機(jī)器視覺技術(shù)分析學(xué)生學(xué)習(xí)過程中的注意力狀態(tài)，建立一個(gè)實(shí)施簡(jiǎn)單、實(shí)用性強(qiáng)的注意力檢測(cè)方法。

1注意力檢測(cè)算法

1.1算法概述

本文的注意力檢測(cè)場(chǎng)景為學(xué)生坐在電腦屏幕前，采用普通的低分辨率攝像頭抓取圖像，像素值約為30萬(wàn)。首先通過攝像頭抓取圖像，然后進(jìn)行人臉檢測(cè)，當(dāng)連續(xù)超過一定時(shí)間閾值檢測(cè)不到人臉時(shí)，判定學(xué)習(xí)者已離開坐席，反之進(jìn)入后續(xù)的頭部偏離檢測(cè)，頭部偏離不大（正視狀態(tài)）時(shí)檢測(cè)眼睛閉合特征和視線特征。每隔一段時(shí)間計(jì)算眼睛閉合幀數(shù)、頭部偏離幀數(shù)、視線偏離幀數(shù)占該時(shí)段內(nèi)總幀數(shù)的比值，并綜合分析3個(gè)特征的比值結(jié)果判定學(xué)生是否分心。注意力檢測(cè)流程見圖1。

1.2人臉檢測(cè)

考慮到實(shí)時(shí)性要求，人臉檢測(cè)采用Adaboost算法實(shí)現(xiàn)。該算法使用harr-like特征表示人臉，并使用“積分圖”加快計(jì)算，再級(jí)聯(lián)多個(gè)弱分類器構(gòu)造成一個(gè)強(qiáng)分類器提高檢測(cè)準(zhǔn)確率[4]。本文的人臉檢測(cè)分類器利用OpenCV計(jì)算機(jī)視覺庫(kù)中基于該算法的haar分類器訓(xùn)練得到。

1.3眼睛閉合檢測(cè)

采集到的眼睛截取圖片如圖2所示，上面兩幅為普通光照環(huán)境（光線明亮均勻，能夠清晰辨認(rèn)人臉），第三幅為弱光環(huán)境。由二值化后的圖可知，使用低分辨率攝像頭時(shí)，檢測(cè)眼睛的虹膜（眼球中的黑色區(qū)域）大小比較困難，光照不佳時(shí)更明顯。

對(duì)于低分辨率攝像頭下的眼睛閉合檢測(cè)，一種可行方法是檢測(cè)眼睛區(qū)域二值化后的積分投影圖并計(jì)算虹膜大小[5]。然而實(shí)際檢測(cè)中在閉合時(shí)眼角點(diǎn)明顯會(huì)有很大干擾，導(dǎo)致垂直投影所得到的眼高有誤。故本文利用眼睛輪廓計(jì)算眼睛寬高比值，再進(jìn)行眼睛閉合判別。

眼睛閉合檢測(cè)流程如圖3所示，為了縮小搜索范圍、加快計(jì)算速度，檢測(cè)到人臉后根據(jù)五官分布直接截取眼部圖片進(jìn)行檢測(cè)；預(yù)處理包括直方均衡化和二值化處理，輪廓檢測(cè)使用OpenCV的輪廓檢測(cè)函數(shù)findContour，橢圓擬合處理主要通過擬合得到的橢圓獲取眼睛輪廓寬高比值，由最小二乘法擬合算法[6]實(shí)現(xiàn)。

由圖4可知，橢圓擬合有多個(gè)結(jié)果，且眼睛閉合時(shí)擬合得到的眼高與實(shí)際不符，因此需設(shè)定規(guī)則獲取正確的眼睛輪廓寬高值：①剔除長(zhǎng)軸大小接近圖片寬度的橢圓；②剔除較小以及過大的橢圓；③剔除中心點(diǎn)過于靠近邊界區(qū)域的橢圓；④計(jì)算最終結(jié)果的橢圓區(qū)域面積與實(shí)際眼睛輪廓區(qū)域面積的比值。當(dāng)比值過大時(shí)，由輪廓區(qū)域面積和擬合橢圓得到的寬度值計(jì)算實(shí)際的高度值。

典型的過濾結(jié)果如圖5所示。最后一幅圖中橢圓擬合的高度與實(shí)際明顯不符，且橢圓擬合的橢圓面積與實(shí)際輪廓面積比值超過一定閾值，需使用規(guī)則4計(jì)算實(shí)際輪廓大小。

計(jì)算得到眼睛輪廓寬高比值，當(dāng)比值低于某一閾值（本文根據(jù)實(shí)驗(yàn)分析，閾值取0.2）時(shí)，判定該幀圖片中眼睛為閉合狀態(tài)。當(dāng)上述規(guī)則過濾后沒有結(jié)果時(shí)（檢測(cè)不到眼睛），同樣判定眼睛為閉合狀態(tài)。判定結(jié)果為眼睛閉合時(shí)，將程序中的眼睛閉合幀數(shù)統(tǒng)計(jì)值加1。

1.4視線檢測(cè)

已有的視線檢測(cè)方法通常采用灰度直方圖、LBP特征或傅里葉算子，提取人眼特征分析視線，這些方法主要基于人眼外觀特征，容易受到光線、膚色的影響[7-9]。本文的視線檢測(cè)方法通過分析虹膜中心相對(duì)于眼睛輪廓的位置關(guān)系判別視線。

1.4.1眼睛輪廓檢測(cè)

人眼輪廓檢測(cè)使用SDM檢測(cè)算法[10-12]，它是當(dāng)前檢測(cè)人臉特征點(diǎn)最流行的算法之一，速度快且穩(wěn)定。該方法使用無(wú)參數(shù)的形狀模型和SIFT特征，從而在復(fù)雜環(huán)境下也能有很好的檢測(cè)效果。

圖6中的點(diǎn)為手工標(biāo)記的人臉特征點(diǎn)，也是人臉特征點(diǎn)檢測(cè)中的最優(yōu)解x，圖7中的點(diǎn)是初始化時(shí)的特征點(diǎn)x0。

1.4.2虹膜中心定位

為避免光照影響，本文利用圖像梯度信息獲取虹膜中心位置，原理為圓形物體的中心點(diǎn)可通過分析圖像上的梯度向量獲取中心點(diǎn)[13]。圖8是一個(gè)眼球模擬圖形。

圖8中，c代表可能的瞳孔位置，黑色圓以外區(qū)域?yàn)殪柲^(qū)域（眼睛白色區(qū)域），該模型表示要求的圓心點(diǎn)與圖像梯度方向的關(guān)系，其中di為歸一化的位移矢量，gi為梯度向量，當(dāng)c為真正的圓心時(shí)，di和gi有相同的位移矢量，反之兩者將存在一個(gè)夾角。

在強(qiáng)光條件下瞳孔會(huì)產(chǎn)生亮瞳反應(yīng)，即在虹膜中心形成一個(gè)亮白點(diǎn)，計(jì)算出來(lái)的結(jié)果可能是一個(gè)最黑點(diǎn)或最白點(diǎn)，因此需要導(dǎo)入先驗(yàn)知識(shí)：瞳孔通常比皮膚和鞏膜的顏色要深，給每一個(gè)可能的中心點(diǎn)c賦予一個(gè)權(quán)值wc，其中顏色深的權(quán)值高于較亮區(qū)域的權(quán)值，通過以下公式求取實(shí)際圓心：

實(shí)際的虹膜中心檢測(cè)結(jié)果如圖9所示，對(duì)于頭部偏轉(zhuǎn)不大時(shí)檢測(cè)效果良好。

1.4.3視線分析

當(dāng)頭部處于正視、眼睛睜開的情況下，觀看不同區(qū)域時(shí)，主要變化為眼睛的睜開程度以及虹膜相對(duì)于眼睛輪廓的位置變化，如圖10所示。

簡(jiǎn)化后的人眼如圖11所示。

圖12為提取出來(lái)的人眼輪廓寬高以及虹膜中心相對(duì)于人眼輪廓的位置關(guān)系。

由圖12提取以下特征參數(shù)：

利用這3個(gè)特征參數(shù)構(gòu)成視線檢測(cè)的特征向量X（FeatureX，F(xiàn)eatureY，F(xiàn)eatureXY）。視線檢測(cè)由SVM訓(xùn)練的分類器進(jìn)行判別，SVM中傳入的特征向量為X，使用的樣本如圖13所示。將類別分為兩類：視線在電腦屏幕區(qū)域內(nèi)的為正樣本，標(biāo)記為A；視線在電腦屏幕區(qū)域外的為負(fù)樣本，標(biāo)記為B。

注意力檢測(cè)程序?qū)γ恳粠瑘D像進(jìn)行視線偏離檢測(cè)。當(dāng)檢測(cè)到視線偏離時(shí)，將視線偏離幀統(tǒng)計(jì)值加1。圖14為視線偏離檢測(cè)。

1.5頭部偏離檢測(cè)

頭部偏轉(zhuǎn)檢測(cè)通過預(yù)先建立三維模型，人工標(biāo)定三維模型的臉部特征點(diǎn)，再隨機(jī)旋轉(zhuǎn)平移這些特征點(diǎn)之后，通過相機(jī)成像模型投影得到二維點(diǎn)，從而獲得二維臉部特征點(diǎn)到頭部姿態(tài)的映射。根據(jù)SDM檢測(cè)出來(lái)的人臉特征點(diǎn)通過線性回歸，可得到頭部偏轉(zhuǎn)角度[14-15]。

設(shè)定頭部偏轉(zhuǎn)角度超過左右35°時(shí)判定為頭部偏離。對(duì)每一幀圖像進(jìn)行頭部偏轉(zhuǎn)檢測(cè)，當(dāng)檢測(cè)到頭部偏離時(shí)，將程序中的頭部偏離幀統(tǒng)計(jì)值加1。頭部檢測(cè)效果如圖15所示。

1.6注意力檢測(cè)分析

根據(jù)上述檢測(cè)算法中閉眼幀數(shù)、頭部偏離幀數(shù)、視線偏離幀數(shù)統(tǒng)計(jì)值，每隔一段時(shí)間計(jì)算閉眼幀數(shù)、頭部偏轉(zhuǎn)幀數(shù)、視線偏離幀數(shù)占總幀數(shù)的比值。當(dāng)比值超過一定閾值時(shí)即判定學(xué)生出現(xiàn)了分心情況。

該統(tǒng)計(jì)原理主要依據(jù)駕駛員疲勞檢測(cè)中常用的PERCLOS檢測(cè)算法[16]，其定義為單位時(shí)間（一般取1min或者30s）內(nèi)眼睛閉合一定比例（70%或80%）所占的時(shí)間，計(jì)算公式如下：

注意力檢測(cè)程序中，利用以上3個(gè)統(tǒng)計(jì)值，設(shè)計(jì)定時(shí)函數(shù)每隔3s，分別獨(dú)立計(jì)算該時(shí)段內(nèi)的閉眼幀數(shù)、頭部偏離幀數(shù)、視線偏離幀數(shù)占該時(shí)段內(nèi)總的幀數(shù)比值，并取3個(gè)比值中的最大值作為分心比值。當(dāng)比值大于某一閾值時(shí)（實(shí)驗(yàn)分析后設(shè)定為0.7）判別學(xué)生在該時(shí)段內(nèi)出現(xiàn)分心情況。

2實(shí)驗(yàn)設(shè)計(jì)與分析

2.1實(shí)驗(yàn)設(shè)計(jì)

本文算法在VS2013+OpenCV環(huán)境下實(shí)現(xiàn)，運(yùn)行于Inteli72.59GHz筆記本上，攝像頭為筆記本電腦自帶攝像頭，像素值24萬(wàn)，操作系統(tǒng)為Win10。通過分析一段樣本視頻來(lái)實(shí)時(shí)檢測(cè)分析學(xué)生的注意力狀態(tài)，該視頻長(zhǎng)度約為10分鐘，環(huán)境為普通光照環(huán)境。該采樣視頻要求學(xué)生在視頻前15秒保持學(xué)習(xí)狀態(tài)。為了獲得更好的檢測(cè)對(duì)比效果，學(xué)生無(wú)規(guī)律做出左顧右盼、眼睛閉合或視線偏離的分心動(dòng)作，并在其中穿插認(rèn)真學(xué)習(xí)的狀態(tài)。隨后使用單一的眨眼頻率特征和單一的頭部偏轉(zhuǎn)特征分析學(xué)習(xí)行為。結(jié)合眼睛閉合特征和頭部偏轉(zhuǎn)特征算法進(jìn)行檢測(cè)，使用融合視線檢測(cè)的本文算法檢測(cè)該樣本視頻并進(jìn)行對(duì)比分析。

2.2實(shí)驗(yàn)結(jié)果及分析

根據(jù)上述設(shè)計(jì)獲取實(shí)驗(yàn)數(shù)據(jù)后，選取其中區(qū)分較明顯的一部分?jǐn)?shù)據(jù)構(gòu)造曲線圖。圖17為單一眼睛閉合檢測(cè)和單一頭部偏轉(zhuǎn)檢測(cè)對(duì)比；圖18為多特征檢測(cè)，分別為眼睛閉合檢測(cè)加頭部偏轉(zhuǎn)檢測(cè)以及融合視線檢測(cè)的本文算法，利用多個(gè)特征中的最大分心比值作為最終結(jié)果判別學(xué)生是否分心。閾值取0.7，超過該閾值即判定學(xué)生在當(dāng)前檢測(cè)時(shí)段注意力分散。

實(shí)驗(yàn)分析結(jié)果如表1所示。

通過實(shí)驗(yàn)分析，使用了融合視線檢測(cè)的本文算法后，如圖18和圖19所示，視線偏離的分心漏檢情況在加入視線檢測(cè)后能夠被有效檢測(cè)到，并給予了相應(yīng)提示。

由表1可知，本文的注意力檢測(cè)準(zhǔn)確率高達(dá)89.3%，相對(duì)于只使用了眨眼頻率特征和頭部偏轉(zhuǎn)特征的傳統(tǒng)方法，準(zhǔn)確率有所提高，且明顯解決了視線偏離檢測(cè)不到的分心問題。

但本系統(tǒng)對(duì)于視線朝下的檢測(cè)效果不太理想，原因在于視線往下看時(shí)，眼睛表現(xiàn)為半睜開狀態(tài)，造成眼睛閉合特征檢測(cè)出現(xiàn)誤檢，以及虹膜相對(duì)于眼睛輪廓的位置變化只有幾個(gè)像素點(diǎn)，區(qū)分不明顯。

產(chǎn)生此問題原因在于圖像采集設(shè)備較為簡(jiǎn)單，導(dǎo)致圖片質(zhì)量不佳，此外采集的數(shù)據(jù)量不夠，分析有待完善。

3結(jié)語(yǔ)

融合視線特征的注意力檢測(cè)方法，適應(yīng)于低分辨率攝像頭，實(shí)施簡(jiǎn)單，對(duì)于學(xué)習(xí)過程中的瞌睡、視線偏離教學(xué)區(qū)域等分心行為都能有效檢測(cè)出來(lái)，整體檢測(cè)效果較好，具有較高的準(zhǔn)確性和實(shí)用價(jià)值。對(duì)于視線檢測(cè)中視線朝下的區(qū)分不明顯問題及眼睛半睜開狀態(tài)的眼睛閉合誤檢問題，還需進(jìn)一步優(yōu)化改進(jìn)。

參考文獻(xiàn)：

[1]余饒東.基于腦波與計(jì)算機(jī)視覺的注意力檢測(cè)技術(shù)在E-Learning中的應(yīng)用研究[D].昆明：昆明理工大學(xué)，2015.

[2]盧希.學(xué)習(xí)者在線學(xué)習(xí)狀態(tài)檢測(cè)工具的設(shè)計(jì)與實(shí)現(xiàn)[D].武漢：華中科技大學(xué)，2016.

[3]吳滄海，熊煥亮，王映龍.遠(yuǎn)程學(xué)習(xí)中學(xué)習(xí)狀態(tài)判斷的情感計(jì)算研究[J].軟件導(dǎo)刊：教育技術(shù)，2013，12（7）：24-27.

[4]畢雪芹，惠婷.基于膚色分割與AdaBoost算法的人臉檢測(cè)[J].國(guó)外電子測(cè)量技術(shù)，2015（12）：82-86.

[5]毛須偉，景文博，王曉曼，等.一種基于眼部狀態(tài)的疲勞駕駛檢測(cè)方法[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，39（2）：125-130.

[6]KANATANIK，RANGARAJANP.Hyperleastsquaresfittingofcirclesandellipses[J].ComputationalStatistics&DataAnalysis;，2011，55（6）：2197-2208.

[7]MANSOURYARM，STEILJ，SUGANOY，etal.3Dgazeestimationfrom2Dpupilpositionsonmonocularhead-mountedeyetrackers[C].BiennialACMSymposiumonEyeTrackingResearch&Applications.ACM;，2016：197-200.

[8]SATOY，SUGANOY，SUGIMOTOA，etal.Sensingandcontrollinghumangazeindailylivingspaceforhuman-harmonizedinformationenvironments[C].Human-HarmonizedInformationTechnology，Volume1.SpringerJapan，2016.

[9]FENGL，SUGANOY，OKABET，etal.Inferringhumangazefromappearanceviaadaptivelinearregression[C].InternationalConferenceonComputerVision，2011：153-160.

[10]CHENGY.Superviseddescentmethodbasedonappearanceandshapeforfacealignment[C].IEEEInternationalConferenceonServiceOperationsandLogistics，andInformatics，2016：184-189.

[11]XIONGX，TORREFDL.Superviseddescentmethodanditsapplicationstofacealignment[C].IEEEComputerVisionandPatternRecognition，2013：532-539.

[12]LICY，BALTRUSAITIST，MORENCYLP.Constrainedensembleinitializationforfaciallandmarktrackinginvideo[C].201712thIEEEInternationalConferenceonAutomaticFace&GestureRecognition;（FG2017），2017：697-704.

[13]TIMMF，BARTHE.Accurateeyecentrelocalisationbymeansofgradients[C].ProceedingsoftheSixthInternationalConferenceonComputerVisionTheoryandApplications，2015：125-130.

[14]DALALN，TRIGGSB.Histogramsoforientedgradientsforhumandetection[C].IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition，2005：886-893.

[15]馬召賓.融合眼部特征及頭部姿態(tài)的實(shí)時(shí)疲勞駕駛檢測(cè)技術(shù)研究[D].濟(jì)南：山東大學(xué)，2016.

[16]陳恒惕，王進(jìn)偉，丁云升，等.一種基于PERCLOS算法的汽車防疲勞駕駛枕設(shè)計(jì)[J].數(shù)字化用戶，2017，23（1）：168-169.

（責(zé)任編輯：杜能鋼）