范子健，徐 晶，劉 威

(華中科技大學(xué)電子信息與通信學(xué)院,湖北 武漢 430074)

1 引言

隨著計算機(jī)技術(shù)和Internet的興起與發(fā)展，利用聯(lián)網(wǎng)的計算機(jī)進(jìn)行在線考試日益成為一種趨勢。目前，在線考試已成功應(yīng)用于托福、雅思、在線學(xué)習(xí)、企業(yè)招聘等領(lǐng)域。與此同時，由于在線考試時間與空間上的不確定性，如何有效監(jiān)測考試者的行為成為了一個愈發(fā)重要的課題[1]。

目前，在線考試監(jiān)測主要集中在考試者的身份識別方面。例如通過對比指紋驗證、虹膜識別、人臉識別、聲音識別等方式判別是否存在替考現(xiàn)象[2]。然而，這種方式忽略了考試者在考試過程中的異常行為?？荚囌叩男袨橥ǔ１憩F(xiàn)在姿態(tài)上的變化：正常的考試者正視顯示屏，雙手放置在桌面上進(jìn)行答題操作；而行為異常的考試者則會在考試過程中東張西望、交頭接耳、低頭查看資料等。

針對上述行為異常，傳統(tǒng)的方案主要采用攝像頭實時采集圖像，并由監(jiān)督者人工識別。近來一些圖像分析技術(shù)被引入監(jiān)測考試者的行為[3]。然而，這些基于2D圖像的識別方法存在著一定的局限性[4]。首先，2D圖像丟失了深度數(shù)據(jù)，無法精準(zhǔn)判別人體姿態(tài)；其次，這些方法針對光照等環(huán)境條件魯棒性較差。伴隨著體感技術(shù)的進(jìn)步，微軟體感測量儀Kinect可以利用紅外線測量深度信息并提供人體的骨骼位置和頭部偏轉(zhuǎn)角度信息，較之2D圖像識別更加準(zhǔn)確[5]。本研究組[6]前期利用Kinect采集的深度數(shù)據(jù)進(jìn)行人體輪廓分析，從而實現(xiàn)了對學(xué)生舉手、站立等行為的準(zhǔn)確識別。綜上所述，基于體感信息監(jiān)測考試者的異常行為成為一種新的解決方案。

值得注意的是，即使獲得了姿態(tài)數(shù)據(jù)，仍然面臨著如何判別考試者行為異常的難題。同樣的姿態(tài)在不同的情況下可能代表著不同的行為。例如同樣是頭部左右偏轉(zhuǎn)，可能是正常的放松行為，也可能是異常的左顧右盼等等。因此，依據(jù)單一的姿態(tài)特征難以準(zhǔn)確識別考試者的異常行為。

鑒于此，針對在線考試過程中考試者的行為監(jiān)測難題，本文給出了一套基于體感信息的考試者異常行為監(jiān)測解決方案，提出利用多維度體感信息判別考試者行為異常的方法，通過考試者行為事件的時間維度特征和頻次維度特征綜合判別考試者的當(dāng)前行為是否異常。

本文組織結(jié)構(gòu)如下所述：第2節(jié)介紹了本領(lǐng)域的相關(guān)工作；第3節(jié)詳細(xì)描述了監(jiān)測系統(tǒng)的設(shè)計方案以及基于多維度體感信息的考試者異常行為識別方法；第4節(jié)通過實驗驗證了監(jiān)測系統(tǒng)和識別方法的實際效果；最后第5節(jié)對全文進(jìn)行了總結(jié)與展望。

2 相關(guān)工作

Kinect是微軟開發(fā)并應(yīng)用于Xbox游戲機(jī)主機(jī)的體感設(shè)備，主要包含三個核心部件紅外線發(fā)射器、RGB彩色攝像機(jī)以及紅外線攝像機(jī)。其中，RGB彩色攝像機(jī)主要功能是采集彩色數(shù)據(jù)；紅外線發(fā)射器與紅外線攝像機(jī)共同構(gòu)成了3D結(jié)構(gòu)光深度傳感器，主要用于采集深度數(shù)據(jù)。通過對深度數(shù)據(jù)和彩色數(shù)據(jù)的分析，可以得到使用者的骨骼關(guān)節(jié)點(diǎn)位置信息以及頭部偏轉(zhuǎn)角度信息等。

作為三維深度傳感器，Kinect有著實時性強(qiáng)、價格低廉、精度高、魯棒性強(qiáng)等優(yōu)點(diǎn)，已被廣泛運(yùn)用于計算機(jī)視覺領(lǐng)域，特別是人的異常行為檢測方面。Bevilacqua等人[7]提出了室內(nèi)場景下的跌倒檢測方法。文獻(xiàn)[8]則將Kinect的音頻檢測以及骨骼檢測應(yīng)用到了人類攻擊性行為預(yù)警上；而文獻(xiàn)[9]則將Kinect與嵌入式系統(tǒng)結(jié)合，將之應(yīng)用在了駕駛員的疲勞檢測等方面。

近年來Kinect也出現(xiàn)了一些教育領(lǐng)域的應(yīng)用。例如,Armin等人[10]利用Kinect輔助聾啞學(xué)生的教學(xué)；Vermun等人[11]利用Kinect采集姿態(tài)信息來評估學(xué)生當(dāng)前的認(rèn)知狀態(tài)；Almohammadi等人[12]利用Kinect采集姿態(tài)信息并通過模糊判斷來計算學(xué)生上課時的專注程度。

基于體感信息的考試者行為監(jiān)測與教育領(lǐng)域的學(xué)生認(rèn)知狀態(tài)判別在方法和理論上有一定的相似性，但在線考試場景需要準(zhǔn)確識別考試者的異常行為，現(xiàn)有方案并不完全滿足在線考試監(jiān)測的需求?？荚囍械漠惓Ｐ袨橥ǔ１憩F(xiàn)出與正常行為類似的特征，不能通過單一的行為事件簡單判別考試者的行為，而需要根據(jù)行為事件的上下文對行為進(jìn)行綜合分析。由此，本文提出了基于多維度體感信息的考試者異常行為監(jiān)測方案。

3 監(jiān)測系統(tǒng)的設(shè)計與實現(xiàn)

3.1 系統(tǒng)框架

系統(tǒng)的設(shè)計框圖如圖1所示，主要由數(shù)據(jù)采集模塊、監(jiān)測引擎以及異常行為記錄模塊組成。Kinect采集到的原始體感測量數(shù)據(jù)經(jīng)過預(yù)處理后，由事件判別模塊處理為事件向量。監(jiān)測引擎不斷對到來的事件進(jìn)行統(tǒng)計分析，并依據(jù)行為模式規(guī)則綜合判別考試者行為異常。當(dāng)判定考試者的行為異常時，系統(tǒng)存檔記錄考試者異常行為前后一段時間內(nèi)的視頻數(shù)據(jù)以備查詢。

Figure 1 System framework圖1 系統(tǒng)框架圖

3.2 關(guān)鍵模塊

3.2.1 數(shù)據(jù)采集及預(yù)處理模塊

本系統(tǒng)通過微軟官方提供的Kinect API[13]獲取考試者的頭部偏轉(zhuǎn)信息和骨骼坐標(biāo)信息，即〈timestamp,pitch,yaw,(xl,yl,zl),(xr,yr,zr)〉。其中,timestamp表示采集到數(shù)據(jù)的時間戳，pitch表示頭部俯仰角，yaw表示頭部側(cè)轉(zhuǎn)角，(xl,yl,zl)與(xr,yr,zr)則用于表示手部坐標(biāo)。利用這些信息可以確定使用者的面部朝向和手部位置，進(jìn)而形成考試者的低頭、側(cè)頭和手部置于桌面下方等事件。本系統(tǒng)將頭部俯仰角、側(cè)轉(zhuǎn)角以及手部坐標(biāo)作為三個原始數(shù)據(jù)輸入流Xp、Xy和Xh。

由于Kinect的硬件限制，姿態(tài)測量數(shù)據(jù)存在不穩(wěn)定性現(xiàn)象。例如：當(dāng)頭部偏轉(zhuǎn)角度過大時，Kinect的頭部追蹤失效會導(dǎo)致測量數(shù)據(jù)丟失。一個頭部側(cè)轉(zhuǎn)角度實例數(shù)據(jù)可能為“25.01,0,0,0,25.03,0,0,25.06,0,25.08,…”，其中0值即為測量數(shù)據(jù)丟失。因此，需要對原始數(shù)據(jù)的0值進(jìn)行預(yù)處理，以消除其影響。鑒于人頭部偏轉(zhuǎn)的連續(xù)性，本文利用數(shù)據(jù)擬合的方法補(bǔ)齊丟失的數(shù)據(jù)。針對上述例子，預(yù)處理后的數(shù)據(jù)為“25.01,25.02,25.02,25.02,25.03,25.04,25.05,25.06,25.07,25.08,…”。

3.2.2 事件判別模塊

由此，事件判別模塊將數(shù)據(jù)流Xs映射為一個時間尺度上的行為事件向量，記為Vs=(e1,e2,…,ei,…),ei∈Es。整個考試過程中考試者的行為信息可以描述為V=〈Vp,Vy,Vh〉。

Table 1 Definition of single action event

3.2.3 監(jiān)測引擎

如前文所述，通過單一行為事件無法準(zhǔn)確識別考試者的行為。因此，本文提出了基于多維度體感信息的異常行為監(jiān)測引擎，如圖2所示，監(jiān)測引擎維持一個事件隊列，并不斷輪詢事件隊列中事件，讀取事件屬性，從時間維度以及頻次維度統(tǒng)計事件特征信息。

Figure 2 Event queue in detection圖2 監(jiān)測引擎的事件隊列

系統(tǒng)利用多維度特征參數(shù)σ、σs、n、ms定義考試者的異常行為模式。表2給出了若干參考異常行為模式的定義。

Table 2 Samples of misbehavior patterns

由此，系統(tǒng)通過匹配事件流的特征參數(shù)與異常行為模式，即可判別當(dāng)前考試者的行為是否異常。值得注意的是，系統(tǒng)中的模式匹配規(guī)則以XML文件的方式組織，擴(kuò)展性強(qiáng)，可以根據(jù)需求自行定義不同的模式以及相應(yīng)的判別參數(shù)。具體的規(guī)則定義將作為本文的后續(xù)工作。

4 結(jié)果測試

為了驗證方案的有效性，本文在實際場景下對系統(tǒng)進(jìn)行了實驗測試。

4.1 場景設(shè)置

如圖3所示，搭建一個單人的在線考試實驗場景。其中，電腦桌尺寸為90 cm*70 cm，Kinect距離地面的高度h=120 cm，Kinect離考試者的水平距離d=100 cm，Kinect初始俯角α=10°。結(jié)合實際場景，本文對考試者的事件判別條件中的閾值進(jìn)行設(shè)定，側(cè)頭的偏轉(zhuǎn)角度閾值為±10°，低頭的角度閾值為-15°。

Figure 3 Experiment scenario圖3 實驗場景示意圖

實驗分為數(shù)據(jù)預(yù)處理測試、行為識別功能測試以及實際監(jiān)測效果測試三個部分。預(yù)處理測試主要驗證了預(yù)處理的效果與必要性，在此基礎(chǔ)上進(jìn)一步驗證了本系統(tǒng)在模擬實驗環(huán)境以及真實考試過程中的異常行為識別效果。

4.2 實驗結(jié)果分析

4.2.1 數(shù)據(jù)預(yù)處理測試

圖4以考試者的低頭角度數(shù)據(jù)說明數(shù)據(jù)預(yù)處理效果，其中縱坐標(biāo)表示低頭角度，橫坐標(biāo)表示數(shù)據(jù)產(chǎn)生的時間。如圖4a所示，當(dāng)頭部偏轉(zhuǎn)到一定程度的時候，Kinect采集的數(shù)據(jù)出現(xiàn)丟失現(xiàn)象。圖4b表示預(yù)處理后的低頭角度數(shù)據(jù)。如果原始數(shù)據(jù)未經(jīng)過預(yù)處理，事件判別模塊可能會將單一的低頭事件誤判為多個低頭事件，從而造成監(jiān)測引擎的誤判。

Figure 4 Effect of data preprocessing on pitch angle data圖4 低頭角度數(shù)據(jù)預(yù)處理效果圖

4.2.2 行為識別功能測試

圖5為模擬實驗環(huán)境下的一些具有代表性的異常檢測結(jié)果。如圖5a所示，模擬考試者在該時間窗口內(nèi)擺頭休息。其中實景圖片表示幾個不同時刻考試者的實景截圖。下面的曲線圖中，左圖表示考試者的側(cè)頭角度的時間變化圖,中間圖表示低頭角度關(guān)于時間的變化圖,右圖表示考試者手部y坐標(biāo)關(guān)于時間的變化圖。當(dāng)考試者觸發(fā)事件時，相應(yīng)的類型狀態(tài)置為1,否則為0。經(jīng)統(tǒng)計分析可以得到時間維度信息σ1=0.28,σ2=0,σ3=0,σ=0.28與頻率維度信息m1=8,m2=0,m3=0,n=8。經(jīng)規(guī)則匹配σ<0.3，判定考試者行為正常。類似于圖5a，圖5b中的考試者發(fā)生行為異常，左顧右盼后低頭翻看資料，該過程的時間維度與頻率維度結(jié)果分別為σ1=0.24,σ2=0.26,σ3=0.26,σ=0.50和m1=4,m2=1,m3=1,n=6。由于滿足異常判別規(guī)則σ>0.3,n>5，因此判定考試者行為異常。

Figure 5 Detection results圖5 監(jiān)測結(jié)果

4.2.3 系統(tǒng)實際監(jiān)測效果測試

為了進(jìn)一步驗證本系統(tǒng)的異常行為識別效果，本文選取了20名在校大學(xué)生參與在線考試?？荚嚂r長60 min，考試過程全程錄像。考試結(jié)束后組織專家進(jìn)行錄像分析，判定各個考試者在考試期間的行為異常，專家的人工判別結(jié)果作為基準(zhǔn)。

此外，本實驗對比了簡單事件判別、頻次維度判別、多維事件判別三種識別方法在考試者異常行為監(jiān)測上的識別率和虛警率。其他兩種方法如下所述：

(1)簡單事件判別：僅僅通過一個單一的異常事件判別考試者的異常行為。

(2)頻次維度判別：僅僅通過分析異常事件的發(fā)生頻率判別考試者的行為異常。

三種不同方案的監(jiān)測結(jié)果如表3所示。

Table 3 Comparison results of three misbehavior recognition methods

簡單事件判別虛警率高達(dá)82%；頻次維度事件判別的識別率只有74%，虛警率卻仍然有23%；多維事件判別則在保證識別率達(dá)到89%的基礎(chǔ)上，虛警率僅有4%。綜上所述，本文提出的方案可以較為準(zhǔn)確地識別出在線考試過程中考試者的異常行為。

5 結(jié)束語

本文給出了一套基于體感信息進(jìn)行在線考試過程中考試者異常行為監(jiān)測的解決方案。通過Kinect采集的體感信息獲得考試者的行為事件，并從時間維度與頻率維度分析事件的特征，進(jìn)而判斷考試者的行為異常。實驗表明，本方案可以較為準(zhǔn)確地識別出在線考試過程中考試者的異常行為。在未來工作中，我們將繼續(xù)開展多維信息綜合判別規(guī)則的研究，并對綜合判別機(jī)制進(jìn)行完善，以減少測量誤差的影響。

[1] Castella-Roca J,Herrera-Joancomarti J,Dorca-Josa A.A secure e-exam management system[C]∥Proc of the 1st International Conference on Availability,Reliability and Security(ARES’06),2006: 864-871.

[2] Sungkur R K,Beekoo I,Bhookhun D L.An enhanced mechanism for the authentication of students taking online exams[C]∥Proc of IEEE AFRICON,2013: 1-5.

[3] Zhang Guo-ling, Fan Ying.Exam taker behavior recognition in video surveillance[J].Control Engineering of China,2016,23(4):512-516.(in Chinese)

[4] Hu W,Tan T,Wang L,et al.A survey on visual surveillance of object motion and behaviors[J].IEEE Transactions on Systems,Man,and Cybernetics,2004,34(3): 334-352.

[5] Han J,Shao L,Xu D,et al.Enhanced computer vision with microsoft kinect sensor: A review[J].IEEE Transactions on Cybernetics,2013,43(5): 1318-1334.

[6] Zhang Hong-yu,Liu Wei,Xu Wei,et al.Depth image based gesture recognition for multiple learners[J].Computer Science,2015,42(9): 299-302.(in Chinese)

[7] Bevilacqua V,Nuzzolese N,Barone D,et al.Fall Detection in indoor environment with kinect sensor[C]∥Proc of 2014 IEEE International Symposium on Innovations in Intelligent Systems and Applications (INISTA),2014: 319-324.

[8] Pang J M, Yap V V,Soh C S.Human behavioral analytics system for video surveillance[C]∥Proc of 2014 IEEE International Conference on Control System,Computing and Engineering (ICCSCE),2014: 23-28.

[9] Schwiegelshohn F,Hubner M.Design of an attention detection system on the Zynq-7000 SoC[C]∥Proc of 2014 International Conference on ReConFigurable Computing and FPGAs (ReConFig),2014: 1-6.

[10] Armin K,Mehrana Z,Fatemeh D.Using Kinect in teaching children with hearing and visual impairment[C]∥Proc of 2013 4th International Conference on E-Learning and E-Tea ching (ICELET),2013: 86-90.

[11] Vermun K,Senapaty M,Sankhla A,et al.Gesture-based affective and cognitive states recognition using kinect for effective feedback during e-learning[C]∥Proc of 2013 IEEE 5th International Conference on Technology for Education (T4E),2013: 107-110.

[12] Almohammadi K, Yao B,Alzahrani A,et al.An interval type-2 fuzzy logic based system for improved instruction within intelligent e-learning platforms[C]∥Proc of 2015 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE),2015: 1-9.

[13] Kinect for windows SDK[EB/OL].[2014-08]. https:∥msdn.microsoft.com/en-us/library/dn799271.aspx.

附中文參考文獻(xiàn)：

[3] 張國玲,范穎.視頻監(jiān)控中的考生異常行為識別[J].控制工程,2016,23(4): 512-516.

[6] 張鴻宇,劉威,許煒,等.基于深度圖像的多學(xué)習(xí)者姿態(tài)識別[J].計算機(jī)科學(xué),2015,42(9): 299-302.