皮曙 馮驥

關(guān)鍵詞：智慧教育；機(jī)器學(xué)習(xí)；聚類算法；閱讀行為

智慧教育是指在教育領(lǐng)域（教育管理、教育教學(xué)和教育科研）全面深入地運(yùn)用現(xiàn)代信息技術(shù)來促進(jìn)教育改革與發(fā)展的過程。其技術(shù)特點(diǎn)是數(shù)字化、網(wǎng)絡(luò)化、智能化和多媒體化，基本特征是開放、共享、交互、協(xié)作。以教育信息化促進(jìn)教育現(xiàn)代化，用信息技術(shù)改變傳統(tǒng)模式，是提高人類自然智能的系統(tǒng)和過程。祝智庭教授認(rèn)為智慧教育的本質(zhì)是培養(yǎng)學(xué)生的自主學(xué)習(xí)能力和創(chuàng)新創(chuàng)造能力，推進(jìn)信息技術(shù)與教育教學(xué)深度融合以適應(yīng)創(chuàng)新時(shí)代對創(chuàng)新型人才的需求，其精神內(nèi)核是倫理道德和價(jià)值認(rèn)同，智慧教育強(qiáng)調(diào)文化、認(rèn)知、體驗(yàn)、行為的整合運(yùn)用[1]。而閱讀作為自主學(xué)習(xí)中重要的一環(huán)，在自主學(xué)習(xí)中有著不可取代的地位。因此，分析閱讀中的行為并提取有效信息進(jìn)行分析，有助于實(shí)現(xiàn)對學(xué)生的智能分析，以求實(shí)現(xiàn)智慧教育中針對不同的學(xué)習(xí)者制訂與之適應(yīng)的教學(xué)計(jì)劃，最后，智能地為學(xué)生定制資源、調(diào)整策略，以提升學(xué)習(xí)效率，提供可行性研究與基礎(chǔ)方法探索[2]。但是，目前關(guān)于這方面的研究較為稀少。而在目前存在的對于閱讀行為的研究中，其更多的是對閱讀時(shí)人閱讀書籍類別等進(jìn)行研究，關(guān)于視線方面的實(shí)際研究仍具有極大的意義。

基于以上的問題，文章從兩個(gè)方面開展閱讀行為的分析。其一，文章對閱讀時(shí)產(chǎn)生的視線軌跡進(jìn)行分析，并通過軌跡行數(shù)的計(jì)算為后續(xù)的行為分析奠定數(shù)據(jù)基礎(chǔ)。其二，文章研究了閱讀時(shí)的視線行為，并使用DBSCAN聚類算法對行為進(jìn)行劃分，對用戶各個(gè)行為及其占比進(jìn)行了分析。

1 研究現(xiàn)狀

針對智能教育的可行性與具體細(xì)節(jié)，國內(nèi)多位學(xué)者從多個(gè)角度開展了研究：鄭慶華等從數(shù)據(jù)，教學(xué)和平臺三個(gè)方向?qū)χ腔劢逃芯窟M(jìn)行了總結(jié)和歸納[3]；楊宗凱等從教育學(xué)的視角討論了信息化智能化對教育學(xué)發(fā)展的意義[4]；孫茂松等從技術(shù)的角度對人工智能在教育領(lǐng)域的應(yīng)用場景和邊界進(jìn)行探討和展望[5]；陳恩紅等從試題表征模型，個(gè)性化學(xué)習(xí)資源分配等層次對當(dāng)前在線智慧教育的技術(shù)和未來發(fā)展方向進(jìn)行了詳細(xì)探討[6]。而以上的研究更針對教育方面的研究，基本不涉及行為分析。

針對閱讀行為的研究，國內(nèi)也有多位學(xué)者進(jìn)行了研究：呂紀(jì)從等主要研究不同書籍與不同人群之間的潛在規(guī)則[7]；陳美玲則主要研究讀者網(wǎng)上閱讀行為分析、心理需求解析和制約因素[8]；但是以上的研究均未涉及關(guān)于閱讀視線的研究，當(dāng)前關(guān)于閱讀視線的研究仍然較少。

而文章主要針對閱讀時(shí)的視線位置數(shù)據(jù)，研究其軌跡及數(shù)據(jù)表示的用戶的閱讀行為，并嘗試將用戶的閱讀行為數(shù)據(jù)用文字進(jìn)行描述。因此，文章所研究的課題仍具有巨大的研究價(jià)值。

2 視線軌跡分析分析

本章節(jié)主要對閱讀的視線軌跡進(jìn)行研究，并基于該研究采用機(jī)器學(xué)習(xí)的方式對閱讀時(shí)每一頁的實(shí)際閱讀行數(shù)進(jìn)行估計(jì)，從而對閱讀時(shí)的實(shí)際完成度進(jìn)行估算。

2.1 數(shù)據(jù)來源

本算法在重慶師范大學(xué)“基于視線追蹤的智能閱讀器項(xiàng)目”的依托上，對用戶在學(xué)習(xí)過程中所產(chǎn)生的視線數(shù)據(jù)進(jìn)行收集，并整理獲得真實(shí)的閱讀視線數(shù)據(jù)集。選取這個(gè)數(shù)據(jù)集的原因?yàn)椋夯陧?xiàng)目產(chǎn)生的數(shù)據(jù)集更加接近平時(shí)生活中閱讀產(chǎn)生的數(shù)據(jù)，對實(shí)際應(yīng)用更具有參考意義；同時(shí)可以以頁數(shù)為劃分標(biāo)注每一頁的實(shí)際行數(shù)，針對每一頁的行數(shù)計(jì)算，更容易獲取有關(guān)實(shí)際行數(shù)的信息，使數(shù)據(jù)的獲取變得更加容易，為進(jìn)行閱讀實(shí)際完成度的研究做好鋪墊。

2.2 數(shù)據(jù)特征分析

該數(shù)據(jù)集分為兩組，一組為視線數(shù)據(jù)，其中該項(xiàng)目1秒鐘收集十個(gè)視線點(diǎn)，標(biāo)注有頁數(shù)，x，y，時(shí)間戳，具體數(shù)據(jù)如圖1所示。

另外一組則為行數(shù)數(shù)據(jù)集，標(biāo)記每一頁的實(shí)際行數(shù)，如圖2所示。

通過對視線軌跡數(shù)據(jù)分析可知，閱讀時(shí)視線的軌跡具有如下規(guī)律：在橫向上視線軌跡表現(xiàn)為先向左后向右的往復(fù)運(yùn)動，其中一次往復(fù)運(yùn)動代表閱讀一行。而縱向上視線橫向右移時(shí)基本不變，但視線橫向左移動時(shí)縱向向下位移較為明顯，由于數(shù)據(jù)采集時(shí)垂直方向數(shù)據(jù)受眨眼等因素從而波動較大，因此主要研究橫向數(shù)據(jù)的變化。其中某一頁視線軌跡如圖3所示，其中x軸和y軸對應(yīng)視線的橫向（向右為正）和縱向（向下為正），點(diǎn)上的編號對應(yīng)其時(shí)間順序。

通過分析可以發(fā)現(xiàn)，x軸的左移和右移的位移長度并非完全一致，因此設(shè)存在某閾值，使得左移位移量大于右位移量乘該閾值時(shí)為一行閱讀結(jié)束。同時(shí)這里使用機(jī)器學(xué)習(xí)的方式去求得該閾值的值。

2.3 數(shù)據(jù)清洗及預(yù)處理

數(shù)據(jù)清洗（Data Cleaning）是指對數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)的過程，在本算法中主要表現(xiàn)為在屏幕外的視線的無效值的處理，包括攝像頭可捕捉但實(shí)際處于屏幕外的視線點(diǎn)和攝像頭無法捕捉的視線點(diǎn)，其中第二種表現(xiàn)為同一位置的連續(xù)重復(fù)出現(xiàn)。獲取的真實(shí)數(shù)據(jù)集只有x與y的值及頁數(shù)，因此基于保證數(shù)據(jù)的泛用性的目的，需要對數(shù)據(jù)進(jìn)行歸一化的處理，使數(shù)據(jù)x，為同一單位。部分清洗后的數(shù)據(jù)信息如圖4所示。

最后，基于數(shù)據(jù)以頁為單位的理由，將數(shù)據(jù)以頁為劃分，存入數(shù)組中進(jìn)行訓(xùn)練。

同時(shí)，另外準(zhǔn)備一組測試集用于測試訓(xùn)練結(jié)果，處理方法同訓(xùn)練集。

3 基于聚類分析的閱讀行為判定

這一章節(jié)主要對閱讀時(shí)的視線行為進(jìn)行分類并針對表示不同閱讀行為的視線點(diǎn)進(jìn)行分析統(tǒng)計(jì)。

3.1 數(shù)據(jù)來源

本算法中實(shí)驗(yàn)部分的數(shù)據(jù)主要由以下兩部分?jǐn)?shù)據(jù)組成：

第一部分為來源于眼動儀的標(biāo)準(zhǔn)數(shù)據(jù)集。本實(shí)驗(yàn)主要引用了含有時(shí)間t，坐標(biāo)x與坐標(biāo)y，以及視線類型四種參數(shù)的數(shù)據(jù)集，所有數(shù)據(jù)均來自SensorMotoric Instruments（SMI） 的頭戴式眼動儀，目的之一是訓(xùn)練出有效的分類器，使得本項(xiàng)目僅可以依靠t，x，y便可知閱讀者的視線狀態(tài)，為后續(xù)個(gè)性化學(xué)習(xí)以及相關(guān)分析做鋪墊，以及對視線數(shù)據(jù)進(jìn)行可視化分析。

第二部分?jǐn)?shù)據(jù)集為在重慶師范大學(xué)“基于視線追蹤的智能閱讀器項(xiàng)目”的依托上，對用戶在學(xué)習(xí)過程中所產(chǎn)生的視線數(shù)據(jù)進(jìn)行收集，并整理獲得的真實(shí)的閱讀視線數(shù)據(jù)集。真實(shí)數(shù)據(jù)集用于對上一數(shù)據(jù)集的成果進(jìn)行檢驗(yàn)，反映在貼近實(shí)際生產(chǎn)應(yīng)用情況下的效果。

3.2 對閱讀行為的劃分

在對閱讀時(shí)人的行為進(jìn)行分析后，發(fā)現(xiàn)了閱讀有以下幾個(gè)基本行為：

首先是不專注行為：即在閱讀視線處于閱讀書本外時(shí)即為不專注行為，在“智閱”項(xiàng)目視線上表現(xiàn)為點(diǎn)在屏幕之外，或未檢測到視線，而該視線在眼動分析儀上表現(xiàn)為視線在屏幕外或?yàn)閚an（無法檢測到視線點(diǎn)坐標(biāo)值）。雖然看書時(shí)偶爾會有視線劃出書本又劃入的軌跡，但誤差小，可以忽略不計(jì)。

第二個(gè)為瀏覽（掃視）行為：當(dāng)視線從書本劃過時(shí)為對書本的瀏覽（掃視）行為，在視線上表現(xiàn)為x值快速變化。同時(shí)其變化的速度則與每人的閱讀習(xí)慣有關(guān)，多出現(xiàn)于不重要的章節(jié)或?qū)π≌f等故事類文章進(jìn)行閱讀的狀態(tài)。

第三個(gè)為注視行為：在閱讀時(shí)會對某一塊區(qū)域進(jìn)行反復(fù)閱讀，包括但不限于回頭。該行為在視線上的表示為某一行或某一區(qū)域產(chǎn)生一個(gè)比較集中的點(diǎn)位，因此可以考慮使用聚類算法來尋找具有該類緊密特征的點(diǎn)集。該類點(diǎn)多出現(xiàn)于用戶感興趣的區(qū)域，主要知識點(diǎn)區(qū)域即主要難點(diǎn)區(qū)域。

此外，閱讀中也存在眨眼行為，但在“智閱”項(xiàng)目中沒有體現(xiàn)，實(shí)際生產(chǎn)中分離該類行為會較為困難，因此會去除該類行為。

最后鑒于不專注行為結(jié)果較為明顯，這邊不再對該類行為進(jìn)行討論，主要就瀏覽和注視進(jìn)行驗(yàn)證和討論。

3.3 DBSCAN 聚類算法核心及優(yōu)勢

DBSCAN 聚類算法是基于密度的聚類算法，主要根據(jù)數(shù)據(jù)分布的緊密程度進(jìn)行聚類。DBSCAN 聚類算法的兩個(gè)參數(shù)鄰域樣本閾值minPts和距離閾值Eps 的取值是決定聚類效果的關(guān)鍵所在，同時(shí)通過這兩個(gè)參數(shù)來刻畫數(shù)據(jù)的緊密程度[9]。相比于其他算法，尤其是K-Means算法，其優(yōu)勢主要體現(xiàn)在以下幾點(diǎn)：

K-Means算法，其優(yōu)勢主要體現(xiàn)在以下幾點(diǎn)：第一，可以發(fā)現(xiàn)任意形狀的聚類簇，而有別于K- Means，K-Means一般僅僅使用于凸的樣本集聚類的算法。同時(shí)它在聚類的同時(shí)還可以找出異常點(diǎn)，這點(diǎn)和BIRCH算法類似。

第二，該項(xiàng)目的數(shù)據(jù)集并不為標(biāo)準(zhǔn)的凸的樣本數(shù)據(jù)集，因此存在噪聲點(diǎn)。而噪聲點(diǎn)為瀏覽行為的代表點(diǎn)，因此DBSCAN能更有效找出數(shù)據(jù)集中的噪聲點(diǎn)，從而對噪聲點(diǎn)進(jìn)一步分析。

同時(shí)，在對數(shù)據(jù)經(jīng)過不斷觀察分析后，取minPts 為3，Esp為0.024作為分析時(shí)DBSCAN算法的參數(shù)，此時(shí)能最大限度地將注視點(diǎn)通過該方式找到。

4 實(shí)驗(yàn)過程與實(shí)驗(yàn)分析

4.1 閱讀視線軌跡行計(jì)算訓(xùn)練

前向計(jì)算方式如下：

對每一頁的數(shù)據(jù)進(jìn)行單獨(dú)分析，首先由于行數(shù)變換只與x的差值有關(guān)，因此先針對每一頁計(jì)算兩個(gè)相鄰點(diǎn)之間的差值，差值為正數(shù)時(shí)為向右位移，為負(fù)數(shù)時(shí)向左；同時(shí)鑒于0-1數(shù)值太小，計(jì)算閾值時(shí)可能會導(dǎo)致閾值移動過大，因此對每一個(gè)差值乘1000；之后每一次會統(tǒng)計(jì)視線向左位移的絕對值和向右位移絕對值之間的差值，直至達(dá)到閾值，對向左位移進(jìn)行清零，直至視線重新向左，則行數(shù)加一，并重復(fù)以上步驟直至行結(jié)尾，此時(shí)因?yàn)橐暰€不會向右位移，行數(shù)加一。

Loss采用（輸出行數(shù)-實(shí)際行數(shù)）的均值作為損失函數(shù)，更新時(shí)基于loss值正負(fù)對閾值移動，移動步長為0.001。準(zhǔn)確度并不是按照完全準(zhǔn)確來計(jì)算，而是基于每組數(shù)據(jù)的行數(shù)偏差計(jì)算。訓(xùn)練過程部分?jǐn)?shù)據(jù)如圖5，其中time為時(shí)間，loss為損失，Result為計(jì)算結(jié)果，acc為在測試集上的準(zhǔn)確度。

訓(xùn)練后在測試集上準(zhǔn)確率約為97.84%，圖6展示訓(xùn)練至各個(gè)階段的測試集準(zhǔn)確度，該結(jié)果表示訓(xùn)練取得了一定的效果。目前該模型已經(jīng)可以對大部分情況做初步分析，在實(shí)際應(yīng)用中也取得了一定的效果。

基于上述結(jié)果，在實(shí)際使用中任取兩頁，以模型檢測閱讀的行數(shù)除以書本行數(shù)計(jì)算閱讀的完成度百分比，同時(shí)收集實(shí)際閱讀行數(shù)檢測其準(zhǔn)確性，最終測試結(jié)果為39.3% 和92.3%，實(shí)際結(jié)果為39.3% 和100%。該數(shù)據(jù)證明該模型已取得了較為準(zhǔn)確的結(jié)果，同時(shí)表明該模型有一定的使用價(jià)值。比較結(jié)果如圖7所示。

4.2 閱讀視線行為分析

4.2.1 數(shù)據(jù)清洗及預(yù)處理

視線數(shù)據(jù)的形狀如圖8所示。

首先需要進(jìn)行數(shù)據(jù)清洗，在這里表現(xiàn)為去除無效點(diǎn)。具體做法為：首先去除數(shù)據(jù)中存在x或y小于0或大于1的數(shù)據(jù)，該類數(shù)據(jù)分布在屏幕外。之后去除x，y為NaN的數(shù)據(jù)，因?yàn)樵摂?shù)據(jù)為無效數(shù)據(jù)，推測為視線不在捕獲范圍時(shí)的數(shù)據(jù)。同時(shí)鑒于該實(shí)驗(yàn)只研究注視和瀏覽行為，因而去掉除了event strings為Fixation （注視）和Saccade（掃視、瀏覽）之外的視線數(shù)據(jù)，去除前后對比如圖9和圖10所示。

在閱讀行為中，由于翻頁的動作會導(dǎo)致維度x，y 的不規(guī)則劇烈變化。基于上述問題，這里將數(shù)據(jù)按照頁數(shù)的變化進(jìn)行分組，在聚類時(shí)對每一組單獨(dú)聚類。同時(shí)，由于單純的二維數(shù)據(jù)特征不夠完全，因此對該數(shù)據(jù)每頁中每個(gè)點(diǎn)同上一個(gè)點(diǎn)的x和y差值計(jì)算并一起作為特征輸入（每頁首部x，y差為0） ，形成一個(gè)四個(gè)維度的數(shù)據(jù)。處理之后的數(shù)據(jù)格式展示如圖11和圖12所示。

4.2.2 實(shí)驗(yàn)過程與結(jié)果分析

實(shí)驗(yàn)中對每一頁的數(shù)據(jù)進(jìn)行DBSCAN聚類。注視行為會處于一種x和y相對移動較小，x，y較為接近的狀態(tài)，具體展示其中一頁的聚類結(jié)果如圖13所示。但鑒于一頁中可能存在不同的聚類簇，所以不同于正常的聚類，此處不關(guān)心聚類產(chǎn)生了多少簇，更多是對該數(shù)據(jù)是否為噪聲點(diǎn)進(jìn)行分析。若為噪聲點(diǎn)，此處認(rèn)為該行為是快速瀏覽的結(jié)果，記為瀏覽行為數(shù)據(jù)；否則記為注視行為數(shù)據(jù)。圖13展示其中一頁的聚類效果，鑒于無法根據(jù)四維畫出圖形，這里用x，y二維畫出圖形，可以看到屬于注視的點(diǎn)較容易形成簇。

經(jīng)檢驗(yàn)，該算法的正確率達(dá)到79.03%，基本上可以較為準(zhǔn)確預(yù)測，各個(gè)點(diǎn)的判定結(jié)果如圖14所示。

由上述結(jié)果可知模型更傾向于做出“注視”的判斷，實(shí)際情況下對于注視的判斷基本為正確，因此用于判斷注視是十分可靠的。

在真實(shí)數(shù)據(jù)集下會對每頁數(shù)據(jù)隔離，相對于該數(shù)據(jù)可以對每一頁有一個(gè)劃分。但是鑒于y值的不穩(wěn)定，很難通過四維數(shù)據(jù)得到有效準(zhǔn)確的結(jié)果，準(zhǔn)確率可能會受到一定的影響。真實(shí)數(shù)據(jù)集下雖然沒有實(shí)際準(zhǔn)確答案，但根據(jù)閱讀時(shí)的狀態(tài)，基本確定該方法雖然受一定影響但是可行有效的。圖15是該算法部署在“基于視線追蹤技術(shù)的智能閱讀器”上后在真實(shí)數(shù)據(jù)集對產(chǎn)生的餅圖，其中瀏覽行為對應(yīng)“掃視”百分比，注視行為對應(yīng)“注視”百分比，不專注行為即為屏幕外的點(diǎn)數(shù)百分比。

5 結(jié)束語

文章基于閱讀時(shí)產(chǎn)生的視線數(shù)據(jù)在關(guān)于智慧教育的方向上對其做了兩方面的研究：一是對閱讀時(shí)的視線軌跡進(jìn)行分析，并通過機(jī)器學(xué)習(xí)的方式計(jì)算了閱讀時(shí)實(shí)際閱讀的行數(shù)，準(zhǔn)確度相對可以，但該研究主要以掃視（瀏覽）為主，同時(shí)其核心算法有待進(jìn)一步改進(jìn)；二是針對閱讀時(shí)的行為進(jìn)行分類，使用DBSCAN 聚類算法并對其進(jìn)行部分處理識別視線行為中注視和瀏覽的行為，實(shí)際算法效果相對準(zhǔn)確，但在提高其精確度和針對現(xiàn)實(shí)生產(chǎn)作業(yè)中的數(shù)據(jù)仍待深入研究。

這兩項(xiàng)研究均對智慧教育的研究有著重大意義。首先視線軌跡和行算法對行數(shù)進(jìn)行分析，而通過對實(shí)際行數(shù)進(jìn)行對比，可以得知該用戶對每一頁或整本書的閱讀完成度，可以更好地了解該學(xué)生對本書的學(xué)習(xí)程度。若關(guān)系為學(xué)生和老師則有助于老師根據(jù)所有人的完成進(jìn)度制訂個(gè)性化的教育計(jì)劃。

對視線行為的分析也有著多方面的價(jià)值：一方面，可以了解學(xué)生的閱讀習(xí)慣等，有助于根據(jù)學(xué)生的閱讀習(xí)慣制訂相應(yīng)的閱讀方針和計(jì)劃，從而更高效地完成學(xué)習(xí)計(jì)劃；另一方面，可以對學(xué)生當(dāng)前的學(xué)習(xí)狀態(tài)做出相應(yīng)的評估，基于學(xué)生當(dāng)前的狀態(tài)給予針對性的教育和指導(dǎo)，從而為個(gè)性化教育和智慧教育提供相應(yīng)的信息，為智慧教育提供輔助手段。