文／魏 爽,陳英杰（.江南大學 設計學院；.普度大學 理工學院）

隨著計算機的普及和網絡技術的進步，在線教育軟件蓬勃發(fā)展，種類繁多。例如大規(guī)模在線開放課程為學生提供在線課程、習題、測試等教育資源。學習管理系統(tǒng)則提供了學生交流合作、互動學習的平臺與工具。智能教學系統(tǒng)則根據學生知識水平智能調整學習進度和習題難度以滿足不同學生的個性化需求。如今基于互聯(lián)網的學習軟件及平臺往往匯集多種教學手段，提供豐富的學習資源。同時這些在線教學軟件能夠實時記錄學生的學習行為數(shù)據，如登錄時間、登錄時長、做題數(shù)目、正確與否、鼠標操作，甚至眼睛移動，并作為日志數(shù)據存檔。大部分軟件都會基于日志數(shù)據提供學生學習報告來展現(xiàn)學生學習進度和解題正確率。但復雜學習行為數(shù)據例如鼠標移動及眼動往往因為數(shù)據難以被分析、展現(xiàn)和理解而被舍棄。這就造成了老師知道學生做錯了某道題，但不知道學生是如何做錯的。

本文采用可視化分析手段來分析展現(xiàn)學齡兒童的解題行為數(shù)據包括做題時長、眼動及鼠標操作等，幫助教育工作者理解學生的解題過程、解題策略與困難。

一、學習數(shù)據分析與可視化

1.1 眼動數(shù)據分析與可視化

眼動追蹤技術被廣泛應用于神經科學、心理學、教育學和人機交互相關的研究中[1-3]。在教育研究中，眼動追蹤技術研究的主題包括信息處理、解題策略、決策制定、個體差異等[4，5]。研究方法包括用注視軌跡圖（Gaze Plot）[6]和熱圖（Heatmap）[7]來展示學生的注意力分布，定性地揭示學生是否對特定信息長時間關注。學生在興趣區(qū)（Areas of Interest,AOI）內 的 注 視（Eye Fixation）次數(shù)和注視時長也被統(tǒng)計出來，以定量的方式揭示學生的注意力分布。另外一些研究還將眼動與定性研究方式如Think Aloud觀察法、訪談相結合來探索學生的學習行為、認知過程，或識別學生之間的學習行為差異。

眼動數(shù)據可視化方式根據需要展示的眼動數(shù)據維度而變化。對于單一維度的眼動數(shù)據如注視次數(shù)、注視時長，簡單的柱狀圖、熱圖就可以清晰展示。而針對多維眼動數(shù)據，可視化設計需要展現(xiàn)數(shù)據的時空屬性。設計者提出了“興趣區(qū)河流”(AOI rivers)[8]、時間軸可視化(Timeline Visualization)[9]等可視化設計。即將交互界面劃分為若干興趣區(qū)，在時間軸上以興趣區(qū)為單位，展現(xiàn)不同時間點用戶對各興趣區(qū)的關注程度。但需要注意的是，這些設計并沒有作為可視化分析手段被用于教育相關的眼動數(shù)據研究中。目前眼動可視化設計還局限于單一數(shù)據展示功能。

1.2 鼠標移動數(shù)據分析與可視化

鼠標移動數(shù)據包括鼠標點擊次數(shù)、點擊位置、移動速度和移動路徑等。教育研究中，鼠標點擊被用以描繪學生學習進度，尤其是在需要點擊的學習場景中。ANTONENKO等[10]采用聚類分析法（一種群體數(shù)據分類方法）分析來自在線學習環(huán)境的點擊流數(shù)據。經分析和匯總后，點擊流數(shù)據提供了有關訪問任務的順序和學習者在學習環(huán)境中前進的速度以及花費在任務上的時間等信息。而鼠標移動路徑分析較為復雜，在教育中采用較少。近年來被作為一種行為心理學的研究方法來揭示人們的情緒、認知和心理。

目前針對鼠標移動數(shù)據的可視化非常有限，多數(shù)采用傳統(tǒng)圖表和軌跡圖，更多的研究側重于分析數(shù)據得出結論而不是數(shù)據可視化。但鼠標移動數(shù)據是學生在線學習行為的一部分，特別是在需要鼠標操作的學習場景中，鼠標移動數(shù)據能夠直接展現(xiàn)學生的學習過程。因此在學習行為數(shù)據可視化設計中鼠標移動數(shù)據是不可或缺的一部分。

不同于單一數(shù)據可視化，學習行為數(shù)據可視化要展現(xiàn)多種數(shù)據。不僅展現(xiàn)數(shù)據本身還要描述數(shù)據產生的環(huán)境信息，如學習材料、題目內容等，從而使可視化系統(tǒng)用戶充分了解學生解題行為。

二、解題行為數(shù)據可視化系統(tǒng)設計

作者收集了二三年級小學生在線解數(shù)學應用題的解題行為數(shù)據。數(shù)學應用題題目來源于基于概念模型的問題解決學習軟件COMPS-A（Conceptual model-based problem?）[11]。該軟件旨在增強學生對現(xiàn)實世界問題的理解，并提高他們創(chuàng)建代數(shù)方程式的能力。圖1是其中的一道題目。首先，題目信息被語音朗讀出來，然后語音要求學生 用 鼠 標 拖 拽 標 簽 （total，gave，left）到方程中，使方程式成立。如果答錯，會有一次重試的機會，再次錯誤之后，程序會給出正確答案并解釋。學生解題過程中，后臺會實時記錄學生解題數(shù)據包括學生答案、解題花費的時間、眼動數(shù)據、鼠標點擊和移動數(shù)據。作者收集了20個二三年級小學生的解題數(shù)據。

圖1 在線解題題目示例

可視化系統(tǒng)設計應考慮數(shù)據、用戶需求以及目標任務。在設計的初期，考慮到可視化系統(tǒng)的目標用戶是缺少可視化閱讀經驗的老師和教育研究人員。簡單易懂的眼動熱圖和鼠標運動軌跡圖被用來展示學生解題行為數(shù)據。但隨后作者發(fā)現(xiàn)相對獨立的熱圖和鼠標運動軌跡圖無法展現(xiàn)不同種類數(shù)據之間的關聯(lián)性，不能完整描述學生解題行為。用戶需要從不同的圖表中提取信息，建立數(shù)據聯(lián)系，構建模型。這樣的可視化圖表加大了用戶數(shù)據理解的難度，無法有效展示學生的解題過程。因此不同類型的數(shù)據應在同一圖表中被可視化，同一時間的學生行為數(shù)據應被同時展示。

但可視化界面空間有限，為展示所有數(shù)據，作者嘗試拋棄原有題目界面，用簡單的文字描述題目信息，并用抽象圖形展現(xiàn)解題行為數(shù)據。結果證明完全拋棄題目界面雖然能夠給予數(shù)據可視化更大的空間和靈活度，但增加了用戶理解學生解題行為的難度，因為用戶無法了解學生看到的題目是什么樣子的。因此在最終設計里，作者保留但簡化了原有題目設計。

最終解題行為數(shù)據可視化界面如圖2所示。界面包含4個部分：頂部的學生表現(xiàn)柱狀圖，中間的題目和眼動圖，左下角的公式和鼠標拖拽信息圖，以及右下角的指標比較雷達圖。頂部柱狀圖描述了學生解題用時及正確率。在圖表中，有6個學生（P1～P6)，每個學生做了2道應用題（B3.5,B7.1），每道題有2次機會。在柱狀圖中，柱的長度代表學生在解題上花費的時間，而顏色代表解題正確與否（藍色正確，紅色錯誤）。同時用戶可以點擊柱狀圖查看對應學生的解題數(shù)據可視化圖表。

圖2 展示了學生P5在解題目B3.5過程中的眼動、鼠標操作及指標雷達圖?？梢暬袘妙}題干按照語義被劃分為若干詞組。這些詞組被分為3類，分別是關鍵詞(如a total of,gave,left)、數(shù)字和其他。以詞組為單位，詞組下方的橫線代表學生的注視點，線的長度代表注視時長，線的縱坐標代表注視發(fā)生的先后順序。從上到下縱坐標越大則注視發(fā)生得越晚。線條顏色則對應學生答案的對錯。通過注視線的先后排列順序及顏色，用戶可以直觀地看到學生的注視順序、關注重點，從而了解學生是如何閱讀題目、選擇關鍵信息的。背景中的虛線將解題過程分為2個階段——題目閱讀階段和鼠標操作階段。更好地幫助用戶了解在不同的解題階段學生的關注重點以及學生在不同的解題階段花費的時間。實線則標示了解題的開始與結束時間點。

在這道題中，學生被要求用鼠標把3個標簽total,gave,left拖拽到下方的公式中使公式“部分+部分=整體”成立。可視化中的小手圖標表示學生在對應縱坐標的注視時間點點擊了對應橫坐標上的標簽并拖拽到公式中。例如圖2中，學生首先拖拽了total到公式中并放在了“部分”空格中，然后拖拽了gave到公式另外一個“部分”空格，最后拖拽left到“整體”空格中?？梢暬缑嬗蚁陆堑闹笜吮容^雷達圖將當前學生的表現(xiàn)指標如解題時間、注視次數(shù)、回視次數(shù)、鼠標拖拽速度等與其他學生的指標進行對比，幫助用戶橫向評估學生解題表現(xiàn)。

圖2 解題行為數(shù)據可視化系統(tǒng)

三、解題行為數(shù)據可視化系統(tǒng)評估

在可視化系統(tǒng)評估中，作者采用了實驗評估，任務負荷指數(shù)量表（NASA-TLX）及訪談的方法來評估可視化分析系統(tǒng)的可用性、準確度及用戶體驗。

解題行為數(shù)據可視化系統(tǒng)的首要目的是幫助教育研究人員理解學生解決問題的過程，包括迅速而準確地判定學生的解題策略與解題困難。在無法直接與學生交流的情況下（線上學習），教育研究人員通常用分析學生解題視頻的方式了解學生解題過程。因此在評估實驗中，視頻分析方法作為對照組與可視化系統(tǒng)就數(shù)據分析效率、數(shù)據分析結果的準確性（一致性）進行對比。作者在收集學生在解題行為數(shù)據的同時也用眼動儀錄制了學生解題視頻。并且為了保證對照組與實驗組的數(shù)據一致性，學生解題視頻中也包含學生的眼動與鼠標移動信息。

可視化系統(tǒng)評估要回答的4個研究問題包括：(1)與視頻分析相比，可視化系統(tǒng)是否能幫助教育研究人員更快地判斷學生的解題策略與解題困難？(2)與視頻分析相比，可視化系統(tǒng)是否能夠幫助教育研究人員更準確地判斷學生的解題策略與解題困難？(3)視頻和可視化系統(tǒng)哪個給評估者帶來了較高的任務負荷？(4)評估人員更喜歡用哪種方式來分析學生的應用題解題過程？

7名數(shù)學教育研究工作者被招募為評估員。他們擁有數(shù)學教學經驗，熟悉數(shù)學在線教學軟件，且擁有教育學碩士以上學歷。他們是可視化系統(tǒng)的目標用戶。這7名研究員被要求用視頻或可視化的方式分析9名學齡兒童，每名兒童2道應用題（應用題一和應用題二）的解題過程。因為分析任務耗時較長，該實驗被分成2天完成。在第1天評估之前評估者需要接受半小時的可視化閱讀訓練，來了解數(shù)據在可視化系統(tǒng)里是如何被表達的，在達到一定的可視化閱讀熟練度之后，評估者正式開始評估實驗。每個評估者每天需要分析9個應用題解題過程并回答問題。為確保實驗設計的平衡性與隨機性原則，18道題被分為2組（題目組一和題目組二），每組包含一半的應用題一和一半的應用題二。而在每組題目里，應用題的順序是隨機的。4名評估員被隨機挑選在第1天完成題目組一的分析，剩余的評估員在第1天完成題目組二的分析。第2天則相反。此外要確保每個應用題解題過程被一半的評估員用視頻的方式分析，被另外一半評估員用數(shù)據可視化的方式分析。

評估員每分析完一個應用題解題過程需要回答以下4個問題：

1)學生解題時視覺注意力的分布特點是什么？

(1)關注題目中的大部分信息；

(2)只關注關鍵詞或數(shù)字；

(3)很少關注題目信息；

(4)其他-請描述；

(5)不確定。

2)學生解題時鼠標拖拽的模式是什么？

(1)每個標簽只拖拽一次即提交，不更改答案；

(2)標簽被多次拖拽交換位置，即提交答案前會更改答案；

(3)忘記拖拽標簽，即沒完成公式就提交了答案。

3)你認為在本題中，學生采用了哪種解題策略？（可多選）

(1)充分閱讀問題，構建問題模型的策略；

(2)關鍵詞策略；

(3)按順序拖拽的策略；

(4)猜測后驗證策略；

(5)其他-請描述；

(6)不確定。

4)你認為該學生在解題中遇到了什么困難？（可多選）

(1)沒有困難；

(2)不能夠理解題目的字面意思；

(3)不理解公式；

(4)注意力沒有在題目上；

(5)拖拽錯誤；

(6)其他-請描述；

(7)不確定。

在評估員完成當天9道應用題解題過程分析，并針對每一個應用題解題過程回答以上4個問題之后，評估員會填寫任務負荷指數(shù)量表（見圖3）來自主評估不同的分析方法帶來的任務負荷；最后評估員將接受訪談來描述任務負荷的來源，并對可視化系統(tǒng)設計提出他們的意見。

圖3 任務負荷指數(shù)量表

在解題行為數(shù)據可視化系統(tǒng)評估中，作者收集的數(shù)據包括評估員的分析時間、答案、任務負荷指數(shù)量表評分，以及訪談獲取的定性數(shù)據，它們被用來回答可視化系統(tǒng)評估的4個研究問題。

四、解題行為數(shù)據可視化系統(tǒng)評估結果

4.1 與視頻分析相比，可視化分析是否能夠使教育研究人員更快地判斷學生的解題策略與解題困難？

圖4 展示了評估者完成分析任務所花費的時間。藍色線條為可視化分析方法，橙色線條為視頻分析方法?？梢钥闯?，絕大多數(shù)情況下使用可視化分析方法比使用視頻分析方法花費的時間少。此外無論是可視化分析方法還是視頻分析方法，隨著分析題目的增多，分析經驗的積累，分析時間在減少。而統(tǒng)計學混合線性模型分析結果也支持這一結論，即實驗中，利用可視化方法進行分析所需要的時間顯著少于利用視頻方法（P＜0.001）。評估者利用數(shù)據可視化方法平均需要198.54 s完成分析任務。而利用視頻分析方法完成分析任務平均需要308.64 s。不同分析方法在2天里的平均分析時長也被分別統(tǒng)計出來：利用可視化分析方法在第1天的平均分析用時為227.09 s，第2天的平均用時為169.99 s。分析時間大幅減少，但并不顯著（P=0.16）。利用視頻分析方法在第1天的平均分析用時為339.29 s，在第2天的平均用時為277.98 s，分析時間也減少了，但減少量同樣不顯著（P=0.11）。同時在第2輪中用可視化分析方法的分析時長仍顯著少于用視頻分析方法的分析時長 （時間差為107.99 s，P＜0.001）。

因此與視頻分析相比，可視化系統(tǒng)確實能夠幫助教育工作者更快速理解、分析學生解題過程。

4.2 與視頻分析相比，可視化系統(tǒng)是否能夠幫助教育研究人員更準確地判斷學生的解題策略與解題困難？

評估者被要求判斷學生的注意力分布模式、鼠標拖拽模式、解題策略以及解題困難。這些問題除鼠標拖拽模式是有明確的答案之外，其他問題的回答都基于評估者的主觀判斷，因此沒有明確的答案。作者采取的方法是：如果有一半以上的評估員都做出了相同的判斷，那么這個判斷被認為是題目的正確答案。這是基于評估員都有豐富的數(shù)學教學與研究經驗，他們的判斷是基于其專業(yè)知識與經驗的。如果半數(shù)以上的評估員做出了同樣的判斷，那么這個判斷被認為是有其充分性的。如果一道題目沒有超過半數(shù)評估員同意的一致性答案，作者會在評估實驗后召集所有評估員共同討論，決定一致性答案。每道題目都有正確答案后，評估員用不同的分析方法得出答案的正確率就可以被計算出來，從而判斷哪種分析方法能夠帶來更高的正確率。

注：vis-可視化，vid-視頻

評估員分析答案統(tǒng)計結果顯示：第1題學生的注意力分布模式，用可視化分析方法，正確率為73%，使用視頻分析方法，正確率為58%?；旌暇€性模型證明2種分析方法的正確率有顯著差異（P=0.02）。其他變量如應用題題目、評估者以及做題順序對分析答案的正確率沒有顯著影響。第2題學生的鼠標拖拽模式，可視化分析的正確率為89%，視頻分析的正確率為85%，兩者差異不顯著（P=0.33）。第3題學生的解題策略判斷，可視化分析的正確率為81%，視頻分析的正確率為67%，可視化分析的正確率高于視頻分析的正確率（P=0.08）。第4題學生的解題困難判斷，可視化分析的正確率為76%，視頻分析的正確率為62%，可視化分析的正確率高于視頻分析的正確率（P=0.07）。

數(shù)據分析結果表明，可視化分析方法能夠幫助研究人員更準確地判斷學生的注意力分布模式。而在鼠標拖拽模式、解題策略判斷和解題困難判斷方面，可視化分析的正確率高于視頻分析。

4.3 視頻和可視化系統(tǒng)哪個給評估者帶來了較高的任務負荷？

從表1中任務負荷指數(shù)量表評分的分析結果可以發(fā)現(xiàn)，采用可視化分析手段完成分析任務對于評估員的身體負荷和時間需求要顯著低于使用視頻分析手段。而不管使用哪種分析手段，評估者都需要付出相當?shù)哪X力及努力。另外評估員對于分析結果的準確度并不自信，有一定程度的挫敗感。相較于視頻分析來說，評估員認為通過可視化分析手段得到的分析結果相對準確，挫敗感略低。

表1 任務負荷指數(shù)量表數(shù)據的分析結果

考慮到分析任務本身的難度，以上結果并不意外。評估員在無法跟學生直接交流的情況下，根據學生行為判斷其認知和心理并不容易，需要投入大量精力。除任務本身難度之外，不同分析方法也對評估者提出了不同的要求。根據評估員在訪談中的反饋，使用可視化分析方法時，評估者需要充分理解數(shù)據在可視化中是怎樣表達的，從而獲取正確的信息。此外評估者要考慮數(shù)據之間的關系，綜合不同類型的數(shù)據還原學生解題過程。而使用視頻分析方法的時候，雖然實驗中視頻可以被暫停，回放，快放，慢放，但因為視頻是動態(tài)的，評估者需要不斷地記憶信息并對信息進行比較，做出判斷。這極大增加了評估者的認知負荷。部分評估員反映他們在使用視頻分析的過程中出現(xiàn)信息模糊遺忘的情況，他們或選擇重新查看視頻，或選擇繼續(xù)分析。對于重新查看的人來說，身體負荷和時間負荷都會增大。而對于堅持繼續(xù)分析的人來說，他們的不自信和挫敗感會增加。但視頻分析也有其優(yōu)點，首先視頻能夠自然流暢地展現(xiàn)學生解題過程，所有數(shù)據以人們最熟悉的方式被呈現(xiàn)。其次視頻能夠展現(xiàn)全部的數(shù)據，雖然這些大量的動態(tài)數(shù)據會增加評估者的負荷，但某些時候細節(jié)信息能夠幫助評估者做出更準確的判斷。

整體來說，視頻分析方法給評估員帶來了相對較高的任務負荷。

4.4 評估人員更喜歡用哪種分析方法來分析理解學生的解題過程？

有2位評估員更喜歡可視化分析系統(tǒng)，一位更喜歡視頻分析方法，3位評估員表示希望能夠結合可視化系統(tǒng)與視頻共同幫助分析，或者在不同的情境中使用不同的分析方法。如在需要分析大量數(shù)據時采用可視化分析在只需要分析少量數(shù)據且時間充裕的情況下用視頻分析。以下是在訪談中評估員提及的解題行為數(shù)據可視化系統(tǒng)優(yōu)缺點。

1）優(yōu)點：

(1)以靜態(tài)圖像結合交互手段展現(xiàn)數(shù)據，用戶能夠充分靈活控制時間且無需記憶數(shù)據信息只需要查找數(shù)據信息；

(2)可視化系統(tǒng)的數(shù)據扁平化設計簡化了題目界面，去除冗余數(shù)據，凸顯了重要信息；

(3)可視化系統(tǒng)能夠傳達準確數(shù)值，例如注視點數(shù)目，拖拽速度等；

(4)可視化系統(tǒng)能夠幫助用戶比較同學之間、題目之間的解題差異。

2）缺點：

(1)可視化系統(tǒng)較復雜，沒有可視化閱讀經驗的用戶需要一段時間熟悉過程；

(2)受界面空間限制，在可視化系統(tǒng)中部分“低價值”數(shù)據會被舍棄；這就要求系統(tǒng)設計者充分理解用戶需求、目標任務，從而保留最具價值的數(shù)據。

五、結 語

在科學技術快速發(fā)展的今天，大量數(shù)據被產生。數(shù)據是珍貴的，但是如果不能從中獲取信息，轉化為知識，數(shù)據對我們毫無意義。數(shù)據可視化借助圖形手段，能夠清晰有效地傳達信息幫助人們分析理解數(shù)據獲取知識。針對目前大量在線學習行為數(shù)據被記錄卻無法被有效利用的情況，作者提出用數(shù)據可視化的方式來展現(xiàn)學生學習過程，幫助教育工作者理解學生學習行為和認知過程。本文以學齡兒童解數(shù)學應用題為例，設計開發(fā)解題行為可視化系統(tǒng)，幫助教育工作者判斷學生解題策略和困難，并對系統(tǒng)的可靠性可用性進行了評估。從評估實驗、任務負荷指數(shù)測量結果及訪談來看，數(shù)據可視化系統(tǒng)在數(shù)據的傳達、表現(xiàn)、分析方面都有其優(yōu)勢。未來作者將進一步提高可視化系統(tǒng)界面設計來展現(xiàn)更多的數(shù)據、更清晰的數(shù)據關系，從而減少用戶的認知負荷及腦力需求。