祝智庭　沈德梅

[摘 要] 學(xué)習(xí)分析學(xué)（Learning Analytics，簡稱LA）被認為是自學(xué)習(xí)管理系統(tǒng)（LMS）問世以來，教育技術(shù)發(fā)展的第三次浪潮。LA的核心是收集、匯總、分析和呈現(xiàn)學(xué)習(xí)者及其相關(guān)的數(shù)據(jù)，并以提高教學(xué)和學(xué)習(xí)成效為終極目標。文章探討了LA 的定義、緣起、設(shè)計框架和模型等。盡管LA 尚處于初始階段，然而它為改進教學(xué)和干預(yù)學(xué)生學(xué)習(xí)過程提供了科學(xué)依據(jù)， 因此也成為智慧教育的重要支柱。

[關(guān)鍵詞] 學(xué)習(xí)分析學(xué)； 智慧教育； 設(shè)計框架； 學(xué)習(xí)分析系統(tǒng)

[中圖分類號] G434 [文獻標志碼] A

[作者簡介] 祝智庭（1949—），男，浙江衢州人。教授，博士生導(dǎo)師，主要從事教育信息化理論、系統(tǒng)架構(gòu)與技術(shù)標準、教師專業(yè)發(fā)展、技術(shù)文化等方面研究。E-mail：ztzhu@dec.ecnu.edu.cn。

一、引 言

隨著信息技術(shù)在教育領(lǐng)域的深入應(yīng)用，智慧教育成為信息化教育應(yīng)用的一個新范式。[1]智慧教育主張借助信息技術(shù)的力量，創(chuàng)建具有一定智慧特性（如感知、推理、輔助決策）的學(xué)習(xí)時空環(huán)境，旨在促進學(xué)習(xí)者的智慧全面、協(xié)調(diào)和可持續(xù)發(fā)展，通過對學(xué)習(xí)和生活環(huán)境的適應(yīng)、塑造和選擇，以最終實現(xiàn)對人類的共善（對個人、他人、社會的助益）。智慧教育充分體現(xiàn)了“以學(xué)習(xí)者為中心”的思想，強調(diào)學(xué)習(xí)是一個充滿張力而又平衡的過程，揭示了“教育要為學(xué)習(xí)者的智慧發(fā)展服務(wù)”的深刻內(nèi)涵。

智慧學(xué)習(xí)環(huán)境的一個基本特征是：基于學(xué)習(xí)者的個體差異（如能力、風(fēng)格、偏好、需求）提供個性化的學(xué)習(xí)診斷、學(xué)習(xí)建議和學(xué)習(xí)服務(wù)；并記錄學(xué)習(xí)歷史數(shù)據(jù)，便于數(shù)據(jù)挖掘和深入分析，數(shù)據(jù)結(jié)果用于評估學(xué)術(shù)過程、預(yù)測未來表現(xiàn)和發(fā)現(xiàn)潛在問題。因此學(xué)習(xí)數(shù)據(jù)分析成為智慧學(xué)習(xí)不可或缺的條件。

學(xué)習(xí)分析學(xué)（Learning Analytics，簡稱LA）涉及科技和社會學(xué)科的多個學(xué)術(shù)領(lǐng)域，包括計算機科學(xué)、社會學(xué)、學(xué)習(xí)科學(xué)、機器學(xué)習(xí)、統(tǒng)計學(xué)，以及“大數(shù)據(jù)”。[2][3]LA的定義隨著相關(guān)研究的進展而演變，盡管研究方向不盡相同，大部分學(xué)者認同如下定義：“學(xué)習(xí)分析學(xué)是使用智能數(shù)據(jù)、學(xué)習(xí)者數(shù)據(jù)，以及分析模型來發(fā)現(xiàn)信息和社會性聯(lián)系，并以此為依據(jù)進行學(xué)習(xí)預(yù)測和提供建議?！盵4]Siemens 于2012年對相關(guān)定義進一步提煉之后提出，LA是“關(guān)于學(xué)習(xí)者以及他們的學(xué)習(xí)環(huán)境的數(shù)據(jù)測量、收集、分析和匯總呈現(xiàn)，目的是理解和優(yōu)化學(xué)習(xí)以及學(xué)習(xí)情境”。[5]

其他學(xué)者、機構(gòu)也有一些類似的關(guān)于LA的定義。盡管各個定義在用詞和著重點上存有細微區(qū)別，但基本都反映了LA的本質(zhì)，即首先發(fā)現(xiàn)特定用戶的需求，利用技術(shù)方法獲取數(shù)據(jù)，分析數(shù)據(jù)，幫助教師、學(xué)生、教育機構(gòu)等解讀數(shù)據(jù)，并根據(jù)數(shù)據(jù)結(jié)果采取干預(yù)措施，從而達到提高學(xué)習(xí)和教學(xué)成效的目的。[6]同時這些定義也指出，LA所用、所處理的數(shù)據(jù)是已經(jīng)存在的、機器可讀的“大數(shù)據(jù)”（Big Data），這些數(shù)據(jù)是不適合人工處理的。[7]

LA在國際上被稱為是“自從學(xué)習(xí)管理系統(tǒng)（Learning Management System，簡稱LMS）問世以來，教育技術(shù)大規(guī)模發(fā)展的第三次浪潮”。[8]2005年 EDUCAUSE的文章就預(yù)示了LA的出現(xiàn)。[9]此后與學(xué)習(xí)分析學(xué)相關(guān)的國際學(xué)術(shù)會議，例如學(xué)習(xí)分析學(xué)與知識國際會議（LAK，The International Conference on Learning Analytics & Knowledge）于2011年召開第一次會議，于2012年召開了第二次會議，而且會持續(xù)下去。學(xué)習(xí)分析學(xué)研究社會（SoLAR，The Society for Learning Analytics Research） 也于2011年夏天成立，一方面主持召開會議，同時致力于LA方面的研究和發(fā)展，并提供學(xué)者、教育專家、學(xué)生等進行信息交流和互相合作的機會。另外，教育技術(shù)和社會學(xué)術(shù)期刊（Journal of Educational Technology and Society）也與2012年出版了關(guān)于學(xué)習(xí)分析學(xué)的特刊。由此可見，學(xué)習(xí)分析學(xué)已經(jīng)成為高等教育界尤其是以教育技術(shù)為基礎(chǔ)的遠程在線學(xué)習(xí)領(lǐng)域內(nèi)的一個研究熱點。

LA 在教育領(lǐng)域內(nèi)迅速發(fā)展有多種原因。下面我們將從它的出現(xiàn)、回答的問題、研究框架模型等方面加以詳盡介紹。

二、學(xué)習(xí)分析學(xué)研究的緣起以及相關(guān)技術(shù)

多位學(xué)者專家探討過LA出現(xiàn)并成為熱門研究課題的必然性，并且總結(jié)出幾個原因。

第一個原因是大數(shù)據(jù)（Big Data）的出現(xiàn)。[10]Greller和Drachsler認為學(xué)習(xí)分析學(xué)的起源在于網(wǎng)絡(luò)大數(shù)據(jù)的出現(xiàn)，包括政府類數(shù)據(jù)。[11]隨Web 2.0出現(xiàn)的社交網(wǎng)絡(luò)數(shù)據(jù)（Twitter、You Tube、Fliker，F(xiàn)acebook等）、移動終端數(shù)據(jù)，如GPS 定位數(shù)據(jù)等。隨著此類數(shù)據(jù)的出現(xiàn)，有些公司如Google、Amazon、Yahoo等，分析利用此類數(shù)據(jù)，并將其結(jié)果作為擴張市場的依據(jù)或者提供個性化服務(wù)的方向，因此公司得以快速成長。大數(shù)據(jù)的出現(xiàn)和潛在的價值也引起了各國政府的關(guān)注。例如，奧巴馬政府2012年宣布，每年將花費超過2億美元在大數(shù)據(jù)研究應(yīng)用方面，以致力于科學(xué)探索、環(huán)境、生物醫(yī)學(xué)、教育和國家安全方面的研究。[12]在遠程教育領(lǐng)域LMS，如Blackboard 和 Moodle等的應(yīng)用也越來越廣。這些系統(tǒng)每天都記錄大量的學(xué)生交互信息、個人數(shù)據(jù)、系統(tǒng)數(shù)據(jù)等。[13]如何從這些數(shù)據(jù)中獲取信息成為LA出現(xiàn)的一大契機。

第二個原因則可以歸結(jié)為在線學(xué)習(xí)或者教育技術(shù)的發(fā)展。[14]隨著教育技術(shù)的發(fā)展，在線學(xué)習(xí)成為傳統(tǒng)學(xué)校教育和終生教育的一個重要模式。在線學(xué)習(xí)提供給學(xué)習(xí)者不受時空限制的學(xué)習(xí)機會，同時也帶來一定的挑戰(zhàn)，例如學(xué)生有可能缺少與老師和同學(xué)的聯(lián)系，又可能遇到技術(shù)問題或者失去學(xué)習(xí)動機等。[15]此外，教師也由于網(wǎng)上學(xué)習(xí)環(huán)境中缺少視覺線索，因此難以判斷學(xué)生是否感到課業(yè)太容易、感到內(nèi)容乏味枯燥或者學(xué)習(xí)上有困難等。因此，學(xué)者們認為，教師難以評判學(xué)生的參與度和學(xué)習(xí)質(zhì)量，而攻克這個問題則成為LA的另外一個契機。[16]

第三個原因則與教育機構(gòu)自身對數(shù)據(jù)的需求有關(guān)。很多國家，包括美國政府，都力圖提高整個國家人口的教育程度，比如如何提高學(xué)生的學(xué)習(xí)成績、入學(xué)率以及畢業(yè)率等，而這些都需要大量數(shù)據(jù)來發(fā)現(xiàn)和驗證。[17]傳統(tǒng)上，教育機構(gòu)、學(xué)校獲得學(xué)生學(xué)習(xí)數(shù)據(jù)的主要方式為調(diào)查問卷及訪談等，由此帶來諸多方面的限制，如花費大、耗時多、規(guī)模小等。由于數(shù)據(jù)挖掘可以追蹤用戶的電子信息使用記錄，并且自動分析整體數(shù)據(jù)，而不需要選樣，因此新的數(shù)據(jù)經(jīng)濟大潮使得學(xué)校在數(shù)據(jù)收集方面不再需要花費大量人力和財力；并且獲得的數(shù)據(jù)反映了所有用戶的全部信息，并非選取的一部分；同時數(shù)據(jù)在自然狀態(tài)下獲得，不需要利用訪談、觀察等方式，使得數(shù)據(jù)更加真實可靠。[18]

第四，LA起源于其他幾個已經(jīng)相對成熟的領(lǐng)域，如商務(wù)智能（Business Intelligence）、網(wǎng)站分析（Web Analysis）、學(xué)術(shù)分析（Academic Analysis）、行動分析（Action Analysis）、教育數(shù)據(jù)挖掘（Educational Data Mining）、運籌學(xué)（Operational Research）[19][20]以及社會網(wǎng)絡(luò)分析（Social Network Analysis）等。這些研究領(lǐng)域已經(jīng)相對成熟，對LA的迅速發(fā)展應(yīng)用起到一定的促進作用。

Siemens認為，與LA密切相關(guān)的是學(xué)術(shù)分析學(xué)（Academic Analytics， 以下簡稱AA）和教育數(shù)據(jù)挖掘。[21]學(xué)術(shù)分析學(xué)是為了高等教育機構(gòu)的運營和財務(wù)方面的決策而提供所需數(shù)據(jù)的過程，[22]如發(fā)現(xiàn)影響學(xué)生畢業(yè)率的影響因子等。教育數(shù)據(jù)挖掘是指為更好地理解學(xué)生以及他們所處的學(xué)習(xí)環(huán)境，從教育數(shù)據(jù)中獲取知識和發(fā)現(xiàn)，針對教育環(huán)境內(nèi)獨特的數(shù)據(jù)類型而進行的獲取數(shù)據(jù)、整理數(shù)據(jù)、形成分析報告等研究方法方面的研究。[23]Siemens認為，教育數(shù)據(jù)挖掘是LA和AA的共通支撐技術(shù)。[24]他描述了三者之間的關(guān)系以及三者針對的層次和關(guān)注對象，如表1所示。

三、LA 回答的問題

LA 對智慧教育的重要性體現(xiàn)之一在于它可以使用大范圍數(shù)據(jù)，回答關(guān)于學(xué)習(xí)和教學(xué)的不同問題。Cooper采納了Davenport等對“Analytics ”能夠闡釋和回答的問題的總結(jié)，[25]并根據(jù)其時間線（過去、現(xiàn)在、將來）和回答的深度（信息型、洞悉型）對問題作了歸類。[26]我們認為其問題矩陣同樣適用于LA（見表2）。

Cooper總結(jié)歸納了LA可能回答的問題類型。[27]

信息和事實性問題：

發(fā)生什么了？LA產(chǎn)生報告并提供描述性數(shù)據(jù)（過去）；

正在發(fā)生什么？LA對現(xiàn)狀的提醒（現(xiàn)在）；

趨勢，走向如何？過去的數(shù)據(jù)被當(dāng)作推斷的根據(jù)（將來）。

深度理解和洞察性問題：

這些為什么發(fā)生，如何發(fā)生的？LA可建立模型并加以解釋（過去）；

可以采取的最好措施是什么？LA提供一個或多個干預(yù)措施（現(xiàn)在）；

可能發(fā)生什么？LA可以預(yù)測、模擬其他措施的效果，確認最優(yōu)舉措（將來）。

因此LA 可以描述和解釋過去的現(xiàn)象，例如為什么選同一門課的學(xué)生成績普遍偏低？原因可能包括缺乏相關(guān)基礎(chǔ)知識；可以預(yù)警和干預(yù)正在發(fā)生的學(xué)習(xí)，例如學(xué)生得到信息，他/她很可能某門課會通不過，教師可引導(dǎo)學(xué)生進行補救、提供學(xué)習(xí)材料等；LA還可以推斷發(fā)展趨勢和預(yù)測將來，例如由于以往某一學(xué)習(xí)活動對不同學(xué)習(xí)風(fēng)格（Learning Style）的學(xué)生的影響有所不同，可以推斷針對不同學(xué)習(xí)風(fēng)格設(shè)計的學(xué)習(xí)活動能提高學(xué)生成績；同時，不同學(xué)習(xí)風(fēng)格、學(xué)習(xí)活動和成績之間的相關(guān)性分析和預(yù)測模型有助于發(fā)現(xiàn)最適合特定學(xué)習(xí)風(fēng)格學(xué)生的學(xué)習(xí)活動。此外LA可以將各方面的關(guān)于學(xué)生的分散式信息整合梳理，提供給教師，使其對學(xué)生有更可靠、更清晰的認識，在此基礎(chǔ)之上采取的措施將更加有效。此外，LA 不止可以提供關(guān)于學(xué)生學(xué)習(xí)方面的信息，也可以用來評估某一課程、院系以及整個學(xué)校。它可以參與評估整個學(xué)校的教學(xué)，用于決定是否需要采取更先進的教學(xué)方法；它還可以提供信息給學(xué)生，以便學(xué)生自我評價學(xué)習(xí)過程和結(jié)果等。由此可見，LA的使用可以使得教育方法得以提升，促使教育向智慧教育方向發(fā)展。

四、LA的設(shè)計研究框架、資源

過程模型及重要環(huán)節(jié)

多位學(xué)者試圖從整體架構(gòu)、所涉緯度、過程環(huán)節(jié)等方面描述LA，以基于對LA的整體認識，引導(dǎo)LA系統(tǒng)設(shè)計過程。本文主要討論兩個LA模型和LA的重要環(huán)節(jié)，目的是對如何設(shè)計開發(fā)LA系統(tǒng)有全面的、清晰的認知。

（一）LA通用設(shè)計框架

Greller&Drachsler根據(jù)他們對學(xué)習(xí)分析學(xué)現(xiàn)存文獻的梳理，提出了具有六個緯度的LA通用設(shè)計框架，即關(guān)益者（包括學(xué)生用戶、教師用戶等）、目標（包括使用數(shù)據(jù)的目的，如預(yù)測等）、數(shù)據(jù)（包括受限數(shù)據(jù)和公開數(shù)據(jù)等）、工具（分析數(shù)據(jù)的依據(jù)，包括教學(xué)理論等）、外部限制（如用戶隱私）、內(nèi)部限定（包括分析解讀數(shù)據(jù)結(jié)果的能力等）。[28]這六個緯度反映了在應(yīng)用LA研究學(xué)習(xí)、開發(fā)LA系統(tǒng)時應(yīng)該考慮的基本因素。圖1反映了該設(shè)計框架，包括每個緯度的例子，以下我們對每一緯度進行說明。

1. 關(guān)益者

關(guān)益者包括數(shù)據(jù)使用者和數(shù)據(jù)提供者。使用者指應(yīng)用數(shù)據(jù)并根據(jù)數(shù)據(jù)結(jié)果制定對策的人，如教師；提供者指以自己的系統(tǒng)瀏覽和互動行為產(chǎn)生數(shù)據(jù)的用戶，如學(xué)生。在特定情形下，使用者和提供者是一體的，比如學(xué)生本身的行為信息反饋給學(xué)生自己而不是老師的時候，這兩者是統(tǒng)一的。關(guān)益者除了包括學(xué)生、教師以及教育機構(gòu)外，研究人員和政府機構(gòu)等也可看作關(guān)益者的一部分。

關(guān)益者之間如何使用學(xué)習(xí)分析信息交流可以用層次模型來表示（如圖2所示）：最直接的途徑是通過LMS 獲取學(xué)生信息，提供給教師；教師可以根據(jù)此信息制定干預(yù)措施或者調(diào)整教學(xué)策略等；教育機構(gòu)則可以根據(jù)學(xué)生和教師提供的信息進行教職工培訓(xùn)或者制定措施保證教學(xué)質(zhì)量等；研究人員盡管不直接參與學(xué)習(xí)過程，但他們可以利用學(xué)生和教師數(shù)據(jù)，評估教學(xué)質(zhì)量或者學(xué)習(xí)服務(wù)措施是否到位；最后政府機關(guān)可以匯總、分析，并利用多所院校的學(xué)習(xí)分析數(shù)據(jù)來測評整個教育系統(tǒng)。此外，已有研究者們強調(diào)，在各個層次，關(guān)益者都可以利用本層數(shù)據(jù)進行自我反思，如學(xué)生可以根據(jù)自己的學(xué)習(xí)記錄、互動行為等來思考自己是否實現(xiàn)學(xué)習(xí)目標等。

2. 目標

學(xué)習(xí)分析學(xué)開辟了一個新的領(lǐng)域，可以發(fā)現(xiàn)并研究利用原本隱藏的教育信息，提供給各個層次的使用者。通過分析比較學(xué)習(xí)信息和社會性交互模式，為學(xué)習(xí)者提供新的視角，同時提高組織性效率和效益。也就是說，學(xué)習(xí)分析學(xué)提供的信息不僅有助于個體學(xué)生，對支持更高層次的知識流程的管理（如政府層次）也有所裨益。Greller和 Drachsler主要提出并討論了兩種目標：反思與預(yù)測。[29]反思是指數(shù)據(jù)用戶根據(jù)與自己相關(guān)的數(shù)據(jù)，獲取知識并進行批評性自我評價，有學(xué)者稱之為“量化自我”，也就是觀察測評自己的學(xué)習(xí)記錄數(shù)據(jù)，并根據(jù)數(shù)據(jù)結(jié)果進行自我修正等。[30]反思也可以根據(jù)別人的數(shù)據(jù)記錄進行，如教師可以根據(jù)學(xué)生的交互行為，反思自己的教學(xué)風(fēng)格是否適合學(xué)生等。學(xué)習(xí)分析學(xué)同樣可以用來預(yù)測模擬學(xué)生的學(xué)習(xí)活動、行為等。如根據(jù)過往的學(xué)生反饋信息，可以預(yù)測某種教學(xué)設(shè)計有助于學(xué)生的學(xué)習(xí)，據(jù)此可以重新設(shè)計教學(xué)活動，提高學(xué)生學(xué)習(xí)成績；亦可降低或增加內(nèi)容難度，從而降低學(xué)生放棄課程的比例。

3. 數(shù)據(jù)

學(xué)習(xí)分析學(xué)所用數(shù)據(jù)大多來自LMS以及其他教學(xué)系統(tǒng)，同時教育機構(gòu)本身擁有大量學(xué)生數(shù)據(jù)。然而很多數(shù)據(jù)是非公開的，因此對教育數(shù)據(jù)公開化的要求越來越迫切。[31]

4. 工具

學(xué)習(xí)分析學(xué)通過信息檢索技術(shù)獲取數(shù)據(jù)，如教育數(shù)據(jù)挖掘、機器學(xué)習(xí)、傳統(tǒng)統(tǒng)計分析以及社會網(wǎng)絡(luò)分析等。同時，研究者將理論建構(gòu)以及算法等處理數(shù)據(jù)、從數(shù)據(jù)中發(fā)現(xiàn)信息的概念工具也包括進來。

5. 外部限制

外部限制包括倫理、法律、社會、組織機構(gòu)、管理以及LA過程方面的限制。如使用個人隱私數(shù)據(jù)有可能觸犯法律等。

6. 內(nèi)部限定

內(nèi)部限制與能力相關(guān)，指解讀數(shù)據(jù)、解釋數(shù)據(jù)，從而根據(jù)數(shù)據(jù)提高學(xué)習(xí)效果的能力。據(jù)調(diào)查，只有很少的學(xué)習(xí)者能夠解讀結(jié)果并據(jù)此采取有效的干預(yù)措施。

（二）LA資源過程模型

學(xué)者們認為，分析是人腦和機器的混合加工的過程，[32]LA具有認知性、技術(shù)性和社會性。[33]綜合多種看法，Elias認為電腦（軟硬件技術(shù)）、理論、人員和機構(gòu)構(gòu)成了LA的四種技術(shù)資源，同時也成為LA的核心。[34]四種資源以及數(shù)據(jù)運作的過程構(gòu)成一個LA的模型。

1. 電腦技術(shù)

遠程在線學(xué)習(xí)的普及以及LMS 的應(yīng)用，說明大量關(guān)于學(xué)生的數(shù)據(jù)已經(jīng)被收集，如果這些信息可以和其他與學(xué)生有關(guān)的數(shù)據(jù)相結(jié)合，我們可以得到更詳盡的關(guān)于學(xué)生的學(xué)習(xí)體驗、教師的教學(xué)效果等信息。而隨著數(shù)據(jù)的收集，進行信息加工時，尤其需要用來做數(shù)據(jù)分析報告和預(yù)測結(jié)果的軟件工具。這類工具，Elias 列舉了資訊可視化（Visualization）、神經(jīng)網(wǎng)絡(luò)、回歸分析、機器學(xué)習(xí)以及人工智能等。[35]Elias 尤其強調(diào)了可視化技術(shù)的重要性，并列舉了儀表盤（Dashboard）和社會網(wǎng)絡(luò)分析（Social Network Analysis）兩種常用的資訊可視化技術(shù)。

2. 理論基礎(chǔ)

Elias 認為，LA涉及的理論非常廣泛，包括與分析學(xué)相關(guān)的知識以及其他領(lǐng)域的知識。前者如推薦理論基礎(chǔ)協(xié)同過濾算法（Collaborative Filtering Algorithm）、貝葉斯神經(jīng)網(wǎng)絡(luò)（Bayesian Network）、基于知識的推薦（Knowledge-Based Recommendation）等；后者則包括學(xué)習(xí)科學(xué)、教學(xué)法、學(xué)習(xí)動機學(xué)、學(xué)習(xí)共同體（Community）、學(xué)生畢業(yè)率（Retention）等。然而這方面的文獻很少，相關(guān)人士很難確認哪些變量對教學(xué)有參考意義。也就是說，很難分辨哪些測量學(xué)生網(wǎng)上活動的變量真正影響到他們的學(xué)習(xí)和成績。[36]

3. 人員

雖然現(xiàn)代技術(shù)的應(yīng)用使得電腦軟件和硬件可以取代人的努力，但是在很多方面人類的知識、技能和能力是保證結(jié)果有效性的重要因素。雖然教師可以通過使用資訊可視化技術(shù)、回歸等來反思自己的教學(xué)設(shè)計和教學(xué)活動的有效性，評估是否達到教學(xué)目的，如學(xué)習(xí)共同體的建立。然而有效的后續(xù)干預(yù)很大程度上取決于教師本身解決問題以及決策方面的認知思考能力，而不是完全依賴LA技術(shù)以及統(tǒng)計軟件。

4. 機構(gòu)

Elias 認為，LA過程中的社會資本（Social Capital）或者社會性最容易被忽略掉。然而LA本身不能回避這方面的問題，例如：誰參與了LA項目，他們的決策是如何被支持的，項目成員之間如何溝通和互動。同時，無論LA 項目如何成功，要使得其研究成果在現(xiàn)實中付諸實施，則需要教育機構(gòu)，如大學(xué)的領(lǐng)導(dǎo)層采取措施，支持以LA結(jié)果為基礎(chǔ)的文化和教學(xué)模式方面的改革，從而達到LA提高學(xué)生學(xué)習(xí)成績和改善教學(xué)效果的目的。因此，機構(gòu)資源顯示了LA的社會性。

在討論LA技術(shù)資源的基礎(chǔ)上，Elias 提出了LA的模型，其核心是電腦（軟件硬件技術(shù)）、理論（統(tǒng)計、算法、教學(xué)法、學(xué)習(xí)科學(xué)等）、人員（相關(guān)人員如教師等）、機構(gòu)（社會資本屬性等）等四種科技資源。這四種資源參與并推動三個環(huán)節(jié)（收集數(shù)據(jù)、信息加工、結(jié)果應(yīng)用），使之形成一個循環(huán)發(fā)展的過程，從而推動學(xué)習(xí)和教學(xué)的持續(xù)性提高（如圖3所示）。

（三）LA的重要環(huán)節(jié)

Brown在2012 年召開的ELI（EDUCAUSE Learning Initiative）兩次學(xué)術(shù)會議（ELI 2012 Spring Focus Session和LAK12）基礎(chǔ)上，總結(jié)討論了LA研究中出現(xiàn)的主題：數(shù)據(jù)指標的選取、資訊可視化技術(shù)，以及干預(yù)和反饋方式。[37]這些也可以看作是在實際研究中應(yīng)該考慮的LA的重要環(huán)節(jié)。

他首先指出，LA定義的一個重要特點是對以下兩方面的區(qū)分：一是實現(xiàn)LA的技術(shù)，另一方面是LA的目的。也就是說，所有LA項目都要包括這兩方面，一方面要具備獲取并分析數(shù)據(jù)的技術(shù)，另一方面要根據(jù)分析結(jié)果制訂有效計劃進行決策。

數(shù)據(jù)分析方面，Brown 強調(diào)在LA中，指標數(shù)據(jù)的選取直接影響到預(yù)測結(jié)果的準確性和數(shù)據(jù)分析的有效性。他提出，在LA研究中經(jīng)常涉及兩類數(shù)據(jù)指標：個性特點指標（Dispositional Indicators）和行為表現(xiàn)指標（Activity and Performance Indicators）。其中個性特點指標一般為事實性變量，可以量化，如年齡、性別、種族、平均分、學(xué)習(xí)經(jīng)驗等；行為表現(xiàn)指標主要反映學(xué)生在網(wǎng)絡(luò)學(xué)習(xí)環(huán)境中的數(shù)字行為痕跡，如他們登錄LMS 的次數(shù)、在學(xué)習(xí)網(wǎng)站上的時間、發(fā)帖的次數(shù)、測驗分數(shù)等。鳳凰城大學(xué)使用這兩種指標預(yù)測學(xué)生是否能通過某一課程。比較有趣的是，他們發(fā)現(xiàn)有些指標不具備預(yù)測作用，如選修課程數(shù)量、性別、種族等。另外，密歇根大學(xué)的前期預(yù)測LA系統(tǒng)只選用了行為指標。Brown認為，大部分LA 項目都采用了混合指標來提高預(yù)測準確度。也有些學(xué)者認為分析學(xué)生作品（如作文、視頻作品等）可以作為LA的指標，但這種方法不太常見。

資訊可視化被視為LA 的重要組成部分，一般以兩種方式出現(xiàn)：一是呈現(xiàn)數(shù)據(jù)分析結(jié)果（圖表等），二是儀表盤。可視化面板也有不同的呈現(xiàn)方式，一種是多個小窗口并列，而各種數(shù)據(jù)結(jié)果呈現(xiàn)在小的窗口中；另外一種是只呈現(xiàn)一個數(shù)據(jù)窗口，用戶可以通過下拉菜單等獲取更詳細的數(shù)據(jù)。Borwn強調(diào)了可視化技術(shù)和用戶界面設(shè)計在數(shù)據(jù)呈現(xiàn)中的重要性。

LA的終極目的是提高學(xué)習(xí)和教學(xué)成效，因此根據(jù)數(shù)據(jù)分析結(jié)果進行有效干預(yù)顯得非常重要。Brown發(fā)現(xiàn)兩種干預(yù)方式：一是系統(tǒng)自動反應(yīng)，不需要或較少需要教師參與，例如普渡大學(xué)的Signals[38]系統(tǒng)給學(xué)生簡單明了的紅、黃、綠信號；另一種是半自動反應(yīng)，LA發(fā)現(xiàn)學(xué)習(xí)模式（不喜歡某些學(xué)習(xí)活動）或者癥狀（學(xué)生缺乏學(xué)習(xí)動機等），需要教師專家分析之后作出決策，進行干預(yù)。

五、LA過程維度模型

Greller&Drachsler的模型注重于LA的緯度，強調(diào)了在設(shè)計LA系統(tǒng)時應(yīng)該考慮到的各方面的因素，如從關(guān)益者到數(shù)據(jù)等，但沒有突出設(shè)計LA的過程。Elisa 的LA模型突出了認知性、技術(shù)性和社會性（理論、電腦技術(shù)、人員和機構(gòu)），同時強調(diào)LA過程的循環(huán)性和改進性，但是過程過于簡化，例如信息加工涵蓋了所有的數(shù)據(jù)處理分析過程以及數(shù)據(jù)結(jié)果呈現(xiàn)，沒有具體緯度。這兩個模型傾向于理論化，但對具體開發(fā)LA的指導(dǎo)性不強。Brown則著重強調(diào)了LA在實際應(yīng)用中應(yīng)該注重的兩個方面：LA技術(shù)本身以及其目的。同時他根據(jù)實際應(yīng)用中的LA系統(tǒng)，總結(jié)出LA研究中的具體環(huán)節(jié)和因素，如不同的數(shù)據(jù)指標的選擇和應(yīng)用、數(shù)據(jù)可視化技術(shù)以及干預(yù)的方式。

結(jié)合以上的兩個模型和Brown的見解，筆者認為LA設(shè)計模型應(yīng)該明確其過程環(huán)節(jié)，每個環(huán)節(jié)涉及的緯度要素可能重合。LA設(shè)計過程應(yīng)該包括三個環(huán)節(jié)：首先是LA目標的確立；其次是LA本身的開發(fā)，主要是針對數(shù)據(jù)的操作、分析、呈現(xiàn)等；最后是干預(yù)。將目標作為一個重要環(huán)節(jié)的主要原因是，在設(shè)計開發(fā)LA系統(tǒng)之前，必須要有明確的方向：是提高學(xué)生動機、提高學(xué)生參加學(xué)習(xí)活動的頻率，還是評估該教學(xué)活動是否適合所有學(xué)生等。有了主導(dǎo)方向，才能根據(jù)學(xué)習(xí)理論和相關(guān)研究等確定數(shù)據(jù)指標、預(yù)測模型等，明確數(shù)據(jù)來源（LMS或者其他數(shù)據(jù)庫）獲取數(shù)據(jù)；同時根據(jù)學(xué)習(xí)理論教學(xué)法等，確立統(tǒng)計分析方法，如描述性統(tǒng)計數(shù)據(jù)、相關(guān)性分析、回歸預(yù)測模型等。數(shù)據(jù)分析的結(jié)果同樣可以檢測理論基礎(chǔ)是否合理，如發(fā)現(xiàn)有些數(shù)據(jù)指標為非顯性因子，因此可以進一步簡化提煉理論基礎(chǔ)。數(shù)據(jù)結(jié)果一般用可視化技術(shù)呈現(xiàn)，如可視化面板等。干預(yù)措施則建立在整個數(shù)據(jù)分析結(jié)果之上。為確認采取的干預(yù)措施是否有效，可以與LA目標對照。而目的本身也將影響干預(yù)措施的選擇和實施。圖4 中LA過程模型呈現(xiàn)了我們對智慧教育中LA的過程、相關(guān)因子及其相互之間關(guān)系的理解。

以下我們基于Greller & Drachsler的六個緯度來說明LA設(shè)計開發(fā)中每一環(huán)節(jié)涉及的重要緯度（見表3）。

六、LA應(yīng)用現(xiàn)狀及面臨挑戰(zhàn)

LA已成為教育領(lǐng)域，尤其是高等教育和遠程網(wǎng)絡(luò)教育的熱點。美國西部州際高等教育委員會教育技術(shù)合作部（WICHE，WCET，Western Interstate Commission for Higher Education，Cooperative for Educational Technologies）的教育LA大數(shù)據(jù)分析項目，其預(yù)測分析報告（PAR，Predictive Analytics Reporting）于2011年獲得比爾及梅琳達·蓋茨基金會資助。[39]PAR的主要目的是確認影響學(xué)生退學(xué)以及是否能夠畢業(yè)的因子。該項目目前已經(jīng)涉及六所大學(xué)64萬學(xué)生，320萬門選課的數(shù)據(jù)分析，初步發(fā)現(xiàn)32個影響學(xué)生學(xué)習(xí)以及退學(xué)的普通變量（多為學(xué)生特點變量），包括性別、種族、學(xué)位種類、多種專業(yè)、課程數(shù)量、班級人數(shù)等。其他發(fā)現(xiàn)如學(xué)生的性別、年齡以及種族與該生是否會退出某門課沒有關(guān)系。該研究仍在繼續(xù)。

然而，盡管LA工具已經(jīng)在世界各地一些大學(xué)被開發(fā)和應(yīng)用，學(xué)者們認為，LA在教學(xué)應(yīng)用方面的研究和相應(yīng)的LA技術(shù)研發(fā)和系統(tǒng)開發(fā)尚處于初始階段[40][41]。Simens等認為教師缺乏可以用來評估多方面學(xué)生成績以及對學(xué)生進行對比分析的LA工具，學(xué)生也難以追蹤與自己的網(wǎng)上活動和成績方面的信息。[42]因此他們提出了開放性學(xué)習(xí)分析平臺項目，目的是開發(fā)集成的可擴展的LA工具集，以供教師和教育機構(gòu)對學(xué)生的活動進行評估，并以此為基礎(chǔ)決定干預(yù)措施，從而提高學(xué)習(xí)效果。同時，學(xué)生也可以查看個人的學(xué)習(xí)進展。該平臺預(yù)期將開發(fā)四種工具和資源：（1）LA 引擎；（2）自適應(yīng)內(nèi)容引擎；（3）干預(yù)引擎，包括干預(yù)措施推薦和系統(tǒng)自動支持；（4）儀表盤、報告以及資訊可視化工具。

現(xiàn)有的已經(jīng)開發(fā)出的LA系統(tǒng)大多是針對具體課程，目的是根據(jù)學(xué)生的表現(xiàn)、活動成績等實施干預(yù)措施，以提高學(xué)生成績，改善學(xué)習(xí)體驗等。類似LA系統(tǒng)如普渡大學(xué)的Course Signals、密歇根大學(xué)的M-Reports Dashboard、馬里蘭大學(xué)-巴爾的摩縣（UMBC，University of Maryland-Baltimore County）的Check My Activity，以及亞琛工業(yè)大學(xué)（RWTH Aachen ）的eLAT（Exploratory Learning Analytics Toolkit）等。

盡管有很多系統(tǒng)已經(jīng)在使用中或者正在開發(fā)，但是LA的開發(fā)和研究同樣面臨著諸多挑戰(zhàn)。我們以Signals[43]和eLAT[44]為例，來說明這個問題。

與很多大學(xué)相類似，普渡大學(xué)開設(shè)了很多入門課程，這些課程往往有很多學(xué)生經(jīng)常對他們的學(xué)習(xí)狀況不是很了解。為了能夠及時提醒和通知學(xué)生在某一特定課程中的表現(xiàn)和成績，普渡大學(xué)開發(fā)了Signals 系統(tǒng)。該系統(tǒng)通過數(shù)據(jù)挖掘和統(tǒng)計預(yù)測模型，根據(jù)多個變量（表現(xiàn)指標包括：現(xiàn)有平均分和努力程度，如學(xué)生LMS的交互頻率；個性特點指標包括學(xué)術(shù)準備，如高中平均分和各項標準考試成績，以及學(xué)生特點，如是否為美國居民、年齡和選修學(xué)分）來預(yù)測學(xué)生是否能夠完成/通過該課程。Signals 在課程進行的過程中，以交通信號指示燈的方式，讓學(xué)生了解自己的學(xué)習(xí)狀況：課業(yè)良好（綠色）、課業(yè)中度危急（黃色），或者課業(yè)嚴重危急（紅色）。同時教師可以給學(xué)生提供有效的反饋信息，引導(dǎo)學(xué)生使用合適的資源等來提高成績。[45]Signals 的使用取得了很多正面效果，如在使用Signals的班級，成績?yōu)锳和B的學(xué)生比沒有使用班級的學(xué)生多，而成績?yōu)镃 和D 的學(xué)生則少于對照班級。另外，研究還發(fā)現(xiàn)，參加至少一門使用Signals 的課程的學(xué)生比沒有使用Signals的課程的學(xué)生的四年畢業(yè)率高四個百分點。[46][47]

在RWTH Aachen 大學(xué)，Dyckhoff等[48]開發(fā)了eLAT ，幫助教師在使用L2P、網(wǎng)上教學(xué)學(xué)習(xí)系統(tǒng)時，更好地反思他們的教學(xué)方法和成效。通過eLAT，教師可以根據(jù)個人興趣探究內(nèi)容使用，用戶特征、用戶行為、測評結(jié)果等是否相關(guān)以及相關(guān)程度等。他們強調(diào)LA 工具應(yīng)該具有動態(tài)性和靈活性，這樣教師可以根據(jù)自己的興趣查看相關(guān)信息，確認教學(xué)方法是否有效，以及不同特點的學(xué)生對同一教學(xué)內(nèi)容是否有不同反映等。eLAT 的主要目的是幫助教師自我評價他們的課程以及支持他們做相關(guān)研究，因此更多關(guān)注的是學(xué)生作為一個群體的表現(xiàn)、活動、成績等，而不是個體學(xué)生的信息。即便如此，該系統(tǒng)的設(shè)計非常注重保護學(xué)生個人隱私，以Hash 函數(shù)（注：一種用雜湊函數(shù)產(chǎn)生隨機數(shù)的算法）取代學(xué)生姓名。此外，他們認為LA 工具呈現(xiàn)的數(shù)據(jù)應(yīng)該簡單易讀，因此資訊可視化非常重要。eLAT使用四類指標：文檔使用指標、成績測評指標、用戶活動指標和互動交流指標。每類指標包括多種具體指標，如最頻繁使用的10個文檔屬于文檔使用指標，教師可以根據(jù)指標信息發(fā)現(xiàn)學(xué)生最喜歡使用的文檔，如學(xué)生可能喜歡一個具體例子超過課堂講稿。另外，根據(jù)用戶活動，他們用不同顏色表示三組用戶類型：非?；钴S用戶（藍色）、活躍用戶（紅色）以及非活躍用戶（黃色）。如果學(xué)生大部分都不夠活躍，那么教師可能需要發(fā)現(xiàn)原因，考慮如何改進教學(xué)內(nèi)容及方法等。

Signals 的成功是顯而易見的，然而研發(fā)人員也提出了他們遇到的問題和困難。首先是數(shù)據(jù)。除了LMS 數(shù)據(jù)容易獲取，Signals 的預(yù)測模型需要的學(xué)生個性特點數(shù)據(jù)是分散的，由不同的相關(guān)學(xué)校部門分別持有。在開始階段，聚合匯編數(shù)據(jù)花了一年多的時間。其次是Signals 的使用方面。研究證明早期干預(yù)和頻繁干預(yù)對學(xué)生成績的影響最為正面，然而大部分教師工作負荷很重，多次干預(yù)會加重他們的工作負擔(dān)。最后，研發(fā)人員發(fā)現(xiàn)，他們很難向?qū)W生解釋如何得到他們的學(xué)習(xí)狀況危險指數(shù)。為此他們專門作了視頻，解釋了他們的算法和公式。

在挑戰(zhàn)和困難方面，eLAT研發(fā)人員提到了數(shù)據(jù)指標的選擇。他們選擇了用戶活動指標等，然而很難確認哪些對改進教學(xué)有指導(dǎo)意義，也很難確認它們是否包含了所有影響學(xué)生成功或失敗的指標，因此需要更多的實證研究來驗證。此外，研發(fā)人員認為數(shù)據(jù)指標過于簡單，只傳達一般信息和容易理解的信息，然而，加入一些教師們不熟悉的指標等，可能會給他們解讀數(shù)據(jù)帶來困難。

因此LA在實際的開發(fā)過程中，技術(shù)的、倫理的、人員有關(guān)的以及實際情況的限制等各方面的問題都可能出現(xiàn)。

七、LA與智慧教育

隨著技術(shù)的發(fā)展，人類社會進入數(shù)據(jù)化時代，計劃決策等無不以數(shù)據(jù)為依據(jù)。教育也將逐漸成為智慧教育模式，即以學(xué)習(xí)者為中心，進行個性化學(xué)習(xí)，為學(xué)習(xí)者提供各方面支持，將教和學(xué)的效果提升到一個新的層次。學(xué)習(xí)技術(shù)如電子課本和移動學(xué)習(xí)等正處于發(fā)展上升期，預(yù)計一到兩年之內(nèi)會有廣泛應(yīng)用[49]。這意味著更多的數(shù)據(jù)可以納入LA 研究的范圍。LA 以學(xué)習(xí)科學(xué)、教學(xué)理論、課程設(shè)計理論和已有研究結(jié)果為基礎(chǔ)，選擇學(xué)習(xí)者特點、網(wǎng)上交互活動頻率等變量，分析并監(jiān)測學(xué)生學(xué)習(xí)情況，評估教學(xué)活動教學(xué)質(zhì)量，及時發(fā)現(xiàn)學(xué)習(xí)中存在的問題，從而保證智慧教育的實施。因此，學(xué)習(xí)分析學(xué)應(yīng)該成為我國教育技術(shù)研究者特別關(guān)注的新領(lǐng)域。

[參考文獻]

[1] 祝智庭，賀斌. 智慧教育：教育信息化的新境界[J].電化教育研究，2012，（12）：1～13.

[2] Learning and Knowledge Analytics[DB/OL].[2013-01-10].http：//www.learninganalytics.net/？p=174.

[3] 顧小清，張進良，蔡慧英.學(xué)習(xí)分析：正在浮現(xiàn)中的數(shù)據(jù)技術(shù)[J].遠程教育雜志，2012，（1）：18～25.

[4] Siemens，G..What are Learning Analytics？[DB/OL].[2012-12-20].http：//www.elearnspace.org/blog/2010/08/25/what-are-learning-analytics/.

[5] Siemens，G..Learning Analytics a Foundation for Informed Change in Higher Education[DB/OL].[2013-01-17].http：//www.slideshare.net/gsiemens/learning-analytics-educause.

[6] Verbert， K.， Manouselis， N.， Drachsler， H. & Duval， E.. Dataset-Driven Research to Support Learning and Knowledgeanalytics[J]. Educational Technology & Society，2011.

[7] [10] [14] [16] [17] [45] Ferguson， R.. The State Of Learning Analytics in 2012： A Review and Future Challenges[DB/OL].[2012-12-11]. http：//kmi.open.ac.uk/publications/pdf/kmi-12-01.pdf.

[8] [37] Brown， M. Learning Analytics： Moving from Concept to Practice[DB/OL].[2012-12-21].http：//www.educause.edu/library/resources/learning-analytics-moving-concept-practice.

[9] [20] [26] [27] Cooper， Adam. A Brief History of Analytics A Briefing Paper[DB/OL].[2012-12-15].http：//publications.cetis.ac.uk/wp-content/uploads/2012/12/Analytics-Brief-History-Vol-1-No9.pdf.

[11][18][28][29] Greller， W.& Drachsler， H..Translating Learning into Numbers： A Generic Framework for Learning Analytics[J]. Educational Technology & Society，2012，15（3）：42～57.

[12] White House Ostp. Obama Administration Unveils “Big Data” Initiative： Announces $200 Million in New R&D Investments[EB/OL].[2012-03-29]. http：//www.whitehouse.gov/sites/default/files/microsites/ostp/big_data_press_release_final_2.pdf.

[13] Mazza，R.，& Milani，C..GISMO： a graphical interactive student monitoring tool for course management systems[DB/OL].[2012-01-10].http：//linux3.dti.supsi.ch/～mazza/Web_area/Pubblicazioni/TEL04/TEL04.pdf.

[15] Mazza， R.&Dimitrova， V.. Visualizing Student Tracking Data to Support Instructors in Web-Based Distance Education[DB/OL].[2013-01-10].http：//www.iw3c2.org/WWW2004/docs/2p154.pdf.

[19] [34] Elias， T..Learning Analytics： Definitions， Processes， Potential[DB/OL].[2012-12-10].http：//learninganalytics.net/LearningAnalytics DefinitionsProcessesPotential.pdf.

[21] [24] Siemens， G..Learning and Knowledge Analytics[DB/OL].[2012-12-28].http：//www.learninganalytics.net/？p=131.

[22] Barneveld， A.， Arnold， K.E.& Campbell， J.P..Analytics in Higher Education： Establishing a Common Language[DB/OL].[2013-01-18].http：//net.educause.edu/ir/library/pdf/ELI3026.pdf.

[23] Siemens， G. & Baker， R.. Learning Analytics and Educational Data Mining： Towards communication and collaboration[A]. Simon， B.S.， Dragan， G. & Rebecca， F.. LAK12 Proceeding of the 2nd International Conference on Learning Analytics and Knowledge[C]. USA： ACM New York，2012：252～254.

[25] Davenport， T. H.， Harris， J. G. & Morison， R.. Analytics at Work： Smarter Decisions， Better Results[M].Boston： Harvard Business Press，2010.

[30] Wolf， G..Know thyself： Tracking Every Facet of Life， from Sleep to Mood to Pain， 24/7/365. Wired Magazine[DB/OL].[2012-12-05].http：//www.wired.com/medtech/health/magazine/17-7/lbnp_knowthyself？currentPage=all.

[31] Drachsler， H.et al. Issues and Considerationsregarding Sharable Data Sets for Recommender Systems in Technology Enhanced Learning[J]. Elsevier Procedia Computer Science，2010，1（2）：2849～2858.

[32] Dron， J.，Anderson，T.. On the Design of Collective Applications[A].Proceedings of the 2009 International Conference on Computational Science and Engineering - Volume 04（CSE09）， Vol. 4. IEEE Computer Society[C]. Washington， DC， USA，2009： 368～374.

[33] Hackman， J.R.，Woolley， A. W.. Creating and leading analytic teams[A]. R. L. Rees & J. W. Harris， A handbook of the psychology of intelligence analysis： The human factor. Burlington[C]. MA： CENTRA Technology， in press.

[35] Corbitt， T.. Business Intelligence and Data mining[J].Management Services，2003，（12）：18.

[36] MacFayden， L.P. & Dawson，s..Mining LMS Data to Develop an “Early Warning System” for Educators： A Proff of Concept[J].Computers & Education，2010，54（2）：588～599.

[38] [43] [46] Pistilli， M.D.， Arnold， K.， & Bethune， M.. Signals： Using Academic Analytics to Promote Student Success[DB/OL].[2012-10-08].http：//www.educause.edu/ero/article/signals-using-academic-analytics-promote-student-success.

[39] Boulder，CO（PRWEB）.. WCET Predictive Analytics Reporting （PAR） Framework Project DeliversMillions of Course Records for Review and Analysis[DB/OL].[2011-10-17].http：//www.prweb.com/pdfdownload/8882165.pdf.

[40] [49] Johnson， L.， Smith， R.， Willis， H.， Levine， A. & Haywood， K.. The 2011 horizon report[DB/OL].[2012-05-09].https：//waynedev.uakron.edu/dotAsset/d252d696-2a99-4102-8010-4fc103846b0d.pdf.

[41] Johnson， L.， Adams， S.， & Cummins， M.. The NMC horizon report： 2012 higher education edition[DB/OL].[2012-05-09].http：//net.educause.edu/ir/library/pdf/HR2012.pdf.

[42] Siemens， George， et al. Open Learning Analytics： An Integrated & Modularized Platform： Proposal to Design， Implement and Evaluate An Open Platform to Integrate Heterogeneous Learning Analytics Techniques[DB/OL].[2012-12-01].http：//sites.ewu.edu/elearningservices/files/2012/06/Open-Learning-Analytics-an-integrated-modularized-platform.pdf.

[44][48] Dyckhoff， A. L.， Zielke， D.， Bültmann， M.， Chatti， M. A.， & Schroeder， U.. Design and Implementation of a Learning Analytics Toolkit for Teachers[J]. Educational Technology & Society，2012，15（3）：58～76.

[47] Arnold， K. E..Signals： Applying Academic Analytics[DB/OL].[2010-10-01]. http：//www.educause.edu/EDUCAUSE+Quarterly/EDUCAUSEQuarterlyMagazineVolum/SignalsApplyingAcademicAnalyti/199385.