葛文雙 韓錫斌 何聚厚

摘要：隨著人才培養(yǎng)理念的轉(zhuǎn)變和新型在線學習形式的涌現(xiàn)，傳統(tǒng)的知識本位測評已難以滿足社會發(fā)展對人才評價的需要，注重規(guī)?；?、智能化、個性化的在線學習測評技術受到廣泛關注。通過對學習成果認證的類型劃分及演變過程的剖析可以看出，在線學習測評技術正在從注重時間固定的知識掌握型學習成果認證向關注時間靈活的能力發(fā)展型學習成果認證轉(zhuǎn)變，深度學習成為其發(fā)展的價值導向。從在線學習測評技術的理論基礎來看，知識本位的掌握度測評主要依托基于行為主義的程序教學理論，而能力本位的發(fā)展性測評則依托認知主義和建構(gòu)主義學習理論。上述教學和學習理論與信息技術的結(jié)合，使得自動測試與實時反饋、同伴互評、基于學習分析的測評、數(shù)字徽章等在線學習測評技術應用模式被廣泛采納。在線學習測評技術的發(fā)展使得學習更加開放與多元，但仍存在測評系統(tǒng)不夠智能、測評數(shù)據(jù)不夠安全等問題。同時，教師在運用測評數(shù)據(jù)開展有效教學設計、監(jiān)控學習過程、進行教學反思等方面的能力亦有待提升。重新認識學習測評的角色，并通過測評為學習者提供更加個性化的學習服務支持，是未來在線學習測評技術的發(fā)展方向和價值追求。

關鍵詞：在線學習;測評技術;學習成果認證;學習分析;應用模式

中圖分類號：G434? ?文獻標識碼：A? ? 文章編號：1009-5195（2019）06-0052-10? doi10.3969/j.issn.1009-5195.2019.06.006

一、引言

長久以來，在以學校教育為主的學歷、學位認證中，考試作為一種富有成效的測評方式被廣泛運用。隨著技術的不斷發(fā)展和在線教育的日益普及，如何促使在線測評與傳統(tǒng)測評方式一樣有效，成為重要的研究話題。一時間，各種針對上機考試和在線考試的研究成為熱點，但由于其采用的測評理論主要是針對知識傳授型教學模式而構(gòu)建的，因而這些研究更多被視為是對原有測評手段或方式的技術強化。進入21世紀，隨著社會對人才技能與個體發(fā)展的日益關注，教育更注重對溝通交流能力、問題解決能力、批判性思維和全球化勝任力的培養(yǎng)。經(jīng)濟合作與發(fā)展組織在其近期發(fā)布的《教育與技能的未來：教育2030》（The Future of Education and Skills： Education 2030）中，提出要關注面向終身學習、全人教育的未來學習能力建設（OECD，2018）。一方面，這種發(fā)生在人才評價本質(zhì)層面上的改變，讓面向傳統(tǒng)學習方式的測評體系難以有效應對;另一方面，互聯(lián)網(wǎng)技術所催生的MOOCs、Micro-Lecture、Flipped Learning等新型學習方式，也促使針對在線學習測評的研究再度受到關注。當前，在線學習測評技術研究更關注教學過程中的實現(xiàn)問題，主要聚焦于測評的規(guī)模化、智能化等相關話題，缺少思維變革主導下的系統(tǒng)性創(chuàng)新。因此，本研究從技術驅(qū)動的學習成果認證分類與發(fā)展的視角來詮釋在線學習測評技術的重要價值，并從其研究的理論框架、應用模式及面臨的挑戰(zhàn)來展開系統(tǒng)分析。

二、基于學習成果認證分類的價值分析

“互聯(lián)網(wǎng)+”時代的技術進步促使教育環(huán)境發(fā)生了顯著變化，在線學習變得越來越普遍，正式與非正式情境下的學習研究也日益受到關注。作為知識與文化傳承重要途徑的學校一直以教學時間和場所相對固定的方式存在，而網(wǎng)絡大學、虛擬大學等在線教育形式的出現(xiàn)使得學習可以跨越時空界限，同時也改變了我們對于學校的傳統(tǒng)認知。信息時代的到來使得知識呈現(xiàn)出爆炸式增長的態(tài)勢，人們對學習的認知不再局限于對知識的記憶，更強調(diào)對知識的理解以及生產(chǎn)新的知識。這也改變了人們對學習測評的認知，使得以傳統(tǒng)學校考試和職業(yè)資格考試為代表的、強調(diào)“知道什么”的知識本位認證體系變得難以滿足學習的基本需求（DeVon et al.，2007）。一種強調(diào)“能做什么”的能力發(fā)展型認證開始受到關注，其不再強調(diào)標準的唯一性，而更重視個體在任務處理和問題解決過程中的能力表現(xiàn)，并強調(diào)采用檔案評估、報告訪談和技能展示等更加多元化的測評方式（Stevens et al.，2017）?；ヂ?lián)網(wǎng)的發(fā)展引發(fā)了學習方式的數(shù)字化變革，使得學習者的學習時間變得更加靈活。與此同時，學習成果認證體系的價值導向發(fā)生了顯著的變化，這使得我們有必要對學習成果認證和測評體系進行重新認知（Siemens et al.，2015）。因此，筆者基于認證方式和時間安排兩個維度構(gòu)建了四象限空間的學習成果認證分類框架（見圖1），并以此解釋技術驅(qū)動下的各類學習成果認證的變遷，進而凸顯在線學習測評技術在此過程中的重要價值。

1.時間固定的知識掌握型學習成果認證

時間固定的知識掌握型學習成果認證是學校教育中最為傳統(tǒng)和普遍的學習成果認證方式。早在康德1798年發(fā)表的《系科之爭》和紐曼1873年發(fā)表的《大學的理念》中就將教育的價值功能界定為人才培養(yǎng)，而對于人才的認證主要通過學校頒發(fā)學歷與學位的方式來進行（韓錫斌等，2016）。學校按照學科、專業(yè)來組織學歷和學位認證，其通過固定的學業(yè)年限和課程設置來要求學生完成認證所需的學時和學分，而考試則被作為檢驗學生知識掌握程度的主要手段。知識經(jīng)濟與全球化進程促使學習成果認證不再局限于某一個國家或地區(qū)，以博洛尼亞進程為標志的“歐洲高等教育資格框架”實現(xiàn)了學校間采用固定學習時長和知識掌握度的認證標準化（劉寶存，2009）。特別是“歐洲學分轉(zhuǎn)換系統(tǒng)”的實施，使得29個國家實現(xiàn)了不同教育體系之間的學位互認（韓錫斌等，2016），也進一步促進了面向知識掌握度的認證體系的發(fā)展，讓學習測評得以實現(xiàn)標準化和規(guī)?；?。

2.時間靈活的知識掌握型學習成果認證

英國開放大學于1969年開創(chuàng)了開放式學習模式，這讓學校集中組織學習者在固定時間和地點進行學習的方式得以改變，也讓學習者對學習時間的掌控變得更加靈活（The Open University，2017）。從上個世紀末到本世紀初，互聯(lián)網(wǎng)的迅速普及使在線學習成為可能，基于網(wǎng)絡教育的學位項目隨之興起，其主要采用的是時間靈活的知識掌握型學習成果認證方式（韓錫斌等，2015）。相對于傳統(tǒng)的學習成果認證方式，這種認證方式對學業(yè)年限的要求更為寬松，給予了學習者更大的學習自由度，允許學習者按照自己的步調(diào)來控制學習進度。同時，這種學習成果認證方式也為不同背景的學習者提供了更多的學習機會。然而，由于網(wǎng)絡教育的入學門檻相對傳統(tǒng)學歷教育要低得多，且?guī)熒跁r空上的分離使其教育質(zhì)量難以控制，加之對分層教學和個性化學習的“過度關注”進一步影響了其教育質(zhì)量，因而網(wǎng)絡教育畢業(yè)證書的含金量飽受社會質(zhì)疑。而MOOCs的出現(xiàn)引發(fā)了新一輪的在線教育熱潮，許多知名高校也開始關注基于MOOCs的在線學習方式，這為發(fā)展高質(zhì)量時間靈活的知識掌握型學習成果認證提供了新機遇。目前，edX、Coursera和FutureLearn等MOOCs平臺都通過在線開放學習的方式為學習者提供具有競爭力的學位認證項目。例如美國佐治亞理工學院的計算機科學碩士學位項目就是其中杰出的代表，其被視為高品質(zhì)在線學位認證的典范（Baker et al.，2018）。

3.時間固定的能力發(fā)展型學習成果認證

時間固定的能力發(fā)展型學習成果認證方式起源于傳統(tǒng)的學徒制教育，其言傳身教的教學方式要求師傅根據(jù)學生的特點來分階段提升他們的技能水平。隨著社會經(jīng)濟轉(zhuǎn)型對技術人才需求的激增，工程技術類院校借鑒學徒制教育的特點，在固定的學制時間內(nèi)培養(yǎng)學生從業(yè)所需的職業(yè)技能，這使得時間固定的能力發(fā)展型學習成果認證最先出現(xiàn)在職業(yè)教育中。隨著信息社會對互聯(lián)網(wǎng)人才需求的快速增長，一種全新的時間固定的能力發(fā)展型學習成果認證項目開始出現(xiàn)。針對互聯(lián)網(wǎng)行業(yè)新型技術人才短缺的現(xiàn)狀，美國在線教育機構(gòu)Udacity于2014年推出了“納米學位”（Nano Degree）項目。該項目提供網(wǎng)站開發(fā)、移動程序設計、數(shù)據(jù)分析等微學位認證課程，并通過與AT&T、Google、Amazon、Facebook和IBM等知名企業(yè)的合作，設計了與企業(yè)人才需求相匹配的課程內(nèi)容。在“納米學位”項目中，學習者可以通過編譯程序、設計案例和創(chuàng)造作品來展現(xiàn)自己的能力水平，這使得“納米學位”成為一種新型的職業(yè)能力證明（Gee，2014）。截至2019年5月，已經(jīng)有75000名學習者通過Udacity的“納米學位”項目獲得了認證學位，并且有84%的畢業(yè)者在學業(yè)結(jié)束后的半年內(nèi)獲得了更好的職位，其平均年薪達24000美金，這使得“納米學位”被視為高含金量的新型學位（Thrun，2019）。與此同時，高等院校也開始探索能力發(fā)展型學位認證。例如，密涅瓦大學從2014年開始面向全球推出能力發(fā)展型的本科學位項目。該項目依托互聯(lián)網(wǎng)實施創(chuàng)新型的教學模式，采用在線學習互動平臺對學習者的電子檔案進行記錄，并在四年內(nèi)對其各個維度的能力發(fā)展進行跟蹤，以確保每個學習者在畢業(yè)時都會獲得自己獨特的能力證明（Minerva Project，2019）。這種基于固定時間的能力發(fā)展型學習成果認證越來越受到重視，使得學習測評能夠更好地反映出學習者真實的能力水平。

4.時間靈活的能力發(fā)展型學習成果認證

能力發(fā)展型學習成果認證也受到了傳統(tǒng)教育機構(gòu)的關注，他們開始嘗試從學習時間的維度進行創(chuàng)新，于是一種強調(diào)時間靈活的能力發(fā)展型學習成果認證開始出現(xiàn)。時間靈活的能力發(fā)展型學習成果認證強調(diào)對學習者先前學習經(jīng)驗和能力的測評（王迎，2012），也就是說，若學習者到達了獲取學位所規(guī)定課程的要求，就可以對其能力進行認證，并轉(zhuǎn)換成相應課程的學分（Shapiro，2014）。時間靈活的能力發(fā)展型學習成果認證借鑒了勝任力模型的理念，關注學習者已有社會經(jīng)驗和學習經(jīng)歷的價值，不再要求已具備相關能力的學習者重復修讀已掌握的課程，這就使得學生不必按照規(guī)定的課程來獲得學分。美國西部州長大學較早采用這種時間靈活的能力發(fā)展型學習成果認證方式，其對學生的測評并不完全按照課程的學習時間和進度安排來組織，也允許學生通過先前學習測評或經(jīng)驗證明材料來獲得課程學分（韓錫斌等，2016）。這使得學習成果認證變得更加靈活和方便，也更趨向于反映學習者的真實能力水平。

5.學習成果認證變遷凸現(xiàn)在線學習測評技術價值

從學習成果認證的發(fā)展趨勢可以發(fā)現(xiàn)：隨著課程教學愈發(fā)強調(diào)以學習者為中心，測評技術的價值和作用更加突出;在線學習測評技術的發(fā)展促使學習成果認證越來越靈活開放，其功能特征也從診斷性、終結(jié)性走向過程性、系統(tǒng)性（Jisc，2010）。以課堂教學為中心的傳統(tǒng)測評體系正在被以學習服務為中心的測評體系所取代，這一轉(zhuǎn)變從在線學習測評技術的發(fā)展過程可以窺見：隨著計算機技術被引入以紙筆為主的傳統(tǒng)考試，電子化測評（e-Assessment）開始興起;隨著互聯(lián)網(wǎng)技術介入教學過程，基于學習管理系統(tǒng)的過程性評價被廣泛采用，在線測評（Online Assessment）開始流行;人工智能技術使學習服務與分析變得更加智能，具有“智慧基因”的在線測評技術開始關注面向?qū)W習者能力發(fā)展的真實化測評（Authentic Assessment）。本文所指的“在線學習測評技術”是不同時期面向課程教學層面的測評技術和方法的集合。當前，在線學習測評技術正處于從關注知識掌握到注重能力發(fā)展的轉(zhuǎn)變階段，因而，對其進行前瞻性、系統(tǒng)化分析對未來在線學習測評的發(fā)展具有重要意義。

三、理論框架

1.學習目標分類的重要價值：指向深度理解的過程化測評

作為一種有目的的活動，學習測評本身帶有價值判斷的功能。傳統(tǒng)教學更多通過考試來測評學習者的外顯行為，用以判斷學習者的知識掌握程度。這種方式雖然能為學習者帶來“惰性知識”，卻無法幫助其實現(xiàn)對知識的深度理解。從互聯(lián)網(wǎng)時代學習成果認證的分類和發(fā)展來看，學習測評越來越注重對學習者真實能力的評價，其價值導向也更加指向深度學習。能力發(fā)展型測評對學習目標的分類提出了更高要求，因而有必要對其理論框架進行系統(tǒng)解讀。安德森和克拉斯沃爾對布魯姆的教學目標分類理論進行了補充，提出從人的認知過程和知識類型兩個維度來構(gòu)建分類框架，對學習、教學、評價以及三者之間的關系進行了重新梳理（L·W·安德森等，2007）。據(jù)此，筆者基于學習目標分類框架，從學習者的新知產(chǎn)生、知識關聯(lián)和知識的應用遷移等不同認知階段，以及實現(xiàn)學習者的深度學習和促進其能力發(fā)展的視角，構(gòu)建了基于學習目標分類的過程化測評技術框架（見圖2）。該框架可為實現(xiàn)學習測評從關注知識掌握到關注能力發(fā)展的體系變革提供支撐，進而促進學習測評技術從提供外部支持向嵌入學習本身的根本性轉(zhuǎn)變。

2.知識本位的掌握度測評：行為主義指向的程序教學

知識本位的掌握度測評作為行為主義理論視角下的典型測評方法，其主要理論基礎為程序教學理論。程序教學最早發(fā)源于普萊西設計的教學測驗和計分機器，隨后斯金納從行為主義的視角對程序教學進行了論證。程序教學論認為學習是刺激和反應之間聯(lián)結(jié)的強化過程，強調(diào)教學要關注外部刺激，要將復雜的學習過程分解為詳細方案，因而技術支持的教學系統(tǒng)要遵循積極反應、小步子、即時反饋和自定步調(diào)的原則，要具有清晰的教學模式和組織流程（韓錫斌等，2012）。由此，基于直線式、衍枝式和莫菲爾德式等典型程序教學模式，筆者構(gòu)建了基于程序教學的知識掌握型測評技術框架（見圖3），其可以作為開展客觀知識測評技術研究的基礎。

該測評技術框架已在教學實踐中經(jīng)過長期檢驗：在計算機多媒體教學時代，基于程序教學的計算機輔助測評與自動化閱卷系統(tǒng)得到了長足發(fā)展（李藝等，2013）;在信息技術與課程整合的時代，程序教學支持的電子應答系統(tǒng)為課堂教學提供即時的反饋性測評，促使知識掌握度測評進一步發(fā)展;在“互聯(lián)網(wǎng)+”學習時代，xMOOCs的測評模式成為程序教學的典型應用，實現(xiàn)了客觀知識掌握度測評的規(guī)?；瘧?。

3.能力本位的發(fā)展性測評：認知主義與建構(gòu)主義指向的主動學習

能力本位的發(fā)展性測評更適合于針對主觀理解、問題解決和批判性思考等高階思維能力的測評，其主要理論基礎為認知主義和建構(gòu)主義。認知主義重視以往經(jīng)驗的作用，強調(diào)對個體復雜思維過程的解釋和激活圖式的特殊意義，即教師要把知識組織成為對學生有意義的樣式，以促進知識的掌握和遷移（Driscoll，2005）?；谶@種認知信息加工模型，各種強調(diào)練習、游戲、模擬與人機對話的早期計算機專家系統(tǒng)被開發(fā)出來。建構(gòu)主義學習理論進一步將知識獲取分為入門、熟練和精通三個階段，并指出建構(gòu)性的學習環(huán)境對熟練階段的學習者最為有效（Mayer，2018）。因此，基于建構(gòu)主義設計的學習系統(tǒng)更關注學習者在分析、處理和解決問題等方面的能力建構(gòu)，這為能力發(fā)展性測評提供了理論支撐。隨著計算機支持的協(xié)作式、個性化學習管理系統(tǒng)的問世，在線學習測評技術愈發(fā)關注社會化學習，也更為強調(diào)針對學習者主動學習能力的測評。

基于建構(gòu)主義的ICAP模型將學習者的認知投入模式按照其學習活動的外顯行為和產(chǎn)出分為互動性（Interactive）、建構(gòu)性（Constructive）、主動性（Active）和被動性（Passive）等四種類型，其中主動性認知投入所產(chǎn)生的學習效果要明顯優(yōu)于被動性認知投入，而互動性認知投入更可能引發(fā)深度學習（Chi et al.，2018），這為優(yōu)化能力發(fā)展性測評提供了理論依據(jù)?；谏鲜龇治?，筆者以促進學習者主動學習為目標，將情感態(tài)度、學習過程和學習結(jié)果作為學習者能力發(fā)展的測評維度，對主動學習所引發(fā)的學習者思維深度進行了不同程度的劃分，由此構(gòu)建了基于主動學習的能力發(fā)展型測評技術框架（見圖4）。該框架強調(diào)激勵學習者的主動學習行為，可從學習方式變革的視角為實施多維度、多元化的能力發(fā)展型測評提供支持。

四、應用模式

就發(fā)展軌跡來看，從早期的計算機輔助考試到如今反映學習進程的過程性測評，在線學習測評技術愈發(fā)呈現(xiàn)出智能化和自動化的特征。本部分主要從四個方面介紹在線學習測評技術的主要應用模式。

1.自動測試與實時反饋

在線學習中的自動測試主要被用于客觀性和主觀性兩類試題的自動化評價。面向客觀性試題的自動測試主要采用自動標記的多項選擇和短文字簡答方式，通過對答案的自動檢查來評價學習者的知識掌握程度（Admiraal et al.，2015）。學習者在參與這類測試時，系統(tǒng)會自動判定他們的答案是否正確，并給出相應的提示與分析信息。這類自動測試最初被應用于傳統(tǒng)課堂的形成性評價環(huán)節(jié)，主要采用電子應答系統(tǒng)對學習者的概念性知識掌握情況進行診斷。例如英國開放大學的OpenMark系統(tǒng)，其對測試的交互性和反饋的即時性進行了加強，并實現(xiàn)了斷點測試功能（Jordan，2013）。目前這類技術在MOOCs中有著廣泛應用，其通過小測試或階段性考試的形式來實現(xiàn)過程化評價，以幫助學習者更好地了解自己的學習狀況，同時也將教師從繁重的閱卷工作中解放出來，使其能夠有更多的時間關注課程教學本身。面向主觀性試題的自動測試主要利用自然語言處理技術，將學習者答案與參考答案進行基于語義相似度的文本特征比對，進而評判學生者的回答是否正確（劉偉等，2016）。面向主觀性試題的自動測試最初被用于短文本簡答題，如OpenMark和Moodle系統(tǒng)都針對簡答題提供了基于關鍵詞和同義詞匹配的測評功能，以對學習者的回答進行語義文本分析性評判（Jordan，2013）。而潛在語義分析技術的出現(xiàn)，使在線測評系統(tǒng)可以對文本概念、文字風格和語法結(jié)構(gòu)進行更為精準的分析（Warschauer et al.，2006），這促使e-rater、Intelligent Essay Assessor和OpenEssayist等寫作類自動測試系統(tǒng)得到了大范圍應用（Jordan，2013）。在上述兩類自動測試中，實時反饋的即時性和有效性是關鍵。已有的實時反饋功能主要通過智能導師模塊來實現(xiàn)，這對于事實性、概念性和程序性知識的測評比較有效，而在思維策略性知識的測評效果上則并不顯著（Bates，2014）。

2.同伴互評

為彌補上述測評技術在思維策略性知識測評上的不足，同伴互評被引入課堂教學和在線教學，其被認為是替代傳統(tǒng)評價方式的一種較為有效的測評技術（Formanek et al.，2017）。同伴互評的主要實現(xiàn)機制如下：第一步，教師通過系統(tǒng)發(fā)布互評任務和評價量規(guī);第二步，學習者按照規(guī)定的時間提交任務;第三步，系統(tǒng)根據(jù)互評機制將需要評價的任務分發(fā)給學習者，學習者在規(guī)定時間內(nèi)完成評價，并給出評分和評語;第四步，系統(tǒng)對成績進行審核，并公布學習者成績和評語。通過分析上述機制可以發(fā)現(xiàn)，互評者的信賴程度（即內(nèi)在信度）以及互評者評價與教師評價間的相似性（即聚合效度）是互評有效的關鍵（Bouzidi et al.，2009）。例如，Coursera、edX等主流MOOCs平臺都采用了基于匿名隨機分組的互評機制，其將學習者分為每4～5人一組，確保學習者可參與的評價任務數(shù)量一致，并規(guī)定學習者要嚴格根據(jù)評價量規(guī)進行互評（Biggs，2013）。又如加利福尼亞大學的標準化同伴互評系統(tǒng)（Calibrated Peer Review），其要求參與互評的學習者先對教師評價過的論文或作品進行評價，再根據(jù)學習者評價與教師評價間的相似程度對前者進行信度賦值，并將其作為同伴互評成績的計算依據(jù)（鄭燕林等，2015）。此外，同伴互評中用于學習者之間相互評分的評價量規(guī)對于互評的有效性也極為關鍵。一個有效的互評量規(guī)要包含明確的指標、權重和評分內(nèi)容，并需要對其信效度進行驗證。例如，美國大學協(xié)會針對論文、學習項目、口頭報告和課堂合作等主觀性任務提供了經(jīng)過檢驗校正的VALUE評價量規(guī)（Rhodes et al.，2013），為在線學習中同伴互評任務的設計提供了借鑒。

3.基于學習分析的測評

計算機自適應測試技術的引入使在線學習測評系統(tǒng)變得更加智能?；陧椖糠磻碚摚↖tem Response Theory）構(gòu)建的適應性測試模型可以將學習者能力和試題難度進行關系映射，進而根據(jù)學習者的能力水平來調(diào)整試題難度和選擇試題類型，從而初步實現(xiàn)了基于學習者知識掌握程度的助學功能，這為規(guī)?；瘜W習測評創(chuàng)造了條件（Rossano et al.，2017）。但這類學習測評系統(tǒng)所存儲的學習時長、行為特征和成績等數(shù)據(jù)均為反映學習者客觀行為的痕跡型數(shù)據(jù)，缺少能夠反映學習者參與度、投入度的狀態(tài)型數(shù)據(jù)，而學習分析技術可以彌補這一不足。美國教育部教育技術辦公室在其發(fā)布的《通過教育數(shù)據(jù)挖掘和學習分析技術優(yōu)化教學》（Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics）報告中提出：學習分析可以利用更為豐富的教育大數(shù)據(jù)來開展學術性分析、行為性分析和預測性分析;學習分析要綜合運用信息科學、社會學、計算機科學、統(tǒng)計學、心理學和學習科學中的理論、技術、方法和模型，去解釋和分析影響學習者學習的各種重要因素;從更為全面和系統(tǒng)的視角來看，不僅要對學習者的學習行為表現(xiàn)進行測評，也要為其學習提供適應性的反饋支持（Bienkowski et al.，2012）。

學習分析技術在測評中的應用一般不是孤立的，需要將其同已有的在線學習系統(tǒng)及其他管理系統(tǒng)進行關聯(lián)，從而構(gòu)建更加完善的基于學習分析技術的測評體系。學習分析涉及數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)表示與應用服務等五個環(huán)節(jié)，這構(gòu)成了學習分析的核心要素（李艷燕等，2012）。為強化學習分析的有效性，應做到以下三點：首先，需要保證分析模型的適切性;其次，數(shù)據(jù)采集不能只針對課程屬性、學生成績等表層數(shù)據(jù)，更需要關注學習過程中的事務級數(shù)據(jù)（Transaction-Level Data）;再次，在處理和分析事務級數(shù)據(jù)時，要有針對性地運用技術和方法，不能以簡單的維度性指標來呈現(xiàn)分析結(jié)果，而需要就學習者的知識差距與特殊需求提供詳細的分析報告（Nyland et al.，2017）?？傮w而言，當前較為有效的基于學習分析的測評是從課程層面對學習成效的評價和對學習服務的重構(gòu)，并將學習目標、學習活動、學習評價和學習反饋進行關聯(lián)，進而為學習者、教師和管理者提供不同視角的分析報告。

4.數(shù)字徽章

數(shù)字徽章（Digital Badge）作為一種以圖標或徽標表征學習成果的數(shù)字標記（Digital Tokens），被用于正式和非正式學習中的學習成就或能力認證（EDUCAUSE，2012）。數(shù)字徽章主要有以下三方面的用途：一是用于激勵學習者的學習動機，即采用獎勵的方式來鼓勵學習者獲取學習積分，而這些積分可被用于學習身份升級和禮物兌換（Newby et al.，2016）;二是用于標識學習成就，即采用不同的徽章去代表各類學習成就，如小徽章用于標識學習單元或知識點，大徽章用于標識課程，更大的徽章則作為職業(yè)技能資質(zhì)的標識（Ellis et al.，2016）;三是用于識別學習者的學習路徑，即不同的數(shù)字徽章代表不同等級的知識水平和技能經(jīng)驗。通過分析學習者取得的徽章，可以追蹤其學習過程（West et al.，2016）。目前，在數(shù)字徽章的技術應用層面已經(jīng)確立了標準和規(guī)范，例如美國謀智基金會（The Mozilla Foundation）的開放徽章基礎架構(gòu)（Mozilla Foundation & Peer 2 Peer University，2012）、數(shù)字化承諾聯(lián)盟（Digital Promise）的“微證書”（Cator，2016）等，這些標準和規(guī)范推進了數(shù)字徽章的標準化應用。目前應用數(shù)字徽章的全球性學習項目尚較少，其中IBM的開放徽章項目（Open Badging Program）的成功顯示出該技術具有光明的應用前景。開放徽章已被全球超過40個學習項目所采用，通過開放徽章認證獲得了職業(yè)發(fā)展和晉升的學習者超過168000名（IMS Global，2017）?？梢灶A見，未來數(shù)字徽章的規(guī)?；瘧脤樵诰€學習中的學習成果認證帶來新的發(fā)展契機。

五、面臨的問題與挑戰(zhàn)

在線學習測評技術的發(fā)展為學習評價提供了更加便捷、靈活的手段與方式，促使學習變得更加開放和多元，也為基于能力本位的教育提供了支持，但在應用層面上仍面臨諸多問題和挑戰(zhàn)。

1.大多數(shù)測評系統(tǒng)不夠“智能”，基于學習分析的測評應用面臨諸多問題

傳統(tǒng)學習測評注重對考試成績的評定。在這種價值目標的引導下，大多數(shù)在線測評系統(tǒng)過于注重對知識的考核，無法滿足對學習者綜合能力進行評價的需要，這使得系統(tǒng)的功能相對單一，智能程度和可擴展性較差。學習分析技術的出現(xiàn)使測評系統(tǒng)變得更加智能，其在算法模型和可視化分析上的優(yōu)勢已經(jīng)開始展現(xiàn)。但從應用狀況來看，依然面臨較多問題：第一，測評系統(tǒng)的分析深度不夠。測評系統(tǒng)所采集的數(shù)據(jù)多為結(jié)構(gòu)化數(shù)據(jù)（如測評分數(shù)、在線時長、點擊次數(shù)等），而對非結(jié)構(gòu)化數(shù)據(jù)（如學習者在線提問、互動討論等）的采集不足，這導致其難以對測評結(jié)果進行深度分析，不能有效揭示學習者的思考過程和方式。第二，測評系統(tǒng)的分析結(jié)果較為片面。由于系統(tǒng)所采集的數(shù)據(jù)基本來自正式學習環(huán)境，而未有效聚合非正式學習環(huán)境中的數(shù)據(jù)，這就造成了分析結(jié)果在數(shù)據(jù)維度上的缺失，從而降低了分析的有效性和可靠性。第三，分析結(jié)果的呈現(xiàn)方式過于簡單，可借鑒性不強?，F(xiàn)有測評系統(tǒng)大多僅以數(shù)據(jù)圖表、儀表盤等方式對結(jié)果進行呈現(xiàn)，缺乏對改善教學和優(yōu)化學習的關注。第四，測評系統(tǒng)缺少具有效度的測評框架和分析方法?，F(xiàn)有的應用更多是面向?qū)W習成績與學習行為的關聯(lián)性數(shù)據(jù)挖掘，這并沒有突破傳統(tǒng)測評思維方式的局限。即使是目前較為先進和智能的Knewton系統(tǒng)，其在測評環(huán)節(jié)上仍存在諸多不足（張華華等，2016），距離“智能”依然有較大的差距。

2.測評系統(tǒng)的數(shù)據(jù)安全備受質(zhì)疑，提升在線學習測評的可信度迫在眉睫

在線測評一方面由于其靈活、多樣的優(yōu)勢而得以迅速發(fā)展，另一方面也由于其存在的信息安全問題而飽受質(zhì)疑。目前已有的測評系統(tǒng)在數(shù)據(jù)安全性和測評可信度上存在如下兩方面亟待解決的問題。

一是如何提高測評系統(tǒng)的安全性，防止數(shù)據(jù)被竊取和篡改。在線學習測評系統(tǒng)中保存著學習者的個人屬性、學習行為等重要數(shù)據(jù)，因此其數(shù)據(jù)的安全性倍受重視。為防止數(shù)據(jù)被惡意篡改和竊取，測評系統(tǒng)大多采用對敏感數(shù)據(jù)進行加密的方式來提升系統(tǒng)的安全性，但缺乏從測評過程監(jiān)控的角度所進行的安全優(yōu)化。目前許多測評系統(tǒng)缺少行為監(jiān)測功能，不能對異常測評數(shù)據(jù)進行有效的檢測與回溯，這導致了嚴重的安全隱患。

二是如何甄別測評對象的真實身份，提升在線測評的可信度。在線測評需依托網(wǎng)絡環(huán)境，而參與測評的個體可能是學習者本人，也可能是替考者，甚至是智能機器，這就使得對測評對象的有效甄別成為亟需解決的現(xiàn)實問題。目前大部分測評系統(tǒng)所采用的甄別手段是數(shù)字身份認證，也就是通過對比注冊信息的方式來甄別測評對象身份，由于其技術相對簡單，故甄別結(jié)果的可信度較低。也有部分在線教育平臺和測評機構(gòu)將生物識別技術用于身份核驗，如Coursera在部分認證課程中采用擊鍵生物識別技術（Keystroke Biometrics）來甄別測評對象的身份，美國羅格斯大學（Rutgers University）則通過攝像頭對測評對象的臉部特征進行核驗（李鳳英等，2017）。此外，部分在線教育平臺也在嘗試加強對測評過程的監(jiān)管，如edX與Software Secure公司合作開發(fā)的Remote Proctor Now （RPNow）監(jiān)考系統(tǒng)，其通過網(wǎng)絡攝像頭對測評進行全程記錄，并利用圖像識別和人工審查相結(jié)合的方式實現(xiàn)了精準高效的考試監(jiān)控（李鳳英等，2017）。然而，由于基于上述技術手段的考試監(jiān)控往往對測評對象的設備和學習平臺的人力投入有較高要求，因而尚難以實現(xiàn)規(guī)模化應用。

3.教師應用測評技術的能力不足，基于測評數(shù)據(jù)的有效教學難以落地

技術的發(fā)展使得教學、學習與評價間的邊界變得模糊，未來教育將從“經(jīng)驗主義”走向“數(shù)據(jù)主義”（余勝泉，2018）。借助測評工具和測評系統(tǒng)提供的數(shù)據(jù)，來分析和把握學習者的問題意識、知識儲備和學習狀態(tài)，成為教師需具備的關鍵能力。而教師對測評數(shù)據(jù)認識和應用上的不足成為其開展基于測評數(shù)據(jù)的有效教學的挑戰(zhàn)，具體表現(xiàn)在以下幾個方面。

一是教師需要具備基于測評數(shù)據(jù)開展有效教學設計的能力。教師往往習慣從傳統(tǒng)教學流程出發(fā)，將測評系統(tǒng)應用于知識診斷、階段測試和總結(jié)考試等環(huán)節(jié)，而并不善于借助測評數(shù)據(jù)對教學過程進行設計和優(yōu)化。未來教師需要基于測評系統(tǒng)所提供的數(shù)據(jù)來進行教學決策，從準確把握學習起點、個性化定制學習目標、動態(tài)組織教學內(nèi)容、靈活調(diào)整教學策略、即時進行評價反饋和推薦個性化資源等六個維度來開展有效的教學設計（陳明選等，2019）。

二是教師需要具備基于測評數(shù)據(jù)對教學過程進行有效監(jiān)管的能力。教師在數(shù)據(jù)素養(yǎng)上的欠缺，使其難以基于測評數(shù)據(jù)來對教學進行有效干預并調(diào)整教學策略，更無法實現(xiàn)即時的反饋，這成為將測評數(shù)據(jù)應用于教學的障礙。教師需要具備依靠測評數(shù)據(jù)有效監(jiān)管教學過程的能力，這種能力主要表現(xiàn)為：能通過“表現(xiàn)預測”驅(qū)動學習者有效學習，能通過“迭代監(jiān)測”促進個性化教學，能通過“質(zhì)量預警”對教學和學習過程進行優(yōu)化（吳慮，2019）。

三是教師需要具備基于測評數(shù)據(jù)對教學實踐進行有效反思的能力。在基于測評數(shù)據(jù)開展教學反思方面，目前教師更多是將階段測驗和結(jié)業(yè)考試數(shù)據(jù)用于總結(jié)性教學反思，而這類教學反思的作用較為有限。教師需要基于測評數(shù)據(jù)開展更多針對教學過程的教學反思，通過數(shù)據(jù)驅(qū)動對教學的不斷迭代和優(yōu)化，形成與未來學習相適應的“互聯(lián)網(wǎng)+”教學模式。

綜上所述，學習測評可以更好地促進學習者的發(fā)展，使教育回歸本質(zhì)。對于在線學習測評技術的探索不應僅停留在技術層面，更應不斷促進測評在價值導向?qū)用嫔系霓D(zhuǎn)變。針對在線學習測評技術的研究需要以一種全新的思維來重新認識學習測評的角色，并將云計算、情境感知和人工智能等新興技術有效融入其中，使得測評能夠與學習的內(nèi)在本質(zhì)相契合，這將是未來在線學習測評技術研究的重要方向。與此同時，從測評的視角構(gòu)建教育大數(shù)據(jù)，并挖掘其背后的知識表征和協(xié)同決策價值，進而為學習者提供更加主動和個性化的學習服務支持，這將是在線學習測評技術研究的價值追求。

參考文獻：

[1][美]L·W·安德森等（2007）.學習、教學和評估的分類學（布魯姆教育目標分類學修訂版）（簡縮本） [M].皮連生.上海：華東師范大學出版社：36.

[2]陳明選，耿楠（2019）.測評大數(shù)據(jù)支持下的有效教學研究[J].遠程教育雜志，37（3）：95-102.

[3]韓錫斌，劉英群，周潛（2012）.數(shù)字化學習環(huán)境的設計與開發(fā)[M].北京：中央廣播電視大學出版社：18-21.

[4]韓錫斌，王玉萍，張鐵道等（2015）.遠程、混合與在線學習驅(qū)動下的大學教育變革——國際在線教育研究報告《迎接數(shù)字大學》深度解讀[J].現(xiàn)代遠程教育研究， （5）：3-11，18.

[5]韓錫斌，王玉萍，張鐵道等（2016）.迎接數(shù)字大學：縱論遠程、混合與在線學習——翻譯、解讀與研究[M].北京：清華大學出版社：96-104.

[6]李鳳英，何屹峰，齊宇歆（2017）.MOOC學習者身份認證模式的研究——基于雙因子模糊認證和區(qū)塊鏈技術[J].遠程教育雜志，35（4）：49-57.

[7]李艷燕，馬韶茜，黃榮懷（2012）.學習分析技術：服務學習過程設計和優(yōu)化[J].開放教育研究，18（5）：18-24.

[8]李藝，單美賢（2013）.“教師”的智慧：談程序教學思想的興起與歸宿[J].電化教育研究，34（7）：11-16.

[27]Ellis， L. E.， Nunn， S. G.， & Avella， J. T. （2016）. Digital Badges and Micro-credentials： Historical Overiew， Motivational Aspects， Issues， and Challenges[M]//Ifenthaler， D.， Mularski， B. N.， & Mah， K. D. （eds.） （2016）. Foundations of Digital Badges and Micro-Credentials： Demonstrating and Recognizing Knowledge and Competencies. New York： Springer：3-21.

[28]Formanek， M.， Wenger， M. C.， & Buxner， S. R. et al. （2017）. Insights About Large-Scale Online Peer Assessment from an Analysis of an Astronomy MOOC[J]. Computers & Education，113：243-262.

[29]Gee， S. （2014）. Udacity Offers Nano Degrees[EB/OL]. [2018-06-17]. https：//www.i-programmer.info/news/150-training-a-education/7438-udacity-offers-nanodegrees.html.

[30]IMS Global（2017）. Mapping Digital Transformation： Identifying and Understanding Pragmatic Trends in the Application of Technology to Improve Learning Impact[EB/OL]. [2018-12-10].? https：//www.imsglobal.org/sites/default/files/2017LearningImpactReport.pdf.

[31]Jisc（2010）. Effective Assessment in a Digital Age[EB/OL]. [2018-04-06]. https：//www.jisc.ac.uk/podcasts/effective-assessment-in-a-digital-age-06-sep-2010.

[32]Jordan， S. （2013）. E-assessment： Past， Present and Future[J].New Directions in the Teaching of Physical Sciences， （9）：87-106.

[33]Mayer， R. E. （2018）. Educational Psychologys Past and Future Contributions to the Science of Learning， Science of Instruction， and Science of Assessment[J]. Journal of Educational Psychology， 110（2）：174-179.

[34]Minerva Project（2019）. Build Upon a Solid Foundation[EB/OL]. [2019-01-05]. http：//www.minerva.kgi.edu/academics/four-year-curriculum/.

[35]Mozilla Foundation & Peer 2 Peer University （2012）. Open Badges for Lifelong Learning： Exploring an Open Badge Ecosystem to Support Skill Development and Lifelong Learning for Real Results Such as Jobs and Advancement [EB/OL]. [2018-11-23]. https：//wiki.mozilla.org/images/b/b1/OpenBadges-Working-Paper_092011.pdf.

[36]Nyland， R.， Davies， R. S.， & Chapman， J. et al. （2017）. Transaction-Level Learning Analytics in Online Authentic Assessments[J]. Journal of Computing in Higher Education， 29（2）：201-217.

[37]Newby， T.， Wright， C.， & Besser， E. et al. （2016）. Passport to Creating and Issuing Digital Instructional Badges[M]//Ifenthaler， D.， Mularski， B. N.， & Mah， K. D. （eds.） （2016）. Foundations of Digital Badges and Micro-Credentials： Demonstrating and Recognizing Knowledge and Competencies. New York， Springer：179-201.

[38]OECD（2018）. The Future of Education and Skills Education 2030[EB/OL]. [2019-02-16].? http：//www.oecd.org/education/2030/E2030%20Position%20Paper%20（05.04.2018）.pdf.

[39]Rhodes， T.， & Finley， A. （2013）. Using the VALUE Rubrics for Improvement of Learning and Authentic Assessment[EB/OL]. [2019-08-15]. https：//commission.fiu.edu/helpful-

documents/competency-based-courses-degrees/using-the-value-rubrics-for-improvement.pdf.

[40]Rossano， V.， Pesare， E.， & Roselli， T. （2017）. Are Computer Adaptive Tests Suitable for Assessment in MOOCs[J]. Journal of e-Learning and Knowledge Society，13（3）：71-81.

[41]Shapiro， J. （2014）. Competency-Based Degrees： Coming Soon to a Campus Near You[EB/OL]. [2018-02-17]. http：//chronicle.com/article/Competency-Based-Degrees-/144769/.

[42]Siemens， G.， Gasevic， D.， & Dawson， S. （2015）. Preparing for the Digital University： A Review of the History and Current State of Distance， Blended， and Online Learning[EB/OL]. [2018-02-16]. https：//linkresearchlab.org/PreparingDigitalUniversity.pdf.

[43]Stevens， B.， Hyde， J.， & Knight， R. et al. （2017）. Competency-Based Training and Assessment in Australian Postgraduate Clinical Psychology Education[J]. Clinical Psychologist，21（3）：174-185.

[44]The Open University（2017）. Exhibition： The OU Story[EB/OL]. [2018-11-05]. http：//www.open.ac.uk/library/digital-archive/exhibition/53/theme/5/page/1.

[45]Thrun， S. （2019）. Taking Udacity to New Heights[EB/OL]. [2019-06-01]. https：//blog.udacity.com/2019/05/udacity-new-heights.html..

[46]Warschauer， M.， & Ware， P. （2006）. Automated Writing Evaluation： Defining the Classroom Research Agenda[J]. Language Teaching Research， 10（2）：157-180.

[47]West， D.， & Lockley， A. （2016）. Implementing Digital Badges in Australia： The Importance of Institutional Context[M]//Ifenthaler， D.， Mularski， B. N.， & Mah， K. D. （eds.） （2016）. Foundations of Digital Badges and Micro-Credentials： Demonstrating and Recognizing Knowledge and Competencies. New York， Springer：467-482.

收稿日期 2019-03-02 責任編輯 譚明杰