袁齊齊 李華 黃典霞

摘 要：為了完善移動學(xué)習(xí)績效評價理論，梳理移動學(xué)習(xí)概念及特性，以及學(xué)習(xí)績效評價在移動學(xué)習(xí)領(lǐng)域發(fā)展現(xiàn)狀，通過借鑒美國 Kirkpatrick 評估模式與教學(xué)系統(tǒng)設(shè)計(jì)理論，探索性地提出移動學(xué)習(xí)績效評價模式設(shè)計(jì)原則及五層次績效評價模式，并提出績效評價還需進(jìn)一步研究的問題。該績效評價模式與傳統(tǒng)評價方式相比，具有兩大特點(diǎn)：一是關(guān)注學(xué)習(xí)者動態(tài)學(xué)習(xí)過程，包括學(xué)習(xí)者知識、技能、潛能、態(tài)度、行為和實(shí)踐能力的改變;二是關(guān)注學(xué)習(xí)對學(xué)習(xí)者未來長期潛在影響以及學(xué)習(xí)者完成學(xué)習(xí)后對組織和社會的影響。

關(guān)鍵詞：移動學(xué)習(xí);績效評價;Kirkpatrick評估模式;評價設(shè)計(jì)

DOI：10. 11907/rjdk. 192686 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：G434文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2020）008-0271-04

Abstract： In order to improve the theory of mobile learning performance evaluation， this paper sorts out the concepts and characteristics of mobile learning， and the current development status of learning performance evaluation in the field of mobile learning. Based on the Kirkpatrick assessment model and teaching system design theory in the United States， it proposes an exploratory study of mobile learning. The design principles of the performance evaluation model，the five-level performance evaluation model and the issues that need to be further studied in performance evaluation are put forward. Compared with traditional evaluation， the performance evaluation model proposed in this paper has two major characteristics， i.e. it focuses on the dynamic learning process of learners， including changes in learners knowledge， skills， potentials， attitudes， behaviors and practical abilities， and it focuses on the future of learning for learners，long-term potential impacts and organizational and social impacts of learners after learning.

Key Words： mobile learning; performance evaluation; Kirkpatrick evaluation model; evaluation design

0 引言

隨著網(wǎng)絡(luò)通信技術(shù)的飛速發(fā)展以及移動設(shè)備（如智能手機(jī)、平板電腦、手持閱讀器、筆記本電腦等）的普及，移動學(xué)習(xí)應(yīng)運(yùn)而生，尤其在近年來受到了極大關(guān)注。美國新媒體聯(lián)盟發(fā)布的《2012年地平線報告》中也強(qiáng)調(diào)移動應(yīng)用程序和平板電腦將在未來一年甚至更短時間內(nèi)成為教育應(yīng)用中的主流。我國學(xué)者對該領(lǐng)域的研究始于21世紀(jì)初，也即自2000年荷蘭遠(yuǎn)程教育學(xué)家Desmond[1]在我國作了年會主題報告并同期發(fā)表學(xué)術(shù)論文之后，我國開始掀起移動學(xué)習(xí)研究風(fēng)潮。之后該領(lǐng)域的文獻(xiàn)逐年增加，最近3年達(dá)到鼎盛，每年約有1 400篇，說明移動學(xué)習(xí)已逐漸成為當(dāng)前教育研究中的熱點(diǎn)。

1 移動學(xué)習(xí)概念及特性

移動學(xué)習(xí)最開始被認(rèn)為是一種數(shù)字化學(xué)習(xí)，應(yīng)用領(lǐng)域是遠(yuǎn)程教育[2]，也有學(xué)者認(rèn)為移動學(xué)習(xí)是在數(shù)字化學(xué)習(xí)基礎(chǔ)上發(fā)展起來的，是數(shù)字化學(xué)習(xí)的擴(kuò)展。但隨著移動學(xué)習(xí)開始發(fā)展出獨(dú)立的支持服務(wù)系統(tǒng)，其逐漸演化成為基于互聯(lián)網(wǎng)的主要學(xué)習(xí)方式之一[4]。

移動學(xué)習(xí)是指學(xué)習(xí)者通過移動設(shè)備，借助無線通信技術(shù)，可在任何時間、地點(diǎn)開展學(xué)習(xí)活動的一種學(xué)習(xí)方式。其形態(tài)表現(xiàn)為終端（如手機(jī)、平板電腦等）、內(nèi)容（如微課程等）和活動（呈現(xiàn)翻轉(zhuǎn)化與互聯(lián)網(wǎng)化特征）3個要素[5]。其主要優(yōu)勢表現(xiàn)在學(xué)習(xí)者可根據(jù)自己的需求隨時隨地進(jìn)行碎片化學(xué)習(xí)，內(nèi)容自定、時間靈活、方式多樣。與傳統(tǒng)學(xué)習(xí)模式相比，移動學(xué)習(xí)具有對象廣泛、即時性與情景化等特征。

2 移動學(xué)習(xí)績效定義

教育領(lǐng)域并非是最早關(guān)注績效的領(lǐng)域，企業(yè)最早關(guān)注績效，隨后才進(jìn)入教育領(lǐng)域，績效也隨之向“學(xué)習(xí)績效”轉(zhuǎn)變。1949年，Ryle將績效定義為“成就、行為的效益”;1994年，張祖忻[7]將“績效”引入國內(nèi)，并撰寫了相關(guān)理論文章，此后開始引起教育領(lǐng)域的關(guān)注;2004年，AECT在定義教育技術(shù)時也強(qiáng)調(diào)了學(xué)習(xí)績效，將學(xué)習(xí)績效定義為學(xué)習(xí)者運(yùn)用新知識與技術(shù)的能力[8]。

本文將移動學(xué)習(xí)績效定義為：在一定學(xué)習(xí)任務(wù)的指引下，學(xué)習(xí)者通過移動學(xué)習(xí)在知識獲取、技能提升、態(tài)度轉(zhuǎn)變以及行為改變方面的情況，以及學(xué)習(xí)后對周圍環(huán)境、社會、組織與學(xué)習(xí)者自身產(chǎn)生的積極影響。

3 績效評價在移動學(xué)習(xí)領(lǐng)域發(fā)展現(xiàn)狀

績效評價又稱為表現(xiàn)性評價，是“測量學(xué)習(xí)者運(yùn)用先前獲得的知識解決新問題或完成具體任務(wù)能力的一系列嘗試”[9]，具有診斷、反饋、調(diào)節(jié)、激勵和導(dǎo)向等功能。研究表明，其對于促進(jìn)學(xué)習(xí)者學(xué)習(xí)起著重要作用，是學(xué)習(xí)模式中不可缺少的組成部分。但通過對移動學(xué)習(xí)研究文獻(xiàn)的收集整理，當(dāng)前移動學(xué)習(xí)研究熱點(diǎn)大多集中在技術(shù)可行性分析、系統(tǒng)終端軟件研發(fā)和理論研究等方面[10]，關(guān)于學(xué)習(xí)績效評價方面的文獻(xiàn)相對較少。其中，對于網(wǎng)絡(luò)學(xué)習(xí)、遠(yuǎn)程教育等領(lǐng)域研究較為深入，吳嵐[9]、張肖[11]、王冬[12]、田小丹[13]等學(xué)者紛紛從各自的角度提出網(wǎng)絡(luò)學(xué)習(xí)績效評估體系等。但在已有的移動學(xué)習(xí)績效評價文獻(xiàn)中，尚未形成一個統(tǒng)一的評價體系，而且學(xué)習(xí)績效評價中還存在以下幾個問題：各環(huán)節(jié)的評價方法不足、對移動學(xué)習(xí)動態(tài)行為關(guān)注較少[16]以及難以對長期影響進(jìn)行評價等。因此，如何科學(xué)地設(shè)定學(xué)習(xí)績效評價層次與指標(biāo)成為當(dāng)前移動學(xué)習(xí)發(fā)展亟待解決的問題之一。

為此，本文在借鑒企業(yè)培訓(xùn)領(lǐng)域比較成熟的績效評價模式——Kirkpatrick模式的基礎(chǔ)上，結(jié)合移動學(xué)習(xí)特性，探索性地提出適合移動學(xué)習(xí)特征的績效評價模式及評價流程。

4 基于Kirkpatrick評估模式的移動學(xué)習(xí)績效評價設(shè)計(jì)

4.1 Kirkpatrick評估模式

Kirkpatrick四層評估模式是由著名學(xué)者Kirkpatrick于1959年提出的績效評估模型，在企業(yè)培訓(xùn)領(lǐng)域應(yīng)用已較為成熟，很多學(xué)者將其應(yīng)用于教育領(lǐng)域以從績效角度評價學(xué)習(xí)過程[14]。其主要從反應(yīng)、學(xué)習(xí)、行為、成果4個層面對學(xué)習(xí)進(jìn)行評價，各層次對應(yīng)的評價內(nèi)容如表1所示。

該模式改善了傳統(tǒng)學(xué)習(xí)績效評價中重結(jié)果、輕過程的現(xiàn)狀，不僅關(guān)注學(xué)習(xí)者學(xué)習(xí)結(jié)果，更關(guān)注學(xué)習(xí)者在學(xué)習(xí)過程中知識、技能、態(tài)度、行為等方面的動態(tài)變化情況，以及對組織、社會等周圍環(huán)境產(chǎn)生的影響，這些特征正是目前移動學(xué)習(xí)績效評價中所缺失的[15]。

4.2 移動學(xué)習(xí)績效評價設(shè)計(jì)

移動學(xué)習(xí)績效評價是指根據(jù)已有學(xué)習(xí)目標(biāo)與任務(wù)，對學(xué)習(xí)過程和學(xué)習(xí)成效進(jìn)行動態(tài)、科學(xué)地評估與分析，并適時作出評價[16]?；贙irkpatrick模型的評價方式克服了傳統(tǒng)教學(xué)評價中普遍存在的問題：重結(jié)果、輕過程，評價方式單一，客觀測試多，針對行為改變的評價少，忽視學(xué)習(xí)者心理認(rèn)知變化過程以及學(xué)習(xí)對學(xué)習(xí)者自身能力及周圍環(huán)境的影響等。通過整理已有移動學(xué)習(xí)績效評價文獻(xiàn)，發(fā)現(xiàn)目前針對學(xué)習(xí)績效評價設(shè)計(jì)的相關(guān)研究較少。本文借鑒現(xiàn)有學(xué)習(xí)績效評價研究與實(shí)踐經(jīng)驗(yàn)，基于Kirkpatrick評估模式，對移動學(xué)習(xí)績效評價模式作出以下設(shè)計(jì)。

4.2.1 移動學(xué)習(xí)績效評價原則

本文提出以下設(shè)計(jì)原則：克服傳統(tǒng)教學(xué)評價普遍存在的問題;關(guān)注學(xué)習(xí)者自身學(xué)習(xí)需求和學(xué)習(xí)目標(biāo);重點(diǎn)關(guān)注學(xué)習(xí)者在學(xué)習(xí)過程中的動態(tài)變化;根據(jù)移動學(xué)習(xí)的移動性、對象廣泛等特點(diǎn)，注重學(xué)習(xí)者的個性化、學(xué)習(xí)的碎片化和隨意性，以及評價方式的多元化;根據(jù)移動學(xué)習(xí)的即時性特點(diǎn)，在移動學(xué)習(xí)資源開發(fā)過程中，注重學(xué)習(xí)資源的短時長、娛樂性及情景性。

4.2.2 移動學(xué)習(xí)績效評價各層次設(shè)計(jì)

筆者在Kirkpatrick模型基礎(chǔ)上，對移動學(xué)習(xí)績效評價各個層次進(jìn)行設(shè)計(jì)。從橫向來看，Kirkpatrick模型第四層——結(jié)果層考慮的是移動學(xué)習(xí)影響范圍是否廣泛。筆者認(rèn)為，還應(yīng)從縱向來看移動學(xué)習(xí)績效，即是否對學(xué)習(xí)者未來有著長遠(yuǎn)影響。另外，學(xué)習(xí)者前期分析與定位對高績效學(xué)習(xí)而言也非常重要，因此本文在反應(yīng)層之前加入可行性層次，以下將對移動學(xué)習(xí)績效評價各層次進(jìn)行分析。

（1）可行性層次?？尚行詫哟沃饕獙W(xué)習(xí)者需求、學(xué)習(xí)意愿和動機(jī)進(jìn)行調(diào)查。該層次在前期進(jìn)行，也即進(jìn)行移動學(xué)習(xí)前，針對學(xué)習(xí)者既定目標(biāo)和期望設(shè)計(jì)個性化學(xué)習(xí)任務(wù)和績效評價目標(biāo)，屬于診斷性評價。主要實(shí)現(xiàn)方法包括問卷調(diào)查法和訪談法。

（2）反應(yīng)層次。這一層次評價學(xué)習(xí)者對學(xué)習(xí)資源與平臺等方面的滿意度，使整個評價體系開始關(guān)注學(xué)習(xí)主體的情感與個性，而不僅是功用。該層次在移動學(xué)習(xí)過程中或?qū)W習(xí)完成后進(jìn)行，屬于形成性評價。使用的方法主要包括問卷調(diào)查、用戶訪談、評分網(wǎng)站評分、在線投票等。學(xué)習(xí)者主要從資源的專題化、多樣化、個性化、碎片化以及平臺穩(wěn)定性、易操作性和安全性等方面考慮，對學(xué)習(xí)資源與平臺進(jìn)行打分[16] 。

（3）學(xué)習(xí)層次。學(xué)習(xí)層次主要評價學(xué)習(xí)者對學(xué)習(xí)內(nèi)容（知識、技能）的掌握程度以及學(xué)習(xí)后態(tài)度的轉(zhuǎn)變。該層次主要在移動學(xué)習(xí)過程中或?qū)W習(xí)完成后進(jìn)行，屬于形成性評價。對于一般文本類知識，使用的方法主要有小結(jié)測驗(yàn)、課程測驗(yàn)、檔案袋和平臺實(shí)時記錄，如上線時間和次數(shù)、練習(xí)時間與平時練習(xí)得分等;對于技能類知識，則除以上方式外，還需要考慮學(xué)生將理論知識運(yùn)用于實(shí)際項(xiàng)目的熟練程度，即對實(shí)際任務(wù)完成情況進(jìn)行評價。

（4）行為層次。行為層主要是對學(xué)習(xí)者在學(xué)習(xí)后的行為轉(zhuǎn)變及對學(xué)習(xí)內(nèi)容的運(yùn)用熟練程度進(jìn)行評價，屬于總結(jié)性評價。該層次在學(xué)習(xí)后或參加實(shí)踐活動后進(jìn)行，主要通過調(diào)查報告，從學(xué)習(xí)者能否熟練運(yùn)用所學(xué)知識與技能、能否良好完成知識遷移等方面進(jìn)行評價。

（5）結(jié)果層次。結(jié)果層主要是評價學(xué)習(xí)者對環(huán)境（組織及社會）產(chǎn)生的影響以及移動學(xué)習(xí)對學(xué)習(xí)者自身產(chǎn)生的長期影響。該層次在實(shí)踐活動結(jié)束一段時間后進(jìn)行，屬于總結(jié)性評價。該層次不僅考慮了移動學(xué)習(xí)給學(xué)習(xí)者帶來的橫向影響，還考慮了學(xué)習(xí)對學(xué)習(xí)者現(xiàn)在及未來的長期縱向影響。使用的方法主要包括大數(shù)據(jù)采集、訪談法、跟蹤調(diào)查等。通過運(yùn)用網(wǎng)絡(luò)信息技術(shù)與大數(shù)據(jù)技術(shù)等，可實(shí)現(xiàn)對學(xué)習(xí)者縱向與橫向兩方面的評價。但由于受到技術(shù)限制，該評價方式還未能普及。總體而言，了解學(xué)習(xí)對學(xué)習(xí)者的影響及學(xué)習(xí)者對社會、組織及環(huán)境的影響，主要還是通過對學(xué)習(xí)者跟蹤訪談以及通過學(xué)習(xí)者周圍家人、朋友或同事對學(xué)習(xí)者的評價加以實(shí)現(xiàn)。隨著未來信息技術(shù)及手段的進(jìn)一步成熟與普及，五層次的評估會變得更加便捷、準(zhǔn)確、科學(xué)。

5個層次中，可能性層次屬于診斷性評價;反應(yīng)層和學(xué)習(xí)層屬于形成性評價，這兩個層次貫穿整個動態(tài)的學(xué)習(xí)過程;行為層和結(jié)果層屬于總結(jié)性評價?？傮w而言，評價設(shè)計(jì)克服了傳統(tǒng)教學(xué)評價的缺點(diǎn)，開始關(guān)注學(xué)習(xí)者學(xué)習(xí)的前期、中期及后期。

移動學(xué)習(xí)績效評價模式中各層次特征如表2所示。

傳統(tǒng)教學(xué)系統(tǒng)設(shè)計(jì)包括對學(xué)習(xí)過程進(jìn)行分析、設(shè)計(jì)、開發(fā)、實(shí)施和評價5個環(huán)節(jié)[17]。本文在設(shè)計(jì)移動學(xué)習(xí)績效評價時除強(qiáng)調(diào)學(xué)習(xí)者的前期分析與定位外，還強(qiáng)調(diào)了移動學(xué)習(xí)結(jié)果的影響范圍。評估模式結(jié)果層加入了移動學(xué)習(xí)是否對學(xué)習(xí)者未來潛力有影響這一內(nèi)容，即從長遠(yuǎn)時間范圍內(nèi)考慮移動學(xué)習(xí)績效。鑒于此，移動學(xué)習(xí)績效評價流程應(yīng)在傳統(tǒng)教學(xué)評價流程基礎(chǔ)上，加入跟蹤評價環(huán)節(jié)，即在學(xué)習(xí)者完成學(xué)習(xí)或參加實(shí)踐活動一段時間后，追蹤調(diào)查學(xué)習(xí)對學(xué)習(xí)者及其周圍環(huán)境產(chǎn)生的長期影響，以實(shí)現(xiàn)全方位的績效評價[18]。

因此，移動學(xué)習(xí)績效評價流程可歸納為：績效需求分析、評價系統(tǒng)設(shè)計(jì)、評價系統(tǒng)開發(fā)、績效評價實(shí)施、績效評價反饋、績效評價跟蹤優(yōu)化[19]6個環(huán)節(jié)，以對學(xué)習(xí)者績效進(jìn)行全方位、客觀、準(zhǔn)確的評價，具體流程如圖1所示。

5 結(jié)語

本文通過引入用于企業(yè)績效評估的Kirkpatrick評估模型，對移動學(xué)習(xí)績效評估模式進(jìn)行設(shè)計(jì)，并結(jié)合移動學(xué)習(xí)自身特點(diǎn)，對五層次評價過程中的測量內(nèi)容、評估方法、評估指標(biāo)、評估時間進(jìn)行深入闡述，對移動學(xué)習(xí)績效評估流程進(jìn)行歸納總結(jié)。然而，本文的不足之處在于提出的評估模型并未經(jīng)過實(shí)踐，尚處于理論探究階段。相較于傳統(tǒng)教學(xué)績效評價，本文提出的評估模式具有更大優(yōu)勢，但仍存在一些亟待解決的問題。例如，如何科學(xué)、有效地評估學(xué)習(xí)者能力的轉(zhuǎn)變;如何使移動學(xué)習(xí)評價平臺更加適應(yīng)廣泛的學(xué)習(xí)對象;應(yīng)根據(jù)哪些指標(biāo)對學(xué)習(xí)者長期績效進(jìn)行評價，才能更加科學(xué)、客觀與個性化等。相信這些問題的解決，將會進(jìn)一步推動移動學(xué)習(xí)的發(fā)展。

參考文獻(xiàn)：

[1] DESMOND K. 從遠(yuǎn)程學(xué)習(xí)到電子學(xué)習(xí)再到移動學(xué)習(xí)[J]. 開放教育研究，2000（5）：6-10.

[2] 傅騫，魏順平，賀龍祥. ?移動學(xué)習(xí)領(lǐng)域概念圖的構(gòu)建研究[J]. ?中國電化教育，2007（10）：96-99.

[3] 王晗. 基于微信的移動學(xué)習(xí)資源設(shè)計(jì)研究[J]. 軟件導(dǎo)刊，2019，18（11）：183-185.

[4] 李金林. 移動學(xué)習(xí)發(fā)展及其績效評價設(shè)計(jì)探究[J]. 中國電化教育，2017（7）：95-98.

[5] 胡立攀，李新成，唐國菊. 國內(nèi)移動學(xué)習(xí)的研究現(xiàn)狀與發(fā)展趨勢[J]. 中國醫(yī)學(xué)教育技術(shù)，2010，24（6）：616-619.

[6] 徐媛媛. 移動學(xué)習(xí)資源建設(shè)方案研究[J]. 軟件導(dǎo)刊，2018，17（3）：224-226.

[7] 張祖忻. 從教學(xué)設(shè)計(jì)到績效技術(shù)[J]. 中國電化教育，2000（7）：5-8.

[8] 賈斌，徐恩芹，張景生. 國內(nèi)學(xué)習(xí)績效研究發(fā)展綜述[J]. 電化教育研究，2013，34（11）：53-58.

[9] 吳嵐，鐘志賢. 績效評估：一種有效的遠(yuǎn)程教育學(xué)習(xí)評價方式[J]. 遠(yuǎn)程教育雜志， 2007（4）：14-17.

[10] 任海峰，趙君. 移動學(xué)習(xí)國內(nèi)外研究現(xiàn)狀分析[J]. 成人教育， 2010，30（1）：95-96.

[11] 張肖. 基于網(wǎng)絡(luò)學(xué)習(xí)環(huán)境的學(xué)習(xí)績效評價指標(biāo)體系研究[D]. ?武漢：華中師范大學(xué)，2014.

[12] 王冬. 學(xué)習(xí)績效的內(nèi)涵及其評價研究[J]. 南昌教育學(xué)院學(xué)報，2008（2）：37-41.

[13] 田小丹. 基于移動學(xué)習(xí)的實(shí)踐教學(xué)績效評價指標(biāo)體系設(shè)計(jì)[J]. ?實(shí)驗(yàn)室研究與探索，2019，38（2）：224-228.

[14] 宋慧玲，張地坷，帥傳敏，等. 我國網(wǎng)絡(luò)學(xué)習(xí)績效研究文獻(xiàn)的可視化計(jì)量分析[J]. 中國遠(yuǎn)程教育，2017（3）：30-36.

[15] 陳灝. 新一代無線技術(shù)、移動終端在移動學(xué)習(xí)中的應(yīng)用研究——以教育部直屬機(jī)關(guān)干部網(wǎng)絡(luò)學(xué)院為例[J]. 中國教育信息化，2015（13）：76-78.

[16] 王瑞華，宋薇. 基于Kaufman績效評價的移動學(xué)習(xí)評價研究[J]. 課程教育研究，2018（24）：254-255.

[17] 連紅. 移動學(xué)習(xí)中教學(xué)設(shè)計(jì)模式的研究[J]. 現(xiàn)代遠(yuǎn)程教育研究，2008（1）：65-67.

[18] 姜強(qiáng)，趙蔚，李松，等. 個性化自適應(yīng)學(xué)習(xí)研究——大數(shù)據(jù)時代數(shù)字化學(xué)習(xí)的新常態(tài)[J]. 中國電化教育，2016（2）：25-32.

[19] 祝智庭， 彭紅超. 信息技術(shù)支持的高效知識教學(xué)：激發(fā)精準(zhǔn)教學(xué)的活力[J]. 中國電化教育， 2016（1）：18-25.

[20] KIRKPATRICK D. Great ideas revisited： revisiting ?kirkpatricks four-lever model[J]. Training & Development，1996，50（1）：54-59.

（責(zé)任編輯：黃 ?。?/p>