李海波,許小媛

(江蘇開放大學 信息工程學院,南京 210017)

0 引言

隨著移動互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,基于手機終端的移動學習在開放教育中得到了快速應(yīng)用和發(fā)展,被越來越多的成人學習者群體所接受。與傳統(tǒng)的網(wǎng)絡(luò)學習相比,作為開放教育的一種輔助教學形式,移動學習完全解決了網(wǎng)絡(luò)教育在空間和時間的限制,具有靈活性、個性化、交互性和即時性的特點,可以為學習者傳遞豐富的學習資源,[1]滿足學習者的多樣化、個性化學習需求。基于移動學習平臺學習者可以隨時隨地進行學習,教師也可以開展豐富的教學活動,為學習者提供個性化、多元化的移動學習支持服務(wù),促進“人人皆學、時時能學、處處可學”。由于移動學習的內(nèi)容及學習方式與在線學習有明顯差異,傳統(tǒng)的評價方法及指標評價學習效果的模式并不適用于開放教育環(huán)境下的移動學習。2020年,中共中央、國務(wù)院印發(fā)的《深化新時代教育評價改革總體方案》明確提出“系統(tǒng)推進教育評價改革,改進結(jié)果評價,健全綜合評價,針對不同類型教育特點,分類設(shè)計,促進學生全面發(fā)展的評價辦法更加多元”。因此,評價開放教育學習者移動學習效果對于推進教育評價改革、促進開放教育高質(zhì)量發(fā)展具有重要意義。

1 移動學習效果評價研究現(xiàn)狀

在“互聯(lián)網(wǎng)+教育”背景下,移動學習極大地提高了學習的可獲得性,有助于提高教學效果。近年來,移動學習逐漸流行,備受研究者的關(guān)注,已經(jīng)有學者對移動學習效果及其評價開展了實證研究分析。如馬寧生等通過研究學生在線學習成績與登錄時長、答題次數(shù)、知識結(jié)構(gòu)類型、學生背景的關(guān)聯(lián)性,構(gòu)建了移動學習效果評價模型,以此來輔助學生進行自我評價和教師對學生進行客觀評價。[2]公艷艷等通過對遠程學習者移動學習的現(xiàn)狀及存在問題進行分析,從互動交流、移動平臺、教學資源、教學支持服務(wù)和人文環(huán)境等方面對移動學習模式的效果進行了評價。[3]栗娟等從知識與技能掌握情況、學習效果考核、平臺學習滿意度三個方面構(gòu)建了基于微信平臺的應(yīng)急救護移動學習系統(tǒng)混合式教學模式及形成性評價體系。[4]然而,目前的研究整體上還處于探索階段,學習者對于移動學習的滿意程度,學習后知識和技能的掌握程度、行為變化情況以及移動學習對學習者職業(yè)發(fā)展成就的影響等研究還相對較少,對于開放教育環(huán)境下移動學習效果的評價仍缺乏深入的研究。

2 移動學習效果評價體系的理論基礎(chǔ)

層次評估模型由美國著名教授Donald L.Kirkpatrick于1959年首次提出,又稱為柯氏評估模型。該模型是目前培訓領(lǐng)域應(yīng)用最廣泛、認同度最高的培訓評估工具之一,并在實踐中不斷發(fā)展。[5]在教育領(lǐng)域,也有學者運用柯氏評估模型對教育教學質(zhì)量評價體系進行了探索和實踐。蔡蕓等運用柯氏評估模型進行了高等教育質(zhì)量評價體系的構(gòu)建。[6]趙志群教授基于“柯氏評價理論”,確定了職業(yè)教育學業(yè)評價的四個基本層次,即反應(yīng)層、學習層、行為層和結(jié)果層。[7]吳春林等基于過程導向的柯氏評估模型的思路,從課程教學、學術(shù)鍛煉、實踐培訓和論文答辯等多個環(huán)節(jié),構(gòu)建了學術(shù)型與專業(yè)型碩士生培養(yǎng)質(zhì)量的多元評價體系。[8]楊瑩依據(jù)柯氏評估理論,結(jié)合中小學教師網(wǎng)絡(luò)學習的學習者特點、學習內(nèi)容、學習平臺等方面的特征,構(gòu)建了“中小學網(wǎng)絡(luò)學習績效評估模型”。[9]鄧潔華通過柯氏評估模式的實際運用,進行了“管理學”課程思政教學評價改革研究。[10]

柯氏評估模型的核心框架由依次銜接的反應(yīng)層、學習層、行為層和結(jié)果層四個評價層次組成,如表1所示。第一層級是反應(yīng)層,主要評估學員對培訓的滿意程度,關(guān)注學員對培訓項目的主觀感受和情感,如對培訓場所、課程、內(nèi)容、方法、組織以及自己收獲等方面的看法。第二層級是學習層,主要評估學員的學習獲得程度,是測量學員在培訓過程中或結(jié)束時,對原理、知識、技能等方面的理解掌握程度及參與培訓活動的程度。第三層級是行為層,主要評估學員的知識運用及熟練程度,是指學員在培訓結(jié)束后,在學習習慣、學習能力等行為上是否發(fā)生變化,是否能夠在工作和學習中運用培訓中學到的知識和技能。第四層級是結(jié)果層,主要評估學員的培訓效果,通過培訓能否給企業(yè)或部門帶來直接的貢獻,創(chuàng)造出經(jīng)濟效益和社會效益。

表1 柯氏層次評估模型

與傳統(tǒng)的學習效果評價重結(jié)果、輕過程不同,柯氏評估模型四個層次之間層層遞進,不僅關(guān)注學習者的學習效果,更關(guān)注學習者在學習過程中的感受、知識、技能、行為等方面的動態(tài)變化情況,以及產(chǎn)生的社會影響。[11]將柯氏評估模型運用于開放教育移動學習效果評價中,與移動學習效果評價結(jié)合起來,可以通過分析各層級學習成果情況找到開放教育教學過程中薄弱之處,提出有針對性的建議,進而提高開放教育教學質(zhì)量。

3 開放教育環(huán)境下移動學習效果評價體系的構(gòu)建

對學習者移動學習效果進行有效的評價是開放教育教學質(zhì)量的重要保證。本文在柯氏四層評估模型的基礎(chǔ)上,圍繞開放教育環(huán)境下成人學習者的移動學習過程,確定移動學習效果評價體系構(gòu)建原則,詳細分析各層次的評價內(nèi)容,遴選具體的評價指標,從而構(gòu)建移動學習效果評價體系。

3.1 移動學習效果評價體系構(gòu)建原則

開放教育環(huán)境中的移動學習過程包含三個要素:移動學習平臺、學習者和學校。移動學習平臺是移動學習模式實施的主要學習載體,學習者是移動學習的主體,既是評價的主體,也是評價的對象,學校是移動學習的組織方。因此,在構(gòu)建移動學習效果評價體系時,需結(jié)合柯氏四層評估模型理論,圍繞上述三個要素,確定各層次相應(yīng)的評價重點。具體包括:區(qū)別于傳統(tǒng)的學習效果評價,反應(yīng)層重點關(guān)注學習者對于移動學習的主觀情感;根據(jù)成人學習者在崗在職學習的特點,學習層關(guān)注學習者專業(yè)知識和技能掌握程度的同時,重點關(guān)注學習者的學習能力和學習參與度;根據(jù)移動學習的自主化、個性化特點,行為層重點關(guān)注學習者在學習過程中行為的動態(tài)變化,包括學習理念的樹立;根據(jù)成人學習者所處的工作環(huán)境和社會環(huán)境特點,結(jié)果層關(guān)注學習者學習后的專業(yè)發(fā)展成就及對高校聲譽的影響。

3.2 移動學習效果評價體系分析

3.2.1 反應(yīng)層評估

反應(yīng)層評估關(guān)注學習者對于移動學習的主觀感受,在開放教育領(lǐng)域,關(guān)注的是對學習者的情感反應(yīng)和效用評價。

在評估學習者對移動學習的反應(yīng)時,可以從移動學習平臺、學習資源、教學設(shè)計和學習評價四個評估指標出發(fā),觀測學習者對移動學習平臺的建設(shè)水平、易用性、流暢穩(wěn)定性、用戶體驗的滿意度,對學習資源的實用性和完整性、課件質(zhì)量、視頻質(zhì)量以及資源的個性化、多樣化、趣味性的滿意度,對教學目標設(shè)計、教學內(nèi)容設(shè)計、教學活動設(shè)計的滿意度,對學習體驗、學習反饋與評價、學習資源的可獲取性等情況的滿意度?？梢圆扇〉木唧w措施包括:在移動學習過程中或者學習結(jié)束后的某段時間內(nèi),向?qū)W習者發(fā)放滿意度調(diào)查問卷或者進行訪談、座談,直接獲得學習者對移動學習模式的反應(yīng)和感受;或者由教師在教學中觀察學習者的學習反應(yīng),來間接推斷學習者對移動學習模式的反應(yīng)。該層級的評價可選擇在移動學習過程中或?qū)W習完成后進行,屬于過程性評價。學習者對移動學習平臺提供的學習支持服務(wù)的接受度和滿意度直接影響學習者對移動學習的整體滿意度,從而影響學習效果,因此這一層級的評價非常有必要。

3.2.2 學習層評估

學習層評估關(guān)注對于學習者在移動學習模式下所取得的學習效果進行檢測和評估,在開放教育中更加關(guān)注學習主體的知識和技能掌握程度以及學習活動的參與程度。此環(huán)節(jié)是對移動學習效果評價中至關(guān)重要的一個環(huán)節(jié),能有效地反應(yīng)該移動學習模式的實施情況和移動學習效果情況。[12]

在評估學習者的移動學習效果時,可以從學習能力、專業(yè)知識、專業(yè)技能和學習參與度四個指標出發(fā)。針對學習能力指標,可以通過自主學習任務(wù)、互動討論、小組作業(yè)等來觀測學習者是否具備移動學習環(huán)境下的自主學習能力和協(xié)作學習能力。針對專業(yè)知識指標,可以通過課堂小測驗、單元測試、期末考試等方法來觀測學習者對學習內(nèi)容的理解程度和對專業(yè)知識的掌握程度等。針對專業(yè)技能指標,除了以上方式外,還可以通過現(xiàn)場操作、實際項目實施等方法來觀測學習者對專業(yè)技能的實踐操作能力,評價學習者在學習基礎(chǔ)知識之后在技能應(yīng)用上是否提高。針對學習參與度指標,可以通過移動學習平臺實時記錄和統(tǒng)計學習者的登錄學習次數(shù)、學習資源閱讀次數(shù)、資源檢索次數(shù)、參與話題討論次數(shù),以及構(gòu)建并分享學習資源數(shù)量、分享資源被采納數(shù)量等,即從學習活躍度和內(nèi)容貢獻度兩個方面觀測,綜合判斷學習者的學習態(tài)度。對學習效果的評估是一個持續(xù)的過程,可以選擇在移動學習完成期間或之后進行評估,因此,該層級評估結(jié)合了形成性和總結(jié)性評估方案。[13]

3.2.3 行為層評估

行為層評估關(guān)注學習者在學習后對學習內(nèi)容的運用熟練程度,是否將學習獲得的知識和技能應(yīng)用到實際工作中,完成知識的遷移,是否在學習行為和學習理念上產(chǎn)生積極的變化。

開放教育學習者主要是社會在職人員,社會閱歷和工作經(jīng)驗較為豐富,在評估學習者的行為變化時,可以從知識運用、學習遷移和學習理念三個指標出發(fā)。因此,針對知識運用指標,可以從學習者能否將所學知識與技能熟練運用到實際工作中,運用的程度如何等方面進行觀測。針對學習遷移指標,可以從學習者能否將移動學習獲得的知識、技能或態(tài)度對工作表現(xiàn)形成影響進行觀測,設(shè)計職級提升、職業(yè)資格認證、獲得獎勵數(shù)量、專利數(shù)量等顯性指標。針對學習理念指標可以從學習者開展移動學習后是否產(chǎn)生主動有意識的行為,樹立了自主學習、全面學習、創(chuàng)新學習、終身學習等方面的理念進行觀測。行為變化是個動態(tài)長期的過程,學習者的行為變化不會立即顯現(xiàn),可能發(fā)生在學習結(jié)束后很長的一段時間里。因此,該層級的評價屬于總結(jié)性評價。

3.2.4 結(jié)果層評估

結(jié)果層評估是對學習成果進行評估,關(guān)注的是學習者在學習后是否將所學知識、技能和態(tài)度運用到實際中,并給組織、部門帶來直接和間接的利益。

將結(jié)果層評估維度應(yīng)用到開放教育環(huán)境下移動學習效果評價中,不僅表現(xiàn)為移動學習對學習者專業(yè)發(fā)展質(zhì)量和職業(yè)發(fā)展成就的影響,還可體現(xiàn)在服務(wù)社會的能力以及對高校社會聲譽的影響等。在評估學習者的學習成果時,可以從職業(yè)發(fā)展、社會服務(wù)和社會聲譽三個指標出發(fā),可以使用跟蹤調(diào)查、績效評估等方法,對成人學習者遠期成果的影響進行調(diào)研,邀請用人單位對高校的人才質(zhì)量做出評價、評估公眾對高校教育服務(wù)的認可度等方式來實現(xiàn)。高校的社會聲譽是指公眾對學校的主觀或客觀評價的集合,體現(xiàn)了一所高校在社會公眾眼中的形象,對高校社會聲譽進行評價是互聯(lián)網(wǎng)時代高校評價的重要環(huán)節(jié),[14]可以從認可度和美譽度兩個指標來評測社會公眾對于一所高校的評價,借助大數(shù)據(jù)技術(shù)手段,通過關(guān)鍵詞聚類對公眾在自媒體渠道的評價性信息進行采集獲取。

3.3 移動學習效果評價體系的構(gòu)建

根據(jù)開放教育的實際教學情況,基于移動學習效果評價體系的具體分析,參考目前國內(nèi)外研究中學習效果評價指標的選取,結(jié)合柯氏評估模型的四個維度,進一步明確評價內(nèi)容、評價方法、評價階段和評價類型,并篩選評價指標,將指標具體細分為15個二級指標和41個三級指標,具體的開放教育環(huán)境下移動學習效果評價體系如表2所示。

表2 移動學習效果評價指標體系

4 實施開放教育移動學習效果評價要注意的問題

本文構(gòu)建的基于柯氏評估模型的移動學習效果評價體系,是一種適用于開放教育形式的評價模式,在具體的評價實施過程中,需要注意以下幾個問題。

4.1 構(gòu)建可操作的指標體系

初步形成移動學習效果評價體系之后,還需對指標進行篩選,保證最終指標體系對于開放教育移動學習效果評價的針對性和有效性,并依據(jù)專業(yè)人才培養(yǎng)目標和課程性質(zhì),能全面反映移動學習效果的各個維度及主要指標和觀測點。例如:可以通過德爾菲專家問卷法和因子分析法對移動學習效果評價指標劃分的合理程度和指標文字表述的合理程度進行修訂和驗證,確定移動學習效果評價體系各級指標。為了保證評價體系的科學性,在實際應(yīng)用中,需要通過科學方法進一步明確各級評價指標的權(quán)重系數(shù),避免主觀分配權(quán)重所帶來的偏差,影響評價結(jié)果。

4.2 注重移動學習前后的效果比較分析

移動學習效果評價主要發(fā)生在學習過程中和學習結(jié)束后,因此無法觀測到學生在參加移動學習前的感受、學習態(tài)度、知識與技能、社會服務(wù)能力等,因此為了觀測到移動學習前后的更深層次的變化,在移動學習開始前,評估者需要針對學習者及所在學校和企業(yè)進行調(diào)研、訪談,了解在移動學習前的學習認知、專業(yè)技能、創(chuàng)新能力和學習理念等,為后期的評價提供對照樣本。為保證評價結(jié)果的及時有效,需要針對各層次的評價特征,選取合理有效的時間和評價方法對評價對象及時做出評價。

4.3 實施評價的保障條件

針對開放教育成人學習者的移動學習效果評價,是一項復雜的工程,從移動學習的實施準備、開展到評價反饋都需要有效的管理制度和經(jīng)費保障。企業(yè)和學校需要建立健全實施移動學習評價的管理制度,保障移動學習的推廣及運用,提升學習者參與移動學習評價的積極性和主動性,并保證評價結(jié)果能夠被企業(yè)、學校和教師所運用,促進企業(yè)發(fā)展和高校教育教學質(zhì)量的提升。[15]在移動學習效果評價的實施過程中,行為評估和成果評估需要長期的跟蹤觀察和測量,需要花費較多的時間和精力,存在著執(zhí)行難的問題,需要一定的經(jīng)費保障移動學習效果評價能夠全面實施。

5 結(jié)語

本文構(gòu)建的開放教育環(huán)境下移動學習效果評價體系,是以學習者為中心對開放教育移動學習效果進行評價的一種積極探索與實踐,但是評價體系目前還沒有進行實證研究,在下一步研究實踐中將不斷進行改進和完善,力求評價體系更具有科學合理性,更加有助于推進教育評價改革,促進開放教育高質(zhì)量發(fā)展。