楊紅英，徐躍明

(云南大學　工商管理與旅游管理學院，云南　昆明　650091)

?

論企業(yè)移動學習效果評價體系的構(gòu)建

楊紅英，徐躍明

(云南大學工商管理與旅游管理學院，云南昆明650091)

摘要：以唐納德·柯克帕特里克(Donald L. Kirkpatrick)教授提出的四層次評價模型為理論基礎(chǔ)，根據(jù)移動學習區(qū)別于傳統(tǒng)培訓的特點，力圖構(gòu)建包含學習平臺、學員、企業(yè)等較完善的移動學習效果評價體系和操作流程，并提出相應的保障措施，以期為企業(yè)移動學習效果評價提供有益借鑒。

關(guān)鍵詞：移動學習；評價體系；柯式四層次評價模型

隨著移動互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展和移動互聯(lián)網(wǎng)設(shè)備的快速普及，企業(yè)培訓理念、方法和手段都發(fā)生了翻天覆地的變化，以移動通信設(shè)備為主要學習工具的移動學習已走入人們視野，移動學習(M-learning)概念已成為信息時代最為引人注目的學習方式。其打破了傳統(tǒng)培訓的時空限制，并能提供個性化的培訓服務，成為突破傳統(tǒng)培訓的重要模式，能夠幫助員工更加靈活自由地接受培訓內(nèi)容，完成培訓任務。由于移動學習的內(nèi)容及學習方式與傳統(tǒng)培訓有很大差異，傳統(tǒng)培訓的學習效果評價體系顯然不再適用。因此，如何構(gòu)建適應移動學習模式的培訓效果評價體系，更好地評價員工學習效果，進一步提升員工績效已成為企業(yè)人力資源開發(fā)的重要內(nèi)容。

一、無法針對移動學習特點的傳統(tǒng)培訓效果評價體系存在諸多弊端

傳統(tǒng)的員工培訓主要采取面授的方式，學員在學習時多半被動接受，學員培訓效果評價主要以考試為主，傳統(tǒng)培訓效果評價主要針對學員在培訓興趣和態(tài)度、培訓過程中的努力程度、培訓后的行為改變、培訓后的企業(yè)收益等方面進行評價，基本上按培訓的時序邏輯來展開。[1]這對于傳統(tǒng)的培訓模式來說無可非議，因為傳統(tǒng)培訓就是按照時間邏輯順序來安排計劃、實施和評價的。而移動學習模式的主要特點在于：一是學習設(shè)備的可移動性，由于移動學習主要依靠智能手機、PAD、掌上電腦等便攜移動終端進行學習，移動設(shè)備的屬性和人機交互的體驗都會對移動學習的效果產(chǎn)生重要影響；二是學習方式的自主性、靈活性、碎片化，移動學習在學習方式上可以說是對受訓者的一種解放，在時間、地點上對受訓者的限制很小，給予受訓者很大的自主空間，但這種特殊學習方式也對受訓者的自主學習能力提出了更高要求，移動學習模式下，受訓者的學習時間往往是靈活的、碎片化的，不必占用整塊時間來學習培訓內(nèi)容，學習方式更加靈活。由此，當用傳統(tǒng)學習效果評價體系來評價移動學習時必然產(chǎn)生諸多弊端。

一是學習資源不同。移動學習模式下，學習資源是數(shù)據(jù)化、網(wǎng)絡化的，其存在形式主要以數(shù)據(jù)庫和云平臺技術(shù)作為支撐，這樣的數(shù)據(jù)形式保證了移動學習模式下的學習資源更加豐富多樣，打破了傳統(tǒng)培訓學習資源的有限性，如果仍用傳統(tǒng)評價體系顯然無法客觀科學地對移動學習效果進行評價的。二是交互方式不同。移動學習模式下，員工主要面對移動通信設(shè)備進行學習，雖然可以通過移動設(shè)備實現(xiàn)學員之間、學員與教師之間的互動，但絕大多數(shù)情況下移動學習的交互方式是人機交互。傳統(tǒng)培訓主要以集中面授的形式進行，交互方式主要是人人交互，而針對人人交互方式所設(shè)計的培訓體系如果應用到人機交互的評價中，無法準確評價培訓效果。三是學習頻率不同。移動學習強調(diào)學習的自主性、靈活性、碎片化，學員可以通過移動學習的方式隨時隨地根據(jù)需要獲取學習內(nèi)容，學習的頻率高、時間短，學習的時間不規(guī)則地分布在任何時間段。傳統(tǒng)培訓的學習通常較為集中，時間連續(xù)性高且持續(xù)時間較長，把按時間邏輯的傳統(tǒng)評價方式應用到自主性和靈活性很高的移動學習效果評價中顯然是不合理的。

二、移動學習效果評價體系的理論基礎(chǔ)

從20世紀50年代開始，國外學者在培訓效果評價方面的研究就已經(jīng)開始。唐納德·柯克帕特里克(Donald L. Kirkpatrick)教授是在培訓效果評價方面做出重要貢獻的先驅(qū)，1959年他提出四層次評價模型，這是迄今為止最經(jīng)典、最著名、應用最廣泛的評價模型。該模型主要包括反應、學習、行為、結(jié)果這四個層次的評價內(nèi)容及方法，根據(jù)企業(yè)員工培訓的實際過程層層遞進，構(gòu)成完整的培訓效果評估模型。每一個層次都針對培訓過程中管理者最關(guān)心的問題來設(shè)計相應指標，每個層次的主要評價內(nèi)容、設(shè)計要素和評價方法如表1所示。[2](P124)

表1　Kirkpatrick四層次評價模型

在柯式四層次評價方法提出之后，許多學者都開始針對企業(yè)培訓的效果評價展開研究，形成了多種多樣的評價理論體系?？傮w來說，這些理論體系可以劃分為兩大類：一是在柯式四層次評價法的基礎(chǔ)上演化而來的層次評價模型。哈柏林(Hamblin,1974)把培訓效果評價分為反應、學習、工作行為、收益和組織目標支持五個部分。菲利普斯(Phillips, 1991)將評價的重點放在了培訓的貨幣利潤與成本的比較上，將評價模型劃分為反應和既定的活動、學習、在工作中的應用、業(yè)務結(jié)果、投資回報率五部分。西姆斯(Sims, 1993)進一步以四層次評價法為基礎(chǔ)，建立了一個多層次的評價模型，分別從微觀培訓評價、培訓方面評價和培訓項目評價三個方面對企業(yè)的培訓方案進行全面分析。卡夫曼(Kaufman, 1994)則認為，四層次評價的反應層應增加關(guān)于培訓項目背景方面的評價，同時還應該評價培訓對企業(yè)周邊環(huán)境的影響，并將培訓評價擴充為培訓可能性和反應、掌握、應用、組織效益、社會效益五部分。二是以培訓流程為導向的流程評價模型。20世紀70年代，沃爾等人提出了 CIRO 評價模型，將評價的程序劃分為背景評價、輸入評價、反應評價和輸出評價四個部分，其具體內(nèi)容如表2。

表2　CIRO評價模型

1967年，美國學者斯塔弗爾比姆(Stufflebeam)在對泰勒行為目標模式的反思基礎(chǔ)上提出了CIPP模型，將培訓評價分成了背景評價、輸入評價、過程評價和成果評價四個部分，在評價內(nèi)容方面彌補了CIRO模型的不足，具體如表3所示。

表3　CIPP評價模型

流程評價模型以培訓的流程為導向，移動學習模式則以自主性、靈活性、碎片化為主要特征，在培訓“流程”被淡化的情況下，流程評價模型并不適合用來作為移動學習效果評價體系構(gòu)建的理論基礎(chǔ)。層次評價模型將培訓的評價劃分為幾個層次，雖然評價指標是針對傳統(tǒng)培訓設(shè)計的，不能直接應用到移動學習效果的評價中，但模型構(gòu)建的思路可以為移動學習效果評價體系的構(gòu)建提供指導。

上述介紹的層次評價模型都是以柯式四層次評價模型為基礎(chǔ)，通過修正和延伸來構(gòu)建的，這充分說明柯式四層次評價模型在培訓效果的評價上具有普適性和權(quán)威性。對于移動學習來說，本文選擇以普適、權(quán)威的模型理論作為理論基礎(chǔ)來構(gòu)建新的評價體系，針對移動學習特點對經(jīng)典模型進行修正和延伸，以構(gòu)建出新的移動學習效果評價體系。

三、移動學習效果評價體系的構(gòu)建

(一)移動學習效果評價體系構(gòu)建的基本思路

移動學習過程中，包含三個重要因素：學習平臺、學員和企業(yè)，而學習平臺是移動學習模式區(qū)別于其他培訓模式的特有元素。因此，結(jié)合四層次評價模型理論，圍繞上述三個因素，確定相應的評價重點，構(gòu)建移動學習效果評價的新體系(如圖1所示)。

反應層主要評價學員對于培訓的主觀情感，如興趣、態(tài)度等。移動學習模式下，基本沒有教師的參與，學員的學習是自由化、碎片化的，最能影響學員興趣和態(tài)度的就是移動學習的平臺設(shè)計。基于這一事實，在平臺評價方面，主要針對反應層的評價內(nèi)容來設(shè)計指標。學習層主要評價學員的知識遷移情況，筆者將其延伸為學員學習情況的評價，通過一些指標來反映學員參與移動學習過程中的學習狀態(tài)，并將其歸類到學員的評價中。行為層主要評價學員在培訓中接受的知識向行為遷移的程度，也就是評價學習者可觀測的行為改善。因此，這一層次的評價也歸類到學員的評價之中。結(jié)果層主要評價學員在接受培訓之后，組織是否因此受益。這種受益可能并非直接受益，在思路框架中，筆者用虛線箭頭表示了企業(yè)受益于平臺評價和學員評價之間的關(guān)系?？傊?，結(jié)果層應當歸類到企業(yè)收益評價中。

由圖1可知，根據(jù)移動學習模式的要素特點，可將移動學習效果評價分解為平臺、學員和企業(yè)三個部分的評價，把四層次評價模型的四個層次分別納入到這三個部分中。

(二)移動學習效果評價體系的基本框架

如圖1所示，移動學習三個要素的主要評價內(nèi)容已經(jīng)確定，下一步的工作是將每一個評價內(nèi)容進行細化，確定相應的評價指標，豐富體系內(nèi)容，構(gòu)建適合移動學習模式的效果評價模型，具體應從三方面細化：一是平臺評價的細化?？蓪⑵脚_評價細化為平臺建設(shè)方面的評價和知識庫構(gòu)建方面的評價。平臺建設(shè)方面的評價指對移動學習平臺的設(shè)計、響應等方面進行評價，因為這些方面的要素將會影響學員學習時的體驗；知識庫構(gòu)建方面的評價指對學習平臺提供的知識進行評價，因為這些方面的要素將會影響學員學習過程中的收獲。二是學員評價的細化。包括學習層和行為層兩個部分，可將學習層延伸為對學員學習狀態(tài)的評價，并將其細化為活躍度和貢獻度兩個方面的評價。其中活躍度用于衡量學員利用移動設(shè)備進行學習的活躍程度；貢獻度用于衡量學員在學習過程中貢獻學習經(jīng)驗和相關(guān)知識的意愿。行為層細化為知識和能力兩個方面的評價，其中知識方面主要衡量學員在接受培訓后對各種知識掌握程度的提高；能力方面則主要衡量學員在接受培訓之后工作方面相關(guān)能力的提升程度。三是企業(yè)收益評價的細化?？赏ㄟ^多個方面的指標來反映，主要以企業(yè)KPI績效指標作為理論基礎(chǔ)，將企業(yè)的收益評價細化為財務、客戶、內(nèi)部運營、學習與成長四個部分。每一個部分都能為企業(yè)收益變化提供若干衡量指標，這樣就可全方位地反映出員工接受移動學習培訓后為企業(yè)所帶來的收益。

通過各層次評價內(nèi)容的細化，圖1所示的評價體系構(gòu)建的基本思路就可以進一步明晰為如圖2所示的移動學習效果評價體系框架：

(三)移動學習效果評價體系具體指標的選取

經(jīng)過對評價體系各部分細化之后，下一步工作就需對各個部分評價的內(nèi)容選取具體評價指標。在平臺、學員和企業(yè)三個要素的評價指標選取上，首先以前人的學術(shù)成果和研究論文為參考，細化每一層次的評價指標。

平臺評價是本評價體系的重點和亮點，由于學習平臺是移動學習區(qū)別于其他傳統(tǒng)培訓模式的特有要素，其具體評價指標的細化需要參考前人針對移動學習模式的學術(shù)研究成果。[3][4][5][6][7]學員評價的指標設(shè)計應結(jié)合移動學習的特征來進行選擇與設(shè)計，充分挖掘可以反映學員學習積極性和貢獻程度的指標；行為層的指標分為知識和能力兩個方面，知識主要指企業(yè)各個崗位所對應的專業(yè)知識，指標可以選取相應的學習考試成績，而能力方面的衡量指標可以由勝任力模型提供。[8][9][10][11][12]企業(yè)收益評價方面，指標來源主要為企業(yè)績效KPI指標，在財務、客戶、內(nèi)部運營、學習與成長等四個方面均有很多指標可以衡量企業(yè)的收益變化，具體的指標設(shè)計需要結(jié)合不同的企業(yè)實際情況來完成。

參考前人的研究結(jié)果并結(jié)合移動學習特點，可初步形成如表4所示的效果評價指標體系：

表4　移動學習效果評價指標體系

初步形成表4所示的效果評價指標體系之后，還需通過兩項工作來形成最終評價指標體系：一是篩選指標。通過問卷調(diào)查、訪談、專家打分、相關(guān)工作小組等方法來對初步形成的指標體系進行考察，篩選二級指標，保證最終指標體系對于企業(yè)自身的針對性和有效性。二是確定指標權(quán)重。通過問卷調(diào)查的方式，獲取篩選后各二級指標的重要性評分結(jié)果，利用熵值法對大量的重要性評分結(jié)果進行處理,可以直接計算出各二級指標的權(quán)重，進而計算出一級指標權(quán)重，盡可能客觀地完成指標權(quán)重的確定，以避免主觀分配權(quán)重所帶來的偏差，保證評價指標的科學性和客觀性。

(四)移動學習效果評價體系操作流程設(shè)計

在完成指標篩選和權(quán)重計算后，可形成最終的移動學習效果評價指標體系。評價體系操作流程的設(shè)計能夠保證評價體系得到正確合理的運用，以更好地評價員工移動學習效果。

四、移動學習效果評價體系實施的保障條件

(一)資金支持

移動學習應用推廣是一項復雜的工程，從移動學習準備實施、全面開展到評估反饋都需要一定的資金支持。為了更好地實施移動學習評價，首先要建立一套完整的電子化評價系統(tǒng)，該系統(tǒng)的建設(shè)和維護才能保障評價工作有數(shù)據(jù)依據(jù)，專業(yè)技術(shù)人員的培訓能夠保障培訓評價體系正常運轉(zhuǎn)，評價結(jié)果的運用能夠保證評價體系有助于企業(yè)提升人力資源的開發(fā)水平，這些都要有相應資金支持作為基礎(chǔ)。

(二)管理制度支持

良好的移動學習模式需要建立在有效的管理制度基礎(chǔ)上，企業(yè)應為移動學習這種新的培訓模式量身定做一系列的管理制度。一方面針對移動學習設(shè)置一定的激勵制度，保障移動學習的推廣運用，提升員工學習的積極性；另一方面應針對移動學習設(shè)置一定的約束制度，保障移動學習評價的結(jié)果能夠作為人力資源獎懲的依據(jù)被運用。只有在合理有效的制度體系下，移動學習的模式才能最大限度地發(fā)揮效用，評價體系也才不會淪為一紙空文。

(三)企業(yè)文化支持

移動學習模式的應用推廣和評價體系的正常運行同樣需要企業(yè)文化的支持，要實現(xiàn)移動學習的持久推廣與發(fā)展，就必須樹立“即時學習”“自主學習”“終身學習”的學習理念，建立與移動學習相應的企業(yè)文化，形成良好的學習氛圍，使每個員工都時刻保持學習型狀態(tài)。開放融合、與時俱進的企業(yè)文化，不僅有利于企業(yè)員工更快地接納和適應移動學習的培訓模式，更有利于員工接受與之相配套的評價體系。因此，一種適宜的企業(yè)文化，是移動學習發(fā)展的沃土，也是移動學習效果評價體系正常運行最重要的保障。

[參考文獻]

[1]Kirkpatrick, D. L. Techniques for Evaluating Training Programs [J]. Journal of American Society for Training and Development, 1959, 13(11).

[2]李丹, 趙慧. 企業(yè)培訓效果評估探討[J]. 科技進步與對策, 2006，(4).

[3]郭紹青，等. 國外移動學習應用發(fā)展綜述[J]. 電化教育研究, 2011，(5).

[4]蔡衛(wèi)紅，等. 三網(wǎng)融合環(huán)境下智能移動終端技術(shù)發(fā)展對移動學習的影響研究[J]. 長沙通信職業(yè)技術(shù)學院學報, 2012，(12).

[5]李靜，等. 移動平臺大爆發(fā)時代下移動學習何去何從[J]. 合作經(jīng)濟與科技, 2014，(7).

[6]蔣立兵, 于凌云. 基于3G 技術(shù)的移動學習在成人教育中的應用[J]. 現(xiàn)代遠距離教育, 2007，(1).

[7]安寧. 移動學習在成人教育中的應用[J]. 教育信息化, 2006，(1).

[8]David C. McClelland. Testing for Competence Rather Than for Intelligence[J]. American Psychologist, 1973，(28).

[9]吳聲聲, 宋守信, 張若思，等. 電力企業(yè)員工安全勝任力模型構(gòu)建[J]. 生產(chǎn)力研究, 2011，(3).

[10]蘇繼業(yè), 焦銀凱. 基于崗位勝任力模型的在線人才測評[J]. 中國電力教育, 2013，(15).

[11]溫柏堅, 趙建之,范河山，等. 技術(shù)人員勝任力模型構(gòu)建——以電力G企業(yè)為例[J]. 科技管理研究, 2011，(3).

[12]朱清源. 基于勝任力模型的發(fā)電企業(yè)績效管理體系研究[D].北京：華北電力大學, 2012.

〔責任編輯：李官〕

Discussion on the Construction of Evaluation System of Enterprise Mobile Learning

YANG Hong-ying, XU Yue-ming

(School of Business and Tourism Management, Yunnan University, Kunming，650091, Yunnan, China)

Abstract:Based on Professor Kirkpatrick’s four-level training evaluation model and the characteristics of mobile learning, an evaluation system of enterprise mobile learning and its operation process are built, which include the learning platform, the students and the company. Then, some guarantee measures are offered for the smooth implementation of the system. It is hoped that this study can provide some useful reference for the evaluation of the effect of enterprise mobile learning.

Key words:mobile learning; evaluation system; Kirkpatrick’s four-level training evaluation model

中圖分類號:C931.2

文獻標識碼:A

文章編號:1006-723X(2016)02-0115-06

作者簡介:楊紅英(1962-)，女，云南景洪人，云南大學工商管理與旅游管理學院教授，博士，博士生導師，主要從事人力資源管理研究；徐躍明(1972-)，男，云南尋甸人，云南大學工商管理與旅游管理學院博士研究生，主要從事企業(yè)管理研究。