王曉凡，馬 力，汪 娟

(湖北大學(xué)，湖北 武漢 430062)

2018年8月，教育部印發(fā)了《關(guān)于狠抓新時代全國高等學(xué)校本科教育工作會議精神落實的通知》，首次提出“每一門課程的教學(xué)內(nèi)容都要進(jìn)行徹底的整頓，建設(shè)‘金課’，以全面提高課程質(zhì)量為目標(biāo)”。[1]2019年10月，《教育部關(guān)于一流本科課程建設(shè)的實施意見》提出，要在三年左右建設(shè)國家級省級一流本科課程約1萬門。[2]2019年1月，有801門課程被認(rèn)定為2018年國家精品在線開放課程，也就是線上“金課”。目前，已有的“金課”相關(guān)評價指標(biāo)體系主要采用自上而下的方法構(gòu)建，關(guān)注學(xué)者和專家的意見，鮮有從學(xué)生或?qū)W習(xí)者的視角出發(fā)，自下而上地去開展課程質(zhì)量評價。[3]如果一門課程與用戶沒有關(guān)聯(lián)或者不能從用戶的角度出發(fā)，那么它提供的服務(wù)質(zhì)量就是差的。[4]基于此，將采用文本挖掘技術(shù)，選取中國大學(xué)MOOC平臺上12門國家精品在線開放課程作為代表，結(jié)合國內(nèi)外的評價規(guī)范和學(xué)習(xí)體驗的特征與構(gòu)成要素，構(gòu)建基于學(xué)習(xí)體驗的線上“金課”評價指標(biāo)體系。

一、線上“金課”的特征

作為“金課”的一個分類，線上“金課”具有“兩性一度”[5]的標(biāo)準(zhǔn)，但是由于線上課程的時空分離和技術(shù)依賴等特征，又使線上“金課”具有以下獨特的特征：

(一)凸顯技術(shù)屬性

社會處于信息化發(fā)展的背景下，一些新型智能技術(shù)發(fā)展十分迅速，如人工智能和第五代移動通信等。而線上“金課”的各方面都離不開技術(shù)屬性，如資源呈現(xiàn)方式、師生和生生交互方式、學(xué)習(xí)分析和支持服務(wù)技術(shù)等。

(二)教學(xué)技術(shù)融合

線上“金課”不同于傳統(tǒng)的面對面的教學(xué)方式，充分利用互聯(lián)網(wǎng)技術(shù)，改革教學(xué)方法，以一種音頻、視頻、字幕和圖片結(jié)合的在線授課方式，建立一套完整的在線教學(xué)體系。教師精心備課，錄制教學(xué)視頻，并利用網(wǎng)絡(luò)技術(shù)的儲存功能和傳播功能，把教學(xué)視頻傳到網(wǎng)絡(luò)在線平臺供學(xué)生學(xué)習(xí)。

(三)突破時空限制

線上“金課”學(xué)習(xí)不在傳統(tǒng)課堂進(jìn)行，避免了時間和空間等條件的限制，學(xué)習(xí)者可結(jié)合自己的需要安排，調(diào)整學(xué)習(xí)進(jìn)度和計劃，更加注重移動學(xué)習(xí)和碎片化學(xué)習(xí)。

二、線上“金課”評價的新視角

除了借鑒學(xué)習(xí)體驗的理念，也借鑒了用戶體驗的觀點，因為在某種程度上“金課”屬于一種特殊的教育產(chǎn)品，學(xué)習(xí)者屬于用戶，將用戶體驗和學(xué)習(xí)體驗的概念與構(gòu)成要素進(jìn)行歸納分析，以確定線上“金課”學(xué)習(xí)體驗的概念和構(gòu)成要素。

(一)概念界定

將線上“金課”學(xué)習(xí)體驗定義為在線上“金課”學(xué)習(xí)前、學(xué)習(xí)中和學(xué)習(xí)后產(chǎn)生的感知與體驗，它是學(xué)習(xí)者對線上“金課”課程設(shè)計、學(xué)習(xí)活動、學(xué)習(xí)交互、學(xué)習(xí)環(huán)境等學(xué)習(xí)過程以及學(xué)習(xí)結(jié)果中涉及的諸多要素的感知、反應(yīng)和行為表現(xiàn)。[6]

(二)構(gòu)成要素

通過線上“金課”學(xué)習(xí)體驗概念的界定，可以得知，它是學(xué)習(xí)者對線上“金課”學(xué)習(xí)過程和結(jié)果的認(rèn)知和情感，從過程來分析，是學(xué)習(xí)者對課程本身和學(xué)習(xí)活動的體驗，涉及課程環(huán)境與學(xué)習(xí)活動；從結(jié)果來看，主要是學(xué)習(xí)者對課程和學(xué)習(xí)效果的體驗。[7]所以，將線上“金課”學(xué)習(xí)體驗劃分為三個階段：即課程環(huán)境體驗、學(xué)習(xí)活動體驗以及學(xué)習(xí)結(jié)果體驗。

三、線上“金課”質(zhì)量評價指標(biāo)體系的指標(biāo)提取

(一)文本采集

中國大學(xué)MOOC平臺上有10類國家精品課程，基于“學(xué)習(xí)體驗”的視角，在每個分類中選取一些課程評價作為數(shù)據(jù)源，課程按照系統(tǒng)展示的熱門來隨機選擇，最終選擇的12門課程為：國際交流英語、大學(xué)計算機、高等數(shù)學(xué)(一)、電路、微觀經(jīng)濟(jì)學(xué)、外國文學(xué)史(一)、藝術(shù)教育、管理心理學(xué)(上下)、營養(yǎng)學(xué)、社會學(xué)概論、文獻(xiàn)管理與信息分析以及馬克思主義基本原理概論。然后，選取與課程質(zhì)量有關(guān)的用戶評論，使用八爪魚采集器收集數(shù)據(jù)，共收集了17871條評論，去重之后得到16570條評論。

(二)指標(biāo)提取

研究采用ROST CM 6進(jìn)行文本挖掘，ROST CM工具在各大高校應(yīng)用非常廣泛。首先將上文采集到的16570條課程評價導(dǎo)入ROST CM 6 中進(jìn)行分詞處理，在詞頻統(tǒng)計的過程中，ROST CM 6會自動載入過濾詞表，過濾一些常見停用詞和合并同義詞。得到詞頻統(tǒng)計表之后，從詞頻統(tǒng)計表的結(jié)果中可發(fā)現(xiàn)學(xué)生評價中國大學(xué)MOOC的側(cè)重點，但單純的詞語頻度很難顯示詞語之間關(guān)系，接下來要用ROST CM 6對上文的文本數(shù)據(jù)構(gòu)建社會網(wǎng)絡(luò)和語義網(wǎng)絡(luò)。五個步驟分別為：提取高頻詞匯，過濾無意義詞匯，提取行特征詞匯，構(gòu)建行特征詞共詞矩陣，最后是構(gòu)建語義網(wǎng)絡(luò)。[8]最終得到的語義網(wǎng)絡(luò)圖如圖1所示。

圖1 語義網(wǎng)絡(luò)圖

從圖中可以看出，有若干高頻詞匯，以“老師”和“課程”為中心，這表明在參與線上“金課”學(xué)習(xí)后，學(xué)生更側(cè)重于對這兩個方面進(jìn)行評價或提出建議。然而，由于學(xué)習(xí)者評論內(nèi)容的復(fù)雜性，不能只根據(jù)高頻詞匯總結(jié)評價指標(biāo)，還應(yīng)參考原始文本數(shù)據(jù)，根據(jù)文本中的高頻詞，以人工查找的方法進(jìn)行分類整理，進(jìn)而歸納出評價指標(biāo)，按照這些關(guān)鍵詞出現(xiàn)頻率，分配指標(biāo)比例。經(jīng)過總結(jié)歸納后得到13個高頻詞匯，將高頻詞匯進(jìn)行整理，得到6個一級指標(biāo)，表1為相關(guān)指標(biāo)和所占比例。

表1 提取的評價指標(biāo)及所占比例

四、線上“金課”質(zhì)量評價指標(biāo)體系的建立

(一)線上“金課”評價指標(biāo)體系的構(gòu)建

研究借鑒了國內(nèi)外已有的課程評價規(guī)范，通過梳理這些標(biāo)準(zhǔn)和體系可發(fā)現(xiàn)，許多指標(biāo)內(nèi)容存在重復(fù)或相似，還有一些指標(biāo)不能體現(xiàn)線上“金課”獨有的特征。為此，對這些評價標(biāo)準(zhǔn)進(jìn)行篩選提煉，刪除了一些重復(fù)相似項，又提取出被這些評價標(biāo)準(zhǔn)共同認(rèn)可的基于學(xué)習(xí)體驗的指標(biāo)內(nèi)容，并結(jié)合前文線上“金課”的特征、線上“金課”學(xué)習(xí)體驗的構(gòu)成要素和從中國大學(xué)MOOC評論數(shù)據(jù)中提取的13個高頻指標(biāo)，構(gòu)建了包含3個一級指標(biāo)、8個二級指標(biāo)、以及28個三級指標(biāo)的基于學(xué)習(xí)體驗的線上“金課”評價指標(biāo)構(gòu)成要素表，具體如表2所示。

表2 基于學(xué)習(xí)體驗的線上“金課”評價指標(biāo)構(gòu)成要素表

(二)AHP法確定指標(biāo)權(quán)重

1．建立層次結(jié)構(gòu)模型

利用AHP法可建立層次結(jié)構(gòu)模型，圖2展示出基于學(xué)習(xí)體驗的線上“金課”評價指標(biāo)體系層次結(jié)構(gòu)模型圖。

圖2 基于學(xué)習(xí)體驗的線上“金課”評價指標(biāo)體系層次結(jié)構(gòu)模型圖

2．構(gòu)造兩兩比較判斷矩陣

采取的打分方法是層次分析法中常用的“1-9標(biāo)度法”，設(shè)計了基于學(xué)習(xí)體驗的線上“金課”質(zhì)量評價指標(biāo)權(quán)重系數(shù)調(diào)查表，邀請四位本專業(yè)領(lǐng)域的專家進(jìn)行評分。對一級指標(biāo)的判斷矩陣及其一致性進(jìn)行檢驗，通過歸一矩陣算得λmax=3.0183，則CI=0.0091，CR=CI/RI=0.0176<0.1，說明權(quán)重判斷具有理想的一致性。接下來是二級指標(biāo)和三級指標(biāo)，對它們的判斷矩陣與一致性檢驗進(jìn)行分析，CR都小于0.1，一致性檢測通過。

3．權(quán)重計算

判斷矩陣完成后，就可計算所有指標(biāo)的權(quán)重。一級指標(biāo)的權(quán)重計算結(jié)果分別是：課程環(huán)境體驗A1的權(quán)重為0.3196，學(xué)習(xí)活動體驗A2的權(quán)重為0.5584，學(xué)習(xí)結(jié)果體驗A3的權(quán)重為0.122，學(xué)習(xí)活動體驗A2的權(quán)重比例最高。因篇幅有限，二級指標(biāo)和三級指標(biāo)的權(quán)重計算不做具體介紹。

4．評價指標(biāo)體系的確立

將以上各指標(biāo)權(quán)重的結(jié)果整理到原來的評價指標(biāo)構(gòu)成要素表中，得到了基于學(xué)習(xí)體驗的線上“金課”評價指標(biāo)體系，如表3所示。

表3 線上“金課”評價指標(biāo)體系

(三)實例應(yīng)用

為檢驗開發(fā)出來的評價指標(biāo)體系的有效性和適用性，從中國大學(xué)MOOC平臺上隨機選擇3門線上“金課”，分別是武漢大學(xué)李維武老師的中國哲學(xué)史(先秦部分)、南京大學(xué)王海嘯老師的大學(xué)英語學(xué)術(shù)閱讀和福建農(nóng)林大學(xué)黃秀玲老師的毛澤東思想和中國特色社會主義理論體系概論。由學(xué)生從學(xué)習(xí)體驗的視角進(jìn)行打分，并與中國大學(xué)MOOC平臺中的評分功能進(jìn)行對比。

1．調(diào)查人員的選擇

基于調(diào)查的實際可行性，選取湖北大學(xué)教育學(xué)專業(yè)的六名研究生。在評分前給學(xué)生介紹線上“金課”評價指標(biāo)體系與線上“金課”評分表的內(nèi)容，盡量減少概念性的問題的理解存在異議的情況。[9]每位參與調(diào)查評估的學(xué)生在觀看過抽取的3門國家精品在線開放課程后，按照非常滿意、比較滿意、一般滿意、不太滿意和不滿意對每項指標(biāo)進(jìn)行評分，完成后提交評價數(shù)據(jù)，結(jié)合這3門課程的情況對評價數(shù)據(jù)進(jìn)行分析與總結(jié)。

2．評價得分計算

評價數(shù)據(jù)回收之后，對評價數(shù)據(jù)進(jìn)行分析，計算過程為：首先計算6位評價者在每個三級指標(biāo)上的平均分?jǐn)?shù)，將分?jǐn)?shù)乘以對應(yīng)的三級指標(biāo)的權(quán)重，得到二級指標(biāo)的分?jǐn)?shù)；再將二級指標(biāo)的平均分?jǐn)?shù)乘以對應(yīng)的二級指標(biāo)的權(quán)重，得到一級指標(biāo)的分?jǐn)?shù)；最后將一級指標(biāo)的平均分?jǐn)?shù)乘以各自的權(quán)重求得課程的總分。[10]表4為三門課程各二級指標(biāo)的得分，表5則給出了三門課程一級指標(biāo)的得分與總分。

表4 二級指標(biāo)分值表

表5 一級指標(biāo)及總分表

從表4和表5可以得知，“毛澤東思想和中國特色社會主義理論體系概論”總分最高，為4.33分，說明學(xué)生對這門課程各方面體驗較好。“中國哲學(xué)史(先秦部分)”在考核評價和課程評價上得分低于4分，說明學(xué)生在這兩方面的學(xué)習(xí)體驗較差，要加強作業(yè)、討論、考試的建設(shè)，線上課程由于空間上的分離比較缺乏有效的溝通，更要注重作業(yè)、討論、和考試的反饋，如課前可以提前布置預(yù)習(xí)，課上留出一些空閑時間解答學(xué)生不會的作業(yè)，采用翻轉(zhuǎn)課堂的形式與豐富多樣的討論形式和平臺供學(xué)生討論，考試結(jié)束后可發(fā)放問卷形成反饋單，形成性與終結(jié)性評價都要重視?！按髮W(xué)英語學(xué)術(shù)閱讀”在學(xué)習(xí)效果上得分低于4分，說明學(xué)生在學(xué)習(xí)這門課程后，收獲不是很多，實際運用水平欠佳，在這門課建設(shè)中可以增加一些實例的教學(xué)，提高學(xué)生理論聯(lián)系實際的能力。

中國大學(xué)MOOC平臺上有一項學(xué)習(xí)者對課程進(jìn)行評價的功能，平臺上這三門課程學(xué)習(xí)者評價的統(tǒng)計結(jié)果顯示“毛澤東思想和中國特色社會主義理論體系概論”總分和“大學(xué)英語學(xué)術(shù)閱讀”總分都為4.7分，“中國哲學(xué)史(先秦部分)”總分為4.8分。將這些數(shù)據(jù)與表5中的得分進(jìn)行對比，可發(fā)現(xiàn)中國大學(xué)MOOC平臺上的評價統(tǒng)計結(jié)果與文中線上“金課”評價指標(biāo)結(jié)果存在一致性，可見文中評價指標(biāo)體系的可操作性和有效性。

五、結(jié)論

通過對中國大學(xué)MOOC平臺的12門國家精品在線開放課程的用戶評論進(jìn)行采集，并利用ROST CM工具進(jìn)行分析挖掘，提取出用戶評論中出現(xiàn)頻率較高的詞，并分析大量國內(nèi)外關(guān)于學(xué)習(xí)體驗的文獻(xiàn)和國內(nèi)外主流的課程評價標(biāo)準(zhǔn)，結(jié)合學(xué)習(xí)體驗的特征和構(gòu)成要素，探索性地建立了線上“金課”評價指標(biāo)體系，其中包含3個一級指標(biāo)、8個二級指標(biāo)以及28個三級指標(biāo)，并利用層次分析法計算了各項指標(biāo)的權(quán)重(表3)。根據(jù)構(gòu)建的評價指標(biāo)體系，從學(xué)習(xí)體驗的角度，邀請6名學(xué)生對中國大學(xué)MOOC平臺上的3門課程進(jìn)行評分。最終結(jié)果表明文中指標(biāo)體系具有可操作性，可用于評價線上“金課”的優(yōu)劣。