張昭玉，任建平，付保川，張兄武，高恩婷

（1．蘇州科技大學 電子與信息工程學院，江蘇 蘇州 215011；2．蘇州科技大學天平學院 電子與信息工程系，江蘇 蘇州 215011）

0 引 言

近年來，以MOOC+SPOC為代表的互聯(lián)網(wǎng)教學模式逐漸興起并為教育界所接受，該模式通過短視頻網(wǎng)絡(luò)在線學習、翻轉(zhuǎn)課堂、在線互動討論、視頻回看等手段，有效解決了學習受時間、空間、師資等方面限制的問題。重復觀看視頻、隨時隨地在線互動討論以加深課程內(nèi)容的理解，有效彌補課堂教學的不足。同時，課堂教學技術(shù)結(jié)合MOOC+SPOC，加強與學生的互動和深度交流，可起到寬度教學與深度教學相結(jié)合的效果，寬度教學由視頻完成，深度教學則由課堂教學來實現(xiàn)，如此可有效保證教學質(zhì)量的提升[1]。

然而，在基于MOOC+SPOC的教學研究過程中，教育界對MOOC的研究大都集中在服務(wù)體系方面，比如MOOC設(shè)計、MOOC制作、MOOC上線、MOOC使用等，如中國大學MOOC團隊開展的MOOC服務(wù)研究；或者針對MOOC課程本身進行評價，如文獻[2]開展的“在實踐中探索MOOC評價體系”，提出了一個MOOC課程建設(shè)的評價體系；而針對MOOC這種教學模式開展的學生學習效果評價機制卻較少有系統(tǒng)性的研究。2016年，在高等教育出版社舉辦的“中國大學MOOC——大學計算機基礎(chǔ)”課程研討會上，西北農(nóng)林大學的陳勇教授團隊提出了一個“課程多元化考核機制與探索”課題，引起了與會者極大興趣，該模式使用了線上線下、課內(nèi)課外多種考核指標集成學生的最終考核成績的方式，并大膽提出“期末考試的部分將逐漸取消”。該模式可行性強，且具有合理性和創(chuàng)新性，但其在指標權(quán)重分配上使用了諸如“50%，20%……”這樣的模糊定義，且對于如何精選量化指標、每個指標權(quán)重如何分配、總評分數(shù)如何合成、總評成績的區(qū)間如何界定等，缺乏有效的計算方法和科學界定。

因此，如何采用合理、科學、創(chuàng)新、量化的評價手段反映學生學習過程的每個環(huán)節(jié)，充分發(fā)揮MOOC+SPOC作用，有效提升教學效果，是當前教學評價領(lǐng)域急需解決的問題之一?；谏鲜鰡栴}，依據(jù)MOOC+SPOC教學模式的特點，筆者提出了一個關(guān)注學習者過程性評價的量化模型，并給出了詳細的構(gòu)建方法。

1 基于MOOC+SPOC模式的學習效果評價模型構(gòu)建

1.1 模型概述

傳統(tǒng)的教學評價過于關(guān)注結(jié)果，已經(jīng)不適應(yīng)網(wǎng)絡(luò)化社會、終身教育和教育改革深化的需要，而過程性教學評價，在關(guān)注結(jié)果的基礎(chǔ)上，更注重評價對象的成長發(fā)展過程，在教學過程中給予多次評價機會，有利于師生的自我教育和終身教育、有利于改善評價者和被評價者的關(guān)系、有利于反映教學的整體狀況和個性特色，是一種促進教育改革深化的新評價模式[3]。因此，過程性教學評價特別適合基于MOOC+SPOC模式的教學模式。

模型實施過程如圖1所示。

圖1 基于MOOC+SPOC的學生學習效果評價模型

1.2 指標體系的構(gòu)建

首先，不同的學科、不同的課程，其評價標準是不一樣的，比如“大學英語”的過程性教學評價要求的是聽說讀寫能力，而“計算思維（大學計算機基礎(chǔ)）”則注重計算思維、算法設(shè)計和實踐能力，不同的課程需要不同的評價指標體系，這項研究是一個長期的、持續(xù)的系統(tǒng)工程，需要投入大量的人力物力。其次，評價指標應(yīng)能在不同方面反映高等教育教學體系的發(fā)展目標、教育水平和教學效果、社會價值等特點。最后，評價指標的設(shè)置還要充分考慮MOOC+SPOC教學的特點以及實現(xiàn)的可行性。因此，需要廣泛收集資料、不斷研究實踐，從而構(gòu)建出科學性、可操作性較強的過程性教學評價指標體系，為過程性教學質(zhì)量評價提供有力支撐。

根據(jù)過程性評價的要求，評價過程需要貫穿整個教學，所以筆者把評價過程分為前置性評價、形成性評價、終結(jié)性評價3個階段。前置性評價在教學活動之前進行，主要評價學習的預備工作；形成性評價是在學習活動過程中進行的評價，目的是獲取反饋信息，及時調(diào)整和改進學習活動；總結(jié)性評價則是在學習活動完成后進行的評價，目的在于對這一活動的結(jié)果進行反思和總結(jié)。這3個指標作為一級指標定義為(V1,V2,V3)，然后再根據(jù)一級指標定義的活動范圍尋找二級指標，定義為｛(V11,V12,…,V1i)，(V21,V22,…,V2j)，(V31,V32,…,V3k)｝，以此類推。

初選的指標還要進行進一步的優(yōu)化，筆者采用的優(yōu)化方法是德爾菲法：系統(tǒng)首先向有經(jīng)驗的教育專家發(fā)放有關(guān)初選指標的調(diào)查問卷，收集調(diào)查專家對問卷所提問題的看法，反復征詢、歸納、修改，最后匯總成與專家基本一致的看法作為優(yōu)選的結(jié)果。這種方法具有廣泛的代表性，且具備可行性，較為可靠。

優(yōu)選后的指標將被加入到評價指標數(shù)據(jù)庫中。如前所述，評價指標既是動態(tài)的又是相對靜態(tài)的，所以在評價模型中，使用數(shù)據(jù)庫進行處理，數(shù)據(jù)庫中只存儲指標代碼和指標名稱，數(shù)據(jù)庫管理員可以根據(jù)需求更改指標名稱及指標描述，以此達到實時動態(tài)更新的目的。

以計算思維課程為例，通過對相關(guān)文獻的研究，結(jié)合中國大學MOOC在線提供的默認指標體系以及課題組教學實踐，筆者得到了表1中的16個最終評價指標。

1.3 指標權(quán)重的確定

筆者選擇的方法是AHP法（層次分析法），AHP法的基本思想就是將組成復雜問題的多個元素權(quán)重的整體判斷，轉(zhuǎn)變?yōu)閷@些元素進行“兩兩比較”，再對這些元素的整體權(quán)重進行排序判斷，最后確立各元素的權(quán)重[4]。評判矩陣的確定是通過發(fā)送問卷調(diào)查得到的專家打分，將每個專家評定的分值單獨建立矩陣，通過一致性檢驗的矩陣作為有效評判矩陣。然后，將所有專家對該指標的評判權(quán)重求平均值，得到最終權(quán)重。以計算思維課程為例，筆者得到的指標權(quán)重見表2。

表1 評價指標體系

1.4 終評得分的合成

終評得分的合成方法是根據(jù)已經(jīng)獲得的指標體系權(quán)重值，結(jié)合評價主體的打分。首先對指標獲得的分數(shù)進行標準映射，將其映射到標準區(qū)間[a～b]之間，即為學生的最終得分，然后計算各指標加權(quán)算術(shù)平均得到的平均數(shù)作為評價最終得分。該方法能夠消除指標體系中各個指標的量綱不統(tǒng)一和性質(zhì)各異的問題，通過求解綜合得分作為評價教學狀態(tài)的依據(jù)。

表2 計算思維MOOC+SPOC指標評價體系

本模型定義標準映射區(qū)間為[0 ～10]，一次考試分數(shù)最大值為Xmaxt，最小值為Xmint，則學生的標準分數(shù)為

舉例說明，一次考試全班的最高分為70分，最低分為10分，某生得分70分；另一次考試全班的最高分為90分，最低分為60分，該生得分為70分。這兩次某生同樣得分為70分，但標準化之后分數(shù)分別為10分和3.3分，這意味著學生的知識掌握能力相對較高或者較低，而不是絕對分值的高低。本項步驟對于評價模型來說是非常必要的，這是因為評價模型中不可避免地會引入大量主觀因素及其他不可度量因素，僅靠分值高低來認定某學生屬于哪個等級還不夠準確，還要考慮其分值相對整個得分區(qū)間的位置來進行最后的評判。

接下來將每個過程性評價指標的得分乘以其權(quán)重值然后累加，得到每個評價指標的總得分。最后將每一指標加權(quán)平均求出綜合指數(shù)，定義評價區(qū)間（表3）并由教師給出恰當評語。

表3 評價區(qū)間定義

2 模型實施——以計算思維課程為例

為了研究評價模型的有效性，筆者選取2013級、2014級電子與信息工程學院非計算機專業(yè)新生共16個班的“計算思維”課程開展針對該評價模型的滿意度調(diào)查，具體實施情況如下。

2013級，未開設(shè)MOOC+SPOC課程，考核方式是傳統(tǒng)考核方式，即平時成績60%，期末成績40%。平時成績源于課堂教學，包含5次平時作業(yè)、課堂提問、出勤率。學期結(jié)束時，發(fā)放調(diào)查問卷，收集學生對評價機制的意見。

2014級，在中國大學MOOC網(wǎng)開設(shè)了“大學計算機——計算思維導論”SPOC專區(qū)作為輔助教學平臺，該平臺依托哈爾濱工業(yè)大學戰(zhàn)德臣教授的MOOC教學平臺開設(shè)，可以實現(xiàn)教師布置作業(yè)、提問、發(fā)起討論、測試等多種教學形式，而學生憑借學號和密碼登錄“SPOC課堂”，則可實現(xiàn)諸如完成作業(yè)、回答問題、參與討論、參與測試、發(fā)表話題等功能。這些活動的相應(yīng)得分都被存入電子檔案，作為過程性教學的評價數(shù)據(jù)。最后，在學期結(jié)束時，參照模型中學生評價的計算方法對學生打出期末總評成績，并再次通過調(diào)查問卷的形式收集學生對評價的意見。評價實施過程分為3個部分。

2.1 數(shù)據(jù)來源

（1）中國大學MOOC——大學計算機基礎(chǔ)——計算思維導論蘇州科技大學SPOC課程，原始數(shù)據(jù)含學生昵稱、真實姓名、學號、學校、成績等級、測驗分、作業(yè)分、考試分、討論分、域外成績分、成績總分、原始分、老師調(diào)整分、作業(yè)互評、發(fā)帖、討論、視頻觀看時長等，提取指標映射為本系統(tǒng)指標，如①V14——“學生昵稱，真實姓名，學號，學?！蹦塬@得正確結(jié)果，表明該生能正確注冊平臺，完成選課，具備一定現(xiàn)代信息技術(shù)運用能力，可以獲得該指標的相應(yīng)分數(shù)；②V31——“測驗”，考察學生專業(yè)知識掌握程度，直接從系統(tǒng)中獲得。

（2）課堂控制，結(jié)合蘇州科技大學上課實踐，主要包含入學考試、微信簽到、上課提問、課堂小作業(yè)、課堂討論，映射為本系統(tǒng)指標V11、V21、V24、V25、V32。這部分的控制比較難，因為計算機基礎(chǔ)課都是大班，約70人左右，通過上課提問記下每個人成績較難實現(xiàn)。所以我們選用了“問卷星”平臺，每學期開展5次左右的微信簽到，5次左右的課堂討論或者實時作業(yè)，通過“問卷星”平臺發(fā)送微信鏈接，保證每個同學都能拿到10次課堂成績，該成績也計入評價體系。

2.2 數(shù)據(jù)轉(zhuǎn)換

將數(shù)據(jù)轉(zhuǎn)換為標準分，然后求每個指標的加權(quán)值并累加，得到求每個同學的最終評價分數(shù)。最后根據(jù)評價定義區(qū)間確定最終評價等級。

2.3 數(shù)據(jù)分析

關(guān)于計算思維課程的考核方式評價滿意度調(diào)查如圖2、圖3所示。

圖2 2013年考核方式滿意度評價

圖3 2014年考核方式滿意度評價

從學生意見反饋來看，使用該模型后的評價滿意率遠超過未使用該模型的評價模式，不少學生反映說很喜歡這種評價方式，因為以前的評價就是由期末考試分數(shù)決定，一旦失誤就要重修，一學期的辛苦學習就被一筆抹殺，有了這種方式，學習中的點點滴滴都能體現(xiàn)出來，應(yīng)該說這是一種科學的評價方式。

從上述研究的結(jié)果來看，應(yīng)用該模型得到的評價指數(shù)較好地反映了蘇州科技大學高等教育教學中的實際情況，達到了預期的效果，表明該模型在教學評價中起到了積極的作用。

3 結(jié) 語

筆者所在課題組在2013年就開始了以“計算思維”為導向的大學計算機課程改革嘗試，并于同年加入了哈爾濱工業(yè)大學戰(zhàn)德臣教授的“基于MOOC+SPOC的教學改革”團隊，在“中國大學MOOC”平臺上，開設(shè)了2年的計算思維MOOC+SPOC同步課程。從理論研究、問題分析到教學實施方案的研制、試用、修訂和完善，整個過程歷時3年。在為期3年的教學研究和改革過程中，引入了“過程性教學”作為評價的基礎(chǔ)理論，綜合考察學習者的發(fā)展指標，設(shè)計了一套較為完整的指標考核體系，把評價過程分為前置性評價、形成性評價、終結(jié)性評價3個階段，并應(yīng)用統(tǒng)計學原理，提出了一個合理的基于MOOC+SPOC教學評價模型。

教學實踐證明，該模型是科學、有效、可行的，希望能夠給其他課程的教學改革提供一種新的思路。然而，在課題的研究中，我們也看到了這種評價模式存在的一些問題：①評價過程復雜，需要記錄大量成長數(shù)據(jù)，這其中不可避免地需要引入大量的主觀評價因素，不利于定量分析。②需要教師掌握較多有關(guān)教學評價的專業(yè)知識，能夠確定測驗、觀察和評價的重點，制定和掌握適當?shù)脑u價標準；需要教師和學生的有效互動。這意味著教師必須投入更多的精力在教學和學生身上，這對習慣了傳統(tǒng)教學模式的教師來說是一種挑戰(zhàn)。③實施改革還需要技術(shù)層面的支持，評價模型中數(shù)據(jù)的記錄、采集、運算、決策，都需要計算機技術(shù)的支持，而目前筆者還是先取得數(shù)據(jù)，然后依據(jù)EXCEL進行合并、統(tǒng)計，工作量較大，所以必須利用可靠的軟件設(shè)計、先進的編程技術(shù)開發(fā)出功能強大、操作簡單、界面友好和穩(wěn)定性強的計算機分析軟件，才能被廣泛應(yīng)用于教學實踐，這都需要進一步研究和探索。