劉 潔, 朱鏡蓉, 石振武

(東北林業(yè)大學(xué) 土木與交通學(xué)院, 哈爾濱 150040)

慕課(massive open online courses,MOOC)[1]、微課和翻轉(zhuǎn)課堂等在線課程已成為全新的信息化課程概念,使學(xué)生從選課-學(xué)-教-考的傳統(tǒng)課程全過程或部分過程轉(zhuǎn)移到在線課程,突破了傳統(tǒng)課程時間、空間的限制,實現(xiàn)了高端的知識交換[2]。此番變化還推動了高教司開啟對新教學(xué)質(zhì)量標(biāo)準(zhǔn)評價的探索。新冠肺炎疫情期間,大量中國留學(xué)生的留學(xué)規(guī)劃無法順利開展,且國外大學(xué)的授課教師無法入境進(jìn)行課程面授,致使許多中外合作辦學(xué)項目中的外方課程由傳統(tǒng)面授課程轉(zhuǎn)變?yōu)樵诰€課程,線上教學(xué)成為新常態(tài)[3]。面對教學(xué)方式的大幅轉(zhuǎn)變,怎樣保證外方在線課程的質(zhì)量已成為許多擁有合作辦學(xué)項目高校十分關(guān)心的問題[4]。

外方在線課程是一種依托于互聯(lián)網(wǎng)絡(luò)構(gòu)建的遠(yuǎn)程教育策略,它能夠打破地域限制,為遠(yuǎn)程教育提供新的思路和手段[5]。但外方在線課程仍存在一些缺陷及不足,需要進(jìn)一步完善。例如:如何讓外方在線課程像傳統(tǒng)面授方式一樣生動有趣;能否全面靈活地把課程內(nèi)容傳授給學(xué)生;如何提高學(xué)生在線學(xué)習(xí)的參與度;如何監(jiān)控學(xué)生的學(xué)習(xí)過程和考核學(xué)習(xí)效果等。這些問題直接決定了外方在線課程能否滿足教學(xué)要求并達(dá)到預(yù)期的教學(xué)目標(biāo)。國內(nèi)擁有中外合作辦學(xué)項目的高校對外方在線課程的質(zhì)量標(biāo)準(zhǔn)、評價體系以及質(zhì)量控制等方面還未有統(tǒng)一的定義,其中外方在線課程的質(zhì)量評價問題一直是這些高校教學(xué)監(jiān)管部門想要解決的重點和難點。許多教學(xué)單位在實施外方在線課程建設(shè)時,如何確定最終教學(xué)目標(biāo),以及如何整體規(guī)劃實施教學(xué)過程仍缺乏有效的指導(dǎo)方法。為使外方在線課程在中外合作辦學(xué)項目中充分發(fā)揮其巨大優(yōu)勢,進(jìn)而激發(fā)中外各合作辦學(xué)項目建設(shè)出更多的外方精品在線課程,首要工作任務(wù)是要快速構(gòu)建起科學(xué)完善的外方在線課程質(zhì)量評價體系。該評價體系不僅要從多方面收集評價信息,而且在評價人員和評價內(nèi)容上要多元化,在評價方式上要多渠道化[6]。真正做到以評促學(xué)、評教結(jié)合的動態(tài)評價體系,以此發(fā)揮評價體系的診斷功能,引導(dǎo)和規(guī)范外方在線課程的建設(shè),發(fā)揮外方在線課程對合作辦學(xué)項目的推動力。

我國在線課程的設(shè)計與質(zhì)量評價標(biāo)準(zhǔn)的構(gòu)建目前主要依賴于教育專家或?qū)W者,自下而上的開展在線課程質(zhì)量評價,評價主體單一,缺少學(xué)生主體的參與,實際效果和評價缺乏有效的反饋機(jī)制。同時,我國針對高等教育階段的在線課程質(zhì)量評價指標(biāo)體系研究,大多基于國內(nèi)教師授課的在線課程[7],尚未形成完備的外方在線課程質(zhì)量評價標(biāo)準(zhǔn),也缺少外方在線課程質(zhì)量評價的相關(guān)研究,對外方在線課程質(zhì)量的認(rèn)定與規(guī)范產(chǎn)生了一定程度的影響。

通過進(jìn)一步強(qiáng)化我國與國外標(biāo)準(zhǔn)間融合研究,制定規(guī)范的外方在線課程質(zhì)量評價標(biāo)準(zhǔn)、設(shè)計良好的評價體系是外方在線課程建設(shè)的重要環(huán)節(jié),也是檢驗外方在線課程是否有效的關(guān)鍵依據(jù)。因此,構(gòu)建有效的外方在線課程質(zhì)量評價模型,是中外合作辦學(xué)項目教學(xué)質(zhì)量管理工作的重中之重。

基于此,通過收集整理文獻(xiàn),篩選出國內(nèi)外廣泛使用的12種在線課程質(zhì)量評估標(biāo)準(zhǔn),并對其進(jìn)行系統(tǒng)研究。運用東北林業(yè)大學(xué)奧林學(xué)院工程管理(合作辦學(xué)項目)在新冠肺炎疫情防控期間開設(shè)的8門外方在線課程,依托cloud campus在線課程平臺,以8門外方在線課程授課學(xué)生-工程管理(合作辦學(xué)項目)大一-大四本科生,以及對8門外方在線課程進(jìn)行同行評價和督導(dǎo)評價的教師為研究對象,分別建立學(xué)生、教師(同行、督導(dǎo))在線評課評論數(shù)據(jù)集?；谒鶚?gòu)建BERT-LDA-TextRank模型(bidirectional encoder representations from Transformer-latent Dirichlet allocation-TextRank,基于TextRank算法的雙向Transformer編碼器結(jié)合隱含狄利克雷分配的模型),分別提取“以學(xué)生評價為中心”和“以教師(同行、督導(dǎo))評價為中心”的外方在線課程質(zhì)量評價指標(biāo)體系,結(jié)合工程管理(合作辦學(xué)項目)大一-大四本科生、同行評價和督導(dǎo)評價的教師問卷調(diào)查結(jié)果,運用結(jié)構(gòu)方程模型,分別構(gòu)建“以學(xué)生評價為中心”“以教師(同行、督導(dǎo))評價為中心”的外方在線課程質(zhì)量評價模型。從而明確我國高校中外合作辦學(xué)項目中外方在線課程質(zhì)量管控的發(fā)展路徑,有效發(fā)揮教育教學(xué)中質(zhì)量評價的“指揮棒”和“助推器”作用,持續(xù)提升人才培養(yǎng)質(zhì)量,為外方在線課程質(zhì)量控制、教學(xué)質(zhì)量診斷提供實踐意義。

1 研究理論

西方發(fā)達(dá)國家是在線課程質(zhì)量評價標(biāo)準(zhǔn)制定與運用的先行者。他們積極建設(shè)在線課程質(zhì)量評價標(biāo)準(zhǔn),發(fā)展在線教學(xué)的前沿理論,并以此作為保證在線課程質(zhì)量的重要手段。為了提高在線課程質(zhì)量,美國QM公司制定了《QM高等教育量規(guī)》,它旨在促進(jìn)機(jī)構(gòu)內(nèi)部成員以及跨機(jī)構(gòu)之間開展關(guān)于在線課程質(zhì)量討論的一系列規(guī)則[8]。QM標(biāo)準(zhǔn)中表示在線課程應(yīng)該在其開發(fā)設(shè)計中包含對學(xué)生有促進(jìn)作用的要素,教師通過同行評審和得到的持續(xù)反饋對在線課程進(jìn)行改進(jìn)[9]。歐洲遠(yuǎn)程教育大學(xué)聯(lián)合會制定了《The Openup Ed Quality Label》,該標(biāo)準(zhǔn)不僅關(guān)注課程層面(微觀層面)的質(zhì)量標(biāo)準(zhǔn),還關(guān)注機(jī)構(gòu)層面(宏觀層面)的在線教育項目質(zhì)量標(biāo)準(zhǔn)[10]。加利福尼亞州立大學(xué)構(gòu)建了《高質(zhì)量教與學(xué)工具》,它主要用來確定在線課程的標(biāo)準(zhǔn)規(guī)范,從而幫助全州的教師和課程開發(fā)人員更有效地設(shè)計和提供在線課程[11]。

目前,許多學(xué)者對現(xiàn)有的標(biāo)準(zhǔn)進(jìn)行了深入的研究,并發(fā)現(xiàn)了國外現(xiàn)有的在線課程評價標(biāo)準(zhǔn)在構(gòu)建或應(yīng)用方面存在的不足。Ossiannilsson和Landgren[12]對幾種在線教育的質(zhì)量標(biāo)準(zhǔn)進(jìn)行了系統(tǒng)的研究,并提出了每種標(biāo)準(zhǔn)的不足之處,如對于不同課程各項標(biāo)準(zhǔn)的適用性有限以及每項標(biāo)準(zhǔn)所提供的指標(biāo)差異很大等。Stracke[13]認(rèn)為目前的在線課程質(zhì)量評價標(biāo)準(zhǔn)中還缺少一個遵循全面質(zhì)量管理理念的整體性質(zhì)量標(biāo)準(zhǔn)框架,以應(yīng)用于教育評價的微觀、中觀和宏觀各層面上。Esfijani[14]在對幾種在線課程的質(zhì)量標(biāo)準(zhǔn)的研究中發(fā)現(xiàn),這些標(biāo)準(zhǔn)主要側(cè)重于資源、投入和過程,缺少以結(jié)果為導(dǎo)向的標(biāo)準(zhǔn),這需要標(biāo)準(zhǔn)制定者們構(gòu)建涵蓋在線課程全過程中各方面的質(zhì)量評價標(biāo)準(zhǔn)。此外,Alem等[15]發(fā)現(xiàn)許多發(fā)達(dá)國家以自己國家為背景開發(fā)與設(shè)計了一些在線教育質(zhì)量標(biāo)準(zhǔn)框架,這些國家的在線教育背景與發(fā)展中國家不同,是否能將這些框架直接應(yīng)用于其他國家的在線教育中仍需進(jìn)一步探討。

近年來,我國的在線教育體系也在高速高質(zhì)量發(fā)展。2015年,《教育部關(guān)于加強(qiáng)高等學(xué)校在線開放課程建設(shè)應(yīng)用與管理的意見》發(fā)布,該意見充分肯定了在線課程在促進(jìn)教育變革方面的價值,并提出了認(rèn)定國家精品在線開放課程的要求[16]。2018年,國家市場監(jiān)督管理總局與國家標(biāo)準(zhǔn)化管理委員會共同批準(zhǔn)發(fā)布了《信息技術(shù)學(xué)習(xí)、教育和培訓(xùn)在線課程》國家標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)構(gòu)建了一個在線課程評價方案的信息模型并規(guī)定了模型各個要素的功能和屬性。這個評價模型可適用于開發(fā)或評價多種不同類型的在線課程,以滿足其在不同平臺之間遷移或開放共享的需要[17]。

2020年以來,新冠肺炎疫情防控導(dǎo)致線上課程大規(guī)模普及,因此許多學(xué)者對在線課程質(zhì)量評價模式展開了研究。研究者們的重點主要集中在在線課程質(zhì)量評價指標(biāo)體系及模型構(gòu)建等方面。例如,鄧祖祿和李佳[18]從在線開放課程混合教學(xué)結(jié)構(gòu)流程分析的視角,運用探索性因子分析法和驗證性因子分析法構(gòu)建了在線開放課程學(xué)習(xí)質(zhì)量評價模型;雷靂等[19]基于教學(xué)設(shè)計原理和學(xué)習(xí)科學(xué)教學(xué)策略,構(gòu)建了包含教學(xué)目標(biāo)、教學(xué)內(nèi)容、教學(xué)策略、考核與反饋、學(xué)習(xí)資源與學(xué)習(xí)支持、教師授課效果的以“學(xué)”為中心的在線課程質(zhì)量標(biāo)準(zhǔn)及其指標(biāo),并提出了在線課程教學(xué)質(zhì)量評價方法;田園[20]從服務(wù)內(nèi)容、用戶體驗、交互過程3個維度構(gòu)建了在線教學(xué)資源平臺應(yīng)用效果的評價指標(biāo);牛東育和蔣曉玫[21]以課程設(shè)計、教學(xué)、運用、學(xué)習(xí)和管理作為切入點,構(gòu)建了一個由學(xué)校進(jìn)行總體統(tǒng)籌規(guī)劃并且與二級教學(xué)部門相結(jié)合的教學(xué)質(zhì)量評價體系;任敏等[7]借鑒了軟件質(zhì)量管理體系的成功經(jīng)驗,結(jié)合在線課程的建設(shè)經(jīng)驗,提出在線課程管理鏈的概念,并探究其組成要素(在線課程質(zhì)量模型、在線課程質(zhì)量評價指標(biāo)體系、在線課程管理能力成熟度模型和在線課程質(zhì)量保證活動)的概念、方法、作用和相互關(guān)系,形成在線課程質(zhì)量全面管理框架,為在線課程質(zhì)量保障提供了新思路;徐振國等[22]利用深度學(xué)習(xí)和自然語言處理等技術(shù)對在線課程評論數(shù)據(jù)進(jìn)行粗粒度情感分析和細(xì)粒度情感分析,可實現(xiàn)對自媒體平臺在線課程質(zhì)量的有效評價,以促進(jìn)在線課程良性發(fā)展,優(yōu)化學(xué)習(xí)者的學(xué)習(xí)體驗。

2 研究設(shè)計及方法

2.1 研究對象

選取東北林業(yè)大學(xué)奧林學(xué)院工程管理(合作辦學(xué)項目)自2021-2022年開設(shè)的“Research and Employment Skills”“BIM for Construction”“Introductory Accounting for Business”“Construction Contract Management &Administration”“Introduction to Building Information and Digital Construction”“Construction Quantification and Costing”“Advanced Building Information and Digital Construction”“Construction Project Management &Planning”8門外方在線課程,研究對象為8門外方在線課程授課學(xué)生-工程管理(合作辦學(xué)項目)大一-大四本科生,以及對8門外方在線課程進(jìn)行同行和督導(dǎo)評價的教師。

2.2 研究方法及工具

通過搜集、整理國內(nèi)外在線課程評價指標(biāo)體系的文獻(xiàn)及教育部發(fā)布的文件,最終篩選出12項在線課程質(zhì)量評價標(biāo)準(zhǔn),包括6項國外標(biāo)準(zhǔn)(Quality Matters制定的QMHigherEducationRubric、加州州立大學(xué)制定的HighQualityTeachingandLearningTools、伊利諾伊大學(xué)制定的QualityOnlineCoursePlanRubric、Blackboard公司制定的BlackboardDemonstrationStandard、紐約州立大學(xué)開發(fā)的《開放課程質(zhì)量審查量規(guī)》、加州社區(qū)大學(xué)開發(fā)的《課程設(shè)計量規(guī)》)和6項國內(nèi)標(biāo)準(zhǔn)(教育部發(fā)布的《關(guān)于開展 2019 年國家精品在線開放課程認(rèn)定工作的通知》《網(wǎng)絡(luò)課程評價指標(biāo)》及《CELTS-22.1:網(wǎng)絡(luò)課程評價規(guī)范》、教育部高等學(xué)校教學(xué)信息化與教學(xué)方法創(chuàng)新指導(dǎo)委員會制訂的《高等學(xué)校慕課建設(shè)與應(yīng)用指南》、全國地方高校UOOC聯(lián)盟構(gòu)建的《全國地方高校優(yōu)課聯(lián)盟MOOC課程質(zhì)量保障體系》)。

融合國內(nèi)外在線課程質(zhì)量評價標(biāo)準(zhǔn),分別以“以學(xué)生評價為中心”和“以教師評價為中心”,構(gòu)建BERT-LDA-TextRank模型,得到學(xué)生、教師在線評課評論的詞向量,挖掘候選關(guān)鍵詞的主題分布,并計算各主題的關(guān)系詞,再將提取出的結(jié)果與整合的國內(nèi)外在線課程質(zhì)量評價標(biāo)準(zhǔn)結(jié)合,構(gòu)建外方在線課程質(zhì)量評價指標(biāo)體系,并通過構(gòu)建結(jié)構(gòu)方程模型,最終獲得“以學(xué)生評價為中心”和“以教師評價為中心”的外方在線課程質(zhì)量綜合評價模型。BERT-LDA-TextRank模型操作過程如下。

2.2.1 在線評課評論數(shù)據(jù)集

針對當(dāng)前東北林業(yè)大學(xué)奧林學(xué)院工程管理(合作辦學(xué)項目)自2021-2022年開設(shè)的8門外方在線課程,依托cloud campus在線課程平臺,運用開源的爬取框架Scrapy,分別爬取了學(xué)生在線評課評論信息85 673條數(shù)據(jù)記錄、教師(同行、督導(dǎo))在線評課評論信息2 674條數(shù)據(jù)記錄,從而分別建立學(xué)生、教師在線評課評論數(shù)據(jù)集。

2.2.2 在線評課評論詞向量

通過分別對學(xué)生、教師在線評課評論數(shù)據(jù)集進(jìn)行預(yù)處理,獲取候選關(guān)鍵詞,并利用BERT(bidirectional encoder representation from transformers)模型,利用Transformer的雙向編碼結(jié)構(gòu),將字符向量表轉(zhuǎn)換為模型可以識別的向量作為該層的輸入,并在模型中輸入每一個字相匹配的語義信息內(nèi)容后,該模型輸出相應(yīng)的轉(zhuǎn)換向量,從而分別獲得學(xué)生、教師在線評課評論的降維詞向量。假設(shè)有T個主題,Q、K、V用來表示輸入序列中詞對應(yīng)的query、key和value向量,由輸入特征向量X與對應(yīng)的權(quán)重矩陣WQ、WK、WV相乘得到Wa。常見的相似度計算公式為

f(Q,K)=QTK

(1)

權(quán)重計算公式為

f(Q,K)=QTWaK

(2)

拼接權(quán)重計算公式為

f(Q,K)=Wa[QKi]

(3)

感知器計算公式為

(4)

Softmax函數(shù)歸一化公式為

(5)

(6)

LDA(隱含狄利克雷分布)主題實體模型作為基于主題挖掘的概率模型[23],運用貝葉斯算法,可用于識別和聚類候選關(guān)鍵字中隱含的主題信息,結(jié)合Gibbs算法,對所有主題進(jìn)行采樣,并使用抽樣獲得的所有候選關(guān)鍵詞與主題之間的相應(yīng)關(guān)系來獲取主題和候選關(guān)鍵字的分布,并最終運用TextRank模型,分別根據(jù)學(xué)生、教師在線評課評論文本主題特征,結(jié)合候選關(guān)鍵詞的語義重要性、覆蓋范圍和不同屬性,運用候選關(guān)鍵詞之間的相似度作為節(jié)點權(quán)值的轉(zhuǎn)移概率,通過迭代計算詞得分,進(jìn)一步提取各主題分類下的重點關(guān)鍵詞,并將提取出的結(jié)果與整合的國內(nèi)外在線課程質(zhì)量評價標(biāo)準(zhǔn)結(jié)合。具體計算過程如圖1所示。

θ為主題概率分布;α為主題分布θ的Dirichlet先驗分布參數(shù);φ為主題的詞概率分布;β為詞分布φ的Dirichlet先驗分布參數(shù);D為評論數(shù);K為主題數(shù);z為詞語對應(yīng)主題;w為評語生成詞;N為評論中總的詞語數(shù)量圖1 LDA概率模型

從主題模型生成詞的LAD模型過程如下。

1)根據(jù)先驗實驗概率p(Di)從多個備選文檔中選擇一個。

2)從Dirichlet分布α中抽樣,并且生成文檔Di的主題分布θi。

3)主題多項式分布θi中取文檔di的第j個單詞主題的文檔zi,j。

刑法第三百六十條以列舉的方式規(guī)定了性病的范圍“梅毒、淋病等嚴(yán)重性病”這種列舉并沒有把比梅毒、淋病更為嚴(yán)重的艾滋病明確加以列舉。雖然梅毒、淋病和艾滋病同為性病，早期梅毒、淋病，一般是可以治愈的，但是如果是后期，治愈的可能性就會降低，甚至達(dá)到難以治愈的程度。但是目前為止，雖然醫(yī)藥科技很發(fā)達(dá)，但仍舊沒有根治艾滋病的方法，艾滋病的社會危害性明顯地大于淋病、梅毒。艾滋病是一種嚴(yán)重的性病，如果艾滋病患者攜帶者故意傳播艾滋病，那么社會危害性之大難以估量。因此，通過賣淫、嫖娼的方式故意傳播艾滋病的行為與故意傳播梅毒、淋病的行為性質(zhì)完全不同，當(dāng)然不能以同一罪名定罪論處。

4)從Dirichlet分布β中抽樣,生成主題zi,j所對應(yīng)的詞語分布φzi,j。

5)生成詞wi,j從詞的多項式分布φzi,j采樣中得到。

6)參數(shù)計算可以采用Gibbs算法。

(7)

(8)

7)通過對詞語對應(yīng)主題進(jìn)行Gibbs采樣間接估計θ和φ,即

(9)

(10)

(11)

同樣,可以得到K個主題下文檔中包含對應(yīng)詞語的條件概率為

(12)

8)結(jié)合式(11)、式(12),就很容易得到LDA模型中的最主要概率分布,即主題和詞的聯(lián)合概率,計算公式為

(13)

9)TextRank算法的標(biāo)準(zhǔn)公式為

(14)

式中:S(vi)為節(jié)點的重要程度;In(vi)為指向節(jié)點v的集合;Out(vi)為指向v的其他節(jié)點的集合;d為阻尼系數(shù),一般取值為0.85,其他節(jié)點被跳轉(zhuǎn)的可能性概率用1-d表示。以PageRank算法為基礎(chǔ),引入邊的權(quán)重值的定義到公式中就得到了TextRank,具體方法是通過余弦相似度取得,計算公式為

(15)

式中:WS(vi)為第i個句子的權(quán)重;WS(vj)為上次迭代j的權(quán)重;e(vi,vj)為兩個句子i和j的相似程度;右側(cè)的求和表示每個句子對所在文本的貢獻(xiàn)程度;求和部分的分母為文本中相對應(yīng)的部分句子權(quán)重之和。

2.2.4 構(gòu)建外方在線課程質(zhì)量評價模型

使用AMOS建立結(jié)構(gòu)方程模型,將通過問卷調(diào)查可直接測量的外方在線課程質(zhì)量二級評價指標(biāo)設(shè)定為觀察變量,將無法直接測量的一級評價指標(biāo)設(shè)定為潛變量,分別獲得“以學(xué)生評價為中心”和“以教師評價為中心”的外方在線課程質(zhì)量綜合評價模型,并以各一級評價指標(biāo)的路徑系數(shù),量化其對外方在線課程質(zhì)量綜合評價的影響力。

2.3 問卷設(shè)計

基于生成的“以學(xué)生評價為中心”和“以教師評價為中心”的外方在線課程質(zhì)量評價指標(biāo)體系,以調(diào)查問卷作為收集數(shù)據(jù)的工具。問卷分成3大部分:第1部分是指導(dǎo)語和填答說明,填答說明主要描述。第2部分是調(diào)查問卷的主體部分,該部分的題項采用李克特(Likert)5級量表設(shè)計,分別對“以學(xué)生評價為中心”“以教師評價為中心”的外方在線課程質(zhì)量各級評價指標(biāo)進(jìn)行量化,“1”代表不合格,“2”代表合格,“3”代表中等,“4”代表良好,“5”代表優(yōu)秀。第3部分是基本信息,涉及性別、期末成績班級排名、年級,以及班級總?cè)藬?shù)等人口學(xué)基本信息。通過構(gòu)建結(jié)構(gòu)方程模型,借助SPSS、AMOS、Excel等數(shù)據(jù)處理軟件,對各級指標(biāo)進(jìn)行數(shù)據(jù)檢驗和修正,分別構(gòu)建“以學(xué)生評價為中心”和“以教師評價為中心”的外方在線課程質(zhì)量評價模型。

本次調(diào)查主要針對2021-2022年度工程管理(合作辦學(xué)項目)所開設(shè)的8門外方在線課程,調(diào)查對象為8門外方在線課程授課學(xué)生-工程管理(合作辦學(xué)項目)大一-大四本科生,以及對8門外方在線課程進(jìn)行同行評價和督導(dǎo)評價的教師。首先在小規(guī)模的范圍內(nèi)進(jìn)行預(yù)調(diào)查,針對問卷信效度、測試項設(shè)計與表達(dá)等幾個方面進(jìn)行優(yōu)化調(diào)查;其次,從所有課程中隨機(jī)選取70名學(xué)生、10名教師進(jìn)行正式調(diào)研。樣本以整群抽樣為主,隨機(jī)抽樣為輔,在線下集中測試和網(wǎng)絡(luò)填答;最終,在對回收數(shù)據(jù)進(jìn)行整理和有效性分析后,確定有效學(xué)生問卷495份,教師問卷66份。

3 研究結(jié)果

3.1 外方在線課程質(zhì)量評價指標(biāo)體系

訪談形式為焦點小組式,分別邀請10位專家和18位學(xué)生代表,對提取的主題和重點關(guān)鍵詞結(jié)果進(jìn)行討論、篩選。其中,所選取的專家均開設(shè)過外方在線課程,且具有豐富的外方在線課程教學(xué)經(jīng)驗,并對外方在線課程的整體建設(shè)有一定研究。所邀請的學(xué)生代表涵蓋了工程管理(合作辦學(xué)項目)全部年級,并全部完成過外方在線課程的學(xué)習(xí)。通過對兩次訪談結(jié)果進(jìn)行提煉、分析、總結(jié)、歸納,最終分別生成了“以學(xué)生評價為中心”和“以教師(同行、督導(dǎo))評價為中心”的外方在線課程質(zhì)量評價指標(biāo)體系,見表1。

表1 外方在線課程質(zhì)量評價指標(biāo)體系

由表1可知,“以學(xué)生評價為中心”的外方在線課程質(zhì)量評價指標(biāo)體系主要從“學(xué)習(xí)體驗”“學(xué)習(xí)感知”“學(xué)習(xí)互動”“學(xué)習(xí)支持”4個方面評價外方在線課程質(zhì)量,重點在于評價整個課程學(xué)習(xí)過程,將學(xué)生的學(xué)習(xí)體驗、對知識的感知能力和教學(xué)互動,以及對學(xué)生的學(xué)習(xí)支持置于課程質(zhì)量評價的中心,真正從課程評價角度體現(xiàn)以學(xué)生為中心的理念[24]。這個評價指標(biāo)體系從達(dá)到學(xué)生預(yù)期學(xué)習(xí)規(guī)劃、課程滿意度和學(xué)習(xí)效果等出發(fā),充分了解學(xué)生上在線課程時的主觀學(xué)習(xí)感受,為后續(xù)外方課程設(shè)計提供依據(jù),包括課程內(nèi)容的取舍、呈現(xiàn)的結(jié)構(gòu)、教學(xué)步驟的設(shè)計、學(xué)習(xí)活動的形式和安排,媒體的選用和搭配等。

“以教師評價為中心”的外方在線課程質(zhì)量評價指標(biāo)體系主要從3個方面來評價外方在線課程質(zhì)量,包括“教學(xué)設(shè)計”“教學(xué)效果”和“課程建設(shè)”,將同行及督導(dǎo)評價作為外方在線課程質(zhì)量評價重點,將同行及督導(dǎo)意見反饋至課程設(shè)計和再次開發(fā)過程中,要求外方教師緊扣課程目標(biāo)組織在線教學(xué),引導(dǎo)和監(jiān)督學(xué)生完成課程考核及評價,及時依據(jù)課程考核及評價結(jié)果提供教學(xué)反饋,包括修訂課程內(nèi)容、活動,更新課程資料與支持服務(wù)等,強(qiáng)調(diào)外方在線課程改革與創(chuàng)新,并將技術(shù)融入課程建設(shè),提高教學(xué)效果。

3.2 外方在線課程質(zhì)量評價模型

3.2.1 調(diào)查問卷總體情況

將所有收集到的調(diào)查問卷結(jié)果進(jìn)行統(tǒng)計,結(jié)果發(fā)現(xiàn)“以學(xué)生評價為中心”的外方在線課程質(zhì)量評價結(jié)果中,8門外方在線課程質(zhì)量評價的所有一級評價指標(biāo)的平均得分為3.826,其中“學(xué)習(xí)體驗”(4.359分)與“學(xué)習(xí)感知”(4.521分)兩個一級評價指標(biāo)得到普遍認(rèn)可,“學(xué)習(xí)互動”(3.701分)一級評價指標(biāo)還有較大提升空間,而“學(xué)習(xí)支持”(2.723分)一級評價指標(biāo)表現(xiàn)不佳。并且不同的一級評價指標(biāo)的方差貢獻(xiàn)率存在顯著差異?！皩W(xué)習(xí)體驗”和“學(xué)習(xí)支持”的方差貢獻(xiàn)率較高,分別為24.3%、19.7%,此二者方差貢獻(xiàn)率的較大差異,體現(xiàn)其在“以學(xué)生評價為中心”的外方在線課程質(zhì)量評價的重要性,即學(xué)習(xí)體驗是教學(xué)的根本目的,而學(xué)習(xí)支持是在線課程的特色優(yōu)勢。剩下的兩個一級評價指標(biāo)的方差貢獻(xiàn)率都小于10%,這說明此二者的重要性較小。

“以教師評價為中心”的外方在線課程質(zhì)量評價結(jié)果中,8門外方在線課程質(zhì)量評價的所有一級評價指標(biāo)平均得分為3.259,其中“教學(xué)效果”(4.157分)一級評價指標(biāo)得到普遍認(rèn)可,“教學(xué)設(shè)計”(3.125分)一級評價指標(biāo)還有較大提升空間,而“課程建設(shè)”(2.495分)一級評價指標(biāo)表現(xiàn)不佳。并且不同的一級評價指標(biāo)的方差貢獻(xiàn)率存在顯著差異?！敖虒W(xué)設(shè)計”的方差貢獻(xiàn)率較高,為27.2%。這個一級評價指標(biāo)擁有較高的方差貢獻(xiàn)率,這體現(xiàn)其重要性,即外方在線課程的教學(xué)設(shè)計是“以教師評價為中心”的外方在線課程質(zhì)量評價的關(guān)鍵影響要素。其余兩個一級評價指標(biāo)的方差貢獻(xiàn)率均不足10%,重要性相對較小。

3.2.2 結(jié)構(gòu)方程模型結(jié)果

為深入分析“以學(xué)生評價為中心”和“以教師為中心”的外方網(wǎng)絡(luò)課程質(zhì)量評價模型中各項評價指標(biāo)對課程質(zhì)量的影響,以各一級評價指標(biāo)作為潛在變量,二級評價指標(biāo)為觀察變量,明確國外在線課程的整體質(zhì)量,運用Amos 24.0軟件構(gòu)建結(jié)構(gòu)方程模型,分析各一級評價指標(biāo)對外方在線課程質(zhì)量綜合評價的影響力,如圖2和圖3所示。

Chi-square為卡方;DF為自由度;Chi/DF為卡方/自由度;NFI為規(guī)范擬合指數(shù);CFI為比較擬合指數(shù);GFI為擬合優(yōu)度指數(shù);AGFI為修正擬合指數(shù);RMSEA為近似誤差均方根圖2 “以學(xué)生評價為中心”的外方在線課程質(zhì)量模型

Chi-square為卡方;DF為自由度;Chi/DF為卡方/自由度;NFI為規(guī)范擬合指數(shù);CFI為比較擬合指數(shù);GFI為擬合優(yōu)度指數(shù);AGFI為修正擬合指數(shù);RMSEA為近似誤差均方根圖3 “以教師評價為中心”的外方在線課程質(zhì)量模型

使用Amos軟件分別對已建立的兩個結(jié)構(gòu)方程模型開展絕對擬合指標(biāo)、相應(yīng)可比擬合指標(biāo)和精簡擬合指標(biāo)評估測試。用Chi/DF(卡方/自由度)、RMSEA(近似誤差均方根)作為絕對模型值擬合指標(biāo);NFI(規(guī)范擬合指數(shù))、GFI(擬合優(yōu)度指數(shù))、CFI(比較擬合指數(shù))等作為相應(yīng)可比模型擬合指標(biāo);AGFI(修正擬合指數(shù))作為精簡模型擬合指標(biāo)。通過對照這些指標(biāo)體系的綜合評判標(biāo)準(zhǔn)可看出,兩個模型的所有擬合評價指標(biāo)值均表現(xiàn)平穩(wěn),基本達(dá)到了理想水準(zhǔn),由此可知,兩個結(jié)構(gòu)方程模式的總體擬合率較好,均達(dá)到了可接受的數(shù)據(jù)擬合。

如圖2所示,在“以學(xué)生評價為中心”的外方在線課程質(zhì)量評價模型中,所有路徑系數(shù)均為正值,且所有一級評價指標(biāo)作為潛變量,與外方在線課程質(zhì)量綜合評價之間的路徑關(guān)系達(dá)到顯著水平,表明該結(jié)構(gòu)方程模型中的所有潛變量對外方在線課程質(zhì)量綜合評價均有正面影響。其中,“學(xué)習(xí)體驗(0.983)”與“學(xué)習(xí)感知(0.955)”是影響“以學(xué)生評價為中心”的外方在線課程質(zhì)量綜合評價的關(guān)鍵原因。其次是“學(xué)習(xí)互動(0.846)”,影響力最低的則是“學(xué)習(xí)支持(0.645)”。上述結(jié)果表明:首先,“學(xué)習(xí)體驗”所包含的“學(xué)習(xí)內(nèi)容”“教師教學(xué)態(tài)度”和“教師教學(xué)技能”是“以學(xué)生評價為中心”的外方在線課程質(zhì)量綜合評價的關(guān)鍵決定因素(路徑系數(shù)最高),這表明學(xué)生更看重在線課程的實質(zhì)學(xué)習(xí)內(nèi)容,即通過課程學(xué)習(xí)能夠獲得的具體專業(yè)技能。其次,“學(xué)習(xí)感知”所包含的“學(xué)習(xí)期望”“學(xué)習(xí)滿意度”和“學(xué)習(xí)效果”對“以學(xué)生評價為中心”的外方在線課程質(zhì)量綜合評價也具有顯著影響作用。學(xué)生對課程的學(xué)習(xí)期望能反映出學(xué)生的心理狀態(tài),表明其主觀上對課程是否抱有濃厚興趣,是否樂于接受線上課程的形式,其直接決定學(xué)生是否能夠有效參與學(xué)習(xí)活動,是直接推動學(xué)習(xí)認(rèn)知的原因和啟動力。學(xué)習(xí)滿意度可直接影響學(xué)生對外方課程和在線學(xué)習(xí)形式的接受度,學(xué)習(xí)滿意度越高,學(xué)生越能夠主動參與在線學(xué)習(xí),形成良性循環(huán),進(jìn)而提升獲得感。

在“以教師評價為中心”的外方在線課程質(zhì)量評價模型中(圖3),所有路徑系數(shù)均為正值,且所有一級評價指標(biāo)作為潛變量,與外方在線課程質(zhì)量綜合評價之間的路徑關(guān)系達(dá)到顯著水平,表明該結(jié)構(gòu)方程模型中的所有潛變量對外方在線課程質(zhì)量綜合評價均有正面影響。其中,“教學(xué)效果(0.969)”是影響“以教師評價為中心”的外方在線課程質(zhì)量綜合評價的關(guān)鍵原因。其次是“教學(xué)設(shè)計(0.882)”,影響力最低的則是“課程建設(shè)(0.715)”。上述結(jié)果表明:“教學(xué)效果”所包含的“課程考核”“課程評價”和“互動交流”是“以教師評價為中心”的外方在線課程質(zhì)量綜合評價的關(guān)鍵決定因素(路徑系數(shù)最高)。首先,同行及督導(dǎo)評價更看重如何通過科學(xué)合理的設(shè)定課程考核標(biāo)準(zhǔn),對在線教學(xué)質(zhì)量和效果進(jìn)行有效監(jiān)測和評估,評估在線教學(xué)實施效果。因此,外方在線課程的教學(xué)目標(biāo)、教學(xué)過程、教學(xué)評價、學(xué)習(xí)反饋等方面,每個模塊都應(yīng)有較為統(tǒng)一的嚴(yán)格質(zhì)量標(biāo)準(zhǔn),考核內(nèi)容比例協(xié)調(diào)、均衡。使得在線課程與傳統(tǒng)課堂的質(zhì)量標(biāo)準(zhǔn)同質(zhì)相近、標(biāo)準(zhǔn)相通,便于對各個環(huán)節(jié)全面、具體的監(jiān)控。同時,外方教師應(yīng)積極探索線上教學(xué)考核方式改革,加大平時考核比重,豐富課程考核方式,讓學(xué)生認(rèn)識到課堂參與的重要性,變被動為主動參與到在線課堂。其次,應(yīng)將學(xué)生評價和教師評價都囊括進(jìn)課程的總體評價之中。學(xué)生評價可以讓學(xué)生診斷學(xué)習(xí)中存在的問題,評估自己是否達(dá)到階段性學(xué)習(xí)目標(biāo),外方教師根據(jù)學(xué)生評價結(jié)果,了解教學(xué)的薄弱環(huán)節(jié),以及學(xué)生對課程的滿意情況,以此體現(xiàn)以學(xué)生為主體的外方在線課程體驗,以解決教學(xué)過程中出現(xiàn)的問題,從而改進(jìn)并提高在線教學(xué)質(zhì)量。教師評價可以通過召集校內(nèi)校外的同行與督導(dǎo)建立同行檢查評估制度,每半年或每學(xué)期進(jìn)行質(zhì)量抽查,采用評優(yōu)及一對一輔助落后的方法提高外方在線課程的整體水平。在管理與監(jiān)控課程質(zhì)量時,應(yīng)注意目標(biāo)與過程、質(zhì)量評價與質(zhì)量監(jiān)控有機(jī)結(jié)合起來,以服務(wù)、促進(jìn)教育質(zhì)量管理導(dǎo)向消除外方教師的心理抵觸及障礙,體現(xiàn)賦權(quán)增能、以人為本的管理理念。

4 結(jié)論

相比于傳統(tǒng)的學(xué)習(xí)授課模式,在線教學(xué)可以突破時間與空間的限制,將傳統(tǒng)的“面對面”授課模式變成以網(wǎng)絡(luò)教學(xué)平臺為主的網(wǎng)絡(luò)互動授課模式。為達(dá)到預(yù)期的教學(xué)目標(biāo),在線課程的教學(xué)質(zhì)量成為教育工作的重中之重。構(gòu)建科學(xué)、規(guī)范、有效的課程質(zhì)量評價體系是提高在線教學(xué)質(zhì)量的必要保障和建設(shè)完善的在線課程體系的重要環(huán)節(jié)。

外方在線課程質(zhì)量評價在中外合作辦學(xué)項目中占有十分重要的地位,建立一個有效的外方在線課程質(zhì)量評價體系,也顯得尤為重要。選出12項國內(nèi)外在線課程質(zhì)量評價標(biāo)準(zhǔn),對國內(nèi)與國外在線課程質(zhì)量評價標(biāo)準(zhǔn)進(jìn)行了系統(tǒng)比較與研究。在此基礎(chǔ)上,選取東北林業(yè)大學(xué)奧林學(xué)院工程管理(合作辦學(xué)項目)開設(shè)的8門外方在線課程,并以8門外方在線課程授課學(xué)生-工程管理(合作辦學(xué)項目)大一-大四本科生,以及對8門外方在線課程進(jìn)行同行評價和督導(dǎo)評價的教師為研究對象,依托cloud campus在線課程平臺,分別建立學(xué)生、教師在線評課評論數(shù)據(jù)集,并通過構(gòu)建BERT-LDA-TextRank模型,分別提取“以學(xué)生評價為中心”“以教師評價為中心”的外方在線課程質(zhì)量評價指標(biāo)體系,并通過對有關(guān)主體[包括工程管理(合作辦學(xué)項目)大一-大四本科生、8門外方在線課程進(jìn)行同行評價和督導(dǎo)評價的教師等]問卷調(diào)查,運用結(jié)構(gòu)方程模型,分別構(gòu)建“以學(xué)生評價為中心”和“以教師評價為中心”的外方在線課程質(zhì)量評價模型,分別從“以學(xué)生評價為中心”和“以教師(同行、督導(dǎo))評價為中心”,對外方在線課程質(zhì)量實施多級綜合評價,明確各級評價指標(biāo)對外方在線課程質(zhì)量綜合評價的影響力。其結(jié)果顯示:“學(xué)習(xí)體驗”與“學(xué)習(xí)感知”是影響“以學(xué)生評價為中心”的外方在線課程質(zhì)量綜合評價的關(guān)鍵原因,“教學(xué)效果”是影響“以教師評價為中心”的外方在線課程質(zhì)量綜合評價的關(guān)鍵原因。

本文的研究可以為外方教師發(fā)現(xiàn)在線教學(xué)過程中的問題與缺陷提供指導(dǎo)與幫助,幫助其改善和優(yōu)化教學(xué)過程與策略、提高在線教學(xué)的教學(xué)質(zhì)量提供了一定的理論與實際依據(jù)。未來可用于我國高校中外合作辦學(xué)項目對當(dāng)前正在運行的外方在線課程質(zhì)量進(jìn)行測評,尋找限制發(fā)展因素,及時監(jiān)管并有針對性地提出改進(jìn)措施,保障外方在線課程質(zhì)量可持續(xù)發(fā)展,以達(dá)到“以評促教、以評促管”的目的。