基金項目：江西省教育科學規(guī)劃一般課題“基于學習評論及KANO模型的在線課程質量評價研究”（21YB093）

摘? 要：確定學習者關于在線課程的差評所涉及的質量因素及質量因素的重要度，對有效引導在線課程的質量迭代及學習者滿意度提升有重要意義。文章運用Python網絡爬蟲技術從中國大學MOOC（慕課）官網上采集了學習者關于《學術英語》《思想道德修養(yǎng)與法律基礎》等17門文科課程的學習評論數據，基于百度AI開放平臺的自然語言處理技術對在線評論進行情感極性計算，利用LDA主題模型提取出不同類型課程的差評評論所關注的課程質量因素，并計算出各個課程質量因素的細粒度情感重要度。結果表明，課程講解、視頻質量、教學內容、習題測試為影響學習者差評行為的核心性因素，“平臺功能”“時間安排”等6個因素為邊緣性因素，由此提出了相應的課程質量提升策略。

關鍵詞：在線課程；差評；LDA；細粒度情感

中圖分類號：G434? ? ? ?文獻標識碼：A? ? ? ? 文章編號：1002-4107（2024）04-00? -04

一、引言

在線開放課程突破了傳統課程在時間、地域等因素上的限制，是一種具有開放性、靈活性及便捷性的新型學習模式[1]，極大地豐富了中國既有的教育形態(tài)[2]。但隨著大量課程的集中上線，在線開放課程模式也暴露出課程完成率低、學習者持續(xù)性差等問題[3]，這無疑造成了學習資源的巨大浪費。如何提升在線開放課程的質量引起了學術界的廣泛關注。一方面，與傳統課程不同，在線課程需要經歷“優(yōu)化—反饋—再優(yōu)化”的不斷迭代改進的循環(huán)過程[4]；另一方面，不同于傳統課堂模式，在線模式下，學習者往往會在學習平臺上留下大量關于課程質量感知的在線評論信息[5]。從情感上看，在線評論文本有正向和負向之分，相對正向評論，負向評論更能反映出課程的不足之處及學習者對課程的期望[6]。然而，差評往往涉及課程多個方面的質量因素，評論者涉及這些因素時的細粒度情感與總評的情感可能存在不一致的情形。因此，如何對學習者差評所涉及的課程質量因素進行細粒度情感分析，以確定各個質量因素的重要度對在線開放課程質量的提升有重要的意義。

二、文獻綜述

目前，MOOC質量評價方面的研究主要基于問卷調查模式進行。Albelbisi N A等人（2021）采用問卷調查模式收集數據，運用結構方程方法對在線課程質量因素對MOOC學習者滿意度的影響進行了評估[7]。闞維對疫情期間某高校MOOC選修情況進行了問卷調查，并運用結構方程模型對影響MOOC學習者知識內化的因素進行了分析[8]。然而，問卷調查模式存在樣本量不足、樣本信度難以保證等問題。同時，由于問卷是由專家學者所設計，專家和學習者在認知水平上存在一定差距，這不可避免地影響到結果的準確性。

在線模式下，學習者在慕課平臺上留下了大量有關課程質量感知的評論文本。學習評論文本數據具有半結構化或非結構化的特點，蘊含著豐富的學習者關于課程質量的感知體驗。為了彌補問卷調查模式的缺陷，學者們開始利用在線評論對在線課程質量因素進行分析。如QI cong等人（2021）采用LDA主題模型對學習者評論進行主題挖掘，并通過Bi-LSTM文本分類模型計算每個主題中評論的情感值[9]。張新香等人基于在線課程評論文本，利用 BTM 主題模型提取并構建主題集，通過熵權法確定主題權重，隨后通過情感分析計算課程中不同主題的情感得分，最后采用灰色關聯分析方法對MOOC質量進行了評判[10]。在線評論具有好評、中評以及差評之分，而差評文本相較于好評與中評文本有著更高的診斷力及參考價值。關于差評所涉及的產品/服務的質量因素的分析逐漸引起了學者們的關注，并有學者在電商購物[11]、在線醫(yī)療[12]等領域對負向評論文本進行了深入研究，但在在線課程評論領域，關于課程差評所涉及的質量因素的細粒度情感分析方面的研究較為鮮見。

因此，文章基于中國大學MOOC上的學習者評論文本，運用百度AI語義分析技術對中國大學MOOC平臺上17門文科課程的評論文本進行情感極性分類，利用LDA主題模型分別從負向評論文本中提取學習者所關注的質量因素，提出質量因素重要度的細粒度情感定量評價方法，并根據研究結果提出有針對性的在線課程質量迭代提升策略。

三、研究設計與研究方法

（一）研究框架

文章從差評評論的視角出發(fā)，利用LDA主題模型對在線課程的負向評論所涉及的質量因素進行提取，并對差評評論所涉及的各個質量因素進行細粒度情感分析以確定各個質量因素的重要度。主要研究框架如圖1所示。

圖1 研究框架

（二）LDA主題模型

Blei等學者于2003年提出了LDA主題模型，即隱含狄利克雷分布，是一種非監(jiān)督機器學習技術，可以將文檔集中每篇文檔的主題以概率分布的形式輸出。文章運用LDA主題模型從課程評論中挖掘學習者所關注的在線課程質量因素，具體過程如下：

1.采用困惑度算法計算各主題數所對應的困惑度，據此選取評論集的最優(yōu)主題數。

2.運用LDA模型中的詞袋算法[13]，對在線課程的學習者評論文本進行主題建模，以概率形式輸出學習者關于在線課程所關注的主題及特征詞，在此基礎上提取在線課程質量因素。

（三）基于細粒度情感的課程質量因素的重要度計算方法

課程質量因素的重要度反映了課程在某個質量因素上的表現對學習者滿意度的影響程度。在學習評論中，當學習者涉及某個質量因素時的評語情感與整個評論情感一致性越高時，該質量因素的重要度越高。反之，質量因素的重要度越低。學習者差評涉及的課程質量因素的重要度可通過以下步驟進行計算。

步驟一：設為包含質量因素的評論總數。為涉及質量因素的評語為好評，但評論的總體情感為差評的評論數，為涉及質量因素的評語為中評且評論的總體情感為差評的評論數；為涉及質量因素的評語為差評且評論的總體情感為差評的評論數；課程質量因素的初始重要度可通過下面的公式進行計算。

其中，式（1）中的為縮放系數；反映的是學習者涉及質量因素時的評語情感與整個評論情感的一致程度；、反映的是學習者涉及質量因素時的評語情感與整個評論情感的背離程度；為涉及質量因素的評論在課程的總評論中的占比；為差評所涉及的課程質量因素總數。

步驟二：對課程質量因素的初始重要度進行標準化，得到各個課程質量因素的重要度，具體如下：

四、實證分析

（一）數據采集與預處理

利用網絡爬蟲技術，作者從MOOC平臺上分別爬取了《英語語法與寫作》等17門文科類國家精品課程在2018年3月至2022年6月的課程評論數據。選取標準為所選課程評論總數≥1000條；所選課程差評數≥50條。最終共獲取58039條評論數據。剔除重復評論、信息缺失評論，如“很好”“非常好”等無效評論數據后，運用百度AI語義分類工具對上述17門文科類課程的評論文本進行情感極性分類，從而獲取負向評論文本，共獲得2562條差評文本。所選課程及評論數見表1。

（二）差評視角下學習者關注的課程質量因素

1.最優(yōu)主題數目的確定

在運用LDA主題模型建模過程中，確定主題數量的最優(yōu)值對主題建模至關重要。文章采用困惑度尋求最優(yōu)主題數目。依據困惑度最小和主題個數最少的原則，確定最優(yōu)主題數選取為10，如圖2所示。

2.基于LDA模型的主題挖掘

采用前文中的LDA方法對表1中的17門課程的差評文本進行主題建模，主題挖掘結果如表2所示。

3.差評視角下在線課程質量因素的細粒度情感分析

獲取差評評論所涉及的課程質量因素后，運用百度情感指數方法逐條對各條差評評論所涉及的各個課程質量因素（表2）進行細粒度情感分析，得到表3。表3反映出學習者涉及各個課程質量因素時的細粒度情感。如表3中第一行表明，涉及“課程講解”質量因素的差評總數為865條，其中具體涉及“課程講解”給出正向評語，而總評給出差評的情形有15條；具體涉及“課程講解”給出中性評語，而總評給出差評的情形有100條；具體涉及“課程講解”給出負向評語，同時總評也給出差評的情形有750條。

依據前文中的課程質量因素重要度的計算步驟，設定縮放因子，依據公式（1）-（6）可算得差評視角下各個課程質量因素的重要度，結果見表4。

通過表4中的結果可發(fā)現，“課程講解（QT1）”“視頻質量（QT2）”“教學內容（QT4）”及“習題測試（QT5）”等4個質量因素的重要度高于均值0.304；這說明“課程講解”等4個因素的情感極性與評論總體情感之間具有較強的正相關性，即當學習者評語涉及“課程講解”等4個因素中的某一個的情感為負向情感時，其評論總體的情感也基本是以差評為主。因此，“課程講解（QT1）”“視頻質量（QT2）”“教學內容（QT4）”及“習題測試（QT5）”等4個質量因素為影響學習者差評行為的核心因素；“平臺功能（QT3）”“時間安排（QT6）”“作業(yè)互評（QT7）”“課程考核（QT8）”“教學方式（QT9）”“進度更新（QT10）”等6個因素的重要度低于均值，這說明“平臺功能”等6個因素的情感極性與評論總體情感之間正相關性較弱，即當評語涉及“平臺功能”等6個因素中的某一個的情感為負向情感時，其總評并不一定是差評。因此，“平臺功能（QT3）”“時間安排（QT6）”“作業(yè)互評（QT7）”“課程考核（QT8）”“教學方式（QT9）”“進度更新（QT10）”等6個因素為影響學習者差評行為的邊緣性因素。

五、結束語

（一）研究結論

文章運用爬蟲技術從中國大學MOOC平臺上爬取《英語語法與寫作》等17門文科類國家精品課程的學習者評論數據，并運用百度AI語義分類技術提取出其中的負向評論文本，利用LDA主題模型從這些負向評論中提取出學習者關注的質量因素，并運用基于細粒度情感的課程質量因素重要度計算方法對各因素進行重要度計算，從而確定引發(fā)學習者差評行為的核心因素及邊緣因素。研究結果表明，“課程講解”“視頻質量”“平臺功能”“教學內容”“習題測試”“時間安排”“作業(yè)互評”“課程考核”“教學方式”“進度更新”等10個因素為差評學習者關注的課程質量因素。其中，“課程講解”“視頻質量”“教學內容”及“習題測試”等4個質量因素為引發(fā)學習者差評行為的核心因素；“平臺功能”“時間安排”“作業(yè)互評”“課程考核”“教學方式”“進度更新”等6個因素為引發(fā)學習者差評行為的邊緣性因素。

（二）研究建議

對于文科類的課程而言，“課程講解”“視頻質量”“教學內容”及“習題測試”等核心因素在教學過程中為主導性因素，是課程質量迭代優(yōu)化過程中亟待改進優(yōu)化的因素。具體而言，對于“課程講解”，在文科類的課程的教學中，教師如果在授課過程中不能就教學內容講出自己的見解，很容易使學習者產生“照本宣科、上課浪費時間還不如自己看書”的糟糕體驗，進而影響到學習者對課程的滿意度。因此，課程建設者在“課程講解”方面應杜絕照本宣科的情形，盡可能做到風趣幽默，以提升學習者的課程學習體驗；對于“視頻質量”而言，從評語上看，視頻畫面的模糊、聲音的不清晰，以及缺少字幕是導致學習者對課程視頻不滿意的重要因素。因此，課程建設應該注意保持視頻畫面及聲音的清晰，尤其需要為課程視頻配置相應的字幕便于學習者觀看教學視頻；對于“教學內容”而言，從評語上看，當課程的內容以字為主，缺乏相關視頻及圖片時，容易使學習者產生單調枯燥的學習體驗，進而影響到學習者對課程的滿意度。因此，在課程的質量改進過程中，課程建設者應當對教學內容進行優(yōu)化，做到文字與圖片、視頻相結合，重點突出；課程配套的習題測試是檢驗學習者知識掌握程度的關鍵環(huán)節(jié)，特別是對外語類的課程而言，習題測試是課程知識內化的關鍵，但從評語上看，缺少課后習題、習題與課程內容關聯度不高、習題僅有答案缺少解答過程是學習者對課程配套的習題不滿意的原因。因此，對于課程建設者而言，首先需要適當地設計課后習題；其次在設計課后習題時，需要考慮習題與課程知識點的關聯度及習題的難度，以幫助學習者進行知識內化；最后還應提供相應的解答過程，便于學習者復習回顧所學的課程內容。

對于“平臺功能”“時間安排”“作業(yè)互評”“課程考核”“教學方式”“進度更新”等6個邊緣性因素而言，這些因素在教學過程為輔助性因素，為需要緩慢改進的因素。其中，“時間安排”“教學方式”“課程考核”等3個因素由課程建設者主導進行持續(xù)改進，做到單個視頻的時間控制在20分鐘以內，單個視頻盡可能只以一個知識點為主，考核方式靈活多樣?！捌脚_功能”應由課程平臺主導進行持續(xù)改進，從差評評語中可發(fā)現，證書申請復雜繁瑣也是學習者對平臺功能吐槽的一個關鍵點，因此，平臺應當簡化證書獲取的操作步驟，做到課程結束后根據學習者需求及時發(fā)放證書?！斑M度更新”因素則需要課程建設者，及平臺方協作進行改進，課程建設者按計劃進行學習視頻的更新，平臺則實時提醒學習者進度更新的情況。對于“作業(yè)互評”則需要由教師以及學習者共同進行改進，教師應當合理設置互評時限及規(guī)則，學習者則應認真參與作業(yè)互評。

參考文獻：

[1]劉穎，吉久明，李楠，等.學生視角下的MOOC課程教學質量評價體系構建研究：以學術信息素養(yǎng)類MOOC課程為例[J].圖書館雜志，2021，40（2）：95-103.

[2]周驊，楊嘉浩.突破中國慕課深度發(fā)展瓶頸的三個策略[J].現代大學教育，2021，37（6）：101-107.

[3]王勃然，李月，田立瑩.國內慕課學習者黏性影響因素研究：現狀與展望[J].黑龍江教育（理論與實踐），2023，77，（3）：28-31.

[4]閆寒冰，段春雨.面向學習者感知的在線課程內容質量分析框架[J].現代遠程教育研究，2018（5）：95-103.

[5]王銳，肖楊財，黃艷蓉.學習者關注度：重要度雙視角下的在線課程質量要素分析[J].黑龍江高教研究，2023，41（2）：141-148.

[6]孫青云，劉吉華.基于文本挖掘的MOOC差評意愿的影響因素研究[J].統計與管理，2021，36（9）：105-112.

[7]Albelbisi N A， Al-Adwan A S， Habibi A. Impact of quality antecedents on satisfaction toward MOOC[J]. Turkish Online Journal of Distance Education，2021，22（2）：164-175.

[8]闞維.克服慕課學習的困境：從簡單知識分享模式到知識內化提升模式[J].高教探索，2021（1）：57-62+69.

[9]QI cong，LIU Shudong. Evaluating on-line courses via reviews mining[J]. IEEE ACCESS，2021，9：35439-35451.

[10]張新香，段燕紅.基于學習者在線評論文本的MOOC質量評判——以“中國大學MOOC”網的在線評論文本為例[J].現代教育技術，2020，30（09）：56-63.

[11]魯釗陽，孫艷倪.消費者差評對農產品電商發(fā)展影響的實證研究[J].農村經濟，2020（11）：104-112.

[12]王若佳，張璐，王繼民.基于扎根理論的在線問診用戶滿意度影響因素研究[J].情報理論與實踐，2019，42（10）：117-123.

[13]韓亞楠，劉建偉，羅雄麟.概率主題模型綜述[J].計算機學報，2021，44（06）：1095-1139.