陳 建，向 露，徐 晶，陸存豪

（揚州大學(xué) 機械工程學(xué)院，江蘇 揚州 225000）

0 引言

課堂教學(xué)質(zhì)量評價是高校穩(wěn)定教學(xué)秩序、提高教學(xué)質(zhì)量的重要舉措之一。評價工作的客觀性和評價數(shù)據(jù)的充分運用是教務(wù)部門重要的關(guān)注點，一般由課堂的教學(xué)評價（通常用優(yōu)秀、良好、一般、合格、不合格表示）、專家對教師授課的綜合評語（由專家根據(jù)教師授課情況和自己對授課質(zhì)量標準的理解，用文字進行表述）、專家對學(xué)生學(xué)習(xí)情況的評價（由專家根據(jù)學(xué)生的課堂表現(xiàn)評分，通常分為優(yōu)秀、良好、一般）3個方面構(gòu)成。

課堂教學(xué)評價對于提高人才培養(yǎng)質(zhì)量具有重要意義，許多學(xué)者對此進行了研究。楊志波［1］、丁元春等［2］、朱玥［3］利用層次分析法構(gòu)建教學(xué)質(zhì)量評價體系，對教學(xué)質(zhì)量各指標的權(quán)重結(jié)果進行分析并提出相應(yīng)建議；楊益等［4］運用層次分析法與灰色聚類法構(gòu)建課堂教學(xué)質(zhì)量評價體系，教學(xué)實踐結(jié)果表明，該方法有效、可靠，且可實行性較強；唐順定等［5］提出基于層次分析法的模糊綜合評判法對教學(xué)質(zhì)量進行研究；岳琪等［6］提出一種基于遺傳算法和反向傳播神經(jīng)網(wǎng)絡(luò)的混合算法對教學(xué)質(zhì)量評價指標進行打分，實驗結(jié)果表明，該算法能夠有效實現(xiàn)對教學(xué)質(zhì)量的評價；Yang［7］結(jié)合層次分析法（AHP）與BP 神經(jīng)網(wǎng)絡(luò)提出一種評估英語課堂質(zhì)量的新方法，實驗結(jié)果顯示，與不使用AHP相比，使用該方法后英語課堂質(zhì)量評估精度提高了1.9%，召回率提高了1.3%；Zhang 等［8］、李燕燕等［9］利用基于遺傳算法與神經(jīng)網(wǎng)絡(luò)的課堂教學(xué)質(zhì)量評價方法，以有效提高課堂教學(xué)質(zhì)量評價精度。高校課堂質(zhì)量評價需要對整個課堂活動進行考察，通過評價內(nèi)容及時反饋課堂教學(xué)問題，但以上方法并未將專家的評價內(nèi)容加入模型中，因此無法全面評判不同課程教學(xué)質(zhì)量的差異［10］。此外，上述方法的課堂評價結(jié)果劃分比較簡單，只分為優(yōu)秀、良好、一般、合格、不合格，在授課等級結(jié)果相同的情況下，無法判斷出哪一節(jié)課的教學(xué)質(zhì)量更好。

在每位專家對同一門課程評判結(jié)果不一致的情況下，不同課程的教學(xué)質(zhì)量也存在差異，因此將專家對教師授課的綜合評語轉(zhuǎn)化為評定教師授課水平的量化指標顯得尤為重要。對專家的教學(xué)綜合評語進行量化，不僅可判斷出哪一節(jié)課的教學(xué)質(zhì)量更好，而且能減少專家主觀性評判帶來的誤差。本文創(chuàng)新性地提出基于專業(yè)特征詞與大數(shù)據(jù)特征詞的兩種評分模型，對教學(xué)綜合評語進行量化打分，以幫助對比綜合評價等級相同時課堂教學(xué)質(zhì)量的差異。實驗結(jié)果表明，大數(shù)據(jù)特征詞評分模型可更好地區(qū)分不同課程的教學(xué)質(zhì)量，評價結(jié)果符合實際，結(jié)果真實、可靠。

1 教學(xué)質(zhì)量評價指標確定

課堂教學(xué)質(zhì)量評價受到很多因素影響，教師是課堂教學(xué)活動的直接負責人，教師的教學(xué)態(tài)度、教學(xué)內(nèi)容、方法手段、教學(xué)成效等都是影響教學(xué)質(zhì)量的客觀因素。因此，科學(xué)、合理地進行課堂教學(xué)質(zhì)量評價，對于促進教師提升業(yè)務(wù)水平、創(chuàng)新教學(xué)手段改革，從而提高人才培養(yǎng)質(zhì)量具有重要意義。

根據(jù)某高校提供的課堂教學(xué)評價重點內(nèi)容和參考標準，給出教學(xué)質(zhì)量評價的 4 個一級指標及對應(yīng)權(quán)重，如表1所示。

Table 1 Key contents and reference standards of classroom teaching evaluation表1 課堂教學(xué)評價重點內(nèi)容與參考標準

由表1 可知，一級指標包括教學(xué)態(tài)度、教學(xué)內(nèi)容、方法手段、教學(xué)成就，且每個指標都有相應(yīng)的評價內(nèi)容和權(quán)重。查閱文獻［11］、［12］發(fā)現(xiàn)，教學(xué)質(zhì)量評價指標體系一般包含教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)效果4 個方面，各高?？稍诖嘶A(chǔ)上結(jié)合自身教學(xué)特點及實際情況制定符合自身的教學(xué)質(zhì)量評價體系［13］。

根據(jù)某高校提供的5 821 條課堂教學(xué)評價數(shù)據(jù)，選取其中的5條數(shù)據(jù)進行展示，如表2所示。

Table 2 Course evaluation data表2 課程評價數(shù)據(jù)

2 綜合評分模型構(gòu)建

各高校在進行課堂教學(xué)質(zhì)量評價時，會將課堂教學(xué)評價重點內(nèi)容作為參考，因此表1 中的評價內(nèi)容可作為評語打分的依據(jù)，由此建立專業(yè)特征詞評分模型。課堂教學(xué)評價內(nèi)容是教學(xué)質(zhì)量分析與研究的重要基礎(chǔ)，所以有必要對專家的評價內(nèi)容進行研究。為了避免專家在借鑒表1 的內(nèi)容作為參考時帶有主觀性的表達，故根據(jù)類似表2 的教師教學(xué)總體評價內(nèi)容，建立大數(shù)據(jù)特征詞評分模型。

2.1 專業(yè)特征詞評分模型

將表1 的課堂教學(xué)評價重點內(nèi)容中4 個項目的特征詞挑選出來形成詞語集合N，并分別給4 個項目的特征詞賦予不同權(quán)重，對需要評分的評語進行特征詞搜索，然后乘以相應(yīng)權(quán)重后累加分數(shù)。對課堂教學(xué)評價內(nèi)容進行觀察，發(fā)現(xiàn)評語中經(jīng)常出現(xiàn)“不”“沒”“無”等否定詞表示課程教學(xué)的不足。因此，在計算過程中需要對否定詞進行搜索，并減去相應(yīng)分值。則評語集合中第i條綜合評語的得分Xi為：

式中，Q=（q1，q2，…，qi），其中qi為評語中符合第i個項目的特征詞個數(shù)；C=（c1，c2，…，ci），其中ci為第i個項目中每個詞所賦予的權(quán)重；m表示評語中出現(xiàn)否定詞的次數(shù)；l表示否定詞權(quán)重。

由式（1）可知，以表1 的教學(xué)評價重點內(nèi)容提取出的特征詞和否定詞作為依據(jù)，對評語的每個詞進行檢索，查找特征詞與否定詞個數(shù)，并分別乘上對應(yīng)系數(shù)，最后得出每條評語的分數(shù)，由此可區(qū)分不同課程的教學(xué)質(zhì)量。

2.2 大數(shù)據(jù)特征詞評分模型

將某高校課堂教學(xué)評價數(shù)據(jù)按教師教學(xué)綜合評價和學(xué)生綜合評價進行等級劃分，評語等級分為雙優(yōu)秀、一優(yōu)一良、雙良3 部分。選取對應(yīng)的不同特征詞集合，并將每個特征詞集合賦予不同權(quán)重。對課堂評語進行特征詞搜索，然后乘以相應(yīng)權(quán)重后累加求和，從而計算出各課堂評價內(nèi)容的分數(shù)。對課堂教學(xué)評價進行觀察，評語中除出現(xiàn)“不”“沒”“無”等否定詞表示教學(xué)課程的不足，計算過程需要減去相應(yīng)分值外，發(fā)現(xiàn)雙良評語都會出現(xiàn)“建議”一詞，而雙優(yōu)評語中未出現(xiàn)。為避免因特征詞過多而出現(xiàn)良好評語分數(shù)大于優(yōu)秀評語的情況，但凡評語中出現(xiàn)“建議”一詞，將所得總分乘上系數(shù)k。評語集合中第j條綜合評語的得分為：

式中，P=（p1，p2，…，pj），其中pi為評語中符合第j個特征詞集合的特征詞個數(shù)；G=（g1，g2，…，gj），gj為第j個特征詞集合中每個詞所賦予的權(quán)重；n表示評語中出現(xiàn)否定詞的次數(shù)；d表示否定詞權(quán)重。

同理，由式（2）可知，從專家的評價內(nèi)容中提取出3 個不同特征詞合集作為依據(jù)對評語進行檢索，查找特征詞個數(shù)與否定詞個數(shù)，并分別乘上對應(yīng)系數(shù)，最后得出每條評語的分數(shù)，由此區(qū)分不同課程的教學(xué)質(zhì)量。

3 實驗結(jié)果與分析

為了檢驗上述兩種模型的實際情況并進行對比，本文根據(jù)某高校提供的課堂教學(xué)評價數(shù)據(jù)進行實驗，并對其中20 門課程的評分結(jié)果進行展示，實驗流程如圖1 所示。以專業(yè)特征詞評分模型為例，首先利用Python 的jieba 函數(shù)將綜合評語切分成若干詞語，然后將每個詞與特征詞進行對比。若詞語相同則加上對應(yīng)權(quán)重，進入下一個詞與特征詞進行對比；若詞語與專業(yè)特征詞無法對應(yīng)，直接進行下一個詞與特征詞進行對比且不計分。按上述方式查找否定詞并累計分數(shù)，將綜合評語的所有詞語對比完之后，對所得的分數(shù)進行加減，最后求出綜合評語的總分。大數(shù)據(jù)特征詞評分模型的評分流程同理。

Fig.1 Experimental process圖1 實驗流程

3.1 專業(yè)特征詞選取

根據(jù)表1 課堂教學(xué)評價的重點內(nèi)容和參考標準，結(jié)合實際選取課堂教學(xué)評價的專業(yè)特征詞，如表3所示。

由表3、式（1）可知C=（0.2，0.3，0.3，0.2），分別代表課程4 個項目的不同權(quán)重；l取C 的均值，l=0.25；q1、q2、q3、q4分別代表評語中教學(xué)態(tài)度、教學(xué)內(nèi)容、方法手段和教學(xué)組織4個指標特征詞出現(xiàn)的次數(shù)。

Table 3 Characteristic words and their weights of each item in theory course表3 理論課各項目特征詞及權(quán)重

3.2 大數(shù)據(jù)特征詞選取

由表2 可知，根據(jù)教學(xué)綜合評價和學(xué)生綜合評價結(jié)果，把“教師教學(xué)總體評價及改進意見”列表分為雙優(yōu)秀、一優(yōu)一良、雙良評價3 部分，并利用Python 的jieba 函數(shù)對3部分評語內(nèi)容進行詞語切片，選出3 部分重復(fù)率最高的特征詞，組成3 個不同特征詞集合，根據(jù)評語等級對特征詞集合賦予不同權(quán)重，如表4 所示。由表4 可知，在特征詞統(tǒng)計過程中發(fā)現(xiàn)雙優(yōu)評語中除有雙優(yōu)特征詞外，還會出現(xiàn)雙良和一優(yōu)一良評語的特征詞，雙良評語中也會出現(xiàn)少量雙優(yōu)評語的特征詞。為更好地確定評語等級，本文選取特征詞順序為雙良特征詞集合、一優(yōu)一良特征詞集合、雙優(yōu)特征詞集合，每個集合都排除前一個集合所出現(xiàn)的特征詞。由表4、式（2）可知，G=（0.2，0.3，0.5），d取G的均值，d=0.3。

Table 4 Characteristic words and their weights in three parts表4 3部分特征詞及權(quán)重

3.3 k值選取

k值取值范圍為（0，1），若k值過大，模型精確度不高，很難區(qū)分不同等級的課；若k值過小，導(dǎo)致同等級別不同評語的區(qū)分度不高，造成模型精度較低。如圖2 所示，k值取0.5時模型精度最高，故本文取k值為0.5。

Fig.2 Relationship between k value and model precision圖2 k值與模型精度的關(guān)系

3.4 結(jié)果分析

在參考的5 821 條高校課堂教學(xué)評價數(shù)據(jù)中，取20 門課程的評價內(nèi)容分別帶入專業(yè)特征詞評分模型、大數(shù)據(jù)特征詞評分模型中，結(jié)果展示如表5 所示。由表5 可知，按專業(yè)特征詞評分模型進行求解后，1-20 條記錄的量化結(jié)果由小到大的排序為4、8、11、19、3、2、9、13、15、17、18、14、7、10、16、1、5、20、6、12。按大數(shù)據(jù)特質(zhì)詞評分模型進行求解后，1-20 條記錄的量化結(jié)果由小到大的排序為4、9、3、11、8、7、10、1、6、2、20、14、19、18、5、17、16、15、13、12。將兩種方法的排序結(jié)果與教師教學(xué)綜合評價、學(xué)生學(xué)習(xí)綜合評價作對比，不同模型的結(jié)果比較如表6所示。

Table 5 Evaluation of scoring results by two methods表5 兩種方法評價得分結(jié)果

Table 6 Comparison of model results表6 模型結(jié)果比較

由表6 可知，專業(yè)特征詞評分模型精度低于大數(shù)據(jù)特征詞評分模型，結(jié)果顯示考慮否定詞的計算會提高模型精度，考慮否定詞的大數(shù)據(jù)特征詞評分模型的精度高達87.5%。專業(yè)特征詞評分模型精度較低的原因是專業(yè)特征詞評分模型按照表1 標準內(nèi)容所提取出的特征詞與實際評語匹配度不高，且在實際搜索中出現(xiàn)頻率不高。教師進行評價時帶有自己的主觀意見，會根據(jù)自己的習(xí)慣用語書寫評論，所以利用大數(shù)據(jù)特征詞評分模型，在教師的評論中提取重復(fù)率高的特征詞，按評語所處等級賦予不同權(quán)重，模型結(jié)果與對應(yīng)序號的教師教學(xué)綜合評價、學(xué)生學(xué)習(xí)綜合評價的匹配度更高。匹配度不能完全一致的原因是不同教師對同一節(jié)課帶有不同的主觀性，會出現(xiàn)同一節(jié)課評分不一致或類似評語評分不一致的情況?？傮w而言，大數(shù)據(jù)特征詞評分模型的準確度較高。通過表6 模型的精度對比可知，考慮否定詞時模型的精度更高，說明課堂教學(xué)評語的正負情感也會影響評分結(jié)果，考慮評語的情感會提高模型精度。

4 結(jié)語

課堂教學(xué)評價是教師教學(xué)質(zhì)量的重要參考標準，本文通過提取評語中的特征詞構(gòu)建大數(shù)據(jù)特征詞綜合評分模型，將專家評語進行量化，同時也考慮到評語中出現(xiàn)的否定詞對模型精度的影響，有效利用專家評語作為課堂教學(xué)質(zhì)量的評價參考。該方法可幫助在最終評價等級結(jié)果相同的情況下判斷出哪一節(jié)課的教學(xué)質(zhì)量更好，同時能減少由于專家評價主觀性對結(jié)果造成的誤差。大數(shù)據(jù)特征詞綜合評分模型避免了課堂教學(xué)質(zhì)量結(jié)果模糊、簡單的缺點，對實際教學(xué)質(zhì)量的評價具有重要參考價值，可為以后提高課堂教學(xué)質(zhì)量提供一種易于操作、有效、可靠的方法。