程 楠 ，鄧皓遠 ，殷建忠 ，吳 蒙 ，羅 媛 ，孟 瓊

（1）昆明醫(yī)科大學(xué)公共衛(wèi)生學(xué)院，云南 昆明 650500;2）保山中醫(yī)藥高等專科學(xué)校，云南 保山 678000;3）南京醫(yī)科大學(xué)公共衛(wèi)生學(xué)院，江蘇 南京 210000;4）貴州醫(yī)科大學(xué)公共衛(wèi)生學(xué)院，貴州 貴陽 550025）

國家教育部每年都要發(fā)表《全國普通高校本科教育教學(xué)質(zhì)量報告》[1]，可見高等教育大眾化后，各高校教學(xué)質(zhì)量已成為社會關(guān)注的熱點話題，而高校教師的教學(xué)質(zhì)量高低能夠一定程度上折射學(xué)校的教學(xué)水平。學(xué)生是教師開展教學(xué)的主體，對教師的整體素質(zhì)水平有直觀的了解，很多研究者認(rèn)為開展學(xué)生評教可以增強教師關(guān)注學(xué)生的課程體驗，可以促進教學(xué)質(zhì)量的提升，能為高校管理者提供決策依據(jù)[2]。有學(xué)者[3]認(rèn)為學(xué)生評教是維持醫(yī)學(xué)教學(xué)專業(yè)發(fā)展的最重要、最低廉方式之一，其中醫(yī)學(xué)生個人興趣和特殊動機可能會導(dǎo)致普通高等教育與醫(yī)學(xué)教育學(xué)生評教差異[4]。在學(xué)生評教過程中，研究者常常關(guān)注評價工具質(zhì)量如何、抽選多少個學(xué)生進行測量合適、不同測量時間和不同測量場景下研究結(jié)果是否有差異等問題。要探查回答以上問題，就需要運用現(xiàn)代測量理論中的概化理論來分析。概化理論包括了一元概化理論（univariate generalizability theory，UGT）和多元概化理論（multivariate generalizability theory，MGT）。多元概化理論是在單變量概化理論基礎(chǔ)上發(fā)展起來的，能處理多維度、多側(cè)面情況下的特質(zhì)測評，是一種備受關(guān)注的現(xiàn)代教育測量理論[5]。相較于經(jīng)典測量理論，MGT 的優(yōu)勢在于用一次測量的數(shù)據(jù)資料，研究者可以在多個概化全域下，計算不同測量側(cè)面樣本容量下的誤差方差分量和信度系數(shù)。本研究通過對《醫(yī)藥類院校教師課堂教學(xué)水平學(xué)生評價量表》進行多元概化理論分析，旨在評價其測量學(xué)信度的同時對各維度條目數(shù)優(yōu)化提出建議，并確定學(xué)生評教實踐中適宜的學(xué)生人數(shù)。

1 對象與方法

1.1 研究對象

隨機抽取某醫(yī)科大學(xué)2018 年9月至2019 年1 月修流行病學(xué)的5 個班級（由5 位不同教師授課），對選中班級的全體學(xué)生共422 人發(fā)放問卷進行課堂教學(xué)水平評價調(diào)查，排除無效問卷1 份，最終納入問卷421 份。

1.2 研究設(shè)計

采用多元隨機雙面嵌套不平衡測量設(shè)計(s?:t?)×i°，其對應(yīng)的一元概化設(shè)計為(s:t)×(i:h)，測量目標(biāo)為教師的教學(xué)水平，有兩個測量側(cè)面，測量側(cè)面中i為量表的條目，s為評價者學(xué)生，h表示量表的領(lǐng)域。該設(shè)計不僅考慮評教學(xué)生s嵌套于被評教師t中，同時考慮評價量表不同條目分屬于不同領(lǐng)域即評價條目嵌套于維度h中，兩者交叉設(shè)計，即由ns位學(xué)生使用同一份劃分為nh個維度、每個維度含有ni個條目的量表來評價教師t。

1.3 學(xué)生評教量表的制定

在自主研制的《高校教師教學(xué)水平學(xué)生評價指標(biāo)體系》量表[6]基礎(chǔ)上，經(jīng)過教師和學(xué)生進行訪談→提出增補條目→德爾菲專家咨詢法篩選條目→課題組討論后，新增9 條目形成了《醫(yī)藥類院校教師課堂教學(xué)水平學(xué)生評價量表》，量表總共33 個條目，劃分為教學(xué)組織（5 個條目）、教學(xué)領(lǐng)域（7 個條目）、教學(xué)方法（8 個條目）、教學(xué)態(tài)度（7 個條目）、教學(xué)效果（6 個條目）等五個領(lǐng)域。評分采用Likert scale 五點評分（1=一點也不；2=有一點；3=有些；4=相當(dāng)；5=非常）。

1.4 數(shù)據(jù)統(tǒng)計與分析

使用Epidata3.1 軟件建立數(shù)據(jù)庫，采用雙錄入并邏輯核查。運用mGENOVA 軟件，概化理論分為G 研究和D 研究，首先在G 研究中估計各種誤差來源的方差分量及其占比，然后在D 研究中利用G 研究結(jié)果通過調(diào)整各測量側(cè)面的樣本數(shù)以改變測量設(shè)計，重新構(gòu)建各概括全域[7]，分別計算出各領(lǐng)域相對誤差和絕對誤差的方差分量、各領(lǐng)域概化系數(shù)和可靠性指數(shù)、合成的相對誤差與絕對誤差方差分量、合成的概化系數(shù)和可靠性指數(shù)等指標(biāo)，從而提出量表條目數(shù)分配優(yōu)化建議和評價者最適宜人數(shù)的建議。

概化理論中的絕對誤差（Δ）是指被試觀測值與概化全域上的全域分?jǐn)?shù)之差，而相對誤差（δ）是指所有隨機誤差引起的測量誤差。概率理論中有兩個反映信度的指標(biāo)分別是概化系數(shù)和可靠性指數(shù)，概化系數(shù)（G）被定義為測量目標(biāo)的有效方差占測量目標(biāo)有效方差與相對誤差方差之和的比值；而可靠性指數(shù)（Φ）被定義為測量目標(biāo)的有效方差占測量目標(biāo)有效方差與絕對誤差方差之和的比值。即概化系數(shù)和可靠性指數(shù)的計算公式如下：

式中，σ2(P)表示測量目標(biāo)的方差分量，σ2(Δ)表示絕對誤差的方差分量，σ2(δ)表示相對誤差的方差分量。

本研究設(shè)定當(dāng)概化系數(shù)或可靠性指數(shù)在0.80及以上時研制的量表信度較好。

2 結(jié)果

2.1 評價者基本信息

參與評教的421 名學(xué)生中有6 名學(xué)生性別信息缺失，其中男性153 人（占36.9%）；女性262人（占62.3%）。年級構(gòu)成方面：二年級學(xué)生有39 人，占9.3%；三年級學(xué)生有282 人，占67.0%，四年級學(xué)生有100 人，占23.8%。專業(yè)構(gòu)成方面：醫(yī)學(xué)實驗技術(shù)班39 人，臨床醫(yī)學(xué)班90 人，全科醫(yī)學(xué)班119 人，臨床醫(yī)學(xué)班（全科方向）73 人，預(yù)防醫(yī)學(xué)班100 人。

2.2 G 研究主要結(jié)果

對各個領(lǐng)域的變異來源分解后發(fā)現(xiàn)：學(xué)生嵌套于教師效應(yīng)的方差分量最大，學(xué)生條目交互并嵌套于教師的效應(yīng)其次，條目效應(yīng)及條目教師交互效應(yīng)的方差分量均較小。橫向比較反映教師（t）的各領(lǐng)域方差分量，最大的是教學(xué)方法，其次是教學(xué)效果，最小的是教學(xué)組織，見表1。

表1 各領(lǐng)域方差及協(xié)方差分量估計Tab.1 The estimated variance-covariance components for every domain

2.3 原始測量長度的D 研究

原始測量長度條件下的多元D 研究結(jié)果呈現(xiàn)于表2 中。各領(lǐng)域上，相對誤差方差和絕對誤差方差均小于0.05，概化系數(shù)均大于0.8，可靠性指數(shù)除教學(xué)組織與教學(xué)方法兩個領(lǐng)域大于0.8 但小于0.7 外，其余領(lǐng)域均大于0.8?？偭勘砩峡矗铣上鄬φ`差方差和合成絕對誤差方差小于0.005，合成概化系數(shù)為0.915 2 和合成可靠性指數(shù)為0.898 1。

表2 基于原始測量長度條件下多元D 研究結(jié)果Tab.2 D-study results for design based on original test length

進一步分析表明：在教學(xué)內(nèi)容、教學(xué)態(tài)度和教學(xué)效果領(lǐng)域中，領(lǐng)域全域分?jǐn)?shù)對合成全域分?jǐn)?shù)的方差貢獻率接近各領(lǐng)域條目數(shù)比例；而在教學(xué)組織領(lǐng)域與教學(xué)方法領(lǐng)域中，領(lǐng)域全域分?jǐn)?shù)對合成全域分?jǐn)?shù)的方差貢獻率與領(lǐng)域條目數(shù)比例間相差較大，見表3。

表3 各個領(lǐng)域的領(lǐng)域條目數(shù)比例與方差貢獻率間比較Tab.3 Comparison between the CRCUS and the PDS in every domain

2.4 調(diào)整條目側(cè)面樣本數(shù)的多元D 研究

鑒于教學(xué)組織和教學(xué)方法領(lǐng)域可靠性指數(shù)小于0.8，基于原始量表各個領(lǐng)域的條目分配情況（模型1），在這教學(xué)組織和教學(xué)方法領(lǐng)域上分別增加1 個條目，而在其余領(lǐng)域分別減少1 個條目形成了模型2；在這教學(xué)組織和教學(xué)方法領(lǐng)域上分別增加2 個條目，而在其余領(lǐng)域分別減少3 個條目形成了模型3。結(jié)果顯示無論增添還是刪減條目數(shù)，對合成概化系數(shù)和合成可靠性指數(shù)均影響較小。即使將教學(xué)組織和教學(xué)方法領(lǐng)域的條目數(shù)增加為7 條和10 條時，領(lǐng)域可靠性指數(shù)也仍然小于0.80。即使教學(xué)內(nèi)容、教學(xué)態(tài)度和教學(xué)效果三個領(lǐng)域條目減少為原來一半，各領(lǐng)域概化系數(shù)和可靠性指數(shù)也仍大于0.80，見表4。

表4 不同測量長度下各領(lǐng)域及共性量表的兩信度系數(shù)間比較Tab.4 Comparison of two reliability coefficients of every domains and universe under different test length

2.5 調(diào)整學(xué)生側(cè)面樣本數(shù)的多元D 研究

為探討保證一定測量信度前提下需要的最少學(xué)生人數(shù)實施了一系列D 研究。通過保持原始量表測量條目數(shù)不變，而調(diào)整學(xué)生人數(shù)來形成不同模型再計算各模型的概化系數(shù)和可靠性指數(shù)。其中模型A 保持了原始測量學(xué)生數(shù)（各班人數(shù)依次為90、119、73、39、99），模型B、模型C 及模型D 依次是調(diào)整各班人數(shù)為原始人數(shù)的2/3、1/2及1/3（無法整除時四舍五入）；模型E 至模型F中各班人數(shù)一致，即班級數(shù)為5，每班抽樣人數(shù)相等，從模型E 到F 各班學(xué)生數(shù)依次為90、60、30、28、27、25、20。結(jié)果發(fā)現(xiàn)若按模型H（五班各取樣28 人）來抽取學(xué)生，合成概化系數(shù)和合成可靠性指數(shù)仍然在0.8 以上；若按模型I（五班各取樣27 人），合成概化系數(shù)等于0.8 但合成可靠性指數(shù)低于0.8。若按模型K（五班各取樣20 人），合成概化系數(shù)和可靠性指數(shù)均是小于0.8 但大于0.7，見表5。

表5 不同樣本下各領(lǐng)域及共性量表的兩信度系數(shù)間比較Tab.5 Comparison of the two reliability coefficients of every domains and universe under different samples size

3 討論

G 研究發(fā)現(xiàn)變異來源中條目及教師條目交互效應(yīng)的占比均較小，提示量表條目變異小，測量工具質(zhì)量好。而學(xué)生嵌套于教師效應(yīng)的占比最大，提示在學(xué)生評教中影響教師水平的有很多是來自學(xué)生方面的因素，如有研究顯示男女兩類學(xué)生對于不同性別教師評價具有差異[8]，亦有研究認(rèn)為學(xué)生對教師的教學(xué)評價更多在于學(xué)生期望值與實際教學(xué)距離[9-10]。在五個領(lǐng)域中，教學(xué)方法和教學(xué)效果兩領(lǐng)域方差分量具有更大變異性，提示在學(xué)生評教中教師的教學(xué)方法和教學(xué)效果對最終評價影響較大。

概化系數(shù)及可靠性指數(shù)均可作為該量表評價信度指標(biāo)，其中概化系數(shù)側(cè)重指示常模參照測驗，可靠性指數(shù)側(cè)重指示標(biāo)準(zhǔn)參照測驗。通常對同一個領(lǐng)域，概化系數(shù)高于可靠性指數(shù)。教學(xué)水平評價的應(yīng)用可能有兩個目的，一是應(yīng)用評價結(jié)果對教師水平排序以便開展績效考核，此時屬于常模參照測驗；二是建立一個水平線以評判教師教學(xué)水平是否達到某個標(biāo)準(zhǔn)，此時屬于標(biāo)準(zhǔn)參照測驗。通常研究者決策風(fēng)險越高，對信度系數(shù)的要求越高[11]。關(guān)于信度系數(shù)多大時表示信度較好，多數(shù)研究者[12-13]認(rèn)為：概化系數(shù)或可靠性指數(shù)在0.80 及以上時表示測量工具信度較好。學(xué)生評教的結(jié)果有可能用于對教師水平進行排序，也有可能是需要建立一個應(yīng)達到的水平線。結(jié)合本研究中原始測量長度下D 研究的結(jié)果（合成概化系數(shù)及合成可靠性指數(shù)均高于0.80），量表已達常模參照測驗及標(biāo)準(zhǔn)參照測驗要求，測量信度好，可推廣于實踐應(yīng)用。而各領(lǐng)域的概化系數(shù)均大于0.80，僅有教學(xué)組織和教學(xué)方法可靠性指數(shù)低于0.80 但大于0.70，提示這兩個領(lǐng)域可作為下一步量表優(yōu)化重點領(lǐng)域。

本研究嘗試通過增加教學(xué)組織和教學(xué)方法領(lǐng)域的條目數(shù)來提高這兩個領(lǐng)域的可靠性指數(shù)，但發(fā)現(xiàn)條目增加對可靠性指數(shù)影響甚微，因此建議若需修訂量表，可考慮在教學(xué)方法和教學(xué)組織內(nèi)容上修訂或合理劃分新領(lǐng)域。另一方面，實際學(xué)生評教中，同樣信度下條目精簡的量表更佳，本研究以保證信度系數(shù)達到0.80 標(biāo)準(zhǔn)為前提，對教學(xué)內(nèi)容、教學(xué)態(tài)度和教學(xué)效果等三個領(lǐng)域的條目數(shù)進行減少方向的調(diào)整，結(jié)果發(fā)現(xiàn)以上三個領(lǐng)域條目數(shù)減少為原來一半后信度依舊較好。因此下一步修訂時，可考慮將教學(xué)內(nèi)容、教學(xué)態(tài)度和教學(xué)效果等三個領(lǐng)域的條目數(shù)調(diào)整為4、4、3。

有研究[14]表明不同人數(shù)學(xué)生評教樣本數(shù)對評教結(jié)果具有顯著影響，本研究也同樣發(fā)現(xiàn)在現(xiàn)有量表各領(lǐng)域條目分配方案下，學(xué)生容量越大信度系數(shù)越高，但是實際測評中，筆者期望能夠確定信度較好前提下的最少學(xué)生人數(shù)。如前所述，本研究以信度系數(shù)在0.80 以上為信度好的標(biāo)準(zhǔn)，若目的是按某一水平線來評價教師教學(xué)水平是否達標(biāo)，則每班最低需抽取25 人；若目的是依據(jù)學(xué)生評教結(jié)果對教師教學(xué)水平進行排序，則每班需最低需抽取28 人。