蓋秋艷，吳 倩，向 武，吳 錫

（成都信息工程學(xué)院，四川成都610225）

0 引言

學(xué)生反饋獲得的課堂教學(xué)滿意度是衡量高等院校課堂教學(xué)質(zhì)量的重要指標(biāo)，較為常見的3種指標(biāo)：教師表現(xiàn)、課程學(xué)習(xí)便利度和教學(xué)效果[1－5]。教師表現(xiàn)指教師營(yíng)造積極、愉快的課堂氣氛的能力，以及是否能夠清楚地解釋講授的內(nèi)容[6－7]?？傮w教學(xué)滿意度與獲取教師表現(xiàn)呈正相關(guān)。假設(shè)前提條件和教學(xué)資源是充足的[7]，例如，課程結(jié)構(gòu)的均衡性和長(zhǎng)度方面[2]，對(duì)于課程學(xué)習(xí)便利度而言，總體教學(xué)滿意度隨著學(xué)生對(duì)培訓(xùn)內(nèi)容的認(rèn)可度的增加而上升[8]。最后，教學(xué)效果與總體教學(xué)滿意度呈正相關(guān)。教學(xué)效果與教學(xué)目的及教育方法相結(jié)合，如明確的教學(xué)目標(biāo)，課前預(yù)習(xí)等方面對(duì)教學(xué)效果有重要的影響[9－10]。現(xiàn)有研究介紹了另外一些方法，例如對(duì)課程及參與者的特點(diǎn)研究[11－12]；分析其他感知結(jié)構(gòu)的作用[13]，如易用性的學(xué)習(xí)概念，這一概念從文獻(xiàn)信息系統(tǒng)衍生而來，反映一個(gè)系統(tǒng)的接受度不僅取決于系統(tǒng)的效能及操作的條件，同時(shí)也依賴于對(duì)系統(tǒng)易用性的感知[14－15]。

學(xué)生反饋則是對(duì)課堂教學(xué)質(zhì)量進(jìn)行評(píng)價(jià)的重要手段，通常采用學(xué)生主觀問卷的形式進(jìn)行數(shù)據(jù)收集，理想狀態(tài)下，這些統(tǒng)計(jì)數(shù)據(jù)能夠?qū)⒏倪M(jìn)教師教學(xué)的建設(shè)性機(jī)制有幫助。但是，現(xiàn)有常用學(xué)生主觀問卷僅作為課堂教學(xué)的輔助性指標(biāo)，一般對(duì)此類數(shù)據(jù)只進(jìn)行簡(jiǎn)單的統(tǒng)計(jì)處理，并不提供問卷信息的深層次分析，特別是多個(gè)統(tǒng)計(jì)參數(shù)間的相關(guān)性基本被忽略。

基于以上論述，為使學(xué)生反饋的有效性達(dá)到最大化，采用數(shù)據(jù)挖掘技術(shù)對(duì)學(xué)生課堂教學(xué)滿意度的測(cè)量構(gòu)建基于非線性決策樹的定量分析統(tǒng)計(jì)模型，并通過數(shù)據(jù)預(yù)處理、模型分析等方法在現(xiàn)有教學(xué)質(zhì)量統(tǒng)計(jì)的基礎(chǔ)上，對(duì)線性和非線性決策樹模型進(jìn)行分析，并使用Logit決策樹對(duì)成都信息工程學(xué)院開設(shè)的本科專業(yè)必修課程《數(shù)字圖像處理》的學(xué)生反饋問卷進(jìn)行課堂滿意度分析。

1 方法

實(shí)證數(shù)據(jù)的采集，包括數(shù)據(jù)清理，預(yù)處理和建模。

符號(hào)用于作為標(biāo)記，一個(gè)標(biāo)量x∈R表示正常的腳本，矢量x∈Rn用粗體。矩陣X∈RN×n是加粗的大寫符號(hào)。Xi（j）是X矩陣的一個(gè)表示jth實(shí)例的屬性值。N代表數(shù)據(jù)集中的數(shù)量屬性。c由y的值來決定，c是叉狀分枝的二分法計(jì)算。

1.1 數(shù)據(jù)收集

數(shù)據(jù)來源于成都信息工程學(xué)院電子信息工程專業(yè)開設(shè)的本科專業(yè)必修課程《數(shù)字圖像處理》，收集時(shí)間跨度為連續(xù)3個(gè)學(xué)年，391名學(xué)生。學(xué)生反饋調(diào)查問卷表的設(shè)置根據(jù)對(duì)課堂教學(xué)質(zhì)量的3種指標(biāo)分為3大類別，分別是課程學(xué)習(xí)便利度、教師表現(xiàn)和教學(xué)效果如表1所示。

表1 學(xué)生反饋問卷調(diào)查表

1.2 數(shù)據(jù)預(yù)處理

為了建立實(shí)際的教育評(píng)價(jià)模型，首先需對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)清理和濾波器。

1.2.1 數(shù)據(jù)清理

目標(biāo)分為4個(gè)級(jí)別（如對(duì)一門課的總體評(píng)價(jià)），1分最低，4分最高。一些技術(shù)無法處理缺失值（如邏輯回歸），在屬性連續(xù)的情況下，這些值將被屬性的中值取代。在類屬性的前提下，將使用眾數(shù)歸因。如果實(shí)效值超過10%，實(shí)效值關(guān)聯(lián)的實(shí)例將從數(shù)據(jù)集中刪除。目標(biāo)屬性實(shí)效值也將被刪除。具有一定順序的類屬性使用thermometer編碼，否則使用虛擬編碼。

1.2.2 mRMR濾波器

在數(shù)據(jù)挖掘技術(shù)中，高維數(shù)據(jù)中的重復(fù)數(shù)據(jù)不容易被篩選[9，16－17]。在數(shù)據(jù)分析之前使用mRMR濾波技術(shù)。使用啟發(fā)式方法選擇最顯著的數(shù)據(jù)集。這種方法相對(duì)于不同的因子分析和主分量分析節(jié)省計(jì)算量，選出的數(shù)據(jù)不需要修正。

采用Peng的最小冗余和最大關(guān)聯(lián)濾波器[10]。濾波器建立在Shannon的信息理論基礎(chǔ)上，使用相互信息表達(dá)獨(dú)立的數(shù)據(jù)集屬性[18－19]。使Sm∈X包含m屬性，x（j），j＝1，…，m。mRMR濾波器采用最大關(guān)聯(lián)及最小冗余的標(biāo)準(zhǔn)，子集S的關(guān)聯(lián)性被定義為：

S子集的冗余性定義為：

I（x（j）；x（j′）表示在2個(gè)任意變量x（j）和x（j′）的相互信息，定義為：

mRMR濾波器最終將相關(guān)性和冗余性計(jì)算成一個(gè)公式：

使用濾波器技術(shù)，每次對(duì)10個(gè)最好的子集特征進(jìn)行建模。

1.3 分類器選擇

使用基于決策樹的方法進(jìn)行數(shù)據(jù)分析，但是由于簡(jiǎn)單的線性決策樹無法獲得準(zhǔn)確結(jié)果，在此基礎(chǔ)上使用對(duì)數(shù)回歸（Logistic Regression）構(gòu)筑非線性模型進(jìn)行分析[20－21]。

決策樹分類器由于其靈活性、計(jì)算效率高以及便于理解得到廣泛應(yīng)用，其典型包括分類和決策樹（Classification and Regression Tree，CART）和間接分類器1（Oblique Classifier 1，OC1），前者產(chǎn)生一元的樹結(jié)果，后者產(chǎn)生的樹則在每個(gè)分支考慮多種參數(shù)。

CART同時(shí)實(shí)現(xiàn)分類的回歸過程，在每個(gè)分支，樹的產(chǎn)生算法僅考慮單一參數(shù)，其分類準(zhǔn)則一般使用Gini分散指數(shù)（Gini Diversity Index，GDI）[22]：

不同于一元樹，OC1試圖獲得式6的超平面，在允許合理靈活性的基礎(chǔ)上獲得更精確結(jié)果：

當(dāng)輸出是普通參數(shù)時(shí)，一般使用普通回歸進(jìn)行模型擬合，而對(duì)數(shù)回歸則將輸出限制在0～1，便于將輸出用于表示為類的概率，則累積對(duì)數(shù)回歸模型對(duì)類k使用式7描述其累積對(duì)數(shù)概率：

1.4 分類性能估計(jì)

用于測(cè)量分級(jí)性能最直接的參數(shù)是正確分類的比 例 （Percentage of Correctly Classification，PCC）[23]。PCC實(shí)質(zhì)是有混淆矩陣所有對(duì)角元素之和被實(shí)例總和相除。這種方法被廣泛應(yīng)用到多元分類，在混淆矩陣中的每一個(gè)元素（k，r）代表屬于k類的實(shí)例，由r類實(shí)例標(biāo)記。在這個(gè)運(yùn)算中，每一個(gè)實(shí)例被分配到所有c關(guān)聯(lián)類中的最高隸屬值中。根據(jù)PCC，使用從信用評(píng)估領(lǐng)域中的notch差異圖表[18]。PCC對(duì)于等誤分類進(jìn)行假設(shè)，得出了不同種類的等誤分類，通過觀察，這種假設(shè)并不是最適合的方法[24]。假設(shè)目標(biāo)分類的值是按自然順序排列，區(qū)分屬于類別3中的類別1實(shí)例相比區(qū)分類別2中相同的實(shí)例會(huì)產(chǎn)生錯(cuò)誤數(shù)據(jù)，因?yàn)轭悇e2數(shù)據(jù)來源于實(shí)際數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)之間的1notch差異。因此notch差異圖表要比PCC提供更精準(zhǔn)的數(shù)據(jù)信息，notch差異圖是信用評(píng)分相關(guān)的一種統(tǒng)計(jì)方法，如圖1所示。

圖1 notch差異圖

1.5 分類器可理解度

較之分類性能，不存在單一的算子對(duì)模型的可理解度進(jìn)行量化分析[25]。理解度被認(rèn)為在某種程度上是對(duì)分類模型理解的心理適應(yīng)過程，具有一定的主觀性[26]，這種心理適應(yīng)的受模型的類別和大小影響。個(gè)人差異如經(jīng)驗(yàn)和教育程度對(duì)決策模型中可獲知的理解性有重要影響[27]。

研究中，對(duì)多種線性和非線性模型的可理解度進(jìn)行分析，分析方法包括2個(gè)方面。首先是表征方法，基于符號(hào)的表征方法更便于視覺接受和理解[22，28]，第二是模型復(fù)雜度，一般認(rèn)為，越簡(jiǎn)單的模型，越便于理解，但是對(duì)于分類器模型可理解度和模型復(fù)雜度的關(guān)系目前并未見相關(guān)資料，使用決策樹的葉節(jié)點(diǎn)數(shù)量表征模型復(fù)雜度，葉節(jié)點(diǎn)越多，其復(fù)雜度越高。

2 結(jié)果

首先對(duì)CART、OC1和Logit 3種分類器的性能進(jìn)行比較分析，分析數(shù)據(jù)集中數(shù)據(jù)顯著性在10%以內(nèi)數(shù)據(jù)，對(duì)分析結(jié)果選擇其中效果較好的Logit分類器對(duì)成都信息工程學(xué)院本科專業(yè)必修課程《數(shù)字圖像處理》學(xué)生調(diào)查數(shù)據(jù)建模和分析。

如表2所示，3種分類器中，性能最好的為L(zhǎng)ogit分類器，其PCC最高，達(dá)到0.65，明顯高于另2種線性分類器，而CART和OC1 2種線性決策樹性能較差的原因，可能在于其無法充分獲取數(shù)據(jù)間的非線性相關(guān)性。對(duì)于其可理解性，Logit模型的葉節(jié)點(diǎn)數(shù)量相對(duì)不是最低，但是較之平均節(jié)點(diǎn)最少的OC1，OC1其節(jié)點(diǎn)數(shù)量方差達(dá)到3.43，說明該分類器并不穩(wěn)定，基于綜合考慮選擇Logit決策樹進(jìn)行全部數(shù)據(jù)的分析。

表2 分類器性能和可理解度比較

如圖2所示，Logit決策樹表示學(xué)生對(duì)于使用數(shù)據(jù)集的課堂教學(xué)的反饋度，由圖可知，學(xué)生最關(guān)注的是課程學(xué)習(xí)的便利程度，如果該指標(biāo)較低，就算教師表現(xiàn)較好，仍然無法獲得較高的學(xué)生課堂滿意度，該結(jié)論可以用于解釋和指導(dǎo)雙語教學(xué)的效果，當(dāng)在專業(yè)課程中，使用英語程度過高，學(xué)生難于學(xué)習(xí)和接受課堂內(nèi)容時(shí)，即使學(xué)生對(duì)教師個(gè)人素質(zhì)認(rèn)可較高，仍會(huì)對(duì)課程存在不同程度的意見。其次，當(dāng)課程學(xué)習(xí)便利程度較高時(shí)，教師表現(xiàn)較之其他參數(shù)具有更高的重要性，反之，當(dāng)課程學(xué)習(xí)便利程度較低時(shí)，課堂教學(xué)的有效性則更重要。這樣的結(jié)論也與實(shí)際觀察相符合，由于雙語教學(xué)使用英文原版教材，學(xué)生受英語水平、專業(yè)能力等影響，對(duì)于原版教材具有較高排斥，在這種教學(xué)不便條件下，在課堂上，對(duì)教材的關(guān)鍵內(nèi)容進(jìn)行細(xì)致深入講解后，學(xué)生對(duì)課堂教學(xué)的認(rèn)同度則相對(duì)較高，如果忽略教材的細(xì)致講解，將會(huì)造成學(xué)生因?yàn)榻滩牟灰桌斫?，從而?dǎo)致對(duì)教學(xué)質(zhì)量產(chǎn)生負(fù)面評(píng)價(jià)。

圖2 Logit決策樹狀數(shù)據(jù)

3 結(jié)論

使用Logit決策樹對(duì)《數(shù)字圖像處理》雙語課程近3年的學(xué)生課堂教學(xué)滿意度調(diào)查問卷進(jìn)行數(shù)據(jù)挖掘和定量建模分析，經(jīng)過數(shù)據(jù)預(yù)處理、模型評(píng)估，選擇非線性的Logit決策樹對(duì)學(xué)生3個(gè)類別、10個(gè)不同變量的反饋調(diào)查問卷進(jìn)行分析，并構(gòu)筑樹狀模型。結(jié)果表明，該模型符合對(duì)學(xué)生課堂滿意度的主觀解讀，可為課堂教學(xué)管理提供有效的定量分析工具。針對(duì)調(diào)查問卷獲得的抽象信息，使用決策樹的技術(shù)進(jìn)行數(shù)據(jù)挖掘，對(duì)問卷信息進(jìn)行定量準(zhǔn)確分析?；诖怂悸罚紫葟?qiáng)調(diào)使用決策樹技術(shù)的有效性和可靠性，在此基礎(chǔ)上對(duì)于線性和非線性決策樹的優(yōu)缺點(diǎn)進(jìn)行比較和總結(jié)，其作用和優(yōu)點(diǎn)主要有兩方面，第一，結(jié)果簡(jiǎn)潔直觀，如圖2所示。不同情況的分析結(jié)果可由決策樹直接描述，避免了問卷多個(gè)內(nèi)容反映一個(gè)信息，輸出信息量繁雜帶來的誤解；第二，結(jié)果定量可靠，推測(cè)結(jié)果由其不同概率的統(tǒng)計(jì)結(jié)論支持，避免不同條件下的主觀分析差異。

[1] J Chih，C Liu，H Lee.Relationship between trainee attitudes and dimensions of training satisfaction：an empirical study with training institute employees[J].International Journal of Management，2008，25（4）：756－763.

[2] A Giangreco，A Carugati，A Sebastiano，et al.Trainees’reactions to training：shaping groups and courses for happier trainees in an italian context[J].The International Journal of Human Resources Management，2010，21（13）：2468－2487.

[3] A Giangreco，A Sebastiano，R Peccei.Trainees’reactions to training：an analysis of the factors affecting overall satisfaction with training[J].The International Journal of Human Resources Management 2009，20（1）：96－111.

[4] L Long，C Dubois，R Faley.Online training：the value of capturing trainee reactions[J].Journal of Workplace Learning 2008，20（1）：21－37.

[5] L Sargent，B Allen，J Frahm，et al.Enhancing the experience of student teams in large classes[J].Journal of Management Education 2009，33（5）：526－552.

[6] M Gatta，P Ross.Rethinking occupational integration[J].Sociological Forum，2005，20（3）：369－402.

[7] G Rabey.Diagnose then ACT.Some thoughts on Training Today[J].Industrial and Commercial Training 2007，39（3）：164－169.

[8] P Kidder，J Rouiller.Evaluating the success of a large－scale training effort[J].National Productivity Review，1997，16（2）：79－89.

[9] T Menzies，J Greenwald，A Frank.Data mining static code attributes to learn defect predictors[J].IEEE Transactions on Software Engineering，2007，32（11）2－13.

[10] C Shannon，W Weaver.The Mathematical Theory of Communication[M].University of Illinois Press：Urbana，1949.

[11] C M Bishop.Neural Networks for Pattern Recognition[M].Oxford University Press：Oxford，1995.

[12] T Sitzmann，K Brown，W Casper K，et al.Zimmerman，A review and misanalysis of the nomological network of trainee reactions[J].Journal of Applied Psychology 2008，93：280－295.

[13] A Giangreco，F(xiàn) Goethals.Students’overall satisfaction with training in a business education institution going through international accreditation processes[D].Working paper，IESEG School of Management，2011.

[14] F Davis.Perceived usefulness，perceived ease of use，and user acceptance of information[J].MIS Quarterly 1989，13（3）：319－339.

[15] V Venkatesh，M Morris，G Davis，et al.User acceptance of information technology：toward a unified view[J].MIS Quarterly，2003，27（3）：425－478.

[16] K Dejaeger，W Verbeke，D Martens，et al.Data mining techniques for software effort estimation：a comparative study [J]. IEEE Transactions on Software Engineering [EB／OL].http：／／doi.ieeecomputersociety.org／10.1109／TSE.2011.55.

[17] W Verbeke，K Dejaeger，D.Martens，et al.New insights into churn prediction in the telecommunication sector：aprofit driven data mining approach[J].European Journal of Operational Research，2012，28（1）：211－229.

[18] E Altman，H Rijken.How rating agencies achieve rating stability[J].Journal of Banking ＆ Finance，2004，28（11）：2679－2714.

[19] H Peng，F(xiàn) Long，C Ding.Feature selection based on mutual information：criteria of max－dependency，max－relevance，and min－redundancy[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（8）：1226－1238.

[20] P Domingos.The role of Occam’s razor in knowledge discovery[J].Data Mining and Knowledge Discovery，1999，9（4）：409－425.

[21] W Loh，Y Shih.Split selection methods for classification trees[J].Statistica Sinica7，1997：815－840.

[22] W Arthur Jr，W Bennet Jr，P A.Edens.et al.Effectiveness of training in organizations：a meta－analysis of design and evaluation features[J].Journal of Applied Psychology，2003，88（2）：627－635.

[23] B Baesens，C Mues，D Martens，et al.50years of data mining and OR：upcoming trends and challenges[J].Journal of the Operational Research Society，2009，60：16－23.

[24] D Hand，R Till.A simple generalisation of the area under the ROC curve for multiple class classification problems[J].Machine Learning，2001，45：171－186.

[25] J Huysmans，K Dejaeger，C Mues，et al.An empirical evaluation of the comprehensibility of decision table，tree and rule based predictive systems[J].Decision Support Systems，2011，51（1）：141－154.

[26] I Askira－Gelman.Knowledge discovery：comprehensibility of the results[C].in：Proceedings of the 31th Annual Hawaii International Conference on SystemSciences，USA，1998，5：245－256.

[27] I Benbasat，R N Taylor.Behavioral aspects of information processing for the design of management information systems[C].IEEE Transactions on Systems，Man，and Cybernetics，1982，12（4）：439－450.

[28] R Velada，A Caetano.Training transfer：the mediating role of perception of learning[J].Journal of European Industrial Training，2007，31（4）：283－296.