傅翠霞 羅亦泳

摘 ?要： 為提高高校理論教學(xué)與實(shí)驗(yàn)教學(xué)質(zhì)量評價的精度及可靠性，基于機(jī)器學(xué)習(xí)新算法RVM構(gòu)建高校理論教學(xué)與實(shí)驗(yàn)教學(xué)質(zhì)量評價新模型。對RVM的核函數(shù)及參數(shù)確定方法進(jìn)行改進(jìn)，利用遺傳算法優(yōu)化的MK?RVM模型分別建立高校理論與實(shí)驗(yàn)教學(xué)質(zhì)量評價的MK?RVM新模型，并構(gòu)建基于置信區(qū)間的結(jié)果可靠性分析方法。實(shí)驗(yàn)結(jié)果表明，高校理論教學(xué)與實(shí)驗(yàn)教學(xué)質(zhì)量評價MK?RVM模型的各項精度指標(biāo)均表現(xiàn)優(yōu)秀，精度等級達(dá)到“好”;訓(xùn)練集及測試集的教學(xué)質(zhì)量評價真實(shí)值均在MK?RVM估計的95%置信度置信區(qū)間內(nèi)，證實(shí)基于MK?RVM的教學(xué)質(zhì)量評價結(jié)果具有較好的可靠性。因此，RVM算法為高校理論教學(xué)與實(shí)驗(yàn)教學(xué)質(zhì)量評價提供了一種新的有效途徑。

關(guān)鍵詞： 相關(guān)向量機(jī)（RVM）; 教學(xué)質(zhì)量評價; 精度分析; 可靠性分析; 遺傳算法; 置信區(qū)間

中圖分類號： TN911?34 ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）13?0181?06

Universities theoretical and experimental teaching quality evaluation model

based on RVM machine learning method

FU Cuixia1， LUO Yiyong1， 2

（1. College of foreign Languages， East China University of Technology， Nanchang 330013， China;

2. School of Geodesy and Geomatics， Wuhan University， Wuhan 430079， China）

Abstract： The new quality evaluation models of theoretical teaching and experimental teaching in universities are built on the basis of relevance vector machine （RVM） to improve the accuracy and reliability of the quality evaluation of theoretical teaching and experimental teaching in universities. The kernel function and parameter determination method of RVM are improved， and the MK?RVM model optimized by genetic algorithm is established. The new MK?RVM models for quality evaluation of theoretical teaching and experimental teaching in universities are set up respectively， and the result reliability analysis method based on confidence interval is constructed. The experimental results show that all the precision indicators of MK?RVM model based quality evaluation of theoretical teaching and experimental teaching in universities are excellent， and the precision level can reach up to "good". The real values of teaching quality evaluation of training set and test set are within the 95% confidence interval of MK?RVM estimation， which confirms that the MK?RVM based evaluation result of teaching quality has high reliability. Thus， the RVM algorithm provides a new effective way for the quality evaluation of theoretical teaching and experimental teaching in universities.

Keywords： relevance vector machine; teaching quality evaluation; precision analysis; reliability analysis; genetic algorithm; confidence interval

0 ?引 ?言

眾所周知，教學(xué)質(zhì)量評價是高校進(jìn)行教學(xué)質(zhì)量監(jiān)控與管理的核心內(nèi)容。通過建立一套科學(xué)、合理、可靠性高的教學(xué)質(zhì)量評價方法，能及時發(fā)現(xiàn)教學(xué)過程中存在的問題，為高校教學(xué)質(zhì)量管理部門制定相應(yīng)措施提供可靠的依據(jù)，是提高教學(xué)質(zhì)量的重要保障。

教學(xué)質(zhì)量評價方法構(gòu)建主要包括評價指標(biāo)體系及評價模型的建立。當(dāng)前，國內(nèi)外學(xué)者針對課堂教學(xué)質(zhì)量評價指標(biāo)體系開展大量研究，已經(jīng)建立了較為完善、有效的評價指標(biāo)體系[1?4]。由于教學(xué)包含教與學(xué)的動態(tài)過程，影響教學(xué)質(zhì)量的因素眾多，課堂理論教學(xué)與實(shí)驗(yàn)教學(xué)是高校教學(xué)體系中的兩大重要組成部分。

近年來，課堂理論教學(xué)與實(shí)驗(yàn)教學(xué)質(zhì)量評價模型較多，高校通常采用絕對評估法、評等法、相對評估法、評語法和綜合評分法等方法，這些方法操作起來簡單。但是方法過于主觀，并且基于各評價指標(biāo)和教學(xué)效果之間的線性關(guān)系，與教學(xué)質(zhì)量評價是一個多因素影響下的復(fù)雜非線性問題這個事實(shí)不符[4?7]。因此，這些方法的評價結(jié)果與教學(xué)質(zhì)量真實(shí)狀況之間存在較大差異。當(dāng)前，加權(quán)平均法、單項因子評價法、模糊聚類分析法、多元線性回歸、層次分析法、灰色關(guān)聯(lián)法等方法在教學(xué)質(zhì)量評價中得到了一定的應(yīng)用，并取得了一定的效果[8?11]。但是這些方法仍然存在定權(quán)難、人為主觀因素強(qiáng)、隨意性大、不能描述非線性問題等情況，制約了這些方法的推廣與使用。

隨著人工智能算法——神經(jīng)網(wǎng)絡(luò)的發(fā)展與推廣，許多學(xué)者開展神經(jīng)網(wǎng)絡(luò)應(yīng)用于教學(xué)質(zhì)量評價方面的研究，并比傳統(tǒng)方法取得了更好的效果 [12?16]。但神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)設(shè)計困難，容易陷入局部最優(yōu)，小樣本時算法結(jié)果不穩(wěn)定，并且其理論基礎(chǔ)還不夠完善。針對BP神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)，支持向量機(jī)算法被用于課堂教學(xué)質(zhì)量評價，評價精度得到一定的提高，但該算法的核函數(shù)及參數(shù)確定較為困難[17]。

綜上所述，以上評價模型研究重點(diǎn)在于提高評價精度，而對于結(jié)果的可靠性未做分析，嚴(yán)重制約了評價模型的實(shí)際應(yīng)用推廣，并且模型本身存在較多有待解決的理論難點(diǎn)問題。

教學(xué)質(zhì)量評價模型建立即構(gòu)建教學(xué)質(zhì)量評價指標(biāo)與教學(xué)效果之間的函數(shù)關(guān)系。本文針對教學(xué)質(zhì)量評價模型存在的問題，引入機(jī)器學(xué)習(xí)新方法——相關(guān)向量機(jī)（Relevance Vector Machine，RVM）算法?；诟倪M(jìn)RVM構(gòu)建教學(xué)質(zhì)量評價指標(biāo)與教學(xué)效果之間的復(fù)雜函數(shù)關(guān)系，從而分別建立課堂理論教學(xué)與實(shí)驗(yàn)教學(xué)質(zhì)量評價新模型。基于RVM建立教學(xué)質(zhì)量結(jié)果不確定性分析的置信區(qū)間分析方法，有效彌補(bǔ)當(dāng)前教學(xué)質(zhì)量評價模型無結(jié)果可靠性分析功能的缺點(diǎn)。通過對RVM方法評價結(jié)果的精度分析與不確定性分析，研究新模型的有效性及可靠性，為教學(xué)質(zhì)量管理提供可靠的理論與實(shí)踐依據(jù)。

1 ?相關(guān)向量機(jī)算法原理及改進(jìn)

RVM算法具有運(yùn)算簡單、收斂速度快、精度高、參數(shù)少、高稀疏性等特點(diǎn)，核函數(shù)不受Mercer條件限制，計算過程及結(jié)果均具有概率解釋，可分析結(jié)果的可靠性?；赗VM的以上優(yōu)點(diǎn)，RVM模型在模式識別、圖像分類、復(fù)雜系統(tǒng)擬合等領(lǐng)域得到很好的應(yīng)用，但在教學(xué)質(zhì)量評價方面未見相關(guān)研究成果。

為了提高RVM算法的精度及可靠性，對RVM進(jìn)行理論改進(jìn)，基于組合核函數(shù)構(gòu)建多核函數(shù)相關(guān)向量機(jī)（MK?RVM）算法，提高算法的精度。利用遺傳優(yōu)化算法優(yōu)化MK?RVM算法的參數(shù)，實(shí)現(xiàn)MK?RVM算法最優(yōu)參數(shù)自動確定，減少由于參數(shù)不合理對預(yù)測精度的影響。

1.1 ?MK?RVM原理

對于RVM回歸算法，設(shè)訓(xùn)練樣本集為[xi，tini=1]，[xi]為輸入向量， [ti]為目標(biāo)值，[n]為訓(xùn)練樣本數(shù)。假設(shè)目標(biāo)[ti]獨(dú)立，包含噪聲[εi]，并且[εi～N（0，σ2）]，[σ2]為[εi]的方差，RVM回歸模型可表示為：

1.2 ?基于遺傳優(yōu)化算法的MK?RVM參數(shù)優(yōu)化

鑒于遺傳算法在模型參數(shù)優(yōu)化方面應(yīng)用的廣泛性及具有較好的全局最優(yōu)能力，將遺傳算法用于優(yōu)化MK?RVM的參數(shù)。由式（4）可知，MK?RVM需要優(yōu)化的參數(shù)包括[[λ1，λ2，ψ1]]。本文利用HIOA優(yōu)化MK?RVM的3個參數(shù)?；诹粢唤徊骝?yàn)證法構(gòu)建個體適應(yīng)度計算函數(shù)[f（x）]，設(shè)置遺傳算法的相關(guān)參數(shù)，具體步驟如下：

1） 設(shè)置遺傳算法參數(shù)（群體大小[M]，終止代數(shù)[T]，交叉概率[Pc]，變異概率[Pm]）。一般[M]大小應(yīng)在20～100，[T]取100～1 000，[Pc]取值在0.40～0.99，[Pm]取值在0.000 1～0.1。

2） 設(shè)定MK?RVM的參數(shù)[[λ1，λ2，ψ1]]的搜索范圍。

3） 對參數(shù)進(jìn)行編碼（采用浮點(diǎn)數(shù)編碼方法）。

4） 隨機(jī)生成[M]個初始群體pop（[t]），[t=1]。

5） 根據(jù)個體適應(yīng)度評價函數(shù)[f（x）]計算出第[t]代群體pop（[t]）的個體適應(yīng)度。

6） 利用遺傳操作中的選擇算子（采用比例選擇算子）確定父代個體遺傳到子代的個數(shù)，通過選擇可以得到新的群體newpop（[t]）。

7） 基于群體newpop（[t]），通過交叉（利用單點(diǎn)交叉算子以概率為[Pc]）生成新的群體crosspop（[t]）。

8） 基于crosspop（[t]），通過變異（利用基本變異算子以概率為[Pm]）生成新的群體mutpop（[t]）。

9） 判斷優(yōu)化是否停止。當(dāng)[t

10） 利用[f（x）]計算mutpop（[t]）的個體適應(yīng)度，并選取適應(yīng)度最佳的個體，對該個體進(jìn)行解碼，獲得MK?RVM的最優(yōu)參數(shù)，實(shí)現(xiàn)參數(shù)自動確定，提高算法精度。

2 ?教學(xué)質(zhì)量評價RVM模型構(gòu)建及分析

基于RVM的改進(jìn)算法MK?RVM分別建立課堂理論教學(xué)質(zhì)量評價模型、實(shí)驗(yàn)教學(xué)質(zhì)量評價模型。利用測試數(shù)據(jù)分析評價結(jié)果的精度與可靠性，驗(yàn)證新方法的可行性及可靠性。

2.1 ?課堂理論教學(xué)質(zhì)量評價模型及分析

本文通過參考文獻(xiàn)[1，3，4，14]確定11個課堂理論教學(xué)質(zhì)量評價指標(biāo)，包括：教學(xué)目的明確（[x1]）、重點(diǎn)難點(diǎn)突出（[x2]）、講授知識科學(xué)（[x3]）、啟發(fā)性教學(xué)（[x4]）、學(xué)習(xí)方法指導(dǎo)（[x5]）、教學(xué)手段豐富（[x6]）、教學(xué)態(tài)度嚴(yán)謹(jǐn)（[x7]）、教學(xué)內(nèi)容精通（[x8]）、上課不遲到不拖堂（[x9]）、教學(xué)目標(biāo)實(shí)現(xiàn)（[x10]）、重視學(xué)生反饋（[x11]），教學(xué)質(zhì)量（[Y]）。高校教學(xué)質(zhì)量評分表，請教學(xué)專家、相關(guān)教師、聽課教師和上課學(xué)生對上課教師進(jìn)行打分，然后選取打分比較一致的評價樣本作為案例。收集18個樣本，具體樣本數(shù)據(jù)如表1所示。

表1 課堂理論教學(xué)質(zhì)量樣本數(shù)據(jù)

表2 ?課堂理論教學(xué)質(zhì)量評價結(jié)果

圖1 ?預(yù)測結(jié)果置信區(qū)間分析（一）

表4 ?測試數(shù)據(jù)集精度評價（一）

表3 精度等級劃分

由精度指標(biāo)表4可知，均方根誤差、最大相對誤差、平均相對誤差、后驗(yàn)差比、小誤差概率等精度指標(biāo)表現(xiàn)優(yōu)秀，并且根據(jù)后驗(yàn)差比、小誤差概率確定預(yù)測結(jié)果精度等級為“好”，驗(yàn)證了課堂理論教學(xué)質(zhì)量評價MK?RVM模型具有較高的精度。由預(yù)測結(jié)果置信區(qū)間分析圖1可知，訓(xùn)練集及測試集的教學(xué)質(zhì)量評價真實(shí)值均在MK?RVM估計的95%置信度的置信區(qū)間內(nèi)，證實(shí)了預(yù)測結(jié)果具有較好的可靠性。

2.2 ?實(shí)驗(yàn)教學(xué)質(zhì)量評價模型及分析

參考文獻(xiàn)[2，13，14]和教育部《高等學(xué)校專業(yè)實(shí)驗(yàn)室評估標(biāo)準(zhǔn)》等資料確定實(shí)驗(yàn)教學(xué)質(zhì)量評價指標(biāo)，包括：教師素質(zhì)、教學(xué)態(tài)度、教學(xué)設(shè)計、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)能力、教學(xué)效果、實(shí)驗(yàn)教學(xué)質(zhì)量[Y]。高校教學(xué)質(zhì)量評分表，請教學(xué)專家、相關(guān)教師、聽課教師和上課學(xué)生對上課教師進(jìn)行打分，然后選取打分比較一致的評價樣本作為案例。搜集24個樣本數(shù)據(jù)，具體數(shù)據(jù)如表5所示。取前[23]組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，后[13]組數(shù)據(jù)作為測試集。以7個指標(biāo)為輸入，教學(xué)質(zhì)量為輸出，MK?RVM算法利用遺傳算法對訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，確定最優(yōu)參數(shù)為[[109.87，1.67，0.250]]。基于最優(yōu)參數(shù)MK?RVM自動解算內(nèi)部各類相關(guān)參數(shù)，建立實(shí)驗(yàn)教學(xué)質(zhì)量評價模型。

表5 ?實(shí)驗(yàn)教學(xué)質(zhì)量樣本數(shù)據(jù)

基于以上建立的實(shí)驗(yàn)教學(xué)MK?RVM模型，對訓(xùn)練集與測試集中的教學(xué)質(zhì)量進(jìn)行預(yù)測，具體預(yù)測結(jié)果如表6及圖2中的預(yù)測值所示?；跍y試結(jié)果，統(tǒng)計各項精度指標(biāo)如表7所示。

圖2 ?預(yù)測結(jié)果置信區(qū)間分析（二）

表6 ?實(shí)驗(yàn)教學(xué)質(zhì)量評價結(jié)果

表7 ?測試數(shù)據(jù)集精度評價（二）

基于MK?RVM估計預(yù)測結(jié)果的方差，并計算對應(yīng)95%置信度的置信區(qū)間，繪制置信區(qū)間分析圖，如圖2所示。

由精度指標(biāo)表7可知，實(shí)驗(yàn)教學(xué)質(zhì)量評價MK?RVM模型預(yù)測的各項精度指標(biāo)表現(xiàn)優(yōu)秀，精度等級達(dá)到“好”級，對實(shí)踐教學(xué)質(zhì)量評價具有較高的精度。圖2可知，訓(xùn)練集及測試集中的教學(xué)質(zhì)量真實(shí)值均在相應(yīng)的95%置信度的置信區(qū)間內(nèi)，證實(shí)結(jié)果可靠性高。因此，新方法適用于實(shí)踐教學(xué)質(zhì)量評價。

3 ?結(jié) ?論

本文建立組合核函數(shù)及遺傳算法優(yōu)化參數(shù)的方法改進(jìn)RVM，并基于該算法分別建立課堂理論教學(xué)質(zhì)量評價模型及實(shí)驗(yàn)教學(xué)質(zhì)量評價模型，通過實(shí)例數(shù)據(jù)分析新方法的精度及可靠性。

1） 在精度方面，基于RVM的課堂理論教學(xué)質(zhì)量評價模型及實(shí)驗(yàn)教學(xué)質(zhì)量評價模型的均方根誤差、最大相對誤差、平均相對誤差、后驗(yàn)差比數(shù)值均較小，小誤差概率均達(dá)到1。根據(jù)后驗(yàn)差比、小誤差概率評定課堂理論教學(xué)質(zhì)量評價模型及實(shí)驗(yàn)教學(xué)質(zhì)量評價RVM模型精度等級均達(dá)到“好”級。

2） 在結(jié)果可靠性方面，基于RVM的課堂理論教學(xué)質(zhì)量評價模型及實(shí)驗(yàn)教學(xué)質(zhì)量評價模型估計結(jié)果的置信區(qū)間，并且其訓(xùn)練集及測試集的教學(xué)質(zhì)量真實(shí)值均在對應(yīng)的95%置信度置信區(qū)間內(nèi)，證實(shí)了預(yù)測結(jié)果的可靠性。因此，基于RVM可構(gòu)建精度較高、可靠性好的課堂理論教學(xué)質(zhì)量評價模型及實(shí)驗(yàn)教學(xué)質(zhì)量評價模型。

參考文獻(xiàn)

[1] 鄭延福.本科高校教師教學(xué)質(zhì)量評價研究[M].徐州：中國礦業(yè)大學(xué)出版社，2012.

ZHENG Yanfu. Study on teaching quality evaluation of undergraduate college teachers [M]. Xuzhou： China University of Mining and Technology Press， 2012.

[2] 高建明.高校實(shí)驗(yàn)教學(xué)質(zhì)量評價體系的建設(shè)與實(shí)踐探索[M].長春：吉林人民出版社，2017.

GAO Jianming. Construction and practice exploration of experimental teaching quality evaluation system in Universities [M]. Changchun： Jilin People′s Press， 2017.

[3] 蔡紅梅，許曉東.高校課堂教學(xué)質(zhì)量評價指標(biāo)體系的構(gòu)建[J].高等工程教育研究，2014（3）：177?180.

CAI Hongmei， XU Xiaodong. Construction of quality evaluation system of classroom teaching in colleges and universities [J]. Higher engineering education research， 2014（3）： 177?180.

[4] 吳虹.基于模糊綜合評判法的高校教師教學(xué)質(zhì)量評價體系的構(gòu)建[J].統(tǒng)計與決策，2010（3）：166?168.

WU Hong. Construction of teaching quality evaluation system of university teachers based on fuzzy comprehensive evaluation method [J]. Statistics and decision， 2010（3）： 166?168.

[5] 柳春.基于AHP法的成人學(xué)歷教育教學(xué)質(zhì)量評價體系研究[J].成人教育，2016，36（3）：64?68.

LIU Chun. Research on teaching quality evaluation system of adult education based on AHP method [J]. Adult education， 2016， 36（3）： 64?68.

[6] 徐衛(wèi)國，吳剛.基于灰色系統(tǒng)理論構(gòu)建軍隊院校教學(xué)質(zhì)量評估模型[J].數(shù)學(xué)的實(shí)踐與認(rèn)識，2010，40（1）：53?61.

XU Weiguo， WU Gang. Establishment of military academy teaching quality evaluation model based on grey system theory [J]. Journal of mathematics in practice and theory， 2010， 40（1）： 53?61.

[7] 胡帥，姜華，曲巍巍.多元統(tǒng)計分析在外語教學(xué)質(zhì)量評價中的應(yīng)用[J].現(xiàn)代電子技術(shù)，2015，38（15）：126?132.

HU Shuai， JIANG Hua， QU Weiwei. Application of multiva?riate statistical analysis in foreign language teaching evaluation [J]. Modern electronics technique， 2015， 38（15）： 126?132.

[8] 辛建英.改進(jìn)神經(jīng)網(wǎng)絡(luò)的大學(xué)物理實(shí)驗(yàn)教學(xué)質(zhì)量評價[J].現(xiàn)代電子技術(shù)，2017，40（15）：146?149.

XIN Jianying. Improved neural network based teaching quality evaluation of university physics experiment [J]. Modern electronics technique， 2017， 40（15）： 146?149.

[9] 朱婭妮.基于智能優(yōu)化算法的教學(xué)質(zhì)量評價方法[J].杭州電子科技大學(xué)學(xué)報，2014，34（6）：66?70.

ZHU Yani. Teaching quality evaluation based on intelligent optimization algorithms [J]. Journal of Hangzhou Dianzi University， 2014， 34（6）： 66?70.

[10] 常寧.基于Elman神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)教學(xué)質(zhì)量評價模型[J].中國人民公安大學(xué)學(xué)報（自然科學(xué)版），2014，20（3）：87?89.

CHANG Ning. Experimental teaching quality evaluation model based on Elman neural network [J]. Journal of Chinese People′s Public Security University （Natural science）， 2014， 20（3）： 87?89.

[11] 董薇.高校實(shí)驗(yàn)教學(xué)質(zhì)量評價探究[J].黑龍江教育（高教研究與評估），2016（5）：52?53.

DONG Wei. Research on the quality evaluation of experimental teaching in colleges and universities [J]. Heilongjiang education （Higher educational research and evaluation）， 2016（5）： 52?53.

[12] 班麗麗，紀(jì)二娟.支持向量機(jī)的遠(yuǎn)程教學(xué)質(zhì)量評估模型[J].現(xiàn)代電子技術(shù)，2017，40（13）：126?129.

BAN Lili， JI Erjuan. The distance teaching quality evaluation model based on SVM [J]. Modern electronics technique， 2017， 40（13）： 126?129.

[13] GUO S， ZHAO H， ZHAO H. A new hybrid wind power forecaster using Beveridge?Nelson decomposition method and relevance vector machine optimized by ant lion optimizer [J]. Energies， 2017， 10（7）： 1?6.

[14] ANDRIYAS T， ANDRIYAS S. Use of multivariate relevance vector machines in forecasting multiple geomagnetic indices [J]. Journal of atmospheric and solar?terrestrial physics， 2017， 154： 21?32.

[15] MARTINO L， VICENT J， CAMPS?VALLS G. Automatic emulation by adaptive relevance vector machines [C]// 2017 Scandinavian Conference on Image Analysis. [S.l.]： Springer， 2017： 443?454.

[16] 雷英杰，張善文.Matlab遺傳算法工具箱及應(yīng)用[M].西安：西安電子科技大學(xué)出版社，2014.

LEI Yingjie， ZHANG Shanwen. Matlab genetic algorithm toolbox and its application [M]. Xian： Xidian University Press， 2014.

[17] 羅亦泳，張豪.基于自適應(yīng)進(jìn)化相關(guān)向量機(jī)的耕地面積預(yù)測模型[J].農(nóng)業(yè)工程學(xué)報，2015，31（9）：257?265.

LUO Yiyong， ZHANG Hao. Prediction model for cultivated land area based on self?adaptive differential evolution and relevance vector machine [J]. Transactions of the Chinese society of agricultural engineering， 2015， 31（9）： 257?265.