游 坤,朱皖寧

(金陵科技學(xué)院軟件工程學(xué)院,江蘇 南京 211169)

做好學(xué)生評(píng)價(jià)工作是促進(jìn)教育發(fā)展的關(guān)鍵問題之一[1]。大多數(shù)高校目前采用“以考代評(píng)”的方式檢驗(yàn)學(xué)生的學(xué)習(xí)成果[2],但是該方式往往形式單一、內(nèi)容陳舊,難以全面評(píng)價(jià)學(xué)生的真實(shí)能力。已有很多學(xué)者對(duì)學(xué)生評(píng)價(jià)問題做出了研究,厲丹等[3]提出了一種基于hopfield神經(jīng)網(wǎng)絡(luò)的學(xué)生評(píng)價(jià)模型,相比于傳統(tǒng)的評(píng)價(jià)方法,該方法能夠更客觀地評(píng)價(jià)學(xué)生的綜合能力,但是模型分析的學(xué)生數(shù)量相對(duì)較少,分析指標(biāo)也相對(duì)較少,在學(xué)生評(píng)價(jià)問題中的普適性較弱;陳正宇等[4]提出了工程教育認(rèn)證下的人才培養(yǎng)與評(píng)價(jià)方法,從多方面闡述了應(yīng)用型卓越工程技術(shù)人才培養(yǎng)應(yīng)遵循的基本原則,但該方法更針對(duì)應(yīng)用型高校,具有一定的局限性。聚類是一種無監(jiān)督學(xué)習(xí)算法,它通過將數(shù)據(jù)集中相似的數(shù)據(jù)點(diǎn)劃分到同一類別中,形成有意義的簇,從而幫助理解數(shù)據(jù)集中的潛在結(jié)構(gòu)和模式;評(píng)價(jià)則是對(duì)對(duì)象進(jìn)行質(zhì)量評(píng)估的過程。將聚類應(yīng)用于評(píng)價(jià)問題,可以根據(jù)聚類結(jié)果來評(píng)估對(duì)象的質(zhì)量,例如學(xué)校的好壞、產(chǎn)品的質(zhì)量等。模糊C均值聚類(fuzzy C-means,FCM)是一種基于模糊集理論的聚類算法,通過對(duì)數(shù)據(jù)進(jìn)行隸屬度劃分,能夠很好地應(yīng)對(duì)數(shù)據(jù)的復(fù)雜性和噪聲,在評(píng)價(jià)問題時(shí)往往比其他聚類方法更加客觀和有效。但是傳統(tǒng)模糊C均值聚類算法的初始聚類中心隨機(jī),易陷入局部最優(yōu),很多學(xué)者對(duì)此做出了改進(jìn)。Stetco等[5]提出了FCM++算法,依據(jù)距離來計(jì)算數(shù)據(jù)點(diǎn)作為聚類中心的概率,但是其初始聚類中心仍是隨機(jī)選擇的。Chovancova等[6]提出了基于粒子群的模糊C均值聚類算法,根據(jù)粒子群算法決定初始聚類中心。武超飛等[7]提出了基于遺傳模擬退火算法的FCM,通過遺傳模擬退火算法提高模糊C均值聚類的全局聚類能力,在一定程度上避免了局部最優(yōu)。但是,以上算法在學(xué)生評(píng)價(jià)問題上都沒有解決同一聚類中心內(nèi)數(shù)據(jù)點(diǎn)相似度不高的問題,不能體現(xiàn)學(xué)生真實(shí)水平。

為解決上述問題,本文提出了一種基于自注意力機(jī)制的模糊C均值聚類算法,旨在通過自注意力模型(self-attention)計(jì)算FCM++的初始聚類中心,再通過模糊聚類的目標(biāo)函數(shù)對(duì)聚類中心和隸屬度進(jìn)行迭代,避免了模糊聚類存在的因初始聚類中心和隸屬度隨機(jī)導(dǎo)致的局部最優(yōu)解問題,增強(qiáng)了評(píng)價(jià)的準(zhǔn)確性和客觀性,可以更好地體現(xiàn)評(píng)價(jià)對(duì)象的好壞程度。

1 儲(chǔ)備知識(shí)

FCM是由Dunn等[8]提出、Bezdek等[9]改進(jìn)發(fā)展而來的一種聚類算法。它應(yīng)用模糊理論的思想,將數(shù)據(jù)劃分為不同的聚類中心,與傳統(tǒng)“硬聚類”思想不同,FCM中的數(shù)據(jù)點(diǎn)對(duì)于每個(gè)聚類中心的隸屬度為uij,uij可被看作是數(shù)據(jù)點(diǎn)i屬于聚類中心j的程度。根據(jù)目標(biāo)函數(shù),可以對(duì)聚類中心和隸屬度矩陣反復(fù)迭代,最終根據(jù)隸屬度的值決定數(shù)據(jù)點(diǎn)所屬的類別。

FCM的算法流程如圖1所示。

圖1 FCM算法流程

自注意力模型是由Vaswani等[10]提出的一種模型,通過Wq、Wk、Wv等權(quán)重的迭代計(jì)算出矩陣Q、K、V,進(jìn)而計(jì)算出數(shù)據(jù)點(diǎn)對(duì)于其他數(shù)據(jù)點(diǎn)的注意力。自注意力模型的算法步驟如圖2所示。

圖2 自注意力模型算法流程

2 相關(guān)概念

2.1 輸入矩陣

定義矩陣空間Md×n為所有d×n型矩陣構(gòu)成的集合,其中d∈N*,表示單個(gè)樣本輸入的特征數(shù)量,n∈N*,表示樣本總數(shù)。輸入矩陣X滿足X∈Md×n,xik表示輸入矩陣X中第i行、第k列的元素,xik∈R。根據(jù)以往對(duì)學(xué)生評(píng)價(jià)的指標(biāo),本文輸入矩陣中的特征選取學(xué)生學(xué)習(xí)產(chǎn)生的部分?jǐn)?shù)據(jù)并進(jìn)行歸一化處理,包括課程作業(yè)完成總次數(shù)、課程作業(yè)平均成績、課程考試平均成績、平均考勤次數(shù)、道德品質(zhì)評(píng)分、創(chuàng)新能力、實(shí)際能力以及運(yùn)動(dòng)健康等指標(biāo)。

2.2 隸屬度矩陣

隸屬度矩陣是FCM中用于衡量數(shù)據(jù)點(diǎn)屬于聚類中心程度的矩陣。定義矩陣空間Mn×c為所有n×c型矩陣構(gòu)成的集合,其中c∈N*,表示聚類中心的總數(shù)。隸屬度矩陣U滿足U∈Mn×c,uij表示隸屬度矩陣U中第i行、第j列的元素,uij∈R,即第i個(gè)數(shù)據(jù)點(diǎn)屬于第j個(gè)聚類中心的程度。對(duì)于第i個(gè)數(shù)據(jù)點(diǎn),其對(duì)所有聚類中心的隸屬度之和為1,即

(1)

2.3 聚類中心矩陣

定義矩陣空間Md×c為所有d×c型矩陣構(gòu)成的集合,表示聚類中心的總數(shù)。聚類中心矩陣V滿足V∈Md×c,vj表示V中的第j個(gè)向量,即第j個(gè)聚類中心的位置。

2.4 目標(biāo)函數(shù)

FCM的目標(biāo)函數(shù)如下:

(2)

式中,t為隸屬度因子,vj表示第j個(gè)聚類中心,U表示隸屬度矩陣,V表示聚類中心矩陣。

根據(jù)FCM的目標(biāo)函數(shù),隸屬度矩陣的迭代公式為

(3)

聚類中心的迭代公式為

(4)

2.5 自注意力模型

自注意力模型是通過Wq、Wk、Wv等參數(shù)計(jì)算Q、K、V,從而計(jì)算數(shù)據(jù)對(duì)于其他數(shù)據(jù)注意力的一種模型。Wq、Wk、Wv等參數(shù)通過反向傳播進(jìn)行更新。在處理學(xué)生評(píng)價(jià)問題中,本文使用自注意力模型將輸入數(shù)據(jù)作為序列生成輸出序列,再通過一個(gè)全連接層將輸出序列映射為一個(gè)擁有全局信息的數(shù)據(jù)點(diǎn),將該數(shù)據(jù)點(diǎn)作為輸入數(shù)據(jù)的初始聚類中心,結(jié)構(gòu)如圖3所示。

圖3 學(xué)生評(píng)價(jià)問題中自注意力機(jī)制計(jì)算初始聚類中心的結(jié)構(gòu)

3 基于自注意力機(jī)制的FCM++算法

定義函數(shù)

fQ_calculate(X,WQ)=WQX

(5)

fK_calculate(X,WK)=WKX

(6)

fV_calculate(X,WV)=WVX

(7)

分別用于計(jì)算矩陣Q、K和V。

定義函數(shù)

fA_calculate(Q,K)=KTQ

(8)

用于計(jì)算未歸一化的注意力分布矩陣A。

定義函數(shù)

(9)

用于對(duì)注意力分布矩陣進(jìn)行歸一化處理得到A′。

定義函數(shù)

fH_calculate(V,A′)=VA′

(10)

用于計(jì)算全連接層的輸入矩陣H。

定義函數(shù)fforward用于前向傳播,函數(shù)fback用于反向傳播。

定義函數(shù)fD_calculate用于計(jì)算數(shù)據(jù)點(diǎn)與聚類中心的距離組成的矩陣D。

定義函數(shù)

(11)

用于計(jì)算數(shù)據(jù)點(diǎn)作為聚類中心的概率。

定義函數(shù)

(12)

用于計(jì)算FCM目標(biāo)函數(shù)的值。

定義函數(shù)

(13)

用于對(duì)隸屬度矩陣U進(jìn)行迭代更新。

定義函數(shù)

(14)

用于對(duì)聚類中心矩陣V進(jìn)行迭代更新。

基于自注意力機(jī)制的FCM++算法具體流程如下所示。

算法1基于自注意力機(jī)制的FCM++算法

輸入:輸入矩陣X、訓(xùn)練集和測試集

輸出:學(xué)校對(duì)聚類中心的隸屬度矩陣,以及聚類中心矩陣

Step1:初始化當(dāng)前迭代次數(shù)iteration、最大迭代次數(shù)iteration_max、自注意力層權(quán)重WQ、WK和WV,全連接層權(quán)重W和M,偏置B和F,閾值ε,聚類最大迭代次數(shù)iteration_fcm_max,聚類當(dāng)前迭代次數(shù)iteration_fcm等參數(shù)

Step2:計(jì)算函數(shù)fQ_calculate,fK_calculate和fV_calculate,得到矩陣Q,K和V

Step3:計(jì)算函數(shù)fA_calculate,得到未歸一化的注意力分布矩陣A

Step4:計(jì)算函數(shù)fsoftmax,得到歸一化后的注意力分布矩陣A′

Step5:計(jì)算函數(shù)fH_calculate,得到全連接層的輸入矩陣H

Step6:計(jì)算函數(shù)fforward,進(jìn)行前向傳播,得到誤差值MSE(H)

Step7:若MSE(H)<ε,或iteration=iteration_max,那么停止迭代,得到初始聚類中心c0,并將c0放入初始聚類中心集合C′中,進(jìn)入Step9

Step8:計(jì)算函數(shù)fback,進(jìn)行反向傳播,更新參數(shù)

Step9:計(jì)算函數(shù)fD_calculate,得到數(shù)據(jù)點(diǎn)與初始聚類中心集合中元素的距離構(gòu)成的矩陣D

Step10:根據(jù)矩陣D分別計(jì)算所有數(shù)據(jù)點(diǎn)屬于初始聚類中心的可能性P

Step11:若當(dāng)前初始聚類中心集合C′中的元素個(gè)數(shù)小于目標(biāo)個(gè)數(shù),進(jìn)入Step12;否則進(jìn)入Step13

Step12:根據(jù)可能性P判斷該數(shù)據(jù)點(diǎn)是否作為聚類中心,若是,加入初始聚類中心集合C′,返回Step9;若不是,直接返回Step9

Step13:根據(jù)聚類中心,通過函數(shù)fupdate_Uij計(jì)算隸屬度矩陣

Step14:根據(jù)隸屬度矩陣,通過函數(shù)fupdate_Vk更新聚類中心矩陣

Step15:計(jì)算目標(biāo)函數(shù)fobject并記錄,如果并非第一次記錄,那么與上一次記錄比較,若差值小于閾值ε,或迭代次數(shù)iteration_fcm達(dá)到最大迭代次數(shù)iteration_fcm_max,迭代結(jié)束,進(jìn)入Step16;否則iteration_fcm=iteration_fcm+1,并進(jìn)入Step13

Step16:輸出當(dāng)前隸屬度矩陣,以及聚類中心矩陣

算法結(jié)束

本文改進(jìn)了FCM++算法,通過自注意力機(jī)制,將輸入數(shù)據(jù)序列轉(zhuǎn)換為具有全局特征的序列,再通過一個(gè)全連接層將其映射到初始聚類中心上。

4 實(shí)驗(yàn)分析

4.1 數(shù)據(jù)集

本文根據(jù)Open University Learning Analytics Dataset提供的4 307組學(xué)生數(shù)據(jù)對(duì)學(xué)生進(jìn)行評(píng)價(jià)實(shí)驗(yàn),將數(shù)據(jù)進(jìn)行清洗后分為3個(gè)數(shù)據(jù)集Student1、Student2和Student3,3個(gè)數(shù)據(jù)集的具體情況如表1所示。

表1 數(shù)據(jù)集的數(shù)據(jù)組成情況

對(duì)上述數(shù)據(jù)集歸一化后的數(shù)據(jù)進(jìn)行PCA降維,結(jié)果如圖4所示。

Student1

Student2

Student3

4.2 對(duì)比算法

經(jīng)過調(diào)研,目前在學(xué)生評(píng)估方面,國內(nèi)并沒有使用模糊聚類進(jìn)行評(píng)估的先例,因此為了說明本文提出的基于自注意力機(jī)制的FCM++算法在解決學(xué)生評(píng)價(jià)問題上更優(yōu),本文使用以下模糊聚類與經(jīng)典聚類算法進(jìn)行實(shí)驗(yàn)結(jié)果的對(duì)比。

1)FCM++。FCM++算法是一種改進(jìn)的模糊C均值聚類算法,它的主要特點(diǎn)是在進(jìn)行FCM聚類之前,通過特定的方法生成一個(gè)初始聚類中心。該算法可以有效地解決FCM算法對(duì)初始聚類中心選擇敏感的問題。

2)基于粒子群的模糊聚類算法?；诹Ｗ尤簝?yōu)化的FCM聚類算法是一種改進(jìn)的模糊C均值聚類算法,該算法利用粒子群優(yōu)化算法的全局尋優(yōu)能力,克服了FCM算法易陷入局部極小值和對(duì)初始值敏感的問題。

3)BFC。貝葉斯模糊聚類(BFC)算法是一種結(jié)合了貝葉斯理論和模糊聚類的方法,它采用最大后驗(yàn)概率理論處理模糊劃分,進(jìn)而獲取最終的聚類結(jié)果。該算法有效地結(jié)合了概率論和模糊論兩者的優(yōu)點(diǎn),能夠獲取全局最優(yōu)解并估計(jì)聚類個(gè)數(shù)。

4)DTW-K means。DTW-K means算法是一種結(jié)合了動(dòng)態(tài)時(shí)間規(guī)整(DTW)和K-means的時(shí)間序列聚類方法。該算法首先使用DTW方法計(jì)算時(shí)間序列之間的相似度,然后利用K-means算法進(jìn)行聚類,能夠處理時(shí)間序列的非線性對(duì)齊,使得相似的但在時(shí)間上有所偏移的序列也能被正確地歸為一類。

4.3 評(píng)估指標(biāo)

本文選用S_dbw、DB指數(shù)和Dunn指數(shù)作為評(píng)價(jià)聚類效果的標(biāo)準(zhǔn)。

S_dbw是一種通過衡量聚類結(jié)果的簇間密度和簇內(nèi)方差來評(píng)估聚類有效性的指標(biāo),該指標(biāo)越小,說明聚類越有效。由于使用該指標(biāo)的驗(yàn)證方法在單調(diào)性、噪聲、密度、子群和傾斜分布等方面都表現(xiàn)良好,因此本文選擇其作為衡量聚類效果的指標(biāo)之一[11]。S_dbw又分為Scat和Dens_bw,其中Scat用于衡量簇間密度,Dens_bw用于衡量簇內(nèi)方差。

Dunn指數(shù)的計(jì)算方法是將最小的類間距離與最大的類內(nèi)距離的比值作為評(píng)估標(biāo)準(zhǔn)[12]。Dunn index越大,說明類內(nèi)樣本越接近,類間樣本越遠(yuǎn)離,聚類效果越好。

DB指數(shù)(Davies-Bouldin index)由Davies D.L.和Bouldin D.W.在1979年提出[13],它通過計(jì)算每個(gè)類簇內(nèi)部的平均距離和類簇之間的距離來評(píng)估聚類效果。DB index越小,說明聚類效果越好。

4.4 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)設(shè)置學(xué)習(xí)率learning_rate=0.1,神經(jīng)網(wǎng)絡(luò)最大迭代次數(shù)iteration_max=30 000,隸屬度因子t=2,FCM++中參數(shù)p=2,聚類最大迭代次數(shù)iteration_fcm_max=2 000,閾值ε=0.001。本文通過實(shí)驗(yàn)將基于自注意力機(jī)制的FCM++算法與4.2節(jié)中的算法進(jìn)行聚類效果的比較。

各算法所得的聚類結(jié)果如圖5所示。

(a) 基于自注意力機(jī)制的FCM++

(b) 基于粒子群的模糊聚類算法

(c) FCM++

(d) BFC

(e) DTW-K means

從直觀角度來看,本文提出的基于自注意力機(jī)制的FCM++算法聚類結(jié)果明顯優(yōu)于FCM++算法、基于粒子群的模糊聚類算法以及BFC和DTW-K means算法。這是因?yàn)槎囝^自注意力層能夠捕捉輸入數(shù)據(jù)的全局依賴關(guān)系,經(jīng)過全連接層映射為一個(gè)初始聚類中心,傳統(tǒng)的模糊聚類算法存在聚類隨機(jī)性強(qiáng)、無法反映數(shù)據(jù)內(nèi)部特征的問題。下面本文將根據(jù)聚類指標(biāo)對(duì)上述5種算法的聚類結(jié)果進(jìn)行計(jì)算和對(duì)比,具體結(jié)果如表2所示。

表2 各算法評(píng)估指標(biāo)結(jié)果

可以看出,本文提出的基于自注意力機(jī)制的FCM++算法在簇間密度和簇內(nèi)方差上優(yōu)于其他模糊聚類算法和經(jīng)典聚類算法。相比于基于粒子群的模糊C均值聚類算法,本文算法的DB指數(shù)降低了19%,Dunn指數(shù)提高了26%。在學(xué)生評(píng)價(jià)問題中,本文算法可以更準(zhǔn)確、更客觀地對(duì)學(xué)生數(shù)據(jù)進(jìn)行聚類,從而評(píng)估學(xué)生的能力。但是,基于自注意力機(jī)制的FCM++存在訓(xùn)練時(shí)間長、迭代次數(shù)多等問題,在面對(duì)大量數(shù)據(jù)時(shí)耗時(shí)偏長。由于學(xué)生評(píng)價(jià)問題中數(shù)據(jù)集相對(duì)偏少,因此基于自注意力機(jī)制的FCM++算法表現(xiàn)更優(yōu)。

5 結(jié) 語

本文提出了一種基于自注意力機(jī)制的FCM++算法,在FCM++的基礎(chǔ)上改進(jìn)了其初始聚類中心的選取,通過自注意力機(jī)制將輸入的數(shù)據(jù)映射到具有全局信息的數(shù)據(jù)中,再將這些數(shù)據(jù)通過一個(gè)全連接層映射到初始聚類中心,提高了聚類的簇間密度和簇內(nèi)方差,增強(qiáng)了評(píng)價(jià)的準(zhǔn)確性和客觀性。但是,該算法在面對(duì)龐大數(shù)據(jù)集時(shí)往往會(huì)產(chǎn)生訓(xùn)練時(shí)間過長等問題,如何在縮短訓(xùn)練時(shí)間的基礎(chǔ)上進(jìn)一步增強(qiáng)評(píng)價(jià)的準(zhǔn)確性是未來進(jìn)一步研究的方向。