張 睿，白曉露，趙 娜，李 吉，潘理虎，陳立潮

(太原科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030024)

0 引 言

綜合能力評價是研究生研究能力的衡量依據(jù)，建立一套科學(xué)的研究生綜合能力評價體制，對革新教學(xué)評價方式、改善研究生考核全面性和準(zhǔn)確性、助力高等學(xué)?？茖W(xué)研究范式的轉(zhuǎn)型升級以及增強研究生的專業(yè)綜合素養(yǎng)具有重要意義。

現(xiàn)階段關(guān)于研究生能力評價工作的研究已經(jīng)取得一些成效：Ince等[1]將模糊層次分析法與遺傳算法相結(jié)合，開發(fā)了一種智能問題評價與選擇軟件，為教育評估提供高質(zhì)量的測試表；Fei等[2]以模糊綜合評價法為基礎(chǔ)，建立學(xué)生社會意識評價模型，為責(zé)任意識教育和培養(yǎng)提供決策依據(jù)；陳瑩[3]采用層次分析法構(gòu)建了創(chuàng)業(yè)意識、創(chuàng)業(yè)品質(zhì)和創(chuàng)業(yè)技能等大學(xué)生創(chuàng)新能力評價指標(biāo)，為創(chuàng)新創(chuàng)業(yè)能力的績效評價提供借鑒；劉佳[4]采用基于LM算法以及BP神經(jīng)網(wǎng)絡(luò)評價模型對40組大學(xué)生科研能力樣本進(jìn)行分類評估，準(zhǔn)確率達(dá)到了92.5%；張永梅等[5]采用模糊神經(jīng)網(wǎng)絡(luò)設(shè)計實現(xiàn)了程序設(shè)計能力、實踐與創(chuàng)新能力評價方法；Feng Xiang等[6]提出一種基于長短時記憶注意機(jī)制和注意機(jī)制的學(xué)業(yè)情緒分類算法，在測試集上準(zhǔn)確率達(dá)71%；張毅等[7]利用神經(jīng)網(wǎng)絡(luò)調(diào)節(jié)學(xué)生綜合能力評價隸屬函數(shù)，極大提高了運算效率。

綜上所述，能力評價的研究多聚焦在層次分析法、專家打分法、模糊評價法等賦權(quán)方法的優(yōu)化[8,9]，評價因素特征信息相對獨立且評價模型缺乏自適應(yīng)性。由此本文開展基于組合賦權(quán)與模型自優(yōu)化的能力評價的研究。構(gòu)建出能夠反映研究生主、客觀綜合能力的評價體系，并提出P-TMVGG自適應(yīng)網(wǎng)絡(luò)模型實現(xiàn)合理有效的能力評價，在保證綜合評價體系主客觀評價指標(biāo)科學(xué)配比的同時，也有效提高研究生各類綜合能力評價性能。

1 綜合能力評價體系構(gòu)建

科學(xué)、可靠的評價體系是實現(xiàn)智能評價的前提。為進(jìn)一步提高現(xiàn)階段研究生研究能力評價的主客觀綜合性、可靠性，本文提出以最小相對信息熵原理進(jìn)行評價體系主、客觀組合賦權(quán)，同時在模糊系統(tǒng)基礎(chǔ)上,結(jié)合了定性描述與定量評價改進(jìn)隸屬度矩陣，以期進(jìn)一步優(yōu)化評價過程中的主、客觀評價指標(biāo)的科學(xué)配比和評定。構(gòu)建綜合能力評價體系流程如圖1所示。

圖1 綜合能力評價體系流程

1.1 評價指標(biāo)建立與組合賦權(quán)

指標(biāo)體系的建立為能力評價收集對象可表現(xiàn)信息，給權(quán)重的確定以及結(jié)果的量化一個可用的初始數(shù)據(jù)。構(gòu)建如U={u1,u2,…,un} 此類指標(biāo)集合，u1,u2,…,un代表一級指標(biāo)，且u1,u2,…,un可細(xì)化為 {u11,u12,…u1k,u21,u22,…u2k,…,un1,un2,…unk} 此類二級指標(biāo)。

主客觀組合賦權(quán)將各指標(biāo)重要程度量化，保證評價流程的可靠性。本文主觀權(quán)重的計算先運用層次分析法[5]分別求得多位領(lǐng)域?qū)＜业臋?quán)重判斷值，再結(jié)合整合灰色關(guān)聯(lián)度方法對所得多個權(quán)重判斷值進(jìn)行匯總?？陀^權(quán)重的計算則利用變異系數(shù)法[10]進(jìn)行計算，最后利用最小相對信息熵原理[7,11]求出組合權(quán)重。

其中，整合灰色關(guān)聯(lián)度分析方法計算方法與步驟如下：

(1)構(gòu)造多位領(lǐng)域?qū)＜覚?quán)重綜合矩陣

領(lǐng)域?qū)＜覚?quán)重的綜合矩陣形式如式(1)，式中，anm指第m個專家對第n個指標(biāo)的權(quán)重判斷數(shù)據(jù)，也即該專家經(jīng)過層次分析法得到的全體單個判斷矩陣的合成權(quán)重

(1)

(2)確定對照數(shù)據(jù)序列A0及相對距離Di0

A0=(a10,a20,…，an0)T

(2)

式中：a10=a20=…=an0=max{a11,…,a1m;a21,…,a2m;…;an1,…,anm}。

(3)求取綜合能力評價指標(biāo)賦權(quán)體系中主觀權(quán)重

求解出綜合能力評價指標(biāo)體系主觀權(quán)重系數(shù)ωai(i=1,2,…n) 后，根據(jù)構(gòu)建評價指標(biāo)體系所制定的評分細(xì)則收集研究生關(guān)于各類指標(biāo)原始數(shù)據(jù)應(yīng)用變異系數(shù)法進(jìn)行指標(biāo)權(quán)重體系中客觀權(quán)重的計算，求得綜合能力評價指標(biāo)體系客觀權(quán)重系數(shù)ωbi,(i=1,2,…,n)。

結(jié)合綜合能力評價指標(biāo)體系中各指標(biāo)因子的主觀權(quán)重ωai和客觀權(quán)重ωbi可利用最小信息熵原理得到對應(yīng)的綜合權(quán)重ωi,(i=1,2,…n)， 即綜合能力評價指標(biāo)體系的最終權(quán)重系數(shù)。

1.2 模糊評價結(jié)果量化

綜合評分將取得的綜合能力評價結(jié)果直觀體現(xiàn)，為之后智能評價工作提供合理的數(shù)據(jù)集。具體步驟如下：

(1)確定評語集以及模糊權(quán)重向量P

以能力評價對象和指標(biāo)因素為基礎(chǔ)，確定出評語集V={v1,v2,…,vn}， 本文中評價語句設(shè)定為V={優(yōu)，良，中，差}。 模糊權(quán)重向量P即為綜合能力評價指標(biāo)權(quán)重體系最終得到的綜合權(quán)重ωi。

(2)確定模糊變換矩陣R

由于本文構(gòu)建的指標(biāo)包含定性指標(biāo)和定量指標(biāo)，針對不同的指標(biāo)類型，本文給出了不同的隸屬函數(shù)確定方法。對于定性指標(biāo)的處理：采用模糊統(tǒng)計法確定隸屬度函數(shù)，邀請m位領(lǐng)域?qū)＜覍υu價對象關(guān)于體系中定性指標(biāo)根據(jù)n個評語等級分別進(jìn)行評價，評價后對結(jié)果進(jìn)行綜合統(tǒng)計，據(jù)式rij=mij/m計算評價對象對應(yīng)于指標(biāo)Ui的隸屬度rij， 式中m為專家個數(shù)，mij表示指標(biāo)Ui隸屬于該評價等級的專家人數(shù)。可得定性指標(biāo)模糊映射矩陣R1ij=(ri1,ri2,……rin)。 對于定量指標(biāo)的處理：由于體系中定量指標(biāo)全部屬極大型指標(biāo)，隸屬度采用指派法確定。對該類指標(biāo)隸屬度函數(shù)定義如式(3)。收集研究生各項指標(biāo)得分?jǐn)?shù)據(jù)歸一化處理后確定評價標(biāo)準(zhǔn)參數(shù)為：a1=0.1，a2=0.4，a3=0.6，a4=0.8。 將標(biāo)準(zhǔn)參數(shù)帶入隸屬度函數(shù)后將實際值代入函數(shù)即求得指標(biāo)隸屬度ui， 進(jìn)而得到定量指標(biāo)模糊映射矩陣R2ij=(ri1,ri2,……rin)。 將定性與定量指標(biāo)的模糊映射矩陣聯(lián)立構(gòu)造綜合能力的模糊變化矩陣，即指標(biāo)隸屬度矩陣如式(4)所示

(3)

(4)

(3)模糊評價結(jié)果獲取以及分析

在權(quán)重矩陣P和指標(biāo)隸屬度R基礎(chǔ)上，進(jìn)行復(fù)合運算求得各評價對象的最終評價結(jié)果。本文采用的是加權(quán)平均算子，如式(5)所示，b′j表示評價對象隸屬于評語Vj的程度。模糊評價結(jié)果獲取后，采用量化處理的方式對結(jié)果進(jìn)一步描述和分析。量化時，先將評語集V上的各個評價語句賦予相應(yīng)的分值，本文中對應(yīng)評價語句賦予分值為 {優(yōu)=95,良=80,中=65,差=50}， 將分值集合和模糊評價結(jié)果B′采用加權(quán)平均算子進(jìn)行計算，可依式(6)求得評價對象綜合得分G，式中，gj是對V上第j個評價語句賦予的分值

(5)

(6)

2 綜合能力評價方法實現(xiàn)

高效、精準(zhǔn)的智能評價算法是實現(xiàn)綜合能力評價的關(guān)鍵。為了有效改善小樣本條件下，一維離散序列樣本信息豐富度低，數(shù)據(jù)間關(guān)聯(lián)性弱，以及傳統(tǒng)機(jī)器學(xué)習(xí)評價方法特征提取不充分，評價模型人工優(yōu)化耗時費力等問題，本文提出一種基于GASF的自適應(yīng)綜合能力評價方法的研究。該評價方法技術(shù)路線如圖2所示，可分為數(shù)據(jù)預(yù)處理、評價網(wǎng)絡(luò)構(gòu)建及網(wǎng)絡(luò)訓(xùn)練測試。通過數(shù)據(jù)預(yù)處理將評價體系工作的離散指標(biāo)依次處理為一維序列、二維圖像樣本，并進(jìn)行數(shù)據(jù)增強；將增強后的數(shù)據(jù)集投喂入智能優(yōu)化算法搜索得到的最優(yōu)深度網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行訓(xùn)練；最后，通過已訓(xùn)練模型實現(xiàn)對每類樣本精確識別。

圖2 綜合能力評價方法技術(shù)路線

2.1 數(shù)據(jù)預(yù)處理

經(jīng)量化后的原始評價樣本還是離散樣本，雖可以轉(zhuǎn)換成一維連續(xù)序列，增加數(shù)據(jù)相關(guān)性，但所包含的評價特征信息依然較少，特征之間相關(guān)性表達(dá)不充分，同時深度學(xué)習(xí)網(wǎng)絡(luò)對二維數(shù)據(jù)樣本較友好，由此本文利用格拉姆角和場(gramian angular summation field，GASF)算法[12]對評價樣本進(jìn)行空間域變換，將本文評價特征提取聚類問題轉(zhuǎn)化為適用于深度學(xué)習(xí)網(wǎng)絡(luò)的二維圖像處理問題。

(7)

為了進(jìn)一步避免樣本量少、樣本不均衡引起的過擬合現(xiàn)象，以及對深度網(wǎng)絡(luò)泛化能力的影響，本文對二維圖像樣本進(jìn)行數(shù)據(jù)增強處理，即利用各種能夠生成可用圖像的隨機(jī)變換來獲得更多樣本，包含隨機(jī)裁剪、翻轉(zhuǎn)變化、增加噪聲等多種方式，以期提高樣本的多樣性以及模型的泛化性。

2.2 P-TMVGG網(wǎng)絡(luò)模型構(gòu)建

針對能力評價樣本少、淺層CNN網(wǎng)絡(luò)特征提取不充分、網(wǎng)絡(luò)模型調(diào)參數(shù)人為經(jīng)驗性強、調(diào)參過程耗時耗力等問題，本文結(jié)合遷移學(xué)習(xí)利用大樣本量所獲得的知識解決數(shù)據(jù)稀缺、知識稀缺問題的優(yōu)勢[13,14]，以及粒子群優(yōu)化算法(particle swarm optimization，PSO)[15,16]全局尋優(yōu)調(diào)參少、魯棒性好、收斂速度快等特點，構(gòu)建了P-TMVGG網(wǎng)絡(luò)模型。

(1)TMVGG網(wǎng)絡(luò)模型構(gòu)建。本文以VGG-16模型[17,18]為基礎(chǔ)，首先在ImageNet上訓(xùn)練好VGG16模型conv1-conv4的結(jié)構(gòu)和參數(shù)凍結(jié)，再將原模型conv5卷積塊中3個步長均為1的3*3卷積核替換為1*1卷積、3*3卷積與5*5卷積的第三維并聯(lián)結(jié)構(gòu)，使得網(wǎng)絡(luò)中每一層都能學(xué)習(xí)到“稀疏”(3*3、5*5)或“不稀疏”(1*1)的特征。同時采用橫向空間上的疊加來組合各卷積核輸出不同尺度特征，這種并聯(lián)結(jié)構(gòu)采用不同大小的卷積核以獲得不同大小的感受野，較原始模型拓寬了網(wǎng)絡(luò)寬度，豐富了特征提取。

(2)PSO自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)模型優(yōu)化?；赑SO的卷積神經(jīng)網(wǎng)絡(luò)模型自適應(yīng)優(yōu)化流程如Algorithm1偽代碼所示。先初始化TMVGG網(wǎng)絡(luò)改進(jìn)多尺模塊中權(quán)值矩陣和偏置矩陣，根據(jù)PSO算法中各維度搜索范圍更新粒子位置重構(gòu)TMVGG網(wǎng)絡(luò)，訓(xùn)練重構(gòu)好的TMVGG網(wǎng)絡(luò)并利用式(8)計算它在驗證集上的驗證誤差，式中batch為訓(xùn)練批中的樣本量，t(i) 為真實值，y(i) 為預(yù)測值。將f定義為粒子群優(yōu)化算法中的適應(yīng)度函數(shù)，最終結(jié)合迭代參數(shù)結(jié)果，設(shè)計出最優(yōu)P-TMVGG網(wǎng)絡(luò)模型，可有效提高模型優(yōu)化的自適應(yīng)性和評價性能

(8)

Algorithm1: Selection of key parameters in CNN.

Input:

T:the maximum iterations,N:the number of particle

D:the dimensions of each particle (Number of parameters to be optimized in CNN)

c1,c2:the variation factor of the particle swarm

w:the adaptive weight of particle swarm

Initialize a population ofNparticles and define their positions and velocities.

Output:

Xbest:the optimum position of the particle swarm

Fg:optimal fitness of particle swarm

(1)WHILE(k

(2)FOReach particleninN

(3) calculate fitness value,updateXbest

(4)ENDFOR

(5) Select the particle with the best fitness value asFg

(6)FOReach particleninN

(7)FOReach dimensiondinD

(8) calculate velocity according to the equation

(9)vid(k+1)=w*vid(k)+c1*rand1(pid-xid)+c2*rand2(pgd-xid)

(10) update particle position according to the equation

(11)xid(k+1)=xid(k)+vid(k+1)

(12)ENDFOR

(13)ENDFOR

(14)k=k+1

(15)ENDWHILE

(16)RETURNXbest,Fg

3 實驗分析-以太原科技大學(xué)計算機(jī)學(xué)院2017-2019級研究生為例

3.1 數(shù)據(jù)集構(gòu)建

為了驗證本文綜合能力評價方法的適可靠性，項目組以太原科技大學(xué)計算機(jī)學(xué)院2017-2019級研究生為評價對象，依據(jù)相關(guān)領(lǐng)域?qū)＜乙庖娂耙延邢嚓P(guān)文獻(xiàn)[1-7]，結(jié)合主、客觀因素，建立了表1所示的研究生綜合能力評價指標(biāo)體系，其中包含3項一級指標(biāo)，23項二級指標(biāo)。指標(biāo)體系構(gòu)建完成后制定評分細(xì)則用以進(jìn)行客觀權(quán)重ωbi的確定，對定量類指標(biāo)采用終結(jié)性評分，如：英語水平項指標(biāo)評分細(xì)則中，未獲得證書記1分、四級記4分、六級記8分、八級及以上記10分；對定性類指標(biāo)采用形成性評分，如：知識分析能力指標(biāo)評分細(xì)則中，采用李克特量表問卷測試評分。之后基于前文所述以及式(1)、式(2)求得所列指標(biāo)體系中主觀權(quán)重ωai， 并將ωai與ωbi綜合為評價體系最終權(quán)重系數(shù)ωi。 最終所得各層指標(biāo)的權(quán)重向量見表2。

將評價體系最終權(quán)重系數(shù)ωi作為模糊權(quán)重向量，在學(xué)生各指標(biāo)得分基礎(chǔ)上，按照式(3)～式(6)進(jìn)行隸屬度矩陣計算，并得出模糊評價結(jié)果B’以及最終綜合素質(zhì)得分G。最后按照所得綜合評分由所屬區(qū)間進(jìn)行分類處理，取得最終能力評價體系評價結(jié)果。本文中將綜合得分處于評語集

表1 研究生綜合能力評價指標(biāo)

里良(80)-優(yōu)(95)區(qū)間的學(xué)生數(shù)據(jù)給定為A類、處于中-良區(qū)間的數(shù)據(jù)給定為B類、處于差-中區(qū)間的數(shù)據(jù)給定為C類。其中一名學(xué)生的綜合能力評價結(jié)果計算過程如下所列

模糊評價結(jié)果B′1表示該生評價結(jié)果隸屬于評語“優(yōu)”的程度為0.2155。綜合素質(zhì)得分G1表示該學(xué)生屬B類能力評價結(jié)果。最終，匯總得出3屆學(xué)生中含A類數(shù)據(jù)31條，B類數(shù)據(jù)171條，C類數(shù)據(jù)22條，共計224條數(shù)據(jù)。

表2 評價指標(biāo)體系權(quán)重向量

3.2 數(shù)據(jù)集預(yù)處理

圖3 KNN、BP、SVM這3類模型分類效果

經(jīng)轉(zhuǎn)換后，收集到了224張樣本圖片。為避免樣本不平衡引起過擬合現(xiàn)象，利用Keras深度學(xué)習(xí)庫中批量生成器方法對樣本進(jìn)行數(shù)據(jù)增強。其中，隨機(jī)旋轉(zhuǎn)角度參數(shù)設(shè)置為40，其它參數(shù)設(shè)置為0.2。處理邊緣值時，fill_mode

表3 3種評價類型一維序列圖及對應(yīng)GASF圖像

參數(shù)設(shè)置為nearest，當(dāng)進(jìn)行變換時超出邊界的點將根據(jù)本參數(shù)給定的方法進(jìn)行處理。經(jīng)處理，將原先樣本集中A類數(shù)據(jù)大致擴(kuò)充14倍、B類數(shù)據(jù)大致擴(kuò)充3倍、C類數(shù)據(jù)大致擴(kuò)充20倍，每類數(shù)據(jù)都達(dá)到450數(shù)量的樣本集。以本文中A類中某一數(shù)據(jù)樣本為例，經(jīng)多種方式數(shù)據(jù)增強后評價結(jié)果GASF圖像如圖4所示。

3.3 評價分析

圖4 數(shù)據(jù)增強圖像

表4 不同網(wǎng)絡(luò)的評價準(zhǔn)確度對比/%

基于表4分析，對“遷移學(xué)習(xí)+VGG”模型進(jìn)行2.2章節(jié)所述多尺度卷積核改進(jìn)以及自適應(yīng)模型優(yōu)化。PSO參數(shù)尋優(yōu)中，每個粒子的10個維度分別對應(yīng)著模型的10個關(guān)鍵參數(shù)：學(xué)習(xí)率(L_rate)、梯度下降函數(shù)(Op)、改進(jìn)多尺卷積層的3個激活函數(shù)(Act_1、Act_2、Act_3)、訓(xùn)練批次大小(Batch)、改進(jìn)多尺卷積層中4類卷積核通道數(shù)大小(Ke_1、Ke_2、Ke_3、Ke_4)。PSO的主要參數(shù)初始設(shè)置見表5。經(jīng)迭代尋優(yōu)后，最優(yōu)粒子所含10個參量見表6，進(jìn)行3次實驗后，為直觀體現(xiàn)粒子迭代過程，以Ke_1、Ke_2為橫、縱坐標(biāo)，繪制第二次實驗粒子3D迭代圖如圖5所示，粒子適應(yīng)度曲線如圖6所示，各粒子均可按自身位置移動公式迭代尋找到最優(yōu)適應(yīng)度。實驗結(jié)果表明本文采用PSO自適應(yīng)選取CNN參數(shù)防止了網(wǎng)絡(luò)過早陷入局部最優(yōu)，具有較好的自學(xué)習(xí)能力。

表5 PSO的主要參數(shù)初始設(shè)置

表6 PSO優(yōu)化后獲得的最優(yōu)參數(shù)

圖5 粒子迭代3D圖(深色板塊為最優(yōu)適應(yīng)度100)

圖6 粒子適應(yīng)度曲線

經(jīng)優(yōu)化后的P-TMVGG網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，改進(jìn)后的結(jié)構(gòu)有效緩解原型conv5層訓(xùn)練過程中需要學(xué)習(xí)到的參數(shù)將會不斷增加從而導(dǎo)致計算量過大以及出現(xiàn)過擬合的問題。將之前預(yù)訓(xùn)練網(wǎng)絡(luò)模型中卷積層最后一層2,359,296的參數(shù)量減少到了591,872，大約減少了4倍。

圖8是P-TMVGG網(wǎng)絡(luò)評價分類準(zhǔn)確度曲線，可以看出P-TMVGG網(wǎng)絡(luò)對評價結(jié)果樣本的分類效果較好，網(wǎng)絡(luò)模型收斂快且穩(wěn)定，準(zhǔn)確率98.52%。圖9為P-TMVGG評價分類混淆矩陣，表7為P-TMVGG與VGG-16(遷移)在識別精度和單幅圖像測試時間上的對比，可以看出該模型對每類樣本的準(zhǔn)確評價均達(dá)到97%以上，均高于前期實驗結(jié)果，且在單幅圖像測試時間上相對VGG-16網(wǎng)絡(luò)可提高近70%的時間效能，驗證了本文評價方法的高效性。

4 結(jié)束語

本文開展了基于組合賦權(quán)與模型自優(yōu)化的能力評價的研究。通過組合賦權(quán)及模糊系統(tǒng)中隸屬度函數(shù)改進(jìn)實現(xiàn)研究生能力評價的主客觀評價體系的綜合性、可靠性優(yōu)化。同時針對能力評價樣本少、傳統(tǒng)機(jī)器學(xué)習(xí)特征提取不充分、網(wǎng)絡(luò)計算模型優(yōu)化自學(xué)習(xí)能力弱等問題，結(jié)合GASF、遷移學(xué)習(xí)、群智能PSO優(yōu)化算法，給出了具體P-TMVGG網(wǎng)絡(luò)模型及其構(gòu)建方法。最終實現(xiàn)對研究生綜合能力數(shù)據(jù)收集、處理、評價流程化，且對270組3類測試樣本可達(dá)98.52%的準(zhǔn)確率。實例驗證表明本文方法具有可行性和有效性，可為基于離散序列樣本的評價、預(yù)測、診斷等相關(guān)領(lǐng)域提供科學(xué)的理論框架與行為指導(dǎo)。本文方法僅以評價準(zhǔn)確率為計算模型全局尋優(yōu)目標(biāo)，下一步將兼顧計算模型訓(xùn)練效率、精度等其它指標(biāo)開展多目標(biāo)模型自適應(yīng)優(yōu)化方法研究，以期更好地提升評價性能。

圖7 P-TMVGG網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)

圖8 P-TMVGG模型識別準(zhǔn)確率

圖9 P-TMVGG網(wǎng)絡(luò)模型混淆矩陣

表7 P-TMVGG與VGG-16(遷移)識別精度和測試時間對比/%