李娜娜,胡堅(jiān)劍,顧軍華,張亞娟

(1.河北工業(yè)大學(xué) 人工智能與數(shù)據(jù)科學(xué)學(xué)院,天津 300401; 2.河北省大數(shù)據(jù)計(jì)算重點(diǎn)實(shí)驗(yàn)室,天津 300401)

0 概述

人才評(píng)價(jià)是高校人才管理的基礎(chǔ),也是高校選拔人才和崗位調(diào)整的重要依據(jù),對(duì)高校資源整合和人才隊(duì)伍建設(shè)具有重要意義。目前用于人才評(píng)價(jià)的方法主要有專(zhuān)家經(jīng)驗(yàn)法和人工智能法兩大類(lèi)。專(zhuān)家經(jīng)驗(yàn)法包括模糊綜合評(píng)價(jià)法[1]、層次分析法[2]等,該類(lèi)方法構(gòu)建的評(píng)價(jià)模型簡(jiǎn)單,評(píng)價(jià)結(jié)果具有較大的主觀性和不確定性。人工智能法以BP神經(jīng)網(wǎng)絡(luò)[3]和支持向量機(jī)(Support Vector Machine,SVM)[4]為主。BP神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的自主學(xué)習(xí)能力和復(fù)雜非線性函數(shù)擬合能力,但由于網(wǎng)絡(luò)權(quán)值隨機(jī)初始化,使得網(wǎng)絡(luò)在訓(xùn)練過(guò)程中容易陷入局部最優(yōu),降低了網(wǎng)絡(luò)準(zhǔn)確率。SVM方法能夠較好解決傳統(tǒng)算法中存在的非線性、局部最小值等問(wèn)題,但在處理多分類(lèi)問(wèn)題上存在收斂慢和預(yù)測(cè)精度低等缺點(diǎn)。隨著人才評(píng)價(jià)數(shù)據(jù)的不斷增長(zhǎng),影響評(píng)價(jià)的因素越來(lái)越多,而現(xiàn)階段基于人工智能的評(píng)價(jià)方法多為3層淺層網(wǎng)絡(luò),難以有效處理復(fù)雜輸入和輸出的關(guān)系。近年來(lái),深度學(xué)習(xí)的快速發(fā)展為人才評(píng)價(jià)提供一種新的思路。

深度置信網(wǎng)絡(luò)(Deep Belief Network,DBN)是一種經(jīng)典的深度學(xué)習(xí)方法,由多個(gè)受限玻爾茲曼機(jī)(Restricted Boltzmann Machine,RBM)組合而成,因其優(yōu)秀的特征學(xué)習(xí)能力被廣泛應(yīng)用于解決分類(lèi)[5-7]、預(yù)測(cè)[8-9]等問(wèn)題,并且取得了較好的效果。文獻(xiàn)[10]將自適應(yīng)學(xué)習(xí)率引入到傳統(tǒng)DBN無(wú)監(jiān)督訓(xùn)練中,解決了固定學(xué)習(xí)率難以尋找全局最優(yōu)及訓(xùn)練時(shí)間長(zhǎng)等問(wèn)題,并將其應(yīng)用于圖像分類(lèi)。文獻(xiàn)[11]在RBM中加入交叉熵稀疏懲罰因子,使隱層單元具有整體稀疏性,解決了RBM在訓(xùn)練過(guò)程中出現(xiàn)的特征同質(zhì)化現(xiàn)象。文獻(xiàn)[12]在RBM模型線性單元中加入獨(dú)立高斯分布的連續(xù)值,解決了傳統(tǒng)RBM可視層只接受二進(jìn)制數(shù)的限制,并在時(shí)間序列預(yù)測(cè)問(wèn)題上取得較好的效果。文獻(xiàn)[13]從人腦結(jié)構(gòu)中的膠質(zhì)神經(jīng)細(xì)胞得到啟發(fā),將膠質(zhì)細(xì)胞的運(yùn)作原理運(yùn)用到DBN中,提出的改進(jìn)DBN模型可以更好地提取抽象圖形特征。上述DBN改進(jìn)方法雖然在一定程度上提高了網(wǎng)絡(luò)性能,但仍存在因隨機(jī)初始化權(quán)值導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過(guò)程中容易陷入局部最優(yōu)的問(wèn)題。

本文在傳統(tǒng)DBN模型中引入一種改進(jìn)的和聲搜索(Improved Harmony Search,IHS)算法形成IHS-DBN模型,利用IHS算法的全局尋優(yōu)能力對(duì)DBN的初始權(quán)值進(jìn)行賦值,以加快網(wǎng)絡(luò)收斂速度并提高預(yù)測(cè)準(zhǔn)確率。

1 基礎(chǔ)理論

1.1 深度置信網(wǎng)絡(luò)

DBN是一種概率生成模型,通過(guò)訓(xùn)練神經(jīng)元之間的權(quán)重,可以使整個(gè)神經(jīng)網(wǎng)絡(luò)按照最大概率來(lái)生成訓(xùn)練數(shù)據(jù)[14]。同時(shí),DBN是一種深層神經(jīng)網(wǎng)絡(luò),采用自底向上的傳遞,底層的神經(jīng)元接收原始輸入數(shù)據(jù)向量,通過(guò)增加網(wǎng)絡(luò)的層數(shù)不斷提取原始數(shù)據(jù)的深層特征,頂層神經(jīng)網(wǎng)絡(luò)將提取的特征用作網(wǎng)絡(luò)輸出。DBN結(jié)構(gòu)如圖1所示。DBN是由多個(gè)RBM和一層反向傳播(Back Propagation,BP)網(wǎng)絡(luò)構(gòu)成[15],其中,w為RBM顯層與隱層之間的權(quán)值,hn為第n層隱層各神經(jīng)元的狀態(tài),vn為第n層顯層各神經(jīng)元的狀態(tài)。

圖1 DBN結(jié)構(gòu)

1.1.1 受限玻爾茲曼機(jī)

RBM是隨機(jī)神經(jīng)網(wǎng)絡(luò)模型,單個(gè)的RBM由顯層(v)和隱層(h)構(gòu)成,每層有若干個(gè)節(jié)點(diǎn),不同層節(jié)點(diǎn)之間完全連接,同一層中的節(jié)點(diǎn)無(wú)連接[16],RBM采用無(wú)監(jiān)督的方式訓(xùn)練,其能量公式如式(1)所示。

(1)

其中,θ={w,a,b}是模型參數(shù),vi和hj分別表示顯層第i個(gè)節(jié)點(diǎn)的狀態(tài)和隱層第j個(gè)節(jié)點(diǎn)的狀態(tài),w是顯層與隱層之間的權(quán)重矩陣,ai和bj分別是顯層和隱層的偏置,m和n分別為隱層和顯層神經(jīng)元個(gè)數(shù)。

該模型顯層節(jié)點(diǎn)和隱層節(jié)點(diǎn)的聯(lián)合概率分布公式如式(2)所示。

(2)

根據(jù)貝葉斯公式,可推導(dǎo)出可見(jiàn)單元和隱含單元的激活概率分別如式(3)、式(4)所示。

(3)

(4)

其中,f為Sigmoid激活函數(shù)。RBM模型學(xué)習(xí)的標(biāo)準(zhǔn)算法是對(duì)比散度(Contrastive Divergence,CD)算法,學(xué)習(xí)目標(biāo)是降低模型整體能量。算法參數(shù)更新公式如式(5)～式(7)所示。

(wij)n=(wij)n-1+ε(〈vihj〉data-〈vihj〉model)

(5)

(ai)n=(ai)n-1+ε(〈vi〉data-〈vi〉model)

(6)

(bj)n=(bj)n-1+ε(〈hj〉data-〈hj〉model)

(7)

其中,ε為學(xué)習(xí)率,〈·〉data表示原輸入值,〈·〉model表示輸入的重構(gòu)值。

1.1.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)主要對(duì)RBM預(yù)訓(xùn)練過(guò)程中提取的特征向量進(jìn)行分類(lèi),并計(jì)算分類(lèi)結(jié)果與期望結(jié)果之間的誤差,通過(guò)反向傳播將誤差逐層回傳并調(diào)整DBN的參數(shù)。在傳播過(guò)程中通過(guò)每層δ的值向下傳遞修改網(wǎng)絡(luò)權(quán)值。

在輸出層中,第i個(gè)節(jié)點(diǎn)的輸出為oi,期望輸出為di,δ計(jì)算公式如式(8)所示。

δi=oi(1-oi)(di-oi)

(8)

(9)

DBN各層權(quán)值更新公式如式(10)所示。

(10)

1.2 和聲搜索算法

和聲搜索(Harmony Search,HS)算法是一種元啟發(fā)式算法[17],該算法模擬音樂(lè)創(chuàng)作原理,在音樂(lè)創(chuàng)作中,樂(lè)師通過(guò)不斷調(diào)整樂(lè)隊(duì)中各樂(lè)器的音調(diào),最終達(dá)到和聲狀態(tài)。HS算法具有概念簡(jiǎn)單、參數(shù)少、尋優(yōu)能力強(qiáng)等優(yōu)點(diǎn)[18],可應(yīng)用于神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化[19-20]等領(lǐng)域。HS算法的主要步驟如下:

1)初始化算法參數(shù)。參數(shù)包括和聲記憶庫(kù)大小(HMS)、和聲記憶庫(kù)選擇概率(HMCR)、音調(diào)調(diào)整步長(zhǎng)(BW)、音調(diào)調(diào)整概率(PAR)和迭代次數(shù)(N)。

2)確定優(yōu)化目標(biāo)函數(shù)。

3)初始化和聲記憶矩陣。從X的解空間中隨機(jī)生成HMS個(gè)和聲X1,X2,…,XHMS放入和聲記憶庫(kù),并計(jì)算每個(gè)和聲的f(X)值,和聲記憶庫(kù)的形式如式(11)所示。

(11)

(12)

(13)

5)更新和聲記憶庫(kù)。計(jì)算f(Xnew),若f(Xnew)

6)檢查算法是否終止。重復(fù)步驟4、步驟5,直至迭代次數(shù)達(dá)到N。

2 基于IHS算法的深度置信網(wǎng)絡(luò)模型

2.1 改進(jìn)的和聲搜索算法

在原始的和聲搜索算法中,主要通過(guò)兩種方式產(chǎn)生新和聲:1)在解空間隨機(jī)生成;2)從和聲記憶庫(kù)中選取。這兩種方式都通過(guò)BW對(duì)音調(diào)進(jìn)行調(diào)整優(yōu)化[21],因此音調(diào)調(diào)整在HS算法搜索機(jī)制中起著至關(guān)重要的作用。

在原始HS算法搜索過(guò)程中,如果采用較小的BW值,則新和聲的產(chǎn)生集中在一個(gè)較小的區(qū)域,使算法容易陷入局部最優(yōu),并且在搜索初期,和聲記憶庫(kù)的解向量多樣性不足,而如果采用較大的BW值,則有利于算法跳出局部最優(yōu),但后期的局部搜索能力不足,不利于算法在局部區(qū)域精細(xì)搜索,因此固定的BW值將會(huì)導(dǎo)致算法的整體性能下降。針對(duì)該問(wèn)題,為有效提高HS算法的搜索能力,在粒子群智能優(yōu)化概念的啟發(fā)下,本文提出一種全局自適應(yīng)調(diào)整算法。該算法利用粒子群優(yōu)化算法的學(xué)習(xí)策略,其中和聲記憶庫(kù)中的最優(yōu)和聲相當(dāng)于全局最優(yōu)和聲,和聲記憶庫(kù)中的最差和聲相當(dāng)于目前搜索到的最優(yōu)和聲,充分利用最優(yōu)和最差和聲信息,提高算法學(xué)習(xí)效率。同時(shí),該算法提出一種新的和聲微調(diào)規(guī)則,以某種概率選擇在同一維度上最優(yōu)和聲和最差和聲與被選擇的和聲之差作為音調(diào)帶寬。該規(guī)則使得音調(diào)帶寬在算法搜索過(guò)程中自適應(yīng)變化,既滿足算法早期需要增加解向量多樣性的要求,又能提高算法后期的局部搜索能力,使算法收斂到更接近最優(yōu)解。實(shí)現(xiàn)方式如式(14)所示。

(14)

在迭代初期,所有和聲向量在解空間中廣泛分布,種群多樣性良好,β值較大,和聲進(jìn)行微調(diào)時(shí)更趨向于全局最優(yōu)和聲進(jìn)行調(diào)整,有利于快速搜索更好的和聲向量。在迭代中期,β固定為0.5,利用最優(yōu)自適應(yīng)調(diào)整可以在全局最優(yōu)和聲附近搜索更好的和聲音調(diào),并且最差自適應(yīng)調(diào)整可以作為防止算法陷入局部最優(yōu)的一個(gè)補(bǔ)充。在迭代后期,和聲比較接近于最優(yōu)和聲,β設(shè)置較小,和聲趨向于最差和聲調(diào)整,擴(kuò)大搜索范圍,尋找更接近于全局最優(yōu)的和聲。

基于上述考慮,將β值設(shè)置為隨迭代次數(shù)動(dòng)態(tài)變化,表達(dá)式如式(15)所示。

(15)

其中,k為當(dāng)前迭代次數(shù),N為最大迭代次數(shù)。β值隨迭代次數(shù)的變化情況如圖2所示。

圖2 β值隨迭代次數(shù)的變化

算法1IHS算法

輸入記憶庫(kù)X={X1,X2,…,XHMS},解向量維數(shù)D,最大迭代次數(shù)N,音調(diào)選取概率HMCR

輸出最優(yōu)和聲Xbest

1.for i=1 to HMS do

2.for j=1 to D do //循環(huán)生成新的和聲

4.Calculate f(xi)

5.end for

6.n=0,while n

7.for j=1 to D do

8.if rand()≤HMCR then

10.Calculate β;//通過(guò)式(15)計(jì)算β值

11.if and()≤β then

13.else

15.end if

16.else

18.end if

19.end for

20.if f(Xbest)

21.Xworst=Xbest;

22.end if

23.g=g+1;

24.end while

25.return Xbest

2.2 IHS-DBN模型原理

DBN是由多個(gè)RBM組成的模型,每個(gè)RBM包含一組輸入單元,通過(guò)貪婪逐層訓(xùn)練的方法學(xué)習(xí)更深層次的特征?；谠撃Ｐ徒Y(jié)構(gòu),本文將IHS算法引入到DBN中提出一種基于IHS算法的DBN(IHS-DBN),通過(guò)IHS搜索得到RBM的初始權(quán)值,然后利用CD算法對(duì)輸入數(shù)據(jù)進(jìn)行訓(xùn)練得到隱層并重構(gòu)顯層,將隱層的輸出作為下一個(gè)RBM的輸入,層層訓(xùn)練網(wǎng)絡(luò),最終得到一個(gè)深層次的DBN模型。IHS-DBN算法步驟如下:

1)初始化算法1參數(shù)。

2)確定優(yōu)化目標(biāo)函數(shù)及解的搜索范圍。采用RBM的平均重構(gòu)誤差函數(shù)構(gòu)造目標(biāo)函數(shù),定義如式(16)所示。

(16)

3)初始化HHM并記錄每個(gè)和聲對(duì)應(yīng)的目標(biāo)函數(shù)值。

4)通過(guò)算法1迭代搜索直到滿足停止條件,選擇一組全局最優(yōu)解初始化第一個(gè)RBM的權(quán)值。

5)使用CD算法對(duì)第一個(gè)RBM進(jìn)行特征學(xué)習(xí)訓(xùn)練,并將學(xué)習(xí)到的特征作為下一個(gè)RBM的輸入特征,重復(fù)步驟1～步驟4直到所有RBM訓(xùn)練完成。

6)使用所有RBM的權(quán)值和偏置作為整個(gè)網(wǎng)絡(luò)的初始參數(shù),利用梯度下降法微調(diào)整個(gè)IHS-DBN模型。

為更加直觀地描述IHS-DBN的訓(xùn)練過(guò)程,給出具體的優(yōu)化流程,如圖3所示。

圖3 基于IHS算法的DBN模型優(yōu)化流程

2.3 模型性能驗(yàn)證

為驗(yàn)證IHS-DBN模型的性能,本文在Window 10(64位)操作系統(tǒng)、Intel Core i5-5200U CPU @3.6 GHz、8 GB RBM、Python3.5環(huán)境下,采用MNIST標(biāo)準(zhǔn)手寫(xiě)體庫(kù)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),樣本數(shù)據(jù)中包含0～9共10個(gè)阿拉伯?dāng)?shù)字的手寫(xiě)圖像。實(shí)驗(yàn)中將樣本數(shù)據(jù)歸一化處理后,圖像大小為28像素×28像素,并以標(biāo)準(zhǔn)灰度圖進(jìn)行存儲(chǔ),共包含60 000個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試樣本。為保證實(shí)驗(yàn)的高效性和準(zhǔn)確性,實(shí)驗(yàn)過(guò)程中采用小批量數(shù)據(jù)模式,批處理大小為100。

2.3.1 實(shí)驗(yàn)參數(shù)設(shè)置

本文實(shí)驗(yàn)主要為驗(yàn)證HS算法與IHS算法對(duì)DBN的優(yōu)化效果,因此,將兩種算法都在相同的DBN網(wǎng)絡(luò)中進(jìn)行優(yōu)化。DBN的輸入層節(jié)點(diǎn)數(shù)為784,網(wǎng)絡(luò)包含兩個(gè)隱層,其節(jié)點(diǎn)數(shù)為100～500,輸出層為L(zhǎng)ogistic分類(lèi)層。兩種算法的和聲記憶庫(kù)大小為50,其中,IHS算法和HS算法的和聲記憶庫(kù)選擇概率均為0.90,音調(diào)調(diào)整概率為0.25,音調(diào)調(diào)整步長(zhǎng)為0.06,迭代次數(shù)為100,權(quán)值W的搜索范圍為[0,1]。

2.3.2 實(shí)驗(yàn)結(jié)果

在固定DBN網(wǎng)絡(luò)結(jié)構(gòu)的前提下,分別用HS算法和IHS算法對(duì)網(wǎng)絡(luò)初始權(quán)值進(jìn)行優(yōu)化選擇,然后在相同環(huán)境下對(duì)不同模型進(jìn)行訓(xùn)練,其中無(wú)監(jiān)督的預(yù)訓(xùn)練迭代次數(shù)設(shè)為50次,有監(jiān)督的微調(diào)訓(xùn)練迭代次數(shù)設(shè)為100次,3種模型在MNIST數(shù)據(jù)集上的分類(lèi)誤差率隨迭代次數(shù)的變化情況如圖4所示。為保證實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)確性,結(jié)果均為10次實(shí)驗(yàn)的平均值。

圖4 MNIST數(shù)據(jù)集分類(lèi)誤差率

由圖4可以看出,隨著迭代次數(shù)的增加,3種模型的分類(lèi)誤差均表現(xiàn)為下降趨勢(shì),IHS-DBN反向傳播迭代次數(shù)在20次后,網(wǎng)絡(luò)開(kāi)始趨于穩(wěn)定,而HS-DBN和DBN模型在迭代次數(shù)達(dá)到50次后才趨于穩(wěn)定,因此在相同網(wǎng)絡(luò)結(jié)構(gòu)下,本文提出的模型收斂速度最快,并且最終模型的誤差率最小。3種模型在MNIST數(shù)據(jù)集上的訓(xùn)練結(jié)果如表1所示。

表1 MNIST數(shù)據(jù)集訓(xùn)練結(jié)果

由表1實(shí)驗(yàn)結(jié)果可知,本文IHS-DBN模型的誤差率為2.87%,相比傳統(tǒng)DBN模型誤差率降低了17.5%,訓(xùn)練時(shí)間縮短14.8%;相比HS-DBN模型誤差率降低了15.3%,訓(xùn)練時(shí)間縮短10.27%,并且本文模型的準(zhǔn)確率和召回率也高于其他兩種模型。

由上述實(shí)驗(yàn)數(shù)據(jù)可以看出,IHS-DBN模型在誤差率、召回率、準(zhǔn)確率和訓(xùn)練時(shí)間上均優(yōu)于DBN模型和HS-DBN模型。相比于DBN模型,IHS-DBN模型通過(guò)IHS算法優(yōu)化網(wǎng)絡(luò)的初始權(quán)值,使網(wǎng)絡(luò)在訓(xùn)練初期就得到一個(gè)較優(yōu)的參數(shù),從而加快網(wǎng)絡(luò)收斂速度,同時(shí)防止模型陷入局部最優(yōu)。相比HS-DBN模型,IHS-DBN模型通過(guò)改進(jìn)HS算法,使用全局自適應(yīng)和聲調(diào)整方式,提高算法局部搜索能力,使結(jié)果更接近于真實(shí)最優(yōu)解,提升了模型整體性能。

3 IHS-DBN在高校人才評(píng)價(jià)中的應(yīng)用

人才評(píng)價(jià)模型主要分為數(shù)據(jù)預(yù)處理、模型訓(xùn)練和評(píng)價(jià)三部分:1)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理,選取出與評(píng)價(jià)相關(guān)的指標(biāo),并對(duì)指標(biāo)進(jìn)行合理量化;2)建立由若干個(gè)RBM和一個(gè)BP網(wǎng)絡(luò)組成的IHS-DBN模型對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行訓(xùn)練;3)利用訓(xùn)練后的模型對(duì)測(cè)試數(shù)據(jù)進(jìn)行評(píng)價(jià)得出評(píng)價(jià)結(jié)果,驗(yàn)證模型性能。

3.1 指標(biāo)體系構(gòu)建

評(píng)價(jià)指標(biāo)體系中的各項(xiàng)指標(biāo)是評(píng)價(jià)高校人才的重要依據(jù),是建立評(píng)價(jià)模型的基礎(chǔ)。本文建立的指標(biāo)體系主要以評(píng)價(jià)對(duì)象的主要活動(dòng)作為切入點(diǎn),分析影響評(píng)價(jià)的各項(xiàng)因素。此外,還參考了現(xiàn)有的高層次人才評(píng)價(jià)方法,結(jié)合從事高校教師評(píng)估的專(zhuān)業(yè)人士的意見(jiàn),在基本情況、教學(xué)情況、科研情況中利用德?tīng)柗品?gòu)建高校人才評(píng)價(jià)的指標(biāo)體系,該指標(biāo)體系包含3個(gè)一級(jí)指標(biāo)、25個(gè)二級(jí)指標(biāo),如表2所示。

表2 評(píng)價(jià)指標(biāo)體系

3.2 數(shù)據(jù)獲取與處理

本文研究采用的人才數(shù)據(jù)來(lái)源于國(guó)內(nèi)一所雙一流重點(diǎn)建設(shè)高校,數(shù)據(jù)包括教師的基本信息、教學(xué)信息和科研信息,經(jīng)過(guò)數(shù)據(jù)清洗,清除不完整數(shù)據(jù)及隱私數(shù)據(jù),只保留與本文評(píng)價(jià)指標(biāo)體系相關(guān)的數(shù)據(jù)。清理后共得到1 260條完整教師數(shù)據(jù)并通過(guò)評(píng)估專(zhuān)家對(duì)其進(jìn)行標(biāo)注評(píng)價(jià)等級(jí)。在訓(xùn)練和測(cè)試網(wǎng)絡(luò)時(shí),從1 260個(gè)樣本數(shù)據(jù)中隨機(jī)抽取1 000個(gè)樣本作為訓(xùn)練樣本,并采用十折交叉檢驗(yàn)方式驗(yàn)證模型的穩(wěn)定性,其余260個(gè)樣本作為測(cè)試數(shù)據(jù)對(duì)模型有效性進(jìn)行驗(yàn)證。網(wǎng)絡(luò)輸入只能是實(shí)值數(shù)據(jù),因此需要對(duì)指標(biāo)體系中的性別、職稱(chēng)、學(xué)歷等定性指標(biāo)進(jìn)行量化處理。本文采用編碼的方式對(duì)其進(jìn)行量化,各指標(biāo)的不同指標(biāo)值對(duì)應(yīng)的編碼如表3所示。

表3 定性指標(biāo)編碼

DBN網(wǎng)絡(luò)在訓(xùn)練過(guò)程中采用Sigmoid函數(shù)作為傳遞函數(shù),該函數(shù)的值域?yàn)閇0,1],因此樣本數(shù)據(jù)輸入到網(wǎng)絡(luò)前需要將所有的樣本數(shù)據(jù)歸一化到[0,1]區(qū)間,計(jì)算方式如式(17)所示。

(17)

其中,Yi為歸一化后的數(shù)據(jù),xi為輸入向量的實(shí)際值,xmax和xmin分別是輸入向量中的最大值和最小值。

為更直觀地反映人才評(píng)價(jià)結(jié)果,本文將結(jié)果分為優(yōu)良中差4個(gè)等級(jí),并將結(jié)果使用4位One-Hot編碼表示,優(yōu)表示為1000,良表示為0100,中表示為0010,差表示為0001。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 性能指標(biāo)

為更好地對(duì)預(yù)測(cè)效果進(jìn)行分析,本文實(shí)驗(yàn)采用均方誤差(Mean Square Error,MSE)評(píng)價(jià)模型性能,MSE定義如式(18)所示。

(18)

其中,n為樣本數(shù),m為輸出節(jié)點(diǎn)個(gè)數(shù),Yij為樣本的網(wǎng)絡(luò)輸出值,Y′ij為樣本的期望輸出值。

3.3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置與分析

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置具體如下:

1)網(wǎng)絡(luò)輸入層和輸出層。將統(tǒng)計(jì)好的性別、年齡、學(xué)歷等25個(gè)指標(biāo)作為輸入,將評(píng)價(jià)結(jié)果優(yōu)良中差4個(gè)等級(jí)作為輸出,因此網(wǎng)絡(luò)輸入層的節(jié)點(diǎn)數(shù)設(shè)置為25,輸出節(jié)點(diǎn)數(shù)設(shè)置為4,模型訓(xùn)練后輸出的最大值對(duì)應(yīng)的評(píng)級(jí)等級(jí)即為評(píng)價(jià)結(jié)果。

2)網(wǎng)絡(luò)隱層層數(shù)和隱層節(jié)點(diǎn)個(gè)數(shù)。DBN是一個(gè)多層深度網(wǎng)絡(luò),隱層層數(shù)直接影響輸入特征的提取能力,理論上認(rèn)為隱層層數(shù)越多,網(wǎng)絡(luò)結(jié)構(gòu)越復(fù)雜,網(wǎng)絡(luò)提取特征能力越強(qiáng),精確度越高。但隨著隱層層數(shù)的增加,訓(xùn)練難度將逐漸增大,收斂速度變慢,因此確定網(wǎng)絡(luò)層數(shù)時(shí)應(yīng)充分考慮多方面的因素。本文通過(guò)實(shí)驗(yàn)對(duì)隱層層數(shù)不同的網(wǎng)絡(luò)結(jié)構(gòu)性能進(jìn)行分析,實(shí)驗(yàn)中為不受隱層節(jié)點(diǎn)數(shù)的影響,將各隱層節(jié)點(diǎn)數(shù)都設(shè)為10,以輸出預(yù)測(cè)數(shù)據(jù)的MSE作為評(píng)價(jià)標(biāo)準(zhǔn),實(shí)驗(yàn)結(jié)果如圖5所示,其中結(jié)果為10次實(shí)驗(yàn)的平均值。

圖5 不同隱層層數(shù)的均方誤差對(duì)比

實(shí)驗(yàn)結(jié)果表明,當(dāng)隱層層數(shù)為2時(shí),測(cè)試結(jié)果的均方誤差最小,因此本文將網(wǎng)絡(luò)設(shè)置為2個(gè)隱層。然后通過(guò)遍歷法來(lái)確定各隱層的節(jié)點(diǎn)個(gè)數(shù),將第一層和第二層節(jié)點(diǎn)數(shù)分別設(shè)為[14,15,16,17,18,19,20]和[8,10,12,14],組合成28種網(wǎng)絡(luò)結(jié)構(gòu),每種網(wǎng)絡(luò)結(jié)構(gòu)單獨(dú)訓(xùn)練,其每種組合的網(wǎng)絡(luò)模型準(zhǔn)確率對(duì)比如圖6所示。其中,橫軸代表第一隱層的神經(jīng)元個(gè)數(shù),縱軸代表每種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行10次實(shí)驗(yàn)的平均評(píng)價(jià)準(zhǔn)確率,不同曲線代表第二隱層中不同神經(jīng)元數(shù)的準(zhǔn)確率變化,通過(guò)對(duì)比不同組合發(fā)現(xiàn),當(dāng)DBN的兩層隱層節(jié)點(diǎn)數(shù)分別為16和10時(shí),準(zhǔn)確率最高,模型性能達(dá)到最優(yōu),因此本文最終網(wǎng)絡(luò)結(jié)構(gòu)的輸入層、兩層隱層和輸出層的神經(jīng)元個(gè)數(shù)分別為25、16、10和4。

圖6 不同組合的隱層神經(jīng)元準(zhǔn)確率對(duì)比

3.3.3 結(jié)果分析

為驗(yàn)證本文評(píng)價(jià)模型的有效性,將其與傳統(tǒng)DBN、BP人工神經(jīng)網(wǎng)絡(luò)和SVM模型進(jìn)行比較,每種模型都使用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練。DBN網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)與IHS-DBN結(jié)構(gòu)參數(shù)相同,無(wú)監(jiān)督訓(xùn)練的學(xué)習(xí)率為0.5,有監(jiān)督訓(xùn)練的學(xué)習(xí)率為0.1,BP人工神經(jīng)網(wǎng)絡(luò)設(shè)置為單隱層結(jié)構(gòu),隱層節(jié)點(diǎn)的個(gè)數(shù)先通過(guò)經(jīng)驗(yàn)公式初步確定,再通過(guò)枚舉法最終確定為10個(gè),即網(wǎng)絡(luò)結(jié)構(gòu)為25-10-4,學(xué)習(xí)率設(shè)置為0.5,SVM采用一對(duì)多的方法來(lái)處理多分類(lèi)問(wèn)題,核函數(shù)為徑向基核函數(shù),并利用粒子群優(yōu)化算法尋找最優(yōu)的懲罰因子C為100,參數(shù)σ為5.8。4種人才評(píng)價(jià)模型的實(shí)驗(yàn)結(jié)果對(duì)比如表4所示。為減少偶然性,實(shí)驗(yàn)結(jié)果均為執(zhí)行10次實(shí)驗(yàn)的平均值。

表4 不同人才評(píng)價(jià)模型實(shí)驗(yàn)結(jié)果對(duì)比

由表4數(shù)據(jù)可知,本文IHS-DBN模型的準(zhǔn)確率比BPANN、SVM、DBN模型分別提升了16.4%、7.3%、3.6%。相比于BPANN和SVM模型,IHS-DBN模型充分挖掘評(píng)價(jià)指標(biāo)數(shù)據(jù)的深層特征,將輸入的25個(gè)指標(biāo)抽象成10個(gè)指標(biāo)進(jìn)行評(píng)估,使得網(wǎng)絡(luò)擬合能力優(yōu)于淺層結(jié)構(gòu)。相比于傳統(tǒng)DBN模型,雖然網(wǎng)絡(luò)結(jié)構(gòu)相同,但I(xiàn)HS-DBN模型的擬合精度高于DBN模型,這是因?yàn)镮HS-DBN模型利用IHS算法對(duì)網(wǎng)絡(luò)的初始權(quán)值進(jìn)行優(yōu)化,加快了預(yù)訓(xùn)練的收斂速度,并防止訓(xùn)練陷入局部最優(yōu),從而提升模型性能,而DBN模型通過(guò)隨機(jī)方法對(duì)權(quán)值進(jìn)行初始化,未經(jīng)過(guò)有效優(yōu)化進(jìn)行訓(xùn)練,導(dǎo)致樣本數(shù)據(jù)的擬合精度較差。此外,IHS-DBN和DBN的網(wǎng)絡(luò)結(jié)構(gòu)比BPANN和SVM復(fù)雜,需要通過(guò)無(wú)監(jiān)督訓(xùn)練和微調(diào)訓(xùn)練來(lái)完成模型的整個(gè)訓(xùn)練過(guò)程,因此訓(xùn)練時(shí)間較長(zhǎng),但由于人才評(píng)價(jià)并不需要實(shí)時(shí)的評(píng)價(jià),因此通過(guò)增加訓(xùn)練時(shí)間來(lái)獲得更高的評(píng)價(jià)精度是可以被接受的。

為驗(yàn)證IHS-DBN模型在訓(xùn)練過(guò)程中的優(yōu)勢(shì),對(duì)BPANN、DBN、IHS-DBN模型在相同迭代次數(shù)下的準(zhǔn)確率進(jìn)行對(duì)比,結(jié)果如圖7所示。為保證3種模型均收斂,迭代次數(shù)設(shè)為200。由圖7可知,隨著迭代次數(shù)的增加,3種模型的評(píng)價(jià)性能均表現(xiàn)為上升趨向,這表明隨著訓(xùn)練次數(shù)增多,模型參數(shù)不斷優(yōu)化。然而,3種模型的性能雖然都表現(xiàn)為上升趨勢(shì),但變化趨勢(shì)各不相同,在迭代30次之前,準(zhǔn)確率相差不大,但隨著迭代次數(shù)的增加,3種模型準(zhǔn)確率之間的差距被逐漸拉大,IHS-DBN模型在迭代到100次時(shí),變化趨勢(shì)趨于穩(wěn)定,DBN模型在迭代到140次時(shí),變化趨勢(shì)趨于穩(wěn)定,而B(niǎo)PANN模型的變化趨勢(shì)在迭代達(dá)到190次才開(kāi)始趨于穩(wěn)定。這表明在相同的迭代次數(shù)下,本文IHS-DBN模型評(píng)價(jià)性能的提升速度明顯要優(yōu)于其他模型。

圖7 3種模型人才評(píng)價(jià)準(zhǔn)確率對(duì)比

4 結(jié)束語(yǔ)

本文提出一種優(yōu)化的深度置信網(wǎng)絡(luò)模型IHS-DBN,并將其應(yīng)用于高校人才評(píng)價(jià)問(wèn)題中,與BPANN和SVM評(píng)價(jià)模型相比,IHS-DBN模型通過(guò)無(wú)監(jiān)督訓(xùn)練的方式充分提取評(píng)價(jià)指標(biāo)的特征,并結(jié)合有監(jiān)督訓(xùn)練微調(diào)整個(gè)模型,較好地處理復(fù)雜評(píng)價(jià)指標(biāo)與評(píng)價(jià)結(jié)果的映射關(guān)系,從而提高模型性能。與DBN評(píng)價(jià)模型相比,IHS-DBN模型利用IHS算法初始化DBN的權(quán)值,既解決了DBN模型因隨機(jī)初始化權(quán)值易陷入局部最優(yōu)的問(wèn)題,又加快了模型收斂速度,進(jìn)一步提高模型性能。實(shí)驗(yàn)結(jié)果表明,IHS-DBN模型得到的評(píng)價(jià)結(jié)果更接近于真實(shí)情況,對(duì)高校人才評(píng)價(jià)具有參考價(jià)值。下一步將從提高網(wǎng)絡(luò)訓(xùn)練速率的角度出發(fā)對(duì)IHS-DBN模型進(jìn)行優(yōu)化,以期在保證模型準(zhǔn)確率的同時(shí)進(jìn)一步提高學(xué)習(xí)效率。