董 晴,宋 威

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122)

基于粒子群優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)分類(lèi)算法*

董 晴,宋 威

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122)

針對(duì)神經(jīng)網(wǎng)絡(luò)分類(lèi)算法中節(jié)點(diǎn)函數(shù)不可導(dǎo)，分類(lèi)精度不夠高等問(wèn)題，提出了一種基于粒子群優(yōu)化(PSO)算法的深度神經(jīng)網(wǎng)絡(luò)分類(lèi)算法。使用深度學(xué)習(xí)中的自動(dòng)編碼機(jī)，結(jié)合PSO算法優(yōu)化權(quán)值，利用自動(dòng)編碼機(jī)對(duì)輸入樣本數(shù)據(jù)進(jìn)行編解碼，為提高網(wǎng)絡(luò)分類(lèi)精度，以編碼機(jī)本身的誤差函數(shù)和Softmax分類(lèi)器的代價(jià)函數(shù)加權(quán)求和共同作為PSO算法的評(píng)價(jià)函數(shù)，使編碼后的數(shù)據(jù)更加適應(yīng)分類(lèi)器。實(shí)驗(yàn)結(jié)果證明:與其他傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，在郵件分類(lèi)問(wèn)題上，此分類(lèi)算法有更高的分類(lèi)精度。

深度神經(jīng)網(wǎng)絡(luò)； 自動(dòng)編碼機(jī)； 粒子群優(yōu)化算法； 分類(lèi)

0 引 言

近年來(lái)，神經(jīng)網(wǎng)絡(luò)的研究一直受到學(xué)者們的關(guān)注，如感知機(jī)[1]，反向傳播(back propogation,BP)神經(jīng)網(wǎng)絡(luò)[2]，徑向基函數(shù)(radial basis function,RBF)神經(jīng)網(wǎng)絡(luò)及其各種改進(jìn)算法[3～5]等。2006年，Hinton G E教授提出了“深度學(xué)習(xí)”[6]的概念，卷積神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、自動(dòng)編碼機(jī)是深度學(xué)習(xí)中經(jīng)常用到的基礎(chǔ)模塊[7]，并有學(xué)者對(duì)此進(jìn)行了改進(jìn)，如Vincent P等人提出了一種降噪自動(dòng)編碼機(jī)[8]，使網(wǎng)絡(luò)的泛化能力更強(qiáng)。宣森炎等人聯(lián)合卷積和遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行交通標(biāo)志識(shí)別[9]，減少了訓(xùn)練時(shí)間。陽(yáng)武等人將深度信念網(wǎng)絡(luò)應(yīng)用于故障指示器檢測(cè)[10]，識(shí)別正確率高于BP算法和支持向量機(jī)(support vector machine,SVM)算法，可以看出以上神經(jīng)網(wǎng)絡(luò)在分類(lèi)或圖像識(shí)別上有一定的效果，但還存在一些不足：當(dāng)節(jié)點(diǎn)函數(shù)不可導(dǎo)或沒(méi)有梯度信息存在時(shí)無(wú)法使用傳統(tǒng)方法解決權(quán)值優(yōu)化；容易陷入局部最優(yōu)。

針對(duì)上述問(wèn)題，本文提出了一種基于粒子群優(yōu)化(particle swarm optimization,PSO)[11，12]的深度神經(jīng)網(wǎng)絡(luò)分類(lèi)算法(PDNN)。粒子群優(yōu)化 算法可以處理節(jié)點(diǎn)函數(shù)不可導(dǎo)的問(wèn)題，并具有較強(qiáng)的全局優(yōu)化能力，因而,本算法使用PSO算法優(yōu)化自動(dòng)編碼機(jī)的權(quán)值，并與Softmax分類(lèi)器構(gòu)成分類(lèi)算法。首先，利用自動(dòng)編碼機(jī)對(duì)輸入數(shù)據(jù)進(jìn)行編解碼，PSO算法優(yōu)化權(quán)值，評(píng)價(jià)函數(shù)由編碼機(jī)本身的誤差函數(shù)和Softmax分類(lèi)器的代價(jià)函數(shù)加權(quán)求和共同構(gòu)成，以使特征數(shù)據(jù)更加適應(yīng)分類(lèi)器，提高分類(lèi)精度。其次，解碼之后的特征矩陣作為Softmax分類(lèi)器的輸入，使用梯度下降法調(diào)整分類(lèi)器的權(quán)值為了證明本文算法的有效性，在數(shù)據(jù)集Ling-Spam和PU1上驗(yàn)證，與其他傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，此分類(lèi)算法取得較好的實(shí)驗(yàn)效果。

1 相關(guān)工作

1.1 DNN

自動(dòng)編碼機(jī)是DNN的常用基礎(chǔ)模塊，是一種三層神經(jīng)網(wǎng)絡(luò)，包括輸入層L1，隱含層L2和輸出層L3。自動(dòng)編碼機(jī)是一種使輸出等于輸入的無(wú)監(jiān)督學(xué)習(xí)算法，訓(xùn)練樣本集合沒(méi)有類(lèi)別標(biāo)簽，含p個(gè)訓(xùn)練樣本，設(shè)為{x(1),x(2),…,x(i),…x(p)}，其中 ，輸出y=x。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1。

圖1 自動(dòng)編碼機(jī)網(wǎng)絡(luò)結(jié)構(gòu)

隱含藏層L2的輸出滿足

L2=f(W1x+b1)

(1)

y=f(W2L2+b2)

(2)

由于自動(dòng)編碼機(jī)的特殊映射關(guān)系，通常隱含層與輸出層之間的權(quán)值矩陣W2與W1互為轉(zhuǎn)置，b2為隱含層與輸出層之間的偏置向量。樣本數(shù)據(jù)由輸入層到隱含層看作編碼過(guò)程，隱含層到輸出層看作解碼過(guò)程。每一個(gè)訓(xùn)練樣本x先映射到L2，然后再重構(gòu)成y，每個(gè)樣本的誤差函數(shù)為

(3)

總誤差函數(shù)為

(4)

式中m為訓(xùn)練樣本的數(shù)量。

通過(guò)最小化誤差函數(shù)來(lái)優(yōu)化參數(shù)。

1.2 PSO算法

在基本PSO算法中，每一個(gè)粒子的位置均作為所求解問(wèn)題的可行解。

假設(shè)群體P由m個(gè)粒子組成，P=(p1,p2,…,pi,…,pm)，在n維空間中以一定速度搜索，粒子群的第i粒子由三個(gè)n維向量組成，分別為目前位置pi=(pi1,pi2,…,pin),歷史最優(yōu)位置Bi=(bi1,bi2,…,bin),速度vi=(vi1,vi2,…,vin)。

在算法每一次迭代中，每個(gè)粒子的目前位置作為問(wèn)題的可行解被評(píng)價(jià)函數(shù)評(píng)價(jià)。粒子i的歷史最優(yōu)位置稱(chēng)為個(gè)體最優(yōu)解，整個(gè)群體中最好個(gè)體的位置稱(chēng)為全局最優(yōu)解，記為Bg=(bg1,bg2,…,bgn)。在搜索時(shí)，考慮到粒子搜索到的個(gè)體最優(yōu)解和整個(gè)群體內(nèi)搜索到的全局最優(yōu)解，對(duì)于每個(gè)粒子的第d維(1≤d≤n)根據(jù)以下公式來(lái)調(diào)整速度和位置

(5)

(6)

如果vid>Vmax,則vid=Vmax;

如果vid<-Vmax，則vid=-Vmax。

2 基于PSO的DNN分類(lèi)算法

使用PSO算法優(yōu)化編碼機(jī)權(quán)值，在編碼機(jī)的頂層添加分類(lèi)器，為了提高分類(lèi)準(zhǔn)確率，重新設(shè)計(jì)評(píng)價(jià)函數(shù)，在編碼機(jī)的誤差函數(shù)上加入帶權(quán)的分類(lèi)器代價(jià)函數(shù)作為PSO算法的新的評(píng)價(jià)函數(shù)。

設(shè)輸入樣本數(shù)據(jù)集合為P=[p1,p2,…,pi,…,pm]，pi=[x1,x2,…,xn]T，m為樣本個(gè)數(shù)，n為樣本數(shù)據(jù)維數(shù)，將自動(dòng)編碼機(jī)輸入層和隱含層之間的權(quán)值矩陣W1看作一個(gè)粒子，為

式中n為輸入樣本數(shù)據(jù)維數(shù)；p為隱含層神經(jīng)元個(gè)數(shù)。初始化粒子的位置和速度，計(jì)算式(1)，W1轉(zhuǎn)置后，計(jì)算式(2)，若沒(méi)有達(dá)到評(píng)價(jià)函數(shù)值或最大迭代次數(shù)，按照式(5)、式(6)更新粒子的位置和速度，直到位置達(dá)到最優(yōu)，即自動(dòng)編碼機(jī)的權(quán)值調(diào)整到最佳狀態(tài)。

Softmax回歸模型是對(duì)Logistic回歸模型的擴(kuò)展，可以對(duì)多分類(lèi)問(wèn)題分類(lèi)。當(dāng)樣本集合為{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(n))}，m為訓(xùn)練樣本數(shù)量，標(biāo)簽y=1,2,…,k，表示有k個(gè)類(lèi)別。設(shè)p(y=j|x)表示輸入x的情況下，樣本被判為類(lèi)別j的概率。所以,對(duì)于一個(gè)k類(lèi)的分類(lèi)器，輸出是一個(gè)k維的向量(向量的元素和為1)，輸出為

(7)

式中θ為矩陣，矩陣的每一行看作是一個(gè)類(lèi)別所對(duì)應(yīng)分類(lèi)器的參數(shù)，共k行。分類(lèi)器的代價(jià)函數(shù)為

(8)

式中 1{·}為一個(gè)指示性函數(shù)，即大括號(hào)中的值為真時(shí)，該函數(shù)的結(jié)果為1；否則，結(jié)果為0。使用梯度下降法最小化代價(jià)函數(shù)，J(θ)對(duì)θj的偏導(dǎo)為

p(y(i)=j|x(i);θ))]

(9)

θj的更新公式如下

(10)

在實(shí)際使用Softmax算法時(shí)，通常會(huì)給上述代價(jià)函數(shù)增加一個(gè)權(quán)重衰減項(xiàng)來(lái)修改代價(jià)函數(shù)[7]，這個(gè)衰減項(xiàng)會(huì)懲罰過(guò)大的參數(shù)值，則代價(jià)函數(shù)變?yōu)?/p>

(11)

(12)

當(dāng)代價(jià)函數(shù)達(dá)到要求或迭代次數(shù)達(dá)到最大值時(shí)，此分類(lèi)器的參數(shù)固定，對(duì)每一個(gè)樣本分類(lèi)器輸出一個(gè)k維向量，每一維對(duì)應(yīng)一個(gè)類(lèi)別的概率，取最大值為該樣本的類(lèi)別。

自動(dòng)編碼機(jī)的頂層添加Softmax分類(lèi)器后，構(gòu)成一個(gè)深度神經(jīng)網(wǎng)絡(luò)分類(lèi)算法。設(shè)計(jì)思想：利用自動(dòng)編碼機(jī)對(duì)輸入數(shù)據(jù)進(jìn)行編解碼，使用粒子群算法優(yōu)化權(quán)值，Softmax分類(lèi)器的參數(shù)在編解碼過(guò)程中保持固定，不參與粒子群的優(yōu)化，而是編解碼結(jié)束之后使用梯度下降法獨(dú)立調(diào)整，但分類(lèi)器的代價(jià)函數(shù)值作為編碼機(jī)權(quán)值調(diào)整的一個(gè)評(píng)價(jià)值，與編碼機(jī)的誤差函數(shù)一起對(duì)權(quán)值優(yōu)化進(jìn)行指導(dǎo)。加入帶權(quán)的Softmax分類(lèi)器代價(jià)函數(shù)后，評(píng)價(jià)函數(shù)變?yōu)?/p>

C=ηSUMY(x,y)+μJ(θ)

(13)

式中η，μ分別為自動(dòng)編碼機(jī)誤差函數(shù)和Softmax分類(lèi)器代價(jià)函數(shù)的權(quán)重。通常SUMY的值大于J，為了保持平衡，η一般較μ小得多。

當(dāng)特征維數(shù)較大時(shí)，使用自動(dòng)編碼機(jī)可以對(duì)特征降維，當(dāng)特征維數(shù)較小時(shí)，用解碼之后的特征數(shù)據(jù)分類(lèi)，為了使特征數(shù)據(jù)更易區(qū)分，便于分類(lèi)，在原來(lái)的誤差函數(shù)上加入帶有權(quán)重的Softmax分類(lèi)器代價(jià)函數(shù)，不僅可以保持?jǐn)?shù)據(jù)的原有特征性質(zhì)，同時(shí),又可以更好地適應(yīng)分類(lèi)器，提高分類(lèi)精度，因而,協(xié)同指導(dǎo)權(quán)值的調(diào)整過(guò)程，以逼近最優(yōu)權(quán)值。

為了使權(quán)值靠近最優(yōu)位置，首先,對(duì)粒子群進(jìn)行篩選，根據(jù)評(píng)價(jià)函數(shù)選擇優(yōu)秀粒子作為自動(dòng)編碼機(jī)的初始權(quán)值。第一步隨機(jī)產(chǎn)生M個(gè)粒子，由式(13)計(jì)算此M個(gè)粒子的評(píng)價(jià)函數(shù)，依據(jù)評(píng)價(jià)函數(shù)值對(duì)粒子升序排列，選擇前N個(gè)粒子作為PSO算法的初始化粒子。得到初始化粒子后，使用PSO算法優(yōu)化權(quán)值，當(dāng)評(píng)價(jià)函數(shù)滿足條件或迭代次數(shù)達(dá)到最大值，完成自動(dòng)編碼機(jī)的訓(xùn)練。解碼之后的特征矩陣作為Softmax分類(lèi)器的輸入，使用梯度下降法調(diào)整分類(lèi)器的權(quán)值。完整的基于粒子群的DNN學(xué)習(xí)算法流程為：

1)根據(jù)PSO算法的新評(píng)價(jià)函數(shù)篩選優(yōu)秀粒子作為自動(dòng)編碼機(jī)的初始權(quán)值w。

2)初始化粒子群的速度v以及Softmax分類(lèi)器的參數(shù)。

3)輸入訓(xùn)練樣本集X。

4)編碼機(jī)編、解碼，根據(jù)評(píng)價(jià)函數(shù)(13)得到粒子的個(gè)體最優(yōu)解p和粒子群的歷史最優(yōu)解Bg，判斷評(píng)價(jià)函數(shù)是否滿足條件或迭代次數(shù)是否達(dá)到最大值，若是，則結(jié)束權(quán)值優(yōu)化過(guò)程，進(jìn)入步驟(6)；否則，進(jìn)入步驟(5)。

5)使用式(5)、式(6)更新粒子的速度v和位置p，返回步驟(4)。

6)自動(dòng)編碼機(jī)解碼之后的樣本數(shù)據(jù)作為Softmax分類(lèi)器的輸入數(shù)據(jù)，使用梯度下降法調(diào)整分類(lèi)器的參數(shù)。

7)輸出粒子群的歷史最優(yōu)解Bg和分類(lèi)器的參數(shù)，得到最終的DNN的網(wǎng)絡(luò)結(jié)構(gòu)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)將PDNN算法應(yīng)用于垃圾郵件過(guò)濾。采用2個(gè)數(shù)據(jù)集來(lái)驗(yàn)證算法的有效性，分別為L(zhǎng)ing-Spam和PU1數(shù)據(jù)集。Ling-Spam數(shù)據(jù)集共包括2 893封郵件，其中2 412封正常郵件，481封垃圾郵件。在仿真實(shí)驗(yàn)中，隨機(jī)選取其中的1 200封作為數(shù)據(jù)集，包括1 000封正常郵件和200封垃圾郵件；PU1數(shù)據(jù)集共包括1 099封郵件，其中，618封正常郵件，481封垃圾郵件。對(duì)于每一封郵件使用向量空間模型表示，提取文檔內(nèi)詞間關(guān)系構(gòu)造語(yǔ)料庫(kù)詞典，結(jié)合潛在語(yǔ)義特征空間方法，通過(guò)特征抽取方法對(duì)特征進(jìn)行降維。各數(shù)據(jù)集的具體信息如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集

3.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)在Windows7操作系統(tǒng)上運(yùn)行，使用MatlabR2008b開(kāi)發(fā)環(huán)境。在實(shí)驗(yàn)中，PDNN算法的最大迭代次數(shù)為30，Ling-Spam數(shù)據(jù)集中，η為0.000 02，μ為20;PU1數(shù)據(jù)集中，η為0.000 4，μ為60。在算法的步驟(5)中，2個(gè)數(shù)據(jù)集中Softmax分類(lèi)器的參數(shù)設(shè)置相同，最大迭代系數(shù)為800，權(quán)值衰減系數(shù)為0.000 2，調(diào)整步長(zhǎng)為0.13，最小代價(jià)為0.1。PSO算法的參數(shù)設(shè)置：c1=c2=2，從60個(gè)粒子中篩選20個(gè)優(yōu)秀粒子作為初始權(quán)值，PDNN算法和BP算法的實(shí)驗(yàn)結(jié)果為10次實(shí)驗(yàn)的平均值。文本分類(lèi)由2個(gè)指標(biāo)表示：查全率和查準(zhǔn)率，F(xiàn)1值表示查準(zhǔn)率和召回率的綜合情況。

查準(zhǔn)率=分類(lèi)正確的文本數(shù)/實(shí)際分到該類(lèi)的文本數(shù)

召回率=分類(lèi)正確的文本數(shù)/實(shí)際屬于該類(lèi)的文本數(shù)

當(dāng)PSO算法的評(píng)價(jià)函數(shù)僅由編碼機(jī)的誤差函數(shù)構(gòu)成時(shí)(PDNN*算法，做10次實(shí)驗(yàn)取平均值)，與PDNN算法比較的實(shí)驗(yàn)結(jié)果如表2所示。

表2 PDNN算法與PDNN*算法的結(jié)果比較 %

從表2可以看出，在正常郵件的查準(zhǔn)率，垃圾郵件的查準(zhǔn)率和召回率上，PSO算法的評(píng)價(jià)函數(shù)，由編碼機(jī)的誤差函數(shù)和分類(lèi)器的代價(jià)函數(shù)共同構(gòu)成的PDNN算法，比PDNN*算法，均有一定的提高，在Ling-Spam數(shù)據(jù)集上尤為明顯，垃圾郵件的查準(zhǔn)率和召回率分別提高了13.11 %，41.00 %；在PU1數(shù)據(jù)集上，垃圾郵件的查準(zhǔn)率和召回率分別提高了1.97 %，13.34 %。說(shuō)明加入分類(lèi)器的代價(jià)函數(shù)評(píng)價(jià)后，對(duì)編碼機(jī)的編解碼方向有指導(dǎo)作用，使樣本數(shù)據(jù)更適應(yīng)分類(lèi)器，從而得到更好的分類(lèi)結(jié)果。

表3給出了PDNN算法與RBFNN算法，BPNN算法在Ling-Spam和PU1數(shù)據(jù)集上查準(zhǔn)率、召回率和F1的比較。RBFNN算法和BPNN算法均采用Matlab工具箱，在Ling-Spam數(shù)據(jù)集上RBFNN算法的均方誤差為0.05，擴(kuò)展速度為500;BP算法的誤差為0.1，最大迭代次數(shù)200。在PU1數(shù)據(jù)集上RBFNN算法的均方誤差為0.1，擴(kuò)展速度為500；BP算法的誤差為0.1，最大迭代次數(shù)200。

表3 PDNN算法、RBFNN算法和BPNN算法的結(jié)果比較%

實(shí)驗(yàn)結(jié)果表明：不管是在Ling-Spam數(shù)據(jù)集還是在PU1數(shù)據(jù)集上，本文的PDNN算法比傳統(tǒng)的RBFNN算法和BPNN算法的查準(zhǔn)率、召回率和F1值均高，在3種算法中，正常郵件的召回率最高，而垃圾郵件的召回率相對(duì)較低。在實(shí)際生活中，用戶對(duì)于正常郵件和垃圾郵件的態(tài)度不一樣，用戶寧愿多看一封垃圾郵件也不愿意錯(cuò)過(guò)一封正常郵件，所以，雖然垃圾郵件的召回率較低，但是正常郵件的查準(zhǔn)率、召回率的實(shí)驗(yàn)結(jié)果比較符合用戶的意愿。

4 結(jié)束語(yǔ)

提出了基于PSO算法的PDNN，需要提前篩選優(yōu)秀粒子作為自動(dòng)編碼機(jī)的初始權(quán)值，使用PSO算法優(yōu)化編碼機(jī)權(quán)值，在編碼機(jī)的誤差函數(shù)上加入帶權(quán)值的Softmax分類(lèi)器代價(jià)函數(shù)作為PSO算法的評(píng)價(jià)函數(shù)以逼近最優(yōu)權(quán)值。通過(guò)在Ling-Spam和PU1數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果可以看出:PDNN算法具有可行性，有效提高了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)精度，對(duì)比RBFNN算法、BPNN算法有著較好的分類(lèi)效果。

[1] Rosenblatt F.The perceptron:Aprobabilistic model for information storage and organization in the brain[J].Psychological Review,1958,65:386-408.

[2] Werbos P J.Beyond regression:New tools for prediction and analysis in the behavioral sciences [D].Boston:Harvard University,1974.

[3] Vukovic＇N,Miljkovic＇Z.A growing and pruning sequential lear-ning algorithm of hyper basis function neural network for function approximation.[J].Neural Networks the Official Journal of the International Neural Network Society,2013,46(5):210-226.

[4] Platt J.A resource-allocating network for function interpola-tion[J].Neural Computation,1991,3(2):213-225.

[5] Chen Z,Qian P.Application of PSO-RBF neural network in network intrusion detection[C]∥2009 The Third International Symposium on Intelligent Information Technology Application,IITA 2009,IEEE,2009:362-364.

[6] Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[7] 汪海波.基于深度學(xué)習(xí)的人臉識(shí)別方法研究[D].合肥：合肥工業(yè)大學(xué),2014.

[8] Vincent P,Larochelle H,Bengio Y,et al.Extracting and compo-sing robust features with denoising autoencoders[C]∥Proceedings of the 25th International Conference on Machine Learning,New York,2008:1096-1103.

[9] 宣森炎,龔小謹(jǐn),劉濟(jì)林.基于聯(lián)合卷積和遞歸神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別[J].傳感器與微系統(tǒng),2014,33(8):30-33.

[10] 陽(yáng) 武,李 倩,趙繼生,等.深度信念網(wǎng)絡(luò)在故障指示器檢測(cè)中的應(yīng)用[J].傳感器與微系統(tǒng),2015,34(7):155-157.

[11] Kennedy J,Eberhart R.Particle swarm optimization[C]∥Proc of IEEE International Conf on Neural Networks,Piscataway:IEEE,1995:1942-1948.

[12] 龔雪飛,徐 景,孫壽通,等.PSO-BP神經(jīng)網(wǎng)絡(luò)在多元有害氣體檢測(cè)中的應(yīng)用[J].傳感器與微系統(tǒng),2015,34(2):154-156，160.

Deep neural network classification algorithm based on particle swarm optimization*

DONG Qing, SONG Wei

(School of IoT Engineering,Jiangnan University,Wuxi 214122,China)

Aiming at problem that classification precision of neural network algorithm is not very high and node function doesn't have derivate,a new classification algorithm of deep neural network based on particle swarm optimization(PSO) is presented.Use autoencoder of deep study,and combined with PSO algorithm to optimize the weight,coder and decoder for input sample data using autoencoder.In order to improve the classification precision of network,take the error function of autoencoder and cost function of softmax classifier weight sum as evaluation function of PSO algorithm in common,making coded data more adapter to the classifier.The experimental results show that compared with other traditional neural network,the classification algorithm has higher classification precision on Email classification.

deep neural network; autoencoder; particle swarm optimization(PSO) algorithm; classification

10.13873/J.1000—9787(2017)09—0143—04

2016—09—13

中央高校基本科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金資助項(xiàng)目 (JUSRP51635B)

TP 183

A

1000—9787(2017)09—0143—04

董 晴(1991-)，女，碩士，主要研究方向?yàn)樯窠?jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí),E—mail:jiangdadq@163.com。

宋 威(1981-)，男，博士，副教授，主要從事數(shù)據(jù)挖掘、人工智能、機(jī)器學(xué)習(xí)方向研究工作。