姚雪梅，李少波，璩晶磊

(1 a.貴州大學(xué) 現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室；b.機(jī)械工程學(xué)院，貴陽(yáng) 550025；2.中國(guó)科學(xué)院 成都計(jì)算機(jī)應(yīng)用研究所，成都 610041)

?

基于神經(jīng)網(wǎng)絡(luò)和證據(jù)理論的樣本預(yù)測(cè)方法*

姚雪梅1a，李少波1b,2，璩晶磊2

(1 a.貴州大學(xué) 現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室；b.機(jī)械工程學(xué)院，貴陽(yáng) 550025；2.中國(guó)科學(xué)院 成都計(jì)算機(jī)應(yīng)用研究所，成都 610041)

為了滿足某些特殊領(lǐng)域的預(yù)測(cè)精度需求，提出一種基于神經(jīng)網(wǎng)絡(luò)和證據(jù)理論的樣本預(yù)測(cè)方法。該方法通過(guò)統(tǒng)計(jì)學(xué)中的數(shù)據(jù)集Iris花的樣本特征進(jìn)行仿真驗(yàn)證。首先，構(gòu)建神經(jīng)網(wǎng)絡(luò)直接訓(xùn)練和測(cè)試樣本，獲得89.33%的識(shí)別率；其次，利用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值后再對(duì)樣本進(jìn)行訓(xùn)練和測(cè)試，獲得94.66%的識(shí)別率；最后，結(jié)合數(shù)據(jù)融合中的證據(jù)理論進(jìn)一步把識(shí)別率提高到97.33%。實(shí)驗(yàn)表明，該方法具有較高的預(yù)測(cè)精度。

神經(jīng)網(wǎng)絡(luò)；證據(jù)理論；遺傳算法；預(yù)測(cè)

0 引言

隨著大數(shù)據(jù)一詞的風(fēng)靡，大數(shù)據(jù)技術(shù)也被應(yīng)用到了各行各業(yè)中，其中以預(yù)測(cè)較為典型。百度在2014年低調(diào)上線了一款大數(shù)據(jù)產(chǎn)品“百度預(yù)測(cè)”，用戶可以登錄該網(wǎng)站查詢景區(qū)預(yù)測(cè)、電影票房預(yù)測(cè)、流行感冒地區(qū)預(yù)測(cè)、股票走勢(shì)預(yù)測(cè)等信息。百度還以100%的準(zhǔn)確度成功預(yù)測(cè)了2014年世界杯的四分之一決賽。目前，樣本預(yù)測(cè)的方法比較多樣，神經(jīng)網(wǎng)絡(luò)便是其中的一大利器。文獻(xiàn)[1]提出了一種結(jié)合反向傳播神經(jīng)網(wǎng)絡(luò)與樣本熵分析癲癇發(fā)作的實(shí)時(shí)預(yù)測(cè)方法；文獻(xiàn)[2]提出了一種基于灰色神經(jīng)網(wǎng)絡(luò)優(yōu)化組合模型的預(yù)測(cè)方法；文獻(xiàn)[3]構(gòu)建了一種基于最小二乘支持向量機(jī)的智能預(yù)測(cè)模型，并應(yīng)用到了機(jī)載電子設(shè)備費(fèi)用預(yù)測(cè)上；文獻(xiàn)[4]推導(dǎo)了一種基于樣本內(nèi)在特征和規(guī)律性的自組織聚類(lèi)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型；文獻(xiàn)[5]提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)合主成分分析法的多基色顏色預(yù)測(cè)模型。

神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)規(guī)則簡(jiǎn)單，便于計(jì)算機(jī)實(shí)現(xiàn)而得到了廣泛的應(yīng)用，但也由于神經(jīng)網(wǎng)絡(luò)自身的局限使得預(yù)測(cè)精度無(wú)法滿足某些領(lǐng)域的要求。比如，大型機(jī)電設(shè)備故障診斷中，機(jī)電設(shè)備結(jié)構(gòu)復(fù)雜，故障類(lèi)型多且彼此相關(guān)，設(shè)備各組成部件成本昂貴，需要較高的預(yù)測(cè)精度確定故障點(diǎn)；在航天發(fā)射任務(wù)中，對(duì)于衛(wèi)星進(jìn)入預(yù)定軌道的時(shí)間，經(jīng)度緯度等參數(shù)需要精確預(yù)測(cè)，在完成運(yùn)行任務(wù)，墜入大氣層的落地點(diǎn)也需要極高的預(yù)測(cè)精度；類(lèi)似這樣一些特殊的領(lǐng)域，對(duì)于預(yù)測(cè)精度有非常高的標(biāo)準(zhǔn)和要求，引入數(shù)據(jù)融合領(lǐng)域的證據(jù)理論方法可滿足該需求。因此，本文構(gòu)建了一個(gè)用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)，并結(jié)合證據(jù)理論提高精度的預(yù)測(cè)模型[6]，如圖1所示。

圖1 樣本預(yù)測(cè)模型

該模型通過(guò)數(shù)據(jù)采集手段(傳感器、數(shù)據(jù)庫(kù)、人工測(cè)量等)獲得目標(biāo)對(duì)象的數(shù)據(jù)集，并將其分為兩部分，其一用來(lái)訓(xùn)練該模型，其二利用該模型對(duì)其進(jìn)行預(yù)測(cè)。將訓(xùn)練樣本集導(dǎo)入改進(jìn)的神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，待符合訓(xùn)練精度后，導(dǎo)入測(cè)試數(shù)據(jù)執(zhí)行預(yù)測(cè)操作得到識(shí)別率。通過(guò)多次訓(xùn)練測(cè)試，挑選識(shí)別率最高的兩次作為證據(jù)理論合成的基本概率賦值，利用合成公式對(duì)其融合，得到最后的預(yù)測(cè)精度，其流程如圖2所示。

圖2 樣本預(yù)測(cè)流程圖

1 神經(jīng)網(wǎng)絡(luò)

1.1 神經(jīng)元模型

神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的主要組成單元，大量簡(jiǎn)單的神經(jīng)元相互連接在一起，形成具有較強(qiáng)并行能力的神經(jīng)網(wǎng)絡(luò)。圖3展示的是一個(gè)神經(jīng)元模型：

圖3 一個(gè)神經(jīng)元模型

其中，X1～Xn是其他神經(jīng)元傳送來(lái)的輸入信號(hào)，Wij則是從i神經(jīng)元傳送到j(luò)神經(jīng)元的連接權(quán)值，θ表示一個(gè)閾值，則輸入Xi和輸出之間的關(guān)系表示成激活函數(shù)f，即：

yi=f(neti)，即為該神經(jīng)元的輸出。

若用向量表示，則有：

1.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)則是一個(gè)模擬人腦功能的信息處理系統(tǒng)。其常見(jiàn)的網(wǎng)絡(luò)結(jié)構(gòu)分為三類(lèi)：前饋神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)。本文后續(xù)使用的是前饋神經(jīng)網(wǎng)絡(luò)，故以此展開(kāi)介紹。神經(jīng)網(wǎng)絡(luò)通常分為輸入層、隱藏層和輸出層三個(gè)組成部分，其中隱藏層可以是一層，也可以是多層，根據(jù)實(shí)際需要確定。圖4表示了一個(gè)三層的四輸入三輸出的前饋神經(jīng)網(wǎng)絡(luò)。

圖4 前饋神經(jīng)網(wǎng)絡(luò)

該網(wǎng)絡(luò)只在訓(xùn)練過(guò)程產(chǎn)生反饋信號(hào)，在分類(lèi)過(guò)程信息只能向前傳送，直到輸出層。其中第一層是輸入單元，第二層為隱含層，第三層為輸出層。用X表示網(wǎng)絡(luò)的輸入向量，W1、W2、W3表示網(wǎng)絡(luò)各層的連接權(quán)向量，F(xiàn)1、F2、F3表示各層的激活函數(shù)，則第一層的輸出為Y1=F1(XW1)；第二層輸出為Y2=F2(Y1W2)；第三層輸出為Y3=F3(Y2W3)。該網(wǎng)絡(luò)通過(guò)W調(diào)整內(nèi)部神經(jīng)元之間的連接關(guān)系達(dá)到信息處理的目的。將訓(xùn)練數(shù)據(jù)集送入網(wǎng)絡(luò)中，根據(jù)網(wǎng)絡(luò)的實(shí)際輸出結(jié)果和期望值之間的差別來(lái)調(diào)整權(quán)重W，直到對(duì)整個(gè)訓(xùn)練樣本而言，誤差不超過(guò)規(guī)定的閾值；然后將測(cè)試數(shù)據(jù)集導(dǎo)入網(wǎng)絡(luò)，即可得到預(yù)期的輸出結(jié)果。

在神經(jīng)網(wǎng)絡(luò)構(gòu)建過(guò)程中，隱藏層節(jié)點(diǎn)數(shù)是一個(gè)關(guān)注的焦點(diǎn)。如果節(jié)點(diǎn)數(shù)過(guò)少，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和處理信息能力得不到足夠的訓(xùn)練；如果過(guò)多，則會(huì)增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，尤其是硬件實(shí)現(xiàn)，所以，在實(shí)際應(yīng)用中，往往通過(guò)多次實(shí)驗(yàn)的方法來(lái)確定最佳節(jié)點(diǎn)數(shù)。常規(guī)情況下，有以下幾個(gè)經(jīng)驗(yàn)公式可參考[7-9]：(m：隱藏層節(jié)點(diǎn)數(shù)；n：輸入層節(jié)點(diǎn)數(shù)；l：輸出層節(jié)點(diǎn)數(shù)；α：1～10之間的常數(shù))。

m=2n+1

(1)

(2)

m=log2n

(3)

(4)

1.3 神經(jīng)網(wǎng)絡(luò)的優(yōu)劣

神經(jīng)網(wǎng)絡(luò)源自人類(lèi)大腦的神經(jīng)元細(xì)胞，能夠在沒(méi)有導(dǎo)師監(jiān)督教導(dǎo)的情況下自己學(xué)習(xí)、信息歸納和推廣，具有冗余損傷性、意識(shí)性、魯棒性和較高的信息處理效率。但是，神經(jīng)網(wǎng)絡(luò)算法本質(zhì)上屬于梯度下降法，在處理復(fù)雜的目標(biāo)函數(shù)時(shí)存在“鋸齒形現(xiàn)象”、“麻痹現(xiàn)象”，使得算法的訓(xùn)練過(guò)程緩慢，甚至停頓，導(dǎo)致算法低效；從數(shù)學(xué)角度而言，該算法是一種局部搜索的優(yōu)化方法，容易陷入局部最優(yōu)解，使訓(xùn)練失敗。

2 遺傳算法

2.1 遺傳算法簡(jiǎn)介

遺傳算法是一種模擬達(dá)爾文生物進(jìn)化過(guò)程的計(jì)算模型，是由美國(guó)教授J.Holland首次提出，其主要特點(diǎn)是直接對(duì)結(jié)構(gòu)對(duì)象進(jìn)行操作，不存在求導(dǎo)和函數(shù)連續(xù)性的局限；具有全局尋優(yōu)的能力；采用概率化的尋優(yōu)方法，自動(dòng)獲取搜索空間，自適應(yīng)調(diào)整搜索方向，無(wú)需確定規(guī)則，已被廣泛應(yīng)用到人工智能、組合優(yōu)化、機(jī)器學(xué)習(xí)等領(lǐng)域。

2.2 遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的改進(jìn)

遺傳算法通過(guò)模擬大自然優(yōu)勝劣汰的進(jìn)化過(guò)程來(lái)搜索全局最優(yōu)解，能夠克服神經(jīng)網(wǎng)絡(luò)局部最優(yōu)、收斂慢等缺點(diǎn)。因此，采用遺傳算法對(duì)其進(jìn)行優(yōu)化[10]：

首先，對(duì)原始隨機(jī)的權(quán)值W和閾值θ進(jìn)行編碼，產(chǎn)生初始種群；

然后，用遺傳算法對(duì)其進(jìn)行復(fù)制、交叉、變異等操作獲得優(yōu)化的W和θ；

最后，用優(yōu)化的結(jié)果對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試。

3 證據(jù)理論

證據(jù)理論是Dempster提出，Shafer發(fā)展起來(lái)的一種具有處理不確定信息的推理方法，具有直接表達(dá)不確定的能力，滿足比貝葉斯理論更弱的條件，廣泛應(yīng)用于信息融合、目標(biāo)識(shí)別、預(yù)測(cè)分析、決策分析等領(lǐng)域。證據(jù)理論通過(guò)將多個(gè)不確定的證據(jù)按組合規(guī)則進(jìn)行合成以提高證據(jù)的可信度，其組合規(guī)則如下[8]：

假設(shè)有n個(gè)數(shù)據(jù)源，其概率分配函數(shù)為Mi，i=1,2,…n，則對(duì)識(shí)別框架Ω的任意子集A滿足∑M(A)=1,A?Ω，有如下組合規(guī)則：

其中，

4 仿真實(shí)驗(yàn)

以Iris數(shù)據(jù)集作為本文的樣本數(shù)據(jù)，該數(shù)據(jù)集可以在https://en.wikipedia.org/wiki/Iris_flower_data_set上下載得到。有一批Iris花，可以分為3種類(lèi)型，不同類(lèi)型的Iris花的花萼長(zhǎng)度、花萼寬度、花瓣長(zhǎng)度、花瓣寬度會(huì)有差異，現(xiàn)采用本文介紹的方法對(duì)他們進(jìn)行分類(lèi)預(yù)測(cè)：利用已知品種的Iris花的數(shù)據(jù)對(duì)優(yōu)化的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后導(dǎo)入測(cè)試樣本進(jìn)行分類(lèi)預(yù)測(cè)，最后將預(yù)測(cè)值進(jìn)行證據(jù)組合獲得更準(zhǔn)確的Iris花的類(lèi)型。

現(xiàn)將Iris花的數(shù)據(jù)集分成2組，每組各75個(gè)樣本，每種花各有25個(gè)樣本，其中一組作為訓(xùn)練樣本，另外一組作為測(cè)試樣本，為了編碼方便，將Iris花的類(lèi)型編號(hào)為1，2，3，構(gòu)建一個(gè)四輸入(Iris花的四個(gè)特征)三輸出(樣本數(shù)據(jù)屬于某種類(lèi)型的可能性)的前饋神經(jīng)網(wǎng)絡(luò)。其中，隱藏層節(jié)點(diǎn)數(shù)據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)值取10，最大訓(xùn)練次數(shù)為500次，訓(xùn)練精度為0.01，學(xué)習(xí)率為0.01?？紤]到篇幅的限制，只給出訓(xùn)練樣本的15個(gè)，如表1所示，測(cè)試樣本15個(gè)，如表2所示，訓(xùn)練樣本中已知每一個(gè)樣本所屬的類(lèi)型，測(cè)試樣本的類(lèi)型則依據(jù)本文方法預(yù)測(cè)確定。

表1 訓(xùn)練樣本(75個(gè)訓(xùn)練集中的15個(gè))

將訓(xùn)練樣本導(dǎo)入神經(jīng)網(wǎng)絡(luò)，多次訓(xùn)練測(cè)試，得到如圖5所示的收斂圖。

圖5 神經(jīng)網(wǎng)絡(luò)誤差收斂圖

此時(shí)，樣本的識(shí)別率為89.33%，從圖中看出，樣本在訓(xùn)練到100次前后，收斂比較緩慢，之后開(kāi)始急速收斂，并且出現(xiàn)較大幅度的波動(dòng)，直到樣本在253次時(shí)收斂到0.0099365，達(dá)到預(yù)設(shè)的誤差精度。同樣的樣本數(shù)據(jù)導(dǎo)入經(jīng)過(guò)遺傳算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)中，可以得到如圖6所示的收斂圖。

圖6 改進(jìn)的神經(jīng)網(wǎng)絡(luò)誤差收斂圖

從圖中明顯看出，樣本從剛開(kāi)始訓(xùn)練就快速收斂，在訓(xùn)練151次時(shí)已經(jīng)收斂到0.0096181，小于網(wǎng)絡(luò)所要求的誤差精度0.01，并且識(shí)別率達(dá)到94.66%。將該網(wǎng)絡(luò)多次訓(xùn)練，挑選識(shí)別率最高的兩組利用證據(jù)理論進(jìn)行證據(jù)組合，得到更準(zhǔn)確的識(shí)別率97.33%(如果目標(biāo)對(duì)象需要，可以進(jìn)行多組證據(jù)的融合)，如表2所示。

5 結(jié)果分析

從表2的實(shí)驗(yàn)結(jié)果不難看出，神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法的識(shí)別率在整個(gè)測(cè)試集上達(dá)到89.33%，在表2給出的15個(gè)測(cè)試樣本中出錯(cuò)4個(gè)；用遺傳算法優(yōu)化初始的權(quán)值和閾值后再進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試，在測(cè)試集上的識(shí)別率提高到94.66%，在表2給出的15個(gè)測(cè)試樣本中出錯(cuò)2個(gè)；挑選識(shí)別率最高的兩組預(yù)測(cè)值，歸一化處理以后作為證據(jù)采用證據(jù)理論進(jìn)行融合，識(shí)別率進(jìn)一步提高到97.33%，在表2給出的15個(gè)測(cè)試樣本中出錯(cuò)1個(gè)。實(shí)驗(yàn)結(jié)果表明，本文的預(yù)測(cè)模型簡(jiǎn)化了樣本預(yù)測(cè)的復(fù)雜性，具有較高的預(yù)測(cè)識(shí)別率，在一些高精度要求的領(lǐng)域，有一定的參考意義。

[1] 馬莉,杜一鳴,黃光,等. 基于樣本熵與人工神經(jīng)網(wǎng)絡(luò)的癲癇發(fā)作預(yù)測(cè)初步研究[J]. 中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào),2013,32(2):243-247.

[2] 袁朋偉,宋守信,董曉慶. 基于灰色神經(jīng)網(wǎng)絡(luò)優(yōu)化組合模型的火災(zāi)預(yù)測(cè)研究[J]. 中國(guó)安全生產(chǎn)科學(xué)技術(shù),2014,10(3):119-124.

[3] 張曉暉,朱家元,張恒喜. 基于LS-SVM的小樣本費(fèi)用智能預(yù)測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用,2004(27):203-204,214.

[4] 杜曉亮,蔣志方,譚業(yè)浩. 基于樣本自組織聚類(lèi)的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型[J]. 計(jì)算機(jī)工程與應(yīng)用,2009,45(21):167-170.

[5] 于海琦,劉真,田全慧. GA-BP神經(jīng)網(wǎng)絡(luò)結(jié)合PCA的多基色顏色預(yù)測(cè)模型[J]. 發(fā)光學(xué)報(bào),2015,36(6):711-717.

[6] 李光,張鐵壁. 多傳感器數(shù)據(jù)融合技術(shù)在火災(zāi)報(bào)警中的應(yīng)用[J]. 河北工業(yè)大學(xué)學(xué)報(bào),2010,39(4):35-38.

[7] 李瑞敏,馬瑋. 基于BP神經(jīng)網(wǎng)絡(luò)與D-S證據(jù)理論的路段平均速度融合方法[J]. 交通運(yùn)輸工程學(xué)報(bào),2014,14(5):111-118.

[8] 曹斌. 基于DS證據(jù)理論的電網(wǎng)故障診斷系統(tǒng)的研究[J]. 工礦自動(dòng)化,2011(6):53-55.

[9] Basri R, Jacobs D. Lambertian Reflectance and Linear Sub-spaces[J]. IEEE Transactions on Pattern Analysisand Machine Intelligence, 2003, 25(2): 218-233.

[10] 馬憲民,梁蘭,張永強(qiáng),等. 基于GA-BP的煤礦大型機(jī)電設(shè)備D-S數(shù)據(jù)融合故障診斷的研究[J]. 煤炭技術(shù),2016,35(1):218-221.

(編輯 李秀敏)

Sample Prediction Method Based on Neural Networks and Evidence Theory

YAO Xue-mei1a, LI Shao-Bo1b,2,QU Jing-lei2

(1a.Key Laboratory of Advanced Manufacturing Technology, Ministry of Education;b.School of Mechanical Engineering, GuiZhou Unversity, Guiyang 550025,China;2.Chengdu Institute of Computer Applications, Chinese Academy of Sciences, Chengdu 610041,China)

A sample prediction method based on neural networks and evidence theory is proposed to meet the demand of prediction accuracy in some special fields. The method is simulated and verified by the data set Iris flower samples in statistic. First of all, the neural network is constructed directly to train and test the samples, and the recognition rate of 89.33% is obtained; Secondly, the genetic algorithm is used to optimize the initial weights and thresholds of the neural network to train and test, and the rate of 94.66% is obtained; finally, combining with the evidence theory in data fusion, the rate is further improved to 97.33%. The simulation results show higher prediction accuracy of this method.

neural network; evidence theory; genetic algorithm; prediction

1001-2265(2017)06-0110-04

10.13462/j.cnki.mmtamt.2017.06.028

2016-09-30

國(guó)家自然科學(xué)基金資助項(xiàng)目(51475097)；貴州省重大基礎(chǔ)研究資助項(xiàng)目(黔科合JZ字[2014]2001)

姚雪梅(1985—)，女，云南大理人，貴州大學(xué)講師，博士，研究方向?yàn)橹圃爝^(guò)程自動(dòng)化與制造物聯(lián)，(E-mail)yaomei0119@126.com；通訊作者：李少波(1973—)，男，湖南岳陽(yáng)人，貴州大學(xué)教授、博士，研究方向?yàn)橹圃齑髷?shù)據(jù)，(E-mail)lishaobo@gzu.edu.cn。

TH165;TG506

A