楊啟文,李 月,吳君娜,陳俊風(fēng),薛云燦
(河海大學(xué) 信息學(xué)部,江蘇 常州 213022)
隨著社會(huì)的高速發(fā)展,城市交通流量持續(xù)增加,交通擁堵已常態(tài)化[1]。為了緩解交通擁堵、提高車輛的通行效率,實(shí)現(xiàn)交通智能化,交通流量的預(yù)測(cè)顯得尤為重要。
由于車輛通行的隨機(jī)性和復(fù)雜性,導(dǎo)致交通流量模型呈現(xiàn)具有極強(qiáng)的非線性特點(diǎn),因此,通常采用利用非線性映射能力的人工神經(jīng)網(wǎng)絡(luò)(簡(jiǎn)稱為“神經(jīng)網(wǎng)絡(luò)”)來(lái)建立交通流量預(yù)測(cè)模型,為智能交通提供決策依據(jù)[2]。例如,蔣杰[3]、賴錦輝[4]等人分別采用蟻群算法和布谷鳥(niǎo)搜索算法來(lái)優(yōu)化BP神經(jīng)網(wǎng)絡(luò),通過(guò)提高BP神經(jīng)網(wǎng)絡(luò)的逼近精度來(lái)建立更加精確的交通流量預(yù)測(cè)模型;Q.Chen,H.J.Yang以及W.Du等人則分別利用粒子群算法[5]、遺傳算法[6]、鯨魚算法[7]來(lái)優(yōu)化小波神經(jīng)網(wǎng)絡(luò)(WNN,wavelet neural network),建立交通流量預(yù)測(cè)模型;Dogan通過(guò)長(zhǎng)短時(shí)深度神經(jīng)網(wǎng)絡(luò)(LSTM,long short-term memory networks)來(lái)預(yù)測(cè)交通流量[8];在LSTM預(yù)測(cè)模型基礎(chǔ)上,Lu進(jìn)一步利用ARIMA模型組合來(lái)提高預(yù)測(cè)效果[9],而Jing則融合時(shí)間卷積神經(jīng)網(wǎng)絡(luò)(TCN,temporal convolutional network),構(gòu)建了一種混合神經(jīng)網(wǎng)絡(luò)的交通流量預(yù)測(cè)模型[10]。
應(yīng)用神經(jīng)網(wǎng)絡(luò)時(shí),往往需要進(jìn)行結(jié)構(gòu)或參數(shù)優(yōu)化,即神經(jīng)網(wǎng)絡(luò)訓(xùn)練。通常采用的訓(xùn)練手段有:采用試湊法[11],經(jīng)驗(yàn)公式法[12],動(dòng)態(tài)參數(shù)自調(diào)整法[13-14],模擬退火算法[15]和群智能優(yōu)化算法[16]等方法來(lái)優(yōu)化隱層節(jié)點(diǎn)數(shù)[17-18];采用梯度下降搜索法[19]、LM(Levenberg-marquardt)算法[20]、層次耦合約束優(yōu)化算法[21]、模擬退火法[22]、群智能優(yōu)化算法[23-24]等方法來(lái)優(yōu)化神經(jīng)元之間的連接權(quán)。
但是,在不同初始條件[25]下,即使采用具有全局優(yōu)化能力的群智能算法和組合算法,也不能保證神經(jīng)網(wǎng)絡(luò)每次訓(xùn)練都能收斂到全局最優(yōu),從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果出現(xiàn)了一致性問(wèn)題[26-28]。
為了增強(qiáng)訓(xùn)練結(jié)果的一致性、降低訓(xùn)練次數(shù),提高工程應(yīng)用的便利性,本文提出一種自適應(yīng)并聯(lián)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)(APSNN,adaptive parallel structure neural network),旨在采用常規(guī)優(yōu)化算法,通過(guò)神經(jīng)網(wǎng)絡(luò)的自組織行為,在訓(xùn)練中實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)和參數(shù)優(yōu)化;在滿足訓(xùn)練精度前提下,維持訓(xùn)練結(jié)果的一致性。同時(shí),利用APSNN,建立交通流量預(yù)測(cè)模型,降低預(yù)測(cè)偏差,提高預(yù)測(cè)的平穩(wěn)性。
神經(jīng)網(wǎng)絡(luò)種類很多,本文考察常見(jiàn)的前向神經(jīng)網(wǎng)絡(luò)。
多層前向神經(jīng)網(wǎng)絡(luò)如圖1所示,包括輸入層、隱藏層和輸出層,除輸入層和輸出層只有一層外,隱藏層可以是一層也可以是多層。
圖1 多層前向神經(jīng)網(wǎng)絡(luò)
多層前向神經(jīng)網(wǎng)絡(luò),常通過(guò)誤差反傳機(jī)制和梯度信息,對(duì)神經(jīng)元的連接權(quán)進(jìn)行迭代優(yōu)化,這就是流行的誤差反傳學(xué)習(xí)算法,簡(jiǎn)稱BP(back propagation)算法,對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)亦俗稱為BP神經(jīng)網(wǎng)絡(luò)。BP算法是一種確定性優(yōu)化算法,收斂速度快,但由于采用單點(diǎn)、慣序的確定性優(yōu)化模式,不同的初始條件下會(huì)收斂到不同的局部極值。采用群智能優(yōu)化算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí),盡管群智能優(yōu)化算法具有理論上的全局收斂能力,但由于這類算法屬于隨機(jī)優(yōu)化算法,早熟收斂現(xiàn)象一直存在。
因此,不論是確定性優(yōu)化算法,還是隨機(jī)優(yōu)化算法,局部收斂或早熟收斂導(dǎo)致神經(jīng)網(wǎng)絡(luò)在不同初始條件下,訓(xùn)練結(jié)果也不盡相同,訓(xùn)練結(jié)果的一致性問(wèn)題始終存在。
為了能保持訓(xùn)練結(jié)果的一致性,本文對(duì)常規(guī)的神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)構(gòu)改進(jìn),提出了一種由多個(gè)神經(jīng)網(wǎng)絡(luò)單元組成的并聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)。
如圖 2所示,神經(jīng)網(wǎng)絡(luò)單元NNk(k=1,2,…,K)是由常規(guī)的前向神經(jīng)網(wǎng)絡(luò)(如圖 1所示)組成,所有神經(jīng)網(wǎng)絡(luò)單元的輸入端并聯(lián)在一起,各單元的輸出相加后形成神經(jīng)網(wǎng)絡(luò)的輸出。神經(jīng)網(wǎng)絡(luò)單元的級(jí)聯(lián)數(shù)量,在訓(xùn)練過(guò)程中,通過(guò)自組織行為自適應(yīng)確定。
圖2 并聯(lián)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
由于神經(jīng)網(wǎng)絡(luò)單元NNk的非線性,并聯(lián)后的神經(jīng)網(wǎng)絡(luò)同樣具備非線性特征,理論上可以實(shí)現(xiàn)對(duì)任意非線性函數(shù)的高精度逼近。
為了能采用常規(guī)的BP算法對(duì)圖 2所示的并聯(lián)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,實(shí)現(xiàn)訓(xùn)練結(jié)果的一致性要求,對(duì)神經(jīng)網(wǎng)絡(luò)單元進(jìn)行功能做如下定義。
定義:后一級(jí)神經(jīng)網(wǎng)絡(luò)單元NNk+1作為前一級(jí)神經(jīng)網(wǎng)絡(luò)單元NNk的補(bǔ)償單元,在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中,對(duì)上一級(jí)神經(jīng)網(wǎng)絡(luò)單元的訓(xùn)練殘差進(jìn)行補(bǔ)償。
按照上述自組織機(jī)制構(gòu)建的并聯(lián)神經(jīng)網(wǎng)絡(luò),只要神經(jīng)網(wǎng)絡(luò)單元的級(jí)聯(lián)數(shù)不受限制,理論上都可以滿足訓(xùn)練的精度指標(biāo),從而實(shí)現(xiàn)訓(xùn)練結(jié)果的一致性要求。
例如,設(shè)輸入樣本為:
對(duì)應(yīng)的輸出樣本為:
即輸入輸出訓(xùn)練樣本集為:
y1={0.9,2.01,3.05,3.95},
e1={0.1,-0.01,-0.05,0.05}。
利用訓(xùn)練殘差e1,構(gòu)造下一級(jí)神經(jīng)網(wǎng)絡(luò)單元NN2的訓(xùn)練樣本集:
y2={0.11,-0.011,-0.04,0.06},
則神經(jīng)網(wǎng)絡(luò)單元NN2的訓(xùn)練殘差為e2=e1-y2,即:
e2={-0.01,0.001,-0.01,-0.01}。
這樣,神經(jīng)網(wǎng)絡(luò)單元NN3的訓(xùn)練樣本集為:
依此類推,只要將輸入輸出訓(xùn)練樣本集作為第一級(jí)神經(jīng)網(wǎng)絡(luò)單元的訓(xùn)練樣本集,其余各級(jí)神經(jīng)網(wǎng)絡(luò)單元的訓(xùn)練樣本集,均可利用上一級(jí)的訓(xùn)練殘差進(jìn)行構(gòu)建,直到訓(xùn)練殘差ek滿足精度要求為止。
APSNN的樣本構(gòu)建流程及網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)流程圖分別如圖 3和圖 4所示。
圖3 APSNN樣本構(gòu)建流程
圖4 APSNN自組織流程圖
為了評(píng)價(jià)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能,引入三項(xiàng)指標(biāo)。
第一項(xiàng)指標(biāo)是式(1)所示的逼近精度,即所有樣本均方誤差的對(duì)數(shù):
(1)
逼近精度的大小能夠反映出神經(jīng)網(wǎng)絡(luò)的對(duì)函數(shù)的逼近程度,數(shù)值越小,逼近度越高。
第二項(xiàng)指標(biāo)是式(2)所示的逼近精度的總體標(biāo)準(zhǔn)差:
(2)
總體標(biāo)準(zhǔn)差反映出數(shù)據(jù)集在其均值附近的聚集程度。總體標(biāo)準(zhǔn)差越小,說(shuō)明數(shù)據(jù)越集中,一致性較好。但考慮到逼近精度JK是訓(xùn)練殘差的對(duì)數(shù)運(yùn)算結(jié)果,因此,逼近精度JK在不同數(shù)量級(jí)處的總體標(biāo)準(zhǔn)差,難以反映出訓(xùn)練殘差的一致性。故總體標(biāo)準(zhǔn)差僅反映逼近精度在數(shù)學(xué)意義上的一致性。
第三項(xiàng)指標(biāo)是達(dá)標(biāo)率,即多次獨(dú)立實(shí)驗(yàn)中滿足逼近精度的比例。
達(dá)標(biāo)率可以反映出神經(jīng)網(wǎng)絡(luò)在逼近精度及其一致性方面的綜合性能。達(dá)標(biāo)率越高,說(shuō)明滿足逼近精度的訓(xùn)練次數(shù)越多。從工程應(yīng)用角度看,達(dá)標(biāo)率越高,需要對(duì)神經(jīng)網(wǎng)絡(luò)重復(fù)訓(xùn)練的次數(shù)就越少。因此,達(dá)標(biāo)率更能反映出訓(xùn)練殘差在工程意義上的一致性。
選取5個(gè)非線性函數(shù)作為測(cè)試函數(shù):
(3)
采用BP神經(jīng)網(wǎng)絡(luò)和本文提出的APSNN對(duì)上述5個(gè)非線性函數(shù)進(jìn)行逼近實(shí)驗(yàn)。
實(shí)驗(yàn)測(cè)試中,設(shè)置JK=-4作為達(dá)標(biāo)率的精度閾值,即:當(dāng)逼近精度小于-4時(shí),認(rèn)為訓(xùn)練結(jié)果達(dá)標(biāo)(當(dāng)逼近精度小于精度閾值時(shí),能夠獲得滿意的逼近效果)。
為了簡(jiǎn)化APSNN中的神經(jīng)網(wǎng)絡(luò)單元,各神經(jīng)網(wǎng)絡(luò)單元具有完全相同中間層數(shù)、隱節(jié)點(diǎn)數(shù)N和激活函數(shù)(sigmoid函數(shù))。同時(shí),為了能在相同條件下比較兩種神經(jīng)網(wǎng)絡(luò)的性能,BP神經(jīng)網(wǎng)絡(luò)采用與APSNN完全相同的激活函數(shù)。兩種神經(jīng)網(wǎng)絡(luò)均使用默認(rèn)的LM算法進(jìn)行訓(xùn)練,且終止條件也完全相同。
APSNN自組織規(guī)則如下:
1)JK=-4;
2)或者并聯(lián)一級(jí)神經(jīng)網(wǎng)絡(luò)單元后導(dǎo)致JK增大;
3)或者并聯(lián)的神經(jīng)網(wǎng)絡(luò)單元數(shù)達(dá)到5個(gè)。
當(dāng)滿足上述3個(gè)條件中之一時(shí),APSNN自組織結(jié)束;當(dāng)上述3個(gè)條件均不滿足時(shí),APSNN在原有的結(jié)構(gòu)中,自動(dòng)并聯(lián)一級(jí)神經(jīng)網(wǎng)絡(luò)單元,實(shí)現(xiàn)結(jié)構(gòu)擴(kuò)張。
實(shí)驗(yàn)測(cè)試在Matlab平臺(tái)(軟件版本2018b)上進(jìn)行。BP神經(jīng)網(wǎng)絡(luò)和APSNN中神經(jīng)網(wǎng)絡(luò)單元的訓(xùn)練終止條件均采用相同的默認(rèn)條件,且在所有實(shí)驗(yàn)測(cè)試過(guò)程中保持不變。APSNN第一個(gè)神經(jīng)網(wǎng)絡(luò)單元的初始連接權(quán)與BP神經(jīng)網(wǎng)絡(luò)的初始連接權(quán)均為相同的隨機(jī)數(shù),后續(xù)并聯(lián)的神經(jīng)網(wǎng)絡(luò)單元連接權(quán)為隨機(jī)數(shù)。
針對(duì)函數(shù)f1(x),在區(qū)間[-6,6]內(nèi),按照步長(zhǎng)0.01進(jìn)行采樣,形成121個(gè)采樣點(diǎn)的輸入輸出訓(xùn)練集。
圖 5為BP神經(jīng)網(wǎng)絡(luò)不同隱節(jié)點(diǎn)的50次獨(dú)立訓(xùn)練結(jié)果。從逼近精度曲線上看,逼近精度的均值隨著隱節(jié)點(diǎn)數(shù)的增加而減小(具體數(shù)據(jù)見(jiàn)表 1實(shí)驗(yàn)結(jié)果)。
圖5 BP神經(jīng)網(wǎng)絡(luò)的逼近精度
但是,在50次獨(dú)立訓(xùn)練中,逼近精度值存在著較大的波動(dòng)。例如N=3時(shí),近50%的值分布在[-1,0]區(qū)間內(nèi),40%分布在[-1,-2]區(qū)間上,還有10%分布在[-2,-3]區(qū)間中。當(dāng)N=7時(shí),逼近精度的一致性有了明顯的改善,數(shù)據(jù)主要集中在[-7,-8]區(qū)間上(共有45次),只有5次實(shí)驗(yàn)結(jié)果分散在[-3,-6]區(qū)間上。因此從數(shù)據(jù)分布的聚集程度上看,7個(gè)隱節(jié)點(diǎn)神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果的一致性好。
表1 函數(shù)f1(x)的實(shí)驗(yàn)結(jié)果
在表1所示的實(shí)驗(yàn)結(jié)果中,盡管3個(gè)隱節(jié)點(diǎn)BP神經(jīng)網(wǎng)絡(luò)的總體標(biāo)準(zhǔn)差在數(shù)值上要小于7個(gè)隱節(jié)點(diǎn)BP神經(jīng)網(wǎng)絡(luò),但訓(xùn)練殘差的均值處在不同數(shù)量級(jí)。從數(shù)據(jù)分布上看,7個(gè)隱節(jié)點(diǎn)BP神經(jīng)網(wǎng)絡(luò)僅有5次實(shí)驗(yàn)的數(shù)據(jù)分布“異常”;另外,從達(dá)標(biāo)率指標(biāo)上看,7個(gè)隱節(jié)點(diǎn)BP神經(jīng)網(wǎng)絡(luò)有94%的訓(xùn)練結(jié)果滿足逼近精度指標(biāo)要求,可以被工程接受。因此,采用達(dá)標(biāo)率來(lái)衡量訓(xùn)練結(jié)果的一致性更具有工程上的合理性。
圖6為APSNN在不同隱節(jié)點(diǎn)數(shù)(此處指神經(jīng)網(wǎng)絡(luò)單元的隱節(jié)點(diǎn)數(shù))下50次獨(dú)立訓(xùn)練結(jié)果。當(dāng)N=3時(shí),逼近精度近75%集中在[-2,-3]之間,明顯高于BP神經(jīng)網(wǎng)絡(luò)。當(dāng)神經(jīng)網(wǎng)絡(luò)單元的隱節(jié)點(diǎn)數(shù)N=7時(shí),APSNN與BP神經(jīng)網(wǎng)絡(luò)的逼近精度曲線非常相似。APSNN盡管仍有5次逼近精度偏離[-7,-8]區(qū)間,但逼近精度均小于-4,而B(niǎo)P神經(jīng)網(wǎng)絡(luò)則有3次逼近精度值大于-4。
圖6 APSNN逼近精度
表1的數(shù)據(jù)對(duì)比表明,APSNN在三項(xiàng)指標(biāo)方面均優(yōu)于BP神經(jīng)網(wǎng)絡(luò)。這種性能改善,與神經(jīng)網(wǎng)絡(luò)單元的殘差補(bǔ)償機(jī)制有著密切的關(guān)系。
圖7是APSNN中神經(jīng)網(wǎng)絡(luò)單元級(jí)聯(lián)數(shù)在50次獨(dú)立實(shí)驗(yàn)中的變化情況。當(dāng)神經(jīng)網(wǎng)絡(luò)單元的隱節(jié)點(diǎn)數(shù)為N=3時(shí),由于逼近精度無(wú)法滿足精度要求,根據(jù)自組織規(guī)則,在訓(xùn)練過(guò)程中會(huì)自動(dòng)并聯(lián)一級(jí)神經(jīng)網(wǎng)絡(luò)單元,直至并聯(lián)數(shù)量達(dá)到上限5個(gè)。隨著神經(jīng)網(wǎng)絡(luò)單元的隱節(jié)點(diǎn)數(shù)的增加,神經(jīng)網(wǎng)絡(luò)單元的逼近能力得到提升,需要并聯(lián)的神經(jīng)網(wǎng)絡(luò)單元數(shù)越來(lái)越少。當(dāng)神經(jīng)網(wǎng)絡(luò)單元的隱節(jié)點(diǎn)數(shù)為N=7時(shí),只出現(xiàn)過(guò)兩次2個(gè)神經(jīng)網(wǎng)絡(luò)單元并聯(lián)的現(xiàn)象,其余48次訓(xùn)練由于達(dá)到了精度指標(biāo)要求,因而只需要一級(jí)神經(jīng)網(wǎng)絡(luò)單元。此時(shí)APSNN差不多就退化為一個(gè)常規(guī)的BP神經(jīng)網(wǎng)絡(luò),故二者在相同初始條件下,有48次訓(xùn)練結(jié)果完全相同。
圖7 APSNN級(jí)聯(lián)數(shù)
表2~表5是BP神經(jīng)網(wǎng)絡(luò)和APSNN逼近函數(shù)f2(x)~f5(x)的實(shí)驗(yàn)結(jié)果(實(shí)驗(yàn)樣本的采樣間隔均為0.01)。
表2 函數(shù)f2(x)的實(shí)驗(yàn)結(jié)果
表3 函數(shù)f3(x)的實(shí)驗(yàn)結(jié)果
表4 函數(shù)f4(x)的實(shí)驗(yàn)結(jié)果
表5 函數(shù)f5(x)的實(shí)驗(yàn)結(jié)果
實(shí)驗(yàn)對(duì)比結(jié)果與函數(shù)f1(x)非常相似,APSNN在3項(xiàng)性能指標(biāo)方面均優(yōu)于常規(guī)的BP神經(jīng)網(wǎng)絡(luò)。在函數(shù)f5(x)的實(shí)驗(yàn)結(jié)果中,當(dāng)APSNN的神經(jīng)網(wǎng)絡(luò)單元級(jí)聯(lián)數(shù)為1,APSNN就等同于常規(guī)的BP神經(jīng)網(wǎng)絡(luò),二者性能完全相同。
在APSNN訓(xùn)練過(guò)程中,神經(jīng)網(wǎng)絡(luò)根據(jù)訓(xùn)練殘差的精度要求,通過(guò)觸發(fā)自組織規(guī)則,由小到大地搭建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),從而實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的自適應(yīng)優(yōu)化。而常規(guī)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化,通常是對(duì)神經(jīng)網(wǎng)絡(luò)的不同候選結(jié)構(gòu)進(jìn)行性能評(píng)估,從中“挑選”出最優(yōu)性能指標(biāo)的網(wǎng)絡(luò)結(jié)構(gòu)。從二者的不同之處可以看出,常規(guī)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化不可避免地對(duì)同一結(jié)構(gòu)進(jìn)行重復(fù)評(píng)估,而APSNN的自組織規(guī)則能同時(shí)進(jìn)行參數(shù)和結(jié)構(gòu)優(yōu)化,避免了神經(jīng)網(wǎng)絡(luò)單元的冗余評(píng)估,降低了優(yōu)化過(guò)程的計(jì)算量。
(4)
式中,d(i)為真實(shí)流量數(shù)據(jù),p(i)為預(yù)測(cè)模型輸出的預(yù)測(cè)數(shù)據(jù)。
考慮到交通流量與前一時(shí)刻的流量有關(guān),本文采用前4個(gè)采樣時(shí)刻的流量信息預(yù)測(cè)下一時(shí)刻的交通流量,因此,APSNN輸入層節(jié)點(diǎn)數(shù)設(shè)為4,輸出層節(jié)點(diǎn)數(shù)為1。當(dāng)訓(xùn)練精度J≤5或者并聯(lián)新的神經(jīng)網(wǎng)絡(luò)單元導(dǎo)致J增大時(shí),訓(xùn)練過(guò)程中的自組織行為停止,訓(xùn)練結(jié)束。
選取美國(guó)明尼蘇達(dá)州的明尼阿波利斯和圣保羅之間94號(hào)州際公路2018年9月1~30日的西行數(shù)據(jù)作為測(cè)試數(shù)據(jù)(數(shù)據(jù)源:https://archive.ics.uci.edu)。前25天的600個(gè)監(jiān)測(cè)數(shù)據(jù)(每小時(shí)采集一次交通流量)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本集;利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò),預(yù)測(cè)后5天的交通流量。
圖8是50次獨(dú)立測(cè)試的預(yù)測(cè)精度變化曲線。從圖中曲線的可以看出,APSNN和BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)精度相近,大部分預(yù)測(cè)精度在5.2附近,而WNN則在5.5附近波動(dòng)。但是,APSNN在50次獨(dú)立測(cè)試中的預(yù)測(cè)精度相差不大,一致性更好,而B(niǎo)P和WNN則出現(xiàn)了較大的波動(dòng)。
圖8 預(yù)測(cè)精度
為了能更直觀地比較預(yù)測(cè)的一致性,先計(jì)算單次實(shí)驗(yàn)中120個(gè)預(yù)測(cè)點(diǎn)的總體標(biāo)準(zhǔn)差,作為每個(gè)預(yù)測(cè)時(shí)刻的一致性性能指標(biāo),然后以這個(gè)總體標(biāo)準(zhǔn)差作為數(shù)據(jù)集,計(jì)算50次實(shí)驗(yàn)中的總體標(biāo)準(zhǔn)差,作為重復(fù)測(cè)試的一致性性能指標(biāo)。
圖9是3種神經(jīng)網(wǎng)絡(luò)的在50次實(shí)驗(yàn)中的總體標(biāo)準(zhǔn)差曲線。APSNN和BP的總體標(biāo)準(zhǔn)差大部分在400~500附近,而WNN在600附近波動(dòng)。但APSNN在50次獨(dú)立實(shí)驗(yàn)中的總體標(biāo)準(zhǔn)差非常平穩(wěn),這意味著APSNN不但在重復(fù)測(cè)試中表現(xiàn)穩(wěn)定,而且在每個(gè)預(yù)測(cè)時(shí)刻的偏差也比較穩(wěn)定。而B(niǎo)P次之,WNN最差。
圖9 預(yù)測(cè)標(biāo)準(zhǔn)差
表6是3種神經(jīng)網(wǎng)絡(luò)在50次獨(dú)立測(cè)試中的3項(xiàng)性能指標(biāo)。本文提出的APSNN在3項(xiàng)指標(biāo)方面均表現(xiàn)優(yōu)秀。在MAPE指標(biāo)上,APSNN較BP和WNN分別降低了2.7%和9.7%。因此,采用APSNN進(jìn)行交通流量預(yù)測(cè),既能降低預(yù)測(cè)偏差,又能保持預(yù)測(cè)的平穩(wěn)性。
表6 交通流量預(yù)測(cè)結(jié)果
由于現(xiàn)有優(yōu)化算法的局限性,神經(jīng)網(wǎng)絡(luò)的逼近精度和訓(xùn)練結(jié)果的一致性難以保證,給工程應(yīng)用了帶來(lái)不便。本文提出了一種自適應(yīng)并聯(lián)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)——APSNN。這種神經(jīng)網(wǎng)絡(luò)可以利用常規(guī)的優(yōu)化算法,對(duì)神經(jīng)網(wǎng)絡(luò)單元進(jìn)行逐級(jí)訓(xùn)練。在訓(xùn)練過(guò)程中,神經(jīng)網(wǎng)絡(luò)根據(jù)訓(xùn)練殘差實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化,確保訓(xùn)練精度及其一致性。
APSNN的自組織行為是通過(guò)神經(jīng)網(wǎng)絡(luò)單元的自適應(yīng)并聯(lián)擴(kuò)展實(shí)現(xiàn),不是對(duì)單個(gè)神經(jīng)網(wǎng)絡(luò)的內(nèi)部隱含層和隱節(jié)點(diǎn)進(jìn)行增刪,這是本文與神經(jīng)網(wǎng)絡(luò)傳統(tǒng)優(yōu)化方案不同的地方。由于目前神經(jīng)網(wǎng)絡(luò)單元內(nèi)部結(jié)構(gòu)固定、隱節(jié)點(diǎn)數(shù)無(wú)法自適應(yīng),這是APSNN的不足之處。探索神經(jīng)網(wǎng)絡(luò)單元的結(jié)構(gòu)優(yōu)化,將是未來(lái)要解決的一個(gè)問(wèn)題。