毛炳強(qiáng) 孫鐵良 孫凌祎 陳 鵬 高 暢

（1.國(guó)家石油天然氣管網(wǎng)集團(tuán)有限公司油氣調(diào)控中心；2.昆侖數(shù)智科技有限責(zé)任公司）

BP神經(jīng)網(wǎng)絡(luò)是目前神經(jīng)網(wǎng)絡(luò)理論中發(fā)展最為完善、應(yīng)用最為廣泛的網(wǎng)絡(luò)，但在訓(xùn)練時(shí)通常需要較多的迭代步數(shù)［1］。 尤其在訓(xùn)練較長(zhǎng)數(shù)據(jù)序列時(shí)，就難免耗用大量CPU時(shí)間。 目前，國(guó)內(nèi)外的改進(jìn)工作主要集中于BP神經(jīng)網(wǎng)絡(luò)算法的優(yōu)化上，而對(duì)拓?fù)浣Y(jié)構(gòu)的研究相對(duì)較少。 Lopes N和Ribeiro B提出了多神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)， 并對(duì)一些分類問題進(jìn)行了研究［2］。 Chen K和Salman A提出了一種針對(duì)語(yǔ)音信號(hào)處理的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)［3］。

在計(jì)算機(jī)視覺中， 處理景象匹配問題時(shí)，一般會(huì)先進(jìn)行實(shí)時(shí)圖和基準(zhǔn)圖的粗匹配計(jì)算［4］，以減少計(jì)算時(shí)間。 小波分析可以準(zhǔn)確定位信號(hào)的瞬變特征，通過多分辨率變換可對(duì)信號(hào)進(jìn)行“切片式”分析。 這一思想與視覺中由粗到細(xì)的多分辨率分析過程是一致的，更符合人類的視覺特性［5］。在此，筆者基于視覺生理學(xué)特征和小波分析在信號(hào)特征提取方面的優(yōu)勢(shì)，提出了一種加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的新結(jié)構(gòu)——雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（Dual Neural Networks Architecture，DNNA）。 首先對(duì)輸入輸出信號(hào)進(jìn)行小波分解，得到近似系數(shù)。利用DNNA中的輔助神經(jīng)網(wǎng)絡(luò)對(duì)小波分解后的原始數(shù)據(jù)近似序列進(jìn)行訓(xùn)練， 將訓(xùn)練得到的權(quán)值和閾值傳遞給主神經(jīng)網(wǎng)絡(luò)， 再利用主神經(jīng)網(wǎng)絡(luò)對(duì)全部的輸入輸出信號(hào)進(jìn)行訓(xùn)練。 在非線性函數(shù)逼近、非線性動(dòng)態(tài)系統(tǒng)辨識(shí)和井底壓力預(yù)測(cè)仿真實(shí)驗(yàn)中，與常規(guī)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相比，在達(dá)到相同精度的前提下，DNNA占用的CPU時(shí)間更少， 訓(xùn)練效率更高。

1 雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.1 原始數(shù)據(jù)的小波分解

1989年，Mallat S G將計(jì)算機(jī)視覺領(lǐng)域內(nèi)的多尺度分析思想引入到小波分析中，統(tǒng)一了小波函數(shù)的構(gòu)造，提出了離散信號(hào)按小波變換進(jìn)行分解和重構(gòu)的金字塔算法，即Mallat算法［6］，該算法使得多尺度分析在眾多領(lǐng)域取得了許多重要的理論和應(yīng)用成果。

根據(jù)Mallat算法，一維輸入信號(hào)X可分解為一個(gè)低頻近似系數(shù)caJ和不同頻率的高頻細(xì)節(jié)系數(shù)cd1，cd2，…，cdJ（圖1）。

圖1 一維輸入信號(hào)X的3層小波分解

該過程中， 系數(shù)可通過離散小波分解的Mallat算法獲得：

其中，D為下抽樣算子， h-*為高通濾波器h的共軛反轉(zhuǎn)，g-*為低通濾波器g的共軛反轉(zhuǎn)，*表示卷積運(yùn)算。

同理， 可以得到一維輸出信號(hào)Y的小波分解分量tcaJ和tcd1，tcd2，…，tcdJ。 如果X和Y為多維信號(hào)，則可將多維信號(hào)的每一維按相同的分解方式分別進(jìn)行分解。 數(shù)據(jù)序列分解后，每層的分解序列相對(duì)于分解前的長(zhǎng)度減半。 另外，小波分解中低頻部分隨層次的增加，它含有的高頻成分信息會(huì)隨之減少，當(dāng)分解到下一層次時(shí)，就有更高頻的信息被去除，則低頻部分可以以較短的長(zhǎng)度表征時(shí)間序列的變化趨勢(shì)。

1.2 雙神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)［7］（圖2）包含一個(gè)輔助神經(jīng)網(wǎng)絡(luò)ANN_a和一個(gè)主神經(jīng)網(wǎng)絡(luò)ANN_p，它們具有相同的網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)參數(shù)。 其中，輔助神經(jīng)網(wǎng)絡(luò)主要根據(jù)小波分解得到的原始數(shù)據(jù)的近似序列的趨勢(shì)特征， 在較短時(shí)間內(nèi)尋找權(quán)值和閾值，并提供給主神經(jīng)網(wǎng)絡(luò)作為初始權(quán)值和閾值，以縮短整體訓(xùn)練時(shí)間。

圖2 雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中［8］，首先利用小波分解獲取原始數(shù)據(jù)序列的近似序列，該序列的長(zhǎng)度隨著分解層數(shù)的增加逐層減半，接著利用新獲得的近似序列進(jìn)行輔助神經(jīng)網(wǎng)絡(luò)訓(xùn)練，找到一個(gè)合理的初始權(quán)值和閾值，最后以此權(quán)值和閾值作為初始值對(duì)原始數(shù)據(jù)序列進(jìn)行主神經(jīng)網(wǎng)絡(luò)訓(xùn)練，這樣可以大幅減少計(jì)算量，縮短訓(xùn)練時(shí)間。

值得注意的是，近似系數(shù)是從原始輸入輸出數(shù)據(jù)中提取的低頻信息和趨勢(shì)信息，所以雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)包含大量高頻信號(hào)的數(shù)據(jù)并不適用；另外，信號(hào)中的突變點(diǎn)會(huì)在小波分解后成為幅值最大點(diǎn)，所以雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)包含較多突變點(diǎn)的信號(hào)也不適用。 因此，使用雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)需要注意以下3點(diǎn)：

a. 數(shù)據(jù)的歸一化預(yù)處理。為了保證輔助神經(jīng)網(wǎng)絡(luò)傳遞給主神經(jīng)網(wǎng)絡(luò)的參數(shù)的有效性，輔助神經(jīng)網(wǎng)絡(luò)和主神經(jīng)網(wǎng)絡(luò)的輸入輸出數(shù)據(jù)標(biāo)準(zhǔn)化必須在相同的范圍內(nèi)。

b. 分解級(jí)數(shù)的選擇。分解級(jí)數(shù)既不能過大也不能過小。 過大則分解得到的近似系數(shù)包含的原始數(shù)據(jù)的信息過少，為主神經(jīng)網(wǎng)絡(luò)提供的初始值不夠有效，多次實(shí)驗(yàn)表明，一般分解最大層數(shù)不超過5層； 過小則輔助神經(jīng)網(wǎng)絡(luò)的訓(xùn)練會(huì)占用較多CPU時(shí)間。

c. 小波函數(shù)的選擇。 選擇不同的小波函數(shù)，將得到不同的分解分量，從而影響最終的訓(xùn)練結(jié)果。 小波變換后的小波系數(shù)反映了小波與被處理信號(hào)之間的相似程度。 如果小波變換后的小波系數(shù)較大，則小波和被處理信號(hào)之間的波形相似程度較大，反之則較小［9］。 在雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，小波變換僅需反映小波信號(hào)整體的近似特征即可，因此可選用尺度較大的小波。

2 仿真實(shí)驗(yàn)與結(jié)果分析

采用非線性函數(shù)逼近、非線性動(dòng)態(tài)系統(tǒng)辨識(shí)和井底壓力預(yù)測(cè)3個(gè)仿真實(shí)驗(yàn)， 并與常規(guī)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練結(jié)果進(jìn)行比較，以驗(yàn)證雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的有效性。 其中，訓(xùn)練誤差函數(shù)均選擇均方根誤差函數(shù)（RMES），即：

其中，N為數(shù)據(jù)長(zhǎng)度，y（·）為實(shí)際輸出，yn（·）為預(yù)測(cè)輸出。

2.1 非線性函數(shù)逼近

考慮如下非線性函數(shù)：

其中，x為-15～15之間均勻分布的數(shù)，共1 500組數(shù)據(jù)。

實(shí)驗(yàn)中，神經(jīng)網(wǎng)絡(luò)訓(xùn)練的終止條件設(shè)為均方根誤差不大于0.01或者最大迭代次數(shù)達(dá)到10 000。采用常規(guī)BP神經(jīng)網(wǎng)絡(luò)和雙神經(jīng)網(wǎng)絡(luò)（db3小波基，3層小波分解）分別進(jìn)行25次獨(dú)立實(shí)驗(yàn)，結(jié)果如圖3所示?？梢缘玫?，常規(guī)BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間平均值為144.85 s， 雙神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間平均值為16.03 s，節(jié)約時(shí)間約88.93%。

圖3 非線性函數(shù)逼近的兩種神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間對(duì)比

固定小波類型為db3小波， 考慮不同的分解層數(shù)對(duì)訓(xùn)練時(shí)間的影響。 由表1可知，1～3分解層的運(yùn)行結(jié)果類似，當(dāng)分解層數(shù)達(dá)到4、5之后，標(biāo)準(zhǔn)差變大，說明運(yùn)行結(jié)果的起伏變化較大，不穩(wěn)定，這是因?yàn)榉纸夂蟮慕葡禂?shù)長(zhǎng)度過短，不能很好地表征原始輸入輸出信號(hào)所包含的信息。

表1 不同分解層數(shù)下的訓(xùn)練時(shí)間 s

固定小波分解層數(shù)為3層時(shí)， 考慮不同的小波類型對(duì)訓(xùn)練時(shí)間的影響。Ingrid Daubechies是較為常用的一組小波基。 由表2可知，總體訓(xùn)練結(jié)果差別不是很大， 其中db1的結(jié)果波動(dòng)最小但平均值最大，db10的結(jié)果波動(dòng)最大，最不穩(wěn)定。

表2 不同小波類型下的訓(xùn)練時(shí)間 s

2.2 非線性動(dòng)態(tài)系統(tǒng)辨識(shí)

在物理模型內(nèi)部結(jié)構(gòu)未知的情況下，輸入變量選為y（t-1）、y（t-2）和u（t-1），輸出變量為y（t），輸入輸出共800組數(shù)據(jù)，誤差精度設(shè)為0.008，選擇db3小波基，3層小波分解。 非線性動(dòng)態(tài)系統(tǒng)辨識(shí)的兩種神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間對(duì)比結(jié)果如圖4所示，可以看出，BP神經(jīng)網(wǎng)絡(luò)平均訓(xùn)練時(shí)間為9.10 s，雙神經(jīng)網(wǎng)絡(luò)平均訓(xùn)練時(shí)間為3.41 s， 節(jié)約時(shí)間約62.53%。

圖4 非線性動(dòng)態(tài)系統(tǒng)辨識(shí)的兩種神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間對(duì)比

2.3 井底壓力預(yù)測(cè)

井底壓力預(yù)測(cè)系統(tǒng)是典型的非線性系統(tǒng)，以中東油田現(xiàn)場(chǎng)測(cè)量得到的垂直井筒氣液兩相流井底壓力數(shù)據(jù)為訓(xùn)練對(duì)象，對(duì)井底壓力進(jìn)行預(yù)測(cè)。輸入變量為液相流量、氣相流量、管直徑、管長(zhǎng)度、井口壓力、API油相密度、地面溫度和井底溫度，輸出變量為井底壓力，共選取150組數(shù)據(jù)［10］。 采用多入多出的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行井底壓力預(yù)測(cè)， 標(biāo)準(zhǔn)化區(qū)間為-1～1，誤差精度設(shè)為0.05。 由于原始數(shù)據(jù)序列波動(dòng)劇烈且無(wú)規(guī)律， 選用db3小波基，1層小波分解。 得到井底壓力預(yù)測(cè)的兩種神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間對(duì)比結(jié)果如圖5所示， 可以看出，BP神經(jīng)網(wǎng)絡(luò)的平均訓(xùn)練時(shí)間為128.41 s，雙神經(jīng)網(wǎng)絡(luò)的平均訓(xùn)練時(shí)間為85.38 s，節(jié)約時(shí)間約33.51%。

圖5 井底壓力預(yù)測(cè)的兩種神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間對(duì)比

3結(jié)束語(yǔ)

為提高常規(guī)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率，筆者提出了雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，利用小波分解提取特征的優(yōu)勢(shì)，構(gòu)建輔助神經(jīng)網(wǎng)絡(luò)，并為主神經(jīng)網(wǎng)絡(luò)提供訓(xùn)練初值。 仿真實(shí)驗(yàn)結(jié)果表明，雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)于常規(guī)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以極大地節(jié)約訓(xùn)練時(shí)間。 另外，由于雙神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)算法和內(nèi)部結(jié)構(gòu)不做要求，因此不影響其泛化、容錯(cuò)等性能，使之可以應(yīng)用在多種神經(jīng)網(wǎng)絡(luò)（如徑向基神經(jīng)網(wǎng)絡(luò)、回歸神經(jīng)網(wǎng)絡(luò)及小波神經(jīng)網(wǎng)絡(luò)等）中，使用簡(jiǎn)單、方便高效，有利于神經(jīng)網(wǎng)絡(luò)的開發(fā)和應(yīng)用。