徐 濤,燕憲金,楊國慶(.中國民航大學計算機科學與技術學院,天津 300300；.中國民航信息技術科研基地,天津 300300)

基于神經(jīng)網(wǎng)絡集成的單個飛行事件噪聲預測模型

徐 濤1,2*,燕憲金1,楊國慶2(1.中國民航大學計算機科學與技術學院,天津 300300；2.中國民航信息技術科研基地,天津 300300)

通過分析影響單個飛行事件噪聲的各種因素,構(gòu)建了BP神經(jīng)網(wǎng)絡回歸預測模型,并通過自適應遺傳算法優(yōu)選出參與集成的個體神經(jīng)網(wǎng)絡,提出了預測單個飛行事件噪聲的神經(jīng)網(wǎng)絡集成預測模型.為了有效保證差異性,設置不同隱藏神經(jīng)元個數(shù)和 Bagging算法來構(gòu)建和訓練單個網(wǎng)絡.實驗結(jié)果表明,單個飛行事件噪聲的神經(jīng)網(wǎng)絡集成預測模型相對單個BP神經(jīng)網(wǎng)絡模型泛化能力更強,穩(wěn)定性能更好.本文方法在測試集上誤差在3dB以內(nèi)的平均比率為96.9%,比單個網(wǎng)絡高6.8%.

單個飛行事件噪聲；預測模型；BP神經(jīng)網(wǎng)絡；神經(jīng)網(wǎng)絡集成；遺傳算法

近年來,中國民航的迅猛發(fā)展受到世界矚目.但是,不斷新建、擴建的機場和持續(xù)增長的航空運輸量,也使得困擾中國民航已久的機場噪聲問題愈發(fā)嚴重[1].如何有效地控制機場噪聲是當前面臨的重要課題.機場噪聲預測是制定機場噪聲控制措施的主要依據(jù),因此,構(gòu)建準確高效的噪聲預測模型顯得尤為重要.

機場噪聲是由諸多單個飛行事件所引起的噪聲污染.單架飛機單次飛行稱為單個飛行事件

[2],其產(chǎn)生的噪聲稱為單個飛行事件噪聲.目前,主要根據(jù)噪聲計算模型來預測噪聲級,其中美國聯(lián)邦航空局(FAA)提出的綜合噪聲模型 INM (Integrated Noise Model)[3]應用最為廣泛.該模型對單個飛行事件噪聲的計算是根據(jù)預測點到飛機航跡的距離,對該飛機既有基本聲學數(shù)據(jù)進行插值,進而計算得到該預測點的噪聲級,并在此基礎上運用噪聲影響因素修正模型對噪聲級進行修正,從而得出實際噪聲級[4].但該模型需要大量參數(shù),而在現(xiàn)實環(huán)境中,很難全面、精確地獲取這些參數(shù),從而致使預測精度較低.由于機場噪聲與其影響因素之間存在復雜的非線性關系,很難建立相應的函數(shù)模型.而理論證明,包含一個隱藏層的三層前饋神經(jīng)網(wǎng)絡可以以任意精度逼近任意復雜的非線性函數(shù)[5],因此可以用神經(jīng)網(wǎng)絡模型來擬合噪聲與其影響因素之間的函數(shù)模型.目前,神經(jīng)網(wǎng)絡在噪聲預測領域已展現(xiàn)出其有效性和可行性.2006年,陳可可等[6]提出了道路交通噪聲的神經(jīng)網(wǎng)絡預測模型.2008年,Yang等[7]應用神經(jīng)網(wǎng)絡對機場噪聲進行仿真預測.然而在實際應用過程中,單個神經(jīng)網(wǎng)絡存在一定的缺陷,如容易陷入局部極小值且穩(wěn)定性差等.

已有研究表明,神經(jīng)網(wǎng)絡集成在處理復雜問題時可以克服單個神經(jīng)網(wǎng)絡的缺陷[8-9],因此本文提出了一種單個飛行事件噪聲的神經(jīng)網(wǎng)絡集成預測方法.首先構(gòu)建單個飛行事件噪聲的BP(Back Propagation)神經(jīng)網(wǎng)絡回歸預測模型,在構(gòu)建和訓練過程中采用設置不同隱藏層神經(jīng)元個數(shù)和 Bagging算法來增加個體網(wǎng)絡之間的差異性,然后通過自適應遺傳算法從候選網(wǎng)絡中選出參與集成的個體神經(jīng)網(wǎng)絡,組建神經(jīng)網(wǎng)絡集成預測模型,從而提高預測精度和穩(wěn)定性能.

1 BP神經(jīng)網(wǎng)絡

BP神經(jīng)網(wǎng)絡是一種多層前饋神經(jīng)網(wǎng)絡,它采用反向傳播算法,具有很強的非線性映射能力,因此在系統(tǒng)仿真、函數(shù)擬合、模式識別等領域具有廣泛的應用[10].但該網(wǎng)絡存在一定的局限性,如收斂速度慢,容易陷入局部極小值等,采用附加動量項和自適應學習率,能有效改進 BP神經(jīng)網(wǎng)絡性能.

標準BP神經(jīng)網(wǎng)絡在調(diào)整權值時僅考慮誤差在梯度上的作用,附加動量項法[11]通過給每個權值變化量加上一個正比于前一次權值變化量的動量項,使網(wǎng)絡連接權值的變化和網(wǎng)絡訓練效果相聯(lián)系.這樣不僅考慮誤差在梯度上的作用,也考慮了在誤差曲面上變化趨勢的影響,利用附加動量能有效抑制網(wǎng)絡陷入局部極小.

在標準 BP神經(jīng)網(wǎng)絡的訓練中,學習速率固定不變,收斂速度慢.自適應調(diào)整學習率法[12]在訓練過程中根據(jù)訓練結(jié)果動態(tài)調(diào)整學習速率,若一輪訓練后誤差減小,則增大學習率,加快網(wǎng)絡收斂,反之減小學習率.這樣可以保證網(wǎng)絡總是以最大可接受的學習率進行訓練.

2 單個飛行事件噪聲的BP神經(jīng)網(wǎng)絡回歸預測模型

利用神經(jīng)網(wǎng)絡預測單個飛行事件噪聲,就是通過學習構(gòu)建反映噪聲影響因素和噪聲值之間關系的神經(jīng)網(wǎng)絡回歸模型.單個飛行事件噪聲影響因素包括:飛機型號、發(fā)動機推力、操作模式(起飛或著陸)、飛行航跡,以及氣象條件等[13].通過分析發(fā)現(xiàn),發(fā)動機推力、飛機操作模式(0表示起飛,1表示降落)、飛機到預測點的直線距離、飛機的垂直高度、平均風速、最大風速為影響噪聲事件的主要因素,并作為網(wǎng)絡的輸入.等效連續(xù)A聲級Leq[14]是常用的噪聲評價量,能反映單個飛行事件噪聲的特點,其單位為 dB(A),因此可以將Leq作為網(wǎng)絡的輸出.理論證明,僅含有一個非線性隱藏層的BP神經(jīng)網(wǎng)絡可以對任意復雜度的函數(shù)以任意精度進行逼近.采用三層 BP神經(jīng)網(wǎng)絡構(gòu)建單個飛行事件噪聲的神經(jīng)網(wǎng)絡回歸預測模型,其模型結(jié)構(gòu)如圖1所示.

圖1 單個飛行事件噪聲的BP神經(jīng)網(wǎng)絡回歸預測模型Fig.1 Regression prediction model based on BP neural network for single aircraft noise event

3 單個飛行事件噪聲的神經(jīng)網(wǎng)絡集成預測模型

3.1 神經(jīng)網(wǎng)路集成學習

神經(jīng)網(wǎng)絡集成是用有限個神經(jīng)網(wǎng)絡對同一個問題進行學習,在某輸入示例下的集成輸出由構(gòu)成集成的各神經(jīng)網(wǎng)絡在該示例下的輸出共同決定.神經(jīng)網(wǎng)絡集成泛化誤差為:

單個飛行事件噪聲的神經(jīng)網(wǎng)絡集成預測模型構(gòu)建分為兩個步驟:應用訓練樣本獨立訓練多個候選個體網(wǎng)絡;通過遺傳算法選擇個體網(wǎng)絡進行集成,最終進行集成預測,輸出預測結(jié)果.

3.2 個體網(wǎng)絡構(gòu)建與訓練

通常,增加個體網(wǎng)絡之間的差異,可以增強集成的泛化能力,減小預測誤差.而不同的網(wǎng)絡結(jié)構(gòu)能有效增加個體網(wǎng)絡之間的差異,因此,候選個體網(wǎng)絡可采用由 5種不同數(shù)量神經(jīng)元構(gòu)成的隱藏層構(gòu)建的 BP神經(jīng)網(wǎng)絡,相同隱藏層神經(jīng)元數(shù)目的個體網(wǎng)絡個數(shù)為4個,共計20個候選個體網(wǎng)絡.為使候選個體網(wǎng)絡具有盡可能大的差異性,采用Bagging算法中訓練個體的方法來訓練候選個體網(wǎng)絡.Bagging算法是利用對訓練樣本集的擾動來獲得個體網(wǎng)絡之間的差異[15],該策略從原始訓練集中產(chǎn)生多個新的訓練樣本子集,用每個新的訓練子集來訓練候選網(wǎng)絡,其訓練過程具體描述如下:

步驟 1:進行初始化,確定原始訓練集D={(X1,Y1),(X2,Y2),…,(Xn,Yn)}, n表示原始訓練集的樣本個數(shù),假設候選網(wǎng)絡個數(shù)為 m, fi表示第 i個候選網(wǎng)絡;

步驟2:For i = 1 to m do //循環(huán)m次,訓練m個候選網(wǎng)絡

{

通過可放回的隨機取樣從 D中選出新的訓練集Di;

用Di作為候選個體網(wǎng)絡fi的訓練集并進行訓練.

}.

3.3 遺傳算法選擇集成

3.3.1 適應度函數(shù) 適應度函數(shù)(Fitness function)是遺傳算法對問題中的每一個染色體進行度量的函數(shù),是對一個解的優(yōu)劣進行評價的指標.

本文采用的適應度函數(shù)為在驗證集上的均方誤差的倒數(shù),其表達式形如:

式中:n表示訓練樣本的個數(shù);v表示驗證集;iy′表示樣本i的預測輸出值;yi表示樣本i的實際輸出值.

3.3.2 交叉、變異概率 交叉是指對兩個相互配對的染色體,依據(jù)交叉概率Pc按某種方式相互交換其部分基因,從而形成兩個新的染色體.變異是指依據(jù)變異概率Pm,將染色體編碼串中的某些位置的數(shù)碼用其他數(shù)碼來替換,從而形成一個新的染色體.標準遺傳算法的交叉率和變異率固定不變,易導致過早收斂而獲得局部最優(yōu)解.本文對標準遺傳算法做如下改進,采用自適應的交叉、變異概率[16],表達式如下:

3.3.3 選擇集成 利用遺傳算法的優(yōu)化思想進行選擇神經(jīng)網(wǎng)絡集成,使得集成的泛化誤差最小.即假定已經(jīng)獨立訓練了m個神經(jīng)網(wǎng)絡{,利用遺傳算法優(yōu)化選擇的一個子集St,使得由 St中個體網(wǎng)絡構(gòu)建的集成網(wǎng)絡的泛化能力最強.具體思路是,為每一個候選網(wǎng)絡分配一個權值表示候選個體網(wǎng)絡 fi的權重,反映了個體網(wǎng)絡在集成中的重要程度,對應于遺傳算法中的染色體的基因,然后將權值向量作為遺傳算法中的染色體,通過遺傳算法尋優(yōu)最終得到權值向量的最優(yōu)解,最后將優(yōu)化后大于給定閾值λ的個體網(wǎng)絡加入集成,小于λ的個體網(wǎng)絡被剔除,進而得出最終的集成模型.在采用遺傳算法實現(xiàn)選擇集成過程中,神經(jīng)網(wǎng)絡集成對輸入 χ的實際輸出為:

其中:

式中:iw′表示參與集成的個體網(wǎng)絡fi的權重;s表示參與集成的網(wǎng)絡數(shù)量.

于是,基于遺傳算法選擇集成的步驟如下:

步驟 1:染色體采用實數(shù)編碼,編碼范圍為[0,1],對應{w1,w2,…,wm},長度為候選網(wǎng)絡個數(shù)m,設定種群大小H、最大進化代數(shù)、最大和最小交叉概率和、最大和最小變異概率和,隨機初始化種群;

步驟 2:根據(jù)公式(2)計算種群中每個染色體的適應度值f;

步驟3:根據(jù)適應度值f,采用輪盤賭方法選出進入下一代的染色體;

步驟 4:根據(jù)公式(3)提供的自適應交叉概率Pc進行單點實數(shù)交叉;

步驟 5:根據(jù)公式(4)提供的自適應變異概率Pm進行基本位變異;

步驟 6:得到新一代種群,若沒有迭代到最大進化代數(shù),則轉(zhuǎn)步驟2,否則進入下一步;

步驟 7:輸出群體中適應度值最優(yōu)的染色體,作為最優(yōu)權值向量;

步驟8:最優(yōu)權值向量中權值大于給定閾值λ的個體網(wǎng)絡加入集成,反之則被剔除.

4 結(jié)果分析

實驗數(shù)據(jù)來源于某樞紐機場噪聲監(jiān)測系統(tǒng)對飛機噪聲事件的實際監(jiān)測數(shù)據(jù)和 ANP (Aircraft Noise and Performance Database)數(shù)據(jù)庫.根據(jù)確定的輸入和輸出參數(shù),從噪聲監(jiān)測系統(tǒng)的噪聲事件數(shù)據(jù)和ANP數(shù)據(jù)庫中綜合整理出實驗所需的樣本數(shù)據(jù)集,其格式與部分數(shù)據(jù)如表1所示.隨機選擇1000條樣本數(shù)據(jù)作為訓練集,500條樣本數(shù)據(jù)作為驗證集,100條樣本數(shù)據(jù)作為測試集,并進行歸一化處理.

表1 樣本數(shù)據(jù)集數(shù)據(jù)格式Table 1 Data format of sample data set

實驗環(huán)境:Windows XP,Matlab R2009a.

實驗一:對單個飛行事件噪聲的 BP神經(jīng)網(wǎng)絡回歸預測模型進行實驗,考察隱藏層神經(jīng)元個數(shù)對泛化能力的影響.隨機選擇1000條樣本數(shù)據(jù)作為訓練集,100條樣本數(shù)據(jù)作為測試集.BP神經(jīng)網(wǎng)絡為單隱藏層的三層網(wǎng)絡,隱藏層神經(jīng)元數(shù)量從3個逐步增加到12個,隱藏層、輸出層的傳遞函數(shù)分別為tansig函數(shù)和purelin函數(shù),訓練函數(shù)采用帶有附加動量項和自適應學習率的BP算法,最大訓練次數(shù)為500次,訓練目標為0.0001.為消除隨機性造成的影響,對每種不同隱藏層神經(jīng)元個數(shù)的神經(jīng)網(wǎng)絡分別進行10次重復實驗,取其平均值.實驗結(jié)果如圖2所示.

從圖 2中可以看出,隨著隱藏層神經(jīng)元數(shù)量的增加,BP神經(jīng)網(wǎng)絡在測試集上的泛化誤差呈現(xiàn)先減小后增大的趨勢.隱藏層神經(jīng)元數(shù)量過少時,BP神經(jīng)網(wǎng)絡的學習能力不足,泛化能力差;隱藏層神經(jīng)元數(shù)量過多時,出現(xiàn)過擬合現(xiàn)象,影響網(wǎng)絡的泛化能力,泛化誤差變大.當神經(jīng)元數(shù)量為 4個時,泛化誤差最小.

實驗二:對單個飛行事件噪聲的神經(jīng)網(wǎng)絡集成預測模型進行實驗,考察其泛化能力并與 BP神經(jīng)網(wǎng)絡回歸預測模型進行對比.隨機選擇1000條樣本數(shù)據(jù)作為訓練集,500條樣本數(shù)據(jù)作為驗證集,100條樣本數(shù)據(jù)作為測試集.從增大個體網(wǎng)絡之間差異性、降低個體網(wǎng)絡誤差角度出發(fā),根據(jù)實驗一的結(jié)論,個體網(wǎng)絡隱藏層神經(jīng)元個數(shù)分別為3、4、5、6、7(個體網(wǎng)絡誤差最小的5種),相同隱藏層神經(jīng)元數(shù)目的個體網(wǎng)絡個數(shù)為4個,共計20個候選個體網(wǎng)絡.個體網(wǎng)絡的其他參數(shù)和實驗一相同,遺傳算法中,種群大小H為80,染色體長度為 20,根據(jù)交叉、變異概率最優(yōu)推薦范圍,Pcmax=0.9,Pcmin=0.4,Pmmax=0.09,Pmmin=0.01,最大進化代數(shù)為100代,選擇操作采用輪盤賭方法,交叉采用單點交叉方法,閾值λ=1/20.為消除隨機性造成的影響,進行 10次重復實驗,取其平均值.實驗結(jié)果如表2、表3、表4和圖3所示.

圖2 不同隱藏層神經(jīng)元數(shù)量下BP神經(jīng)網(wǎng)絡模型的均方誤差平均值Fig.2 Average root mean square error of BP neural network models with different number of hidden nodes

表2 測試集預測誤差范圍比例的對比(%)Table 2 Comparison of the percentage of every prediction error range in the test set(%)

從表 2中可以看出,本文方法在測試集誤差為[0, 0.5)dB、[0.5, 1)dB區(qū)間的比例分別比單個網(wǎng)絡高9.4%和5.9%;誤差在[3, +∞) dB區(qū)間的比例比單個網(wǎng)絡低6.8%;誤差在[0, 3)dB區(qū)間的比例為96.9%,而單個網(wǎng)絡為90.1%.

表3 本文方法與單個網(wǎng)絡、全部集成的誤差對比(dB)Table 3 Comparison of error among proposed model, single best network model and all networks ensemble (dB)

表4 集成網(wǎng)絡個數(shù)Table 4 The number of ensemble networks

圖3 本文方法和單個網(wǎng)絡模型10次實驗均方誤差對比Fig.3 Comparison of root mean square error of 10 times between proposed model and single network model

從表 3中可以看出,本文方法在測試集上的均方誤差平均值比單個網(wǎng)絡小 0.8198,減少了24.28%,說明本文方法在測試集的泛化能力更強.本文方法 10次實驗的標準差比單個網(wǎng)絡小0.204,說明集成模型用于單個飛行事件噪聲預測比單個網(wǎng)絡表現(xiàn)出更好的穩(wěn)定性.

雖然本文方法的標準差比全部網(wǎng)絡參與集成的標準差要稍大,但本文方法10次實驗誤差的最大值比全部集成的最小值還要小,說明本文方法泛化能力更強.并且從表4中還可以看出,本文方法參與集成的網(wǎng)絡個數(shù)平均為 3.2個,遠小于20個,節(jié)省了存儲空間.

從圖 3中還能直觀地看出集成模型的泛化誤差比單個網(wǎng)絡要小,并且波動較小,具有更好的穩(wěn)定性能.

5 結(jié)論

5.1 本研究將集成學習方法應用于機場噪聲預測,首先構(gòu)建和訓練若干候選 BP神經(jīng)網(wǎng)絡回歸預測模型,然后通過遺傳算法優(yōu)化選擇個體網(wǎng)絡參與集成,構(gòu)建神經(jīng)網(wǎng)絡集成預測模型.

5.2 在測試集上,神經(jīng)網(wǎng)絡集成預測模型的均方誤差平均值比單個網(wǎng)絡小 0.8198,標準差比單個網(wǎng)絡小 0.204,預測精度比單個網(wǎng)絡高 5.9%以上.也就是說,神經(jīng)網(wǎng)絡集成預測模型泛化能力更強,預測精度更高,穩(wěn)定性能更好.

5.3 相比傳統(tǒng)預測模型,本文方法不需要構(gòu)建計算模型,只需要部分參數(shù),預測過程簡單.

[1] 過春燕,張邦俊.基于Surfer的機場噪聲等值線計算機繪制方法[J]. 中國環(huán)境科學, 2003,23(6):631-634.

[2] 程國勇,王 巍.單次飛行事件噪聲等值線計算方法的研究 [J].噪聲與振動控制, 2011,31(1):161-165.

[3] FAA, FAR150. Airport noise compatibility planning [S]. 2006.

[4] 沈洪艷,劉勁松.機場噪聲預測模型及應用實例 [J]. 河北師范大學學報(自然科學版), 2000,24(1):137-140.

[5] Hornik K M, Stineheombe M, White H. Multilayer feed-forward networks are universal approximators [J]. Neural Networks, 1989, 2(2):359-366.

[6] 陳可可,姚 建,徐 磊.BP人工神經(jīng)網(wǎng)絡模型在拉薩道路交通噪聲預測中的應用 [J]. 環(huán)境科學與管理, 2006,31(5):78-81.

[7] Yang Y J, Hinde C. Airport noise simulation using neural networks [C]//Proceedings of International Joint Conference on Neural Networks, 2008:1917-1923.

[8] Hansen L K, Salamon P. Neural network ensembles [J]. IEEE transactions on pattern analysis and machine intelligence, 1990, 12(10):993-1001.

[9] 徐 鶴,王鎖萍,王汝傳,等.基于神經(jīng)網(wǎng)絡集成的 P2P流量識別研究 [J]. 南京郵電大學學報(自然科學版), 2010,30(3): 79-83.

[10] 王國平.灰色系統(tǒng)理論在城市交通噪聲預測和絕對關聯(lián)度分析中的應用 [J]. 中國環(huán)境科學, 1996,16(1):56-59.

[11] 史春朝.BP神經(jīng)網(wǎng)絡算法的改進及其在PID控制中的應用研究[D]. 天津:天津大學, 2006.

[12] 張永宏,吳 鑫.BP神經(jīng)網(wǎng)絡在圖像字符識別中的改進和應用[J]. 南京信息工程大學學報(自然科學版), 2012,4(6):526-529. [13] 李 冉.機場航空噪聲預測及其影響因素研究 [D]. 天津:中國民航大學, 2008.

[14] 肖慧慧,王 超,徐肖豪.機場飛機噪聲影響評價量及其限值的探討 [J]. 噪聲與振動控制, 2011,31(2):134-138.

[15] Wang Y, Li W S, Li R, et al. Feature selection based on bagging ensemble learning algorithm [C]//Proceedings of IET International Communication Conference on Wireless Mobile and Computing, 2009:734-736.

[16] Yan T S. An improved genetic algorithm and its blending application with neural network [C]//Proceedings of International Workshop on Intelligent Systems and Applications, 2010:1-4.作者簡介：徐 濤(1962-),男,重慶人,教授,博士,主要從事民航信息系統(tǒng)理論和智能信息處理與分析研究.發(fā)表論文60篇.

《中國環(huán)境科學》獲評“百種中國杰出學術期刊”

《中國環(huán)境科學》2012年被中國科學技術信息研究所評為“2011年度百種中國杰出學術期刊”.“百種中國杰出學術期刊”是根據(jù)中國科技學術期刊綜合評價指標體系進行評定的,包含總被引頻次、影響因子、基金論文比、他引總引比等多個文獻計量學指標.

《中國環(huán)境科學》編輯部

Prediction model of noise event for single flight based on neural network ensemble.

XU Tao1,2*, YAN Xian-jin1,

YANG Guo-qing2(1.College of Computer Science and Technology, Civil Aviation University of China, Tianjin 300300, China；2.Information Technology Research Base of Civil Aviation Administration of China, Tianjin 300300, China). China Environmental Science, 2014,34(2)：539～544

Through analyzing the influence factors of the noise event for single flight, the regression prediction model based on BP neural network was established. Then, the ensemble prediction model based on neural network for single noise event was constructed by selecting neural networks with the aid of adaptive genetic algorithm. Simultaneously, in order to maintain the diversity of neural networks, different number of hidden nodes and Bagging algorithm were used. Experimental results show that the proposed ensemble prediction model based on neural network was better than the model of single BP neural network in terms of generalization ability and higher stability. The average accuracy rate of the proposed model was 96.9% on the test set within ±3dB error and was 6.8% higher than that of the single network model.

：noise event for single flight；prediction model；BP neural network；neural network ensemble；genetic algorithm

X593

：A

：1000-6923(2014)02-0539-06

2013-05-20

國家自然科學基金項目(61139002);國家“863”項目(2012AA063301);中國民用航空局科技項目(MHRD201006、MHRD201101);中央高?；究蒲袠I(yè)務費專項資金(3122013P013)

* 責任作者, 教授, txu@cauc.edu.cn