(中國人民解放軍92941部隊,遼寧 葫蘆島 125000)

0 引言

遙測數(shù)據(jù)主要用于獲取飛行器狀態(tài)和軌跡信息以對其進行安全控制，高精度的遙測數(shù)據(jù)處理結果是評估的重要依據(jù)。遙測數(shù)據(jù)處理具有數(shù)據(jù)量大、數(shù)據(jù)結構復雜、高維度及高實時性等特征，同時遙測數(shù)據(jù)易受測量設備和空間環(huán)境等影響產(chǎn)生數(shù)據(jù)漂移變化，其表現(xiàn)可能是數(shù)據(jù)的突變形式，也有可能是緩慢的線性變化等，變化趨勢不易判斷，因此建立一種高精度的在線遙測數(shù)據(jù)預測模型十分必要[1]。

目前機器學習快速發(fā)展，并廣泛應用于各類復雜場景中的數(shù)據(jù)建模，通常的有監(jiān)督學習方法假設數(shù)據(jù)的概率分布在訓練集和實際數(shù)據(jù)集間不會發(fā)生變化，而實際應用場景中的數(shù)據(jù)的分布由于過程進化特性常常是不穩(wěn)定的，會隨時間而變化，進而造成隨時間推移模型的預測精度下降[2]。因此要建立的遙測數(shù)據(jù)預測模型不僅要求預測結果具有較高的精度，而且能對數(shù)據(jù)分布變化敏感，可以快速適應數(shù)據(jù)漂移的變化，同時算法要滿足在飛行規(guī)定的時間內(nèi)完成數(shù)據(jù)處理，

考慮到以往使用單一預測模型存在的不穩(wěn)定性，而集成算法模型能有效解決模型的泛化性和可信度[3]，因此提出一種基于隨機權神經(jīng)網(wǎng)絡(NNRW)的裝袋(bagging)集成方法[4]，用于解決遙測數(shù)據(jù)流的在線回歸預測問題。集成模型的關鍵是基模型的選擇[5]，選擇隨機權神經(jīng)網(wǎng)絡作為基模型，其輸入層和隱層間權值隨機初始化，在優(yōu)化過程中保持不變，而對隱藏層和輸出層間的權值進行優(yōu)化，同傳統(tǒng)神經(jīng)網(wǎng)絡訓練算法相比，這樣可極大降低訓練復雜度[6]。選擇裝袋集成方法，通過隨機有放回的取樣方式保證訓練出的基模型間的獨立性，保證所訓練基模型的多樣性，通過基模型定點更新策略保證集成模型對數(shù)據(jù)漂移的適應。仿真實驗表明基于具有高精度和高效性[7]隨機權神經(jīng)網(wǎng)絡和裝袋集成學習機制可實現(xiàn)基模型的并行訓練，該集成方法滿足對數(shù)據(jù)處理的實時性和精度要求，通過基模型更新機制，減小數(shù)據(jù)漂移對模型預測精度的影響。

1 隨機權神經(jīng)網(wǎng)絡的裝袋集成模型

該集成學習模型采用裝袋集成方法，通過隨機采樣方法對原始數(shù)據(jù)集抽取出多個訓練集，隨機性抽樣保證了各訓練集各自獨立又包含有數(shù)據(jù)集的共同特征，進而訓練得到具有多樣性的隨機權神經(jīng)網(wǎng)絡基模型池，從池中選擇最優(yōu)的基模型用于預測輸出。該集成方法通過樣本的隨機性，保證訓練出的隨機權神經(jīng)網(wǎng)絡基模型具有多樣性[8]，通過賦予高精度的基模型更大的輸出權值，聯(lián)合多個高精度基模型的加權輸出實現(xiàn)對輸出數(shù)據(jù)預測，保證最終數(shù)據(jù)預測結果的精度。同時為應對輸入數(shù)據(jù)存在的漂移現(xiàn)象，當數(shù)據(jù)出現(xiàn)漂移或模型預測精度下降，對構成輸出的基模型采用更新機制，通過新增數(shù)據(jù)訓練獲得新的基模型，對集成模型中輸出性能較差的基模型進行替換，保證用于預測的基模型為最優(yōu)。為滿足遙測數(shù)據(jù)處理要求，保證該集成模型數(shù)據(jù)處理的實時性，由于隨機權神經(jīng)網(wǎng)絡的結構和學習過程簡單，在對新增數(shù)據(jù)在線學習過程中可將若干神經(jīng)網(wǎng)絡同時訓練，極大縮減了集成模型的構造時間。

1.1 隨機權神經(jīng)網(wǎng)絡(NNRW)基模型

基模型的設計要求具有較高的預測精度以及計算效率，以滿足實時遙測數(shù)據(jù)處理的要求，因此選擇單隱藏層前向反饋神經(jīng)網(wǎng)絡結構的隨機權神經(jīng)網(wǎng)絡作為基模型，基模型原理如圖1所示。

圖1 單隱層前饋神經(jīng)網(wǎng)絡基模型

圖1中輸入層和隱藏層間的權值隨機選擇，在訓練過程中保持不變，而隱藏層與輸出層間的權值通過訓練獲得。學習算法選擇嶺回歸，學習函數(shù)如式(1)所示:

T=g(X·WH+B)·Wo

(1)

式中,T為目標向量，X為輸入訓練向量，WH為輸入層到隱藏層的權重向量，B為偏置向量，Wo為隱藏層到輸出層權重向量。(g)·為激活函數(shù)，如式(2)所示:

(2)

由于WH和B為隨機選擇向量，且在訓練過程中保持不變，訓練函數(shù)變?yōu)榫€性系統(tǒng)，如式(3)所示:

T=H·Wo

(3)

其中:H為隱藏層輸出，通過式(4)計算:

H=g(X·WH+B)

(4)

最優(yōu)向量Wo滿足式(5):

(5)

C為小的常數(shù)，I為作為懲罰項的單位矩陣。

隨機權神經(jīng)網(wǎng)絡通過隨機選取內(nèi)權與偏置值，將網(wǎng)絡參數(shù)需要計算的問題轉(zhuǎn)化成線性方程，通過不同的組合進行求解，采用廣義逆求解方程組的最小二乘解作為網(wǎng)絡外權，通過外權與內(nèi)權的結合計算，避免了其他傳統(tǒng)算法的缺點，極大地減少了訓練時間，有效避免了陷入局部最小循環(huán)的問題。

1.2 隨機權神經(jīng)網(wǎng)絡的裝袋集成算法

由于遙測數(shù)據(jù)含有多維信息，進行該類數(shù)據(jù)處理的模型通常極其復雜，另外遙測數(shù)據(jù)具有高的數(shù)據(jù)吞吐量，因此要求數(shù)據(jù)處理具有較高的實時性，為滿足模型實現(xiàn)在線對數(shù)據(jù)進行預測計算的要求[9]，將隨機權神經(jīng)網(wǎng)絡和裝袋集成方法進行聯(lián)合，其模型復雜度為O(M(N3))，模型中的每個隨機權神經(jīng)網(wǎng)絡基模型可單獨立優(yōu)化，各基模型優(yōu)化可并行執(zhí)行。集成模型的多樣性通過裝袋集成方法的自助采樣(bootstrapping)算法實現(xiàn)，自助采樣不僅產(chǎn)生新的訓練數(shù)據(jù)集用于基模型的訓練，并且能保證從訓練集中抽取出特征屬性，特征屬性的數(shù)量用于構建每個基模型，特征屬性的數(shù)量根據(jù)總特征量的百分比得出。

集成算法的具體原理如下：

1.2.1 基模型的選擇優(yōu)化

集成模型中包含多個基模型，它們利用對原始訓練集的采樣集進行訓練獲得各自的最優(yōu)參數(shù)，因此能保證基模型的多樣性，每個基模型都可以對輸入數(shù)據(jù)集進行預測，但集成模型的輸出只由所選擇的最優(yōu)Q個基模型決定，給定修剪率p∈(0,1]，參加預測的基模型的數(shù)量Q滿足式(6):

Q=p*M

(6)

對每個數(shù)據(jù)集C，對具有最小輸出誤差的Q個模型(Q

由于輸入數(shù)據(jù)存在數(shù)據(jù)漂移現(xiàn)象，勢必造成集成模型的預測精度下降，當集成模型中某個基模型精度較差時，對該基模型暫時免于激活，而從處于失效狀態(tài)而隨時跟蹤數(shù)據(jù)的基模型中選擇預測精度較佳者進行替換。

1.2.2 最優(yōu)權值確定

集成模型的輸出結果為所選擇最優(yōu)的Q個基模型加權輸出和。該權值直接影響集成模型性能，同時過于復雜的優(yōu)化方法會增加算法的計算時間。因此選擇的方法為集成模型中的每個基模型根據(jù)其在最近數(shù)據(jù)塊的預測精度被分配權重。給定當前數(shù)據(jù)集C，輸出由M個基模型(m=1，2,…,M)集成，每個基模型的權值計算如式(7)所示:

(7)

msem為第m個基模型在當前數(shù)據(jù)集C上計算得到的均方誤差。數(shù)據(jù)樣本xn的集成輸出yE如式(8)所示:

(8)

由式(8)可知，當基模型的預測輸出的均方誤差值較大時，則在集成模型的輸出中所占比例相應較小。當預測均方誤差值較小，則分配較大權重。

1.2.3 基模型的更新

為解決輸入數(shù)據(jù)的漂移問題，參與集成輸出的基模型需要進行更新，另外當基模型數(shù)量不滿足設計要求時需要使用最新的數(shù)據(jù)集中的標記數(shù)據(jù)訓練出新的基模型，在輸入數(shù)據(jù)集中隨機劃分出70%用于訓練，30%用于驗證。如果新的模型精度好于已存在模型中精度最差者，則進行模型更新，這個過程一直重復進行，直到新模型的數(shù)量達到設計要求。給定替換率為r∈(0,1]，新模型的數(shù)量Mnew計算如式(9)所示:

Mnew=round(r*M)

(9)

更新機制不僅保證集成模型與最近的數(shù)據(jù)同步，而且作為一種自然選擇機制，能不斷剔除低性能的基模型。

1.2.4 集成算法工作流程

隨機權神經(jīng)網(wǎng)絡集成模型工作原理如圖2所示。

圖2 隨機神經(jīng)網(wǎng)絡集成模型原理

將飛行遙測數(shù)據(jù)作為數(shù)據(jù)流，初始要求提供足夠可用數(shù)據(jù)集用于構建一個原始的集成模型，該可用數(shù)據(jù)集作為原始數(shù)據(jù)集，采樣數(shù)據(jù)S為對可用數(shù)據(jù)集進行有放回的隨機采樣獲得，每個采樣集用來訓練得到一個作為基模型M的隨機權神經(jīng)網(wǎng)絡，通過對N個基模型訓練獲得基模型池，選擇最優(yōu)的Q個基模型進行加權輸出實現(xiàn)對輸入數(shù)據(jù)的預測。初始集成模型構建完成之后開始對輸入數(shù)據(jù)流進行預測，同時上述更新機制開始工作，由于在數(shù)據(jù)流中設置有更新點標志，當檢測到更新點標志時，表示可用數(shù)據(jù)集為新增的數(shù)據(jù)集，一部分基模型對新增數(shù)據(jù)進行在線學習，當判斷集成模型預測性能下降時對預測性能較差的基模型進行更新操作。

2 集成模型超參數(shù)的優(yōu)化

模型的超參數(shù)包括基模型的個數(shù)，每個神經(jīng)網(wǎng)絡內(nèi)隱層層節(jié)點的個數(shù)，懲罰因子，隨機權重值的范圍等，超參數(shù)的選擇優(yōu)化對模型精度起著關鍵作用，而且超參間還具有相互作用，例如，在超參數(shù)A為1級別，算法精度隨超參數(shù)B從1～2變化時提高，同時在A為2級別，算法精度隨超參數(shù)B從1～2變化時降低，因此在超參數(shù)較多的情況下，增加了優(yōu)化過程的復雜性。目前用于數(shù)據(jù)流預測的機器學習算法中，還缺乏系統(tǒng)的方法對超參數(shù)進行優(yōu)化，一些方法如手動調(diào)整，網(wǎng)格搜索，貝葉斯超參數(shù)優(yōu)化等，缺乏對某個超參數(shù)的重要性和超參數(shù)間的相互作用的考慮[10]。

鑒于使用全因子的實驗設計(DOE)方法進行超參數(shù)調(diào)整能識別顯著的超參數(shù)間的相互作用，因此提出采用全因子設計方法對集成模型的超參數(shù)進行調(diào)整，將初始可用數(shù)據(jù)集的前1 000個數(shù)據(jù)隨機劃分為70%用于訓練，30%用于測試。具體過程分兩步進行，首先對所有超參數(shù)在預定義的5個級別進行窮盡組合計算，通過對每個超參數(shù)的靈敏度進行分析，以及對超參數(shù)之間的相互作用的分析識別出重要的超參數(shù)和優(yōu)化方式。之后開展新實驗進行超參數(shù)的微調(diào)，通過將具有低重要性的超參數(shù)保持在固定水平，縮小參數(shù)的搜索空間，進而保證了算法的實時性。模型超參數(shù)具體設置如表1所示。

表1 超參數(shù)預設值表參數(shù)

其中，M為構成集成模型的基模型數(shù)量；N為基模型中隱藏層節(jié)點數(shù)量，N為輸入數(shù)量的函數(shù)，具體為A因子與輸入數(shù)量的積；R為懲罰因子，用于在優(yōu)化過程中懲罰大的權值；W為隨機權值分布區(qū)間，該參數(shù)確定初始化隨機權值均勻分布在該區(qū)間內(nèi)，模型精度起關鍵作用；A為特征屬性數(shù)量，用于隨機選擇輸入的一部分用于基模型進行訓練。

3 仿真及分析

選取飛行器位置、速度、彈道等10個屬性的仿真數(shù)據(jù)作為訓練集，其中飛行彈道為目標輸出，其他參數(shù)作為輸入向量集，利用本文提出的方法建立預測模型。

為評估模型對數(shù)據(jù)漂移的響應，基于遙測數(shù)據(jù)構造5 000采樣點的數(shù)據(jù)集，將數(shù)據(jù)特征屬性的變量域劃分為10級，用前7級構造數(shù)據(jù)集的前2 000點，之后每隔1 000點擴展變量范圍，人為形成數(shù)據(jù)的漂移現(xiàn)象。

3.1 超參數(shù)優(yōu)化仿真及分析

每個超參數(shù)都決定模型的性能，但重要性不同，用于超參數(shù)優(yōu)化的數(shù)據(jù)集為起始的1 000點數(shù)據(jù)，將前1 000點數(shù)據(jù)劃分為兩部分，70%用于訓練，30%用于驗證。每個超參數(shù)按表1劃分的5個級別，共進行10次優(yōu)化過程處理，經(jīng)統(tǒng)計分析對超參數(shù)重要性進行評定，從而確定超參數(shù)優(yōu)化順序。根據(jù)F0顯著性統(tǒng)計確定最重要的3個超參數(shù)順序為隨機權值范圍W、基模型數(shù)量M和神經(jīng)網(wǎng)絡中的節(jié)點數(shù)N，獲取參數(shù)最優(yōu)設置如表2所示。

表2 最優(yōu)超參數(shù)設置

通過超參數(shù)優(yōu)化過程，也證明了隱藏層節(jié)點數(shù)量和隨機權值范圍間相互影響，如圖3所示。

圖3 超參數(shù)間相互關系

3.2 遙測數(shù)據(jù)仿真分析

為評估集成模型性能，基于余下4 000點數(shù)據(jù)集進行仿真測試，測試結果的MSE曲線如圖4所示。

圖4 模型預測誤差曲線

由圖4可見，在漂移點出現(xiàn)后，模型仍具有較高的預測精度，說明該模型具有明顯的抑制數(shù)據(jù)漂移的作用。

集成模型不僅提升了數(shù)據(jù)預測的精度，借助超參數(shù)最優(yōu)化和基模型更新策略，也極大縮減了模型更新時間，模型更新時間可控制在0.02 s內(nèi)完成。

4 結束語

針對遙測數(shù)據(jù)預測模型中，要求處理滿足實時性和抑制數(shù)據(jù)漂移的問題，提出一種采用隨機權值神經(jīng)網(wǎng)絡和bagging集成相聯(lián)合的集成方法，通過隨機的bootstrap采樣保證訓練集和隨機權神經(jīng)網(wǎng)絡基模型的獨立性和多樣性，利用隨機權神經(jīng)網(wǎng)絡的高效性，降低基模型訓練的復雜性，縮短了基模型訓練時間，提高了集成模型的處理速度，通過基模型的多樣性和在線更新機制，提高了在數(shù)據(jù)出現(xiàn)漂移時模型預測的精度。通過對飛行遙測數(shù)據(jù)的仿真實驗，結果表明該模型對遙測數(shù)據(jù)的預測精度得到了提升，對數(shù)據(jù)漂移現(xiàn)象具有抑制作用，同時該方法具有快速性等特點。