楊 其， 陳水忠， 沈淑梅， 朱振華

(1.火箭軍工程大學,a.士官學院，山東 青州 262500；b.初級指揮學院，西安 710025；2.中國航空工業(yè)集團公司洛陽電光設備研究所，河南 洛陽 471000)

0 引言

慣性器件可以在不借助外部信息的孤立系統(tǒng)中直接測量比力和角速率值，因此在飛行器、艦船、智能設備等眾多領域得到了廣泛應用，同時作為一種自推算制導方式，慣性制導本身也不可避免地存在缺陷，其誤差會隨時間不斷累積并放大。依靠地面靜態(tài)環(huán)境建立誤差模型并標定系數(shù)，可以在一定程度上對誤差進行補償。但地面標定環(huán)境總是與實際工作的動態(tài)環(huán)境存在一定差別，誤差模型也難以對真實誤差完全補償，一般將兩者的差距歸入隨機誤差。

造成慣性器件產生隨機誤差有眾多因素[1-5]，按照目前已知的物理原因一般將其分為量化噪聲、零偏不穩(wěn)定性、角度隨機游走、速率斜坡等。解決隨機誤差的最根本方法是對誤差來源的物理機制深入研究，提高制造工藝消除誤差，但這樣的做法不僅導致費效比較高，而且目前對某些慣性器件隨機誤差成因并未形成統(tǒng)一的結論。例如,慣性器件的零偏不穩(wěn)定性多認為由電子元件的閃爍噪聲導致，但對閃爍噪聲形成機理和分析方法仍未形成確定性共識[6-7]。因此，目前對隨機誤差的補償方法多基于將各種噪聲作為濾波項加入系統(tǒng)方程進行在線實時濾波[8-9]，但濾波方法本質上是一種信號融合工具，需要建立在對實際系統(tǒng)描述基本準確的基礎上，不加任何驗證直接對濾波系統(tǒng)方程進行擴展極易導致對實際系統(tǒng)的欠擬合，使濾波難以收斂，這也是大量改進形式濾波算法難以實際應用的重要原因。

本文研究主要針對慣性器件隨機誤差預測問題，對比了成熟的基于時間序列的自回歸-滑動平均(Auto-Regressive and Moving Average Model，ARMA)建模方法和流行的深度學習的長短時記憶(Long Short-Term Memory，LSTM)網絡在該問題上的適用性和實時預測效率。

1 隨機誤差ARMA模型擬合局限性分析

按照時間先后順序記錄的一系列慣性器件輸出的數(shù)據(jù)可以作為一個時間序列。由于慣性器件受到各種不確定因素的作用，輸出的時間序列中包含各種隨機誤差，同時慣性器件作為實際存在的物理系統(tǒng)，相鄰時間點上的輸出會存在狀態(tài)延續(xù)性，可以認為時間序列反映了系統(tǒng)的內在規(guī)律，并通過擬合序列建模的方法來預測系統(tǒng)進一步的輸出。在無實時性要求情況下，常用方法為建立ARMA模型，即認為慣性器件時間序列y(n)包含了以下分解項

y(n)=f(n)+s(n)+x(n)

(1)

式中,f(n)，s(n)，x(n)分別表示趨勢項、周期項和隨機項。其中，趨勢項提取可采用差分法或最小二乘法，對周期項亦可通過功率譜密度分析并差分去除。ARMA模型主要針對隨機項x(n)，并認為當前時刻的測量值與之前的p個測量值、白噪聲w(n)以及之前的q個時間平移白噪聲w(n-1)，w(n-2)，…，w(n-q)相關，即

(2)

但在工程應用中,慣性器件誤差輸出最為突出的特征表現(xiàn)為性能可重復性差，即存在一次通電誤差和逐次通電誤差，因此必須獲取足夠長的時間樣本才能夠真實反映慣性器件的特性。假設時間序列樣本服從AR(1)模型且時間序列長度為N，可以根據(jù)式(2)構建N-1個方程，即

(3)

式中：a1為AR(1)模型參數(shù);w(n)為白噪聲。

(4)

對式(4)中部分參數(shù)進行近似，令

(5)

(6)

(7)

以某陀螺儀上電輸出為例進行時間序列分析，獲取長度為500的時間序列(第1組)，如圖1所示。

圖1 陀螺輸出序列樣本Fig.1 Original series of gyro output

對獲取時間序列逐步回歸提取趨勢項，其趨勢項表達式為

f(t)=59.365 2+68.711 5t-8.375 2t-2-766.356 4t1/2+
667.456 8t-1/2+86.265 7e-t+675.354lnt。

(8)

提取趨勢項后的樣本序列如圖2所示。

圖2 提取趨勢項后序列樣本Fig.2 Time series after extracting the trend term

經功率譜檢驗，序列中存在的周期項并不顯著。對其進行ARMA建模，分別求解自相關函數(shù)和偏自相關函數(shù)，如圖3所示。

圖3 自相關和偏自相關函數(shù)(第1組)Fig.3 Autocorrelation function and the partial autocorrelation function (Group 1)

時間序列應識別為一階MA模型，參數(shù)估計值為b1=0.731 8。

在同樣試驗條件下，對同一個陀螺再次上電獲取長度為500的時間序列(第2組)，提取趨勢項為

f(t)=65.341 5+67.253 4t-6.674 3t-2-638.236 4t1/2+

681.259 1t-1/2+90.300 2e-t+585.567 3lnt

(9)

其自相關函數(shù)和偏自相關函數(shù)如圖4所示。

時間序列識別為一階MA模型，參數(shù)估計值為b1=0.567 1。

兩組時間序列擬合后的殘差均近似為白噪聲，對比如圖5所示。

圖4 自相關和偏自相關函數(shù)(第2組)Fig.4 Autocorrelation function and the partial autocorrelation function (Group 2)

圖5 擬合殘差(第1組和第2組)Fig.5 The fitting residuals (Group 1 and Group 2)

通過算例對比可以看到，依據(jù)不同樣本序列對同一個慣性器件建立的ARMA模型在趨勢項和模型參數(shù)上仍差別較大。由于算例直接獲取的時間序列并不長，有可能導致周期性誤差未能完全體現(xiàn)，但算例對比足以說明在慣性器件逐次通電誤差影響下，即使ARMA模型構建的十分精確，使用該模型對另一組數(shù)據(jù)的預測效果也并不理想，同時,模型建立的時間序列數(shù)據(jù)在靜態(tài)環(huán)境中獲取，用其擬合動態(tài)環(huán)境激勵出的隨機誤差結果將更不理想。

2 隨機誤差預測LSTM網絡構建

通過分析可以看到，由于慣性器件本身存在逐次通電誤差，時間序列樣本相當于在隨機過程中提取了一個片段，而且該隨機過程的平穩(wěn)性和遍歷性無法確定，對“片段數(shù)據(jù)”進行高精度的ARMA建模極易導致過擬合，使模型泛化能力下降。而提高預測精度需要付出巨大的時間成本，并集中體現(xiàn)在時間序列樣本獲取長度上，因此難以應用于實時性要求高的場合。但借鑒其思路，如果能夠將建立具體的預測模型替代為建立深度學習網絡，事先利用大量的標簽數(shù)據(jù)對其進行訓練，不僅可以解決ARMA模型泛化能力不夠的問題，而且訓練完善的網絡在實際使用時具有較高的實時性。

慣性器件作為實際物理系統(tǒng)，當前時刻輸出與相鄰時刻的輸出必然存在一定的相關性，變化規(guī)律并不像公共場合客流數(shù)據(jù)一樣存在無窮方參與博弈，出現(xiàn)無規(guī)則跳變，因此對慣性器件輸出序列的預測采用LSTM網絡是一種合適的構建形式，其基本組成單元如圖6所示。

圖6 LSTM網絡基本單元Fig.6 Basic unit of LSTM network

LSTM網絡是循環(huán)神經網絡(RNN)的一種[10-11]，每個基本單元輸入xn與前一個單元輸出hn-1連接后通過線性單元σ(Sigmoid函數(shù)運算)轉化為區(qū)間[0,1]之間的系數(shù)fn，同樣tanh單元表示將數(shù)值映射到區(qū)間[-1,1]之間，這一部分的特征映射表達式為

(10)

式中,Wf,bf,Wi,bi,Wc,bc為待訓權重。

(11)

式(11)實際上包含了“遺忘門”的設計，通過線性疊加確定本次輸入信息的權重和對之前信息的遺忘比例[12-14]。遺忘門控單元的設計主要用于控制數(shù)據(jù)長期依賴性信息的流動，近似于滑動平均的思想：可令αhn-1+(1-α)hn→hn，如果α接近于1,則可以記憶久遠地傳遞信息，而α接近于0,則完全遺忘，防止訓練中出現(xiàn)由長期依賴性導致的梯度消失。

基本單元的輸出向外的傳遞系數(shù)Cn再次經過一個遺忘門并向同層和其他層傳遞，即

(12)

將基本單元按照問題的規(guī)模和預測輸出的長度連接為拓撲結構即可完成網絡主要部分的搭建。

3 LSTM網絡預測效果對比

LSTM網絡實現(xiàn)采用Keras序貫模型(Sequential)，增加多個LSTM網絡層接收輸入信息并作為隱藏層訓練。針對隨機誤差實時估計，深度學習網絡設計目的在于對同一型號的慣性器件能夠根據(jù)在線敏感到的數(shù)據(jù)，依靠訓練完成的神經網絡實時估算即將出現(xiàn)的隨機誤差，因此在LSTM網絡輸出時，應根據(jù)需要估算的隨機誤差序列長度的規(guī)模設計一個全連接層(Dense)來連接隱藏層和輸出層[15-18]。

首先對某陀螺儀獲取1000組序列長度為420個時序點的標簽樣本，在這些樣本中既包含多次通電獲取到的序列，也包含在一次通電過程中對陀螺儀輸出截取獲得的序列樣本。保留樣本的后10組作為預測數(shù)據(jù)，前990組作為訓練樣本，首先設計5層LSTM網絡進行訓練，輸入數(shù)據(jù)按照Keras三維格式組織并全部標準化為區(qū)間[0,1]之間數(shù)值，選擇平均絕對誤差百分比(Mean Absolute Percentage Error，MAPE)作為誤差比較值。

訓練完成后對預測數(shù)據(jù)的MAPE值為0.270 8，擬合結果與實際數(shù)據(jù)對比如圖7所示。

圖7 預測擬合效果對比(5層網絡)Fig.7 Comparison of the predicted results of LSTM (5 layers) networks

LSTM網絡如需滿足慣性器件在線預測的要求，必須具備較高的實時性并能依據(jù)較短時間序列完成預測的能力。為了驗證網絡的實時性，對網絡輸入輸出規(guī)模修改后進行在線預測仿真，訓練完成后預測結果與實際數(shù)據(jù)對比如圖8所示。

圖8 在線實時預測效果對比(5層網絡)Fig.8 Online predicted results of LSTM(5 layers) networks

可以看到,由于樣本序列縮短卻需要預測更遠的數(shù)據(jù)輸出，LSTM預測能力出現(xiàn)退化而且預測結果存在延遲。為了改善結果，嘗試構建更深的隱藏層，進一步增加LSTM層數(shù)至15層，引入Dropout機制概率為0.1，多次對超參數(shù)進行調整后，網絡對測試樣本的擬合以及在線預測結果如圖9所示。

圖9 15層LSTM網絡預測效果Fig.9 Predicted results of LSTM(15 layers) networks

可以看到,在采用更多LSTM層數(shù)時，擬合和預測精度得到了一定的改善。但在線預測過程中由于時間序列規(guī)?？s小，預測準確率下降明顯,當然準確率下降的原因仍有訓練樣本不夠龐大和參數(shù)設置的原因。但通過觀察圖8、圖9，可以看到預測對噪聲變化趨勢仍保證相當?shù)钠鹾隙?，仍可以將這個結果作為有色噪聲范圍對濾波算法進行優(yōu)化設計。

4 結論

對慣性器件實際應用環(huán)境而言，ARMA建模可以提取出慣性器件輸出變化的趨勢項、周期項并建立其中隨機變化部分的自回歸滑動平均模型，但需要較長的時間樣本和一定規(guī)模的計算復雜度，因此方法多應用于不計時效比和實時性的設計、精度驗證和工藝提高階段；而深度學習的LSTM網絡通過訓練,在樣本擬合預測中同樣可以達到較好的效果，而且減少了ARMA方法中趨勢項和周期項判斷，在線實時預測中LSTM網絡預測能力會隨著時間序列的縮短出現(xiàn)較大的退化，但可以通過疊加更多層LSTM并減小預測輸出的規(guī)模使預測更為精準，再根據(jù)其輸出對控制系統(tǒng)的濾波算法進一步優(yōu)化設計。

[2] MICHAEL A,BLENDER,HEIDI W.Flight dynamics of a hypersonic vehicle during inlet un-start[C]//The 16th AIAA/DLR/DGLR International Space Planes and Hypersonic Systems and Technologies Conference,2009:AIAA-2009-7292.

[3] BO W,ZHI H D,CHENG L,et al.Estimation of information sharing error by dynamic deformation between inertial navigation system [J].IEEE Transactions on Industrial Electronics,2014,61(4):2015-2023.

[4] SAVAGE P G.Analytical modeling of sensor quantization in strapdown inertial navigation error equations[J].Journal of Guidance,Control and Dynamics,2002,25(5):833-842.

[5] 張瑞民，楊其，魏詩卉，等.捷聯(lián)慣測組合標定及誤差補償技術[M].北京：國防工業(yè)出版社，2017.

[6] STHAL F,DEVEL M,IMBAUD J,et al.Study on the origin of 1/fnoise in quartz resonators[J].Journal of Statistical Mechanics Theory & Experiment,2016(5):054025.

[7] JONES B K.Electrical noise as a measure of quality and reliability in electronic devices.[J] Advances in Electronics and Electron Physics,1993,87(1):201-257.

[8] BROWN R G,HWANG P Y C.Introduction to random signals and applied Kalman filtering[M].3rd ed.New York:John Wiley & Sons,Inc.,1997.

[9] 韓松來.GPS和捷聯(lián)慣導組合導航新方法及系統(tǒng)誤差補償方案研究[D].長沙：國防科學技術大學,2010.

[10] HOCHREITER S,SCHMIDHUBER.J.Long short-term memory[J].Neural Computation,1997,9(8):1735-1780.

[11] GERS F A,SCHMIDHUBER J,CUMMINS F.Learning to forget:continual prediction with LSTM[J].Neural Computation,2000,12(10):2451-2471.

[12] HOCHREITER S,BENGIO Y,FRASCONI P.Gradient flow in recurrent nets:the difficulty of learning long-term dependencies[J].Field Guide to Dynamical Recurrent Networks,2001,28(2):237-243.

[13] BENGIO S,BENGIO Y.Taking on the curse of dimensionality in joint distributions using neural networks[J].IEEE Transactions on Neural Networks,Special Issue on Data Mining and Knowledge Discovery,2000,11(3):550-557.

[14] SUTSKEVER I,VINYALS O,LE Q V.Sequence to sequence learning with neural networks[J].Computer Science，2014(4):310-311.

[15] LIPTON Z C,BERKOWITZ J.A critical review of recurrent neural networks for sequence learning[J].Computer Science，2015(1):104-112.

[16] HASIM S,ANDREW S,FRANCOISE B.Long short-term memory current neural networks architecture for large scale acoustic modeling[C]//Proceeding of Interspeech, ISCA,2014:338-342.

[17] GRAVE A.Generating sequences with recurrent neural networks[J].Computer Science,2013(1):234-243.

[18] PALANGI H,DENG L,SHEN Y,et al.Deep sentence embedding using long short-term memory networks:analysis and application to information retrieval[J].IEEE/ACM Transactions on Audio Speech & Language Processing, 2015,24(4):694-707.