雷雨，郭浩

一種ELM神經(jīng)網(wǎng)絡結構設計方法及在衛(wèi)星鐘差預報中的應用1

雷雨1，2，3，郭浩4

（1.中國科學院 國家授時中心，西安 710600；2.中國科學院 時間頻率基準重點實驗室，西安 710600；3.中國科學院大學，北京 100049；4.西安文理學院 機械與材料工程學院，西安710061）

針對極端學習機（extreme learning machine，ELM）神經(jīng)網(wǎng)絡隱層結構難以確定的問題，基于自適應共振理論（adaptive resonance theory，ART）網(wǎng)絡良好的自組織分類功能，提出一種基于ART網(wǎng)絡思想的ELM網(wǎng)絡結構設計方法。該方法將ART網(wǎng)絡的自組織聚類特性用于ELM網(wǎng)絡結構設計中，通過對輸入向量與已存模式的相似度比較將輸入向量進行分類，確定隱層節(jié)點規(guī)模。仿真實驗表明，與其他網(wǎng)絡相比，ART-ELM網(wǎng)絡具有更精簡的結構、更快的學習速度以及更好的映射能力。通過用于GPS衛(wèi)星鐘差預報的實驗表明，根據(jù)ART-ELM網(wǎng)絡所預報的鐘差較IGS超快速預報（IGS ultra-predicted，IGU-P）鐘差在精度上有較大改善。

極端學習機；網(wǎng)絡結構設計；自適應共振理論網(wǎng)絡；鐘差預報

0　引言

極端學習機（extremelearningmachine，ELM）是近年發(fā)展起來的一種新型單隱層前饋神經(jīng)網(wǎng)絡[1]，因其具有結構簡單、學習速度快和泛化能力好等優(yōu)點，目前在時間序列預測等領域得到了廣泛應用[2-3]。ELM的網(wǎng)絡結構為3層，包括1個輸入層、1個輸出層和1個隱層，其中隱層包含大量的非線性節(jié)點。ELM克服了傳統(tǒng)前饋神經(jīng)網(wǎng)絡收斂速度慢、容易陷入局部最優(yōu)等缺陷，在訓練初始階段隨機產(chǎn)生輸入權值和偏置，并在訓練過程中保持不變，其網(wǎng)絡的輸出權值是唯一需要確定的參數(shù)。

已有研究表明，ELM的學習和泛化能力在很大程度上取決于隱層節(jié)點數(shù)量[1]，所以在設計ELM網(wǎng)絡時，如何確定最優(yōu)的網(wǎng)絡結構一直都是研究的重點。許多學者就ELM網(wǎng)絡的結構設計問題展開了研究，試圖尋求一種合適的方法來確定ELM網(wǎng)絡的隱層節(jié)點個數(shù)，其中剪枝算法是前饋神經(jīng)網(wǎng)絡結構設計的一種有效方法[4-5]，該類算法首先構造一個足夠大的網(wǎng)絡，然后通過訓練刪除或合并某些節(jié)點或權值，實現(xiàn)設計緊湊網(wǎng)絡結構的目的。Y.Miche等[5]基于剪枝思想提出了最優(yōu)剪枝極端學習機（optimally pruned ELM，OP-ELM），該算法首先利用ELM算法建立一個規(guī)模較大的網(wǎng)絡，然后利用多響應稀疏回歸算法對隱層節(jié)點排序，最后通過留一準則對隱層節(jié)點進行刪除。OP-ELM算法能有效精簡網(wǎng)絡規(guī)模，但計算過程較為復雜。

自適應共振理論（adaptiveresonancetheory，ART）網(wǎng)絡是基于生物機制建立的人工神經(jīng)網(wǎng)絡，具有自組織聚類分析的功能，能對相同特征的事物進行自組織分類[6]。當有新的模式進入網(wǎng)絡時，會與已有模式進行對比，如果新模式與已有的一類模式相似度高時，則可以歸為既有的一類；如果新模式與已有模式不相似，則需要在網(wǎng)絡中建立一個新的模式類。當對所有樣本比較結束后即完成模式分類?；诖耍袑W者基于ART神經(jīng)網(wǎng)絡的聚類特性來設計徑向基函數(shù)（radial basis function，RBF）神經(jīng)網(wǎng)絡的隱層節(jié)點[7-8]。因為ELM網(wǎng)絡隱層節(jié)點的確定也可以轉化為聚類問題，故本文提出了一種新的基于ART思想的ELM網(wǎng)絡結構設計方法。利用ART的分類思想，通過一次相似度比較來自動確定ELM網(wǎng)絡的隱層節(jié)點個數(shù)，仿真實驗表明，基于本文思想所設計的網(wǎng)絡結構，與其他網(wǎng)絡相比，不僅結構簡單，而且泛化能力好、學習速度快。最后將ART-ELM算法用于GPS衛(wèi)星鐘差預報，結果表明，通過該算法得到的預報鐘差較IGS超快速預報（IGS ultra-predicted，IGU-P）鐘差在精度上有較大改善。

1　ELM算法

式（2）至（3）中，H為隱層輸出矩陣。

ELM算法的具體步驟如下[1]：①隨機選取輸入層權值wj和偏置bj，j=1，2，…，h ，并保持不變；②計算隱層輸出矩陣H；③計算輸出權值β=H?Y，其中H?為矩陣H的Moore-Penrose逆。

2　基于ART的ELM網(wǎng)絡結構設計

對ELM網(wǎng)絡結構的設計即為對隱層節(jié)點個數(shù)的確定，這個問題可以轉化為聚類問題，即尋求一種合適的聚類算法來確定隱層節(jié)點的規(guī)模，本文利用ART網(wǎng)絡的自組織分類功能來確定ELM網(wǎng)絡隱層節(jié)點的規(guī)模。

基于聚類算法的ELM網(wǎng)絡通過對向量進行相似度比較來完成分類，相似度公式為[9]

即第j*個隱節(jié)點與第i個輸入向量的相似度最大。下面分兩種情況進行討論：

式（7）中，V為警戒參數(shù)，可以控制網(wǎng)絡的分類力度，V值越大，分類精度越高。

綜上，基于ART的ELM網(wǎng)絡結構設計算法如下：①將網(wǎng)絡隱層節(jié)點個數(shù)初始化為0；②當?shù)?個樣本進入網(wǎng)絡后，為網(wǎng)絡分配1個隱層節(jié)點，并令；③當?shù)趇個樣本進入網(wǎng)絡后，計算第i個樣本的輸入向量與現(xiàn)有所有隱層節(jié)點中心向量的相似度，并找出與第i個輸入向量相似度最大的隱層節(jié)點j*；④若滿足隱層節(jié)點增加準則，則為網(wǎng)絡增加1個隱層節(jié)點，并將第i個輸入向量賦予新的隱層節(jié)點作為其中心向量，如式（9）所示，轉向③；否則轉至⑤；⑤按式（7）對第 j*個隱層節(jié)點的中心向量進行調整，轉向③。

3　仿真實驗

為了檢驗基于ART的自組織ELM網(wǎng)絡的非線性映射能力，對典型的非線性函數(shù)sinE進行逼近，sinE函數(shù)為

隨機選取300個樣本對網(wǎng)絡進行訓練，400個樣本對網(wǎng)絡進行測試，警戒參數(shù)設定為0.8，激活函數(shù)選用Sigmoid函數(shù)，其表達式為函數(shù)逼近效果如圖1所示。由圖1可以看出，ART-ELM網(wǎng)絡經(jīng)過學習訓練后能夠很好地逼近非線性函數(shù)sinE，期望輸出曲線與實際輸出曲線基本能達到重合，說明基于ART的自組織ELM網(wǎng)絡具有較強的非線性映射能力。

圖1　函數(shù)逼近效果

為了進一步驗證所提方法的有效性，將ART-ELM網(wǎng)絡的函數(shù)逼近效果與其他算法進行對比，比較結果如表1所示。實驗環(huán)境為Intel Core?I7 CPU，主頻1.73 GHz，8.00 GB內存，Microsoft Windows 7操作系統(tǒng)（64位），MATLAB R2013a軟件平臺。仿真實驗中采用的網(wǎng)絡性能評價指標包括程序運行100次的平均均方根誤差（RMSE）和訓練時間。

由表1可知，與其他網(wǎng)絡結構相比，本文提出的ART-ELM網(wǎng)絡隱層結構更為精簡，隱層節(jié)點規(guī)模要小于其他網(wǎng)絡，此外，ART-ELM網(wǎng)絡不僅學習速度較快，并且測試誤差較小，泛化能力優(yōu)于其他網(wǎng)絡。

表1　函數(shù)逼近效果對比

4　ART-ELM網(wǎng)絡在GPS衛(wèi)星鐘差預報中的應用

衛(wèi)星鐘差是導航衛(wèi)星精密定位的主要誤差源之一。以GPS為例，目前IGS發(fā)布的事后精密衛(wèi)星鐘差精度最高可達75ps，但實時性不足，而滿足實時性的廣播星歷鐘差和IGU-P鐘差精度卻不理想。因此，提高衛(wèi)星鐘差預報精度是非常必要的。我們在文獻[2]和文獻[10]中將ELM神經(jīng)網(wǎng)絡和廣義回歸神經(jīng)網(wǎng)絡用于GPS衛(wèi)星鐘差預報中，研究表明神經(jīng)網(wǎng)絡技術用于衛(wèi)星鐘差預報可以取得較好的預報效果。本文將ART-ELM網(wǎng)絡用于GPS衛(wèi)星鐘差預報，以改善IGU-P鐘差產(chǎn)品的質量，在實驗中警戒參數(shù)仍設定為0.8。

采用2011年10月30日IGS提供的15 min采樣間隔的超快速觀測（IGS ultra-rapidobserved，IGU-O）鐘差作為建模數(shù)據(jù)，預報隨后1d的鐘差，以預報時刻所對應的IGU-O鐘差產(chǎn)品作為參考值，使用RMSE、最大誤差與最小誤差之差的絕對值（這里稱為誤差變化范圍（Range））作為統(tǒng)計量來評價預報結果的精度和算法的穩(wěn)定性，并將其與IGU-P鐘差產(chǎn)品進行比較。在建模階段，按照表2所示方式構造訓練樣本，其中L為建模數(shù)據(jù)序列長度，m為輸入向量維數(shù)，視不同衛(wèi)星而定。在預報階段，令作為輸入向量（ΔX為觀測鐘差），獲得序列的一步預測值，然后令，得到新時間序列作為下一時刻的輸入向量，以此類推，即可實現(xiàn)鐘差的多步預報。需要說明的是，在對網(wǎng)絡進行訓練之前，需要對訓練樣本進行預處理，這里采用一階差分的方法，而在預報階段，須對網(wǎng)絡輸出進行反變換，以獲得最終的鐘差預報值。

表2　訓練樣本的構造方式

圖2和表3給出了PRN09、PRN10、PRN14和PRN15 4顆衛(wèi)星的鐘差預報對比情況（限于篇幅，這里僅以4顆衛(wèi)星為例進行說明，其他衛(wèi)星亦可，其中這幾顆星載鐘包括BlockⅡA Cs鐘、BlockⅡA Rb鐘、BlockⅡR Rb鐘以及BlockⅡR-MRb鐘4類）。為了驗證神經(jīng)網(wǎng)絡相對于線性模型的優(yōu)越性，本文還給出了ART-ELM網(wǎng)絡同二次多項式（quadratic polynomial，QP）模型和灰色模型（GM（1，1））的對比結果，其中使用2011年10月30日1d的數(shù)據(jù)建立QP模型，使用該天最后2 h的數(shù)據(jù)建立灰色模型。

由圖2和表3可知：

①GPS星載Rb鐘的預報精度和預報穩(wěn)定性明顯好于星載Cs鐘，這是由于攜帶Cs鐘的BlockⅡA衛(wèi)星為GPS早期發(fā)射的，由于設備老化以及Cs鐘本身物理特性等因素的綜合影響使Cs鐘的可預測性相對較差。

②預報精度方面，ART-ELM網(wǎng)絡的預報結果明顯高于IGU-P產(chǎn)品，24h的鐘差預測RMSE最大改進了74.78%。同時本文所建模型的預報精度高于2種常用模型，即使對于可預測性較差的星載Cs鐘，ART-ELM網(wǎng)絡也具有相對較好的預測效果。

③預報穩(wěn)定性方面，對于提前12h的預報，本文所提方法的預報結果與IGU-P產(chǎn)品基本相當，但隨著預報時長的增大，IGU-P產(chǎn)品的預報誤差表現(xiàn)出發(fā)散趨勢，預報穩(wěn)定性有一定程度的降低，而2種常用模型的預報穩(wěn)定性則隨著衛(wèi)星的不同而變化，穩(wěn)定性相對較差。

本文利用IGU-O鐘差數(shù)據(jù)作為訓練樣本，訓練時間很短，其訓練時間和預報時間之和一般在1 min以內，保證了算法的實時性。

圖2　4顆衛(wèi)星1 d鐘差預報誤差對比圖

表3　4顆衛(wèi)星預報誤差統(tǒng)計　ns

5　結語

將基于生物機制建立的ART網(wǎng)絡用于ELM網(wǎng)絡結構設計中，利用ART的自組織聚類特性自適應調整隱層節(jié)點個數(shù)，構造樣本驅動的自適應ELM網(wǎng)絡。通過對典型非線性函數(shù)sinE的逼近，表明了基于ART機制建立的ELM網(wǎng)絡與其他網(wǎng)絡相比，結構更精簡、學習速度更快、非線性映射能力更強。最后，將ART-ELM網(wǎng)絡用于GPS衛(wèi)星鐘差預報實際問題中，實驗表明所建鐘差模型能夠以較高的精度和相對穩(wěn)定的性能來預報衛(wèi)星鐘差數(shù)據(jù)，預測效果明顯好于傳統(tǒng)二次多項式模型和灰色模型，其預報得到的鐘差相比于IGU-P鐘差在精度上有較大改善，同時所建模型簡單且具有較好的實時性。因此，可以考慮作為一種新型的衛(wèi)星鐘差預報方法使用。

[1]HUANG Guang-bin,ZHU Qin-yu,SIEW C K.Extreme learning machine:theory and applications[J].Neurocomputing,2006, 70(1):489-501.

[2]雷雨,趙丹寧.極限學習機在衛(wèi)星鐘差預報中的應用[J].大地測量與地球動力學,2013,33(5):53-57.

[3]LEI Yu,ZHAO Dan-ning,CAI Hong-bin.Extreme learning machine for the predictions of length of day[J].Aritificial Satellites, 2015,50(1):19-33.

[4]RONGJian-hua,ONGY S,TANA H,etal.A fastpruned-extremelearningmachineforclassificationproblem[J].Neurocomputing, 2008,72(13):359-366.

[5]MICHE Y,SORJAMAA A,BAS P,et al.OP-ELM:optimally pruned extreme learning machine[J].IEEE Trans on Neural Networks,2010,21(1):158-162.

[6]CARPENTER G A,GROSSBERG S.The ART of adaptive pattern recognition by a self-organizing neural network[J].IEEE Computer,1988,21(3):77-88.

[7]LEE S J,HOU Chun-lin.An ART-based construction of RBF networks[J].IEEE Trans on Neural Networks,2002,13(6): 1308-1321.

[8]蒙西,喬俊飛,韓紅桂.基于ART的RBF網(wǎng)絡結構設計[J].控制與決策,2014,29(10):1876-1880.

[9]FU Li-min,YANG M,BRAYLAN R,et al.Real-time adaptive clustering of flowcytometric data[J].Pattern Recognition,1993, 26(2):365-373.

[10]雷雨,趙丹寧,高玉平.基于灰色系統(tǒng)和神經(jīng)網(wǎng)絡的鐘差預報[J].時間頻率學報,2013,36(3):156-163.

Anetwork structure design method for ELM and its application to prediction of satellite clock bias

LEI Yu1，2，3，GUO Hao4
（1.National Time Service Center，ChineseAcademy of Sciences，Xi′an 710600，China；2.Key Laboratory of Time and Frequency Primary Standards，National Time Service Center，ChineseAcademy of Sciences，Xi′an 710600，China；3.University of ChineseAcademy of Sciences，Beijing 100049，China；4.Mechanism and Material Engineering College，Xi′an University，Xi′an 710061，China）

It is difficult to determine the hidden layer structure of an extreme learning machine（ELM）.In this paper，a new method for design of ELM hidden layer structure is proposed based on the self-organizing classification characteristics of adaptive resonance theory（ART）neural network.The proposed method employs the clustering property of ART network to design the ELM network structure.The number of hidden layer nodes can be determined adaptively through the similarity comparison of input vector.The simulation result shows thatthe ART-ELM network is characteristic of more concise network structure，faster learning speed and better generalization ability compared to other neural networks.Finally，the ART-ELM network is applied to prediction of GPS satellite clock bias.The experiment result indicates that the proposed algorithm outperforms the IGS ultra-predicted（IGU-P）solution in precision of clock bias prediction.

extreme learning machine（ELM）；network structure design；adaptive resonance theory（ART）network；clock bias prediction

P227

A

1674-0637（2015）04-0209-07

10.13875/j.issn.1674-0637.2015-04-0209-07

2015-05-18

國家自然科學基金資助項目（11503031）

雷雨，男，博士，助理研究員，主要從事地球自轉變化監(jiān)測與預報研究。