雷 雨,趙丹寧
(1.中國(guó)科學(xué)院 國(guó)家授時(shí)中心,西安 710600;2.中國(guó)科學(xué)院 時(shí)間頻率基準(zhǔn)重點(diǎn)實(shí)驗(yàn)室,西安 710600;3.中國(guó)科學(xué)院 精密導(dǎo)航定位與定時(shí)技術(shù)重點(diǎn)實(shí)驗(yàn)室,西安 710600;4.中國(guó)科學(xué)院大學(xué),北京 100049)
衛(wèi)星鐘差(satellite clock bias, SCB)的預(yù)報(bào)在衛(wèi)星導(dǎo)航定位系統(tǒng)中具有重要作用。由于星載原子鐘受外界及其自身因素的影響,很難掌握其復(fù)雜細(xì)致的變化規(guī)律。因此建立精確的原子鐘運(yùn)行模型非常困難,相應(yīng)地準(zhǔn)確預(yù)報(bào)鐘差也非常困難。目前,應(yīng)用較多的衛(wèi)星鐘差預(yù)報(bào)方法主要有GM(1,1)模型法[1]、二次多項(xiàng)式模型法(quadratic polynomial, QP)[2]、ARIMA模型法[3]等。同時(shí),伴隨著機(jī)器學(xué)習(xí)理論的發(fā)展,一些非線性模型如人工神經(jīng)網(wǎng)絡(luò)(artificial neural network, ANN)[4-5]、最小二乘支持向量機(jī)(least squares support vector machines, LSSVM)[6]已被成功應(yīng)用于衛(wèi)星鐘差預(yù)報(bào)中。然而,當(dāng)采用ANN模型來進(jìn)行預(yù)報(bào)時(shí),存在易陷入局部極小、網(wǎng)絡(luò)結(jié)構(gòu)難以確定等缺點(diǎn)[5],而且它是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的原則,易導(dǎo)致過學(xué)習(xí)現(xiàn)象的產(chǎn)生;除此之外,ANN模型是建立在大樣本基礎(chǔ)之上,如果樣本量較小,則建模效果就不是很理想。而LSSVM較好地解決了小樣本和局部極小等實(shí)際問題,被認(rèn)為是ANN的替代方法[7]。筆者將LSSVM應(yīng)用于衛(wèi)星鐘差的短期預(yù)報(bào)中,研究結(jié)果表明,LSSVM通過對(duì)樣本的學(xué)習(xí)可以準(zhǔn)確地預(yù)報(bào)鐘差序列,非常適合于解決非線性、非平穩(wěn)衛(wèi)星鐘差序列的預(yù)報(bào)問題[6]。本文在上述研究的基礎(chǔ)上,結(jié)合實(shí)例詳細(xì)探討在建模時(shí),樣本數(shù)據(jù)預(yù)處理方法的選用對(duì)LSSVM鐘差預(yù)報(bào)模型性能的影響。
由于當(dāng)前時(shí)刻的鐘差值與過去某個(gè)時(shí)間段內(nèi)的鐘差值密切相關(guān),因此假設(shè)t+m時(shí)刻的鐘差值x(t+m)可由t、t+1、…、t+m-1時(shí)刻的歷史鐘差值x(t)、x(t+1)、…、x(t+m-1)來進(jìn)行預(yù)報(bào),則可建立映射f:Rm→R,預(yù)報(bào)模型可表示為
x(t+m)=f[x(t),x(t+1),…,x(t+m-1)]
t=1,2,…,n-m
(1)
本文采用LSSVM來完成對(duì)非線性映射f(·)的逼近,相應(yīng)的LSSVM算法見文獻(xiàn)[8]。式(1)中,m表示嵌入維數(shù),n為已知鐘差數(shù)據(jù)個(gè)數(shù)。
表1 輸入向量和輸出向量的結(jié)構(gòu)
由于選取不同的核函數(shù)可以構(gòu)造不同的學(xué)習(xí)機(jī),所以利用LSSVM解決具體問題時(shí),最關(guān)鍵的是針對(duì)具體對(duì)象的特點(diǎn)選取合適的核函數(shù),但是對(duì)于核函數(shù)的確定目前還沒有明確的理論依據(jù)可以遵循[9],只能憑經(jīng)驗(yàn)確定。常用的核函數(shù)有徑向基(radial basis function, RBF)核、線性核和多項(xiàng)式核,其表達(dá)式分別為
RBF函數(shù)
K(xi,xj)=exp(-xi-xj2/2σ2)
(2)
式中,σ為核寬度。
線性函數(shù)
K(xi,xj)=xixj
(3)
多項(xiàng)式函數(shù)
K(xi,xj)=(1+xixj)d
(4)
式中,d為多項(xiàng)式階次,d=1,2,…。
在選取上述某一種函數(shù)為核函數(shù)的條件下,影響LSSVM鐘差預(yù)報(bào)精度的核心參數(shù)包括正則化參數(shù)、核參數(shù)與嵌入維數(shù)。本文以交叉驗(yàn)證誤差為評(píng)價(jià)準(zhǔn)則,利用網(wǎng)格搜索算法[10]搜索LSSVM預(yù)報(bào)模型的最優(yōu)參數(shù)組合。
在進(jìn)行衛(wèi)星鐘差建模預(yù)報(bào)時(shí),一般將可用樣本分為訓(xùn)練樣本集和測(cè)試樣本集兩部分。訓(xùn)練集的功能是對(duì)模型進(jìn)行訓(xùn)練,訓(xùn)練好的模型對(duì)訓(xùn)練集的符合程度稱為模型的學(xué)習(xí)能力,又稱可塑性,而測(cè)試集的功能是對(duì)模型的泛化能力進(jìn)行檢驗(yàn)。一個(gè)性能好的模型應(yīng)同時(shí)具有很好的可塑性和泛化能力。
樣本數(shù)據(jù)預(yù)處理是指通過變換處理將LSSVM的輸入、輸出數(shù)據(jù)限制在一定范圍內(nèi)。在利用LSSVM模型進(jìn)行衛(wèi)星鐘差預(yù)報(bào)時(shí),對(duì)數(shù)據(jù)進(jìn)行預(yù)處理的原因是:1)鐘差序列有效位數(shù)太多,并且相鄰歷元鐘差數(shù)值變化不大,造成LSSVM難以較好地?cái)M合鐘差模型;2)數(shù)據(jù)有效位數(shù)多引起LSSVM收斂速度慢。
假設(shè){x(t),t=1,2,…,n}為需要進(jìn)行數(shù)據(jù)預(yù)處理的樣本數(shù)據(jù),根據(jù)預(yù)處理后數(shù)值分布范圍,可將預(yù)處理方法分為3種:
1)歸一化
歸一化的變換式為
(5)
2)標(biāo)準(zhǔn)化
標(biāo)準(zhǔn)化的變換式為
(6)
3)一次差
鐘差序列相鄰歷元間一次差的變換式為
(7)
通常得到的衛(wèi)星鐘差相鄰歷元的數(shù)值變化不大,鐘差相鄰歷元間作一次差后的差值序列有效位數(shù)減少,以全球定位系統(tǒng)(global positioning system, GPS)衛(wèi)星鐘為例,其鐘差一次差序列一般在[-2,2]范圍內(nèi)變化。
需要說明的是,數(shù)據(jù)預(yù)處理的對(duì)象既包括訓(xùn)練集的輸入、輸出樣本,也包括測(cè)試集的輸入樣本。與使用原始數(shù)據(jù)序列進(jìn)行建模不同,這里首先對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理,然后使用預(yù)處理后的數(shù)據(jù)序列進(jìn)行建模,最后還原得到最終預(yù)報(bào)結(jié)果。
實(shí)驗(yàn)數(shù)據(jù)來自全球衛(wèi)星導(dǎo)航系統(tǒng)國(guó)際服務(wù)協(xié)會(huì)(international global navigation satellite system service,IGS)網(wǎng)站提供的 5min間隔的事后精密GPS衛(wèi)星鐘差數(shù)據(jù)。以2012-07-11-08-10共31 d的數(shù)據(jù)為例,同時(shí)考慮此時(shí)的星載原子鐘包括Block ⅡA Cs鐘、ⅡA Rb鐘、ⅡR Rb鐘和ⅡR-M Rb鐘4類,隨機(jī)選取每類鐘的衛(wèi)星進(jìn)行實(shí)驗(yàn),本文選取的是PRN04(ⅡA Rb)、PRN08(ⅡA Cs)、PRN23(ⅡR Rb)和PRN29(ⅡR-M Rb)這4顆衛(wèi)星。其中,PRN04和PRN29衛(wèi)星鐘差呈遞增變化,PRN23衛(wèi)星鐘差呈遞減變化,而PRN08衛(wèi)星既不呈遞增也不呈遞減變化。
使用7月11日1 d(288個(gè)歷元)的鐘差數(shù)據(jù)進(jìn)行建模,預(yù)報(bào)接下來1 d的鐘差,即將7月11日及12日的數(shù)據(jù)分別作為訓(xùn)練樣本集和測(cè)試樣本集。分別使用原始數(shù)據(jù)、歸一化數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)和一次差數(shù)據(jù)序列建立LSSVM模型,并對(duì)比不同核函數(shù)對(duì)預(yù)報(bào)精度的影響。表2給出了模型使用不同數(shù)據(jù)序列、不同核函數(shù)時(shí)預(yù)報(bào)精度統(tǒng)計(jì),其中,以IGS相應(yīng)的精密鐘差值為基準(zhǔn),使用均方根(root mean square,RMS)作為統(tǒng)計(jì)量。
從表2中可以看出:
1)不同核函數(shù)對(duì)LSSVM模型性能有重要影響。使用原始數(shù)據(jù)和歸一化數(shù)據(jù)序列建模時(shí),基于線性核函數(shù)的預(yù)報(bào)效果最好,使用差分?jǐn)?shù)據(jù)序列建模時(shí),基于RBF核函數(shù)的預(yù)報(bào)精度最高,而使用標(biāo)準(zhǔn)化數(shù)據(jù)序列建模時(shí),基于線性和多項(xiàng)式兩種核函數(shù)的預(yù)報(bào)效果相當(dāng),整體而言,多項(xiàng)式核函數(shù)稍好;
2)與不對(duì)樣本進(jìn)行數(shù)據(jù)預(yù)處理相比,數(shù)據(jù)預(yù)處理方法沒有提高LSSVM的可塑性,不同的數(shù)據(jù)預(yù)處理方法對(duì)LSSVM的可塑性影響也是相當(dāng)?shù)?;但?shù)據(jù)預(yù)處理方法對(duì)泛化性能的改善是顯著的,并且不同的數(shù)據(jù)預(yù)處理方法對(duì)泛化性的影響有很大差別,這一點(diǎn)可以從模型測(cè)試集的均方根誤差看出。
3)LSSVM模型采用一次差數(shù)據(jù)預(yù)處理方法時(shí)預(yù)報(bào)精度最高,而運(yùn)用歸一化和標(biāo)準(zhǔn)化兩種方法時(shí)預(yù)報(bào)精度無(wú)明顯差別。
表2 基于不同數(shù)據(jù)序列、不同核函數(shù)的預(yù)報(bào)精度統(tǒng)計(jì)表/ns
注:“—”表示無(wú)窮大
為了進(jìn)一步對(duì)比不同數(shù)據(jù)預(yù)處理方法的鐘差預(yù)報(bào)效果,同樣使用7月11日的數(shù)據(jù)進(jìn)行建模,分別預(yù)報(bào)接下來7 d、14 d和30 d的鐘差。為了驗(yàn)證LSSVM在衛(wèi)星鐘差預(yù)報(bào)時(shí)的優(yōu)越性,將其與傳統(tǒng)的QP模型和GM(1,1)模型進(jìn)行對(duì)比分析,其中,采用11日的原始鐘差數(shù)據(jù)建立QP模型,使用11日最后1 h(12個(gè)歷元)的原始數(shù)據(jù)建立GM(1,1)模型。
根據(jù)3.2節(jié)的分析可知,運(yùn)用不同數(shù)據(jù)序列建模時(shí),不同核函數(shù)的適用性不盡相同。對(duì)于原始數(shù)據(jù)和歸一化數(shù)據(jù)序列,這里使用線性核,差分序列使用RBF核;由于采用標(biāo)準(zhǔn)化數(shù)據(jù)序列建模時(shí),線性核和多項(xiàng)式核的適用性大體相同,但線性核不需要確定核參數(shù),可以簡(jiǎn)化計(jì)算,所以這里仍使用線性核。
表3給出了4顆衛(wèi)星在LSSVM模型使用數(shù)據(jù)預(yù)處理方法前后的預(yù)報(bào)結(jié)果統(tǒng)計(jì)值,表3中,使用RMS和極差(Range,最大誤差與最小誤差之差的絕對(duì)值)作為統(tǒng)計(jì)量,比較分析模型使用不同數(shù)據(jù)序列時(shí)的預(yù)報(bào)效果。
從表3可以看出,LSSVM模型使用數(shù)據(jù)預(yù)處理方法時(shí)預(yù)報(bào)精度和穩(wěn)定性較不使用時(shí)有了明顯的提高,其中一次差數(shù)據(jù)預(yù)處理方法對(duì)預(yù)報(bào)效果的改善最為顯著,歸一化和標(biāo)準(zhǔn)化方法次之,并且這兩種方法的改善效果相當(dāng)。在實(shí)驗(yàn)過程中發(fā)現(xiàn),使用經(jīng)過數(shù)據(jù)預(yù)處理的數(shù)據(jù)序列進(jìn)行建模,LSSVM的訓(xùn)練時(shí)間明顯縮短,以利用一次差分?jǐn)?shù)據(jù)作為訓(xùn)練數(shù)據(jù)為例,其訓(xùn)練時(shí)間和預(yù)報(bào)時(shí)間(7 d)之和一般在10 min以內(nèi),保證了算法的實(shí)時(shí)性,而利用原始鐘差數(shù)據(jù)建模預(yù)報(bào),需消耗時(shí)間至少20 min。
表3 預(yù)報(bào)結(jié)果統(tǒng)計(jì)表
下面對(duì)LSSVM模型使用各數(shù)據(jù)預(yù)處理方法時(shí)表現(xiàn)出的特點(diǎn)進(jìn)行分析說明。由于使用的是IGS提供的精密鐘差數(shù)據(jù),其鐘差序列自身誤差很小,其精度最高可達(dá)75 ps,因此可以認(rèn)為鐘差預(yù)報(bào)誤差是由LSSVM的建模誤差所造成的。歸一化和標(biāo)準(zhǔn)化方法純粹是兩種數(shù)字變換方法,只是將鐘差序列限制在一定的范圍內(nèi),而沒有考慮到鐘差序列自身表現(xiàn)出的特性,雖然可以明顯提高LSSVM的建模精度,但不及一次差方法,這兩種方法的區(qū)別也只是變換后數(shù)值分布范圍不同,所以對(duì)LSSVM的建模影響程度也相當(dāng)。而一次差數(shù)據(jù)預(yù)處理方法顧及了星載原子鐘鐘差的特點(diǎn),通過相鄰歷元間一次差的建模方法,LSSVM模型可以較好地?cái)M合鐘差模型,進(jìn)而可以提高LSSVM模型的預(yù)報(bào)精度和泛化能力。但一次差方法本身也存在一定的缺點(diǎn),即經(jīng)過數(shù)據(jù)的一次差處理和預(yù)報(bào)后的鐘差還原,根據(jù)誤差傳播定律可知,這樣會(huì)使預(yù)報(bào)結(jié)果所含的誤差變大。然后從實(shí)驗(yàn)結(jié)果可以看到,即使對(duì)于30 d的長(zhǎng)期預(yù)報(bào),使用一次差方法時(shí)LSSVM的鐘差預(yù)報(bào)效果仍比不使用時(shí)得到了明顯提高,這是因?yàn)橛稍姴钚蛄杏行粩?shù)太多引起的LSSVM模型難以較好地?cái)M合鐘差模型所造成的誤差遠(yuǎn)大于由相鄰歷元作差對(duì)建模所造成的預(yù)報(bào)誤差。值得一提的是,如果LSSVM建模時(shí),所使用的鐘差數(shù)據(jù)含有一定的系統(tǒng)誤差,則基于一次差方法的LSSVM模型會(huì)得到更好的預(yù)報(bào)效果。
為了驗(yàn)證基于LSSVM的鐘差預(yù)報(bào)性能,將基于一次差方法的LSSVM模型同QP模型和GM(1,1)模型加以比較,表2給出了4顆衛(wèi)星的QP模型、GM(1,1)模型和LSSVM模型的預(yù)報(bào)均方根誤差和極差,限于篇幅,僅給出了PRN04衛(wèi)星7 d、14 d和30 d的誤差比對(duì)圖,見圖1~圖3。
圖1 PRN04衛(wèi)星預(yù)報(bào)7 d誤差
圖2 PRN04衛(wèi)星預(yù)報(bào)14 d誤差
圖3 PRN04衛(wèi)星預(yù)報(bào)30 d誤差
結(jié)合圖1~圖3和表3可以看出,與QP模型和GM(1,1)模型相比較而言,基于一次差方法的LSSVM模型對(duì)7 d、14 d和30 d的預(yù)報(bào)精度均有顯著改進(jìn),尤其對(duì)于變化比較復(fù)雜、嚴(yán)重老化的Block ⅡA Cs鐘和ⅡA Rb鐘,基于LSSVM模型的預(yù)報(bào)效果仍比較理想,這說明LSSVM在處理非線性鐘差的預(yù)報(bào)問題時(shí)具有一定的優(yōu)勢(shì)。
以樣本數(shù)據(jù)預(yù)處理對(duì)基于LSSVM的衛(wèi)星鐘差預(yù)報(bào)的影響為切入點(diǎn),探討了不同數(shù)據(jù)預(yù)處理方法對(duì)鐘差預(yù)報(bào)結(jié)果的影響。對(duì)預(yù)報(bào)結(jié)果進(jìn)行分析,得到以下結(jié)論:
1)使用LSSVM進(jìn)行衛(wèi)星鐘差預(yù)報(bào),數(shù)據(jù)有效位數(shù)的多少對(duì)LSSVM的預(yù)報(bào)性能有重要影響,因此在使用LSSVM前對(duì)有效位數(shù)多的原鐘差數(shù)據(jù)序列進(jìn)行適當(dāng)?shù)奶幚砜梢蕴岣週SSVM的預(yù)報(bào)性能;
2)使用預(yù)處理后的數(shù)據(jù)序列進(jìn)行建模時(shí),各種核函數(shù)的適用性不盡相同,需要根據(jù)實(shí)際情況來選擇合適的核函數(shù);
3)歸一化、標(biāo)準(zhǔn)化和相鄰歷元間一次差的3種數(shù)據(jù)預(yù)處理方法,在保證模型可塑性的情況下,對(duì)模型的泛化能力都有顯著改進(jìn),其中基于一次差方法的改進(jìn)效果最為明顯,歸一化和標(biāo)準(zhǔn)化方法次之,并且這兩種方法對(duì)泛化能力的改善程度相當(dāng);
4)基于一次差方法的LSSVM模型預(yù)報(bào)性能明顯優(yōu)于傳統(tǒng)的二次多項(xiàng)式模型和灰色系統(tǒng)模型,可以考慮作為一種較為有效的導(dǎo)航衛(wèi)星鐘差短期、中長(zhǎng)期預(yù)報(bào)方法使用。
[1] 崔先強(qiáng),焦文海.灰色系統(tǒng)模型在衛(wèi)星鐘差預(yù)報(bào)中的應(yīng)用[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2005,30(5):447-450.
[2] 鄭作亞,盧秀山.幾種GPS衛(wèi)星鐘差預(yù)報(bào)方法比較及精度分析[J].山東科技大學(xué):自然科學(xué)版,2008,27(4):6-11,15.
[3] 徐君毅,曾安敏.ARIMA(0,2,q)模型在衛(wèi)星鐘差預(yù)報(bào)中的應(yīng)用[J].大地測(cè)量與地球動(dòng)力學(xué),2009,29(5):116-120.
[4] 郭承軍,滕云龍.基于小波分析和神經(jīng)網(wǎng)絡(luò)的衛(wèi)星鐘差預(yù)報(bào)性能分析[J].天文學(xué)報(bào),2010,51(4):395-403.
[5] LI Xiao-yu,DONG Xu-rong,ZHENG Kun,et al.Research of Satellite Clock Error Prediction Based on RBF Neural Network and ARMA Model[EB/OL].[2013-08-12].http://link.springer.com/chapter/10.1007%2F978-3-642-37407-4_29#page-1.
[6] 雷雨,趙丹寧.基于最小二乘支持向量機(jī)的鐘差預(yù)報(bào)[J].大地測(cè)量與地球動(dòng)力學(xué),2013,33(2):91-95.
[7] VAPNIK V N.An Overview of Statistical Learning Theory[J].IEEE Transactions on Neural Networks,1999,10(5):988-999.
[8] SUYKENS J A K,VANDEWALLE J.Least Squares Support Vector Machine Classifiers[J].Neural Processing Letters,1999,19(3):293-300.
[9] 祝志慧,孫云蓮,季宇.基于EMD和SVM的短期負(fù)荷預(yù)測(cè)[J].高電壓技術(shù),2007,33(5):118-122.
[10] 王興玲,李占斌.基于網(wǎng)格搜索的支持向量機(jī)核函數(shù)參數(shù)的確定[J].中國(guó)海洋大學(xué)學(xué)報(bào),2005,35(5):859-862.