王 銳，弓劍軍，杜洪強(qiáng)，武文俊，3

（1.中國(guó)科學(xué)院國(guó)家授時(shí)中心，西安 710600；2.中國(guó)科學(xué)院大學(xué)，北京 100049；3.中國(guó)科學(xué)院大學(xué)天文與空間科學(xué)學(xué)院，北京 100049）

1 引 言

當(dāng)前，國(guó)際標(biāo)準(zhǔn)時(shí)間是原子時(shí)和世界時(shí)以閏秒方式形成的協(xié)調(diào)世界時(shí)。 原子時(shí)由一組原子鐘利用原子時(shí)算法計(jì)算得到，并產(chǎn)生連續(xù)穩(wěn)定的時(shí)間信號(hào)。 原子鐘鐘差預(yù)報(bào)在原子時(shí)算法中是必不可少的環(huán)節(jié)，主要表現(xiàn)在兩個(gè)方面：1）在對(duì)原子時(shí)進(jìn)行計(jì)算時(shí)，若原子鐘組的數(shù)量以及原子鐘的權(quán)重改變時(shí)，則會(huì)引起頻率和相位的跳變，為了保證時(shí)間尺度頻率和相位的連續(xù)性，必須通過原子鐘預(yù)報(bào)進(jìn)行修正；2）對(duì)主鐘系統(tǒng)的相位微調(diào)儀進(jìn)行頻率駕馭時(shí)，需要通過鐘差預(yù)報(bào)算法基于原子鐘過去的頻率偏移量來預(yù)報(bào)當(dāng)前的頻偏量，由此計(jì)算駕馭量［1，2］。 因此，原子鐘鐘差預(yù)報(bào)對(duì)于原子鐘守時(shí)應(yīng)用至關(guān)重要［3］。

目前，用于鐘差預(yù)報(bào)的常用算法主要包括線性多項(xiàng)式模型、灰色模型和Kalman 濾波模型等。 線性多項(xiàng)式模型對(duì)異常值較為敏感，會(huì)因某些異常值而影響預(yù)報(bào)結(jié)果［4］；灰色模型只適用于中短期的預(yù)測(cè)和指數(shù)增長(zhǎng)的預(yù)測(cè)［5］；Kalman 濾波模型在非線性的過程中達(dá)不到最優(yōu)的估計(jì)效果［6，7］。 通常根據(jù)原子鐘鐘差數(shù)據(jù)特性來選擇預(yù)報(bào)模型，但隨著原子鐘長(zhǎng)期噪聲造成的內(nèi)部不穩(wěn)定性，多數(shù)預(yù)報(bào)算法的預(yù)報(bào)精度隨著預(yù)報(bào)時(shí)間的增加而下降。

近年來，在衛(wèi)星導(dǎo)航領(lǐng)域中利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（long short?Term Memory，LSTM）算法進(jìn)行衛(wèi)星鐘鐘差預(yù)報(bào)，并優(yōu)化了衛(wèi)星導(dǎo)航精度［8，9］。LSTM 可以有效地在長(zhǎng)時(shí)間序列中傳遞和表達(dá)信息，并且選擇記憶長(zhǎng)時(shí)間前有用的信息和忽略無用的信息，因此能夠改善原子鐘長(zhǎng)期內(nèi)部噪聲以及原子鐘的長(zhǎng)期漂移造成的影響［10，11］。 原子鐘長(zhǎng)期預(yù)報(bào)水平的改善有助于提升以月為計(jì)算間隔的獨(dú)立原子時(shí)的性能。 基于LSTM 預(yù)報(bào)模型對(duì)守時(shí)型原子鐘進(jìn)行原子鐘鐘差預(yù)報(bào)，并與常用預(yù)報(bào)模型進(jìn)行對(duì)比驗(yàn)證。

2 LSTM 原理及其應(yīng)用

2.1 LSTM 原理

LSTM 是一種循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），用于建模長(zhǎng)序列數(shù)據(jù)之間的上下文依賴關(guān)系，LSTM 還可以記住預(yù)測(cè)之間的網(wǎng)絡(luò)狀態(tài)，因此適用于解決長(zhǎng)期噪聲的鐘差數(shù)據(jù)［12］。 LSTM 是一種遞歸神經(jīng)網(wǎng)絡(luò)，在當(dāng)前t時(shí)刻會(huì)將t－1 時(shí)刻的數(shù)據(jù)信息作為輸入，因此在計(jì)算當(dāng)前時(shí)間的內(nèi)容時(shí)包含了之前所有時(shí)間段累積的數(shù)據(jù)信息。 LSTM 遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 LSTM 遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure diagram of LSTM recurrent neural network

由圖1 可知，LSTM 網(wǎng)絡(luò)結(jié)構(gòu)由序列輸入層和LSTM 層構(gòu)成。 序列輸入層負(fù)責(zé)將時(shí)間序列數(shù)據(jù)分割并輸入神經(jīng)網(wǎng)絡(luò)單元，包括當(dāng)前t時(shí)刻的時(shí)間序列數(shù)據(jù)信息Xt和前t－1 時(shí)刻預(yù)測(cè)當(dāng)前t時(shí)刻的數(shù)據(jù)狀態(tài)ht－1；LSTM 層負(fù)責(zé)學(xué)習(xí)時(shí)間序列數(shù)據(jù)段之間的長(zhǎng)期依賴關(guān)系，計(jì)算下一時(shí)刻t＋1 的預(yù)測(cè)值和數(shù)據(jù)狀態(tài)ht。 LSTM 層利用門機(jī)制控制數(shù)據(jù)信息傳遞的路徑，判斷數(shù)據(jù)信息的流通和損失，LSTM 層單元結(jié)構(gòu)圖如圖2 所示。

圖2 LSTM 層單元結(jié)構(gòu)圖Fig.2 Structure diagram of LSTM layer cell

由圖2 可知，LSTM 層設(shè)計(jì)了一個(gè)神經(jīng)網(wǎng)絡(luò)記憶細(xì)胞，具備選擇性記憶的功能，可以自由選擇記憶每個(gè)時(shí)間段里面的重要信息，過濾掉噪聲信息，減輕記憶負(fù)擔(dān)，由權(quán)值、偏置以及激活函數(shù)組成。其中C是控制參數(shù)，決定保留和遺忘的信息。σ函數(shù)是LSTM 最常用的激活函數(shù)，輸出0 到1 之間的數(shù)值，描述每個(gè)部分有多少量可以通過，0 代表不需任何量通過，1 代表允許全部量通過。 各個(gè)函數(shù)層之間采用“門”機(jī)制的方式控制數(shù)據(jù)流通，每個(gè)神經(jīng)網(wǎng)絡(luò)記憶細(xì)胞包含3 個(gè)“門”，分別如下：

1）遺忘門（forget gate）ft：負(fù)責(zé)遺忘前面時(shí)間的狀態(tài)信息，即Ct－1的哪些特征被用于計(jì)算Ct。 決定了上一步的記憶在這一步保留的比例。 數(shù)據(jù)元素取值范圍為［0，1］，1 代表我們保留之前記住的信息，0 代表我們不用記住前面的信息。ft的計(jì)算公式如下：

式中：σ——遺忘門的激活函數(shù)；Xt——時(shí)間序列數(shù)據(jù)信息；ht－1——前t－1 時(shí)刻預(yù)測(cè)當(dāng)前t時(shí)刻的數(shù)據(jù)狀態(tài)信息；wxf——Xt的權(quán)值；whf——ht－1的權(quán)值；bf——遺忘門的偏置項(xiàng)。

2）輸入門（input gate）it：負(fù)責(zé)篩選新的記憶，去掉無用的新的記憶（輸入）信息，產(chǎn)生控制信息。it的計(jì)算公式如下：

式中：wxi——Xt的權(quán)值；whi——ht－1的權(quán)值；bi——輸入門的偏置項(xiàng)。

此外，gt的計(jì)算公式如下：

式中：gt——單元狀態(tài)更新值，產(chǎn)生候選數(shù)據(jù)信息；tanh——單元狀態(tài)激活函數(shù)；wxg——Xt的權(quán)值；whg——ht－1的權(quán)值；bg——單元狀態(tài)偏置項(xiàng)。

因此，gt和it結(jié)合可得到候選數(shù)據(jù)所需要保留的數(shù)據(jù)信息，結(jié)合上一個(gè)時(shí)間段所保留的數(shù)據(jù)信息，兩部分相加得到最終的當(dāng)前時(shí)刻的數(shù)據(jù)控制信息為：

式中：Ct——當(dāng)前t時(shí)刻的控制參數(shù)；Ct－1——前t－1時(shí)刻的控制參數(shù)。

3）輸出門（output gate）ot：根據(jù)新舊記憶結(jié)合的全部記憶進(jìn)行轉(zhuǎn)化成為實(shí)際所需要的信息，由輸入數(shù)據(jù)Xt和隱藏節(jié)點(diǎn)ht－1與其對(duì)應(yīng)權(quán)值wxo和who經(jīng)過σ函數(shù)激活計(jì)算為：

式中：wxo——Xt的權(quán)值；who——ht－1的權(quán)值；bo——輸出門的偏置項(xiàng)。

最后，為了計(jì)算預(yù)測(cè)值y＾t并生成下個(gè)時(shí)間段完整的輸入，需要計(jì)算隱藏節(jié)點(diǎn)的輸出ht，隱藏節(jié)點(diǎn)由輸出門的控制記憶信息與當(dāng)前時(shí)刻全部數(shù)據(jù)信息相結(jié)合計(jì)算得到：

當(dāng)傳遞信息到下一時(shí)刻，除了將長(zhǎng)期信息的狀態(tài)傳遞到下一時(shí)刻，也會(huì)將當(dāng)前時(shí)刻的輸出作為近期信息傳遞到下一時(shí)刻。 所以預(yù)測(cè)值y＾t由輸出的隱藏節(jié)點(diǎn)與其對(duì)應(yīng)權(quán)值wyh相乘得到：

2.2 LSTM 原子鐘模型構(gòu)建

建立LSTM 原子鐘鐘差預(yù)報(bào)模型共分為以下五步：第一步進(jìn)行原子鐘鐘差數(shù)據(jù)預(yù)處理，將鐘差數(shù)據(jù)的異常值剔除并進(jìn)行二次差分處理，可使得數(shù)據(jù)平穩(wěn)并降低LSTM 網(wǎng)絡(luò)的復(fù)雜程度；第二步將數(shù)據(jù)進(jìn)行分割，確定時(shí)間步長(zhǎng)和數(shù)據(jù)輸入特征并定義LSTM 網(wǎng)絡(luò)結(jié)構(gòu)；第三步將數(shù)據(jù)歸一化并編譯LSTM網(wǎng)絡(luò)，確定激活函數(shù)；第四步優(yōu)化并確定訓(xùn)練模型參數(shù)；第五步設(shè)置目標(biāo)函數(shù)評(píng)估預(yù)報(bào)模型并輸出預(yù)報(bào)結(jié)果［9，12］。 LSTM 原子鐘模型構(gòu)建流程圖如圖3所示。

圖3 LSTM 原子鐘模型構(gòu)建流程圖Fig.3 Flow chart of building the atomic clock model of LSTM

1）數(shù)據(jù)預(yù)處理：除常規(guī)異常值剔除及相跳、頻跳的插值數(shù)據(jù)處理外，還需將鐘差數(shù)據(jù)進(jìn)行二次差分處理，可以保證數(shù)據(jù)的平穩(wěn)性，并且能夠提高預(yù)報(bào)精度；

2）數(shù)據(jù)分割：按照交叉驗(yàn)證法將數(shù)據(jù)劃分為訓(xùn)練樣本集和驗(yàn)證集，將數(shù)據(jù)集D按照時(shí)間分割成k個(gè)大小相同的數(shù)據(jù)子集，每個(gè)子集Di都盡可能保持?jǐn)?shù)據(jù)分布的一致性。 根據(jù)前一時(shí)間段作為輸入變量，下一時(shí)間段作為輸出變量，將這個(gè)時(shí)間序列數(shù)據(jù)集重構(gòu)為一個(gè)監(jiān)督學(xué)習(xí)問題；

3）數(shù)據(jù)歸一化：將分割后的訓(xùn)練集合驗(yàn)證集均進(jìn)行歸一化，可以幫助網(wǎng)絡(luò)模型更快的擬合。 設(shè)置LSTM 訓(xùn)練學(xué)習(xí)損失率、隱藏層神經(jīng)元數(shù)、批次大小以及迭代次數(shù)，并設(shè)置防止過擬合或欠擬合的監(jiān)視變量；

4）模型訓(xùn)練：為了快速找到最優(yōu)參數(shù)，選用小批量隨機(jī)梯度下降算法進(jìn)行模型的參數(shù)優(yōu)化，將分割后的訓(xùn)練樣本集按照設(shè)置的參數(shù)（訓(xùn)練學(xué)習(xí)損失率為10－6、隱藏層神經(jīng)元數(shù)為200、批次大小為30×15、迭代次數(shù)為128）進(jìn)行LSTM 訓(xùn)練，訓(xùn)練優(yōu)化器采用自適應(yīng)優(yōu)化算法中的Adam 算法，并將模型訓(xùn)練結(jié)果作為預(yù)報(bào)值輸出；

5）預(yù)報(bào)評(píng)估：對(duì)模型訓(xùn)練結(jié)果進(jìn)行反歸一化和反二次差分處理，得到原始的鐘差數(shù)據(jù)，并與驗(yàn)證集進(jìn)行對(duì)比評(píng)估。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)以國(guó)家授時(shí)中心型號(hào)為VH085、VH340氫鐘數(shù)據(jù)和型號(hào)為Cs3436、TA3050 銫鐘數(shù)據(jù)為參考，選用日期分別為2020 年10 月1 日至2021 年6月30 日，以及2021 年4 月1 日至2021 年9 月10日的鐘差數(shù)據(jù)，實(shí)驗(yàn)數(shù)據(jù)采樣間隔均為1 h，預(yù)報(bào)時(shí)間長(zhǎng)度分別為72 h，240 h 和720 h，分別采用線性多項(xiàng)式模型、灰色模型、kalman 模型和LSTM 模型進(jìn)行預(yù)報(bào)，并將預(yù)測(cè)差值進(jìn)行比較，如圖4 至圖7所示。

由圖4 可知，VH340 在72 h 預(yù)報(bào)時(shí)長(zhǎng)，線性多項(xiàng)式模型的預(yù)報(bào)精度優(yōu)于其他模型，在240 h 和720 h預(yù)報(bào)時(shí)長(zhǎng)，LSTM 預(yù)報(bào)模型的預(yù)報(bào)誤差均小于其他模型。

圖4 VH340 預(yù)報(bào)誤差圖Fig.4 Forecast error graph of VH340

由圖5 可知，VH085 在72 h 預(yù)報(bào)時(shí)長(zhǎng)，灰色模型的預(yù)報(bào)精度優(yōu)于其他模型，在240 h 和720 h 預(yù)報(bào)時(shí)長(zhǎng)，LSTM 預(yù)報(bào)模型的預(yù)報(bào)準(zhǔn)確度相對(duì)于其他模型更高。

圖5 VH085 預(yù)報(bào)誤差圖Fig.5 Forecast error graph of VH085

由圖6 可知，Cs3436 在72 h 和240 h 預(yù)報(bào)時(shí)長(zhǎng)，kalman 模型的預(yù)報(bào)精度優(yōu)于其他模型，在720 h預(yù)報(bào)時(shí)長(zhǎng)，LSTM 預(yù)報(bào)模型的預(yù)報(bào)誤差相對(duì)于其他模型都小。

圖6 Cs3436 預(yù)報(bào)誤差圖Fig.6 Forecast error graph of Cs3436

由圖7 可知，TA3050 在72 h 預(yù)報(bào)時(shí)長(zhǎng)，灰色模型的預(yù)報(bào)精度優(yōu)于其他模型，在240 h 和720 h 預(yù)報(bào)時(shí)長(zhǎng)，LSTM 預(yù)報(bào)模型的預(yù)報(bào)準(zhǔn)確度相較于其他模型更高。

圖7 TA3050 預(yù)報(bào)誤差圖Fig.7 Forecast error graph of TA3050

最后，采用均方根誤差（root mean squared error，RMSE）來評(píng)估預(yù)報(bào)算法的性能［13］。 RMSE 的具體定義為：

由表1 可知，線性多項(xiàng)式模型、灰色模型和Kalman 模型隨著預(yù)報(bào)時(shí)長(zhǎng)的增加，預(yù)報(bào)誤差明顯增加，在短期預(yù)報(bào)時(shí)長(zhǎng)中，線性多項(xiàng)式模型和kalman模型預(yù)報(bào)精確度比較穩(wěn)定且可靠；在中長(zhǎng)期預(yù)報(bào)時(shí)長(zhǎng)中，LSTM 相較其余預(yù)報(bào)模型的預(yù)報(bào)精度有顯著的提升。

表1 預(yù)報(bào)模型RMSE 對(duì)比表Tab.1 Comparison table of the prognostic model RMSE

通過以上對(duì)比可看出，線性多項(xiàng)式模型具有誤差的累積效應(yīng)，在240 h 預(yù)報(bào)時(shí)長(zhǎng)，四臺(tái)原子鐘鐘平均累積誤差增大25.8 %，在720 h 預(yù)報(bào)時(shí)長(zhǎng)，平均累積誤差增大68.2 %。 灰色模型利用灰色數(shù)學(xué)處理不確定量，使之量化尋找數(shù)據(jù)運(yùn)行規(guī)律，沒有考慮原子鐘內(nèi)部噪聲影響，在240 h 預(yù)報(bào)時(shí)長(zhǎng)，四臺(tái)原子鐘鐘平均累積誤差增大17.9 %，在720 h 預(yù)報(bào)時(shí)長(zhǎng)，平均累積誤差增大74.5 %。 Kalman 模型經(jīng)過多次狀態(tài)估計(jì)迭代去除原子鐘內(nèi)部大部分噪聲影響，預(yù)報(bào)精度更加可靠，在240 h 預(yù)報(bào)時(shí)長(zhǎng)，四臺(tái)原子鐘鐘平均累積誤差增大22.3 %，在720 h 預(yù)報(bào)時(shí)長(zhǎng)，平均累積誤差增大37.8 %。 而LSTM 具有較高的模型復(fù)雜度以及高度的非線性關(guān)系處理，擬合效果更優(yōu)，根據(jù)長(zhǎng)序列數(shù)據(jù)之間的上下文依賴關(guān)系，可以降低原子鐘內(nèi)部噪聲造成的誤差影響，利用預(yù)測(cè)之間的網(wǎng)絡(luò)狀態(tài)，使得LSTM 對(duì)鐘差異常值數(shù)據(jù)不敏感。 在240 h 預(yù)報(bào)時(shí)長(zhǎng)，四原子鐘鐘平均累積誤差增大28.9 %，在720 h 預(yù)報(bào)時(shí)長(zhǎng)，平均累積誤差增大32.7 %。因此，LSTM 模型在240 h 以上的原子鐘鐘差預(yù)報(bào)可以實(shí)現(xiàn)更高的預(yù)報(bào)精度。

LSTM 對(duì)數(shù)據(jù)量依賴較大，而短期的原子鐘鐘差數(shù)據(jù)的依賴關(guān)系較弱，因此LSTM 模型不適用于短期鐘差數(shù)據(jù)的預(yù)報(bào)。 LSTM 在訓(xùn)練過程中采用串行數(shù)據(jù)運(yùn)算，對(duì)處理器等硬件的性能要求較高。 因此，在利用LSTM 模型訓(xùn)練數(shù)據(jù)時(shí)，要使用GPU 并加大計(jì)算機(jī)的硬件存儲(chǔ)帶寬，可以使用更多的計(jì)算單元加快訓(xùn)練速度。 此外，在數(shù)據(jù)預(yù)處理階段要循環(huán)多次剔除異常值等臟數(shù)據(jù)，避免LSTM 模型訓(xùn)練數(shù)據(jù)過程中過度的擬合訓(xùn)練集中的特有特征，導(dǎo)致預(yù)報(bào)準(zhǔn)確度降低。

4 結(jié)束語

針對(duì)傳統(tǒng)鐘差預(yù)報(bào)模型長(zhǎng)期預(yù)報(bào)精度快速下降的問題，提出了一種采用小批量梯度下降法構(gòu)建LSTM 鐘 差 預(yù) 報(bào) 的 模 型， 并 以VH085， VH340，Cs3436 和TA3050 鐘差數(shù)據(jù)為樣本，實(shí)現(xiàn)了原子鐘LSTM 鐘差實(shí)際預(yù)報(bào)，最后將LSTM 鐘差預(yù)報(bào)結(jié)果分別與其他三類原子鐘鐘差預(yù)報(bào)模型進(jìn)行預(yù)報(bào)誤差對(duì)比。 預(yù)報(bào)結(jié)果表明：LSTM 神經(jīng)網(wǎng)絡(luò)模型參數(shù)選擇小批量隨機(jī)梯度下降算法進(jìn)行優(yōu)化，可以在參數(shù)空間快速找到最優(yōu)組合，并使得LSTM 網(wǎng)絡(luò)模型實(shí)現(xiàn)更好的擬合。 在72 h 的預(yù)報(bào)時(shí)長(zhǎng)，LSTM 預(yù)報(bào)精度比其他三類模型較低；在240 h 的預(yù)報(bào)時(shí)長(zhǎng)，LSTM 與其他三類模型預(yù)報(bào)效果各有優(yōu)劣；在720 h 的預(yù)報(bào)時(shí)長(zhǎng)，LSTM 預(yù)報(bào)性能明顯優(yōu)于其他3 類模型。