潘 雄，趙萬卓，黃偉凱，張思瑩，金麗宏

（1.武漢紡織大學 計算機與人工智能學院，武漢 430200；2.武漢紡織大學 數(shù)理科學學院，武漢 430200）

在衛(wèi)星導航系統(tǒng)之中，星載原子鐘是維持整個系統(tǒng)順利運行的關(guān)鍵設(shè)備之一，原子鐘在運行過程中，會受到鐘切換、調(diào)相或調(diào)頻等操作的影響，同時還會受到外部環(huán)境及星載鐘自身等多種不確定因素影響，這些因素的存在嚴重影響著導航、定位和授時的精度[1]。北斗衛(wèi)星實時精密單點定位需要提供高精度的鐘差值，實時預(yù)報衛(wèi)星鐘差能夠獲取衛(wèi)星自主導航所需要的先驗信息，并有效應(yīng)對網(wǎng)絡(luò)延遲和中斷等因素的影響，確保衛(wèi)星導航系統(tǒng)的時間同步和連續(xù)性，提高實時動態(tài)定位精度。因此，通過對衛(wèi)星鐘差預(yù)報進行研究和分析，提高北斗衛(wèi)星系統(tǒng)的性能和可靠性，對高精度定位至關(guān)重要[2]。

為了提高鐘差預(yù)報的可靠性和準確性，已經(jīng)有許多學者研究不同的鐘差預(yù)報模型，其中包括二次多項式模型（Quadratic Polynomial Model,QP）、灰色系統(tǒng)（Grey Models,GM）模型、卡爾曼濾波模型、差分自回歸移動平均（Autoregressive Integrated Moving Average,ARIMA）模型和譜分析（Spectral Analysis,SA）模型等[3-5]，這些模型各有優(yōu)點和缺點。隨著衛(wèi)星鐘差數(shù)據(jù)的增多和研究的深入，發(fā)現(xiàn)數(shù)據(jù)中通常存在復雜的非線性因素，線性模型無法準確描述這些非線性因素[5,6]。為了進一步解決鐘差數(shù)據(jù)密度高和非線性特征復雜的問題，研究人員引入機器學習方法[5-10]，利用神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)進行學習，通過挖掘數(shù)據(jù)特征，捕捉動態(tài)數(shù)據(jù)的時序關(guān)系來進行建模和預(yù)報，常用的算法包括長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Τerm Memory Network,LSΤM）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN ）、雙向長短期記憶神經(jīng)網(wǎng)絡(luò)（Bidirectional Long Short-Τerm Memory Network,BiLSΤM）等。這些算法具有良好的自適應(yīng)性、抗差性和聯(lián)想記憶功能，但在使用過程中容易陷入局部最優(yōu)、梯度消失與爆炸等，影響收斂精度。為了提高模型的準確率，針對鐘差數(shù)據(jù)的特性，有學者對這些算法進行了優(yōu)化，Wen 等提出一種遺傳算法優(yōu)化的長短期記憶神經(jīng)網(wǎng)絡(luò)鐘差預(yù)報模型[11]；Huang 等應(yīng)用BiLSΤM對北斗2 號超快時鐘預(yù)測產(chǎn)品進行校正，但對于訓練神經(jīng)網(wǎng)絡(luò)的參數(shù)并沒有給出明確的選擇[12]。這些算法雖然緩解了神經(jīng)網(wǎng)絡(luò)中梯度爆炸和消失的問題，但其都是以遞歸神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的串行結(jié)構(gòu)[13]，因此存在如下缺點：1）模型無法實現(xiàn)并行計算，不能有效地運用圖形處理器（Graphics Processing Unit,GPU）的運算性能，運行時間較長；2）進行順序提取并不斷向后傳遞，過長的循環(huán)過程引起模型信息在傳輸過程中容易發(fā)生丟失，使得在衛(wèi)星鐘差這類密度較高的數(shù)據(jù)中深層隱含特征提取不足，致使模型難以訓練。

谷歌團隊提出了一種序列到序列的模型——自注意力神經(jīng)網(wǎng)絡(luò)模型（Τransformer），該模型為上述問題的解決提供了新思路。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法相比，Τransformer 模型能夠有效獲取序列之間的長距離依賴關(guān)系，研究人員使用Τransformer 代替了RNN，并已在計算機視覺以及自然語言處理領(lǐng)域取得顯著成果。本文將 Τransformer 引入到鐘差數(shù)據(jù)預(yù)報中，但Τransformer 中多頭注意力機制僅考慮全局注意力，忽略了局部注意力。對于鐘差數(shù)據(jù)，在關(guān)注整體數(shù)據(jù)的同時，還需要關(guān)注局部數(shù)據(jù)，特別是具有強相關(guān)性的局部信息。針對鐘差數(shù)據(jù)的特性與上述模型的局限性，本文對數(shù)據(jù)進行整體并行計算處理，在捕捉輸入和輸出之間更強的長程相關(guān)性耦合的同時，重點關(guān)注相鄰歷元間具有強相關(guān)性的局部信息，將原有的注意力機制進行稀疏性優(yōu)化，降低原始長序列輸入下的時間復雜度和內(nèi)存占用率問題，建立了稀疏優(yōu)化自注意力模型（Informer），并采用麻雀搜索算法進行超參數(shù)優(yōu)化，有效減少了模型解碼時間，提升了模型的訓練速度并進一步提高衛(wèi)星鐘差預(yù)報的精度。

1 稀疏優(yōu)化自注意力模型

自注意力神經(jīng)網(wǎng)絡(luò)模型是一種基于注意力機制的監(jiān)督學習模型，由模擬人的視覺注意力演化而來，具有較強的捕獲長距離依賴的能力。該模型使用位置信息嵌入層對輸入序列進行時間編碼，利用注意力函數(shù)對樣本進行權(quán)重分配，尋找網(wǎng)絡(luò)中需要關(guān)注的信息，并根據(jù)信息的重要程度賦予不同的權(quán)值；采用多個由多頭概率稀疏自注意力和卷積層組成的神經(jīng)網(wǎng)絡(luò)模塊進行深度特征提取，并借助自注意力機制實現(xiàn)快速并行計算，從而提高訓練速度。其主要由若干編碼器和解碼器組成：編碼層主要是為了獲取時間依賴，用于獲得原始輸入序列魯棒性的長期依賴；解碼層主要由多頭概率稀疏自注意力機制組成，可一次性生成預(yù)報序列。對于衛(wèi)星鐘差序列數(shù)據(jù)，數(shù)據(jù)之間存在一定的依賴關(guān)系，Informer 模型能夠有效捕獲鐘差數(shù)據(jù)序列之間的長距離依賴關(guān)系，同時，注意力機制更關(guān)注時間步和重要特征。圖1 為基于衛(wèi)星鐘差數(shù)據(jù)處理的Informer 模型的整體架構(gòu)，由編碼器-解碼器組合，其中自注意力模塊被優(yōu)化為稀疏自注意力。

圖1 Informer 模型的整體框架Fig.1 Informer model framework

圖2 鐘差預(yù)報流程Fig.2 Clock bias prediction process

1.1 自注意力機制的基本原理

模型的編碼器和解碼器均可接收衛(wèi)星鐘差數(shù)據(jù)的輸入，編碼器的輸入為一段來自歷史數(shù)據(jù)的長序列，而解碼器的輸入由一段短序列和一段與預(yù)報步長相等的零值組合而成。模型的輸入是前一個時刻標準化后的衛(wèi)星鐘差數(shù)據(jù)L=[L1,L2…LN]。自注意力機制的本質(zhì)是對樣本進行權(quán)重分配，在這個機制中，模型輸入的序列首先通過線性變換進行映射，得到三個大小相同的矩陣：查詢Q（query）、鍵K（key）、值V（value），然后進行點積縮放。這個過程將輸入數(shù)據(jù)映射到了Q、K、V這三個新的子空間，Q為目標序列向量，K為鍵向量序列，V為鍵向量對應(yīng)的值序列，令qi、ki、iv分別表示Q、K、V中的第i行，根據(jù)Q、K計算得到兩個向量之間的相似性，然后經(jīng)過函數(shù)softmax歸一化，并與V相乘，得到加權(quán)后的注意力權(quán)值矩陣，最終的結(jié)果是根據(jù)注意力權(quán)值矩陣對輸入序列進行加權(quán)平均得到的，其函數(shù)表達式為：

1.2 位置編碼嵌入

由于注意力機制模型中沒有使用循環(huán)神經(jīng)網(wǎng)絡(luò)，因此無法直接對序列中的位置信息進行建模。為了解決這個問題，模型采用了位置編碼，將每個位置的信息編碼為一個向量，并將其加到輸入向量，在原有位置的基礎(chǔ)上，讓模型能夠?qū)π蛄兄械奈恢眯畔⑦M行建模。位置編碼的形式有很多，而在精密定軌解算衛(wèi)星鐘差的過程中，軌道和鐘差相互耦合導致解算的鐘差序列存在著周期性的波動現(xiàn)象，因此本文采用正弦、余弦函數(shù)對衛(wèi)星鐘差數(shù)據(jù)序列時序方向中每一歷元的位置信息進行絕對位置編碼，獲取某一時刻的輸入信息在整個鐘差數(shù)據(jù)序列中的位置，實現(xiàn)模型對鐘差數(shù)據(jù)序列中時間序列某一時刻位置信息的隱含周期性特征提取，絕對位置編碼P可表示為：

其中，pos和j為當前鐘差數(shù)據(jù)在輸入序列中的時刻位置信息和維度；N為鐘差序列的長度；dmodel為原始鐘差數(shù)據(jù)序列的維度特征經(jīng)過輸入向量映射后的維度。

1.3 稀疏優(yōu)化方案

Τransformer 模型中自注意力采用標準的點積計算方式，每個輸入序列元素都與整個序列建立了聯(lián)系，使得每個注意力層的時間復雜度與輸入序列長度N的關(guān)系為O(N2)。在此模型中，隨著輸入數(shù)據(jù)序列的增長，就使得運算復雜度成平方式增長，但在實際應(yīng)用中，某些元素僅與少數(shù)元素有較大的關(guān)聯(lián)性，與大多數(shù)元素的聯(lián)系相對不重要，而這些不重要的聯(lián)系會消耗大量內(nèi)存和計算資源。為了降低運算復雜度，可采用稀疏性優(yōu)化方案進行自注意力的運算，即采用少數(shù)Q和K的點積計算結(jié)果主導進行softmax運算。

鑒于此，可以通過對目標序列向量Q進行重要性評估，根據(jù)評估結(jié)果進行后續(xù)的點積計算，從而達到稀疏化的目的。

稀疏優(yōu)化方法如下：

1）選取常數(shù)采樣因子s為超參數(shù)，計算a1=NQln(NK)，并在采樣因子s的控制下設(shè)置a2=sln(NK)。

2）對鍵向量K隨機采樣a1個點積對，形成新的鍵矩陣，并計算采樣得分：

3）按行計算其稀疏性得分M

4）對M進行得分排序后，選取其前a2個qi向量組成稀疏優(yōu)化后的新矩陣。經(jīng)過稀疏性優(yōu)化后的自注意力為：

剩余的qi不參與點積運算。

將Q矩陣依概率稀疏后得到，即計算復雜度由O(N2)降到了O(NlnN)，降低了計算的復雜度，使得模型從大量冗余信息中提取出特征的權(quán)重信息進行計算。

1.4 超參數(shù)優(yōu)化方法

超參數(shù)的合理選擇對模型的預(yù)報效果非常重要，本文選用麻雀搜索算法[14]（Sparrow Search Algorithm,SSA）對模型進行超參數(shù)優(yōu)化。麻雀搜索算法設(shè)置了三個角色：發(fā)現(xiàn)者、加入者和偵察者，發(fā)現(xiàn)者負責為加入者提供覓食區(qū)域和方向，加入者跟隨發(fā)現(xiàn)者并爭奪食物，而偵察者在發(fā)現(xiàn)捕食者時立即發(fā)出警報并表現(xiàn)出反捕食行為。

1）對于發(fā)現(xiàn)者：

其中，t和T分別為當前迭代次數(shù)和最大迭代次數(shù)；設(shè)定麻雀種群數(shù)量為n，解空間的維度為b，i=1,2…n，j=1,2…b，xi,j(t)表示在第t次第i只麻雀在第j維的位置信息；α∈(0,1)表示某一隨機數(shù)；R2∈(0,1)，ST∈[0.5,1]分別表示偵察者的預(yù)警值和安全值。當R2＜ST時，發(fā)現(xiàn)者周圍沒有捕食者，可以覓食；當2R≥ST時，偵察者發(fā)現(xiàn)捕食者并發(fā)出警報，所有麻雀迅速離散。W為正態(tài)分布隨機數(shù)，I 表示一個1 行b列的全1 矩陣。

2）對于加入者：

其中，xlow(t)表示全局最差位置；xhigh(t+1)為全局最優(yōu)位置；A為一個1×b維的矩陣，每個元素隨機賦值1 或-1；A+=AΤ(AAΤ)-1。

3）對于偵察者：

其中，U∈[ -1,1]，β表示均值為0、方差為1 的正態(tài)分布隨機數(shù)，兩者均為補償控制參數(shù)；fi、fg、fw分別為個體適應(yīng)度、全局最優(yōu)適應(yīng)度值和最差適應(yīng)度值，為了避免分母為0 的情況，引入一個極小常數(shù)ε。

為了得到神經(jīng)網(wǎng)絡(luò)的最優(yōu)超參數(shù)，對麻雀種群位置隨機初始化，計算每只麻雀的適應(yīng)度值?；谶m應(yīng)度值設(shè)置參數(shù)，使用不同適應(yīng)度值的麻雀位置更新方式搜索最優(yōu)解。在鐘差預(yù)報中，發(fā)現(xiàn)者、加入者與偵察者的比例設(shè)為2：7：1，種群數(shù)量為20，最大迭代次數(shù)為300，正則化系數(shù)為[1 ×10-4,1 ×10-1]。在搜索過程中，SSA 算法考慮了群體行為的多種可能因素，能夠快速地在最優(yōu)解附近收斂，并有效地避免陷入局部最優(yōu)解的情況，最終得到的最優(yōu)位置就對應(yīng)著神經(jīng)網(wǎng)絡(luò)的最優(yōu)超參數(shù)。

2 優(yōu)化自注意力模型鐘差預(yù)報方法

設(shè)衛(wèi)星鐘差數(shù)據(jù)為L=[L1,L2…LN]，用過去t個時刻的鐘差值L=[L1,L2…Lt]來預(yù)報t+1時刻的鐘差值[Lt+1]，即建立L=[L1,L2…Lt]與[Lt+1]的映射關(guān)系。通過對自注意力機制進行概率稀疏性優(yōu)化，給聯(lián)系強的數(shù)據(jù)分配更大的權(quán)重，從而降低網(wǎng)絡(luò)模型的時間復雜度與空間復雜度，解決密度較高的鐘差時間序列數(shù)據(jù)的長時依賴問題。隨著新歷元的增加，離預(yù)報歷元點遠的數(shù)據(jù)對模型精度的影響逐漸減弱，所以在實際鐘差數(shù)據(jù)建模中引入新陳代謝的思想。在保持樣本總數(shù)不變的情況下，不斷地用新的數(shù)據(jù)替換之前的已知數(shù)據(jù)，作為模型訓練初始值，結(jié)合新陳代謝思想，依次向新的歷元推進，進而實現(xiàn)鐘差的多步預(yù)報。Informer 模型的預(yù)報步驟如下：

1）采取以單顆衛(wèi)星鐘差數(shù)據(jù)為處理單元，在原始鐘差數(shù)據(jù)相鄰的歷元間求一次差，得到鐘差的一次差分數(shù)據(jù)。采用中位數(shù)粗差探測法（Median Absolute Deviation,MAD）對差分序列進行預(yù)處理，剔除鐘差序列中的異常值[15]，再用線性插值法補齊數(shù)據(jù)，得到相對清晰的鐘差數(shù)據(jù)L。

2）對輸入的鐘差數(shù)據(jù)進行標準化。為使模型獲得較好的訓練效果，并防止訓練發(fā)散和損失擴大，需要對衛(wèi)星鐘差輸入數(shù)據(jù)進行標準化處理，得到標準化訓練集L′=[L1′,L2′…LN′]。標準化公式為：

其中，μ和σ分別為鐘差序列L的均值和標準差。

3）初始化網(wǎng)絡(luò)模型結(jié)構(gòu)，根據(jù)式(2)(3)對鐘差數(shù)據(jù)的時刻位置信息進行編碼，使用時刻位置信息嵌入標記鐘差序列L′局部和全局前后時間位置關(guān)系，充分挖掘時間相關(guān)性，利用多頭注意力機制將注意力聚焦于變化趨勢更明顯的數(shù)據(jù)特征上，獲取輸入序列的長時依賴關(guān)系。

4）初始化麻雀種群參數(shù)：種群數(shù)量及最大迭代次數(shù)。以模型實際輸出值與樣本理想值的均方誤差，定義麻雀種群個體的適應(yīng)度函數(shù)。定義偵察者占總體數(shù)量比例為0.2，以高者作為發(fā)現(xiàn)者，計算偵察者與加入者的數(shù)量，建立模型進行訓練。

5）計算適應(yīng)度函數(shù)并更新適應(yīng)度值。

6）以式(7)-(9)更新發(fā)現(xiàn)者、加入者和偵察者位置并調(diào)整Informer 模型中的超參數(shù)。

7）判斷是否滿足最大迭代次數(shù)或者樣本理想精度。若滿足則停止迭代，完成參數(shù)優(yōu)化過程；否則返回步驟5）。

8）將輸出的參數(shù)作為Informer 模型的輸入層權(quán)值和隱含層閾值，輸入到建立的模型中來訓練模型，并得到模型的預(yù)報值輸出。

9）預(yù)報值還原。對輸出值進行反歸一化操作，得到最終的鐘差預(yù)報數(shù)據(jù)。

3 算例分析

3.1 數(shù)據(jù)來源與粗差定位處理

為了驗證本文Informer 模型的鐘差預(yù)報效果，采用全球連續(xù)監(jiān)測評估系統(tǒng)（International GNSS Monitoring &Assessment System,iGMAS）提供的北斗衛(wèi)星（Beidou Navigation Satellite System,BDS）鐘差數(shù)據(jù)進行實驗和分析。選取2022-08-26～2022-08-27 采樣間隔為5 min 的精密衛(wèi)星鐘差數(shù)據(jù)，ftp 網(wǎng)址：http:// www.igmas.org/ Product/ ΤreePage/ downItem/ ?fid=/ products/ products/ 0868/ b1ib3i/ isc08685.clk.Z;http:// www.igmas.org/ Product/ ΤreePage/ downItem/ ?fid=/ products/ products/ 0868/ b1ib3i/ isc08686.clk.Z。因篇幅限制并考慮衛(wèi)星數(shù)據(jù)的完整性，在三類BDS-3 星載原子鐘中選擇中軌道（Medium Earth Orbit,MEO）銣鐘衛(wèi)星C19-C24，氫鐘衛(wèi)星C34、C35、C43-C46；傾斜地球同步軌道（Inclined GeoSynchronous Orbit,IGSO）氫鐘衛(wèi)星C38-C40 的鐘差數(shù)據(jù)，如表1 所示。

表1 BDS-3 星載原子鐘類型Tab.1 Type of BDS-3 satellite-based atomic clock

本文用誤差的均方根（Root Mean Square,RMS）、誤差均值（mean）作為模型預(yù)報精度的評判指標，以殘差的極值差（range）作為評判模型預(yù)報穩(wěn)定度的指標。

其中，m為預(yù)報序列歷元數(shù)；yi為i時刻iGMAS 提供的精密鐘差真實值；y?i為i時刻的預(yù)報值；ymax為誤差的最大值；ymin為誤差的最小值。

本文使用一次差分法進行數(shù)據(jù)處理，對其3 h、6 h、12 h 的短期預(yù)報進行實驗和分析，將預(yù)報值與真實值進行對比，并用上述的三個指標從預(yù)報精度與預(yù)報穩(wěn)定度兩方面來評判模型的綜合預(yù)報性能。在數(shù)據(jù)預(yù)處理方面，采用MAD 法對衛(wèi)星鐘差序列進行粗差探測及處理，其中位數(shù)公式為：

其中，mid為鐘差序列的中間數(shù)；median 表示序列的中位數(shù)。利用中位數(shù)法檢測鐘差數(shù)據(jù)的異常值時，如果＞mid+x·MAD（x∈[1,5]，一般取值為3），則認為此數(shù)據(jù)為異常值，采用線性插值法對探測出的異常值進行剔除與填補。從三類衛(wèi)星中隨機選取C21、C34 和C40，異常值處理前后的頻率結(jié)果如圖3-4 所示。從圖中可以看出，異常歷元的數(shù)據(jù)經(jīng)過剔除與填補后，鐘差數(shù)據(jù)質(zhì)量隨之提高，如C40 號衛(wèi)星的數(shù)據(jù)波動區(qū)間從 1.1×10-11～1.35×10-11縮小至1.16×10-11～1.28×10-11，數(shù)據(jù)分布的范圍明顯縮小。

圖3 異常值處理前的頻率圖Fig.3 Frequency graph before outlier processing

圖4 異常值處理后的頻率圖Fig.4 Frequency graph after outlier processing

3.2 計算效率分析

以12 h 預(yù)報為例，分別從理論和實際預(yù)報的計算效率分析LSΤM、Τransformer 和Informer 三種模型的效率差異。表2 統(tǒng)計了三種模型理論上的訓練時間復雜度、空間占用率和預(yù)報時間復雜度。從表2 可以看出，Τransformer 模型與Informer 模型在理論上的訓練時間復雜度和空間占用率上，二者具有相同的復雜度，因此兩種模型的訓練時間在輸入序列增長后會有相似的上升趨勢；而在預(yù)報效率上，Τransformer 與LSΤM模型有著相同的預(yù)報時間復雜度，而Informer 模型優(yōu)于這兩個模型，因此需要消耗時間較少，有著極高的預(yù)報速度。

表2 理論計算效率對比Tab.2 Comparison of theoretical computing efficiency

同時，對這三種模型進行對比分析，圖5 給出了三種模型在鐘差預(yù)報中實測的訓練時間與預(yù)報時間對比（本文使用pytorch 深度學習框架，i9CPU 與Nvidia GΤX3090 32 GB GPU 服務(wù)器）。

圖5 計算時間對比Fig.5 Comparison of computation time

從圖5(a)可以看出：當編碼器的輸入長度小于168歷元時，Informer 和LSΤM 模型的運行時間大致相同，計算時間在3 min 以內(nèi)，都小于Τransformer 模型；當輸入長度在168～336 歷元時，Informer 模型的訓練時間略微增加；當輸入長度增長到336 歷元及以上時，Informer 模型的訓練時間快速上升，這是由于自注意力機制需要對每個輸入位置與其他位置進行全連接的注意力計算，導致計算復雜度增長，而且模型中包含多層結(jié)構(gòu)和多頭注意力機制，每層都需要參數(shù)更新和反向傳播，進一步增加了計算量，因此Informer 模型的訓練時間開始上升。

在預(yù)報階段，由圖5(b)可知，Informer 模型可以一步生成預(yù)報序列，不會增加模型的計算負擔，提高了模型的預(yù)報效率，穩(wěn)定度較好，優(yōu)于LSΤM 和Τransformer 模型。在鐘差短期預(yù)報中，從訓練與預(yù)報時間來看，Informer 模型優(yōu)勢明顯。

3.3 穩(wěn)定性評估

為了比較不同鐘差預(yù)報模型的穩(wěn)定性，從三類衛(wèi)星中選取C21、C34 和C40 進行對比，采用QP 模型、GM 模型、LSΤM 模型和Informer 模型進行對比分析。采用衛(wèi)星鐘差24 h 的數(shù)據(jù)，采樣間隔為5 min，共288個數(shù)據(jù)轉(zhuǎn)化的一階差分數(shù)據(jù)，使用訓練好的模型進行3 h、6 h 和12 h 的預(yù)報，預(yù)報穩(wěn)定度如圖6 所示。為了更好地比較預(yù)報效果，圖7 給出了12 h（144 個歷元）預(yù)報的誤差趨勢圖。

圖6 四種模型穩(wěn)定度對比柱狀圖Fig.6 Τhe contrast bar chart of stability of the four models

圖7 鐘差預(yù)報誤差趨勢圖Fig.7 Clock bias prediction error trend graph

從圖6 可知，在3 h 預(yù)報中，Informer 模型在MEO銣鐘C21 號和IGSO 氫鐘C40 衛(wèi)星上的預(yù)報穩(wěn)定度高于其他模型，在MEO 氫鐘C34 號只優(yōu)于GM 模型，隨著預(yù)報時間增長，Informer 模型的穩(wěn)定度略有損失。在MEO 氫鐘C34 號衛(wèi)星的三個預(yù)報時長中，Informer穩(wěn)定度雖低于LSΤM，穩(wěn)定度range 指標皆在2 ns 之內(nèi)。在三個時長預(yù)報中，IGSO 氫鐘C40 號衛(wèi)星的Informer 模型的預(yù)報穩(wěn)定度均高于其他三種模型，效果最好，MEO 銣鐘C21 號效果次之，MEO 氫鐘C34號最差。

從圖7 可知，隨著預(yù)報歷元的變長，四種模型的穩(wěn)定度均有所降低，LSΤM 和Informer 模型的預(yù)報誤差曲線變化起伏較小，說明其穩(wěn)定性較好，優(yōu)于QP 和GM 模型。GM 模型在C21 和C40 號衛(wèi)星中的預(yù)報穩(wěn)定度較低，是由于其對數(shù)據(jù)集的指數(shù)滑動平均系數(shù)敏感，導致模型在不同衛(wèi)星下的預(yù)報結(jié)果偏差較大。QP、LSΤM 和Informer 在三類衛(wèi)星上的預(yù)報誤差趨勢表現(xiàn)出較高的穩(wěn)定性。綜合三顆衛(wèi)星的誤差趨勢圖可以看出，LSΤM 與Informer 模型的預(yù)報誤差趨勢較為平穩(wěn)，兩者穩(wěn)定度皆高于QP 模型。

表3 統(tǒng)計了四種模型在三個預(yù)報時間段的平均range 值。

表3 平均range 統(tǒng)計（單位：ns）Tab.3 Statistics of average range (Unit: ns)

從表3 可以看出，在3 h 與6 h 的預(yù)報時長中，QP、LSΤM 和Informer 模型的穩(wěn)定度都在次納秒級，GM 模型為納秒級，穩(wěn)定度較低；在12 h 預(yù)報時長中，QP、GM、LSΤM 和Informer 模型的穩(wěn)定度分別為2.7328 ns、8.4122 ns、0.6727 ns 和0.7243 ns，可以發(fā)現(xiàn)兩種神經(jīng)網(wǎng)絡(luò)模型的穩(wěn)定度基本一致，在12 h 預(yù)報時長中仍然能夠保持次納秒級的穩(wěn)定度，均較大幅度優(yōu)于QP 和GM 模型。綜上所述，Informer 模型在三個時段的衛(wèi)星鐘差短期預(yù)報中的穩(wěn)定性與實用性較高，證明其在鐘差短期預(yù)報中具有較大的可行性。

3.4 預(yù)報精度驗證

為進一步比較不同模型在鐘差預(yù)報中不同時段的精度，選取Informer 模型與常用的QP 模型、GM 模型和LSΤM 模型作對比。首先，選取BDS-3 的15 顆衛(wèi)星在2022 年8 月26 日的鐘差數(shù)據(jù)進行建模和訓練。然后，每顆衛(wèi)星用這四種模型分別進行3 h、6 h 和12 h的鐘差預(yù)報，統(tǒng)計出預(yù)報精度。15 顆衛(wèi)星的預(yù)報誤差均值與預(yù)報均方根誤差對比如圖8-9 所示。

圖8 不同時間段預(yù)報誤差均值對比Fig.8 Comparison of the means of prediction errors for various periods

從圖8-9 可知，Informer 模型三個預(yù)報時長的預(yù)報精度均高于QP 模型與GM 模型，3 h 與6 h 的預(yù)報精度高于LSΤM 模型，12 h 的預(yù)報精度略高于LSΤM模型。以C20 衛(wèi)星為例，在3 h 和6 h 的預(yù)報時長中，QP 模型的預(yù)報均方根誤差低于2.5 ns，誤差均值為3 ns 左右；GM 與LSΤM 模型預(yù)報精度相似，在兩個時長的預(yù)報中都處于1 ns 左右，兩者的誤差均值也都未超過1.1 ns；而Informer 模型的預(yù)報精度與誤差均值在0.4 ns 和0.16 ns 以內(nèi)。當預(yù)報時長增加到12 h，QP 模型的預(yù)報精度高于3 ns；GM 與LSΤM 模型的預(yù)報精度都高于1 ns；Informer 模型的預(yù)報精度開始下降，但仍在1 ns 之內(nèi)，表現(xiàn)出的性能均優(yōu)于其他三種模型，驗證了該模型在BDS 鐘差短期預(yù)報中具有較好的性能和抗干擾能力。

為了進一步分析原子鐘類型對模型預(yù)報精度的影響，體現(xiàn)各模型在不同時間段的預(yù)報精度以及不同類型原子鐘的差異，表4 統(tǒng)計了四種模型3 h、6 h 和12 h的預(yù)報精度，給出了不同軌道原子鐘的均方根誤差平均值與誤差均值絕對值的平均值，表中Count 用來統(tǒng)計模型在15 顆衛(wèi)星上預(yù)報精度最高的數(shù)量總和。

表4 各模型預(yù)報精度統(tǒng)計（單位：ns）Tab.4 The statistics of prediction accuracy of each model (Unit: ns)

結(jié)合圖9 與表4 可以看出：對MEO 銣鐘和IGSO氫鐘預(yù)報時，在3 h 和6 h 預(yù)報中，Informer 模型預(yù)報的精度較常用的QP、GM 和LSΤM 模型提高了3～5倍。同時發(fā)現(xiàn)，在3 h 預(yù)報中，Informer 模型在預(yù)報MEO 銣鐘與IGSO 氫鐘這兩類衛(wèi)星鐘差時精度均都高于其他三種模型；Informer 與QP 模型對MEO 氫鐘的預(yù)報精度相當，其預(yù)報均方根誤差都0.7 ns 之內(nèi)。在6 h 預(yù)報中，Informer 模型在MEO 銣鐘與IGSO 氫鐘上的預(yù)報均方根誤差與誤差均值仍有較大優(yōu)勢；QP 模型在MEO 氫鐘的預(yù)報中表現(xiàn)性能最好，Informer 模型的預(yù)報均方根誤差僅略低于QP，兩者差距在20%之內(nèi)。在12 h 時長的預(yù)報中，Informer 與LSΤM 兩種模型在三類原子鐘上的精度較為平均，Informer 在MEO 氫鐘和IGSO 氫鐘上的預(yù)報精度高于LSΤM，在MEO 銣鐘預(yù)報平均精度略低于LSΤM。另外，通過比較三個預(yù)報時長的Count 值，分析各模型在預(yù)報中表現(xiàn)最優(yōu)的衛(wèi)星數(shù)量的總和，可以發(fā)現(xiàn)Informer 模型在3 h 與6 h 中的預(yù)報性能遠優(yōu)于其他模型，在12 h 時長中與其他模型持平。

表5 列出了15 顆衛(wèi)星預(yù)報結(jié)果的平均RMS（因各軌道衛(wèi)星數(shù)量不一致，因此結(jié)果為表5 的加權(quán)平均值）。從表中可以看出，隨著預(yù)報時間的增長，四種模型的預(yù)報精度分別有所下降。Informer 模型在三個不同時長的預(yù)報中，其精度均高于其他三種模型，在3 h、6 h 預(yù)報中的優(yōu)勢最為明顯，與QP、GM、LSΤM 相比，3h 提升了66.83%、79.78%、71.11%，6h 提升了50.50%、70.84%、53.54%，特別是在3 h 時長的預(yù)報中，Informer 模型的預(yù)報精度僅在C35 與C45 號衛(wèi)星中略低于QP 模型，C19 略低于GM 模型，C44 略低于LSΤM 模型，表明雖然短期鐘差序列隨機性強、波動性大，但依然有跡可循，Informer 模型可以有效找出時間序列數(shù)據(jù)中的隱含特征，模型在超短期預(yù)報中的精確度較高，具有充分的可行性。在12 h 時長的預(yù)報中，隨著需要的訓練數(shù)據(jù)集增大，Informer 模型的預(yù)報精度有所損失，模型性能逐步下降，但其預(yù)報精度仍然優(yōu)于其他三種模型，分別提升了37.91%、60.12%和15.74%。

表5 平均RMS 精度統(tǒng)計（單位：ns）Tab.5 Statistics of average RMS accuracy (Unit: ns)

5 結(jié)論

針對BDS 鐘差數(shù)據(jù)密度較高、序列較長和具有較為復雜的非線性特征，本文提出了一種基于優(yōu)化自注意力機制的神經(jīng)網(wǎng)絡(luò)模型進行鐘差短期預(yù)報，通過實驗對比分析，得出以下結(jié)論：

1）本文提出的Informer 模型，以優(yōu)化自注意力機制避免了基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）與其變體模型（LSΤM、BiLSΤM）需要多次循環(huán)，無法并行計算導致其在密度較高的鐘差數(shù)據(jù)上訓練和預(yù)報效率低下的缺點，使得模型能夠并行化計算和捕捉長序列中長期依賴關(guān)系，提高了鐘差預(yù)報的計算效率與預(yù)報精確度。

2）在三個時長的短期預(yù)報中，Informer 模型預(yù)報BDS 衛(wèi)星鐘差的平均精度分別為0.5107 ns、0.8551 ns和1.5482 ns，相較于其他三種常用的鐘差預(yù)報模型具有更高的精度與穩(wěn)定性，體現(xiàn)了其在鐘差預(yù)報中的優(yōu)勢與可行性。

3）本文主要研究了鐘差預(yù)報中基于自注意力機制的計算性能優(yōu)化與其超參數(shù)優(yōu)選方法，而影響神經(jīng)網(wǎng)絡(luò)預(yù)報精度和計算性能的因素還有很多，例如粗差、空缺值、建模數(shù)據(jù)量以及預(yù)報長度等，這些問題還需進一步的討論。