熊凱，魏春嶺，李連升，周鵬

北京控制工程研究所 空間智能控制技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100094

衛(wèi)星星座是為完成特定空間任務(wù)而協(xié)同工作的多顆衛(wèi)星。作為衛(wèi)星星座的典型代表，北斗衛(wèi)星導(dǎo)航系統(tǒng)承擔(dān)國(guó)家時(shí)空基準(zhǔn)建立與維持、定位導(dǎo)航授時(shí)信息播發(fā)等關(guān)鍵任務(wù)。在未來相當(dāng)長(zhǎng)的時(shí)間內(nèi)，將作為國(guó)家綜合定位導(dǎo)航和授時(shí)（Positioning， Navigation and Timing，PNT）體系的核心空間基礎(chǔ)設(shè)施，服務(wù)于國(guó)民經(jīng)濟(jì)發(fā)展和國(guó)防建設(shè)。衛(wèi)星星座系統(tǒng)除了要求實(shí)現(xiàn)很高的定位精度外，還要求具有較強(qiáng)的長(zhǎng)期自主運(yùn)行能力。盡管基于地面測(cè)控的導(dǎo)航定位系統(tǒng)具有精度高、技術(shù)成熟等優(yōu)點(diǎn)，但該導(dǎo)航方式主要依賴外部人造信標(biāo)進(jìn)行工作，從一定程度上削弱了星座系統(tǒng)的自主性。不依賴地面測(cè)控的自主導(dǎo)航技術(shù)是新一代星座系統(tǒng)的研究重點(diǎn)之一。

脈沖星是宇宙空間中以穩(wěn)定的周期高速自轉(zhuǎn)的中子星，被譽(yù)為“宇宙中的燈塔”“自然界最精確的天體鐘”。X射線脈沖星導(dǎo)航系統(tǒng)基于在航天器上配置的X射線探測(cè)器，測(cè)量脈沖星輻射的以穩(wěn)定周期變化的光子信號(hào)，提取脈沖到達(dá)時(shí)間（Time of Arrival，TOA）觀測(cè)量，經(jīng)過數(shù)字信號(hào)處理實(shí)現(xiàn)航天器自主PNT［1-4］。X射線脈沖星導(dǎo)航是一項(xiàng)極具發(fā)展?jié)摿Φ募夹g(shù)，其可行性已通過在軌試驗(yàn)得到驗(yàn)證［5-8］。但是，由于到達(dá)航天器的脈沖星信號(hào)非常微弱，受X射線探測(cè)器有效面積等因素的限制，僅依賴脈沖星導(dǎo)航難以滿足星座系統(tǒng)對(duì)導(dǎo)航精度的要求。通過多源測(cè)量信息融合，能夠達(dá)到比單獨(dú)X射線脈沖星導(dǎo)航更高的定位精度水平［9-11］。

基于照相觀測(cè)的星間定向技術(shù)是星座自主導(dǎo)航研究的重要成果之一，基本方法是在星座衛(wèi)星上配置具有跟蹤指向功能的照相觀測(cè)星相機(jī)，測(cè)量相鄰星座衛(wèi)星的視線方向矢量，進(jìn)而，利用射頻或激光鏈路，通過雙向測(cè)距等技術(shù)手段獲得星間距離信息，從而得到星間相對(duì)位置觀測(cè)量。根據(jù)基于相對(duì)測(cè)量的絕對(duì)定軌理論方法，利用星間相對(duì)位置觀測(cè)量，結(jié)合航天器軌道動(dòng)力學(xué)，通過設(shè)計(jì)適當(dāng)?shù)膶?dǎo)航濾波器，能夠?qū)崿F(xiàn)對(duì)星座衛(wèi)星絕對(duì)位置和速度的估計(jì)［12-14］。將X射線脈沖星導(dǎo)航和星間定向觀測(cè)技術(shù)相結(jié)合，構(gòu)成組合導(dǎo)航系統(tǒng)，能夠充分發(fā)揮不同方法各自的優(yōu)勢(shì)，使組合系統(tǒng)性能優(yōu)于各子系統(tǒng)，是實(shí)現(xiàn)高精度高可靠自主導(dǎo)航的有效途徑。

X射線脈沖星/星間定向觀測(cè)組合導(dǎo)航研究面臨的問題之一在于，星座衛(wèi)星軌道動(dòng)力學(xué)方程是在地心慣性系中建立的，而脈沖星觀測(cè)模型是在太陽(yáng)系質(zhì)心（Solar System Barycenter，SSB）坐標(biāo)系中建立的。在數(shù)據(jù)處理過程中，為了利用星座衛(wèi)星位置矢量的估計(jì)值計(jì)算脈沖星觀測(cè)量的預(yù)測(cè)值，需要用到地球相對(duì)于SSB的位置信息。受現(xiàn)階段測(cè)量技術(shù)條件的限制，根據(jù)星歷計(jì)算得到的地球位置存在誤差。文獻(xiàn)［15］分析了星歷誤差造成的系統(tǒng)偏差對(duì)脈沖星導(dǎo)航性能的影響。文獻(xiàn)［16-17］研究了通過脈沖星觀測(cè)量差分技術(shù)削弱星歷誤差影響的方法?？紤]到通過不同觀測(cè)量相減得到的差分脈沖星觀測(cè)量的噪聲相對(duì)較大，文獻(xiàn)［18］設(shè)計(jì)了針對(duì)星歷誤差的魯棒卡爾曼濾波器導(dǎo)航定位方法，通過優(yōu)化濾波器中增益陣的計(jì)算來提升導(dǎo)航性能。

此外，在卡爾曼濾波器設(shè)計(jì)過程中，要求系統(tǒng)數(shù)學(xué)模型是準(zhǔn)確的，系統(tǒng)噪聲和測(cè)量噪聲為統(tǒng)計(jì)特性已知的高斯白噪聲。在星座自主導(dǎo)航系統(tǒng)中，通過軌道動(dòng)力學(xué)方程描述星座衛(wèi)星的運(yùn)動(dòng)規(guī)律，將軌道動(dòng)力學(xué)方程中的未建模誤差項(xiàng)視為系統(tǒng)噪聲；將系統(tǒng)噪聲作為高斯白噪聲進(jìn)行處理，是對(duì)實(shí)際情況的一種近似。在系統(tǒng)噪聲統(tǒng)計(jì)特性存在不確定性的情況下，如何優(yōu)化選取擴(kuò)展卡爾曼濾波器（Extended Kalman Filter，EKF）的設(shè)計(jì)參數(shù)，是自主導(dǎo)航研究中的一個(gè)共性問題。

針對(duì)上述問題，將地球位置矢量擴(kuò)充為狀態(tài)，設(shè)計(jì)了面向X射線脈沖星和星間定向觀測(cè)量處理的擴(kuò)維EKF算法，通過計(jì)算導(dǎo)航系統(tǒng)的克拉美勞下界（Cramer-Rao Lower Bounds，CRLB），對(duì)擴(kuò)維后系統(tǒng)的可觀度進(jìn)行了分析。進(jìn)而，針對(duì)EKF遞推計(jì)算公式中的系統(tǒng)噪聲方差陣取值影響估計(jì)精度的問題，引入Q學(xué)習(xí)方法實(shí)現(xiàn)濾波器參數(shù)整定，設(shè)計(jì)了Q學(xué)習(xí)擴(kuò)展卡爾曼濾波器（Q-Learning Extended Kalman Filter，QLEKF）。最后，通過仿真驗(yàn)證星座自主定位精度水平。

1 組合導(dǎo)航系統(tǒng)模型

1.1 脈沖星導(dǎo)航觀測(cè)方程

X射線脈沖星導(dǎo)航通常以SSB為空間參考點(diǎn)，脈沖星發(fā)射的脈沖信號(hào)到達(dá)SSB的時(shí)間可以精確預(yù)報(bào)，脈沖信號(hào)到達(dá)衛(wèi)星的時(shí)間可以通過星上X射線探測(cè)器測(cè)量得到，脈沖信號(hào)到達(dá)衛(wèi)星與到達(dá)SSB的時(shí)間之差反映了衛(wèi)星相對(duì)SSB的位置矢量在脈沖星視線矢量上的投影，如圖1所示，圖中n(p)為脈沖星視線方向矢量；c為光速，c=299792458 m/s；和分別為脈沖信號(hào)到達(dá)航天器和太陽(yáng)系質(zhì)心的時(shí)間；rsm和rE分別為航天器和地球相對(duì)于太陽(yáng)系質(zhì)心的位置矢量；rm為航天器相對(duì)于地心的位置矢量。X射線脈沖星導(dǎo)航的主要優(yōu)勢(shì)體現(xiàn)在：以在天球上分布的脈沖星為導(dǎo)航信號(hào)源，不依賴近天體的可見性，適用范圍廣，可用于近地軌道、星際飛行航天器及無稠密大氣行星表面巡視器等，并且具有潛在的長(zhǎng)期自主守時(shí)能力。

圖1 脈沖到達(dá)時(shí)間與衛(wèi)星位置矢量的關(guān)系Fig.1 Relation between pulse time of arrival and posi?tion vector of satellite

假定X射線探測(cè)器安裝在星座衛(wèi)星的指向機(jī)構(gòu)上，對(duì)作為導(dǎo)航信號(hào)源的X射線脈沖星進(jìn)行觀測(cè)?；诿}沖星時(shí)間轉(zhuǎn)換模型建立起來的第p顆脈沖星的觀測(cè)方程為

式中：上標(biāo)(p)用于區(qū)分不同的脈沖星為對(duì)應(yīng)第p顆脈沖星的觀測(cè)量為第p顆脈沖星發(fā)射的脈沖信號(hào)到達(dá)SSB的時(shí)間，可通過事先建立的脈沖星時(shí)間模型預(yù)測(cè)得到為同一脈沖信號(hào)到達(dá)星座衛(wèi)星的時(shí)間，可以通過X射線探測(cè)器測(cè)量得到為測(cè)量函數(shù)；xk為狀態(tài)向量，由參與導(dǎo)航的星座衛(wèi)星的位置矢量和速度矢量構(gòu)成為均值為0、方差為的測(cè)量噪聲。將測(cè)量函數(shù)表述為

式中：rE，k為地心相對(duì)于SSB的位置矢量；rm，k為第m顆星座衛(wèi)星相對(duì)于地心的位置矢量。

根據(jù)脈沖星導(dǎo)航的觀測(cè)方程不難看出，脈沖到達(dá)時(shí)間觀測(cè)量反映了衛(wèi)星位置信息。結(jié)合衛(wèi)星軌道動(dòng)力學(xué)模型，通過EKF處理一個(gè)時(shí)間序列上的觀測(cè)量，可以獲得航天器位置和速度的估計(jì)值。值得注意的是，地球相對(duì)于SSB的位置根據(jù)星歷進(jìn)行預(yù)報(bào)，存在星歷誤差的情況下，地球預(yù)報(bào)位置和真實(shí)位置之間存在偏差，參照式（2），這會(huì)導(dǎo)致觀測(cè)方程中出現(xiàn)系統(tǒng)偏差，從而對(duì)導(dǎo)航結(jié)果產(chǎn)生不利影響，需要優(yōu)化導(dǎo)航濾波器的設(shè)計(jì)，以削弱地球星歷誤差的影響。

1.2 星間定向觀測(cè)方程

基于照相觀測(cè)的星間定向是高精度星座自主導(dǎo)航的實(shí)現(xiàn)方式之一，基本方法是在部分星座衛(wèi)星（稱為觀察衛(wèi)星）上配置具有跟蹤指向功能的星相機(jī)，對(duì)相鄰星座衛(wèi)星（稱為目標(biāo)衛(wèi)星）視線（Line of Sight，LOS）方向矢量進(jìn)行觀測(cè)，結(jié)合星間鏈路偽距測(cè)量得到星間相對(duì)位置觀測(cè)量；結(jié)合衛(wèi)星軌道動(dòng)力學(xué)模型，采用EKF或其改進(jìn)算法，根據(jù)一個(gè)時(shí)間序列上的觀測(cè)量，對(duì)參與導(dǎo)航的星座衛(wèi)星的位置和速度矢量進(jìn)行估計(jì)。該導(dǎo)航方式的特色在于：僅依賴星間相對(duì)測(cè)量信息確定星座衛(wèi)星的絕對(duì)位置，在導(dǎo)航解算過程開始之前，目標(biāo)衛(wèi)星和觀察衛(wèi)星的位置均不要求精確已知，二者的概略位置信息滿足目標(biāo)衛(wèi)星進(jìn)入星相機(jī)視場(chǎng)的跟蹤捕獲要求即可。

基于照相觀測(cè)的星座自主導(dǎo)航精度在很大程度上取決于在地心慣性系中目標(biāo)衛(wèi)星視線方向的測(cè)量精度。利用配置了星相機(jī)設(shè)備的觀察衛(wèi)星對(duì)目標(biāo)衛(wèi)星實(shí)施照相觀測(cè)的示意圖如圖2所示。

圖2 目標(biāo)衛(wèi)星和背景恒星的觀測(cè)Fig. 2 Observation of target satellite and background stars

相對(duì)基于近天體和遠(yuǎn)天體觀測(cè)的傳統(tǒng)天文測(cè)角導(dǎo)航方式［19］，星間定向觀測(cè)的主要優(yōu)勢(shì)體現(xiàn)在：通過小視場(chǎng)長(zhǎng)焦距星相機(jī)測(cè)量目標(biāo)衛(wèi)星的視線方向，易于通過優(yōu)化光學(xué)系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)較高精度，從而提升導(dǎo)航系統(tǒng)性能，避免大視場(chǎng)敏感器測(cè)量近天體中心方向時(shí)精度受限的問題。

星相機(jī)的探測(cè)背景是恒星，考慮到恒星在地心慣性坐標(biāo)系中的角位置是固定的，并且其視線方向矢量信息可根據(jù)恒星星表精確得到，采用星相機(jī)照相觀測(cè)的方式同時(shí)對(duì)目標(biāo)衛(wèi)星和背景恒星成像，根據(jù)目標(biāo)衛(wèi)星在星相機(jī)中的成像相對(duì)于背景恒星成像的幾何位置關(guān)系，通過最小二乘法可以直接計(jì)算得到目標(biāo)衛(wèi)星在慣性系中的視線方向矢量。采取基于照相觀測(cè)的目標(biāo)衛(wèi)星定向測(cè)量方式，不必用到觀察衛(wèi)星平臺(tái)的姿態(tài)確定信息，可以避免目標(biāo)衛(wèi)星視線方向測(cè)量精度受觀察衛(wèi)星姿態(tài)確定精度的影響，有助于減少潛在的誤差源，實(shí)現(xiàn)目標(biāo)衛(wèi)星視線方向的高精度測(cè)量。

將用于描述某個(gè)星間視線方向矢量的觀測(cè)方程寫為

根據(jù)觀測(cè)方程式（4）不難看出，觀測(cè)量反映了慣性系中目標(biāo)衛(wèi)星相對(duì)于觀察衛(wèi)星的位置矢量，結(jié)合航天器軌道動(dòng)力學(xué)模型，可用于確定星座衛(wèi)星的絕對(duì)位置矢量rm，k和rn，k。應(yīng)當(dāng)說明，對(duì)于星間距離較遠(yuǎn)的情況，應(yīng)設(shè)法補(bǔ)償觀測(cè)方程中光子傳播時(shí)間的影響［20］。

1.3 衛(wèi)星軌道動(dòng)力學(xué)方程

由3顆地球衛(wèi)星構(gòu)成的星座示意圖如圖3所示。星座衛(wèi)星主要在地球重力場(chǎng)的作用下在軌運(yùn)動(dòng)，在每顆星座衛(wèi)星上配置X射線探測(cè)器和星相機(jī)，對(duì)X射線脈沖星和目標(biāo)衛(wèi)星實(shí)施跟蹤觀測(cè)。為了簡(jiǎn)單起見，以包含3顆衛(wèi)星的星座為例進(jìn)行說明，盡管如此，所述方法可以推廣用于星座中包含多顆衛(wèi)星的情況。

圖3 由3顆衛(wèi)星構(gòu)成的星座Fig. 3 Constellation consisting of three satellites

星座衛(wèi)星的運(yùn)動(dòng)狀態(tài)演化情況通過軌道動(dòng)力學(xué)方程來描述，其形式為

式中：vm，k為第m顆星座衛(wèi)星的速度矢量；μE為地球引力常數(shù)；函數(shù)p(rm，k)為除地球質(zhì)心引力以外，星座衛(wèi)星受到的其他攝動(dòng)加速度的影響，如對(duì)于中高軌衛(wèi)星通常包括地球非球形引力攝動(dòng)、太陽(yáng)光壓和日/月引力攝動(dòng)等；τ為一步狀態(tài)預(yù)測(cè)的時(shí)間步長(zhǎng)。系統(tǒng)噪聲wm，k用于描述狀態(tài)方程與實(shí)際系統(tǒng)之間的差異，假設(shè)其均值為0、方差陣為Qm，k。

2 擴(kuò)維擴(kuò)展卡爾曼濾波器

2.1 狀態(tài)擴(kuò)維

對(duì)于X射線脈沖星/星間定向觀測(cè)組合導(dǎo)航，常規(guī)的處理方式是根據(jù)式（6）建立狀態(tài)方程，根據(jù)式（1）和式（4）建立觀測(cè)方程，設(shè)計(jì)EKF算法，對(duì)觀測(cè)量進(jìn)行處理，獲得星座衛(wèi)星位置矢量和速度矢量的估計(jì)值。但是，在脈沖星導(dǎo)航觀測(cè)方程中，不僅包含隨機(jī)誤差，還包含地球星歷誤差造成的系統(tǒng)偏差。與隨機(jī)誤差相比，系統(tǒng)偏差對(duì)星座衛(wèi)星導(dǎo)航性能的影響要大得多。原因在于，隨機(jī)誤差的影響可視為高斯白噪聲，通過EKF在最大程度上予以削弱；而系統(tǒng)偏差如果不能在模型中有效地體現(xiàn)出來，將呈現(xiàn)為觀測(cè)方程的不確定性，其影響不能直接通過EKF消除，會(huì)導(dǎo)致濾波器的狀態(tài)估計(jì)值偏離真實(shí)狀態(tài)，使得導(dǎo)航系統(tǒng)性能下降。如何減小系統(tǒng)偏差的影響是實(shí)現(xiàn)高精度自主導(dǎo)航的關(guān)鍵。

系統(tǒng)偏差在軌校準(zhǔn)是提高星座導(dǎo)航精度的重要手段。事實(shí)上，通過優(yōu)化導(dǎo)航濾波器的設(shè)計(jì)，不僅能夠削弱敏感器隨機(jī)誤差的影響，而且能夠?qū)Σ糠窒到y(tǒng)偏差進(jìn)行校準(zhǔn)。為了實(shí)現(xiàn)這一目的，需要對(duì)系統(tǒng)偏差進(jìn)行建模，基本原則是要求模型盡可能精確地反映系統(tǒng)偏差的變化規(guī)律，典型做法是將系統(tǒng)偏差描述為若干模型參數(shù)的函數(shù)形式；進(jìn)而，將模型參數(shù)擴(kuò)充為狀態(tài)向量，設(shè)計(jì)擴(kuò)維EKF，利用敏感器觀測(cè)量對(duì)模型參數(shù)進(jìn)行實(shí)時(shí)估計(jì)，并根據(jù)模型參數(shù)的估計(jì)值實(shí)現(xiàn)系統(tǒng)偏差校準(zhǔn)，從而削弱系統(tǒng)偏差對(duì)導(dǎo)航精度的影響。

在航天器自主導(dǎo)航研究領(lǐng)域，濾波器的狀態(tài)擴(kuò)維是處理系統(tǒng)偏差最常用的手段之一。盡管如此，擴(kuò)維EKF的引入也帶來了一些新的問題：首先，將地球的位置和速度矢量擴(kuò)充為狀態(tài)進(jìn)行估計(jì)，為了保障擴(kuò)維EKF的性能，要求擴(kuò)維后的系統(tǒng)具有較高的可觀度；如果擴(kuò)維后的系統(tǒng)不可觀，那么，狀態(tài)估計(jì)結(jié)果將是不可信的。對(duì)擴(kuò)維后的系統(tǒng)進(jìn)行可觀度分析，是自主導(dǎo)航系統(tǒng)方案設(shè)計(jì)的重要環(huán)節(jié)。為此，通過計(jì)算CRLB對(duì)受地球星歷誤差影響的星座自主導(dǎo)航系統(tǒng)的可觀度進(jìn)行分析。其次，在用于描述系統(tǒng)偏差的模型參數(shù)被擴(kuò)充為狀態(tài)向量后，如何確定擴(kuò)維后系統(tǒng)的系統(tǒng)噪聲方差陣，這是濾波器設(shè)計(jì)過程中需要解決的問題。對(duì)于工程技術(shù)人員而言，濾波器參數(shù)整定往往是一項(xiàng)耗時(shí)費(fèi)力的工作，且通過地面仿真和試湊得到的濾波器參數(shù)不一定適用于在軌應(yīng)用的情況。對(duì)于這一問題的解決策略，將在第3節(jié)進(jìn)行探討。

擴(kuò)維EKF的狀態(tài)向量由參與導(dǎo)航的3顆星座 衛(wèi) 星 的 位 置r1，k、r2，k、r3，k，速 度 矢 量v1，k、v2，k、v3，k以及地球的位置rE，k和速度矢量vE，k構(gòu)成：

地球的運(yùn)動(dòng)狀態(tài)演化規(guī)律通過相應(yīng)的軌道動(dòng)力學(xué)方程來描述。為了便于導(dǎo)航濾波器的設(shè)計(jì)，將擴(kuò)維后系統(tǒng)的狀態(tài)方程寫為離散時(shí)間非線性隨機(jī)系統(tǒng)模型的形式：

式中：

其中：pE(rE，k)為除太陽(yáng)引力外，太陽(yáng)系中木星等其他天體攝動(dòng)加速度的影響；wk為系統(tǒng)噪聲，式（8）中未建模誤差項(xiàng)的影響，假設(shè)其方差陣為Qk。參照式（1）和式（4），易得到組合導(dǎo)航系統(tǒng)觀測(cè)方程的標(biāo)準(zhǔn)形式：

式中：yk為X射線脈沖星和星間定向觀測(cè)量；h(xk)為相應(yīng)的測(cè)量函數(shù)；νk為測(cè)量噪聲，假設(shè)其方差陣為Rk。

2.2 CRLB分析方法

針對(duì)星座自主導(dǎo)航中擴(kuò)維系統(tǒng)性能分析問題，說明CRLB的計(jì)算方法。CRLB是根據(jù)給定的隨機(jī)系統(tǒng)模型、狀態(tài)向量先驗(yàn)信息及噪聲統(tǒng)計(jì)特性計(jì)算得到的實(shí)際狀態(tài)估計(jì)誤差方差陣下界的理論值。該取值反映了一個(gè)導(dǎo)航系統(tǒng)的本質(zhì)屬性，可以用于衡量系統(tǒng)可觀度的大小。通過計(jì)算CRLB，能夠針對(duì)所研究的導(dǎo)航系統(tǒng)，給出理想情況下的狀態(tài)估計(jì)精度極限，從而為導(dǎo)航方案選擇提供參考依據(jù)［21-22］。如果狀態(tài)向量中的某些元素對(duì)應(yīng)的CRLB不收斂，則說明導(dǎo)航系統(tǒng)自身設(shè)計(jì)存在缺陷，該問題不能通過優(yōu)化濾波器自身的設(shè)計(jì)得到解決，而應(yīng)當(dāng)考慮改進(jìn)系統(tǒng)模型、減少狀態(tài)變量或引入新的測(cè)量信息。

相對(duì)于傳統(tǒng)的系統(tǒng)可觀性分析方法［23］而言，基于CRLB的導(dǎo)航系統(tǒng)性能分析方法的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：首先，CRLB計(jì)算是針對(duì)狀態(tài)向量中的各個(gè)元素進(jìn)行的，利用CRLB能夠辨別出系統(tǒng)中哪些狀態(tài)能夠得到準(zhǔn)確估計(jì)，哪些狀態(tài)的估計(jì)不收斂；所取得的結(jié)論可以用于導(dǎo)航系統(tǒng)模型或敏感器配置的改進(jìn)。其次，借助CRLB不僅能夠?qū)€性系統(tǒng)的性能進(jìn)行分析，還能方便地對(duì)非線性系統(tǒng)的性能進(jìn)行分析。再次，通過CRLB計(jì)算得到的是定量結(jié)果，即給出狀態(tài)估計(jì)器的潛在精度水平。

對(duì)于如式（8）和式（10）所示的隨機(jī)系統(tǒng)，根據(jù)觀測(cè)序列{yk，k=1，2，…}對(duì)狀態(tài)向量xk進(jìn)行估計(jì)，得到狀態(tài)向量估計(jì)值，那么狀態(tài)向量估計(jì)誤差=?xk的CRLB的簡(jiǎn)便計(jì)算方法為

式中：Jk為信息矩陣。信息矩陣可根據(jù)式（12）進(jìn)行遞推計(jì)算：

信息矩陣的初始值J0可根據(jù)有關(guān)估計(jì)誤差統(tǒng)計(jì)特性的先驗(yàn)知識(shí)確定，如令J0=P?10，其中，P0為初始估計(jì)誤差方差陣。在第4節(jié)給出了對(duì)擴(kuò)維后系統(tǒng)的狀態(tài)估計(jì)理論精度進(jìn)行CRLB分析的結(jié)果。

2.3 導(dǎo)航解算流程

對(duì)于X射線脈沖星/星間定向觀測(cè)組合導(dǎo)航系統(tǒng)，根據(jù)如式（8）所示的狀態(tài)方程及如式（1）和式（4）所示的觀測(cè)方程，設(shè)計(jì)得到的擴(kuò)維EKF算法流程如圖4所示，其中，為狀態(tài)向量的預(yù)測(cè)值；Pk為估計(jì)誤差方差陣；Pk|k?1為預(yù)測(cè)誤差方差陣；為脈沖星測(cè)量噪聲方差；為脈沖星測(cè)量 新息；為星間 定向測(cè)量 新 息；KX，k和KL，k分別為X射線探測(cè)器和星間定向觀測(cè)的卡爾曼增益。和為狀態(tài)方程和觀測(cè)方程的雅可比矩陣。

圖4 基于擴(kuò)維EKF的組合導(dǎo)航算法框圖Fig. 4 Diagram of integrated navigation algorithm based on augmented EKF

在導(dǎo)航濾波器的一個(gè)遞推計(jì)算周期內(nèi)，如果X射線探測(cè)器或星間定向測(cè)量設(shè)備的輸出信息可用，則利用其對(duì)狀態(tài)向量進(jìn)行修正；如果二者皆不可用，則僅對(duì)狀態(tài)向量進(jìn)行預(yù)測(cè)。預(yù)測(cè)和更新的過程反復(fù)迭代進(jìn)行，實(shí)現(xiàn)對(duì)星座衛(wèi)星運(yùn)動(dòng)狀態(tài)的實(shí)時(shí)估計(jì)。上述處理方式的優(yōu)勢(shì)是設(shè)計(jì)簡(jiǎn)單、應(yīng)用方便。

3 Q學(xué)習(xí)擴(kuò)展卡爾曼濾波器

3.1 設(shè)計(jì)思路

如何在有效削弱模型不確定性影響的同時(shí)，盡可能控制濾波器的復(fù)雜程度，是從事導(dǎo)航系統(tǒng)研究的工程技術(shù)人員經(jīng)常遇到的問題。強(qiáng)化學(xué)習(xí)理論方法和應(yīng)用技術(shù)的進(jìn)步，為導(dǎo)航濾波器的優(yōu)化設(shè)計(jì)提供了新的解決方案。作為強(qiáng)化學(xué)習(xí)中得到廣泛應(yīng)用的方法之一，Q學(xué)習(xí)的基本思路是通過智能體（Agent）在未知環(huán)境中通過反復(fù)迭代的試錯(cuò)（Trial and Error）過程不斷積累經(jīng)驗(yàn)，逐漸使得累積獎(jiǎng)賞（以數(shù)表或其他形式的Q函數(shù)來表述）最大化，最終掌握一種選擇動(dòng)作的最優(yōu)策略［24-26］。Q學(xué)習(xí)方法在環(huán)境探索和問題決策等方面具有優(yōu)勢(shì)，在隨機(jī)系統(tǒng)狀態(tài)估計(jì)領(lǐng)域，結(jié)合卡爾曼濾波器的估計(jì)能力和Q學(xué)習(xí)方法的決策能力，有助于提升濾波器對(duì)不確定模型的適應(yīng)性［27］。將Q學(xué)習(xí)用于導(dǎo)航濾波器的設(shè)計(jì)，使得濾波器可以通過自身與環(huán)境的交互，自適應(yīng)地選取合理的濾波器參數(shù)，在實(shí)際應(yīng)用過程中逐漸改善狀態(tài)估計(jì)精度，從而增強(qiáng)導(dǎo)航系統(tǒng)的任務(wù)能力。

探討Q學(xué)習(xí)方法在導(dǎo)航濾波器設(shè)計(jì)中的應(yīng)用，主要考慮系統(tǒng)噪聲的統(tǒng)計(jì)特性存在不確定性的非線性系統(tǒng)，設(shè)計(jì)了一種Q學(xué)習(xí)擴(kuò)展卡爾曼濾波器，特色是將Q學(xué)習(xí)方法用于EKF參數(shù)整定。為了突出重點(diǎn)，以如式（8）和式（10）所示的系統(tǒng)模型為例進(jìn)行算法編排。進(jìn)而，在第4節(jié)以基于X射線脈沖星和星間定向觀測(cè)的星座自主導(dǎo)航系統(tǒng)為例，展示了QLEKF所能產(chǎn)生的有益效果。

為了清楚起見，將QLEKF的主要思路歸納如圖5所示，其中，和為基準(zhǔn)濾波器的狀態(tài)估計(jì)值及其誤差方差陣；為根據(jù)Q函數(shù)采取ε貪心策略選擇的噪聲方差陣；和分別為搜索濾波器和基準(zhǔn)濾波器的測(cè)量新息。

圖5 Q學(xué)習(xí)擴(kuò)展卡爾曼濾波器結(jié)構(gòu)Fig.5 Structure of Q-learning extended Kalman filter

QLEKF采取基準(zhǔn)濾波器、搜索濾波器和狀態(tài)估計(jì)器并行計(jì)算的結(jié)構(gòu)形式?；鶞?zhǔn)濾波器、搜索濾波器和狀態(tài)估計(jì)器均采取EKF的濾波方程，在真實(shí)系統(tǒng)噪聲方差陣Qk未知的情況下，在基準(zhǔn)濾波器中，利用系統(tǒng)噪聲方差陣標(biāo)稱值Qˉk進(jìn)行濾波解算；在搜索濾波器中，根據(jù)智能體當(dāng)前獲得的累積獎(jiǎng)賞（Q函數(shù)），通過查表的方式，在根據(jù)先驗(yàn)知識(shí)建立的模型集中選擇作為濾波器的系統(tǒng)噪聲方差陣；狀態(tài)估計(jì)器中的系統(tǒng)噪聲方差陣也通過Q學(xué)習(xí)得到。狀態(tài)估計(jì)器與搜索濾波器的不同之處在于：搜索濾波器的狀態(tài)估計(jì)值及其誤差方差陣每隔一個(gè)固定迭代次數(shù)T，以基準(zhǔn)濾波器為準(zhǔn)進(jìn)行重置，而在狀態(tài)估計(jì)器中不進(jìn)行狀態(tài)估計(jì)值及其誤差方差陣的重置。在Q學(xué)習(xí)中，通過搜索濾波器和基準(zhǔn)濾波器測(cè)量新息的比對(duì)構(gòu)造獎(jiǎng)賞。測(cè)量新息的幅度可視為濾波器性能優(yōu)劣程度的征兆。通常濾波器的測(cè)量新息較小意味著潛在的狀態(tài)估計(jì)精度較高；相反，濾波器的測(cè)量新息較大意味著潛在的狀態(tài)估計(jì)精度較低。隨著遞推計(jì)算過程的進(jìn)行，智能體將趨向于選擇能夠帶來較大累積獎(jiǎng)賞的系統(tǒng)噪聲方差陣，根據(jù)所設(shè)計(jì)的獎(jiǎng)賞，預(yù)期智能體選擇的系統(tǒng)噪聲方差陣有助于提升狀態(tài)估計(jì)精度。

3.2 算法編排

基于3.1節(jié)描述，給出QLEKF的遞推計(jì)算流程，如圖6所示，其中和為搜索濾波器的狀態(tài)估計(jì)值及其誤差方差陣；Q(s，a)為智能體的狀態(tài)s和動(dòng)作a的Q函數(shù)，可寫為數(shù)表的形式，其中，s對(duì)應(yīng)不同的系統(tǒng)噪聲方差陣，a對(duì)應(yīng)在數(shù)表中探索的動(dòng)作；S和A分別為狀態(tài)集和動(dòng)作集；R(s，a)為獎(jiǎng)賞；函數(shù)ε-greedy為選擇動(dòng)作的ε貪心策略，即以ε的概率在動(dòng)作集A中隨機(jī)選擇動(dòng)作，以1?ε的概率選擇對(duì)應(yīng)Q函數(shù)最大的動(dòng)作，ε∈(0，1)為事先設(shè)定的隨機(jī)動(dòng)作選擇概率；為狀態(tài)估計(jì)器的測(cè)量新息。函數(shù)EKF表示擴(kuò)展卡爾曼濾波器的遞推計(jì)算公式，其形式可參照?qǐng)D4。在Q函數(shù)的遞推計(jì)算公式中，α為學(xué)習(xí)速率，0≤α<1；γ為折扣因子，0<γ≤1；ε、α和γ均 為 可 調(diào) 參 數(shù)；maxa′Q(s′，a′)為 在 狀 態(tài)為s′的情況下，對(duì)于任意動(dòng)作a′∈A，數(shù)表中Q函數(shù)的最大值；最終的估計(jì)結(jié)果為狀態(tài)估計(jì)器的輸出和{Pk}。

圖6 Q學(xué)習(xí)擴(kuò)展卡爾曼濾波器算法框圖Fig. 6 Diagram of Q-learning extended Kalman filter?ing algorithm

4 仿真分析

4.1 仿真條件

針對(duì)X射線脈沖星/星間定向觀測(cè)組合導(dǎo)航系統(tǒng)，通過數(shù)學(xué)仿真說明所設(shè)計(jì)的擴(kuò)維EKF和QLEKF的有效性。在仿真過程中，假設(shè)3顆星座衛(wèi)星的初始軌道參數(shù)如表1所示。

表1 星座衛(wèi)星初始軌道參數(shù)Table 1 Initial orbital elements of satellites in constellation

假設(shè)在每顆星座衛(wèi)星上安裝1臺(tái)有效面積為1 m2的X射線探測(cè)器，分別對(duì)3顆脈沖星B0531+21、B1821-24和B1937+21進(jìn)行指向觀測(cè)，觀測(cè)時(shí)間為1000 s。脈沖到達(dá)時(shí)間觀測(cè)量的測(cè)量噪聲標(biāo)準(zhǔn)差根據(jù)文獻(xiàn)［28］中的經(jīng)驗(yàn)公式和脈沖星輻射特性計(jì)算得到，星間定向觀測(cè)噪聲標(biāo)準(zhǔn)差∈[10 m，500 m]?；痉抡嬖O(shè)置如表2所示，表中σr和σv分別為位置矢量和速度矢量的系統(tǒng)噪聲標(biāo)準(zhǔn)差；pr和pv分別為位置矢量和速度矢量的初始估計(jì)誤差標(biāo)準(zhǔn)差。

表2 星座自主導(dǎo)航仿真設(shè)置Table 2 Simulation configuration for constellation au?tonomous navigation

4.2 仿真結(jié)果

首先，通過計(jì)算CRLB對(duì)擴(kuò)維系統(tǒng)進(jìn)行可觀度分析。對(duì)于X射線探測(cè)器有效面積A分別為4、1、0.25 m2及星間定向觀測(cè)噪聲標(biāo)準(zhǔn)差σ分別為10、100、500 m的情況，對(duì)應(yīng)地球3軸位置誤差的CRLB中各元素的平方根曲線如圖7所示，圖中rx、ry和rz為位置矢量的3個(gè)分量。從圖7中易于看出，對(duì)于給定的仿真場(chǎng)景，當(dāng)探測(cè)器有效面積和星間定向測(cè)量精度在一定范圍內(nèi)變化時(shí)，通過CRLB計(jì)算得到的理論上的估計(jì)誤差曲線是收斂的，這說明組合導(dǎo)航方案在擴(kuò)維系統(tǒng)設(shè)計(jì)層面是有效的。

圖7 地球位置估計(jì)誤差的CRLBFig.7 CRLB for position estimate error of Earth

其次，分析基于擴(kuò)維EKF的地球星歷誤差校準(zhǔn)對(duì)星座衛(wèi)星位置估計(jì)精度的影響。地球星歷誤差校準(zhǔn)前后，星座中某顆衛(wèi)星的3軸位置估計(jì)誤差曲線及其3σ誤差界如圖8所示。通過仿真結(jié)果可以看出，存在地球星歷誤差的情況下，通過擴(kuò)維EKF進(jìn)行校準(zhǔn)后，相對(duì)于不進(jìn)行地球星歷誤差校準(zhǔn)的情況，星座衛(wèi)星位置估計(jì)精度顯著提升。并且，經(jīng)過校準(zhǔn)，位置估計(jì)誤差曲線在濾波器估計(jì)誤差方差陣規(guī)定的范圍內(nèi)波動(dòng)，這體現(xiàn)了導(dǎo)航濾波器設(shè)計(jì)的合理性。

圖8 星座衛(wèi)星位置估計(jì)誤差曲線 Fig.8 Position estimate error curves of satellite in constellation

為了進(jìn)一步說明擴(kuò)維EKF的有效性，通過蒙特卡洛仿真，將其與魯棒擴(kuò)展卡爾曼濾波器（REKF）進(jìn)行了對(duì)比研究。利用擴(kuò)維前EKF、擴(kuò)維EKF和REKF得到的星座中2顆衛(wèi)星的位置估計(jì)均方根（RMS）誤差曲線如圖9所示，第3顆衛(wèi)星的估計(jì)結(jié)果與之類似。

圖9 擴(kuò)維前EKF、REKF和擴(kuò)維EKF的位置估計(jì)均方根誤差Fig. 9 Position estimate RMS errors obtained from preaugmented EKF， AEKF and augmented EKF

在擴(kuò)維系統(tǒng)可觀度滿足要求的情況下，通過擴(kuò)維EKF能夠?qū)崿F(xiàn)對(duì)模型參數(shù)的有效估計(jì)，星座衛(wèi)星位置估計(jì)精度優(yōu)于REKF。通過Q學(xué)習(xí)方法優(yōu)化濾波器參數(shù)的設(shè)計(jì)，還能夠進(jìn)一步提升導(dǎo)航系統(tǒng)性能。

為了說明QLEKF的有效性，將其與擴(kuò)維EKF及常用的自適應(yīng)擴(kuò)展卡爾曼濾波器（AEKF）［29］和多模型自適應(yīng)估計(jì)（MMAE）［30］算法進(jìn)行了對(duì)比研究。通過擴(kuò)維EKF、AEKF、MMAE和QLEKF得到的星座衛(wèi)星位置估計(jì)均方根誤差曲線如圖10所示。

圖10 擴(kuò)維EKF、AEKF、MMAE和QLEKF的位置估計(jì)均方根誤差Fig.10 Position estimate RMS errors obtained from augmented EKF， AEKF， MMAE and QLEKF

為了便于對(duì)比，將不同濾波算法位置估計(jì)均方根誤差的平均值歸納如表3所示。仿真結(jié)果表明，在X射線脈沖星/星間定向觀測(cè)組合導(dǎo)航系統(tǒng)中，對(duì)于給定的仿真條件，QLEKF能夠取得優(yōu)于擴(kuò)維前EKF等算法的狀態(tài)估計(jì)精度。值得注意的是，MMAE算法中并行濾波器的數(shù)目隨模型集中模型數(shù)的增加而增長(zhǎng)，而設(shè)計(jì)的QLEKF采取固定3個(gè)并行濾波器的結(jié)構(gòu)形式，避免對(duì)星上計(jì)算機(jī)造成較大負(fù)擔(dān)。

表3 星座衛(wèi)星位置估計(jì)精度Table 3 Position estimation accuracy of satellites in constellation

5 結(jié) 語(yǔ)

對(duì)基于X射線脈沖星和星間定向觀測(cè)的星座衛(wèi)星組合導(dǎo)航方法進(jìn)行了研究。針對(duì)地球星歷誤差影響導(dǎo)航性能的問題，設(shè)計(jì)了一種基于擴(kuò)維擴(kuò)展卡爾曼濾波器的偏差校準(zhǔn)和狀態(tài)估計(jì)算法。進(jìn)而，設(shè)計(jì)了面向?yàn)V波器參數(shù)整定的Q學(xué)習(xí)擴(kuò)展卡爾曼濾波器，其特色是根據(jù)測(cè)量新息構(gòu)造獎(jiǎng)賞，在應(yīng)用環(huán)境中逐漸實(shí)現(xiàn)濾波器參數(shù)優(yōu)化。仿真研究表明，綜合應(yīng)用所設(shè)計(jì)的擴(kuò)維EKF和QLEKF算法有助于提升星座衛(wèi)星位置估計(jì)精度。在下一步工作中，將繼續(xù)研究Q學(xué)習(xí)方法中狀態(tài)集、動(dòng)作集、獎(jiǎng)賞和Q函數(shù)的優(yōu)化設(shè)計(jì)方法，同時(shí)，研究基于自然時(shí)空基準(zhǔn)的星座原子鐘組整體頻率漂移校準(zhǔn)方法，保障星座系統(tǒng)的長(zhǎng)期自主運(yùn)行能力。