鄭為民，張 娟，徐志駿，劉 磊，童 力，張秀忠

（1.中國科學(xué)院 上海天文臺，上海 200030；2.中國科學(xué)院 射電天文重點(diǎn)實(shí)驗(yàn)室，南京 210008；3.上海市導(dǎo)航定位重點(diǎn)實(shí)驗(yàn)室，上海 200030）

引 言

甚長基線干涉測量（Very Long Baseline Interferometry，VLBI）是目前分辨率最高的天文觀測技術(shù)，已達(dá)到亞毫角秒量級測量精度。實(shí)時(shí)VLBI技術(shù)應(yīng)用于探月工程中[1-6]，圓滿完成了歷次月球探測器的高精度定軌和定位。實(shí)時(shí)相關(guān)處理機(jī)在其中發(fā)揮了重要作用[7-9]。相關(guān)處理機(jī)系統(tǒng)是VLBI核心設(shè)備，其功能與光學(xué)系統(tǒng)中的成像透鏡類似，獲取射電望遠(yuǎn)鏡陣列的可見度函數(shù)，具有數(shù)據(jù)及計(jì)算密集的特點(diǎn)。

VLBI相關(guān)處理機(jī)從應(yīng)用范圍上可分為天文、測地與深空探測3類，它們有各自的技術(shù)特點(diǎn)。面向天文和測地應(yīng)用的相關(guān)處理機(jī)主要追求寬帶高速信號處理，根據(jù)需要還設(shè)有脈沖星、空間VLBI以及多相位中心等特殊功能。用于深空探測VLBI處理機(jī)帶寬相對較窄，觀測模式特殊，可靠性要求高，有時(shí)還追求較高實(shí)時(shí)性。

VLBI相關(guān)處理機(jī)從實(shí)現(xiàn)方式上可分軟件處理機(jī)和硬件處理機(jī)。其中軟件處理機(jī)以專用信號處理軟件運(yùn)行于通用高性能計(jì)算平臺的方式實(shí)現(xiàn)；硬件處理機(jī)以專用集成電路（Application Specific Integrated Circuit，ASIC）或現(xiàn)場可編程邏輯陣列（Field-Programmable Gate Array，F(xiàn)PGA）等為平臺。為確?？煽啃?，在探月工程初期，開展了軟、硬件處理機(jī)雙備份的方案。

美國國家航空航天局（National Aeronautics Space Administration，NASA）下的噴氣推進(jìn)實(shí)驗(yàn)室（Jet Propulsion Laboratory，JPL）的JVC（JPL VLBI Correlator）處理機(jī)和歐洲航天局（European Space Agency，ESA）的基于ΔDOR技術(shù)的相關(guān)處理機(jī)[8]，已經(jīng)應(yīng)用于多個(gè)行星探測器的常規(guī)工程測定軌。JPL專用深空VLBI網(wǎng)，利用窄帶觀測，可準(zhǔn)實(shí)時(shí)傳輸觀測數(shù)據(jù)，速率為500 kbit/s。根據(jù)美國國際武器貿(mào)易條例限制，JVC處理機(jī)不對外輸出，ESA也無法獲得。ESA也發(fā)展了自己的航天專用VLBI處理機(jī)，DiFX、SFXC、K5/VSSP等其它處理機(jī)的某些版本也參與過航天器VLBI觀測的處理，但未正式參與航天工程任務(wù)。目前，國際上同時(shí)開展VLBI軟件與硬件處理機(jī)研制的機(jī)構(gòu)有：荷蘭JIVE、韓國KASI和上海天文臺。

在探月工程中，VLBI站接收到的探測器的原始數(shù)據(jù)經(jīng)過相關(guān)處理后，數(shù)據(jù)量得到極大壓縮，然后進(jìn)行條紋擬合、儀器時(shí)延、大氣時(shí)延、電離層、鐘差鐘速等修正，最終得到關(guān)于探測器的時(shí)延觀測量，從而求得探測器高精度的角位置信息[9]。本文主要介紹了自主研發(fā)的VLBI相關(guān)處理機(jī)軟件和硬件的關(guān)鍵創(chuàng)新技術(shù)。

1 中國VLBI網(wǎng)相關(guān)處理機(jī)

探月工程中的VLBI相關(guān)處理機(jī)的結(jié)構(gòu)采用FX型，即先將一條基線兩端的測站數(shù)據(jù)從時(shí)域信號進(jìn)行傅里葉變換，再做交叉相乘。在進(jìn)行數(shù)據(jù)處理時(shí)需要高精度的時(shí)延模型，但射電信號從觀測源到VLBI站的過程中，將受到傳播路徑上的引力、傳播介質(zhì)及潮汐項(xiàng)、板塊運(yùn)動等對測站位置的影響等。為實(shí)現(xiàn)高精度時(shí)延模型計(jì)算，須對這些因素進(jìn)行復(fù)雜的修正，經(jīng)修正后相關(guān)處理機(jī)的理論幾何時(shí)延模型精度可達(dá)50 ps。

測站的兩路信號進(jìn)入相關(guān)處理機(jī)后，首先按頻率通道進(jìn)行解碼；然后根據(jù)預(yù)先計(jì)算的時(shí)延模型進(jìn)行整數(shù)比特時(shí)延補(bǔ)償；經(jīng)過條紋旋轉(zhuǎn)及快速傅里葉變換后，信號從時(shí)域變換至頻域，并完成分?jǐn)?shù)比特時(shí)延補(bǔ)償；最終兩路信號進(jìn)行共軛相乘及累加積分，得到目標(biāo)源的可見度函數(shù)[8]。經(jīng)過條紋旋轉(zhuǎn)后，原有實(shí)數(shù)整數(shù)1～2 bit數(shù)據(jù)會變成128位復(fù)數(shù)浮點(diǎn)，這是FX型處理機(jī)特有的內(nèi)部數(shù)據(jù)膨脹過程，數(shù)據(jù)膨脹率為64或128倍。對于512 Mpbs的2 bit原始輸入數(shù)據(jù)率，經(jīng)過條紋旋轉(zhuǎn)后，在處理機(jī)內(nèi)部最高可達(dá)32 Gbps。后續(xù)操作具有典型的計(jì)算和數(shù)據(jù)密集型特點(diǎn)，計(jì)算量主要集中在幾個(gè)部分：條紋旋轉(zhuǎn)、復(fù)數(shù)快速傅里葉變換、小數(shù)比特時(shí)延補(bǔ)償及相乘累加（Multiply ACcumulate，MAC）。相關(guān)處理機(jī)的計(jì)算量與參與觀測的臺站數(shù)及采樣率有關(guān)[17]，以“嫦娥4號”任務(wù)為例，通道帶寬為4 M，8個(gè)通道，2 bit量化，4個(gè)臺站參與觀測，總輸入數(shù)據(jù)率為4 × 128 Mbps =512 Mpbs，理論持續(xù)計(jì)算量約為284 Gflops。

VLBI分系統(tǒng)數(shù)據(jù)處理中心（簡稱VLBI中心）現(xiàn)有的軟件相關(guān)處理機(jī)是一套運(yùn)行于計(jì)算機(jī)集群，具備實(shí)時(shí)相關(guān)處理功能的專用并行高速處理軟件，硬件處理機(jī)是基于FPGA器件的專用高速信號處理機(jī)。軟件處理機(jī)速度依賴于商用硬件平臺的計(jì)算、存儲與網(wǎng)絡(luò)性能，目前的CPU（i7 975 EE）的單個(gè)核峰值速度為53.28 Gflops，且數(shù)值計(jì)算很難達(dá)到峰值速度，若采用傳統(tǒng)串行程序無法滿足工程任務(wù)海量高速數(shù)據(jù)的實(shí)時(shí)性處理需求，須采用并行技術(shù)。

探月軟件處理機(jī)采用MPI + OpenMPI相結(jié)合的并行模式，核心計(jì)算模塊利用IPP庫進(jìn)行優(yōu)化，實(shí)現(xiàn)對探測器、河外射電源VLBI觀測數(shù)據(jù)的相關(guān)處理能力。其中，根據(jù)探測器信號進(jìn)行盲搜索的條紋搜索模塊，因其計(jì)算量徒增，采用消息傳遞接口（Message-Passing-Interface，MPI）和通用圖形處理器（Graphics Processing Unit，GPU）加速相結(jié)合的技術(shù)?；赨niboard平臺開發(fā)了硬件處理機(jī)，在探月任務(wù)的變軌、月面下降、起飛等特殊動力段，探測器的運(yùn)動軌跡和預(yù)報(bào)軌道有差異，從而導(dǎo)致實(shí)際的時(shí)延模型和預(yù)報(bào)時(shí)延模型間的誤差，這一誤差有時(shí)較大，造成相關(guān)處理無法完成正確的信號處理，而處理機(jī)運(yùn)行時(shí)，需要根據(jù)比較準(zhǔn)確的預(yù)報(bào)模型進(jìn)行相關(guān)處理。因此，探月工程任務(wù)中的VLBI相關(guān)處理機(jī)具備自動條紋搜索的功能。該功能當(dāng)預(yù)報(bào)模型精度不夠時(shí)，能夠自動對原始信號進(jìn)行條紋搜索，現(xiàn)場實(shí)時(shí)自動構(gòu)造高精度時(shí)延模型引導(dǎo)處理機(jī)完成處理，這是探月工程任務(wù)中VLBI軟件相關(guān)處理機(jī)的獨(dú)創(chuàng)。

2 VLBI網(wǎng)軟件處理機(jī)

軟件處理機(jī)內(nèi)部采用模塊化實(shí)現(xiàn)，其結(jié)構(gòu)框圖如圖1所示，預(yù)處理功能模塊將多種格式的原始觀測數(shù)據(jù)處理成統(tǒng)一格式數(shù)據(jù)流供相關(guān)處理、條紋搜索與模型重構(gòu)、相位校正信號提取模塊使用。條紋搜索與模型重構(gòu)功能通過外部文件的形式完成高精度時(shí)延模型文件的信息傳遞，預(yù)處理、相位校正信號提取功能可參見文獻(xiàn)[18～19]。

圖1 軟件處理機(jī)內(nèi)部結(jié)構(gòu)框圖Fig.1 Structure of software correlator

2.1 相關(guān)處理功能

在探月工程中，系統(tǒng)采用實(shí)時(shí)e-VLBI技術(shù)將數(shù)據(jù)從觀測站傳至VLBI中心，相關(guān)處理機(jī)接收數(shù)據(jù)后進(jìn)行實(shí)時(shí)處理后，內(nèi)部各模塊按流水線模式進(jìn)行，從數(shù)據(jù)達(dá)到相關(guān)處理機(jī)至輸出結(jié)果，目前整個(gè)過程耗時(shí)可小于25 s。處理機(jī)采用FX型處理機(jī)流程，并行計(jì)算的方法進(jìn)行加速處理，核心計(jì)算部分調(diào)用IPP庫函數(shù)進(jìn)行優(yōu)化。為應(yīng)對高速數(shù)據(jù)，處理機(jī)采用了數(shù)據(jù)驅(qū)動的方式，將原始數(shù)據(jù)劃分為若干短周期的數(shù)據(jù)段，并將其分配到不同的計(jì)算單元，最終以并行計(jì)算的方式完成所有信號處理。

在相關(guān)處理過程中，按照時(shí)間軸處理數(shù)據(jù)流，存在4個(gè)時(shí)間周期，從長到短依次為：Scan周期、積分周期、模型周期、FFT周期。4種周期時(shí)間長度可根據(jù)任務(wù)要求設(shè)定，一個(gè)Scan周期包含若干個(gè)積分周期，積分周期是計(jì)算信號功率譜的積分時(shí)間，一個(gè)積分周期包含若干個(gè)模型周期，模型周期包含若干個(gè)FFT周期。并行方案中選用模型周期作為任務(wù)劃分的最小單位，模型周期是處理機(jī)時(shí)延模型更新的時(shí)間長度，并行任務(wù)分配方案分為以下兩部分。

1）計(jì)算和IO并行處理

VLBI相關(guān)處理因?yàn)橛?jì)算和數(shù)據(jù)密集，為避免線程多次進(jìn)行掛起、喚醒的循環(huán)操作，提高CPU使用率，專門開辟了專用線程用于IO處理，以期實(shí)現(xiàn)數(shù)據(jù)讀取IO和相關(guān)處理計(jì)算的并行處理，并行處理方式如圖2所示。

圖2 IO與計(jì)算并行處理示意圖Fig.2 Diagram of IO and computing in parallel processing

2）內(nèi)部計(jì)算的并行化

內(nèi)部計(jì)算的并行化以模型周期為節(jié)點(diǎn)間最小任務(wù)粒度，將Scan周期包含的模型周期平均分配到所有計(jì)算節(jié)點(diǎn)。VLBI實(shí)時(shí)任務(wù)階段，臺站觀測數(shù)據(jù)通過網(wǎng)絡(luò)到達(dá)VLBI中心，為確保實(shí)時(shí)性，軟件處理機(jī)實(shí)現(xiàn)時(shí)，設(shè)定結(jié)果收集循環(huán)周期。

假定設(shè)定收集結(jié)果的時(shí)間為m個(gè)積分周期，積分周期為Tintegration，模型周期時(shí)間為Tmodel，每個(gè)線程計(jì)算的連續(xù)模型數(shù)為Tmodel，N個(gè)進(jìn)程，P個(gè)線程參與計(jì)算，則每個(gè)線程分配到的任務(wù)粒度為

2.2 條紋搜索及模型重構(gòu)功能

圖3顯示了采用GPU技術(shù)實(shí)現(xiàn)自動條紋搜索算法流程，原始數(shù)據(jù)解碼之后，進(jìn)行時(shí)延率粗搜、時(shí)延搜索、時(shí)延率精搜，迭代過之后，輸出時(shí)延/時(shí)延率，最后進(jìn)行模型重構(gòu)。虛線方框中的內(nèi)容為算法核心部分，也是計(jì)算最耗時(shí)的部分，使用GPU對其進(jìn)行加速，其中涉及到解碼、快速傅里葉變換、互功率譜、互相關(guān)、希爾伯特變換、數(shù)字濾波、條紋旋轉(zhuǎn)等多個(gè)步驟。

圖3 GPU算法流程圖Fig.3 GPU algorithm flowchart

2.3 運(yùn)行平臺及性能指標(biāo)

目前，探月工程中的VLBI軟件處理機(jī)所有功能模塊均運(yùn)行于一套高性能集群處理系統(tǒng)，如圖4所示，其主要技術(shù)指標(biāo)見表1。

圖4 探月工程軟件處理機(jī)運(yùn)行平臺Fig.4 The platform of software correlator in

該平臺有兩個(gè)管理節(jié)點(diǎn)，54個(gè)計(jì)算節(jié)點(diǎn)。計(jì)算節(jié)點(diǎn)及網(wǎng)絡(luò)配置、存儲的具體情況如下：

1）8個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配2個(gè)CPU：2 × E5-2 695 v4，內(nèi)存為128 GB；

2）網(wǎng)絡(luò)配置：40 Gb Infiniband，10 Gb Ethernet；

3）存儲：采用10 GPFS存儲服務(wù)器，采用并行文件系統(tǒng)GPFS，大小為730 TB。

表1 “嫦娥4號”軟件相關(guān)處理性能指標(biāo)Table 1 Performance index of Chang'E-4 software

3 VLBI網(wǎng)硬件處理機(jī)

中國VLBI網(wǎng)硬件處理機(jī)的技術(shù)創(chuàng)新主要體現(xiàn)在硬件平臺和固件設(shè)計(jì)兩方面。

3.1 硬件平臺

硬件平臺是與歐洲JIVE和荷蘭ASTRON等研究所合作開發(fā)的Uniboard平臺，主要技術(shù)指標(biāo)見表2。該硬件平臺的主要技術(shù)創(chuàng)新在于傳輸數(shù)據(jù)量大，板上8個(gè)FPGA芯片每個(gè)都有4個(gè)10 GbE光纖可以接收或者發(fā)送數(shù)據(jù)，板內(nèi)通訊每個(gè)FPGA芯片也都有約75 Gb的前后芯片互聯(lián)速率，是專門為高速率實(shí)時(shí)相關(guān)處理而研發(fā)的硬件平臺。此外該硬件平臺的每個(gè)FPGA芯片都連接了2塊4 GB DDR3大容量內(nèi)存，可以保障實(shí)時(shí)e-VLBI的網(wǎng)絡(luò)波動的延遲問題，同時(shí)板內(nèi)互聯(lián)也提高了數(shù)據(jù)傳輸?shù)姆€(wěn)定性等，如圖5所示。

表2 “嫦娥4號”硬件相關(guān)處理性能指標(biāo)Table 2 Performance index of Chang'E-4 hardware

圖5 Uniboard硬件相關(guān)處理機(jī)Fig.5 The hardware correlator based on Uniboard

3.2 固件設(shè)計(jì)

圖6為該硬件相關(guān)處理機(jī)系統(tǒng)框圖。臺站實(shí)時(shí)發(fā)送數(shù)據(jù)到數(shù)據(jù)緩存服務(wù)器，處理機(jī)總控軟件通過10 GbE光纖把緩存服務(wù)器上的數(shù)據(jù)回放到Uniboard處理機(jī)，總控軟件會把對應(yīng)的參數(shù)和模型通過1 GbE網(wǎng)絡(luò)發(fā)送到Uniboard處理機(jī)的控制模塊。

圖6 基于Uniboard硬件相關(guān)處理機(jī)系統(tǒng)框圖Fig.6 The diagram of hardware correlator based on Uniboard

在VLBI硬件處理機(jī)結(jié)構(gòu)設(shè)計(jì)中，過去采用芯片間的IO接口發(fā)送小數(shù)比特延遲補(bǔ)償（Fractal Sample Time Correlction，F(xiàn)STC）模塊以后的數(shù)據(jù)。在這種情況下，如果輸入數(shù)據(jù)速率是8 Gbps，F(xiàn)STC模塊后的數(shù)據(jù)量速率為128 Gbps。但是板卡的芯片間IO最大速率僅僅有75 Gbps，會造成系統(tǒng)速度瓶頸。為了解決這一問題，在固件設(shè)計(jì)中，創(chuàng)新性地把IO接口的數(shù)據(jù)前移到回放模塊和整數(shù)比特延遲補(bǔ)償（Integer Sample Time Correction，ISTC）之后，在輸入數(shù)據(jù)8 Gbps的情況下，回放模塊和STC后的數(shù)據(jù)量也為8 Gbps，IO接口的速度瓶頸就會消失，會造成數(shù)據(jù)量膨脹的后續(xù)處理將在FPGA芯片內(nèi)部完成，而輸出數(shù)據(jù)需要經(jīng)過積分以后輸出，系統(tǒng)將不會有速度上的瓶頸。

圖7為硬件相關(guān)處理機(jī)原理框圖，4臺站數(shù)據(jù)先通過10 GbE接口送入FN（前芯片）的VSI模塊中解碼，并進(jìn)行整數(shù)比特延遲補(bǔ)償后，通過芯片間IO接口送入BN（后芯片）。數(shù)據(jù)在后芯片中經(jīng)過條紋旋轉(zhuǎn)、傅里葉變換和小數(shù)比特延遲補(bǔ)償后送入DDR3模塊中緩存。當(dāng)所有臺站數(shù)據(jù)都準(zhǔn)備好，將取出各臺站數(shù)據(jù)進(jìn)行交差相乘來獲得自相關(guān)和互相關(guān)結(jié)果，并在長時(shí)間累加（Long Time Add，LTA）模塊積分后將結(jié)果送到總控服務(wù)器。

圖7 Uniboard硬件相關(guān)處理機(jī)原理框圖Fig.7 The schematic diagram of hardware correlator based on Uniboard

4 處理機(jī)在探月工程任務(wù)中的應(yīng)用

根據(jù)任務(wù)需求，VLBI中心的處理機(jī)系統(tǒng)根據(jù)工程要求不斷提升性能及功能，參加歷次探月任務(wù)觀測數(shù)據(jù)如表3所示。

表3 歷次探月任務(wù)的VLBI觀測數(shù)據(jù)率與實(shí)時(shí)性Table 3 VLBI data rate and real-time performance of previous lunar missions

軟件處理機(jī)靈活性高，能夠快速適應(yīng)特殊的數(shù)據(jù)處理需求，除用于探月工程實(shí)時(shí)與長管任務(wù)外，還應(yīng)用于全部對接試驗(yàn)、硬件處理機(jī)和新型終端性能測試、部分中國VLBI網(wǎng)測地觀測和航天器相位參考等特殊模式觀測數(shù)據(jù)處理，協(xié)助進(jìn)行VLBI新方法、新技術(shù)研究。

圖8展示了軟件處理機(jī)在2013年12月6日“嫦娥3號”探測器變軌期間啟用條紋搜索功能前后的效果對比。探測器變軌期間，使用預(yù)報(bào)時(shí)延模型完全得不到正確條紋，經(jīng)啟用條紋搜索功能后可以得到清晰的條紋。

在CE-3落月后，著陸器與巡視器同時(shí)在月面上工作，處于特殊的VLBI同波束觀測條件，同波束VLBI可以最大限度地消除觀測系統(tǒng)誤差。為實(shí)現(xiàn)探測器的相位參考成圖定位，VLBI軟件相關(guān)處理機(jī)專門生成了FITS-IDI格式，用于成圖定位。圖9為CE-3月面工作段，軟件處理機(jī)利用同波束觀測數(shù)據(jù)，以相位參考模式對巡視器和著陸器相對位置的成圖定位結(jié)果，精度為1 m。這是我國首次進(jìn)行航天器VLBI相位參考高精度定位試驗(yàn)[21]。

圖8 軟件處理機(jī)啟用條紋搜索功能前后效果對比Fig.8 The comparison of the results from the software correlator before and after using fringe search

圖9 采用軟件處理機(jī)用相位參考方式獲取的CE-3巡視器在A、B、C、D、E點(diǎn)處的成圖結(jié)果，巡視器相對位置精度精度在1 mFig.9 The mapping results of the CE-3 Rover at points A，B，C，D and E obtained by the software correlator using phase reference method show that the relative position accuracy of the Rover is about 1 m

5 結(jié) 論

本文主要介紹了VLBI實(shí)時(shí)處理機(jī)，包括軟、硬件處理機(jī)組成主備系統(tǒng)。VLBI中心采用軟件硬件處理機(jī)主備結(jié)合的方式經(jīng)過工程驗(yàn)證，完成了歷次月球探測器測軌數(shù)據(jù)的實(shí)時(shí)與長管相關(guān)處理。在實(shí)時(shí)任務(wù)期間，主要采用軟件處理機(jī)的計(jì)算結(jié)果，常期管理階段部分任務(wù)采用硬件處理機(jī)計(jì)算結(jié)果。條紋搜索功能在變軌等特殊階段，在預(yù)報(bào)時(shí)延模型誤差較大時(shí)，成功引導(dǎo)處理機(jī)完成了數(shù)據(jù)正確處理。

在后續(xù)探月任務(wù)中需要跟蹤2個(gè)以上的動態(tài)目標(biāo)以及空間VLBI的數(shù)據(jù)處理需求，計(jì)算量、復(fù)雜度將大幅上升。為適應(yīng)月球與行星探測需求，相關(guān)處理機(jī)將向著多任務(wù)、子網(wǎng)、微弱信號處理、空間VLBI和多功能化的軟件處理機(jī)方向發(fā)展。