張 萌，張海龍,3，王 杰，李 健，托乎提努爾

(1. 中國(guó)科學(xué)院新疆天文臺(tái)，新疆 烏魯木齊 830011；2. 中國(guó)科學(xué)院大學(xué)，北京 100049；3. 中國(guó)科學(xué)院射電天文重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210008)

采用多波束及相控陣饋源(1)https://www.skatelescope.org/phased-array-feed/(Phased Array Feed, PAF)接收技術(shù)使射電觀測(cè)獲取的天文信號(hào)數(shù)據(jù)量成倍增長(zhǎng)，觀測(cè)數(shù)據(jù)需要實(shí)時(shí)處理來(lái)克服傳輸和存儲(chǔ)速度的瓶頸。應(yīng)用高速寬帶數(shù)字終端[1]進(jìn)行信號(hào)的實(shí)時(shí)處理，可以滿足未來(lái)海量數(shù)據(jù)實(shí)時(shí)處理的需求，當(dāng)前數(shù)字終端系統(tǒng)主要包括對(duì)天文信號(hào)控制和預(yù)處理的可編程硬件平臺(tái)和進(jìn)行控制及復(fù)雜處理的高性能計(jì)算系統(tǒng)。

CASPER[2](Collaboration for Astronomy Signal Processing and Electronics Research)的硬件平臺(tái)因其免費(fèi)、開(kāi)源、可重用，得到許多大型射電望遠(yuǎn)鏡的數(shù)字終端平臺(tái)使用。美國(guó)綠岸望遠(yuǎn)鏡(Green Bank Telescope, GBT)的脈沖星終端系統(tǒng)GUPPI[3](Green Bank Ultimate Pulsar Processing Instrument)、阿雷西博射電望遠(yuǎn)鏡(Arecibo Radio Telescope)使用的脈沖星終端PUPPI(2)https://www.naic.edu/puppi-observing/(The Puerto Rico Ultimate Pulsar Processing Instrument)，以及澳大利亞帕克斯望遠(yuǎn)鏡(Parkes)的CASPSR[4](CASPER Parkes Swinburne Recorder)均采用CASPER早期的硬件系統(tǒng)IBOB[5](Interconnect Break-out Board)和BEE2[6](Berkeley Emulation Engine)。美國(guó)綠岸望遠(yuǎn)鏡的VEGAS(3)http://www.gb.nrao.edu/vegas/report/，德國(guó)埃費(fèi)爾斯貝格(Effelsberg)的PSRIX[7]終端，以及澳大利亞帕克斯的BPSR[8](Berkeley Parkes Swinburne Recorder)采用了第1代ROACH(Reconfigurable Open Architecture Computing Hardware)系統(tǒng)構(gòu)建，利用多臺(tái)ROACH進(jìn)行通道劃分，將來(lái)自IBOB和BEE2平臺(tái)的信號(hào)合并到一個(gè)板中。我國(guó)貴州500米口徑球面射電望遠(yuǎn)鏡(Five-hundred-meter Aperture Spherical Telescope, FAST)[9-10]、上海天馬望遠(yuǎn)鏡(Tianma)(4)http://radio.shao.cas.cn均使用ROACH2(5)https://casper.ssl.berkeley.edu/wiki/ROACH2構(gòu)建終端系統(tǒng)進(jìn)行頻率通道劃分，完成高速數(shù)據(jù)流處理。

為進(jìn)一步研究現(xiàn)有的數(shù)字終端系統(tǒng)，實(shí)現(xiàn)高速天文信號(hào)的實(shí)時(shí)處理，需要構(gòu)建穩(wěn)定的實(shí)驗(yàn)平臺(tái)，為高速天文信號(hào)實(shí)時(shí)處理研究提供良好的實(shí)驗(yàn)環(huán)境，由于CASPER的數(shù)字終端軟硬件平臺(tái)通用性和開(kāi)源性，本文基于CASPER軟硬件實(shí)現(xiàn)了實(shí)驗(yàn)平臺(tái)的搭建，并對(duì)所搭建的實(shí)驗(yàn)環(huán)境進(jìn)行了系統(tǒng)測(cè)試。

1 硬件平臺(tái)

CASPER團(tuán)組研發(fā)設(shè)計(jì)的許多設(shè)備都是基于Xilinx公司的現(xiàn)場(chǎng)可編程門(mén)陣列(Field-Programmable Gate Array, FPGA)[11]芯片，通常典型的CASPER信號(hào)處理平臺(tái)都有一個(gè)或者兩個(gè)模數(shù)轉(zhuǎn)換器(Analog-to-Digital Converter, ADC)與其連接，進(jìn)行信號(hào)采集和少量的預(yù)處理，然后通過(guò)網(wǎng)絡(luò)鏈路將數(shù)據(jù)發(fā)送到其他現(xiàn)場(chǎng)可編程門(mén)陣列板或者中央處理器、圖形處理器，進(jìn)行復(fù)雜的信號(hào)處理。目前可用的CASPER支持的現(xiàn)場(chǎng)可編程門(mén)陣列板有IBOB, ROACH系列和SKARAB, SNAP系列。本文搭建的實(shí)驗(yàn)平臺(tái)選用穩(wěn)定且使用較廣泛的硬件平臺(tái)ROACH2，實(shí)物如圖1。

圖1 ROACH2實(shí)物圖

Fig. 1 The picture of ROACH2

ROACH系列板卡是可重構(gòu)開(kāi)放式計(jì)算機(jī)硬件體系結(jié)構(gòu)，是用于射電天文信號(hào)處理的獨(dú)立可編程平臺(tái)。ROACH2是ROACH系列的最新版本，使用Xilinx Virtex-6(6)https://www.xilinx.com/support/documentation/data_sheets/ds150.pdf系列現(xiàn)場(chǎng)可編程門(mén)陣列，保留了ROACH的優(yōu)點(diǎn)，但在處理能力、輸入/輸出(I/O)吞吐量和內(nèi)存帶寬方面提高了總體性能。它使用與ROACH相同的PowerPC 440EPx，但是增加了用于芯片內(nèi)部測(cè)試的聯(lián)合測(cè)試工作組(7)https://zh.wikipedia.org/wiki/JTAG(Joint Test Action Group, JTAG)接口。

如圖2，從結(jié)構(gòu)上看，ROACH2硬件平臺(tái)主要分成5個(gè)相互獨(dú)立的子系統(tǒng)，包括現(xiàn)場(chǎng)可編程門(mén)陣列子系統(tǒng)、處理器子系統(tǒng)、板卡管理子系統(tǒng)、測(cè)試調(diào)試子系統(tǒng)和信號(hào)存儲(chǔ)子系統(tǒng)。核心部分是Virtex-6系列XC6VSX475T FPGA，用于信號(hào)處理；PowerPC 440EPx獨(dú)立處理器運(yùn)行簡(jiǎn)易Linux系統(tǒng)提供控制功能；4個(gè)36 × 2 M的四倍數(shù)據(jù)倍率(Quad Data Rate 2, QDR2)SRAMs，以及單個(gè)72 bit的DDR3 RDIMM(Registered Dual In-line Memory Module)卡槽連接到現(xiàn)場(chǎng)可編程門(mén)陣列，可用于數(shù)據(jù)計(jì)算與存儲(chǔ)；兩個(gè)ZDOK接口，用于連接模數(shù)轉(zhuǎn)換器等設(shè)備，4個(gè)SFP+(Quad SFP+ Mezzanine board)端口，支持多達(dá)8 × 10 GE的數(shù)據(jù)鏈路，能夠?qū)?shù)據(jù)包向下一級(jí)高速輸出。

2 軟件環(huán)境

CASPER工具包提供了一個(gè)用于硬件平臺(tái)的設(shè)計(jì)環(huán)境。主要組件簡(jiǎn)稱(chēng)MSSGE(8)https://casper.ssl.berkeley.edu/wiki/MSSGE_Toolflow(MATLAB/Simulink/System Generator/EDK)，MSSGE工具包是針對(duì)基于CASPER硬件平臺(tái)的一個(gè)軟件開(kāi)發(fā)平臺(tái)，它們整合在一起，形成一個(gè)設(shè)計(jì)和開(kāi)發(fā)的平臺(tái)環(huán)境。這個(gè)開(kāi)發(fā)環(huán)境早期是由伯克利無(wú)線電研究中心為伯克利仿真引擎(Berkeley Emulation Egine, BEE)硬件平臺(tái)設(shè)計(jì)開(kāi)發(fā)的BEE_XPS工具包，后來(lái)升級(jí)擴(kuò)展到可以通用的CASPER硬件平臺(tái)。開(kāi)發(fā)環(huán)境提供了圖形化的設(shè)計(jì)界面，使用Xilinx系統(tǒng)生成工具包，使得設(shè)計(jì)編譯實(shí)現(xiàn)過(guò)程整體化。

MSSGE工具包的各個(gè)組件中，MATLAB為Simulink提供了一個(gè)可編寫(xiě)腳本的后端，所有腳本均可通過(guò)MATLAB實(shí)現(xiàn)。Simulink既可作為CASPER ROACH2的系統(tǒng)模型的原理繪圖工具，也可作為一種高層次的用于信號(hào)處理系統(tǒng)設(shè)計(jì)的仿真環(huán)境。系統(tǒng)生成器(System Generator)可以用于現(xiàn)場(chǎng)可編程門(mén)陣列編程實(shí)現(xiàn)，是Xilinx公司的系統(tǒng)級(jí)設(shè)計(jì)工具，可以將其理解成一個(gè)轉(zhuǎn)換工具，自動(dòng)地將Simulink中設(shè)計(jì)的抽象模塊映射成可靠的硬件實(shí)現(xiàn)[12]。系統(tǒng)生成器在編譯期間將Simulink原理圖轉(zhuǎn)換為HDL代碼(VHDL或Verilog)，大大簡(jiǎn)化了開(kāi)發(fā)數(shù)字信號(hào)處理算法的設(shè)計(jì)過(guò)程。嵌入式開(kāi)發(fā)套件(Embedded Development Kit, EDK)用于現(xiàn)場(chǎng)可編程門(mén)陣列的嵌入式開(kāi)發(fā)，CASPER硬件的編譯基于Xilinx EDK，通過(guò)它能夠?qū)⑸弦徊缴傻挠布枋稣Z(yǔ)言的代碼編譯成比特流文件并轉(zhuǎn)換成操作系統(tǒng)可執(zhí)行的bof文件，EDK是ISE的擴(kuò)展功能工具集合。

該實(shí)驗(yàn)平臺(tái)軟件可搭建在Ubuntu x64, RHEL, CentOS x64系統(tǒng)上。經(jīng)過(guò)實(shí)際測(cè)試MALTAB服務(wù)包與Xilinx的XSG，系統(tǒng)生成器存在版本兼容差異，須下載對(duì)應(yīng)版本的MATLAB和Xilinx以及相應(yīng)MSSGE庫(kù)。

本文以系統(tǒng)CentOS 7，軟件MATLAB 2012b，Xilinx14.7為例說(shuō)明，環(huán)境搭建流程如圖3，在CentOS 7上依次安裝Xilinx14.7，MATLAB2012b。工具包需要兩個(gè)庫(kù)，即DSP塊的CASPER庫(kù)和硬件支持塊的BEE XPS庫(kù)，現(xiàn)在兩個(gè)庫(kù)已捆綁在一個(gè)mlib_devel目錄中，用戶可以從github下載，需要注意的是，在開(kāi)發(fā)環(huán)境搭建過(guò)程中，應(yīng)注意軟件版本、安裝路徑與庫(kù)文件存放路徑一致。

圖3 軟件安裝流程圖

Fig.3 Flow chart of software installation

在Xilinx14版本中刪除了ROACH2依賴(lài)的部分模塊，這些模塊存在于EDK中，稱(chēng)為pcores(peripheral cores)，因此，需要將刪除的部分復(fù)制到XPS_ROACH2_base/pcores文件夾中進(jìn)行更新。下載并安裝完成后，編輯startsg的默認(rèn)路徑為文件存放的真實(shí)路徑。更改完成后直接運(yùn)行startsg，即可啟動(dòng)MATLAB，等待成功導(dǎo)入Xilinx庫(kù)和CASPER庫(kù)后可進(jìn)行設(shè)計(jì)工作。

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)平臺(tái)的軟硬件系統(tǒng)搭建完成后，需要實(shí)例驗(yàn)證其可用性。本文利用CASPER平臺(tái)提供的實(shí)例對(duì)搭建的平臺(tái)進(jìn)行測(cè)試。

實(shí)例測(cè)試實(shí)現(xiàn)了從平臺(tái)軟件設(shè)計(jì)到硬件執(zhí)行的完整處理流程，如圖4。使用MATLAB中的Simulink進(jìn)行設(shè)計(jì)、仿真，使用casper_xps編譯文件，文件編譯生成可執(zhí)行文件后，將后綴名為bof的可執(zhí)行文件上傳到ROACH2平臺(tái)的相應(yīng)文件夾中，通過(guò)Python腳本遠(yuǎn)程控制文件在ROACH2上執(zhí)行。

圖4 實(shí)驗(yàn)開(kāi)發(fā)流程

Fig.4 Flow chart of experimental process

首先在Simulink編譯界面進(jìn)行圖形化設(shè)計(jì)。創(chuàng)建新的仿真圖形，添加X(jué)ilinx系統(tǒng)生成器和XSG核心配置塊，然后按照描述的設(shè)計(jì)構(gòu)架圖，通過(guò)定位庫(kù)基本元素選擇需要的模塊，并設(shè)置參數(shù)，搭建完整的頂層設(shè)計(jì)結(jié)構(gòu)，本文以建立寬帶頻譜儀為例，其整體圖形化程序如圖5。在Simulink中建立架構(gòu)圖時(shí)主要應(yīng)用3個(gè)庫(kù)：CASPER XPS庫(kù)，包括封裝了硬件之間接口等的黃色塊；CASPER DSP庫(kù)，包括實(shí)現(xiàn)輸出DSP功能等的綠色塊；Xilinx庫(kù)，提供復(fù)用、延遲、添加等低級(jí)功能的藍(lán)色塊。

在Simulink中的設(shè)計(jì)完成之后，可直接在其內(nèi)部進(jìn)行仿真，確保在編譯之前沒(méi)有錯(cuò)誤，點(diǎn)擊頂部工具欄中的執(zhí)行按鈕，即可實(shí)現(xiàn)仿真。如有錯(cuò)誤則彈出診斷窗口，可以單獨(dú)處理，有些設(shè)計(jì)也可以查看示波器中的顯示是否與設(shè)置一致，以判斷對(duì)錯(cuò)。

驗(yàn)證設(shè)計(jì)功能正確后，需將其編譯成現(xiàn)場(chǎng)可編程門(mén)陣列可以識(shí)別的代碼。在MATLAB中輸入指令casper_xps，啟動(dòng)編譯器模塊，這時(shí)會(huì)彈出如圖6的編譯界面，所有選項(xiàng)保持默認(rèn)，確保列出的設(shè)計(jì)是想要編譯的，然后單擊gcs返回最近選擇的模塊所在的系統(tǒng)路徑，最后單擊Run XPS開(kāi)始編譯。經(jīng)過(guò)較長(zhǎng)一段時(shí)間的等待，編譯正確并且完成之后，彈出一個(gè)編譯成功的對(duì)話框，如圖7。

編譯通過(guò)后在右側(cè)文件夾目錄欄顯示生成了多個(gè)文件，其中，在bit_files文件夾中能夠找到后綴名為bof的二進(jìn)制文件，*.bof文件即是可以在ROACH2上運(yùn)行的文件。

設(shè)計(jì)、仿真、執(zhí)行、編譯等過(guò)程都在CASPER的軟件開(kāi)發(fā)平臺(tái)上實(shí)現(xiàn)，要在硬件平臺(tái)ROACH2上執(zhí)行下一步操作，需要將編譯生成的bof文件上傳到ROACH2平臺(tái)相應(yīng)文件夾中。經(jīng)過(guò)多次嘗試，針對(duì)bof文件上傳，建議采用網(wǎng)絡(luò)文件系統(tǒng)(Network File System, NFS)方式，遠(yuǎn)程掛載其它服務(wù)器相關(guān)目錄到ROACH2平臺(tái)相應(yīng)目錄，這樣只需復(fù)制bof文件到服務(wù)器上即可實(shí)現(xiàn)bof文件上傳。遠(yuǎn)程控制將編譯的可執(zhí)行文件在ROACH2上運(yùn)行，完成配置和通信并實(shí)現(xiàn)顯示輸出。

本文以建立2 048通道的頻譜儀為例，使用BPSG4(9)https://www.aaronia.com/products/signal-generators/Signal-Generator-BPSG4/信號(hào)發(fā)生器產(chǎn)生800 MHz時(shí)鐘信號(hào)，將時(shí)鐘源連接到模數(shù)轉(zhuǎn)換器上的clk_i，并將ROACH2的時(shí)鐘頻率設(shè)置為200 MHz，輸入信號(hào)由模數(shù)轉(zhuǎn)換器數(shù)字化產(chǎn)生4個(gè)并行時(shí)間序列。利用python控制頻譜儀在ROACH2上執(zhí)行，將其轉(zhuǎn)換為頻域信號(hào)，最終輸出頻譜。

實(shí)驗(yàn)過(guò)程中，首先利用噪聲源產(chǎn)生寬帶信號(hào)，再利用帶寬為98～122 MHz的帶通濾波器選擇指定范圍內(nèi)的頻率分量，積分60次時(shí)的信號(hào)頻譜如圖8。

搭建的實(shí)驗(yàn)平臺(tái)可以通過(guò)10 GbE的SFP+端口實(shí)現(xiàn)實(shí)驗(yàn)平臺(tái)硬件設(shè)備之間的數(shù)據(jù)傳輸，通過(guò)PPC的1 GbE端口讀出預(yù)處理數(shù)據(jù)，通過(guò)ZDOK端口傳輸模數(shù)轉(zhuǎn)換器數(shù)字化信號(hào)到現(xiàn)場(chǎng)可編程門(mén)陣列；可在Simulink設(shè)計(jì)中嵌入HDL定義的模塊并進(jìn)行實(shí)例化，創(chuàng)建新的Xilinx模塊、CASPER模塊；利用Simulink和CASPER庫(kù)中的模塊，可以構(gòu)建新的硬件設(shè)計(jì)，實(shí)現(xiàn)相關(guān)的天文信號(hào)處理功能。經(jīng)過(guò)測(cè)試，本文搭建的實(shí)驗(yàn)平臺(tái)可滿足射電天文數(shù)字終端算法測(cè)試的需求。

由于操作系統(tǒng)及應(yīng)用軟件版本不斷更新并且相互不兼容，在實(shí)驗(yàn)過(guò)程中遇到了一系列版本不匹配問(wèn)題。由于軟硬件平臺(tái)的更新?lián)Q代，設(shè)計(jì)模塊也在不斷修正、替換、棄用、添加等，都影響對(duì)不同版本庫(kù)的調(diào)用，在建設(shè)過(guò)程中遇到了模塊版本老、EDK版本落后、參數(shù)不存在等報(bào)錯(cuò)提示，通過(guò)嘗試替換不同版本的軟件包解決了相關(guān)問(wèn)題。CASPER教程說(shuō)明現(xiàn)已不在原網(wǎng)站上更新，本文實(shí)驗(yàn)平臺(tái)搭建涉及的庫(kù)、實(shí)驗(yàn)中的bof文件可以到新疆天文臺(tái)數(shù)據(jù)中心下載，網(wǎng)址http://data.xao.ac.cn/static/RAOCH2_platform.tar.gz。

圖6 編譯啟動(dòng)界面

Fig.6 Compile startup interface

圖7 編譯通過(guò)圖示

Fig.7 The diagram of successful compilation

圖8 帶寬98～122 MHz信號(hào)頻譜

Fig.8 Bandwidth 98-122MHz signal spectrum

4 總 結(jié)

本文根據(jù)射電天文海量信號(hào)實(shí)時(shí)處理的需求，對(duì)數(shù)字終端系統(tǒng)環(huán)境建設(shè)進(jìn)行了研究，借助通用性良好的CAPSER硬件開(kāi)發(fā)平臺(tái)及其相應(yīng)軟件環(huán)境，搭建了基于ROACH2的數(shù)字終端系統(tǒng)實(shí)驗(yàn)平臺(tái)。利用CAPSER提供的示例對(duì)搭建的實(shí)驗(yàn)平臺(tái)進(jìn)行了測(cè)試、調(diào)試和分析，實(shí)現(xiàn)了相關(guān)實(shí)例設(shè)計(jì)、仿真、編譯、運(yùn)行的完整過(guò)程。實(shí)驗(yàn)結(jié)果表明，本文所搭建的平臺(tái)運(yùn)行平穩(wěn)、可靠。目前所搭建的數(shù)字終端環(huán)境已經(jīng)應(yīng)用在脈沖星信號(hào)仿真處理、射頻干擾抑制算法測(cè)試和高速數(shù)字信號(hào)傳輸?shù)认嚓P(guān)研究領(lǐng)域。