張 輝，謝曉堯，李 菂，劉志杰，王 培，于徐紅，游善平，許余云，姜家濤

(1. 貴州師范大學(xué)貴州省信息與計(jì)算科學(xué)重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽(yáng) 550001；2. 中國(guó)科學(xué)院國(guó)家天文臺(tái)，北京 100101；3. 貴州師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院，貴州 貴陽(yáng) 550001；4. FAST早期科學(xué)數(shù)據(jù)中心，貴州 貴陽(yáng) 550001；5. 中國(guó)科學(xué)院大學(xué)，北京 100049；6. 貴州水利水電職業(yè)技術(shù)學(xué)院管理工程分院，貴州 貴陽(yáng) 551416)

1967年，劍橋大學(xué)在讀博士喬瑟琳·貝爾(Jocelyn Bell)和導(dǎo)師休伊什(Hewish)等人首次在狐貍星座發(fā)現(xiàn)了射電脈沖星PSR B1919 + 21[1]，這項(xiàng)20世紀(jì)重大的天文學(xué)發(fā)現(xiàn)于1974年12月獲得了諾貝爾物理學(xué)獎(jiǎng)，以表彰休伊什教授等人在射電天體物理學(xué)領(lǐng)域的開創(chuàng)性研究。人類至今已探測(cè)發(fā)現(xiàn)脈沖星約3 000顆，它們的自行速度可達(dá)每秒數(shù)百千米[2]。脈沖星強(qiáng)磁場(chǎng)、高密度、高能輻射、超強(qiáng)引力場(chǎng)、伴隨恒星演化和超新星爆發(fā)過程等極端物理性質(zhì)是地面人工實(shí)驗(yàn)室無法實(shí)現(xiàn)的。脈沖星的發(fā)現(xiàn)為核物理、粒子物理、天體物理、愛因斯坦相對(duì)論和宇宙學(xué)的檢驗(yàn)提供了天然理想的實(shí)驗(yàn)室。對(duì)脈沖星進(jìn)行深入研究，有希望獲得許多重大物理學(xué)問題的答案。脈沖星的自轉(zhuǎn)周期極其穩(wěn)定，具有精準(zhǔn)的時(shí)鐘信號(hào)，可為引力波探測(cè)、航天器導(dǎo)航等重大科學(xué)技術(shù)應(yīng)用提供理想工具。

脈沖星獨(dú)特的物理性質(zhì)和科學(xué)價(jià)值使其很快成為天體物理學(xué)最活躍的研究領(lǐng)域之一。為了更深入研究這類天體，望遠(yuǎn)鏡的大量時(shí)間用于開展巡天項(xiàng)目，以期發(fā)現(xiàn)更多的樣本數(shù)據(jù)。過去，受望遠(yuǎn)鏡設(shè)備、數(shù)據(jù)采集系統(tǒng)、計(jì)算搜索理論和技術(shù)等因素限制，單個(gè)巡天項(xiàng)目采集的觀測(cè)數(shù)據(jù)總量通常介于GB和TB之間。1997～2003年澳大利亞帕克斯望遠(yuǎn)鏡采用13波束接收機(jī)巡天(Parkes Multi-beam Pulsar Survey, PMPS)[3]，采集到49 700余個(gè)PSRFITS格式的數(shù)據(jù)文件，數(shù)據(jù)總量約5 TB，探測(cè)發(fā)現(xiàn)新脈沖星超過1 122顆。2012年南賽(Nan?ay)望遠(yuǎn)鏡開展的SPAN512項(xiàng)目，采集的數(shù)據(jù)總量約50 TB。2010～2012年開展的高時(shí)間分辨宇宙(The High Time Resolution Universe, HTRU)系列巡天項(xiàng)目，因同時(shí)提高了時(shí)間分辨率和頻率分辨率，每個(gè)波束(Beam)文件達(dá)16 GB，采集數(shù)據(jù)總量約1 PB。如今，500 m口徑球面射電望遠(yuǎn)鏡已投入使用，可探測(cè)頻率覆蓋70 MHz至3 GHz，它的靈敏度更高，綜合探測(cè)能力更強(qiáng)，具備19波束同時(shí)掃描巡天能力，配備更高時(shí)間分辨率和頻率分辨率的超寬帶接收機(jī)，單波束數(shù)據(jù)采樣頻率由原來的1 024 Hz拓展至4 096 Hz。若19個(gè)波束同時(shí)工作，以100 μs為時(shí)間采樣分辨率，頻率帶寬400 MHz，采用8 bit記錄數(shù)據(jù)，日采集數(shù)據(jù)量可達(dá)100 TB。2017年7月～2018年5月，500 m口徑球面射電望遠(yuǎn)鏡多科學(xué)目標(biāo)同時(shí)掃描巡天(The Commensal Radio Astronomy FAST Survey, CRAFTS)[4]記錄0～1 GHz、1～2 GHz兩個(gè)頻段的數(shù)據(jù)，系統(tǒng)性脈沖星巡天觀測(cè)數(shù)據(jù)已達(dá)數(shù)PB，其中，超寬帶脈沖星漂移掃描數(shù)據(jù)約0.8 PB，19波束巡天數(shù)據(jù)約2 PB，加上數(shù)據(jù)處理分析過程產(chǎn)生的中間數(shù)據(jù)，總計(jì)已經(jīng)超過3 PB。數(shù)據(jù)存于FAST早期科學(xué)數(shù)據(jù)中心集群磁盤陣列和磁帶庫(kù)中。預(yù)計(jì)500 m口徑球面射電望遠(yuǎn)鏡在射電脈沖星領(lǐng)域采集的數(shù)據(jù)總量在10～100 PB，巡天數(shù)據(jù)已邁入PB時(shí)代[5]。

500 m口徑球面射電望遠(yuǎn)鏡面臨大規(guī)模數(shù)據(jù)異地傳輸、存儲(chǔ)、快速處理和結(jié)果數(shù)據(jù)管理等實(shí)際問題。針對(duì)PB量級(jí)數(shù)據(jù)分析處理加速問題，本文提出了一種基于PRESTO的分布式并行計(jì)算方法，并據(jù)此研發(fā)了一套并行計(jì)算加速系統(tǒng)，系統(tǒng)命名為Craber，以紀(jì)念中國(guó)科學(xué)家發(fā)現(xiàn)Crab脈沖星和科學(xué)工作者的開拓創(chuàng)新精神。

1 搜索流程、軟件及加速分析

1.1 搜索流程和軟件

從觀測(cè)數(shù)據(jù)中搜索脈沖星涉及多個(gè)必要步驟，包括去干擾、消色散、時(shí)頻信號(hào)轉(zhuǎn)換、周期信號(hào)搜索、數(shù)據(jù)折疊和候選體篩選識(shí)別等。從計(jì)算機(jī)處理數(shù)據(jù)的角度看，搜索流程可概括為(1)獲取數(shù)據(jù)文件，計(jì)算節(jié)點(diǎn)讀取一個(gè)觀測(cè)原文件；(2)分析處理數(shù)據(jù)，按照預(yù)先設(shè)定的參數(shù)空間和搜索策略，執(zhí)行分析指令；(3)生成結(jié)果，生成可供識(shí)別的候選體集合；(4)讀取下一個(gè)待處理文件，并重復(fù)執(zhí)行(1)、(2)、(3)步，詳細(xì)的搜索流程和理論見文[6]。文[7]在脈沖星搜索加速方面做過嘗試，取得了一定的加速效果。目前，較成熟的脈沖星搜索數(shù)據(jù)處理軟件有PRESTO[8]，SIGPROC[9]和基于圖形處理器技術(shù)的Peasoup等，但存在如下幾方面不足：

(1)軟件并行程度不夠。在一般的搜索中，消色散方法主要有兩大類：相干消色散和非相干消色散[10]。這些方法需嘗試數(shù)百個(gè)甚至上千個(gè)色散值，計(jì)算量成百上千倍增加?，F(xiàn)有軟件因開發(fā)歷史較早，基于當(dāng)時(shí)較小的數(shù)據(jù)規(guī)模，搜索流程中大多采用分步串行、單機(jī)計(jì)算方式。

(2)計(jì)算結(jié)果整理、統(tǒng)計(jì)和歸檔能力弱。計(jì)算參數(shù)、中間數(shù)據(jù)、結(jié)果數(shù)據(jù)、日志數(shù)據(jù)等缺乏科學(xué)化管理，數(shù)據(jù)歸檔同步不及時(shí)，數(shù)據(jù)分享和統(tǒng)計(jì)分析困難。

(3)計(jì)算資源整合能力差。觀測(cè)數(shù)據(jù)以FITS格式存儲(chǔ)，搜索中伴隨產(chǎn)生眾多臨時(shí)文件，且多為小文件，帶來頻繁讀寫磁盤，計(jì)算任務(wù)具有數(shù)據(jù)密集型和計(jì)算密集型雙重特點(diǎn)?，F(xiàn)有搜索軟件缺乏整合計(jì)算資源的能力，特別是不具備整合異地異構(gòu)計(jì)算資源的方法。

1.2 并行計(jì)算分析

針對(duì)現(xiàn)有搜索軟件存在的問題，結(jié)合數(shù)據(jù)搜索特點(diǎn)和實(shí)際應(yīng)用，對(duì)計(jì)算可行性分析如下：

(1)任務(wù)可并行。從搜索流程分析，不同觀測(cè)文件間不存在數(shù)據(jù)耦合關(guān)系，且處理過程中也保持?jǐn)?shù)據(jù)相互獨(dú)立。因此，全體待處理觀測(cè)文件構(gòu)成一個(gè)任務(wù)集合，單個(gè)觀測(cè)文件為其中一個(gè)子計(jì)算任務(wù)。

(2)計(jì)算節(jié)點(diǎn)間可并行。通過網(wǎng)絡(luò)技術(shù)將單個(gè)計(jì)算節(jié)點(diǎn)特別是異地計(jì)算節(jié)點(diǎn)整合起來，形成一定計(jì)算力的集群系統(tǒng)，各單節(jié)點(diǎn)上并行處理任務(wù)。

(3)軟件程序可并行。根據(jù)PRESTO模塊化程序設(shè)計(jì)和分步串行計(jì)算特點(diǎn)，經(jīng)分析發(fā)現(xiàn)它具備改為并行運(yùn)算的可能，可通過在各節(jié)點(diǎn)上部署優(yōu)化過的PRESTO，并行調(diào)度子程序進(jìn)行計(jì)算。

(4)搜索數(shù)據(jù)庫(kù)協(xié)同計(jì)算和數(shù)據(jù)管理。異地計(jì)算資源協(xié)同計(jì)算和多任務(wù)并行處理面臨數(shù)據(jù)一致性和歸檔問題，可通過建立搜索數(shù)據(jù)庫(kù)系統(tǒng)協(xié)同管理和結(jié)果回收。

1.3 FAST早期科學(xué)數(shù)據(jù)中心計(jì)算資源

FAST早期科學(xué)數(shù)據(jù)中心由貴州師范大學(xué)與國(guó)家天文臺(tái)聯(lián)合建設(shè)，目標(biāo)是解決500 m口徑球面射電望遠(yuǎn)鏡數(shù)據(jù)存儲(chǔ)、分析處理和開展前沿科學(xué)研究。早期科學(xué)數(shù)據(jù)中心至臺(tái)址兩地?cái)?shù)據(jù)中心通過2 GB專網(wǎng)連接，橫跨州、縣、鎮(zhèn)20多個(gè)中轉(zhuǎn)節(jié)點(diǎn)，傳輸距離300多千米，采用波分復(fù)用和雙路通信容錯(cuò)技術(shù)保障數(shù)據(jù)傳輸?shù)目捎眯?。?shù)據(jù)中心致力于改善軟件可用性的同時(shí)，也設(shè)計(jì)、定制和組裝滿足望遠(yuǎn)鏡未來一段時(shí)期計(jì)算需求的計(jì)算資源。

如表1，數(shù)據(jù)中心已分步建成A, B, C, D 4類不同子網(wǎng)計(jì)算集群，配備1.5 PB磁盤存儲(chǔ)系統(tǒng)和1 PB磁帶庫(kù)，部署在數(shù)據(jù)中心寶山、花溪兩地機(jī)房。計(jì)算集群采用中央處理器 + 圖形處理器異構(gòu)并行計(jì)算體系架構(gòu)，包含154個(gè)中央處理器，288塊圖形處理器顯卡，共計(jì)1 384個(gè)中央處理器核心和955 392個(gè)圖形處理器核心，并對(duì)臺(tái)式計(jì)算機(jī)進(jìn)行改造，擴(kuò)展顯卡插槽，加裝圖形處理器顯卡、大容量磁盤和內(nèi)存資源等，強(qiáng)化單節(jié)點(diǎn)計(jì)算能力，共同組成分布式并行化計(jì)算集群，由任務(wù)管理節(jié)點(diǎn)統(tǒng)一調(diào)度，極大地解決了500 m口徑球面射電望遠(yuǎn)鏡當(dāng)前一段時(shí)期的數(shù)據(jù)分析問題。

表1 FAST早期科學(xué)數(shù)據(jù)中心中央處理器 + 圖形處理器異構(gòu)系統(tǒng)計(jì)算集群算力統(tǒng)計(jì)Table 1 Statistics for computational power of computing cluster in FAST Early Science Data Center

2 系統(tǒng)設(shè)計(jì)

2.1 設(shè)計(jì)思路和方法

根據(jù)數(shù)據(jù)中心已有的軟硬件資源，整合結(jié)構(gòu)化數(shù)據(jù)庫(kù)、搜索軟件和網(wǎng)絡(luò)資源，解決如何調(diào)度、如何管理、如何抗錯(cuò)等問題，系統(tǒng)設(shè)計(jì)思路和方法如下：

(1)優(yōu)化PRESTO程序套件，開發(fā)一套并行計(jì)算任務(wù)調(diào)度系統(tǒng)，調(diào)度部署在各節(jié)點(diǎn)上的PRESTO程序分步搜索指令，并行地分析處理子任務(wù)；

(2)整合利用FAST早期科學(xué)數(shù)據(jù)中心位于貴州師范大學(xué)寶山、花溪兩校區(qū)兩校區(qū)子網(wǎng)計(jì)算集群，構(gòu)建一個(gè)對(duì)外透明的分布式并行計(jì)算集群；

(3)以單個(gè)觀測(cè)數(shù)據(jù)文件劃分計(jì)算任務(wù)單元，建立任務(wù)隊(duì)列，經(jīng)任務(wù)調(diào)度分發(fā)程序和數(shù)據(jù)庫(kù)協(xié)同具體搜索工作；

(4)建立面向搜索過程和數(shù)據(jù)管理的專門數(shù)據(jù)庫(kù)，進(jìn)行任務(wù)分發(fā)、計(jì)算協(xié)同、日志數(shù)據(jù)和結(jié)果數(shù)據(jù)回收管理，解決異地計(jì)算資源參與計(jì)算時(shí)的數(shù)據(jù)一致性和歸檔問題，供后續(xù)應(yīng)用程序開展候選體識(shí)別和篩選。

2.2 功能節(jié)點(diǎn)劃分

如圖1，Craber并行加速計(jì)算系統(tǒng)按照功能不同，邏輯上劃分為：(1)1個(gè)數(shù)據(jù)源節(jié)點(diǎn)，用于存放觀測(cè)數(shù)據(jù)文件；(2)1個(gè)任務(wù)控制節(jié)點(diǎn)，用于計(jì)算任務(wù)的協(xié)調(diào)控制；(3)N個(gè)并行計(jì)算節(jié)點(diǎn)，負(fù)責(zé)具體計(jì)算搜索任務(wù)；(4)1個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)，承擔(dān)數(shù)據(jù)管理和協(xié)同計(jì)算；(5)1個(gè)非結(jié)構(gòu)化結(jié)果數(shù)據(jù)節(jié)點(diǎn)，負(fù)責(zé)存放過程數(shù)據(jù)；(6)1個(gè)網(wǎng)絡(luò)應(yīng)用節(jié)點(diǎn)，提供配置交互。各節(jié)點(diǎn)間通過高速網(wǎng)絡(luò)進(jìn)行通信和數(shù)據(jù)交換，調(diào)度系統(tǒng)采用客戶端/服務(wù)端(C/S)體系架構(gòu)實(shí)現(xiàn)。

圖1 Craber加速計(jì)算系統(tǒng)功能結(jié)構(gòu)圖Fig.1 Structure diagram of the Craber parallel accelerated computing system

2.3 計(jì)算節(jié)點(diǎn)與其他節(jié)點(diǎn)間指令和數(shù)據(jù)傳遞過程

計(jì)算節(jié)點(diǎn)主動(dòng)與數(shù)據(jù)庫(kù)和任務(wù)控制節(jié)點(diǎn)通信和獲取計(jì)算任務(wù)。任務(wù)節(jié)點(diǎn)負(fù)責(zé)從數(shù)據(jù)庫(kù)任務(wù)隊(duì)列中獲取參數(shù)，分發(fā)給計(jì)算節(jié)點(diǎn)，如數(shù)據(jù)文件地址、計(jì)算參數(shù)、處理指令集。計(jì)算節(jié)點(diǎn)作為客戶端，通過配置文件獲取參數(shù)信息，與服務(wù)器通信后進(jìn)入計(jì)算狀態(tài)，執(zhí)行PRESTO套件程序指令，進(jìn)行脈沖星數(shù)據(jù)的計(jì)算工作，并將計(jì)算結(jié)果提交任務(wù)控制服務(wù)器和計(jì)算結(jié)果文件服務(wù)器。如表2，節(jié)點(diǎn)上配置文件規(guī)定了此節(jié)點(diǎn)用于去干擾、消色散、周期搜索、數(shù)據(jù)折疊等步驟的線程分配方案、各步等待時(shí)間以及數(shù)據(jù)同步情況。

表2 配置文件參數(shù)列表說明Table 2 Configuration file parameter list and description

2.4 計(jì)算節(jié)點(diǎn)內(nèi)部數(shù)據(jù)處理和交互過程

單個(gè)節(jié)點(diǎn)的計(jì)算能力體現(xiàn)為可用的線程數(shù)量。任務(wù)服務(wù)器給計(jì)算節(jié)點(diǎn)分配數(shù)個(gè)任務(wù)，廣播計(jì)算參數(shù)。如圖2，計(jì)算節(jié)點(diǎn)根據(jù)任務(wù)參數(shù)，從數(shù)據(jù)節(jié)點(diǎn)中讀取對(duì)應(yīng)觀測(cè)數(shù)據(jù)文件并處理。計(jì)算節(jié)點(diǎn)依據(jù)線程分配方案和數(shù)據(jù)庫(kù)中任務(wù)ID值，并行執(zhí)行圖中1～6步流程，由數(shù)據(jù)庫(kù)和任務(wù)控制節(jié)點(diǎn)完成數(shù)據(jù)同步。

如圖3，單個(gè)計(jì)算節(jié)點(diǎn)圖形處理器/中央處理器異構(gòu)系統(tǒng)開展單個(gè)任務(wù)計(jì)算數(shù)據(jù)處理流程。在每個(gè)計(jì)算節(jié)點(diǎn)上通過指定圖形處理器核心分配方案，分別用于PRESTO子程序并行地進(jìn)行消除干擾(RFIFIND)、消除色散(PRESUBBAND)、周期搜索、數(shù)據(jù)折疊等步驟。因消色散耗時(shí)相對(duì)較長(zhǎng)，系統(tǒng)指定較多核心數(shù)專門用于消色散，較少核心數(shù)用于周期搜索、數(shù)據(jù)折疊等步驟進(jìn)行流水化作業(yè)。

2.5 搜索數(shù)據(jù)庫(kù)

Craber系統(tǒng)的任務(wù)狀態(tài)和任務(wù)數(shù)據(jù)的維護(hù)通過數(shù)據(jù)庫(kù)實(shí)現(xiàn)。搜索數(shù)據(jù)庫(kù)解決的問題包括：(1)在分布式計(jì)算任務(wù)中，保證調(diào)度的任務(wù)數(shù)據(jù)一致性，提高容錯(cuò)能力；(2)為原始數(shù)據(jù)、處理日志、結(jié)果整理和統(tǒng)計(jì)提供基礎(chǔ)平臺(tái)；(3)為后續(xù)利用人工智能(Artificial Intelligence, AI)開展候選體篩選識(shí)別提供數(shù)據(jù)支持和輔助工具。作為Craber系統(tǒng)重要組成部分之一，我們專門設(shè)計(jì)了面向搜索過程的搜索數(shù)據(jù)庫(kù)(詳細(xì)內(nèi)容另文發(fā)表)，它主要包含F(xiàn)ITS觀測(cè)數(shù)據(jù)文件信息表、任務(wù)執(zhí)行時(shí)間狀態(tài)信息表、任務(wù)指令參數(shù)表等10余個(gè)不同用途的數(shù)據(jù)庫(kù)表，其中，文件信息表記錄FITS文件的編號(hào)、文件名、文件路徑、格式、觀測(cè)設(shè)備和處理狀態(tài)等。通過調(diào)用PRESTO中readfile指令獲取數(shù)據(jù)集中全體待計(jì)算FITS頭文件信息，并寫入數(shù)據(jù)庫(kù)任務(wù)指令參數(shù)表，記錄一個(gè)任務(wù)ID對(duì)應(yīng)的計(jì)算參數(shù)，以及PRESTO子程序指令rfifind，prepsubband，realfft，accelsearch，prepfold步驟編號(hào)，用來表示 prepsubband 的子步驟。

圖2 單個(gè)計(jì)算節(jié)點(diǎn)內(nèi)的計(jì)算流程Fig.2 Search process of one single compute node in the cluster

圖3 基于圖形處理器/中央處理器的異構(gòu)系統(tǒng)并行計(jì)算加速流程Fig.3 GPU + CPU-based parallel computing acceleration process for heterogeneous systems

3 系統(tǒng)實(shí)施與結(jié)果分析

3.1 計(jì)算實(shí)驗(yàn)環(huán)境

如圖4，Craber集成一個(gè)大容量數(shù)據(jù)文件服務(wù)器，存放經(jīng)預(yù)處理后的FITS文件，為了方便計(jì)算節(jié)點(diǎn)快速讀取觀測(cè)文件，數(shù)據(jù)源利用網(wǎng)絡(luò)文件系統(tǒng)(Network File System, NFS)實(shí)現(xiàn)管理，節(jié)點(diǎn)內(nèi)使用臨時(shí)文件系統(tǒng)(Temporary File System)提高輸入輸出能力，部署一個(gè)任務(wù)控制服務(wù)器，用于計(jì)算的協(xié)調(diào)控制、任務(wù)分發(fā)和參數(shù)廣播，數(shù)據(jù)中心4個(gè)計(jì)算子網(wǎng)分布式部署，負(fù)責(zé)具體的計(jì)算搜索業(yè)務(wù)。搜索數(shù)據(jù)庫(kù)采用大型關(guān)系型數(shù)據(jù)庫(kù)ORACLE進(jìn)行結(jié)果數(shù)據(jù)管理和計(jì)算參數(shù)設(shè)定。一個(gè)文件服務(wù)器存放中間數(shù)據(jù)文件及候選體判別圖，一個(gè)前端網(wǎng)絡(luò)應(yīng)用程序進(jìn)行作業(yè)期間的實(shí)時(shí)監(jiān)控。

圖4 當(dāng)前FAST早期科學(xué)數(shù)據(jù)中心Craber計(jì)算加速系統(tǒng)網(wǎng)絡(luò)部署拓?fù)涫疽鈭DFig.4 Network deployment topology of Craber acceleration system of FAST Early Science Data Center

3.2 測(cè)試數(shù)據(jù)

如表3，帕克斯多波束巡天項(xiàng)目采用96個(gè)頻率通道，子帶寬3 MHz，積分時(shí)間2 100 s，單個(gè)文件100 MB。500 m口徑球面射電望遠(yuǎn)鏡CRAFTS數(shù)據(jù)集經(jīng)過頻域分割數(shù)據(jù)預(yù)處理，頻率范圍269.125～396.875 MHz，頻道數(shù)512，帶寬128 MHz，單波束掃描時(shí)間26.214 4 s，單個(gè)文件128 MB。

表3 來自帕克斯多波束巡天和500 m口徑球面射電望遠(yuǎn)鏡CRAFTS巡天項(xiàng)目的測(cè)試數(shù)據(jù)文件樣例Table 3 Two sample test files from PMPS and CRAFTS

3.3 實(shí)驗(yàn)結(jié)果

如圖5，隨機(jī)選取400個(gè)帕克斯多波束巡天數(shù)據(jù)文件，消色散的色散量步數(shù)設(shè)為768。以單線程單機(jī)處理，單個(gè)文件耗時(shí)約6 000 s，采用8線程OMP(OpenMP)處理，單個(gè)文件平均耗時(shí)3 530 s。啟用Craber子網(wǎng)計(jì)算集群D中55個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配置Intel酷睿i7處理器、32 GB內(nèi)存和1 TB硬盤，總耗時(shí)約14 550 s，平均36 s處理一個(gè)數(shù)據(jù)文件，即集群整體吞吐速度是36 s。

圖5 分別使用單機(jī)單線程、OPM 8線程、Craber加速集群系統(tǒng)對(duì)400個(gè)PMPS數(shù)據(jù)文件處理耗時(shí)測(cè)試

500 m口徑球面射電望遠(yuǎn)鏡超寬帶漂移掃描巡天數(shù)據(jù)分析的結(jié)果顯示，單個(gè)128 MB數(shù)據(jù)文件平均處理時(shí)間22 s。2017年10月至今參與處理數(shù)據(jù)文件66 000多個(gè)，相關(guān)結(jié)果數(shù)據(jù)統(tǒng)一存儲(chǔ)于系統(tǒng)集成的搜索數(shù)據(jù)庫(kù)和文件服務(wù)器中。500 m口徑球面射電望遠(yuǎn)鏡通過多套獨(dú)立的脈沖星搜索流程，已探測(cè)到超過100顆優(yōu)質(zhì)脈沖星候選體，該系統(tǒng)輔助探測(cè)到其中數(shù)十個(gè)候選體，經(jīng)后隨觀測(cè)認(rèn)證，首批認(rèn)證兩顆脈沖星[11]，其中，第1顆脈沖星J1859-01(FP1)，自轉(zhuǎn)周期1.83 s，距離地球約1.6萬光年[12]，第2顆脈沖星編號(hào)J1931-01(FP2)，自轉(zhuǎn)周期0.59 s，距離地球約4 100光年，兩顆脈沖星由500 m口徑球面射電望遠(yuǎn)鏡在南天銀道面通過漂移掃描發(fā)現(xiàn)，更詳細(xì)的參數(shù)結(jié)果見文[13]。另有部分候選體處于國(guó)際射電天文臺(tái)認(rèn)證階段，具體參數(shù)結(jié)果還在進(jìn)一步分析中。

4 總結(jié)與展望

Craber計(jì)算加速系統(tǒng)是針對(duì)處理500 m口徑球面射電望遠(yuǎn)鏡海量數(shù)據(jù)、完成脈沖星搜索主要科學(xué)目標(biāo)而開發(fā)的專用計(jì)算系統(tǒng)，包含154個(gè)中央處理器，288塊圖形處理器顯卡，為500 m口徑球面射電望遠(yuǎn)鏡脈沖星搜索項(xiàng)目的數(shù)據(jù)處理提供了有力保障，集成的面向搜索過程的數(shù)據(jù)庫(kù)系統(tǒng)在協(xié)同計(jì)算任務(wù)中，保證調(diào)度的任務(wù)數(shù)據(jù)一致性，提高容錯(cuò)能力，并為原始數(shù)據(jù)、處理日志、結(jié)果整理和統(tǒng)計(jì)提供基礎(chǔ)平臺(tái)，同時(shí)，也為下一步人工智能程序開展學(xué)習(xí)訓(xùn)練、候選體識(shí)別提供數(shù)據(jù)支持，大幅減少結(jié)果數(shù)據(jù)整理統(tǒng)計(jì)和管理工作量。系統(tǒng)應(yīng)用于帕克斯巡天數(shù)據(jù)處理，單個(gè)100 MB文件平均耗時(shí)36 s，應(yīng)用于500 m口徑球面射電望遠(yuǎn)鏡脈沖星漂移掃描巡天數(shù)據(jù)處理，單個(gè)文件平均耗時(shí)22 s。500 m口徑球面射電望遠(yuǎn)鏡使用多套獨(dú)立的脈沖星搜索流程，確認(rèn)發(fā)現(xiàn)114顆脈沖星，其中，該系統(tǒng)已輔助發(fā)現(xiàn)數(shù)十顆新脈沖星，包括一些具有特殊輻射特征的脈沖星[14]。系統(tǒng)可經(jīng)適當(dāng)計(jì)算參數(shù)調(diào)整后用于FAST單脈沖(RRATs, FRBs)搜索，以及搜尋模式、跟蹤模式和漂移掃描模式下的大規(guī)模脈沖星數(shù)據(jù)分析處理加速。隨著5 G技術(shù)的成熟和硬件成本進(jìn)一步降低，大規(guī)模數(shù)據(jù)的異地協(xié)同計(jì)算將變得更易操作。下一步計(jì)劃持續(xù)向Craber集群系統(tǒng)增加更多計(jì)算節(jié)點(diǎn)，在黔西南州新增計(jì)算子網(wǎng)，并入此計(jì)算集群系統(tǒng)。優(yōu)化搜索數(shù)據(jù)庫(kù)功能結(jié)構(gòu)和計(jì)算節(jié)點(diǎn)中的中央處理器/圖形處理器調(diào)度方案，以應(yīng)對(duì)500 m口徑球面射電望遠(yuǎn)鏡今后PB量級(jí)數(shù)據(jù)集的快速處理，改善數(shù)據(jù)中心存儲(chǔ)壓力，輔助探索發(fā)現(xiàn)更多新脈沖星樣本。

致謝：感謝Scott Ransom博士提供的PRESTO程序套件，以及來自帕克斯望遠(yuǎn)鏡的數(shù)據(jù)支持。同時(shí)，特別感謝貴陽(yáng)學(xué)院張正東博士、澳大利亞聯(lián)邦科學(xué)與工業(yè)研究組織(Commonwealth Scientific and Industrial Research Organization, CSIRO)George Hobbs教授、王晨教授、代實(shí)博士以及網(wǎng)易的張翔工程師對(duì)本文的建設(shè)性建議和幫助。