曾 珊 陳 剛 齊法制 張紅梅 李海波 李亞康 田浩來

（1.中國科學(xué)院高能物理研究所，北京 100049；2.國家高能物理科學(xué)數(shù)據(jù)中心，北京 100049）

0 引言

科學(xué)數(shù)據(jù)是國家科技創(chuàng)新和發(fā)展的重要戰(zhàn)略資源。2018年，國務(wù)院發(fā)布了《科學(xué)數(shù)據(jù)管理辦法》，為中國科學(xué)數(shù)據(jù)工作確定了行動(dòng)綱領(lǐng)，對進(jìn)一步提升中國科學(xué)數(shù)據(jù)工作水平，提高科技創(chuàng)新、經(jīng)濟(jì)社會發(fā)展和國家安全支撐保障能力具有重要的意義，是科學(xué)數(shù)據(jù)管理領(lǐng)域的一項(xiàng)重要舉措[1]。2019年，科技部、財(cái)政部認(rèn)定了20 個(gè)國家科學(xué)數(shù)據(jù)中心和30 個(gè)國家生物種質(zhì)與實(shí)驗(yàn)材料資源庫，形成了國家科技資源共享服務(wù)平臺。該共享服務(wù)平臺成為我國科學(xué)數(shù)據(jù)管理與服務(wù)的重要基礎(chǔ)。

國家高能物理科學(xué)數(shù)據(jù)中心（簡稱“數(shù)據(jù)中心”）是上述20 個(gè)國家科學(xué)數(shù)據(jù)中心之一，由中國科學(xué)院高能物理研究所（簡稱“高能所”）建設(shè)和運(yùn)行，為國內(nèi)外高能物理及相關(guān)領(lǐng)域提供科學(xué)數(shù)據(jù)服務(wù)。高能物理科學(xué)數(shù)據(jù)是由高能物理（也稱為粒子物理）領(lǐng)域產(chǎn)生的實(shí)驗(yàn)數(shù)據(jù)，用于開展研究物質(zhì)的基本構(gòu)成以及宇宙起源等粒子物理最高能量前沿的研究，由北京數(shù)據(jù)中心和大灣區(qū)分中心等組成，以高能物理科學(xué)數(shù)據(jù)為核心進(jìn)行數(shù)據(jù)資源、軟件工具、數(shù)據(jù)分析等資源能力的匯交和共享。數(shù)據(jù)中心面向全球的科研用戶提供高能物理、中子科學(xué)、光子科學(xué)、天體物理等基礎(chǔ)研究以及多學(xué)科交叉研究服務(wù)。由于高能物理實(shí)驗(yàn)及數(shù)據(jù)的特殊性，數(shù)據(jù)中心為科學(xué)數(shù)據(jù)提供了數(shù)據(jù)匯交、數(shù)據(jù)保存、科學(xué)計(jì)算及數(shù)據(jù)處理等全方位的服務(wù)。目前，數(shù)據(jù)中心與國內(nèi)外相關(guān)領(lǐng)域的大型數(shù)據(jù)中心建立了廣泛的合作，擁有先進(jìn)的高能物理數(shù)據(jù)資源平臺，提供了近20 PB存儲空間、數(shù)萬CPU核的計(jì)算能力、萬兆國際網(wǎng)絡(luò)鏈路和完善的信息化支撐系統(tǒng)，擁有國內(nèi)外專業(yè)用戶數(shù)近萬人，科學(xué)數(shù)據(jù)服務(wù)成效顯著。

本文將系統(tǒng)闡釋數(shù)據(jù)中心產(chǎn)生的背景和主要職責(zé)，詳細(xì)介紹數(shù)據(jù)中心的數(shù)據(jù)采集與匯交流程、數(shù)據(jù)服務(wù)與共享方式等，并通過科學(xué)數(shù)據(jù)典型應(yīng)用案例，展示數(shù)據(jù)中心為我國高能物理及相關(guān)物質(zhì)科學(xué)領(lǐng)域提供科學(xué)數(shù)據(jù)服務(wù)的成效。

1 數(shù)據(jù)采集與匯交

數(shù)據(jù)中心面向高能物理相關(guān)領(lǐng)域科研活動(dòng)，實(shí)現(xiàn)數(shù)據(jù)資源、軟件工具、數(shù)據(jù)分析等資源能力的匯交和共享，同時(shí)支持各類科技計(jì)劃項(xiàng)目的數(shù)據(jù)匯交。采集與匯交的科學(xué)數(shù)據(jù)主要來自以下途徑但不僅僅限于此：國家財(cái)政直接全額或部分支持的科研活動(dòng)，國家指導(dǎo)授權(quán)的科研活動(dòng)，通過合作、委托、分包等任何方式間接獲得全額或部分國家財(cái)政資金支持的科研活動(dòng)等產(chǎn)生的論文、實(shí)驗(yàn)數(shù)據(jù)、圖像、視頻、音頻、文字、代碼等形式的科學(xué)數(shù)據(jù)，以及利用社會資金等其他資金資助形成并有意匯交到數(shù)據(jù)中心的相關(guān)科學(xué)數(shù)據(jù)。

對于國家重大科技基礎(chǔ)設(shè)施及大型實(shí)驗(yàn)，數(shù)據(jù)中心通常在項(xiàng)目的初期就開始參與數(shù)據(jù)及工具等的規(guī)劃與建設(shè)，從而保證了數(shù)據(jù)和服務(wù)的質(zhì)量。對于各類科技計(jì)劃項(xiàng)目匯交的科學(xué)數(shù)據(jù)，則嚴(yán)格遵守?cái)?shù)據(jù)匯交流程，形成高質(zhì)量的數(shù)據(jù)資源。具體流程如圖1所示。

圖1 科學(xué)數(shù)據(jù)匯交流程

（1）編制數(shù)據(jù)匯交計(jì)劃?？茖W(xué)數(shù)據(jù)提交方編制具體的項(xiàng)目數(shù)據(jù)匯交計(jì)劃，梳理擬匯交科學(xué)數(shù)據(jù)的詳細(xì)清單，提交數(shù)據(jù)中心審查后確認(rèn)數(shù)據(jù)匯交方案。

（2）簽訂數(shù)據(jù)匯交協(xié)議。數(shù)據(jù)中心和科學(xué)數(shù)據(jù)提交方共同進(jìn)行數(shù)據(jù)匯交協(xié)議簽訂，雙方共同遵照協(xié)議規(guī)定進(jìn)行數(shù)據(jù)匯交。

（3）科學(xué)數(shù)據(jù)整理?？茖W(xué)數(shù)據(jù)提交方按照數(shù)據(jù)中心的數(shù)據(jù)分類模式進(jìn)行數(shù)據(jù)整理和加工，經(jīng)所在單位和合作單位的審核后，向數(shù)據(jù)中心提交數(shù)據(jù)匯交申請。

（4）科學(xué)數(shù)據(jù)匯交?？茖W(xué)數(shù)據(jù)提交方依照《高能物理科學(xué)數(shù)據(jù)匯交管理辦法》和《高能物理科學(xué)數(shù)據(jù)匯交操作流程》的要求，通過數(shù)據(jù)中心數(shù)據(jù)匯交平臺（https://www.nhepsdc.cn/archive）遵照協(xié)議進(jìn)行元數(shù)據(jù)、數(shù)據(jù)實(shí)體和軟件工具的匯交，將科學(xué)數(shù)據(jù)匯交到國家高能物理科學(xué)數(shù)據(jù)平臺。

（5）出具數(shù)據(jù)匯交證明。數(shù)據(jù)中心對項(xiàng)目數(shù)據(jù)匯交協(xié)議、項(xiàng)目任務(wù)書和匯交的科學(xué)數(shù)據(jù)進(jìn)行審核，審核通過后向科學(xué)數(shù)據(jù)提交方出具正式數(shù)據(jù)匯交證明材料。

2 數(shù)據(jù)服務(wù)與共享

數(shù)據(jù)中心收集的數(shù)據(jù)大致可以分為兩類：一是專用高能物理研究實(shí)驗(yàn)數(shù)據(jù)，主要來自國際國內(nèi)大型實(shí)驗(yàn)，如對撞機(jī)實(shí)驗(yàn)、中微子實(shí)驗(yàn)、宇宙線觀測實(shí)驗(yàn)、空間科學(xué)衛(wèi)星實(shí)驗(yàn)等，這類實(shí)驗(yàn)采用合作組形式開展實(shí)驗(yàn)建設(shè)和科學(xué)研究，如大型強(qiáng)子對撞機(jī)LHC實(shí)驗(yàn)[2]、北京正負(fù)電子對撞機(jī)[3]、大亞灣中微子實(shí)驗(yàn)[4]及高海拔宇宙線觀測實(shí)驗(yàn)[5]等。二是公共實(shí)驗(yàn)平臺和裝置，該類實(shí)驗(yàn)和裝置面向國內(nèi)外多學(xué)科用戶提供服務(wù)，如上海光源[6]、中國散裂中子源[7]等。在高能物理領(lǐng)域，不同實(shí)驗(yàn)類型的科學(xué)數(shù)據(jù)共享模式則存在較大的差異。

專用高能物理實(shí)驗(yàn)數(shù)據(jù)在一定期限內(nèi)在實(shí)驗(yàn)合作組框架下對所有合作組成員開放和共享，合作組對數(shù)據(jù)分析處理方法、處理軟件和處理結(jié)果等全流程均有嚴(yán)格的管理制度和規(guī)范。這一領(lǐng)域的科學(xué)家正在探索在合作組框架下讓部分?jǐn)?shù)據(jù)面向國內(nèi)外同行中的非合作組成員開放，推動(dòng)科學(xué)數(shù)據(jù)的二次利用和學(xué)科發(fā)展。由于該類科學(xué)數(shù)據(jù)的分析和利用具有極強(qiáng)的專業(yè)性，為了面向領(lǐng)域科學(xué)愛好者和民眾開放，數(shù)據(jù)中心和科學(xué)家合作，對部分?jǐn)?shù)據(jù)進(jìn)行重建和處理之后面向大眾服務(wù)，以推動(dòng)高能物理相關(guān)的科普工作。

公共實(shí)驗(yàn)平臺和裝置及其科學(xué)數(shù)據(jù)面向國內(nèi)外多學(xué)科交叉用戶提供服務(wù)，其實(shí)驗(yàn)數(shù)據(jù)既用于基礎(chǔ)研究 ，也用于面向國家戰(zhàn)略需求和產(chǎn)業(yè)發(fā)展的研究。在國際上，有多個(gè)同類裝置和實(shí)驗(yàn)制定了相應(yīng)的科學(xué)數(shù)據(jù)管理策略，對科學(xué)數(shù)據(jù)的所有權(quán)、管理和使用進(jìn)行了詳細(xì)規(guī)定，并提出了數(shù)據(jù)保護(hù)期的概念。在我國，該類裝置和實(shí)驗(yàn)在數(shù)量和規(guī)模上都達(dá)到了國際水平，也逐漸意識到數(shù)據(jù)策略的重要性，正在依據(jù)國家相關(guān)政策推動(dòng)數(shù)據(jù)共享和利用，逐步規(guī)劃和建立專業(yè)的數(shù)據(jù)管理團(tuán)隊(duì)開展相關(guān)研究。但總體來說，這類科學(xué)數(shù)據(jù)管理策略和共享服務(wù)研究還處于起步階段。

數(shù)據(jù)中心管理著國內(nèi)外高能物理領(lǐng)域科研活動(dòng)產(chǎn)生的海量實(shí)驗(yàn)數(shù)據(jù)，具體包括粒子物理數(shù)據(jù)、中子科學(xué)數(shù)據(jù)、光子科學(xué)數(shù)據(jù)、天體物理數(shù)據(jù)以及其他相關(guān)科技項(xiàng)目匯交的數(shù)據(jù)。其中，粒子物理數(shù)據(jù)是由國內(nèi)外實(shí)驗(yàn)產(chǎn)生的數(shù)據(jù)，用于高能物理前沿研究，包括上帝粒子Higgs研究、強(qiáng)子物理研究、中微子物理研究、宇宙線研究等。中子科學(xué)數(shù)據(jù)主要是依托脈沖中子源等裝置實(shí)驗(yàn)產(chǎn)生的數(shù)據(jù)，用于物質(zhì)材料的物性和微觀結(jié)構(gòu)與動(dòng)態(tài)變化等研究，為物質(zhì)科學(xué)、生命科學(xué)、資源環(huán)境、新能源等領(lǐng)域的基礎(chǔ)研究和高新技術(shù)開發(fā)提供強(qiáng)有力的支撐。光子科學(xué)數(shù)據(jù)主要是同步輻射光源等裝置實(shí)驗(yàn)產(chǎn)生的數(shù)據(jù)，這類數(shù)據(jù)用于揭示微觀物質(zhì)結(jié)構(gòu)生成演化的機(jī)制，剖析微觀物質(zhì)構(gòu)成，為先進(jìn)材料、航空航天、能源、環(huán)保、醫(yī)藥、石油、化工、生物工程和微細(xì)加工等領(lǐng)域應(yīng)用提供基礎(chǔ)支撐。天體物理數(shù)據(jù)主要來自于大規(guī)模的宇宙線觀測站實(shí)驗(yàn)和空間天文衛(wèi)星，核心科學(xué)目標(biāo)是探索高能宇宙線起源以及相關(guān)的宇宙演化、高能天體演化、高能天體活動(dòng)和暗物質(zhì)的研究。截至2021年7月，數(shù)據(jù)中心的數(shù)據(jù)資源總量超過18 PB。

針對各實(shí)驗(yàn)和匯交的科學(xué)數(shù)據(jù)，數(shù)據(jù)中心維護(hù)和開發(fā)了專用的數(shù)據(jù)處理和分析軟件，實(shí)現(xiàn)了科學(xué)數(shù)據(jù)的處理、分析、加工和挖掘等功能。這些軟件支持了北京譜儀三實(shí)驗(yàn)的模擬、數(shù)據(jù)刻度、校準(zhǔn)、重建和分析；大亞灣中微子實(shí)驗(yàn)的數(shù)據(jù)分析和模擬；高海拔宇宙線觀測站實(shí)驗(yàn)的模擬、數(shù)據(jù)刻度、校準(zhǔn)、重建和分析；硬X射線調(diào)制望遠(yuǎn)鏡“慧眼”衛(wèi)星的數(shù)據(jù)處理和分析；歐洲核子中心ATLAS實(shí)驗(yàn)、CMS實(shí)驗(yàn)和LHCb實(shí)驗(yàn)的模擬、數(shù)據(jù)重建和分析；中國散裂中子源和高能同步輻射光源的實(shí)驗(yàn)數(shù)據(jù)處理和可視化。這些實(shí)驗(yàn)也共享了一些基礎(chǔ)程序庫，如數(shù)據(jù)分析軟件ROOT、探測器模擬軟件GEANT4、分布式計(jì)算庫MPI、GPU加速計(jì)算庫CUDA和OpenCL，以及科學(xué)數(shù)據(jù)持久化庫HDF5 等。

數(shù)據(jù)服務(wù)的目的是為各業(yè)務(wù)系統(tǒng)獲取準(zhǔn)確數(shù)據(jù)提供便捷，為全局應(yīng)用提供安全可靠的數(shù)據(jù)支撐。數(shù)據(jù)中心圍繞高能物理數(shù)據(jù)、中子科學(xué)數(shù)據(jù)、光子科學(xué)數(shù)據(jù)、天體物理數(shù)據(jù)進(jìn)行數(shù)據(jù)服務(wù)建設(shè)，統(tǒng)一數(shù)據(jù)訪問接口，提供全局的數(shù)據(jù)應(yīng)用，充分發(fā)揮數(shù)據(jù)的作用。數(shù)據(jù)共享策略因數(shù)據(jù)性質(zhì)不同而不同。

專用型高能物理數(shù)據(jù)可供實(shí)驗(yàn)合作組有限先使用，而機(jī)構(gòu)/個(gè)人只有申請成為合作組成員才可獲得訪問數(shù)據(jù)的授權(quán)。根據(jù)合作組的規(guī)劃，專用數(shù)據(jù)經(jīng)過加工后逐步釋放提供開放共享。中子和光子科學(xué)數(shù)據(jù)所有權(quán)屬于大科學(xué)裝置，提案用戶/團(tuán)隊(duì)擁有數(shù)據(jù)的優(yōu)先使用權(quán)，數(shù)據(jù)保護(hù)期屆滿后數(shù)據(jù)也將釋放提供開放共享。數(shù)據(jù)中心在各業(yè)務(wù)系統(tǒng)之間建立安全、可管理、高性能的數(shù)據(jù)共享網(wǎng)絡(luò)和服務(wù)平臺，保證數(shù)據(jù)服務(wù)和共享業(yè)務(wù)的可靠運(yùn)行。目前，數(shù)據(jù)中心的數(shù)據(jù)服務(wù)用戶近萬人，來自國內(nèi)外數(shù)百家單位。數(shù)據(jù)共享的方式有兩種：一是數(shù)據(jù)中心支持?jǐn)?shù)據(jù)傳輸?shù)胶献鹘M單位進(jìn)行科學(xué)計(jì)算；二是支持在數(shù)據(jù)中心直接訪問數(shù)據(jù)進(jìn)行科學(xué)計(jì)算。每年的數(shù)據(jù)訪問量高達(dá)300 PB，以合作組的名義發(fā)表的SCI論文超過300 篇，很好地支持了科學(xué)家們的科研活動(dòng)。

3 數(shù)據(jù)應(yīng)用典型案例

3.1 宇宙線觀測

宇宙線是來自宇宙空間的高能帶電粒子流的總稱。當(dāng)前宇宙線物理的核心問題是尋找宇宙線起源。高海拔宇宙線觀測站（Large High Altitude Air Shower Observatory，LHAASO）是目前世界上海拔最高、規(guī)模最大、靈敏度最強(qiáng)的宇宙射線探測裝置，其核心科學(xué)目標(biāo)是探索高能宇宙線起源并開展相關(guān)的高能輻射、天體演化乃至暗物質(zhì)分布等基礎(chǔ)科學(xué)的研究。LHAASO每年產(chǎn)生的數(shù)據(jù)量超過6 PB，按照10年實(shí)驗(yàn)周期來計(jì)算，再加上模擬數(shù)據(jù)、分析數(shù)據(jù)等，至少需要能夠支持60 PB以上的數(shù)據(jù)管理系統(tǒng)。

數(shù)據(jù)中心為LHAASO實(shí)驗(yàn)提供了集高性能計(jì)算集群、海量存儲系統(tǒng)、高速傳輸網(wǎng)絡(luò)、分布式數(shù)據(jù)共享于一體的科學(xué)數(shù)據(jù)服務(wù)平臺，為宇宙線研究提供了技術(shù)支撐。

在稻城在站小型數(shù)據(jù)中心部署了登錄節(jié)點(diǎn)、計(jì)算集群和磁盤存儲，支持水切倫科夫探測器陣列（WCDA）在線處理、過濾噪聲、壓縮數(shù)據(jù)等操作，并實(shí)時(shí)獲取平方公里探測器陣列（KM2A）和廣角切倫科夫望遠(yuǎn)鏡陣列（WFCTA）的實(shí)驗(yàn)數(shù)據(jù)，實(shí)時(shí)通過專線網(wǎng)絡(luò)傳輸?shù)礁吣芩?。在高能所大型?shù)據(jù)中心部署了登錄節(jié)點(diǎn)、計(jì)算集群、磁盤存儲和磁帶存儲，支持大規(guī)模的數(shù)據(jù)處理，包括數(shù)據(jù)存儲、模擬、解碼、重建、事例符合、分析等任務(wù)。KM2A、WFCTA的原始數(shù)據(jù)及WCDA的初步重建數(shù)據(jù)從稻城傳輸?shù)礁吣芩?，立即注冊到?shù)據(jù)管理系統(tǒng)的數(shù)據(jù)庫中，將數(shù)據(jù)文件保存到高能所的磁盤存儲系統(tǒng)中，并定期保存到磁帶庫，實(shí)現(xiàn)數(shù)據(jù)的長期保存。

根據(jù)LHAASO的數(shù)據(jù)處理需求，數(shù)據(jù)中心采用HTCondor作為作業(yè)調(diào)度系統(tǒng)，采用EOS作為磁盤分布式文件系統(tǒng)，采用CERN CASTOR作為磁帶庫管理系統(tǒng)。整個(gè)平臺的核心是一個(gè)高速、高可靠的網(wǎng)絡(luò)，其他子系統(tǒng)連接到這個(gè)核心網(wǎng)絡(luò)上，包括前端登錄集群、存儲集群、計(jì)算節(jié)點(diǎn)集群、備份與分級存儲系統(tǒng)、支撐管理系統(tǒng)等。如圖2所示，前端登錄集群直接面向用戶提供服務(wù)，后端的計(jì)算與存儲等系統(tǒng)以虛擬資源池的形式通過前端系統(tǒng)展現(xiàn)給用戶。系統(tǒng)采用計(jì)算和存儲分離的模式。計(jì)算節(jié)點(diǎn)構(gòu)成計(jì)算集群，通過高性能網(wǎng)絡(luò)從存儲系統(tǒng)中讀取數(shù)據(jù)，計(jì)算過程中和計(jì)算結(jié)束后均會將結(jié)果寫回到存儲系統(tǒng)。存儲系統(tǒng)采用集群結(jié)構(gòu)，構(gòu)成分布式的海量磁盤存儲系統(tǒng)。系統(tǒng)通過作業(yè)調(diào)度軟件將大量計(jì)算節(jié)點(diǎn)上的CPU資源整合起來，形成計(jì)算集群，對用戶提供單一系統(tǒng)映像。作業(yè)調(diào)度系統(tǒng)對多用戶提交的任務(wù)進(jìn)行統(tǒng)一安排，避免沖突，并對用戶訪問資源進(jìn)行授權(quán)。由于LHAASO數(shù)據(jù)量大，且要求長期保存，系統(tǒng)采用了基于磁盤—磁帶的分級存儲系統(tǒng)，將磁盤、磁帶庫等多種異構(gòu)介質(zhì)的存儲設(shè)備整合起來，構(gòu)建了統(tǒng)一共享的文件名字空間。對于用戶來說，磁盤和磁帶上的數(shù)據(jù)都是在線的，可以隨時(shí)訪問。

圖2 離線計(jì)算環(huán)境架構(gòu)

LHAASO實(shí)驗(yàn)采用邊建設(shè)邊取數(shù)的運(yùn)行方式。自2019年實(shí)驗(yàn)開始取數(shù)以來，數(shù)據(jù)中心平臺已積累了超過7 PB實(shí)驗(yàn)數(shù)據(jù)，并建設(shè)了一套40 PB的分布式磁盤存儲系統(tǒng)和25 PB的磁帶存儲系統(tǒng)。截至2021年9月，數(shù)據(jù)中心平臺上已運(yùn)行7 500 萬個(gè)LHAASO實(shí)驗(yàn)作業(yè)，提供了6 300 萬個(gè)CPU機(jī)時(shí)。依托LHAASO數(shù)據(jù)處理平臺，基于LHAASO已經(jīng)建成的1/2 規(guī)模探測裝置，通過在2020年的11 個(gè)月內(nèi)觀測數(shù)據(jù)，LHAASO在銀河系內(nèi)發(fā)現(xiàn)大量超高能宇宙加速器，并記錄到能量達(dá)1.4 拍電子伏的伽馬光子（拍=千萬億），這是人類觀測到的最高能量光子，突破了人類對銀河系粒子加速的傳統(tǒng)認(rèn)知，開啟了 “超高能伽馬天文學(xué)”時(shí)代[8]。

3.2 空間科學(xué)

空間天文學(xué)是利用空間飛行器在地球稠密大氣外進(jìn)行天文觀測和研究的一門學(xué)科。利用國內(nèi)空間天文衛(wèi)星能夠穿過星際物質(zhì)的遮擋“看”到宇宙中的射線，開展高能天體演化、黑洞、伽馬射線暴和引力波電磁對應(yīng)體等方面的科學(xué)研究。數(shù)據(jù)中心為空間天文衛(wèi)星項(xiàng)目提供了集數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)分析與共享服務(wù)于一體的科學(xué)數(shù)據(jù)服務(wù)平臺（圖3），支持并實(shí)現(xiàn)了觀測任務(wù)提出、觀測任務(wù)執(zhí)行、數(shù)據(jù)接收、數(shù)據(jù)預(yù)處理、數(shù)據(jù)高級處理和數(shù)據(jù)分析的全生命周期管理，為空間科學(xué)研究提供支撐。

圖3 空間天文衛(wèi)星數(shù)據(jù)服務(wù)平臺

在觀測任務(wù)提出階段，由科學(xué)家提出科學(xué)觀測提案，經(jīng)過科學(xué)評估和技術(shù)評估生成觀測計(jì)劃，轉(zhuǎn)入觀測任務(wù)執(zhí)行階段，科學(xué)數(shù)據(jù)下傳后通過VPN網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸，實(shí)現(xiàn)衛(wèi)星科學(xué)數(shù)據(jù)的在線和離線存儲。對于近實(shí)時(shí)數(shù)據(jù)流產(chǎn)生的在線數(shù)據(jù)進(jìn)行快視分析，實(shí)現(xiàn)對機(jī)遇目標(biāo)（爆發(fā)源、新源等）的監(jiān)測；對于離線數(shù)據(jù)進(jìn)行去除傳輸錯(cuò)誤、解幀、分路、排重、數(shù)據(jù)拼接、轉(zhuǎn)換等預(yù)處理過程，生成初級數(shù)據(jù)產(chǎn)品，對載荷源包數(shù)據(jù)和工程輔助數(shù)據(jù)等進(jìn)行解包、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分解、內(nèi)容重組、格式標(biāo)準(zhǔn)化等處理步驟，生成用戶能夠使用的高級數(shù)據(jù)產(chǎn)品。為了保障數(shù)據(jù)的質(zhì)量和可追溯性，對數(shù)據(jù)處理過程中產(chǎn)生的各類數(shù)據(jù)進(jìn)行分類存儲與統(tǒng)一管理，采用標(biāo)準(zhǔn)的編目規(guī)則制作數(shù)據(jù)集和數(shù)據(jù)卷存放到科學(xué)數(shù)據(jù)產(chǎn)品庫[9]。依據(jù)數(shù)據(jù)策略，將數(shù)據(jù)匯交到數(shù)據(jù)中心。

在數(shù)據(jù)共享服務(wù)方面，平臺采用容器技術(shù)構(gòu)建實(shí)時(shí)快速數(shù)據(jù)處理集群，集成衛(wèi)星專業(yè)數(shù)據(jù)分析軟件和工具，依據(jù)數(shù)據(jù)共享策略，為用戶提供一站式數(shù)據(jù)與分析的集成服務(wù)（圖4），推動(dòng)數(shù)據(jù)的深層次共享。

圖4 空間天文衛(wèi)星數(shù)據(jù)分析服務(wù)技術(shù)架構(gòu)

利用該平臺支持HXMT和GECAM衛(wèi)星開展各類觀測達(dá)1 000 多次，處理了關(guān)于黑洞、中子星、伽馬射線暴乃至引力波暴等觀測數(shù)據(jù)約400 TB，生成了超過30 TB的科學(xué)數(shù)據(jù)產(chǎn)品，支持國內(nèi)外天文學(xué)家的聯(lián)合觀測和科學(xué)研究。運(yùn)用數(shù)據(jù)中心的數(shù)據(jù)與分析的集成服務(wù)，支持產(chǎn)生了一系列具有國際影響力的科學(xué)成果。2020年，國際學(xué)術(shù)期刊《高能天體物理學(xué)期刊》以專輯形式發(fā)布了中國首顆X射線天文衛(wèi)星“慧眼”的部分技術(shù)和科學(xué)結(jié)果，共發(fā)表了21 篇學(xué)術(shù)論文。

3.3 中微子物理

中微子物理是當(dāng)今粒子物理、天體物理與宇宙學(xué)的交叉與熱點(diǎn)，存在大量未解之謎，是發(fā)現(xiàn)新物理的突破口與關(guān)鍵。大亞灣中微子實(shí)驗(yàn)數(shù)據(jù)來自大亞灣反應(yīng)堆中微子實(shí)驗(yàn)，通過對該數(shù)據(jù)的分析研究可精確測定具有重大物理意義的參數(shù)——中微子混合角θ13。該數(shù)值的大小決定了未來中微子物理的發(fā)展方向，對宇宙起源、粒子物理大統(tǒng)一理論以及未來中微子物理的發(fā)展方向等均有極為重要的意義。大亞灣中微子實(shí)驗(yàn)自運(yùn)行以來每年產(chǎn)生原始數(shù)據(jù)約100 TB，重建及模擬數(shù)據(jù)量維持在每年100 TB。

數(shù)據(jù)中心為大亞灣中微子實(shí)驗(yàn)提供了數(shù)據(jù)全生命周期的管理，包括數(shù)據(jù)傳輸與共享、離線數(shù)據(jù)存儲、數(shù)據(jù)處理與分析平臺等。

在大亞灣實(shí)驗(yàn)現(xiàn)場和數(shù)據(jù)中心均部署了數(shù)據(jù)傳輸系統(tǒng)，如圖5所示?，F(xiàn)場的數(shù)據(jù)傳輸系統(tǒng)通過查詢在線數(shù)據(jù)獲取系統(tǒng)（以下簡稱“DAQ”）的磁盤列表，將新產(chǎn)生的實(shí)驗(yàn)原始數(shù)據(jù)拷貝至現(xiàn)場的本地磁盤存儲中，供在線數(shù)據(jù)分析系統(tǒng)進(jìn)行在線數(shù)據(jù)分析，同時(shí)傳輸至數(shù)據(jù)中心的離線存儲系統(tǒng)，供離線數(shù)據(jù)處理與分析系統(tǒng)進(jìn)行分析。數(shù)據(jù)傳輸系統(tǒng)將原始數(shù)據(jù)存放至離線存儲系統(tǒng)后，則會把原始數(shù)據(jù)轉(zhuǎn)發(fā)至位于LBNL的存儲空間[10]。依托高效的數(shù)據(jù)傳輸系統(tǒng)和數(shù)據(jù)中心可靠的網(wǎng)絡(luò)通信鏈路，原始數(shù)據(jù)從大亞灣現(xiàn)場產(chǎn)生到數(shù)據(jù)中心離線存儲系統(tǒng)的延時(shí)只有10 ～15 分鐘，到LBNL的離線存儲系統(tǒng)的延時(shí)只有15 ～20 分鐘，原始數(shù)據(jù)采集并打包成文件后，30 分鐘左右就已經(jīng)傳輸?shù)街忻纼蓢碾x線服務(wù)器上，使離線分析人員可以在第一時(shí)間檢查數(shù)據(jù)狀態(tài)，進(jìn)行探測器刻度。

圖5 數(shù)據(jù)傳輸系統(tǒng)部署架構(gòu)圖

為保證數(shù)據(jù)永久可靠保存，并考慮到實(shí)施成本，數(shù)據(jù)中心為大亞灣中微子實(shí)驗(yàn)的原始數(shù)據(jù)提供了磁盤存儲和磁帶存儲相結(jié)合的模式。磁盤存儲采用基于Lustre 分布式文件系統(tǒng)搭建，通過元數(shù)據(jù)和數(shù)據(jù)分離的架構(gòu)實(shí)現(xiàn)讀寫吞吐率的線性可擴(kuò)展性。元數(shù)據(jù)服務(wù)器集群包括多臺Lustre 元數(shù)據(jù)服務(wù)器，通過SAN 存儲交換網(wǎng)絡(luò)連接一個(gè)高性能全閃盤陣。同時(shí)，系統(tǒng)還設(shè)計(jì)了一個(gè)低速盤陣來異步拷貝全閃盤陣中的數(shù)據(jù)，進(jìn)一步保證元數(shù)據(jù)的可靠性。每個(gè)磁盤陣列配置兩個(gè)以上的控制器以及RAID 6 以上的數(shù)據(jù)冗余和快速數(shù)據(jù)重建能力。磁帶存儲則采用CERN CASTOR 磁帶管理系統(tǒng)。系統(tǒng)包括請求隊(duì)列、磁帶驅(qū)動(dòng)器、磁帶服務(wù)器和名字服務(wù)器等組件。磁帶服務(wù)器可以通過FC 通道驅(qū)動(dòng)磁帶庫的機(jī)械手，并且通過HBA卡連接磁帶驅(qū)動(dòng)器讀寫數(shù)據(jù)。通過CASTOR 提供的數(shù)據(jù)訪問接口和API，用戶可以順序地讀寫磁帶中的數(shù)據(jù)文件。

數(shù)據(jù)中心為大亞灣中微子實(shí)驗(yàn)提供了離線的數(shù)據(jù)處理與分析平臺，包括2 000 多個(gè)CPU核，選用適合高通量計(jì)算的HTCondor調(diào)度器進(jìn)行計(jì)算資源的調(diào)度，并基于不同數(shù)據(jù)處理和分析的需求提供不同時(shí)長的計(jì)算作業(yè)調(diào)度。數(shù)據(jù)中心為大亞灣實(shí)驗(yàn)提供了長期穩(wěn)定的數(shù)據(jù)服務(wù)，為發(fā)現(xiàn)和精確測量中微子第三種振蕩模式等世界級科學(xué)成果作出重要貢獻(xiàn)。

3.4 基于中子散射的材料科學(xué)

中國散裂中子源是國家“十一五”期間重點(diǎn)建設(shè)的十二大科學(xué)裝置之首，為我國材料科學(xué)技術(shù)、物理、化學(xué)化工、生命科學(xué)、資源環(huán)境和新能源等提供了一個(gè)先進(jìn)、功能強(qiáng)大的科研平臺。散裂中子源就像“超級顯微鏡”，是研究物質(zhì)微觀結(jié)構(gòu)的理想探針。中國散裂中子源裝備有多臺中子譜儀，數(shù)據(jù)中心為這些實(shí)驗(yàn)譜儀組成的材料科學(xué)研究平臺提供了全方位的數(shù)據(jù)服務(wù)。

材料科學(xué)數(shù)據(jù)平臺主要包括用戶管理系統(tǒng)、實(shí)驗(yàn)提案系統(tǒng)、實(shí)驗(yàn)元數(shù)據(jù)管理系統(tǒng)、模擬計(jì)算系統(tǒng)、虛擬實(shí)驗(yàn)系統(tǒng)、實(shí)驗(yàn)數(shù)據(jù)訪問系統(tǒng)和數(shù)據(jù)分析與可視化系統(tǒng)，涵蓋了賬號注冊、提案申請、虛擬實(shí)驗(yàn)、實(shí)驗(yàn)數(shù)據(jù)/元數(shù)據(jù)存儲與訪問、數(shù)據(jù)分析的完整用戶流程。平臺針對不同數(shù)據(jù)模擬環(huán)境和大科學(xué)裝置不同譜儀的具體數(shù)據(jù)處理需求分別開發(fā)了模擬軟件、事例重建軟件、后期數(shù)據(jù)分析軟件和數(shù)據(jù)可視化軟件，并實(shí)現(xiàn)與分布式存儲、云計(jì)算資源的整合，營造了一站式的數(shù)據(jù)管理與數(shù)據(jù)分析環(huán)境。平臺整體架構(gòu)如圖6所示。

圖6 材料科學(xué)數(shù)據(jù)平臺整體架構(gòu)

材料科學(xué)數(shù)據(jù)平臺支撐中國散裂中子源完成200 多項(xiàng)用戶課題，發(fā)表用戶實(shí)驗(yàn)成果論文50 多篇。其中，香港大學(xué)機(jī)械工程系黃明欣教授團(tuán)隊(duì)研發(fā)的超級鋼，在保證低成本的前提下達(dá)到前所未有的2.2 GPa屈服強(qiáng)度和16%的均勻延伸率。其成果發(fā)表在國際學(xué)術(shù)期刊《Science》上。本次在CSNS通用粉末衍射儀（GPPD）成功開展的淬火配分鋼（QP 鋼）的中子衍射研究，不僅獲得了高強(qiáng)鋼在不同組織結(jié)構(gòu)及不同變形條件下亞穩(wěn)奧氏體與位錯(cuò)等的重要微觀參數(shù)，而且識別了析出碳化物信息?；跀?shù)據(jù)中心的材料科學(xué)數(shù)據(jù)平臺，該實(shí)驗(yàn)為深入理解第三代超高強(qiáng)鋼的變形、強(qiáng)化及斷裂機(jī)理提供了關(guān)鍵的數(shù)據(jù)支持，對推動(dòng)高強(qiáng)度級別淬火配分鋼的產(chǎn)業(yè)應(yīng)用具有積極的作用。

4 結(jié)語

高能物理科學(xué)數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)規(guī)模巨大、結(jié)構(gòu)復(fù)雜，對于不同的實(shí)驗(yàn)，其數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理的工具和方法也不同。對于大科學(xué)裝置項(xiàng)目，為了提供高質(zhì)量的科學(xué)數(shù)據(jù)服務(wù)，數(shù)據(jù)中心采取走出去的方式在科學(xué)實(shí)驗(yàn)設(shè)計(jì)建造、實(shí)驗(yàn)數(shù)據(jù)采集和分析的每個(gè)階段都與科學(xué)項(xiàng)目建立緊密的合作，幫助科學(xué)項(xiàng)目建立全生命周期的數(shù)據(jù)服務(wù)系統(tǒng)，這樣確保了科學(xué)項(xiàng)目產(chǎn)生數(shù)據(jù)時(shí)就直接將數(shù)據(jù)匯交到數(shù)據(jù)中心，并依托數(shù)據(jù)中心提供數(shù)據(jù)訪問和處理的服務(wù)。另外，數(shù)據(jù)中心建立了一套科學(xué)數(shù)據(jù)匯交、管理、共享的全鏈條數(shù)據(jù)服務(wù)體系，努力為我國高能物理及相關(guān)物質(zhì)科學(xué)領(lǐng)域提供科學(xué)數(shù)據(jù)服務(wù)，為國家科學(xué)發(fā)現(xiàn)與技術(shù)創(chuàng)新作出應(yīng)有的貢獻(xiàn)。