劉媛媛 何文春 王妍 李江濤 白金婷

(國(guó)家氣象信息中心, 北京 100081)

引言

隨著對(duì)龍卷、冰雹和強(qiáng)對(duì)流大風(fēng)等小尺度天氣監(jiān)測(cè)的需求提升，分鐘級(jí)觀測(cè)、秒級(jí)自動(dòng)探測(cè)數(shù)據(jù)海量涌進(jìn)，以及高分氣象衛(wèi)星發(fā)射和高時(shí)空分辨率數(shù)值模式的發(fā)展，近來(lái)年氣象數(shù)據(jù)量增長(zhǎng)明顯加速，可以說(shuō)真正進(jìn)入了氣象大數(shù)據(jù)時(shí)代，如何解決好海量氣象數(shù)據(jù)存儲(chǔ)的問(wèn)題也成為信息化發(fā)展關(guān)注的焦點(diǎn)[1-7]。海量數(shù)據(jù)規(guī)模通常會(huì)達(dá)到PB級(jí)，甚至已經(jīng)發(fā)展到ZB級(jí)。雖然大數(shù)據(jù)技術(shù)發(fā)展得如火如荼，考慮到成本海量數(shù)據(jù)管理通常不會(huì)使用單一的存儲(chǔ)技術(shù)或介質(zhì)，會(huì)根據(jù)數(shù)據(jù)訪(fǎng)問(wèn)的情況決定數(shù)據(jù)的存儲(chǔ)方式，這是因?yàn)閺臄?shù)據(jù)的服務(wù)特點(diǎn)來(lái)看，數(shù)據(jù)會(huì)呈現(xiàn)冷熱不均的分布。數(shù)據(jù)總量中用戶(hù)訪(fǎng)問(wèn)頻次較高的數(shù)據(jù)稱(chēng)為“熱數(shù)據(jù)”，用戶(hù)訪(fǎng)問(wèn)頻次一般的數(shù)據(jù)稱(chēng)為“溫?cái)?shù)據(jù)”，用戶(hù)訪(fǎng)問(wèn)頻度較低的數(shù)據(jù)稱(chēng)為“冷數(shù)據(jù)”。冷熱數(shù)據(jù)分布通常符合二八原則。對(duì)于冷數(shù)據(jù)，大部分?jǐn)?shù)據(jù)中心都會(huì)采用相對(duì)廉價(jià)的存儲(chǔ)介質(zhì)進(jìn)行管理。由于磁帶具有安全可靠、經(jīng)濟(jì)節(jié)能的優(yōu)勢(shì)，而且技術(shù)成熟，是存儲(chǔ)冷數(shù)據(jù)較好的選擇。在氣象行業(yè)，用磁帶庫(kù)存儲(chǔ) “冷數(shù)據(jù)”有很長(zhǎng)的歷史，歐洲中心從1985年就開(kāi)始在MARS系統(tǒng)使用[8-10]，目前仍在大規(guī)模應(yīng)用。美國(guó)NOAA的CLASS系統(tǒng)、NOMDAS系統(tǒng)與中國(guó)氣象局的9210系統(tǒng)均在2002—2004年左右開(kāi)始在數(shù)據(jù)歸檔業(yè)務(wù)場(chǎng)景中使用磁帶庫(kù)。

中國(guó)氣象局國(guó)家氣象信息中心承擔(dān)世界數(shù)據(jù)中心中國(guó)氣象科學(xué)數(shù)據(jù)分中心的職責(zé)，負(fù)責(zé)氣象資料的歸檔業(yè)務(wù)。歸檔業(yè)務(wù)最初階段為人工歸檔方式，通過(guò)光盤(pán)以及磁帶介質(zhì)載體對(duì)數(shù)據(jù)集產(chǎn)品以及少部分人工觀測(cè)原始數(shù)據(jù)、數(shù)值預(yù)報(bào)模式產(chǎn)品等進(jìn)行歸檔。自2004年起，信息中心啟動(dòng)了自動(dòng)化歸檔業(yè)務(wù)，先后歷經(jīng)國(guó)家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)歸檔子系統(tǒng)、國(guó)家級(jí)綜合氣象信息共享系統(tǒng)歸檔子系統(tǒng)(以下簡(jiǎn)稱(chēng)CIMISS歸檔系統(tǒng))。國(guó)家衛(wèi)星氣象中心也先后建成氣象衛(wèi)星資料存檔系統(tǒng)[11]和風(fēng)云氣象衛(wèi)星數(shù)據(jù)存檔與服務(wù)系統(tǒng)[12]。存儲(chǔ)介質(zhì)先后使用過(guò)9940 B磁帶、LTO4磁帶。隨著數(shù)據(jù)量的不斷增加，自2017年以來(lái)，系統(tǒng)開(kāi)始出現(xiàn)資源占用率高以及磁帶讀寫(xiě)性能低下、數(shù)據(jù)回取服務(wù)緩慢等問(wèn)題。2018年，氣象大數(shù)據(jù)云平臺(tái)(簡(jiǎn)稱(chēng)“天擎”)建設(shè)時(shí)，為滿(mǎn)足大數(shù)據(jù)背景下的歸檔業(yè)務(wù)需求，“天擎”歸檔系統(tǒng)開(kāi)始建設(shè)。

1 歸檔業(yè)務(wù)建設(shè)需求

“天擎”是以“云+端”為設(shè)計(jì)思路實(shí)現(xiàn)的“數(shù)算一體”的平臺(tái)，改變了過(guò)去煙囪式的應(yīng)用系統(tǒng)建設(shè)方式，各業(yè)務(wù)系統(tǒng)的輸入輸出數(shù)據(jù)均在“天擎”中進(jìn)行統(tǒng)一集約化管理,算力靠近數(shù)據(jù)，數(shù)據(jù)不再冗余存儲(chǔ)。“天擎”以數(shù)據(jù)為中心支撐各應(yīng)用系統(tǒng)圍繞數(shù)據(jù)結(jié)合算法和算力進(jìn)行集約化運(yùn)行，提升業(yè)務(wù)流程運(yùn)行效率并節(jié)約系統(tǒng)資源?！疤烨妗惫芾淼臄?shù)據(jù)分為3部分：①核心氣象數(shù)據(jù)，如氣象觀測(cè)、加工的氣象數(shù)據(jù)和產(chǎn)品。②輔助氣象數(shù)據(jù)，即輔助氣象業(yè)務(wù)應(yīng)用的其他數(shù)據(jù)，如裝備信息、社會(huì)化觀測(cè)、氣象多媒體等數(shù)據(jù)。③行業(yè)社會(huì)交換數(shù)據(jù)，如農(nóng)業(yè)、林業(yè)、交通、海洋、水利等外部門(mén)和社會(huì)交換的、與氣象應(yīng)用相關(guān)的數(shù)據(jù)。“天擎”管理的數(shù)據(jù)存儲(chǔ)規(guī)模預(yù)計(jì)將達(dá)到100 PB。

“天擎”一方面要采用合理的技術(shù)方案對(duì)海量數(shù)據(jù)進(jìn)行集中存儲(chǔ)管理，另一方面要滿(mǎn)足不同應(yīng)用場(chǎng)景的數(shù)據(jù)服務(wù)需求，因此需要對(duì)應(yīng)用的特點(diǎn)及數(shù)據(jù)使用的特點(diǎn)進(jìn)行詳細(xì)的分析?！疤烨妗睂?duì)于業(yè)務(wù)和科研應(yīng)用均需進(jìn)行良好的支撐，天氣分析、決策服務(wù)、數(shù)值預(yù)報(bào)等實(shí)時(shí)性業(yè)務(wù)希望數(shù)據(jù)服務(wù)能夠毫秒級(jí)響應(yīng)，它們使用的數(shù)據(jù)范圍通常為當(dāng)前時(shí)刻數(shù)據(jù)或近期數(shù)據(jù)，科研工作需要進(jìn)行的歷史數(shù)據(jù)回算或分析，通常會(huì)使用5年前甚至更長(zhǎng)時(shí)間前的數(shù)據(jù)，但數(shù)據(jù)服務(wù)響應(yīng)要求相對(duì)較低，可以為小時(shí)級(jí),還有一些業(yè)務(wù)應(yīng)用需要使用近5年的數(shù)據(jù)，數(shù)據(jù)服務(wù)響應(yīng)需求處于實(shí)時(shí)業(yè)務(wù)和科研工作之間。

“天擎”根據(jù)上述分析將所管理的數(shù)據(jù)按熱度分為3類(lèi)(表1)：①7～30天數(shù)據(jù)為熱數(shù)據(jù)，采用性能較高的如SSD等在線(xiàn)存儲(chǔ)介質(zhì)進(jìn)行存儲(chǔ)；②5年內(nèi)的數(shù)據(jù)為溫?cái)?shù)據(jù)，采用普通性能的在線(xiàn)存儲(chǔ)介質(zhì)；③5年以前的數(shù)據(jù)為冷數(shù)據(jù)，采用磁帶等近線(xiàn)、離線(xiàn)存儲(chǔ)介質(zhì)進(jìn)行管理。

表1 “天擎”歸檔系統(tǒng)數(shù)據(jù)存儲(chǔ)策略

“天擎”歸檔系統(tǒng)承擔(dān)的是對(duì)冷數(shù)據(jù)的管理和服務(wù)。由于“天擎”管理數(shù)據(jù)的范疇的擴(kuò)大，歸檔數(shù)據(jù)范圍和種類(lèi)的也隨之增長(zhǎng)，2018年建設(shè)時(shí)預(yù)計(jì)未來(lái)5年內(nèi)，“天擎”歸檔業(yè)務(wù)日數(shù)據(jù)量會(huì)由1 TB上升到至少10 TB，最高有可能達(dá)到40 TB，同時(shí)歸檔系統(tǒng)還需支持?jǐn)?shù)據(jù)分級(jí)分類(lèi)歸檔等數(shù)據(jù)安全管理要求?；谝陨蠈?duì)未來(lái)業(yè)務(wù)發(fā)展的預(yù)估，“天擎”歸檔系統(tǒng)設(shè)計(jì)建設(shè)為一套支撐百PB級(jí)數(shù)據(jù)歸檔、具備高效自動(dòng)化數(shù)據(jù)回取服務(wù)能力的標(biāo)準(zhǔn)、規(guī)范的氣象資料歸檔管理系統(tǒng)：①實(shí)現(xiàn)歸檔業(yè)務(wù)功能的分布式集群化運(yùn)行能力，建立可擴(kuò)展的數(shù)據(jù)歸檔和回取系統(tǒng)，滿(mǎn)足不斷增長(zhǎng)的實(shí)時(shí)歷史數(shù)據(jù)的歸檔業(yè)務(wù)需求；②支持不同安全級(jí)別數(shù)據(jù)的歸檔及回取，磁帶讀寫(xiě)效率大于150 MB/s；③綜合考慮數(shù)據(jù)記帶性能和數(shù)據(jù)回取服務(wù)需求，實(shí)現(xiàn)靈活的數(shù)據(jù)歸檔策略的制定；④實(shí)現(xiàn)7000盤(pán)存量LTO4磁帶的自動(dòng)化轉(zhuǎn)儲(chǔ)功能和支撐未來(lái)轉(zhuǎn)儲(chǔ)需求所需匹配的系統(tǒng)功能；⑤與 “天擎”存儲(chǔ)管理與服務(wù)系統(tǒng)進(jìn)行協(xié)同，實(shí)現(xiàn)自動(dòng)化數(shù)據(jù)回取服務(wù)；⑥在天鏡中實(shí)現(xiàn)系統(tǒng)主要業(yè)務(wù)流程監(jiān)控及數(shù)據(jù)全流程的監(jiān)控；⑦實(shí)現(xiàn)對(duì)磁帶安全規(guī)范的管理。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)架構(gòu)

在“天擎”歸檔系統(tǒng)總體技術(shù)結(jié)構(gòu)中，明確定義了系統(tǒng)建設(shè)的層次性結(jié)構(gòu)體系，并將系統(tǒng)的各個(gè)層次加以詳細(xì)劃分，主要包括應(yīng)用與接口交互層、歸檔業(yè)務(wù)處理與服務(wù)層、系統(tǒng)軟硬件支撐層，如圖1所示。

圖1 “天擎”歸檔系統(tǒng)架構(gòu)

應(yīng)用與接口交互層提供歸檔系統(tǒng)門(mén)戶(hù)、專(zhuān)題及應(yīng)用數(shù)據(jù)管理功能。在歸檔系統(tǒng)門(mén)戶(hù)中，實(shí)現(xiàn)各類(lèi)資料策略管理與配置功能、近線(xiàn)和離線(xiàn)數(shù)據(jù)實(shí)現(xiàn)回取功能、訂單管理功能、資料歸檔統(tǒng)計(jì)信息功能等。應(yīng)用與接口交互層同時(shí)與通信系統(tǒng)(CTS)、數(shù)據(jù)統(tǒng)一訪(fǎng)問(wèn)接口(MUSIC)、天鏡等進(jìn)行接口交互，提供資料數(shù)據(jù)歸檔、回取和歸檔系統(tǒng)各業(yè)務(wù)環(huán)節(jié)狀態(tài)、告警信息上報(bào)等功能。

歸檔業(yè)務(wù)處理與服務(wù)層實(shí)現(xiàn)歸檔業(yè)務(wù)具體功能，以服務(wù)的形式分布式部署在歸檔服務(wù)器集群環(huán)境中，主要包括數(shù)據(jù)歸檔調(diào)度、數(shù)據(jù)歸檔、數(shù)據(jù)分發(fā)與服務(wù)、數(shù)據(jù)存儲(chǔ)資源池管理和實(shí)時(shí)監(jiān)視與告警。其中數(shù)據(jù)歸檔調(diào)度子系統(tǒng)以消息隊(duì)列(RabbitMQ)為基礎(chǔ)實(shí)現(xiàn)歸檔業(yè)務(wù)動(dòng)態(tài)任務(wù)調(diào)度，同時(shí)支持在管理界面上靈活配置歸檔集群；數(shù)據(jù)歸檔子系統(tǒng)以微服務(wù)形式實(shí)現(xiàn)數(shù)據(jù)分揀、打包、探測(cè)、提元、歸檔、回取等具體業(yè)務(wù)邏輯，由數(shù)據(jù)歸檔調(diào)度子系統(tǒng)統(tǒng)一調(diào)度；數(shù)據(jù)回取與服務(wù)主要實(shí)現(xiàn)歸檔資料多種形式的回取功能，包括訂單式回取、腳本式回取、自動(dòng)化回取和敏感資料回取等；數(shù)據(jù)存儲(chǔ)資源池管理通過(guò)在線(xiàn)存儲(chǔ)配置與訪(fǎng)問(wèn)、近線(xiàn)存儲(chǔ)管理和離線(xiàn)磁帶管理實(shí)現(xiàn)存儲(chǔ)資源統(tǒng)一管理功能，在線(xiàn)存儲(chǔ)配置與訪(fǎng)問(wèn)支持NFS(網(wǎng)絡(luò)文件系統(tǒng))、S3(簡(jiǎn)單存儲(chǔ)服務(wù))、FTP(文件傳輸)等多種數(shù)據(jù)訪(fǎng)問(wèn)協(xié)議，近線(xiàn)存儲(chǔ)和離線(xiàn)存儲(chǔ)管理實(shí)現(xiàn)磁帶出入庫(kù)、磁帶復(fù)制、磁帶審計(jì)、磁帶轉(zhuǎn)儲(chǔ)和離線(xiàn)磁帶架管理等；數(shù)據(jù)訪(fǎng)問(wèn)總線(xiàn)實(shí)現(xiàn)歸檔元數(shù)據(jù)訪(fǎng)問(wèn)接口、磁帶庫(kù)訪(fǎng)問(wèn)接口、磁帶庫(kù)管理軟件(MSP)訪(fǎng)問(wèn)接口、FTP訪(fǎng)問(wèn)接口的統(tǒng)一數(shù)據(jù)訪(fǎng)問(wèn)服務(wù)，支撐各服務(wù)業(yè)務(wù)邏輯的實(shí)現(xiàn)和歸檔門(mén)戶(hù)各應(yīng)用功能的集成。實(shí)時(shí)監(jiān)視與告警將業(yè)務(wù)處理與服務(wù)層各環(huán)節(jié)運(yùn)行問(wèn)題及時(shí)向天鏡上報(bào)。

系統(tǒng)軟硬件支撐層由各類(lèi)物理設(shè)備和基礎(chǔ)軟件構(gòu)成。其中物理設(shè)備主要包括各軟件部署所需要的服務(wù)器設(shè)備、在線(xiàn)存儲(chǔ)設(shè)備、近線(xiàn)存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備等，基礎(chǔ)軟件包括操作系統(tǒng)、數(shù)據(jù)庫(kù)管理軟件、應(yīng)用服務(wù)器軟件、消息隊(duì)列軟件、磁盤(pán)共享軟件、歸檔軟件等組成。

2.2 硬件環(huán)境

“天擎”歸檔系統(tǒng)支撐硬件設(shè)備主要包括 X86 物理服務(wù)器、盤(pán)陣、磁帶庫(kù)以及網(wǎng)絡(luò)設(shè)備。其中X86物理服務(wù)器用于部署歸檔系統(tǒng)軟件，盤(pán)陣用于磁帶庫(kù)歸檔中間環(huán)節(jié)緩存，提供數(shù)據(jù)分揀、數(shù)據(jù)打包等的緩存空間，磁帶庫(kù)用于實(shí)現(xiàn)歸檔資料的近線(xiàn)存儲(chǔ)和離線(xiàn)存儲(chǔ)。這些硬件共同支撐歸檔系統(tǒng)承載4種類(lèi)型數(shù)據(jù)的歸檔，即實(shí)時(shí)數(shù)據(jù)歸檔、批量數(shù)據(jù)歸檔、敏感數(shù)據(jù)歸檔和轉(zhuǎn)儲(chǔ)數(shù)據(jù)歸檔。實(shí)時(shí)數(shù)據(jù)指通信系統(tǒng)實(shí)時(shí)傳輸?shù)綒w檔系統(tǒng)的數(shù)據(jù)，如地面自動(dòng)站分鐘觀測(cè)數(shù)據(jù)；批量數(shù)據(jù)指按批次提交歸檔系統(tǒng)的數(shù)據(jù)，如某次科考試驗(yàn)的數(shù)據(jù)集；敏感數(shù)據(jù)指僅能對(duì)部分用戶(hù)開(kāi)放的數(shù)據(jù)；轉(zhuǎn)儲(chǔ)數(shù)據(jù)是指已在歸檔系統(tǒng)中待更換存儲(chǔ)介質(zhì)的數(shù)據(jù)，如舊型號(hào)磁帶中的數(shù)據(jù)為避免磁帶失效需要改為新型號(hào)的磁帶存儲(chǔ)。

歸檔業(yè)務(wù)為I/O密集型應(yīng)用，需對(duì)大量數(shù)據(jù)進(jìn)行讀寫(xiě)操作，為避免互相影響，對(duì)不同類(lèi)型歸檔業(yè)務(wù)匹配對(duì)應(yīng)的服務(wù)器進(jìn)行支撐。實(shí)時(shí)數(shù)據(jù)歸檔每天要承擔(dān)約3 TB數(shù)據(jù)的打包處理及歸檔，其中大量小、碎文件的打包處理對(duì)資源的消耗較高，目前配備了6臺(tái)服務(wù)器處理實(shí)時(shí)數(shù)據(jù)。批量數(shù)據(jù)文件數(shù)量通常不高，但數(shù)據(jù)量會(huì)偏大，達(dá)到10 TB至PB級(jí)，目前分配了3臺(tái)服務(wù)器；轉(zhuǎn)儲(chǔ)數(shù)據(jù)文件數(shù)量很高數(shù)據(jù)量也很大，但因?yàn)檗D(zhuǎn)儲(chǔ)工作處于起步階段，暫分配了3臺(tái)服務(wù)器進(jìn)行處理；敏感數(shù)據(jù)量較小，只是物理上需要與其他數(shù)據(jù)進(jìn)行隔離，目前1臺(tái)服務(wù)器即可滿(mǎn)足需求。現(xiàn)在共計(jì)使用13臺(tái)服務(wù)器，對(duì)于每類(lèi)歸檔業(yè)務(wù)后續(xù)可根據(jù)數(shù)據(jù)量增長(zhǎng)情況進(jìn)行調(diào)整擴(kuò)容。

系統(tǒng)采用華為OceanStor 18500 V5盤(pán)陣作為歸檔業(yè)務(wù)的臨時(shí)緩存。

系統(tǒng)使用的磁帶庫(kù)為曙光STL4500高密度磁帶庫(kù)，磁帶庫(kù)包含1套磁帶庫(kù)系統(tǒng)庫(kù)體、62個(gè)LTO7磁帶驅(qū)動(dòng)器，可裝載10000盤(pán)LTO7磁帶。磁帶庫(kù)目前所裝載的5000盤(pán)磁帶可用容量為27 PB，滿(mǎn)配后可用容量為54 PB。磁帶庫(kù)驅(qū)動(dòng)軟件使用的是火星MSP歸檔存儲(chǔ)中間件實(shí)現(xiàn)對(duì)STL4500磁帶庫(kù)的管理和磁帶讀寫(xiě)功能。

3 關(guān)鍵技術(shù)

“天擎”歸檔系統(tǒng)通過(guò)以下關(guān)鍵技術(shù)滿(mǎn)足發(fā)生巨大變化的業(yè)務(wù)需求：①采用分布式集群運(yùn)行技術(shù)實(shí)現(xiàn)系統(tǒng)的動(dòng)態(tài)可擴(kuò)展；②策略驅(qū)動(dòng)設(shè)計(jì)實(shí)現(xiàn)系統(tǒng)的靈活性；③實(shí)現(xiàn)多協(xié)議數(shù)據(jù)歸檔、敏感數(shù)據(jù)歸檔、轉(zhuǎn)儲(chǔ)數(shù)據(jù)歸檔的功能滿(mǎn)足多場(chǎng)景數(shù)據(jù)歸檔需求；④提供豐富的數(shù)據(jù)回取服務(wù)接口提升回取數(shù)據(jù)服務(wù)便捷性；⑤歸檔數(shù)據(jù)全流程追溯和歸檔業(yè)務(wù)各環(huán)節(jié)數(shù)據(jù)量統(tǒng)計(jì)保證數(shù)據(jù)歸檔的完整性和正確性；⑥規(guī)范化的磁帶管理實(shí)現(xiàn)歸檔的磁帶服務(wù)。

3.1 分布式小集群設(shè)計(jì)

為合理利用硬件資源并實(shí)現(xiàn)系統(tǒng)可擴(kuò)展性、適應(yīng)海量數(shù)據(jù)歸檔需求，“天擎”歸檔系統(tǒng)采用小集群(圖2)的方式對(duì)硬件資源進(jìn)行規(guī)劃使用：①服務(wù)器。根據(jù)開(kāi)展的實(shí)際業(yè)務(wù)對(duì)服務(wù)器進(jìn)行集群劃分，如實(shí)時(shí)歸檔集群、歷史歸檔集群、敏感資料歸檔集群、資料轉(zhuǎn)儲(chǔ)集群等，每個(gè)集群所需的服務(wù)器數(shù)量根據(jù)所承擔(dān)的業(yè)務(wù)負(fù)載決定；②驅(qū)動(dòng)器。驅(qū)動(dòng)器的用途包括歸檔和回取，對(duì)于用于歸檔的驅(qū)動(dòng)器再根據(jù)服務(wù)器集群進(jìn)行匹配分組，包括實(shí)時(shí)歸檔驅(qū)動(dòng)器組、歷史歸檔驅(qū)動(dòng)器組等，每組所需使用的驅(qū)動(dòng)器個(gè)數(shù)可根據(jù)業(yè)務(wù)量動(dòng)態(tài)調(diào)整；③磁帶庫(kù)。為方便后續(xù)數(shù)據(jù)服務(wù)，滿(mǎn)足同類(lèi)型相近時(shí)間段的資料最好存儲(chǔ)在同一批磁帶的需求，歸檔系統(tǒng)對(duì)磁帶池根據(jù)資料類(lèi)型進(jìn)行邏輯劃分，共分配了14個(gè)主磁帶池，實(shí)時(shí)數(shù)據(jù)使用9個(gè)主磁帶池，批量數(shù)據(jù)和轉(zhuǎn)儲(chǔ)數(shù)據(jù)使用3個(gè)主磁帶池，敏感資料使用1個(gè)主磁帶池。

圖2 分布式小集群設(shè)計(jì)

服務(wù)器、驅(qū)動(dòng)器、磁帶庫(kù)均可形成小的邏輯單元，歸檔系統(tǒng)軟件也需實(shí)現(xiàn)能夠?qū)@些小的邏輯單元進(jìn)行調(diào)度使用，以滿(mǎn)足系統(tǒng)整體的可擴(kuò)展和動(dòng)態(tài)靈活部署需求。系統(tǒng)建設(shè)過(guò)程中通過(guò)策略信息調(diào)度軟件功能和硬件邏輯單元(圖3)來(lái)實(shí)現(xiàn)這一需求[13]。策略信息即各類(lèi)資料歸檔相關(guān)的軟件功能對(duì)應(yīng)服務(wù)器IP地址的規(guī)則，歸檔系統(tǒng)軟件在元數(shù)據(jù)庫(kù)中保存有歸檔整體業(yè)務(wù)的策略信息，調(diào)度管理服務(wù)在讀取策略信息后形成一系列資料分揀、打包、探測(cè)、提元的任務(wù)到消息隊(duì)列中，各個(gè)實(shí)際執(zhí)行任務(wù)的進(jìn)程主動(dòng)到消息隊(duì)列中提取相關(guān)的任務(wù)信息進(jìn)行執(zhí)行，當(dāng)現(xiàn)有執(zhí)行任務(wù)的進(jìn)程無(wú)法滿(mǎn)足系統(tǒng)要求時(shí)，則需增加新的策略記錄，由新的服務(wù)器部署相關(guān)進(jìn)程配合完成任務(wù)，實(shí)現(xiàn)系統(tǒng)的動(dòng)態(tài)擴(kuò)展。

圖3 分布式調(diào)度管理流程

3.2 策略驅(qū)動(dòng)數(shù)據(jù)歸檔

數(shù)據(jù)歸檔需要完成數(shù)據(jù)打包、數(shù)據(jù)提元、數(shù)據(jù)記帶一系列操作。為適應(yīng)各種資料以適當(dāng)?shù)姆绞竭M(jìn)行歸檔，“天擎”歸檔系統(tǒng)將歸檔涉及的每一環(huán)節(jié)均以策略驅(qū)動(dòng)運(yùn)行，包括數(shù)據(jù)打包策略、數(shù)據(jù)提元策略、數(shù)據(jù)記帶策略。

“天擎”歸檔系統(tǒng)每日接入的文件數(shù)量約為410萬(wàn)個(gè)，其中94%的文件為小于1 MB的文件，6%的文件大于1 MB，僅有約100個(gè)文件大于1 GB。磁帶庫(kù)是機(jī)械設(shè)備，大量小文件的讀寫(xiě)會(huì)造成頻繁操作磁帶而大大拉低磁帶讀寫(xiě)效率，因此對(duì)于歸檔系統(tǒng)一般建議歸檔文件大于1 GB?！疤烨妗睔w檔系統(tǒng)將大量文件打包以達(dá)到組織為大文件的目的。為了同時(shí)兼顧數(shù)據(jù)服務(wù)的方便性，對(duì)于不同的數(shù)據(jù)制定不同的打包策略，如地面資料按照省份名稱(chēng)將每日資料進(jìn)行打包，雷達(dá)資料按照站號(hào)將一天的資料進(jìn)行打包等。數(shù)據(jù)提元策略也可根據(jù)打包文件名情況進(jìn)行靈活配置。

面對(duì)大量數(shù)據(jù)的歸檔需求，“天擎”歸檔系統(tǒng)通過(guò)減少磁帶物理操作時(shí)間來(lái)提升磁帶讀寫(xiě)性能，磁帶物理操作時(shí)間主要包括磁帶的裝載/卸載時(shí)間和磁帶尋址時(shí)間?！疤烨妗睔w檔系統(tǒng)通過(guò)調(diào)整歸檔系統(tǒng)數(shù)據(jù)記帶策略，設(shè)定記帶任務(wù)執(zhí)行時(shí)間，以實(shí)現(xiàn)記帶操作的集中并行運(yùn)行，最大限度減少磁帶裝卸載次數(shù)和磁帶尋址操作。通過(guò)比較，一天內(nèi)執(zhí)行4批次記帶操作比48批次平均寫(xiě)帶操作性能提升50%，目前每日平均記帶性能能夠達(dá)到約160 Mb/s。

3.3 多場(chǎng)景數(shù)據(jù)歸檔支撐

為了提高歸檔性能和歸檔服務(wù)的能力，滿(mǎn)足大數(shù)據(jù)背景下的數(shù)據(jù)歸檔需求，“天擎”歸檔系統(tǒng)實(shí)現(xiàn)了多場(chǎng)景數(shù)據(jù)歸檔，包括多協(xié)議數(shù)據(jù)歸檔、敏感資料歸檔和磁帶轉(zhuǎn)儲(chǔ)歸檔功能等。

3.3.1 多協(xié)議數(shù)據(jù)歸檔

“天擎”采用大數(shù)據(jù)技術(shù)支撐海量數(shù)據(jù)在線(xiàn)存儲(chǔ)，采用了磁盤(pán)陣列存儲(chǔ)、分布式文件系統(tǒng)和分布式對(duì)象存儲(chǔ)等不同的存儲(chǔ)技術(shù)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)，實(shí)現(xiàn)對(duì)不同應(yīng)用的高效支撐。為支持海量數(shù)據(jù)異構(gòu)存儲(chǔ)的數(shù)據(jù)歸檔，歸檔系統(tǒng)增加主動(dòng)獲取資料數(shù)據(jù)歸檔功能，支持通過(guò)NFS、FTP、S3協(xié)議獲取數(shù)據(jù)資料文件并進(jìn)行歸檔(圖4)，同時(shí)歸檔后的數(shù)據(jù)可在“天擎”歸檔系統(tǒng)門(mén)戶(hù)中可以進(jìn)行相應(yīng)的數(shù)據(jù)檢索、回取等功能。

圖4 多協(xié)議數(shù)據(jù)歸檔架構(gòu)

3.3.2 敏感數(shù)據(jù)歸檔

“天擎”歸檔系統(tǒng)事先對(duì)不同安全級(jí)別數(shù)據(jù)的歸檔。為提升數(shù)據(jù)安全管理能力，“天擎”歸檔系統(tǒng)新增敏感性資料歸檔管理。如圖5所示，歸檔系統(tǒng)對(duì)敏感資料劃分單獨(dú)的磁帶池，通過(guò)配置密鑰，將加密后的數(shù)據(jù)歸檔到磁帶，具體功能為：①敏感資料集群劃分。歸檔系統(tǒng)支持針對(duì)敏感性資料劃分單獨(dú)的文件系統(tǒng)目錄，并指定單獨(dú)的分揀、打包、探測(cè)、提元和歸檔服務(wù)器，同時(shí)劃分單獨(dú)的磁帶池、指定單獨(dú)的磁帶進(jìn)行歸檔。②敏感資料加密歸檔及回取。支持加密歸檔策略配置，可以設(shè)置敏感資料寫(xiě)磁帶密鑰，在歸檔資料寫(xiě)磁帶環(huán)節(jié)，通過(guò)設(shè)置的密鑰將資料文件加密，并將加密后的資料文件寫(xiě)到磁帶上。

3.3.3 轉(zhuǎn)儲(chǔ)數(shù)據(jù)歸檔

磁帶轉(zhuǎn)儲(chǔ)歸檔包括歷史磁帶轉(zhuǎn)儲(chǔ)和未來(lái)磁帶轉(zhuǎn)儲(chǔ)。①歷史磁帶轉(zhuǎn)儲(chǔ)對(duì)CIMISS歸檔系統(tǒng)或其他系統(tǒng)通過(guò)TSM歸檔軟件、IBM TS3584磁帶庫(kù)寫(xiě)入的LTO4磁帶采用LTO7磁帶重新進(jìn)行存儲(chǔ)。這些LTO4磁帶中有部分通過(guò)TAR命令直接寫(xiě)入磁帶，導(dǎo)致磁帶上記錄的資料文件不規(guī)范，也缺乏歸檔資料元數(shù)據(jù)信息，造成轉(zhuǎn)儲(chǔ)這部分歷史磁帶的工作量和難度比較大。經(jīng)過(guò)多次實(shí)驗(yàn)驗(yàn)證，通過(guò)導(dǎo)出TSM磁帶元數(shù)據(jù)、分析磁帶元數(shù)據(jù)、按資料批量回取、重新整理資料、記錄元數(shù)據(jù)信息、數(shù)據(jù)重組、寫(xiě)入“天擎”歸檔系統(tǒng)磁帶庫(kù)等步驟能實(shí)現(xiàn)自動(dòng)、快速、規(guī)范化的磁帶轉(zhuǎn)儲(chǔ)功能(圖5)。②考慮到將來(lái)磁帶技術(shù)的升級(jí)換代，如從LTO7升級(jí)到LTO8、LTO9,歸檔系統(tǒng)通過(guò)磁帶批量出入庫(kù)操作，結(jié)合磁帶復(fù)制技術(shù)、磁帶元數(shù)據(jù)和歸檔元數(shù)據(jù)自動(dòng)一致性更新、磁帶審計(jì)等實(shí)現(xiàn)全自動(dòng)化的磁帶轉(zhuǎn)儲(chǔ)功能，滿(mǎn)足未來(lái)磁帶轉(zhuǎn)儲(chǔ)功能要求。

圖5 磁帶轉(zhuǎn)儲(chǔ)流程

3.4 數(shù)據(jù)回取服務(wù)

“天擎”歸檔系統(tǒng)為滿(mǎn)足不同用戶(hù)在各自應(yīng)用場(chǎng)景下回取數(shù)據(jù)的需求提供豐富的數(shù)據(jù)回取服務(wù)，包括訂單式數(shù)據(jù)回取、腳本式數(shù)據(jù)回取、自動(dòng)化數(shù)據(jù)回取以及敏感資料回取。

訂單式數(shù)據(jù)回取是傳統(tǒng)的數(shù)據(jù)回取方式，即用戶(hù)通過(guò)“天擎”歸檔系統(tǒng)提供Web網(wǎng)站查詢(xún)到所需回取的數(shù)據(jù)后提交數(shù)據(jù)回取訂單，網(wǎng)站后臺(tái)根據(jù)訂單中數(shù)據(jù)文件請(qǐng)求清單逐一從磁帶庫(kù)中進(jìn)行回取，然后將數(shù)據(jù)存放至用戶(hù)指定的位置，訂單完成后通知用戶(hù)。

訂單式回取主要滿(mǎn)足的是用戶(hù)在WINDOWS PC機(jī)進(jìn)行數(shù)據(jù)回取的場(chǎng)景。現(xiàn)在大量業(yè)務(wù)運(yùn)行在類(lèi)Linux服務(wù)器中，用戶(hù)對(duì)數(shù)據(jù)的使用可能會(huì)大量發(fā)生在服務(wù)器端。腳本式回取為“天擎”歸檔系統(tǒng)建設(shè)的新增功能，主要為滿(mǎn)足用戶(hù)在服務(wù)器端進(jìn)行數(shù)據(jù)回取的需求。用戶(hù)在類(lèi)Linux的服務(wù)器上像使用Linux命令一樣執(zhí)行數(shù)據(jù)回取命令完成數(shù)據(jù)回取的操作。腳本式數(shù)據(jù)回取目前支持按照文件列表進(jìn)行回取和按數(shù)據(jù)類(lèi)型及時(shí)間范圍進(jìn)行回取兩種方式。

由于“天擎”歸檔系統(tǒng)中存儲(chǔ)的大部分非結(jié)構(gòu)化數(shù)據(jù)與在線(xiàn)存儲(chǔ)的數(shù)據(jù)形態(tài)一致，可與在線(xiàn)數(shù)據(jù)一同為用戶(hù)服務(wù)，延長(zhǎng)數(shù)據(jù)可服務(wù)的時(shí)長(zhǎng)范圍。為方便用戶(hù)能夠自動(dòng)化使用數(shù)據(jù)回取服務(wù)，歸檔系統(tǒng)與數(shù)據(jù)服務(wù)接口(MUSIC接口)和存儲(chǔ)管理系統(tǒng)、解碼入庫(kù)系統(tǒng)共同配合完成歸檔近線(xiàn)、離線(xiàn)數(shù)據(jù)的自動(dòng)化數(shù)據(jù)回取流程(圖6)。歸檔系統(tǒng)為MUSIC接口提供回取請(qǐng)求服務(wù)的RESTFUL接口，該接口能夠接收MUSIC發(fā)起的回取請(qǐng)求，對(duì)請(qǐng)求進(jìn)行解析后，向磁帶庫(kù)發(fā)起回取數(shù)據(jù)的流程，數(shù)據(jù)從磁帶庫(kù)回取后需要完成2個(gè)操作步驟：①將回取后的數(shù)據(jù)放在與解碼入庫(kù)系統(tǒng)共享的數(shù)據(jù)交換區(qū)；②向解碼入庫(kù)子系統(tǒng)發(fā)送數(shù)據(jù)已回取成功的消息。解碼入庫(kù)系統(tǒng)對(duì)回取后的數(shù)據(jù)進(jìn)行入庫(kù)操作后將回取狀態(tài)對(duì)隊(duì)列中的消息狀態(tài)進(jìn)行修改，改為數(shù)據(jù)可服務(wù)狀態(tài)，MUSIC接口發(fā)現(xiàn)消息狀態(tài)為可服務(wù)狀態(tài)后則反饋用戶(hù)，用戶(hù)即可獲取數(shù)據(jù)。

圖6 自動(dòng)化數(shù)據(jù)回取服務(wù)流程

敏感數(shù)據(jù)是以加密方式進(jìn)行歸檔的，因此敏感數(shù)據(jù)回取是通過(guò)密鑰將磁帶上的加密數(shù)據(jù)進(jìn)行解密后回取。敏感性資料回取需要用戶(hù)具備敏感資料訪(fǎng)問(wèn)權(quán)限才能進(jìn)行，用戶(hù)在通過(guò)認(rèn)證和權(quán)限審核后進(jìn)行數(shù)據(jù)回取?；厝r(shí)磁帶驅(qū)動(dòng)軟件會(huì)對(duì)之前加密歸檔的文件進(jìn)行解密，解密后將數(shù)據(jù)返回用戶(hù)(圖7)。

圖7 敏感資料歸檔與回取流程

3.5 歸檔數(shù)據(jù)全流程追溯

數(shù)據(jù)歸檔的目的是保障數(shù)據(jù)安全，所以數(shù)據(jù)歸檔的完整性、正確性對(duì)于完成歸檔業(yè)務(wù)和后續(xù)歸檔數(shù)據(jù)服務(wù)至關(guān)重要?！疤烨妗睔w檔系統(tǒng)基于“天鏡”(氣象綜合業(yè)務(wù)實(shí)時(shí)監(jiān)控系統(tǒng))實(shí)現(xiàn)對(duì)數(shù)據(jù)源和數(shù)據(jù)歸檔結(jié)果完整性對(duì)比的監(jiān)控，在天鏡的“天擎”歸檔系統(tǒng)的專(zhuān)題監(jiān)視頁(yè)面中顯示歸檔完成的資料與數(shù)據(jù)源的資料數(shù)據(jù)量比較情況，以達(dá)到資料出現(xiàn)異常時(shí)，能夠達(dá)到及時(shí)發(fā)現(xiàn)、及時(shí)告警和有效追溯的目的。監(jiān)視頁(yè)面如圖8所示。

圖8 “天擎”歸檔系統(tǒng)數(shù)據(jù)完整性監(jiān)控頁(yè)面

為方便技術(shù)人員熟悉了解資料的歸檔情況，“天擎”歸檔系統(tǒng)通過(guò)H-Chart圖表插件設(shè)計(jì)了多種形式的報(bào)表對(duì)資料歸檔情況進(jìn)行可視化展示，包括資料歸檔日?qǐng)?bào)表、月報(bào)表和資料各環(huán)節(jié)歸檔監(jiān)視展示，以及資料正確性和完整性驗(yàn)證功能展示(圖9)。

圖9 “天擎”歸檔系統(tǒng)數(shù)據(jù)統(tǒng)計(jì)報(bào)表頁(yè)面

3.6 規(guī)范化的磁帶管理

由于磁帶對(duì)存儲(chǔ)環(huán)境和保管方式都有特殊要求，需對(duì)磁帶進(jìn)行規(guī)范化的管理才能確保磁帶中的數(shù)據(jù)可用?！疤烨妗睔w檔系統(tǒng)中提供了全面的磁帶管理功能，包括磁帶池管理、磁帶離線(xiàn)管理、磁帶審記和磁帶復(fù)制(圖10)。磁帶池管理包括磁帶池劃分、磁帶池監(jiān)控。其中磁帶池監(jiān)控實(shí)現(xiàn)以磁帶池為單位實(shí)時(shí)監(jiān)控已用容量、剩余容量和空白磁帶等，支持設(shè)定空白磁帶告警閾值，提醒系統(tǒng)管理員及時(shí)向磁帶庫(kù)中添加磁帶，以免影響歸檔業(yè)務(wù)運(yùn)行；磁帶離線(xiàn)管理中實(shí)現(xiàn)磁帶的出入庫(kù)、批量出入庫(kù)管理。在批量出入庫(kù)功能中，支持大于磁帶庫(kù)I/E口的上百盤(pán)磁帶進(jìn)行批量出庫(kù)操作，大大提高了出入庫(kù)操作的便利性和易用性。磁帶審計(jì)根據(jù)磁帶審計(jì)策略，自動(dòng)對(duì)近線(xiàn)和離線(xiàn)磁帶進(jìn)行審計(jì)，以確認(rèn)磁帶介質(zhì)可用性、磁帶數(shù)據(jù)的一致性和完整性。磁帶復(fù)制提供基于整盤(pán)的磁帶介質(zhì)克隆復(fù)制和資料文件級(jí)的復(fù)制功能，以應(yīng)用于不同場(chǎng)景下磁帶數(shù)據(jù)恢復(fù)。

圖10 磁帶管理功能

4 結(jié)論與討論

“天擎”歸檔系統(tǒng)自2019年7月開(kāi)始運(yùn)行，2020年8月實(shí)現(xiàn)業(yè)務(wù)化，截止目前已完成12 PB數(shù)據(jù)的歸檔以及107 TB數(shù)據(jù)的回取，其中歸檔的數(shù)據(jù)包括實(shí)時(shí)數(shù)據(jù)9 PB以及2 PB高性能計(jì)算服務(wù)器上產(chǎn)生中國(guó)再分析資料和1 PB氣候中心的CMIP6、CMOP模式歷史數(shù)據(jù)。目前，每日實(shí)時(shí)數(shù)據(jù)的歸檔數(shù)據(jù)量為3.02～3.15 TB，接入的數(shù)據(jù)種類(lèi)為703種，所有的業(yè)務(wù)數(shù)據(jù)均按照3副本的策略進(jìn)行歸檔，每日實(shí)際實(shí)時(shí)數(shù)據(jù)的歸檔數(shù)據(jù)量達(dá)到近10 TB，磁帶讀寫(xiě)性能平均為160 MB/s。模式歷史數(shù)據(jù)因文件均大于1 GB，歸檔時(shí)磁帶寫(xiě)性能達(dá)到220 MB/s。從數(shù)據(jù)量來(lái)看，數(shù)值預(yù)報(bào)、衛(wèi)星及雷達(dá)資料的數(shù)據(jù)量最大，三者數(shù)據(jù)量占總體數(shù)據(jù)量的96%；從文件數(shù)量來(lái)看，雷達(dá)和地面資料的文件數(shù)量最大，占總體文件量的85.7%以上。就目前的應(yīng)用需求和發(fā)展趨勢(shì)來(lái)看，數(shù)值預(yù)報(bào)資料將會(huì)是未來(lái)歸檔數(shù)據(jù)量的主要貢獻(xiàn)者。

根據(jù)系統(tǒng)具備的硬件規(guī)模和系統(tǒng)目前服務(wù)器、驅(qū)動(dòng)器的情況，如果將驅(qū)動(dòng)器平均用于歸檔和回取，“天擎”歸檔系統(tǒng)最高可承載每日約240 TB數(shù)據(jù)的歸檔及回取檢索，與歐洲中心MARS系統(tǒng)目前每日的250 TB數(shù)據(jù)增量相當(dāng)。歐洲中心MARS系統(tǒng)和美國(guó)NOAA CLASS系統(tǒng)數(shù)據(jù)存儲(chǔ)層采用 High Performance Storage System(HPSS)來(lái)完成磁帶庫(kù)的管理操作，“天擎”歸檔系統(tǒng)使用國(guó)產(chǎn)歸檔存儲(chǔ)中間件及自研數(shù)據(jù)處理和服務(wù)軟件實(shí)現(xiàn)系統(tǒng)的整體管理。從可提供的日歸檔數(shù)據(jù)量級(jí)來(lái)看，“天擎”歸檔系統(tǒng)與發(fā)達(dá)國(guó)家氣象歸檔業(yè)務(wù)管理系統(tǒng)相當(dāng)，但由于剛投入業(yè)務(wù)使用，國(guó)內(nèi)業(yè)務(wù)用戶(hù)對(duì)“天擎”歸檔系統(tǒng)發(fā)起的實(shí)際業(yè)務(wù)請(qǐng)求數(shù)量與國(guó)外還有一定差距。在用戶(hù)逐漸熟悉“天擎”歸檔系統(tǒng)的服務(wù)方式后，用戶(hù)發(fā)起的業(yè)務(wù)請(qǐng)求會(huì)逐漸增多。

磁帶存儲(chǔ)能力持續(xù)提升和新技術(shù)的發(fā)展讓磁帶在大數(shù)據(jù)時(shí)代應(yīng)用更具前景。2020年9月，LTO-9發(fā)布上市，LTO-9存儲(chǔ)容量為L(zhǎng)TO-7的3倍，達(dá)到了18 TB，同時(shí)LTO-9驅(qū)動(dòng)器性能提高至400 MB/s。新的LTO路線(xiàn)圖擴(kuò)展到第12代，在磁帶大小保持不變的情況下，未來(lái)LTO-12最高可達(dá)144 TB存儲(chǔ)能力?？紤]到磁帶綠色節(jié)能和存儲(chǔ)成本低的特點(diǎn)，在未來(lái)ZB級(jí)存儲(chǔ)的時(shí)代，磁帶存儲(chǔ)可能發(fā)揮更大的作用[14-19]。磁帶管理發(fā)展的新技術(shù)也改變了傳統(tǒng)磁帶的使用方式，如線(xiàn)性磁帶文件系統(tǒng)(LTFS)技術(shù)使得磁帶訪(fǎng)問(wèn)方式與磁盤(pán)一致。LTFS在磁帶上創(chuàng)建數(shù)據(jù)區(qū)和索引區(qū)2個(gè)分區(qū)，數(shù)據(jù)區(qū)中存放了所有的數(shù)據(jù)內(nèi)容與元數(shù)據(jù)，而索引區(qū)則存放數(shù)據(jù)區(qū)中數(shù)據(jù)的附屬子集與附加元數(shù)據(jù)，這樣用戶(hù)搜索磁帶上的信息、搜索磁帶的流程和磁盤(pán)存儲(chǔ)一樣。通過(guò)LTFS，用戶(hù)能夠很簡(jiǎn)易地和磁帶進(jìn)行互操作，可直接應(yīng)用于備份和歸檔流程。LTFS還可與并行文件系統(tǒng)無(wú)縫銜接，通過(guò)策略配置可以自動(dòng)將訪(fǎng)問(wèn)頻率較低的數(shù)據(jù)通過(guò)LTFS遷移至磁帶庫(kù)，用戶(hù)卻可以做到無(wú)感知訪(fǎng)問(wèn)[20]。這一技術(shù)將大幅提升用戶(hù)體驗(yàn)，未來(lái)非常有必要在歸檔系統(tǒng)中探索使用。