PB級數(shù)據(jù)存儲與管理

PB Petabytes of Data Storage&Management

多層存儲平臺讓科學(xué)家能夠以更高的成本效益更快、更輕松地保留、訪問并充分利用寶貴數(shù)據(jù)

昆騰為歐洲主要研究機(jī)構(gòu)提供PB級數(shù)據(jù)存儲與管理，歐洲兩家頂級研究機(jī)構(gòu)正在使用昆騰StorNext工作流存儲作為其管理與日俱增的數(shù)據(jù)并支持各項(xiàng)科研計(jì)劃的基礎(chǔ)。哥廷根大學(xué)計(jì)算機(jī)中心（GWDG）和馬克斯·普朗克科學(xué)促進(jìn)協(xié)會計(jì)算與IT能力中心為滿足7PB數(shù)據(jù)的性能和訪問要求，在一個(gè)多層解決方案中部署了支持StorNext的磁盤和磁帶系統(tǒng)。此外，馬克斯·普朗克化學(xué)研究所還轉(zhuǎn)投使用昆騰端到端存儲與歸檔解決方案，它可支持更大規(guī)模的協(xié)作并持續(xù)訪問不斷擴(kuò)大的數(shù)據(jù)量。

為GWDG提供高性能共享訪問和大規(guī)模數(shù)據(jù)歸檔

GWDG支持著超過40，000用戶，并需要一個(gè)高性能存儲系統(tǒng)，能夠處理數(shù)十億份文件并隨著數(shù)據(jù)量每年翻一番而不斷擴(kuò)展，以滿足數(shù)據(jù)快速增長的需求。此外，該存儲平臺還必須支持一個(gè)多層存儲環(huán)境，其中包括能夠從單一文件系統(tǒng)訪問磁盤上的2.5PB數(shù)據(jù)和磁帶上的4.5PB數(shù)據(jù)。

StorNext滿足了所有這些規(guī)模、性能和訪問需求?，F(xiàn)在，它讓該中心的IT團(tuán)隊(duì)無需雇傭額外人手或從其它項(xiàng)目借調(diào)人員，就能支持使用各種操作系統(tǒng)的用戶，并管理一個(gè)龐大且不斷增長的數(shù)據(jù)歸檔。例如，GWDG為該中心的高性能計(jì)算（HPC）集群能夠以遠(yuǎn)遠(yuǎn)高于要求的速度共享訪問來自StorNext環(huán)境的數(shù)據(jù)。IT團(tuán)隊(duì)在高性能計(jì)算節(jié)點(diǎn)上安裝StorNext分布式局域網(wǎng)客戶端，以便通過以太網(wǎng)來訪問，其速度是3.2GB/秒，高于高性能計(jì)算用戶所要求的2GB/秒的性能。因此，這些用戶可以把大量數(shù)據(jù)遷移到集群中進(jìn)行處理，并實(shí)現(xiàn)長期存儲。

助力馬克斯·普朗克化學(xué)研究實(shí)現(xiàn)同步數(shù)據(jù)訪問和集成保護(hù)

馬克斯·普朗克化學(xué)研究所探索大氣中的化學(xué)反應(yīng)過程以及空氣、水、土壤和人之間的交互，從而生成海量原始數(shù)據(jù)。僅一個(gè)涉及巴西雨林氣候變化研究的研發(fā)項(xiàng)目就包含多個(gè)測量設(shè)備，每天最多采集80GB的數(shù)據(jù)。這些數(shù)據(jù)隨后傳輸?shù)降聡臄?shù)據(jù)中心進(jìn)行處理，并供全球研究人員所用。

面對來自這類項(xiàng)目的飛漲數(shù)據(jù)，以及向多個(gè)研究人員提供同步數(shù)據(jù)訪問的需求，還有無法跟上步伐的數(shù)據(jù)備份系統(tǒng)帶來的問題，馬克斯·普朗克化學(xué)研究所與領(lǐng)先系統(tǒng)集成商Microstaxx一起研究確定解決方案，并最終選擇了昆騰StorNext。

如今，馬克斯·普朗克化學(xué)研究所數(shù)據(jù)管理平臺提供了支持多個(gè)并行數(shù)據(jù)流所需要的性能、隨新項(xiàng)目的啟動而快速輕松擴(kuò)展的能力，以及有助于提高工作效率的同步數(shù)據(jù)訪問。通過提供強(qiáng)大的性能、容量以及對各種客戶端系統(tǒng)（其中包括Linux、UNIX、Windows和Mac）的支持，StorNext還降低了團(tuán)隊(duì)“獲取并維護(hù)自己存儲環(huán)境”的需求。

此外，該研究所還得益于StorNext所提供的集成數(shù)據(jù)保護(hù)。充分利用多層數(shù)據(jù)管理以及一個(gè)Quantum Scalar i6000磁帶庫，馬克斯·普朗克化學(xué)研究所可在后臺自動、持續(xù)保護(hù)研究數(shù)據(jù)。昆騰的Active Vault功能是能夠把磁帶歸檔到庫中而不是架上，從而最大程度降低成本和磁帶處理，同時(shí)提高安全性以及對歸檔內(nèi)容的訪問。與此同時(shí)，通過定期檢查磁帶上的數(shù)據(jù)并在檢測到問題時(shí)把它復(fù)制到新磁帶中，昆騰政策驅(qū)動型延長數(shù)據(jù)生命周期管理有助于防止數(shù)據(jù)丟失。