浪潮信息

HDFS（Hadoop Distributed File System）作為通用的分布式文件系統(tǒng)，可為用戶提供具有高可擴(kuò)展性、低成本、高可靠性的海量數(shù)據(jù)存儲(chǔ)，并廣泛應(yīng)用于大數(shù)據(jù)存儲(chǔ)和分析方向。

近年來，伴隨著5G、物聯(lián)網(wǎng)、人工智能等領(lǐng)域的快速發(fā)展，數(shù)據(jù)量規(guī)模不斷增大，同時(shí)隨著大數(shù)據(jù)應(yīng)用的多樣化發(fā)展，對數(shù)據(jù)的利用也更加成熟與深入，更大的數(shù)據(jù)量以及更加靈活的數(shù)據(jù)處理場景對HDFS的數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)讀寫吞吐提出了更高的要求。為應(yīng)對這些挑戰(zhàn)，浪潮著力研發(fā)面向分布式文件系統(tǒng)的智能存儲(chǔ)管理技術(shù)Smart Storage Management（簡稱SSM）。通過多項(xiàng)新技術(shù)及特性解決存儲(chǔ)場景中的各類挑戰(zhàn)，助力大數(shù)據(jù)產(chǎn)品提供更加高效、智能的存儲(chǔ)解決方案。

存儲(chǔ)技術(shù)所面臨的挑戰(zhàn)

基于異構(gòu)存儲(chǔ)介質(zhì)的數(shù)據(jù)存儲(chǔ)管理

從硬件平臺(tái)來看，HDFS的設(shè)計(jì)初衷是基于通用的廉價(jià)硬件提供可靠、高吞吐的數(shù)據(jù)存儲(chǔ)及訪問。但隨著硬件的迅速發(fā)展，傳統(tǒng)的磁盤性能和存儲(chǔ)容量都已達(dá)到瓶頸，固態(tài)硬盤、非易失性內(nèi)存和SMR磁盤等受到廣泛關(guān)注。

目前，HDFS已有的功能雖然可以兼容多類型的異構(gòu)介質(zhì)，實(shí)現(xiàn)對異構(gòu)存儲(chǔ)介質(zhì)的訪問和使用，但沒有很好的機(jī)制讓其智能感知不同設(shè)備的I/O特性，并根據(jù)數(shù)據(jù)的訪問特征動(dòng)態(tài)改變存儲(chǔ)方式，在異構(gòu)的環(huán)境下最大程度發(fā)揮各類硬件的性能優(yōu)勢。

大規(guī)模存儲(chǔ)的容量壓力

為實(shí)現(xiàn)系統(tǒng)的可靠性，傳統(tǒng)HDFS通過副本策略來保障數(shù)據(jù)的安全，通常默認(rèn)為三副本，但存儲(chǔ)利用率僅為1/3。如果使用糾刪碼來替換副本策略確實(shí)可以提供與副本相同的容錯(cuò)能力，并使用較少的存儲(chǔ)空間，但在典型的糾刪碼中若要求存儲(chǔ)額外開銷不超過50%，則相應(yīng)的糾刪碼將占用更多的計(jì)算資源，所以當(dāng)系統(tǒng)面臨存儲(chǔ)壓力時(shí)，用戶通常希望將不常使用的數(shù)據(jù)使用糾刪碼存儲(chǔ)，降低存儲(chǔ)壓力。

但是，目前的HDFS技術(shù)僅支持基于目錄的副本到糾刪碼轉(zhuǎn)換，轉(zhuǎn)換后業(yè)務(wù)訪問文件的路徑將發(fā)生改變，導(dǎo)致無法形成便捷的自動(dòng)化運(yùn)行模式。

應(yīng)用負(fù)載的自適應(yīng)存儲(chǔ)挑戰(zhàn)

從上層應(yīng)用來看，一方面在大數(shù)據(jù)Hadoop生態(tài)系統(tǒng)不斷發(fā)展的過程中，HDFS因其自身的穩(wěn)定可靠、簡單易用、擴(kuò)展性高等優(yōu)點(diǎn)使越來越多上層應(yīng)用和系統(tǒng)將其作為統(tǒng)一的底層存儲(chǔ)，其上存儲(chǔ)的數(shù)據(jù)類型和支持的分析負(fù)載也越來越多元化。

此外，在企業(yè)中不同部門和用戶經(jīng)?；谕环萑繑?shù)據(jù)進(jìn)行查詢分析，帶來同一份數(shù)據(jù)服務(wù)多樣的查詢負(fù)載。在這種應(yīng)用場景下，基于人工制定策略的存儲(chǔ)優(yōu)化就難以生效，勢必需要提供基于應(yīng)用負(fù)載的自適應(yīng)優(yōu)化技術(shù)來應(yīng)對。

智能存儲(chǔ)管理技術(shù)

SSM（智能存儲(chǔ)管理技術(shù)）被定義為面向HDFS的智能管理架構(gòu)，主要提供針對新型存儲(chǔ)設(shè)備、高速網(wǎng)絡(luò)、新計(jì)算的存儲(chǔ)優(yōu)化與數(shù)據(jù)優(yōu)化解決方案，實(shí)現(xiàn)端到端的數(shù)據(jù)管理服務(wù)，聚焦點(diǎn)可以概括為“兩核心、三場景、四技術(shù)、五特性”。

兩大核心

SSM的核心是基于數(shù)據(jù)熱度的智能化管理來實(shí)現(xiàn)自動(dòng)化面向存儲(chǔ)的全生命周期優(yōu)化。在數(shù)據(jù)熱度方面，典型的應(yīng)用場景中通常80%的計(jì)算工作負(fù)載用于處理20%的數(shù)據(jù)，在動(dòng)態(tài)變化環(huán)境中針對局部數(shù)據(jù)進(jìn)行優(yōu)化尤其困難。面對該問題，SSM通過收集文件系統(tǒng)操作數(shù)據(jù)與狀態(tài)信息，利用多項(xiàng)指標(biāo)分析數(shù)據(jù)訪問模式，從文件級(jí)別定義數(shù)據(jù)熱度，針對熱度信息統(tǒng)籌規(guī)劃相應(yīng)地優(yōu)化數(shù)據(jù)管理方式。

在智能決策方面，SSM建立了基于規(guī)則的智能決策體系，圍繞現(xiàn)有的大數(shù)據(jù)存儲(chǔ)模式智能地構(gòu)建了實(shí)用的解決方案。未來，SSM將利用歷史數(shù)據(jù)和指標(biāo)學(xué)習(xí)功能，使系統(tǒng)具有預(yù)測數(shù)據(jù)訪問模式與持久學(xué)習(xí)能力，實(shí)現(xiàn)穩(wěn)定可持續(xù)的智能化管理。

三種場景

SSM適用于數(shù)據(jù)存儲(chǔ)模式豐富的應(yīng)用場景，可以提供更加靈活的存儲(chǔ)模式選擇;在數(shù)據(jù)優(yōu)化上則提供了小文件合井、數(shù)據(jù)災(zāi)備、數(shù)據(jù)壓縮等新功能，適用于對數(shù)據(jù)優(yōu)化有需求的應(yīng)用場景;智能化管理是面向大規(guī)模集群的數(shù)據(jù)管命周期的自動(dòng)化管理。

四項(xiàng)技術(shù)

SSM主要通過四項(xiàng)技術(shù)實(shí)現(xiàn)智能的存儲(chǔ)管理。

第一，通過分布式集群自治技術(shù)，解決管理服務(wù)的高可用問題，以實(shí)現(xiàn)存儲(chǔ)管理集群的去中心化。

第二，利用分布式事件驅(qū)動(dòng)技術(shù)，實(shí)現(xiàn)面向高并發(fā)場景的輕量級(jí)計(jì)算服務(wù)與監(jiān)督機(jī)制，提升管理操作執(zhí)行效率與容錯(cuò)性。

第三，基于規(guī)則的智能存儲(chǔ)管理技術(shù)，解決存儲(chǔ)數(shù)據(jù)量大、數(shù)據(jù)增量高、數(shù)據(jù)類型混雜難以管理的問題，實(shí)現(xiàn)數(shù)據(jù)生命周期的智能化管理。第四，憑借數(shù)據(jù)熱度感知技術(shù)，解決存儲(chǔ)資源利用不均、資源浪費(fèi)問題，實(shí)現(xiàn)數(shù)據(jù)冷熱分層。

五種特性

面向用戶場景，SSM體現(xiàn)在五類典型的特性增強(qiáng)。

第一，異構(gòu)存儲(chǔ)增強(qiáng)。結(jié)合智能規(guī)則管理與數(shù)據(jù)熱度感知，充分發(fā)揮異構(gòu)存儲(chǔ)訪問效率。

第二，糾刪碼增強(qiáng)。針對文件級(jí)的副本與糾刪碼、糾刪碼間快速轉(zhuǎn)換，效率提升30%;訪問路徑不變。

第三，小文件合并增強(qiáng)。自動(dòng)感知小文件，減緩NameNode壓力，讀性能提升一倍。

第四，自動(dòng)化數(shù)據(jù)災(zāi)備。全自動(dòng)跨域數(shù)據(jù)增量備份。

第五，透明化自動(dòng)壓縮。自選壓縮模式，無感知壓縮。