曾廣移 盧勇 李德華 李俊超

摘 要：在大數(shù)據(jù)時(shí)代，數(shù)據(jù)高速增長(zhǎng)，對(duì)數(shù)據(jù)倉(cāng)庫(kù)管理方法和技術(shù)提出了全新挑戰(zhàn)，為實(shí)現(xiàn)倉(cāng)儲(chǔ)資源優(yōu)化配置，提高資源使用效率，首次把數(shù)據(jù)半衰期運(yùn)用于數(shù)據(jù)倉(cāng)庫(kù)分級(jí)存儲(chǔ)。傳統(tǒng)固定閾值轉(zhuǎn)存策略存在存儲(chǔ)資源配置不合理的問(wèn)題，利用半衰期分級(jí)存儲(chǔ)策略，對(duì)每個(gè)數(shù)據(jù)對(duì)象進(jìn)行計(jì)算分析后轉(zhuǎn)存，采用MPP數(shù)據(jù)倉(cāng)庫(kù)和Hadoop構(gòu)建混合數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)架構(gòu)，解決了大數(shù)據(jù)背景下的數(shù)據(jù)存儲(chǔ)與分析，實(shí)現(xiàn)了數(shù)據(jù)倉(cāng)庫(kù)管理方法和數(shù)據(jù)存儲(chǔ)架構(gòu)的創(chuàng)新。實(shí)際驗(yàn)證發(fā)現(xiàn)，數(shù)據(jù)半衰期轉(zhuǎn)存策略優(yōu)于固定閾值轉(zhuǎn)存策略，證明數(shù)據(jù)半衰期在數(shù)據(jù)倉(cāng)庫(kù)的管理中有顯著應(yīng)用價(jià)值。

關(guān)鍵詞：數(shù)據(jù)半衰期;分級(jí)存儲(chǔ);Hadoop;數(shù)據(jù)倉(cāng)庫(kù)

DOI：10. 11907/rjdk. 181572

中圖分類號(hào)：TP319文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）002-0123-05

Abstract：In the era of big data， the rapid growth of data has brought new challenges to data warehouse management methods and technologies. This paper applies data half-life to hierarchical storage of data warehouses for the first time. The purpose is to optimize the configuration of storage resources and improve the efficiency of resource use. The traditional fixed-threshold save strategy has the shortcoming of unreasonable allocation of storage resources. A half-life storage strategy is used to calculate， analyze and transfer each data object. In terms of technology， MPP data warehouse and Hadoop are used to build hybrid data warehouse storage. The method solves the problem of data storage and facilitates analysis under the background of big data， and realizes the data warehouse management and data storage architecture innovation. The method of verifying the half-life of data by empirical method is better than that of the fixed threshold， which proves that the data half-life has significant application value in the data warehouse management.

Key Words：data half life;hierarchical storage;Hadoop;data warehouse

0 引言

全球知名咨詢公司麥肯錫全球研究院發(fā)布了一份題為《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)新領(lǐng)域》的報(bào)告，報(bào)告指出2011年后大數(shù)據(jù)將保持每年50%以上的增長(zhǎng)速度。2011年全球數(shù)據(jù)增量就達(dá)到了1.8ZB（1.8萬(wàn)億GB），相當(dāng)于全世界每個(gè)人產(chǎn)生200GB以上數(shù)據(jù)。從宏觀角度看，全球數(shù)據(jù)實(shí)現(xiàn)爆炸式增長(zhǎng);從微觀角度看，企業(yè)管理數(shù)據(jù)也在高速增長(zhǎng)，商業(yè)數(shù)據(jù)更是呈指數(shù)級(jí)增長(zhǎng)。大數(shù)據(jù)指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)，同時(shí)對(duì)技術(shù)和工具提出了更高要求。隨著數(shù)據(jù)的快速增長(zhǎng)，商業(yè)數(shù)據(jù)倉(cāng)庫(kù)已不能適應(yīng)新業(yè)務(wù)和新應(yīng)用場(chǎng)景的要求，數(shù)據(jù)倉(cāng)庫(kù)不能支撐大數(shù)據(jù)分析與預(yù)測(cè)。

傳統(tǒng)商業(yè)數(shù)據(jù)倉(cāng)庫(kù)采用MPP架構(gòu)。數(shù)據(jù)倉(cāng)庫(kù)MPP[2]（massively parallel processing）是將任務(wù)并行地分散到多個(gè)服務(wù)器和節(jié)點(diǎn)上，在每個(gè)節(jié)點(diǎn)上計(jì)算完成后，將各自部分的結(jié)果匯總在一起得到最終結(jié)果。在 MPP 系統(tǒng)中，每個(gè)節(jié)點(diǎn)內(nèi)的CPU不能直接訪問(wèn)另一個(gè)節(jié)點(diǎn)的內(nèi)存，節(jié)點(diǎn)之間信息交互通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)。因?yàn)镸PP系統(tǒng)不共享資源（Share-Nothing），資源水平擴(kuò)展比較容易實(shí)現(xiàn)。常見(jiàn)的MPP數(shù)據(jù)庫(kù)架構(gòu)如圖1所示。

MPP架構(gòu)特點(diǎn)包括：①通過(guò)Scale-Out的方式擴(kuò)展計(jì)算能力，存儲(chǔ)也同步線性擴(kuò)展;②適用于結(jié)構(gòu)化數(shù)據(jù)，支持TB級(jí)數(shù)據(jù)分析預(yù)測(cè);③存儲(chǔ)空間擴(kuò)容價(jià)格昂貴，多采用軟硬件綁定的模式銷售。

由于MPP數(shù)據(jù)倉(cāng)庫(kù)技術(shù)成熟、穩(wěn)定性好，支持在線階段分析與計(jì)算，因此運(yùn)用MMP數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)品在商業(yè)中被大量采用，如Teradata、DB2等。在數(shù)據(jù)增長(zhǎng)緩慢的時(shí)代，數(shù)據(jù)倉(cāng)庫(kù)可以發(fā)揮MPP架構(gòu)的優(yōu)點(diǎn)，通過(guò)掛載服務(wù)器和存儲(chǔ)設(shè)備，實(shí)現(xiàn)資源的水平擴(kuò)展，但是在大數(shù)據(jù)時(shí)代，數(shù)據(jù)增長(zhǎng)迅速，通過(guò)增加服務(wù)器已經(jīng)不能很好解決數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)問(wèn)題，具體包括兩個(gè)方面： ①服務(wù)器及存儲(chǔ)設(shè)備的大量增加，會(huì)大幅降低數(shù)據(jù)分析能力，運(yùn)行效率快速下降，無(wú)法實(shí)現(xiàn)數(shù)據(jù)快速響應(yīng)的要求;②MPP架構(gòu)的服務(wù)器和存儲(chǔ)設(shè)備必須由廠商提供，價(jià)格非常昂貴。為了保證數(shù)據(jù)及時(shí)和快速響應(yīng)，在早期數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中，并未考慮數(shù)據(jù)分級(jí)存儲(chǔ)。大數(shù)據(jù)時(shí)代，MPP架構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)暴露了諸多缺點(diǎn)，結(jié)合大數(shù)據(jù)時(shí)代的新技術(shù)，本文依據(jù)數(shù)據(jù)生命周期原理，提出對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行分級(jí)存儲(chǔ)的解決方案。許多學(xué)者在數(shù)據(jù)分級(jí)存儲(chǔ)領(lǐng)域進(jìn)行了分析與歸納，其中楊文暉對(duì)海量空間數(shù)據(jù)的特點(diǎn)和日常數(shù)據(jù)應(yīng)用規(guī)律，提出了基于訪問(wèn)熱度和聚類關(guān)聯(lián)的海量空間數(shù)據(jù)分級(jí)存儲(chǔ)模型，該模型主要包括熱點(diǎn)數(shù)據(jù)分級(jí)、關(guān)聯(lián)數(shù)據(jù)分級(jí)、數(shù)據(jù)遷移3部分[3]。吳洪橋等[4]針對(duì)數(shù)據(jù)中心在線、近線和離線的多級(jí)存儲(chǔ)體系架構(gòu)，提出了開(kāi)展多源、異構(gòu)影像數(shù)據(jù)分級(jí)存儲(chǔ)與數(shù)據(jù)遷移規(guī)則的研究，依據(jù)影像數(shù)據(jù)產(chǎn)品鏈與生命周期，提出了分級(jí)存儲(chǔ)原則、價(jià)值評(píng)估要素、分級(jí)存儲(chǔ)策略與方法。史敏鴿[5]則從數(shù)據(jù)分級(jí)如何在圖書(shū)館領(lǐng)域應(yīng)用進(jìn)行了研究。