企業(yè)數(shù)據(jù)呈幾何式增長,超大規(guī)模、動態(tài)可伸縮以及快速的并行分析能力對數(shù)據(jù)庫提出了更高要求。
隨著企業(yè)數(shù)據(jù)的呈幾何指數(shù)增加,數(shù)據(jù)存儲、管理和在線分析能力要求越來越高; 尤其是面對激烈的市場,企業(yè)只有更好地使用數(shù)據(jù)才能面對日益激烈的競爭。
近日,GreenPlum公司推出了最新的GreenPlum Database 4.0數(shù)據(jù)庫和首個商用企業(yè)數(shù)據(jù)庫云端運算平臺GreenPlum Chorus。GreenPlum的數(shù)據(jù)庫倉庫產(chǎn)品采用了MPP(Massively Parallel Processing)并行處理的架構,數(shù)據(jù)庫引擎是基于軟件的引擎,不依賴一些專有硬件平臺,同各種硬件和操作系統(tǒng)平臺有很強的兼容性,可以很輕易地使用10G的以太網(wǎng)絡、SSD存儲還有虛擬化技術來服務于數(shù)據(jù)分析。同時該架構具有很強的伸縮性,支持從幾個TB的數(shù)據(jù)到幾個PB(1PB=1000TB)的數(shù)據(jù)。
MPP中所使用的MapReduce是一種新的處理技術或者說是一種新的處理的框架,是谷歌發(fā)明的一種主要用于文本的分析檢索功能,使用這種技術,只需要增加節(jié)點就可以線性地提高系統(tǒng)的存儲容量和處理能力。Luke Lonergan說,為了充分發(fā)揮MapReduce這種特性,在GreenPlum數(shù)據(jù)庫系統(tǒng)中提供相應的API可供不同的編程語言調用。
除此之外,新產(chǎn)品在工作負載管理、自我恢復容錯和數(shù)據(jù)分析方面有了重大的突破。工作負載管理就是既要保證工作負載的全部完成,又要保證處理的優(yōu)先級。Luke Lonergan說,工作負載管理利用資源隊列管理實現(xiàn)按用戶組的進行資源分配,比如: 保證公司的高層管理人員早晨一到辦公室就能夠拿到數(shù)據(jù),同時保證其他被分配的任務全部順利完成,而且還有防止低質量的SQL對系統(tǒng)資源消耗的管理。
在數(shù)據(jù)分析方面,GreenPlum Database 4.0增加了更快的單行操作(選取、更新、插入和刪除)等的優(yōu)化,加強了深度分析功能,引入新的分析方法。更為突出的是,是對在混合工作環(huán)境下的服務級別協(xié)議和請求的優(yōu)化,Luke Lonergan說,當前越來越多的客戶在做數(shù)據(jù)分析處理的同時,也在做在線交易的處理,即OLTP(在線事務處理)和OLAP(在線分析處理)同時進行,GreenPlum數(shù)據(jù)庫能夠進行不同的分類和重新導向以便有效地加速交易處理的速度。
對于云端數(shù)據(jù)庫平臺Chorus,Luke Lonergan說,Chorus是一個具有數(shù)據(jù)庫能力虛擬化的云平臺,企業(yè)用戶可通過GreenPlum的數(shù)據(jù)庫和Chorus,建設強大的企業(yè)級的數(shù)據(jù)“云”系統(tǒng): Chorus包括了三個主要的功能,自助服務供應、數(shù)據(jù)庫實例(DataBase Instance)、數(shù)據(jù)集市管理。