劉磊

摘要：實(shí)際工作中需要使用大數(shù)據(jù)技術(shù)，但是由于其帶有規(guī)模效應(yīng)，不利于數(shù)據(jù)分析、數(shù)據(jù)管理、數(shù)據(jù)存儲(chǔ)等工作。為了確保工作質(zhì)量，相關(guān)技術(shù)人員通過(guò)研究和試驗(yàn)，發(fā)現(xiàn)使用分布式文件系統(tǒng)優(yōu)勢(shì)明顯，應(yīng)用MapReduce編程模型可以解決上述問(wèn)題。具體而言，使用MOLAP技術(shù)之后，利用多維模型進(jìn)行維度的映射，同時(shí)使用線性化算法將測(cè)量到的維度等數(shù)據(jù)存儲(chǔ)到分布式文件中。該文對(duì)在大數(shù)據(jù)背景下分布式MOLAP技術(shù)要點(diǎn)進(jìn)行分析，希望給有關(guān)人士一些借鑒。

關(guān)鍵詞：大數(shù)據(jù)；分布式；MOLAP技術(shù)

中圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）01-0009-02

Abstract： In practical work， large data technology is needed， but because of its scale effect， it is not conducive to data analysis， data management， data storage and so on. In order to ensure the quality of work， the relevant technical personnel through research and experiment， found that the use of distributed file system has obvious advantages， the application of MapReduce programming model can solve these problems. Specifically， after using MOLAP technology， the multi-dimensional model is used to map the dimensions， and the linear algorithm is used to store the measured dimensions and other data into the distributed file. Below on the background of big data distributed MOLAP technology analysis， hoping to draw some reference for the relevant people.

Key words： Big data； distributed； MOLAP Technology

對(duì)于MOLAP技術(shù)也稱之為DOLAP，其使用了多維數(shù)據(jù)模型，包括維和和事實(shí)兩個(gè)部分，具體操作中必須要找到維和與事實(shí)之間的映射關(guān)系。DOLAP使用了星象模式，同時(shí)使用了關(guān)系數(shù)據(jù)庫(kù)，將事實(shí)數(shù)據(jù)和維信息都存儲(chǔ)到數(shù)據(jù)庫(kù)表中。通過(guò)外鍵操作做好對(duì)事實(shí)數(shù)據(jù)的映射、維信息的映射等。

1 分析維編碼算法和維的遍歷算法

1.1 對(duì)維編碼算法進(jìn)行深度分析

技術(shù)人員都清楚，實(shí)際工作中應(yīng)用OLAP技術(shù)進(jìn)行操作時(shí)，需要對(duì)維進(jìn)行頻繁的操作，由此可見(jiàn)，實(shí)際運(yùn)行中遍歷算法和維編碼是非常關(guān)鍵的技術(shù)。下面就深入對(duì)兩種技術(shù)進(jìn)行分析，希望相關(guān)人員掌握要領(lǐng)。對(duì)于維編碼的方法而言，主要包括兩種，分別是十進(jìn)制編碼和二進(jìn)制編碼。對(duì)于二進(jìn)制編碼而言，內(nèi)部也將其稱之為位圖編碼，操作中對(duì)相關(guān)編碼進(jìn)行拼接，進(jìn)而得到維的級(jí)別信息，除此之外，還可以結(jié)合編碼位移做到對(duì)維的遍歷，達(dá)到最終的技術(shù)效果。但是實(shí)際使用二進(jìn)制編碼過(guò)程中，很容易導(dǎo)致稀疏問(wèn)題。對(duì)于實(shí)際運(yùn)用的十進(jìn)制編碼而言，具體運(yùn)行操作過(guò)程中，系統(tǒng)會(huì)對(duì)所有級(jí)別的維值都使用十進(jìn)制數(shù)進(jìn)行編碼，雖然可以達(dá)到相關(guān)目的，但是也存在一定的問(wèn)題，其不能直接得到維值和編碼，同時(shí)也不能得到相應(yīng)的映射。在大數(shù)據(jù)背景下運(yùn)行，為了有效避免出現(xiàn)稀疏等問(wèn)題，在DOLAP技術(shù)當(dāng)中進(jìn)行了處理，其應(yīng)用十進(jìn)制進(jìn)行編碼，在此基礎(chǔ)上，還開(kāi)創(chuàng)了一種維的遍歷算法，通過(guò)這一算法對(duì)維值、編碼間的映射進(jìn)行計(jì)算。具體而言，設(shè)l是維d中的某個(gè)維級(jí)別，對(duì)x∈[1，|md（l）|]，vx∈md（l），vx的編碼為code（vx），那么就有code（vx）=x1.[1]，具體的算法如下：

維編碼算法.Input： Dimension d： A target dimension；

Function： DimensionCoding.

1. FOR i=1 TO |L（d）|；

2. FOR j=0 TO |md（li）|？1；

3. Dimension value of vi，j∈md（li）

4. Vi

5. j.code=j；

5. END FOR

6. END FOR

在現(xiàn)實(shí)環(huán)境中大多數(shù)維屬于數(shù)值型，例如其流水號(hào)、價(jià)格、經(jīng)度、高度等，可以結(jié)合其值域進(jìn)行劃分，由此可見(jiàn)，對(duì)于數(shù)值的維可以很容易滿足約束條件，但是還有非數(shù)值的維，包括部門(mén)、城市、日期等，根據(jù)這一情況，實(shí)際操作時(shí)可以使用空值填補(bǔ)維值數(shù)，在同一節(jié)點(diǎn)上包含相同數(shù)目的子節(jié)點(diǎn)，相關(guān)人員可以參考日期維編碼結(jié)果。一般在月級(jí)別上每個(gè)月的天數(shù)都是不同的，但是為了滿足在這一技術(shù)系統(tǒng)中的相關(guān)定義，就要設(shè)定每月都是31天，針對(duì)這一情況，實(shí)際操作時(shí)一般技術(shù)人員會(huì)在2月插入29日，或者插入30日和31日。維在實(shí)際應(yīng)用中會(huì)變得更加復(fù)雜，為了提高工作效率，要將其進(jìn)行簡(jiǎn)化，維層次的劃分方法有很多，包括維值數(shù)法，但是必須滿足定義條件。具體處理時(shí)可以選用取舍和合并的方法，將TCP-H的雪花模式進(jìn)行化簡(jiǎn)，將其變?yōu)樾切湍Ｊ?，得到的結(jié)果可以是SSB數(shù)據(jù)集中的維模式。對(duì)于SUPPLIER維表而言，可以選用區(qū)域?qū)傩裕∟ation，Region，City）作為劃分維層次的重要依據(jù)，最終會(huì)得到維層次Nation-Region-City。除此之外，可以在維Nation-Region-City維值樹(shù)中添加空值，這樣就滿足相關(guān)定義，符合其約束條件[2]。endprint

1.2 分析維的遍歷算法

對(duì)于DOLAP的維技術(shù)人員可以將其視為單根樹(shù)，記作Td，但是要記住ALL是Td的根節(jié)點(diǎn)，可以記做第0級(jí)別，對(duì)每個(gè)級(jí)別中的維值視為節(jié)點(diǎn)。對(duì)于其中每個(gè)兄弟節(jié)點(diǎn)而言，都有其相同數(shù)目的子節(jié)點(diǎn)。具體進(jìn)行OLAP操作時(shí)，需要對(duì)維值樹(shù)Td進(jìn)行遍歷操作，而且操作頻率較高，工作量比較大。例如要沿著Td下降，或者沿著Td攀升，設(shè)其有關(guān)系i∈[1，m1]，li+1dli，然后就有l(wèi)i+1→li，技術(shù)人員要清楚，其中的（vi+1）=vi是比較重要的一個(gè)操作內(nèi)容，利用制定的編碼機(jī)制，可以表示為vi∈md（li），vi+1∈md（li+1），這樣就會(huì)得到vi與vi+1二者上卷之間的關(guān)系ρd。這種上卷關(guān)系，我們可以通過(guò)編碼運(yùn)算實(shí)現(xiàn)Td中的上卷操作[3]。

2 分析數(shù)據(jù)的存儲(chǔ)

對(duì)于傳統(tǒng)的DOLAP技術(shù)而言，進(jìn)行數(shù)據(jù)立方存儲(chǔ)成本比較高，而且操作復(fù)雜，尤其對(duì)高維數(shù)據(jù)立方進(jìn)行存儲(chǔ)，或者對(duì)維包進(jìn)行存儲(chǔ)，其里面含有大量的維值，其存儲(chǔ)成本就更大。在傳統(tǒng)技術(shù)當(dāng)中，利用訪問(wèn)過(guò)程中的多維數(shù)組提高OLAP的操作，但是在大數(shù)據(jù)環(huán)境下這一操作非常難實(shí)現(xiàn)，其多維組是利用計(jì)算機(jī)得到的，沒(méi)有必要進(jìn)行存儲(chǔ)，由此可見(jiàn)，其使用數(shù)據(jù)立方進(jìn)行存儲(chǔ)代價(jià)非常小。DOLAP技術(shù)可以對(duì)維進(jìn)行簡(jiǎn)化，確保在同一級(jí)別上維的編碼時(shí)連續(xù)十進(jìn)制數(shù)，在此基礎(chǔ)上，每一個(gè)兄弟節(jié)點(diǎn)都有一個(gè)相同的子節(jié)點(diǎn)，針對(duì)這一情況可以得知，每個(gè)維信息只需要維級(jí)別的信息進(jìn)行存儲(chǔ)，降低了存儲(chǔ)的代價(jià)。技術(shù)人員可以設(shè)維d由m個(gè)維級(jí)別組成[4]，直接記作{li|i∈[1，m]}，這樣就有d，其存儲(chǔ)可以表示這一維級(jí)別和維級(jí)別規(guī)模的序偶所組成的集合，記做{li，|li||i∈[1，m]}，在這一公式中l(wèi)i表示這一維級(jí)別的名稱，由此可見(jiàn)，在這方面使用DOLAP技術(shù)之后，工作人員就可以使用XML文件進(jìn)行信息的存儲(chǔ)，同時(shí)將其保存到集群主節(jié)點(diǎn)中。

3 對(duì)OLAP算法進(jìn)行深入分析

通過(guò)對(duì)OLAP算法和MapReduce進(jìn)行分析，發(fā)現(xiàn)其建立了不同視圖，在使用OLAP算法時(shí)[5]，可以將其抽象為四元組進(jìn)行表示，分別是Target，Range，Aggregation，Result，其中，Target代表待分析的數(shù)據(jù)立方（元數(shù)據(jù)）；Range代表立方中待分析數(shù)據(jù)的數(shù)據(jù)范圍。Aggregation指的是聚集函數(shù)，例如mean、sum、maximum、minimum。其中的Result表示元數(shù)據(jù)，如果Target最高值比Result的最高維級(jí)別低時(shí)，就表示已經(jīng)完成了上卷操作，無(wú)論輸入還是輸出都是數(shù)據(jù)立方。技術(shù)人員要清楚，經(jīng)過(guò)查詢之后會(huì)生成新的立方，由此可見(jiàn)，Result、Target二者的維度可能有所不同。一般都使用維度進(jìn)行度量的查詢，對(duì)于OLAP算法而言，在操作查詢中也是由維度構(gòu)成的，Range屬于一個(gè)多維二元組，準(zhǔn)確指出了Target需要分析數(shù)據(jù)的范圍。該算法和傳統(tǒng)的MapReduce進(jìn)行對(duì)比，可以使用比較特殊的多維模型對(duì)度量、維和等進(jìn)行組織。存儲(chǔ)代價(jià)比較小。因此在實(shí)踐中得到了普及，一線人員也非常青睞這一方法。

4 總結(jié)

通過(guò)以上對(duì)大數(shù)據(jù)下DOLAP技術(shù)的分析，發(fā)現(xiàn)這一技術(shù)主要包含以下四方面的內(nèi)容，第一點(diǎn)，該技術(shù)可以使用比較特殊的多維模型對(duì)度量、維和等進(jìn)行組織。第二點(diǎn)，通過(guò)對(duì)維編碼、遍歷算法的分析，可以做到對(duì)維值樹(shù)上的上卷下鉆操作。第三點(diǎn)，傳統(tǒng)維的存儲(chǔ)方式比較復(fù)雜，代價(jià)較大，為了提高工作效率，對(duì)存儲(chǔ)方法進(jìn)行了簡(jiǎn)化，并做到維和度量的映射關(guān)系。第四點(diǎn)，技術(shù)人員通過(guò)深入研究，最終提出了一種OLA算法，將這一算法和HaoLap進(jìn)行對(duì)比，發(fā)現(xiàn)后者在數(shù)據(jù)裝載方面沒(méi)有優(yōu)勢(shì)，OLA算法的優(yōu)勢(shì)非常明顯，在此基礎(chǔ)上對(duì)這一算法的特點(diǎn)進(jìn)行總結(jié)，希望為以后的發(fā)展奠定基礎(chǔ)。

參考文獻(xiàn)：

[1] 宋杰， 郭朝鵬， 王智，等. 大數(shù)據(jù)分析的分布式MOLAP技術(shù)[J]. 軟件學(xué)報(bào)， 2014， 25（4）.

[2] 姜博. 大數(shù)據(jù)分析的分布式MOLAP技術(shù)[J]. 通訊世界， 2015（24）.

[3] 熊寧. 大數(shù)據(jù)分析的分布式MOLAP技術(shù)[J]. 信息技術(shù)與信息化， 2015（2）.

[4] 周青. 大數(shù)據(jù)分析在智能變電站狀態(tài)監(jiān)測(cè)系統(tǒng)中的應(yīng)用研究[D]. 華北電力大學(xué)， 2016.

[5] 蔣外文， 熊東平， 張肖霞. 基于多維數(shù)據(jù)庫(kù)的MOLAP存儲(chǔ)及查詢技術(shù)研究[J]. 計(jì)算機(jī)工程與應(yīng)用， 2005， 33（24）.endprint