汪浩洋，吳 偉，向 超，唐 健，湯佳駿

(上海機電工程研究所，上海 201109)

0 引言

隨著從數(shù)據(jù)中獲取知識的概念提出，以及信息化技術(shù)的發(fā)展，數(shù)據(jù)作為一種資源被廣泛重視并收集使用。武器裝備測試系統(tǒng)在信息化實踐過程中積累了大量的測試數(shù)據(jù)，并隨著武器裝備的研制生產(chǎn)，其規(guī)模越來越龐大。但人們更為關(guān)注數(shù)據(jù)背后蘊含的、能有效指導(dǎo)實踐的知識，這意味需要對海量數(shù)據(jù)進行挖掘分析，提煉出有價值的信息?；A(chǔ)的數(shù)據(jù)存儲以及管理方式雖然統(tǒng)籌存儲數(shù)據(jù)，解決了數(shù)據(jù)孤島問題，但難以滿足大規(guī)模的數(shù)據(jù)挖掘處理以及復(fù)雜分析的需求，因此需要構(gòu)建一套高效便捷的數(shù)據(jù)管理架構(gòu)。

在數(shù)據(jù)采集、存儲、應(yīng)用的全過程中，形成了多種優(yōu)化方法以提高實際效率。文獻[1-2]對數(shù)據(jù)倉庫抽取、轉(zhuǎn)換以及加載數(shù)據(jù)的功能過程進行了梳理，優(yōu)化了任務(wù)調(diào)度策略，在軍備保障以及政務(wù)數(shù)據(jù)存儲中得到了良好的運用。文獻[3-9]則是構(gòu)建了數(shù)據(jù)立方體模型，利用其易與聯(lián)機實時分析方法(On Line Transaction Processing，OLAP)結(jié)合的優(yōu)點實現(xiàn)數(shù)據(jù)處理過程的優(yōu)化。文獻[3]與文獻[4]將數(shù)據(jù)立方體模型與政區(qū)地圖相結(jié)合，實現(xiàn)了不同地區(qū)維度、不同統(tǒng)計方向下的數(shù)據(jù)統(tǒng)籌分析。文獻[7]介紹了數(shù)據(jù)立方體在港口環(huán)境下的實際應(yīng)用，總結(jié)了數(shù)據(jù)立方體的構(gòu)造以及軟件實現(xiàn)，運用實際數(shù)據(jù)進行了測試驗證，保證了數(shù)據(jù)立方體的有效性。在文獻[8]對犯罪預(yù)防分析與文獻[9]對輿情監(jiān)測分析中，數(shù)據(jù)立方體模型起到了強力支撐作用，為復(fù)雜多要素情境提供多維度分析視角。文獻[10]將文本概念加入數(shù)據(jù)立方體，形成更豐富的應(yīng)用環(huán)境；文獻[11]與文獻[12]則是將流數(shù)據(jù)與數(shù)據(jù)立方體結(jié)合，提出基于流數(shù)據(jù)的概要數(shù)據(jù)立方體，極大提高了索引效率。文獻[13-14]提出了有向圖方法對數(shù)據(jù)立方體進行詳細描述；文獻[15-16]分別就緊湊、封閉等數(shù)據(jù)立方體細分領(lǐng)域進行深入研究，提升數(shù)據(jù)立方體的數(shù)據(jù)查詢效率。

本文根據(jù)國內(nèi)外研究及應(yīng)用成果，將數(shù)據(jù)立方體概念引入到武器裝備測控領(lǐng)域，分析了數(shù)據(jù)立方體的設(shè)計思路，依據(jù)裝備測試數(shù)據(jù)的特點構(gòu)建裝備測試數(shù)據(jù)的數(shù)據(jù)立方體模型，在不同維度上實現(xiàn)對測試數(shù)據(jù)的觀測，為之后的數(shù)據(jù)分析工作提供良好的數(shù)據(jù)交換平臺。

1 數(shù)據(jù)立方體

1.1 數(shù)據(jù)立方體基本概念

自Codd.E.F在20世紀70年代提出關(guān)系型數(shù)據(jù)模式以來[17]，關(guān)系型數(shù)據(jù)庫以其結(jié)構(gòu)簡單清晰、易于維護等優(yōu)點得以快速發(fā)展。數(shù)據(jù)立方體是多維數(shù)據(jù)模型的一種具體表現(xiàn)形式，是基于關(guān)系數(shù)據(jù)庫的一類多維矩陣，能夠多維度展示數(shù)據(jù)，給用戶提供多個觀測和分析數(shù)據(jù)的視角[18-19]。數(shù)據(jù)立方體是對基本事件的屬性、度量值以及它們之間關(guān)聯(lián)的表現(xiàn)形式進行重構(gòu)得到的，由維和事實定義。維是事實信息的屬性，至少包含維碼、維層次、維成員等基本屬性，由維的基本屬性構(gòu)成的與之相關(guān)聯(lián)的表稱為維表。事實是數(shù)值度量的，事實表包括事實的名稱或度量，以及每個相關(guān)維表的維碼。

從名稱上看，數(shù)據(jù)立方體容易被理解是三維結(jié)構(gòu)，但實際上它可以由n維構(gòu)成，立方體是對多維數(shù)據(jù)存儲的一種比喻。多維數(shù)據(jù)模型圍繞中心主題組織構(gòu)建，不同視角分析數(shù)據(jù)的實際需求以及主題所關(guān)聯(lián)的特性決定數(shù)據(jù)立方體的維度。也即是說，我們可以根據(jù)實際的分析需求對構(gòu)成數(shù)據(jù)立方體的維度進行增減，優(yōu)化數(shù)據(jù)結(jié)構(gòu)，例如微軟曾構(gòu)建過高達64維的多維數(shù)據(jù)模型。顯然，這是多維數(shù)據(jù)模型面向主題構(gòu)建特性的體現(xiàn)。圖1展示了圍繞武器裝備試驗次數(shù)構(gòu)建的數(shù)據(jù)立方體模型，該數(shù)據(jù)立方體提供時間、地點、裝備試驗次數(shù)3個數(shù)據(jù)分析視角，若想要分析不同環(huán)境下的試驗次數(shù)，則需設(shè)計一個環(huán)境維度重新構(gòu)造數(shù)據(jù)立方體模型。

圖1 三維數(shù)據(jù)立方體示意圖

數(shù)據(jù)立方體是一個概念模型，它與物理模型的映射關(guān)系是通過確定維度以及維度內(nèi)的成員、粒度、層次等要素來實現(xiàn)的。維度成員是構(gòu)成維的基本單位，對應(yīng)著該維的一個取值，例如對于時間維，第一季度是它的一個維成員。粒度是一個維度內(nèi)為提供詳細分類信息而定義的劃分單位。粒度越粗表示細節(jié)程度越低、綜合程度越高；粒度越細表示細節(jié)程度越高、分類信息越詳實。信息詳實程度往往與數(shù)據(jù)總量呈正相關(guān)，即信息越詳實，數(shù)據(jù)規(guī)模越龐大。因此在資源有限的情況下，需要進行合理的粒度劃分，優(yōu)化數(shù)據(jù)結(jié)構(gòu)，提高查詢分析效率。粒度的粗細對應(yīng)不同的級別，級別組成維度的層次結(jié)構(gòu)。對于時間維的一個層次結(jié)構(gòu){年，半年，季}而言，年是第一級別，半年是第二級別，季是第三級別，這些級別間存在著“父子”包含關(guān)系。需要注意的是，同一維度內(nèi)可以存在多個層次結(jié)構(gòu)，例如時間維內(nèi)可以有{年，半年，季，月}的層次結(jié)構(gòu)，也可以有{年，月，日}的層次結(jié)構(gòu)。

各維度的維成員在數(shù)據(jù)立方體內(nèi)唯一邏輯標識確定的單位稱為數(shù)據(jù)格，該數(shù)據(jù)格存放聚集值。由所有維度最低級別的維成員確定的數(shù)據(jù)格稱為基本格，也稱基本方體；最高級別的維成員所確定的數(shù)據(jù)格稱為頂點方體；高層次級別的數(shù)據(jù)格聚集值由低層次數(shù)據(jù)格匯聚得到。在圖1中時間維度的“9月”成員、地點維度的“上?！背蓡T以及武器裝備型號維度的“A型裝備”成員所唯一確定的方體存儲的量值為9，即是說在9月份上海有9次A型裝備試驗。

在數(shù)據(jù)立方體中并非每個方體內(nèi)都包含量值，不具備任何信息的方體被稱為空方體。空方體不同于量值為0的方體，它通常是數(shù)據(jù)缺失或其他異常情況導(dǎo)致的，需要被特定標識。數(shù)據(jù)立方體中的空數(shù)據(jù)格作為一種特殊的數(shù)據(jù)格，體現(xiàn)了數(shù)據(jù)立方體模型的稀疏性，用基本空方體數(shù)與數(shù)據(jù)立方體的基本方體總數(shù)的比值來衡量稀疏性程度?？辗襟w的這種特殊性會導(dǎo)致數(shù)值矩陣計算難以進行，所以在實際操作中忽略空數(shù)據(jù)格是一個不錯的選擇。

1.2 數(shù)據(jù)立方體的模式

最初的關(guān)系型數(shù)據(jù)庫設(shè)計應(yīng)用實體-聯(lián)系數(shù)據(jù)模型，通過鍵碼連接二維數(shù)據(jù)表實現(xiàn)數(shù)據(jù)存儲檢索[20]。這種關(guān)系模型在查詢時通過鍵值跳轉(zhuǎn)查詢，對數(shù)據(jù)的全局展示較差，并不利于數(shù)據(jù)的多維分析，也不適用于聯(lián)機分析處理。目前較為常用的數(shù)據(jù)倉庫模型是多維數(shù)據(jù)模型，主要有星形模型、雪花模型及事實星座模型3種樣式。

星形模式數(shù)據(jù)庫包括一個中心事實表與一組附屬維表兩大部分，各維表連接到一個大的中心事實表上，其連接圖形如星形。在該模型下，中心事實表包含事實數(shù)據(jù)信息以及各個維表的維碼，并且不含冗余項；維表數(shù)量與事實表中的維碼相對應(yīng)，每個維表僅包含一組屬性。圖2為武器裝備測試數(shù)據(jù)的星形模型展開。

圖2 武器裝備測試數(shù)據(jù)的星形模型表示

雪花模型和事實星座模型都能夠由星形模型衍化而來，可以看做是星形模型的特殊形式。雪花模型是在星形模式的基礎(chǔ)上，將某些維表進行規(guī)范化處理，將數(shù)據(jù)進一步分解到附加表中得到的。相比于星形模式，雪花模式的優(yōu)點在于某些維表是規(guī)范化的形式，易于維護，并且節(jié)省了存儲空間。不足之處在于規(guī)范附加維表后，執(zhí)行查詢需要更多的連接操作，帶來瀏覽效率的降低，可能會影響系統(tǒng)的性能。因此，盡管雪花模式有一些優(yōu)點，適用于一些特定的場合，比如地址的規(guī)范，但是在多維數(shù)據(jù)模型中星形模型應(yīng)用更廣泛。

事實星座模型是將多個關(guān)聯(lián)的星形模型合并相同維表得到的。在實際的復(fù)雜應(yīng)用情景中，存在有多個事實表相互關(guān)聯(lián)，表現(xiàn)為部分維表相同的情況，有多個中心事實表而共用相同維表的模型稱為事實星座模型。

2 武器裝備測試數(shù)據(jù)立方體的構(gòu)建

數(shù)據(jù)立方體的構(gòu)建需要分析實際應(yīng)用場景，確定實際需求，從而明確數(shù)據(jù)倉庫的主題，而后依據(jù)中心主題進行數(shù)據(jù)立方體設(shè)計。本節(jié)首先分析武器裝備測試系統(tǒng)的實際需求，明確維度數(shù)量、維度間的關(guān)系以及各維度的層次結(jié)構(gòu)，之后運用概念模型、邏輯模型以及物理模型三級數(shù)據(jù)模型方法實現(xiàn)數(shù)據(jù)立方體的構(gòu)建。

2.1 武器裝備測試系統(tǒng)需求分析

武器裝備測試系統(tǒng)管理人員最關(guān)注武器裝備生產(chǎn)質(zhì)量是否合格，最關(guān)注的參數(shù)是武器裝備的測試參數(shù)指標。由其研制過程來看，數(shù)據(jù)來源包括原理樣機測試數(shù)據(jù)、工程樣機測試數(shù)據(jù)以及定型測試數(shù)據(jù)，涵蓋了設(shè)計、定型、生產(chǎn)的各階段。因此可以以測試質(zhì)量分析為中心主題構(gòu)建一個數(shù)據(jù)立方體模型。但在實際操作過程中，由于武器裝備系統(tǒng)的復(fù)雜性以及各層次管理人員的不同分工管理，單一的測試數(shù)據(jù)中心主題不足以滿足實際需求。頂層設(shè)計人員需要從宏觀把控武器裝備型號立項，掌握全局信息，確定發(fā)展方向；中層管理人員需要確定測試項目及指標設(shè)計是否合理，從原理設(shè)計方面對其進行試驗驗證；技術(shù)操作人員需要檢驗生產(chǎn)質(zhì)量，依據(jù)測試數(shù)據(jù)進行判讀分析；配套方單獨提供配套信息。因此在結(jié)合各方需求后，基本可以確定4個中心主題：武器裝備設(shè)計分析、武器裝備測試項目分析、武器裝備測試數(shù)據(jù)分析以及配套信息分析。由此，確定武器裝備測試數(shù)據(jù)立方體采用事實星座模式，由多個事實中心及其配套維表組成。事實星座模型設(shè)計可由多個星形模式合并相同維表得來，因此在下文分析中僅以武器裝備測試數(shù)據(jù)分析的星形模式為例分析數(shù)據(jù)立方體的構(gòu)建方法及步驟，在此基礎(chǔ)上容易得到事實星座模式構(gòu)建方法。

2.2 概念模型設(shè)計

概念模型設(shè)計是在較高抽象層次上的設(shè)計，它面向武器裝備測試系統(tǒng)全局建立，為數(shù)據(jù)立方體的整體構(gòu)建提供了全局的概念視圖。一方面，數(shù)據(jù)立方體是對武器裝備測試系統(tǒng)的歷史數(shù)據(jù)進行集成和整合而組成的數(shù)據(jù)大集合，需要充分考慮使用者的功能需求；另一方面，需要對武器裝備測試系統(tǒng)的數(shù)據(jù)內(nèi)容及其特性有深入而清晰的理解，才能有針對性地設(shè)計完整方案。分析數(shù)據(jù)特性以及功能需求后，通過確定系統(tǒng)邊界和定義主題域來反映數(shù)據(jù)倉庫的概念模型。

武器裝備測試數(shù)據(jù)分析主題的需求是有效判別武器裝備生產(chǎn)質(zhì)量，數(shù)據(jù)來源是測試數(shù)據(jù)信息。經(jīng)過分析可以得到感興趣的分析視角，確定維度信息，即時間維度、武器裝備編號維度、測試種類維度、測試環(huán)境維度。時間維度中劃分年、月、日3個粒度級別；武器裝備編號維度中劃分型號、批次、編號3個粒度級別；測試總類維度中劃分全彈測試、艙段測試、單機測試3個粒度級別；測試環(huán)境維度中信息較為繁雜，并沒有明顯的“父子”包含關(guān)系，多以并列關(guān)系存在。圖3展示了武器裝備編號維度的詳細層次結(jié)構(gòu)關(guān)系。

圖3 武器裝備編號維度的層次結(jié)構(gòu)

考慮多維數(shù)據(jù)模型的多維特性，超出三維的數(shù)據(jù)模型無法有效展現(xiàn)，本文采用信息包圖表示多維數(shù)據(jù)。信息包圖采用二維表格的形式表示多維數(shù)據(jù)，它有3個重要對象：維度、粒度和指標對象。根據(jù)上文的分析，詳細確定了武器裝備測試數(shù)據(jù)分析主題的維度以及粒度層次信息；指標對象信息是實際度量值，在武器裝備測試主題中包括測試數(shù)據(jù)以及成功子樣。將各確定的維度對象、粒度對象以及指標對象信息匯總后，以信息打包的方式得到信息包圖，如圖4所示。

圖4 武器裝備測試數(shù)據(jù)信息包圖

2.3 邏輯模型設(shè)計

邏輯模型是從概念模型到物理模型轉(zhuǎn)化的中間步驟。按照概念模型階段構(gòu)建的基本對應(yīng)關(guān)系，以及選定的數(shù)據(jù)模型形式要求，將概念模型轉(zhuǎn)化為相應(yīng)的邏輯模型。這一階段的目的是確定各主題中包含的實體、各實體間的關(guān)聯(lián)關(guān)系是什么以及實體間是否有約束關(guān)系。按照轉(zhuǎn)換規(guī)則以及目的，武器裝備測試數(shù)據(jù)分析主題確定指標實體以及維度實體兩類實體。首先需要定義指標實體以及維度實體，其次是建立兩者間的聯(lián)系。指標實體包括數(shù)據(jù)指標和邏輯指標，數(shù)據(jù)指標即是主題域中所包含的數(shù)據(jù)，可以由信息包圖的指標對象構(gòu)成；邏輯指標是指區(qū)分數(shù)據(jù)的邏輯關(guān)系，可以由各維度的最低級別類別構(gòu)成，得到唯一確定的邏輯標識。這樣得到的數(shù)據(jù)與邏輯指標共同構(gòu)成了星型圖的指標實體。維度實體由各維度的各層次對象構(gòu)成，例如時間維度的維度實體為{年，月，日}。

指標實體包含維度實體的最低類別成員，因此指標實體與維度實體之間的關(guān)系可以通過邏輯模型中的詳細類別定義，實現(xiàn)一一對應(yīng)的關(guān)系。在星型圖中，每個維度實體通過最底層的詳細類別實體和指標實體進行連接。由此構(gòu)建得到星型圖模型，如圖5所示。

圖5 武器裝備測試星型圖

2.4 物理模型設(shè)計

物理模型是根據(jù)邏輯模型的設(shè)計內(nèi)容，在實際的物理具體介質(zhì)上實現(xiàn)出來。物理模型階段不僅需要建立物理結(jié)構(gòu)模型，而且需要規(guī)定數(shù)據(jù)標準，明確實具體特征，以便于在物理介質(zhì)上進行具體操作。定義數(shù)據(jù)標準包括命名約定、數(shù)據(jù)類型、約束、索引等方面；實體特征包括值的類型、存儲長度等方面信息。

在得到的星型圖基礎(chǔ)上，要綜合考慮數(shù)據(jù)立方體模型中事實表與維度表的實體構(gòu)建，以及它們之間的各種約束關(guān)系。根據(jù)邏輯設(shè)計的星型圖，將指標實體轉(zhuǎn)化為中心事實表，將維度實體轉(zhuǎn)化為維度表。事實表中不僅僅包含數(shù)據(jù)的指標量，還要包含維度實體中約定的主碼值，通過包含的主碼與維表的外碼構(gòu)建事實表與維表之間的連接，因此主碼與外碼鍵值關(guān)系必須一一對應(yīng)。即是說事實表中包含兩部分，一部分是與之連接的維表主碼值，另一部分是事實數(shù)據(jù)的量值。維表包含定義的外碼以及對應(yīng)的一組維屬性。

在武器裝備測試數(shù)據(jù)分析主題中，事實表包含時間標識、編號標識、測試標識以及環(huán)境標識共同構(gòu)成的組合維碼，以及測試指標數(shù)據(jù)和成功子樣的度量值信息。同時，事實表中還含有數(shù)據(jù)類型等約定規(guī)范信息，其具體的表結(jié)構(gòu)如表1所示。

表1 武器裝備測試事實表

每個維都有與之對應(yīng)的維表，它展現(xiàn)了維度的外碼鍵值、粒度級別信息以及約束信息。以武器裝備編號維度為例，維表包含了編號標識、{型號、批次、編號}等層次信息以及儲存類型、數(shù)值長度等約束信息，具體表結(jié)構(gòu)如表2所示。

表2 武器裝備編號維度表

3 應(yīng)用案例

本文實驗數(shù)據(jù)來源于歷史儲存的裝備測試數(shù)據(jù)。該數(shù)據(jù)集中每一條數(shù)據(jù)樣本都有測試裝備信息，該裝備測試的時間、環(huán)境等輔助信息，反映不同測試類別的測試種類信息，以及反映裝備狀態(tài)的測試數(shù)據(jù)組成。在武器裝備測試數(shù)據(jù)管理平臺中，數(shù)據(jù)立方體配合聯(lián)機分析方法采用多維分析技術(shù)，實現(xiàn)數(shù)據(jù)的高效整合分析，并可在前端界面進行表格化展示。

數(shù)據(jù)立方體的多維分析技術(shù)是在構(gòu)建的數(shù)據(jù)立方體框架內(nèi)對數(shù)據(jù)進行轉(zhuǎn)換、整合分析，其具體的操作主要包括切塊、切片、下鉆、上卷以及旋轉(zhuǎn)。切片以及切塊操作是選擇特定目標數(shù)據(jù)進行查詢分析，下鉆與上卷操作是依據(jù)層次結(jié)構(gòu)進行數(shù)據(jù)整合分析，旋轉(zhuǎn)操作是從不同方向研究指標數(shù)據(jù)在維上的分布。

圖6(a)展示了裝備編號維在下鉆操作下的前端顯示，圖6(b)展示了數(shù)據(jù)立方體在切塊操作下對特定區(qū)域數(shù)據(jù)的查詢顯示?？梢钥闯觯b備編號維的下鉆操作是依照設(shè)定的層次結(jié)構(gòu)依次向下進行的，體現(xiàn)了數(shù)據(jù)的從屬關(guān)系，能夠有效地在總體與細節(jié)上觀測數(shù)據(jù)；對數(shù)據(jù)立方體進行切塊查詢操作，選擇出需要的數(shù)據(jù)對象，能夠精細地整合數(shù)據(jù)，聚合同一類型的數(shù)據(jù)對象，為數(shù)據(jù)分析提供了現(xiàn)實數(shù)據(jù)基礎(chǔ)。

圖6 結(jié)果顯示

試驗結(jié)果分析發(fā)現(xiàn)，相較于表格存儲，對數(shù)據(jù)進行重構(gòu)得到的數(shù)據(jù)立方體模型擁有更好的數(shù)據(jù)組織整合能力，能夠體現(xiàn)設(shè)計要求，提供多維度觀測分析的視角，實現(xiàn)了數(shù)據(jù)靈活精細地組織整合，滿足了數(shù)據(jù)查詢與分析的需求，為之后的數(shù)據(jù)挖掘提供了良好的數(shù)據(jù)基礎(chǔ)平臺。

4 結(jié)束語

龐大的數(shù)據(jù)規(guī)模以及精細化管控目標不僅要求采用合適的數(shù)據(jù)分析方法得到有價值的知識，而且需要對數(shù)據(jù)進行更深入的挖掘，更全面的分析。本文采用數(shù)據(jù)立方體模型建立了層次和級別表達機制，以及多維視角的數(shù)據(jù)觀測模式，能夠有效地支撐數(shù)據(jù)的多維度分析挖掘需求。依照三級數(shù)據(jù)模型設(shè)計方法，詳細介紹了武器裝備測試數(shù)據(jù)立方體的構(gòu)建過程，具有可操作性。數(shù)據(jù)立方體存儲模型既能夠?qū)崿F(xiàn)在時間、裝備編號等維度的統(tǒng)計分析，又能在型號、批次等粒度層面實現(xiàn)橫向?qū)Ρ确治?，支持全方位、多視角的?shù)據(jù)觀測，有利于展開綜合性對比關(guān)聯(lián)分析。