李玉泉，武 彤

(貴州大學 計算機科學與技術學院，貴州 貴陽 550025)

基于數據倉庫的科學儀器設備數據分析系統*

李玉泉，武 彤

(貴州大學 計算機科學與技術學院，貴州 貴陽 550025)

如何節(jié)省在科學儀器設備管理工作中對數據分析投入的人力物力并提高管理效率是科技管理部門十分關注的問題。利用數據倉庫技術可以對現有的科學儀器設備數據進行多維分析，以便有效利用分析數據輔助管理者決策。文章據此分析了科學儀器設備數據源，提出了分析主題，通過模型設計、ETL功能以及OLAP功能的設計，實現了一個基于數據倉庫的科學儀器設備數據分析系統。系統的開發(fā)研究證明了數據倉庫技術在科學儀器設備管理上應用的可行性，并為進一步建立基于數據倉庫的科技數據決策支持系統打下了基礎。

科學儀器設備；數據倉庫；ETL；OLAP

0 引言

科學儀器設備是科學研究、技術創(chuàng)新的基礎條件，先進的科學儀器設備體現了國家的科技發(fā)展水平，高精的大型科學儀器能夠更好地幫助科學家獲得科研成果[1]。為了增強科技對經濟社會發(fā)展服務支撐的能力，促進全社會科技資源高效配置和綜合集成，各省都建立了大型科學儀器設備共享平臺,通過共享平臺實現了對科學儀器設備信息進行登記維護,并可以進行預約服務等功能,從而實現科學儀器設備(特別是大型儀器設備)的資源共享,集中管理[2]。隨著科學儀器設備平臺的不斷應用，產生了大量的數據，對這些數據進行分析挖掘，將得到很多隱藏在數據后面的信息，有效地利用這些信息，將為管理人員提供科學決策依據。然而目前對科學儀器設備數據的統計分析還停留在人工分析的階段，這樣造成了分析數據不準確，統計分析時間漫長，數據分析結果不能支持決策。

而數據倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數據集合，可用于支持管理決策過程[3]。本文以某省的科學儀器設備共享平臺為數據源，利用數據倉庫的相關技術建立了基于數據倉庫的科學儀器設備數據分析系統，該系統可以在數據倉庫基礎上進行OLAP分析并實現分析結果清晰展現，以滿足相關管理人員的決策需求。

1 數據源分析

某省現有的科學儀器設備共享平臺中主要包括儀器設備信息、提供服務信息、服務預約信息。該平臺所具有的事務統計功能主要是統計儀器設備的地理分布情況、在不同學科的數量價值、每年新增儀器的數量價值等信息。通過對數據源進行分析發(fā)現儀器設備的使用率、共享率以及儀器設備提供服務的信息也是管理人員在管理工作中希望掌握的重要指標[4]。所以在原有的事務統計基礎上，提出以下數據分析需求：

1.1 使用分析

儀器設備使用分析是針對平臺上登記過的儀器設備，根據每年提供的使用機時等信息，結合近幾年使用情況，科技部門可以針對某些熱門領域或某些地區(qū)的儀器設備加大補助，擴大宣傳；而提供方可以根據儀器設備使用情況，考慮增置或減配相關設備，增加或減少年對外使用機時等對策。使用分析主要包括對使用率和共享率的分析。

使用率計算方法為：年機時/額定機時×100%，額定機時一般為200×8小時，如果使用率大于100%，則記錄具體值，而不計為100%；共享率計算方法為：年對外機時/年機時×100%，若共享率大于100%，則計為100%[5]。

1.2 服務分析

儀器設備提供了加工、檢測等服務，而服務計費方式各種各樣，所以需要統計儀器服務計費方式的分布情況，通過對比觀察計費方法的合理性。結合儀器報廢年限、年使用情況、服務計費等，分析其服務成本、計費是否合理等信息，為儀器提供方節(jié)約成本，為服務需求方提供合理的收費模式。

2 模型設計

2.1 概念模型設計

概念模型設計是數據倉庫模型設計的首要工作[6]。通過概念設計，可以確定數據倉庫的主要主題以及相互關系。

根據上述的需求分析，要解決的問題有兩個。第一是關于現有儀器的使用情況，儀器使用需要從儀器的基本信息、所在地、所屬學科等方面進行分析；第二是關于儀器的服務情況，由于想要看到儀器服務收費是否合理，所以需要收集服務的類型、收費類型、收費等信息。根據這兩個問題，可以確定該數據倉庫的主題有兩個：儀器設備主題——分析儀器設備使用，服務主題——分析服務現狀。所需要的數據有儀器設備數據、服務數據。對各主題的屬性信息的描述如表1所示。

表1 主題的描述

2.2 邏輯模型設計

由于該數據倉庫建立在關系型數據庫基礎上，在數據倉庫中采用的邏輯模型就是關系模型，它描述了數據倉庫主題的邏輯實現，即每個主題所對應的關系表的關系模式的定義。

數據倉庫的設計是一個逐步求精的過程[7]，在進行設計時，一般是一次一個或多個主題逐步完成，由于系統中只有兩個主題，所以這里直接裝載儀器和服務兩個主題。數據粒度方面，由于源數據中存在具體到日的時間信息，所以日期方面遵從“最小粒度”原則，其他的數據也可以選擇最小數據粒度。在儀器主題中，由于受關心的儀器共享率和使用率是由現有的“年機時”、“年可用機時”等計算而來，所以這些度量值可以直接在OLAP模型中添加，對于“服務”主題也是如此。最終數據倉庫的邏輯模型如圖1所示。

圖1 數據倉庫邏輯模型

2.3 物理模型設計

物理模型是邏輯模型在數據倉庫中的實現模式，如數據的索引策略、數據的存儲策略等[8]。數據倉庫的邏輯模型適合采用位圖連接索引，在數據倉庫環(huán)境中使用這種索引改進連接維度表和事實表的查詢性能。數據源即科學儀器共享平臺中儀器和服務，其主鍵采用的是25位字符串，查詢效率低，所以在數據倉庫的儀器和服務表中設置代理鍵[9]，而在其他表中添加替代鍵。其中，代理鍵是自增整數，而替代鍵是不會重復的值，例如日期表中的替代鍵可以是字符型，值為具體的日期(中文的年和月)，這樣可以大大地提高查詢效率。而且為了方便管理數據，單位、地理位置和學科分類等信息從儀器表中分離為單獨的表。

3 ETL設計

ETL過程，包含從各種數據源抽取數據，把數據轉換為“干凈的”、一致的、可用的數據，然后把數據加載到數據倉庫中。它是數據倉庫實現過程中最重要的一個環(huán)節(jié)[10]。本系統采用SQL Server和SSIS結合進行ETL實現。

通過對數據源數據分析，日期、儀器設備所在地區(qū)、學科類型等數據是固定不變的，這些數據可以進行全量加載，而儀器設備信息、服務信息會隨著時間不停地更新，所以對于這些數據設置增量加載機制，這里采用時間戳方式增量抽取數據[11]。在數據轉換過程中主要是對數據類型、枚舉數據、字符格式等進行轉換，數據倉庫在裝載數據時為了避免主外鍵約束可以先把外鍵刪除，實現順序裝載。

ETL的實現，使用編碼和SSIS工具共同完成。采用SQL代碼實現枚舉數據的映射，例如單位類型在源數據中為1，代表事業(yè)單位，這里可以直接把“事業(yè)單位”存入其中，建立日期表也需要用到SQL語句；SSIS可以對ETL整個過程進行安排[12]，圖2是通過SSIS平臺設計的對儀器設備數據進行抽取、轉換和加載的過程，其他數據的ETL過程均類似于圖中的形式。在SQLServerAgent中把這些SSIS作業(yè)設置為定時任務可以實現ETL過程周期進行。

圖2 SSIS實現儀器設備信息ETL過程

4 分析功能實現

在數據倉庫的基礎上，利用SSAS可以建立對應的OLAP模型，本系統中OLAP模型與數據倉庫模型的不同主要在于OLAP模型中為了方便數據展示添加了多對計算成員，圖3是OLAP模型中儀器設備多維數據模型，圖中帶有計算器符號的列均是計算成員。

圖3 儀器設備多維數據模型

多維表達式(Multi-Dimensional Expressions，MDX)是標準的OLAP查詢語言[13]，多數OLAP Server都提供MDX支持，如SSAS、Hyperion Essbase等，MDX支持多維數據定義和操作。在SSRS中配合MDX不僅能實現第一部分所提出的數據分析功能，還可以生成包括各種圖形的報表，并且可以方便地集成到ASP.NET開發(fā)的Web系統中。

為了分析上文提到的數據指標，在SSRS中使用下面的MDX語句生成“查詢數據集”，該數據集包括了儀器設備共享率和使用率在地區(qū)、學科類型、日期的值。

WITH MEMBER [Measures].[儀器設備共享率]

AS [Measures].[對外年機時]/[Measures].[年機時]

MEMBER [Measures].[儀器設備使用率]

AS [Measures].[年機時]/([Measures].[儀器數量]*1600)

SELECT NON EMPTY {

[Measures].[儀器設備共享率], [Measures].[儀器數量], [Measures].[儀器設備使用率], [Measures].[對外年機時], [Measures].[年機時] } ON COLUMNS,

NON EMPTY { (

[DimDate].[Year].[Year].ALLMEMBERS *

[DimGeography].[省-市縣].[CITYNAME].

ALLMEMBERS*[DimDiscipline].[大-中-小].

[SMALLNAME].ALLMEMBERS *[DimDepartment].

[QUALITY_CN].[QUALITY_CN].ALLMEMBERS*

[DimInstrument].[VALUERMB].[VALUERMB].

ALLMEMBERS) } ON ROWS

FROM [儀器使用情況]

圖4 年新增儀器設備數量走勢

根據上述MDX語句可以得到一系列的報表，圖4是年新增儀器設備數量走勢，目前獲取年新增儀器設備數量的方式是源數據平臺維護人員每年在數據庫中查詢，而走勢圖需要統計人員手工繪制，費時費力。圖5是2015年儀器設備使用率學科分布圖，從圖中可以看到分析儀器是使用率最高的。圖6是儀器設備年使用率走勢圖，從圖中可以看到近幾年儀器設備使用的情況，其他數據的呈現方式相同。

圖5 儀器設備使用率在不同學科中的分布

圖6 儀器設備年使用率走勢圖

由于SSRS與Web系統開發(fā)平臺ASP.NET良好的兼容性，所以該系統使用ASP.NET開發(fā)。報表展示方面，使用ASP.NET下的ReportViewer控件和調用IReportServerCredentials接口實現瀏覽器中查看操作報表，下載報表為Excel或PDF文件[14]。

5 結論

本文以某省大型科學儀器設備共享平臺為基礎，通過對平臺上的源數據進行分析，提出了決策分析主題，建立了基于數據倉庫的科學儀器設備數據分析系統，該系統能夠完成OLAP分析，并能清晰地展現分析結果，數據分析結果能夠有效地輔助管理者進行科學決策。系統的開發(fā)研究證明了數據倉庫技術在科學儀器設備管理上應用的可行性，并為進一步建立基于數據倉庫的科學數據決策分析系統打下了基礎。

[1] 孫麗.大型科學儀器設備資源配置優(yōu)化研究[D]. 北京：北京交通大學,2015.

[2] 肖李鵬,湯光平.國內外大型科學儀器設備開放共享分析及對策[J].實驗室研究與探索,2016,35(4):275-278.

[3] 宋杰.面向多類型數據源的數據倉庫構建及ETL關鍵技術的研究[D]. 沈陽：東北大學,2008.

[4] 徐靜,王大洲.我國大型科學儀器設備使用狀態(tài)分析及政策含義[J].工程研究-跨學科視野中的工程,2010,2(3):209-216.

[5] 王麗珍，周麗華，陳紅梅，等.數據倉庫與數據挖掘原理及應用(第2版)[M]. 北京:科學出版社,2014.

[6] INMON W H. Building the data warehouse[M]．NewYork：John Wiley & Sons,Inc，2005．

[7] 虞健飛,朱家元,張恒喜.數據倉庫設計過程研究[J].計算機工程,2003,29(19):4-5.

[8] 王曉鵬,武彤.生產質量控制數據倉庫模型設計與實現[J].計算機技術與發(fā)展,2015(6):181-184.

[9] 徐姝,羅軍.代理鍵技術及其在軟件復用中的應用[J].微電子學與計算機,2007,24(8):136-138.

[10] ROOT R, MASON C. Pro SQL Server 2012 BI Solutions[M].Apress,2012．

[11] 戴浩,楊波. ETL中的數據增量抽取機制研究[J].計算機工程與設計,2009，30(23):5552-5555.

[12] KNIGHT B, VEERMAN E，MOSS J M， et al. SQL Server 2012 Integration Services高級教程(第2版)[M].王凈，謝連朋，譯. 北京：清華大學出版社，2014．

[13] 蔡艷寧,葉雪梅,汪洪橋，等.軍事訓練考核數據倉庫模型設計與實現[J].計算機工程， 2006，32(1)：276-278.

[14] TURLEY P, BRUCKNER R，SILVA T，et al. SQL Server 2012 Reporting Services高級教程(第2版)[M].顏炯，譯. 北京：清華大學出版社，2014．

Scientific instrument and equipment data analysis system based on data warehouse

Li Yuquan，Wu Tong

(School of Computer Science and Technology, Guizhou University, Guiyang 550025, China)

How to save the manpower and material resources of data analysis and improve the efficiency of management in scientific instruments and equipment management work is one of the focuses of the management department of science and technology. The data warehouse technology can be used to make multi-dimensional analysis of the exiting data of scientific instruments and equipment, so as to make use of the analysis data to help managers make decisions effectively. Based on the technology, this paper analyzes the data sources of scientific instruments and equipment, proposes the analysis theme, and implements a data analysis system of scientific instruments and equipment based on data warehouse by designing data model, Extract Transform Load (ETL) and Online Analytical Processing (OLAP) model. The research and development of this system proves the feasibility of the application of data warehouse in scientific instruments and equipment management work, furthermore, it builds a foundation for the science and technology data decision support system based on data warehouse.

scientific instrument and equipment; data warehouse; ETL; OLAP

貴州省自然科學基金項目 (黔科合J字[2013]2115號)

TP311

A

10.19358/j.issn.1674- 7720.2017.01.027

李玉泉，武彤. 基于數據倉庫的科學儀器設備數據分析系統[J].微型機與應用，2017,36(1)：89-92.

2016-09-05)

李玉泉(1990-)，男，碩士研究生，主要研究方向：數據倉庫、數據挖掘。

武彤(1964-)，女，碩士，教授，主要研究方向：數據庫技術、數據挖掘。