李宏智

摘 要：該文主要通過研究社保系統(tǒng)數(shù)據(jù)集成中使用的ETL方法，并結合同煤集團社會保險管理信息系統(tǒng)的現(xiàn)狀，提出了采用數(shù)據(jù)倉庫法實現(xiàn)同煤集團社保系統(tǒng)的數(shù)據(jù)集成。重點介紹了社保系統(tǒng)數(shù)據(jù)集成中ETL的開發(fā)。經(jīng)過驗證能夠建立統(tǒng)一的、完整的、高質(zhì)量的社保系統(tǒng)數(shù)據(jù)倉庫。

關鍵詞：數(shù)據(jù)倉庫；數(shù)據(jù)集成；ETL；社會保險

1 ETL技術

1.1 ETL技術介紹

ETL即數(shù)據(jù)抽?。‥xtract）、轉換（Transform）、裝載（Load）的過程，它是用來構建數(shù)據(jù)倉庫，用戶首先抽取數(shù)據(jù)，然后經(jīng)過清洗和轉換，最后加載到數(shù)據(jù)倉庫中去。在技術上，ETL主要涉及到關聯(lián)、轉換、增量、調(diào)度和監(jiān)控等幾個方面。

1.2 ETL技術過程

1.2.1數(shù)據(jù)抽取

首先，做好準備工作。弄清同煤集團社會保險系統(tǒng)包含多少業(yè)務管理信息系統(tǒng)，各個管理系統(tǒng)的DBMS類型。然后，可以用數(shù)據(jù)庫鏈接或ODBC的方式建立鏈接。從數(shù)據(jù)庫中抽取數(shù)據(jù)一般有全量抽取和增量抽取。

1.2.2 數(shù)據(jù)轉換

這個過程包括了數(shù)據(jù)清洗和數(shù)據(jù)轉換兩個步驟。數(shù)據(jù)清洗包括檢查數(shù)據(jù)一致性，處理無效值和缺失值等。對于過濾掉的數(shù)據(jù)，寫入Excel文件或者將過濾數(shù)據(jù)寫入數(shù)據(jù)表，發(fā)給用 戶，修改以后再進行數(shù)據(jù)轉換。數(shù)據(jù)轉換將不同業(yè)務系統(tǒng)的相同類型的數(shù)據(jù)統(tǒng)一，用一個相同的編碼表示。

1.2.3 數(shù)據(jù)裝載

數(shù)據(jù)裝載是指將數(shù)據(jù)放到數(shù)據(jù)倉庫中去。數(shù)據(jù)裝載有四種裝載模式：完全刷新，鏡像增量，事件增量，鏡像比較。

2 ETL工具介紹

2.1 Kettle

Kettle是國外開源的ETL工具，可以在Window、Unix等系統(tǒng)下運行，目前包括4個產(chǎn)品：Spoon、Pan、CHEF、Kitchen。SPOON 允許你通過圖形界面來設計轉換過程，PAN 允許你批量運行轉換，CHEF 允許你創(chuàng)建任務，KITCHEN 允許你批量設計的任務 。

2.2 DataStage

DataStage能自動對多種數(shù)據(jù)源的數(shù)據(jù)抽取、轉換和維護，并將數(shù)據(jù)倉庫集成的工具。是一個基于C/S的軟件，必須安裝服務器和客戶端軟件，它的所有開發(fā)工作都是在一個工程中。在DataStage工具面板上有很多組件。Datastage包含四大部件：Administrator、Manager、Designer、Director。

2.3 PowerCenter

PowerCenter 是Informatica公司開發(fā)的ETL工具。此產(chǎn)品可以提供企業(yè)部門如XML、網(wǎng)站日志、關系型數(shù)據(jù)集成。PowerCenter在內(nèi)存中執(zhí)行所有的數(shù)據(jù)抽取轉換、整合、裝載的功能。

2.4 OWB和ODI

OWB是Oracle 的一個綜合工具，它提供對 ETL、數(shù)據(jù)質(zhì)量、數(shù)據(jù)審計，以及數(shù)據(jù)和元數(shù)據(jù)的整個生命周期的管理，適用于 Oracle 數(shù)據(jù)庫的 ETL工具，OWB 11g 版包含在每個 Oracle 數(shù)據(jù)庫 11g 版安裝中。ODI和OWB一樣，都是ETL工具，和OWB相比，它支持異構數(shù)據(jù)，可以和SOA集成。

2.5 SSIS

SSIS是Microsoft SQL Server 2012 Integration Services的簡稱。SSIS 的體系結構主要由四部分組成：Integration Services 服務、Integration Services 對象模型、Integration Services 運行時和運行時可執(zhí)行文件以及封裝數(shù)據(jù)流引擎和數(shù)據(jù)流組件的數(shù)據(jù)流任務。

2.6 BeeLoad

Beeload是由北京靈蜂縱橫軟件有限公司研發(fā)的一款ETL工具，可以通過簡單直觀的圖形操作界面，幫助使用者快速定義ETL規(guī)則，使數(shù)據(jù)處理工作變得簡單方便。

3實現(xiàn)方法

3.1同構沖突的解決

主要完成SQL server2012數(shù)據(jù)庫和oracle10g中各自所存儲的社保相關數(shù)據(jù)的初步清理和轉換，解決數(shù)據(jù)的冗余、各表之間字段命名沖突，如同名異義、異名同義等，為最終數(shù)據(jù)倉庫的建立提供初始數(shù)據(jù)源。

3.1.1數(shù)據(jù)清理

1）冗余數(shù)據(jù)的清理：SELECT DISTINCT * INTO新的分析表名FROM有重復行數(shù)據(jù)的原始表名例如：select distinct * into基本信息倉庫from基本信息表

2）無用字段的清理：ALTER TABLE表名DROP COLUMN無用列名1，無用列名2，…

例如：alter table個人基本信息表drop column BCC016（體重），BCC017（身高）

3）空值的清理：UPDATE表名SET列名=0 WHERE列名IS NULL

UPDATE表名SET列名=WHERE列名IS NULL

4）不規(guī)則數(shù)據(jù)的清理：在操作時數(shù)據(jù)錄入人員在錄入數(shù)據(jù)時，不小心在實際數(shù)據(jù)之前輸入了一個或多個空格，這些不起眼的空格很有可能影響數(shù)據(jù)的集成的準確性。在構建數(shù)據(jù)倉庫時應消除數(shù)據(jù)前無用的空格：

UPDATE表名SET列名=LTRIM（列名）。

3.1.2數(shù)據(jù)初步轉換

1）數(shù)據(jù)類型的轉換：

直接轉換的數(shù)據(jù)類型：ALTER TABLE表名ALTER COLUMN列名新數(shù)據(jù)類型。

間接轉換的數(shù)據(jù)類型：主要針對將非日期類型的數(shù)據(jù)轉換為日期類型。

2）對象名的轉換：將英文字母或拼音縮寫來表示的表名字段名轉換為易于理解的中文。EXEC sp_rename原表名，新表名

EXEC sp_rename表名.原列名，新列名，COLUMN

3）數(shù)據(jù)編碼的轉換：UPDATE表名SET編碼列名=CASE編碼列名WHEN編碼值1 THEN中文含義字符串1 WHEN編碼值2 THEN中文含義字符串2 WHEN編碼值3 THEN中文含義字符串3…END

4）表結構的轉換：構建一些新的字段以滿足新的需求。

語法：ALTER TABLE表名ADD新列名數(shù)據(jù)類型UPDATE表名SET新列名=值

3.2異構沖突的解決

本文的XML技術主要提供異構數(shù)據(jù)的轉換規(guī)則（各字段間的對應關系）和映射文件，主要解決異構沖突。

這一階段主要完成平臺異構的轉化，針對上面的一系列的操作，利用XML技術將初始得到的數(shù)據(jù)轉化為統(tǒng)一的格式存儲于oracle10g所設計的數(shù)據(jù)倉庫中。

具體采用以下方法，通過定義適當?shù)腄TD將從源數(shù)據(jù)庫中查詢出的數(shù)據(jù)轉換成相應的XML文檔，然后使用DOM技術來解析XML文檔，這樣就可以將XML文檔中的數(shù)據(jù)存入目標數(shù)據(jù)庫oracle10g中，從而實現(xiàn)了SQL server2012和oracle10g這兩種異構數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一存儲。在實現(xiàn)過程中主要利用JDBC中操作XML強大的類庫和oracle10g數(shù)據(jù)庫對XML存儲的支持。

總結

本文主要針對同煤集團社保信息系統(tǒng)中存在的問題，提出了利用數(shù)據(jù)倉庫的方法實現(xiàn)社保數(shù)據(jù)庫、待遇發(fā)放數(shù)據(jù)庫、資格認證數(shù)據(jù)庫和OA辦公等數(shù)據(jù)庫的集成。通過完成ETL工具的設計和實現(xiàn)，實現(xiàn)了將異構數(shù)據(jù)進行集成的目的，提供了統(tǒng)一的訪問接口，建成了同煤集團社保數(shù)據(jù)倉庫，為以后進一步的系統(tǒng)開發(fā)提供數(shù)據(jù)源。

參考文獻：

[1]馮豫華，彭明.數(shù)據(jù)倉庫技術在社保DSS中的應用[J].計算機與現(xiàn)代化，2004（10）.