趙曉麗（長治學(xué)院計(jì)算機(jī)系，山西長治，046011）

?

數(shù)據(jù)資源整合系統(tǒng)的應(yīng)用實(shí)現(xiàn)

趙曉麗
（長治學(xué)院計(jì)算機(jī)系，山西長治，046011）

摘要：隨著信息化程度的提高，各行各業(yè)的積累數(shù)據(jù)量急劇增長，基于各行業(yè)對(duì)數(shù)據(jù)資源整合的需求，提出了一種數(shù)據(jù)資源整合系統(tǒng)的應(yīng)用設(shè)計(jì)架構(gòu)。該系統(tǒng)采用分層框架技術(shù)對(duì)資源整合系統(tǒng)的架構(gòu)進(jìn)行設(shè)計(jì)與實(shí)現(xiàn)，靈活地解決了各類數(shù)據(jù)資源整合的問題。結(jié)合教育考試數(shù)據(jù)的資源整合系統(tǒng)的功能模塊的設(shè)計(jì)與實(shí)現(xiàn)，實(shí)現(xiàn)數(shù)據(jù)資源整合系統(tǒng)的測(cè)試，展示了分層架構(gòu)設(shè)計(jì)的靈活性和優(yōu)勢(shì)。

關(guān)鍵詞：數(shù)據(jù)源整合；數(shù)據(jù)采集；應(yīng)用整合協(xié)同；框架

0 引言

隨著信息技術(shù)與互聯(lián)網(wǎng)技術(shù)的發(fā)展，大量的數(shù)據(jù)在各行各業(yè)中積累著，這些針對(duì)業(yè)務(wù)操作的數(shù)據(jù)資源自成體系，數(shù)據(jù)格式不盡相同，利用率非常低，對(duì)這些海量數(shù)據(jù)進(jìn)行綜合性利用，是現(xiàn)在各行各業(yè)共同關(guān)注的焦點(diǎn)。為了綜合利用這些數(shù)據(jù)信息，達(dá)到充分的資源利用，需要針對(duì)現(xiàn)有的數(shù)據(jù)進(jìn)行科學(xué)的研究和分析，進(jìn)行大量的數(shù)據(jù)沉淀和數(shù)據(jù)集中，從而達(dá)到對(duì)數(shù)據(jù)資源進(jìn)行優(yōu)化整合的目的。

文章對(duì)數(shù)據(jù)整合的現(xiàn)狀進(jìn)行深入分析，提出數(shù)據(jù)資源整合系統(tǒng)的架構(gòu)設(shè)計(jì)。利用應(yīng)用整合協(xié)同概念，采用基礎(chǔ)平臺(tái)策略和各種框架技術(shù)如：Webwork框架、Hibernate框架、Spring框架，形成較為統(tǒng)一的數(shù)據(jù)資源整合系統(tǒng)平臺(tái)。最后，詳細(xì)介紹了某考試院數(shù)據(jù)資源整合系統(tǒng)的功能實(shí)現(xiàn)。通過數(shù)據(jù)采集、數(shù)據(jù)管理、業(yè)務(wù)應(yīng)用，將不同的考試數(shù)據(jù)信息進(jìn)行分類，整合成一個(gè)大而全的數(shù)據(jù)資源庫，進(jìn)而面向各部門，相關(guān)領(lǐng)導(dǎo)和社會(huì)公眾提供綜合查詢、統(tǒng)計(jì)服務(wù)和決策支持。

1 數(shù)據(jù)資源整合

1.1數(shù)據(jù)的整合

數(shù)據(jù)整合，不是對(duì)原有技術(shù)和模式進(jìn)行顛覆，而是把各類數(shù)據(jù)資源整合成統(tǒng)一、無冗余的數(shù)據(jù)資源系統(tǒng)。主要通過數(shù)據(jù)收集、數(shù)據(jù)的整理、數(shù)據(jù)的分析、數(shù)據(jù)轉(zhuǎn)換四個(gè)步驟完成。

數(shù)據(jù)整合的目標(biāo)的是通過分析各種數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)分析，建立具有一定意義的綜合分析數(shù)據(jù)結(jié)構(gòu)，建立數(shù)據(jù)之間的關(guān)系，從而形成一個(gè)大而全的數(shù)據(jù)資源系統(tǒng)。不僅增強(qiáng)各部門間業(yè)務(wù)流程的靈活性、準(zhǔn)確及時(shí)和透明度，還有利于業(yè)務(wù)分析和領(lǐng)導(dǎo)決策，大大提高數(shù)據(jù)的利用率。

圖1 數(shù)據(jù)資源整合圖

1.2應(yīng)用的整合

傳統(tǒng)的數(shù)據(jù)資源整合，僅僅是通過硬件技術(shù)或軟件技術(shù)把獨(dú)立的數(shù)據(jù)庫系統(tǒng)單調(diào)的組合起來，但無法構(gòu)建完整、系統(tǒng)的業(yè)務(wù)服務(wù)和輔助決策體系。

數(shù)據(jù)整合過程中，除了整合各類信息數(shù)據(jù)之外，還需要整合不同的業(yè)務(wù)應(yīng)用。這需要從大量的業(yè)務(wù)信息數(shù)據(jù)中抽取公共業(yè)務(wù)應(yīng)用，形成統(tǒng)一的業(yè)務(wù)應(yīng)用規(guī)范標(biāo)準(zhǔn)。包括業(yè)務(wù)流整合、業(yè)務(wù)數(shù)據(jù)整合、應(yīng)用接口整合。因此，采用框架技術(shù)把相關(guān)的應(yīng)用抽象整合到系統(tǒng)平臺(tái)中，有利于系統(tǒng)功能的實(shí)現(xiàn)、擴(kuò)展和其他應(yīng)用系統(tǒng)的集成。

2 數(shù)據(jù)資源整合系統(tǒng)的總體架構(gòu)

2.1框架模式

框架是一個(gè)應(yīng)用軟件系統(tǒng)的部分或整體的可重用設(shè)計(jì)，由一組抽象構(gòu)件及構(gòu)件實(shí)例間的相互作用方式組成。利用Spring提供的IoC機(jī)制和AOP技術(shù)實(shí)對(duì)Webwork和Hibernate的整合，將視圖、控制器與模型徹底分離，把業(yè)務(wù)邏輯層和持久訪問層獨(dú)立。三種框架技術(shù)的構(gòu)建關(guān)系模型如圖2：

數(shù)據(jù)資源整合系統(tǒng)平臺(tái)采用采用分層的框架模式，可以充分發(fā)揮Spring，Hibernate和Webwork框架的優(yōu)勢(shì)，降低各層之問的耦合度，有利于系統(tǒng)的靈活性、擴(kuò)展性和可維護(hù)性。

2.2數(shù)據(jù)資源整合系統(tǒng)的架構(gòu)

數(shù)據(jù)資源整合的目的是達(dá)到一個(gè)具有更多業(yè)務(wù)驅(qū)動(dòng)價(jià)值的數(shù)據(jù)資源系統(tǒng)，以成本較低的方式來達(dá)到更好地為業(yè)務(wù)服務(wù)的目的。

數(shù)據(jù)資源整合系統(tǒng)以MVC框架設(shè)計(jì)模式為基礎(chǔ)、組件技術(shù)為手段，設(shè)計(jì)了一套完整、先進(jìn)、成熟、可伸縮、可擴(kuò)展的系統(tǒng)設(shè)計(jì)架構(gòu)。該系統(tǒng)的層次結(jié)構(gòu)分為五層，分別為信息訪問、表現(xiàn)邏輯、業(yè)務(wù)處理邏輯、數(shù)據(jù)持久、數(shù)據(jù)資源。具體的數(shù)據(jù)存取過程如圖2：

1）信息訪問層

是一組JSP頁面，提供不同用戶操作的友好界面。

2）表示邏輯層

系統(tǒng)與用戶交互的界面，負(fù)責(zé)數(shù)據(jù)錄入，數(shù)據(jù)顯示等。

3）業(yè)務(wù)處理邏輯層

用于做一些有效性驗(yàn)證的工作，以更好地保證程序運(yùn)行的健壯性。采用DAO設(shè)計(jì)模式將業(yè)務(wù)邏輯層和數(shù)據(jù)持久層進(jìn)行分離，只負(fù)責(zé)將用戶的業(yè)務(wù)請(qǐng)求處理提交，對(duì)處理的具體操作代碼交由下一層實(shí)現(xiàn)。

4）數(shù)據(jù)持久層

利用Spring的IOC反向控制模式，結(jié)合Hibernate持久技術(shù)對(duì)底層數(shù)據(jù)進(jìn)行對(duì)象的持久封裝。該層通過映射數(shù)據(jù)資源的數(shù)據(jù)結(jié)構(gòu)進(jìn)行對(duì)象的持久化，從而來提高數(shù)據(jù)查詢和檢索服務(wù)的效率。

5）數(shù)據(jù)資源層

負(fù)責(zé)存儲(chǔ)數(shù)據(jù)，提供數(shù)據(jù)訪問的接口。包括數(shù)據(jù)資源庫和業(yè)務(wù)數(shù)據(jù)應(yīng)用系統(tǒng)的整合接口。對(duì)各種業(yè)務(wù)基礎(chǔ)類信息數(shù)據(jù)、文檔資料類信息數(shù)據(jù)、系統(tǒng)支撐類信息數(shù)據(jù)等信息，進(jìn)行數(shù)據(jù)抽取、遷移形成數(shù)據(jù)資源庫。

圖2 Spring、Hibernate和Webwork的框架模型

五層的系統(tǒng)結(jié)構(gòu)對(duì)于系統(tǒng)的維護(hù)及管理是方便、靈活的。將用戶訪問層與實(shí)際訪問的數(shù)據(jù)資源庫進(jìn)行隔離，使得用戶端通過加強(qiáng)權(quán)限分配來控制訪問數(shù)據(jù)庫。這樣對(duì)數(shù)據(jù)資源進(jìn)行有效的安全管理，還可以有效防止非法用戶的惡意攻擊。

3 考試數(shù)據(jù)資源整合系統(tǒng)的功能設(shè)計(jì)

我國各類考試數(shù)據(jù)雜而多，構(gòu)建統(tǒng)一的數(shù)據(jù)資源應(yīng)用系統(tǒng)標(biāo)準(zhǔn)體系是非常重要的。通過各類考試的歷史數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行梳理，對(duì)考試數(shù)據(jù)資源整合系統(tǒng)制定標(biāo)準(zhǔn)的應(yīng)用體系。

圖3 系統(tǒng)的層次結(jié)構(gòu)圖

根據(jù)系統(tǒng)的建設(shè)目標(biāo)，數(shù)據(jù)資源整合系統(tǒng)以考試數(shù)據(jù)資源為中心，建設(shè)計(jì)算機(jī)網(wǎng)絡(luò)及硬件平臺(tái)、應(yīng)用基礎(chǔ)支撐平臺(tái)兩個(gè)平臺(tái)、三個(gè)體系，并在此基礎(chǔ)上搭建數(shù)據(jù)采集、數(shù)據(jù)管理、綜合查詢、統(tǒng)計(jì)分析四個(gè)業(yè)務(wù)應(yīng)用，面向管理人員和相關(guān)領(lǐng)導(dǎo)提供統(tǒng)一的內(nèi)網(wǎng)信息門戶，面向社會(huì)公眾提供外網(wǎng)信息門戶。系統(tǒng)的邏輯功能框架圖如圖4

圖4 系統(tǒng)的邏輯框架圖

3.1信息門戶模塊

建立信息門戶作為整個(gè)系統(tǒng)的前臺(tái)表現(xiàn)，允許系統(tǒng)各級(jí)用戶通過身份認(rèn)證后，進(jìn)入系統(tǒng)界面，并訪問各自權(quán)限內(nèi)的信息，為用戶提供一個(gè)統(tǒng)一的、個(gè)性化的訪問窗口。

3.2數(shù)據(jù)采集

考試數(shù)據(jù)資源大致可以分為考試業(yè)務(wù)類信息庫、命題業(yè)務(wù)信息庫、文檔資料類信息庫、業(yè)務(wù)基礎(chǔ)類信息庫、系統(tǒng)支撐類信息數(shù)據(jù)五大類信息。

數(shù)據(jù)采集模塊包含數(shù)據(jù)遷移和信息填報(bào)，對(duì)原有系統(tǒng)或數(shù)據(jù)庫中的信息數(shù)據(jù)，采用數(shù)據(jù)遷移的方式實(shí)現(xiàn)，保持同構(gòu)和異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)同步。對(duì)于人工參與采集報(bào)送的信息內(nèi)容，利用應(yīng)用管理組件構(gòu)建構(gòu)建信息填寫平臺(tái)完成。數(shù)據(jù)遷移是把數(shù)據(jù)從一種系統(tǒng)環(huán)境移入到另一種系統(tǒng)環(huán)境中。實(shí)際應(yīng)用中，需要對(duì)數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換。數(shù)據(jù)采集模塊就是對(duì)數(shù)據(jù)源中的各類數(shù)據(jù)進(jìn)行交換和字段重組，把不同數(shù)據(jù)源中的數(shù)據(jù)形成整體。模塊的主要功能包括

1）識(shí)別數(shù)據(jù)源的類型。可以指定一個(gè)數(shù)據(jù)源，也可以指定多個(gè)相同或不同類型的數(shù)據(jù)源。

2）確定字段映射。通過映射建立源數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間的字段匹配。包括：

①源數(shù)據(jù)間的轉(zhuǎn)換映射關(guān)系。

②數(shù)據(jù)集成的各組成字段間的對(duì)應(yīng)關(guān)系。

數(shù)據(jù)轉(zhuǎn)換過程中，不僅可以根據(jù)實(shí)際需求丟棄部分字段，也可以拆表和合并表。

3）用戶自定義規(guī)則。包括用戶自定義轉(zhuǎn)換規(guī)則和匯總統(tǒng)計(jì)規(guī)則。轉(zhuǎn)換規(guī)則包括與整合目標(biāo)數(shù)據(jù)庫主關(guān)鍵字不一致、長度不匹配時(shí)所遵循的處理規(guī)則、截?cái)嗷蛱畛湟?guī)則等。匯總統(tǒng)計(jì)規(guī)則是指進(jìn)行分類匯總統(tǒng)計(jì)的標(biāo)準(zhǔn)，可以是一個(gè)字段或多個(gè)字段。

3.3數(shù)據(jù)管理

數(shù)據(jù)管理模塊提供數(shù)據(jù)資源庫的表結(jié)構(gòu)管理和數(shù)據(jù)信息管理。包括數(shù)據(jù)表、字段、數(shù)據(jù)記錄的新增、修改、刪除、查詢等基礎(chǔ)管理功能。支持對(duì)各種數(shù)據(jù)信息間關(guān)聯(lián)關(guān)系的定義和維護(hù)，支持結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一管理。如XML、Excel、PDF等多種格式的導(dǎo)入和導(dǎo)出、定制打包等數(shù)據(jù)操作。

3.4業(yè)務(wù)應(yīng)用

1.綜合查詢

綜合查詢模塊提供固定條件查詢以及自定義條件查詢等方式，查詢教育考試數(shù)據(jù)資源中的各類業(yè)務(wù)信息，根據(jù)用戶權(quán)限不同返回不同的信息檢索結(jié)果，支持對(duì)于檢索結(jié)果導(dǎo)出、保存等功能，并且支持用戶定義結(jié)果的顯示內(nèi)容，靈活的升降序調(diào)整。

2.統(tǒng)計(jì)分析

統(tǒng)計(jì)分析模塊應(yīng)根據(jù)業(yè)務(wù)的要求利用報(bào)表設(shè)計(jì)工具設(shè)計(jì)出固定格式報(bào)表或自定義格式報(bào)表，提供多種形式的報(bào)表輸出顯示，并且對(duì)于統(tǒng)計(jì)匯總的結(jié)果可以支持多種格式的輸出和保存，提供精確的報(bào)表打印功能，對(duì)于統(tǒng)計(jì)結(jié)果支持豐富的圖表展現(xiàn)形式。如：將各項(xiàng)統(tǒng)計(jì)分析需求按照考試類型和業(yè)務(wù)類型進(jìn)行分類，同時(shí)提供重點(diǎn)關(guān)注統(tǒng)計(jì)分析要點(diǎn)的功能，利用對(duì)于統(tǒng)計(jì)分析的點(diǎn)擊率統(tǒng)計(jì)，動(dòng)態(tài)對(duì)各類統(tǒng)計(jì)分析內(nèi)容進(jìn)行排序，將不同用戶最為關(guān)注的分析結(jié)果更直接的展現(xiàn)出來。

3.決策支持

提供各種數(shù)據(jù)挖掘工具的應(yīng)用接口，可以對(duì)整合的數(shù)據(jù)資源進(jìn)行數(shù)據(jù)關(guān)聯(lián)性挖掘，找出可以面向部門、領(lǐng)導(dǎo)和社會(huì)公眾的有價(jià)值的預(yù)測(cè)性數(shù)據(jù)。

因此，業(yè)務(wù)應(yīng)用模塊會(huì)通過綜合查詢模板設(shè)定、統(tǒng)計(jì)分析模板設(shè)定和報(bào)表定制，根據(jù)系統(tǒng)用戶的需求查詢統(tǒng)計(jì)業(yè)務(wù)基礎(chǔ)信息、文檔資料信息等。如圖5所示。

圖5 報(bào)表生成過程圖

3.5全文檢索模塊

全文檢索模塊主要實(shí)現(xiàn)對(duì)于信息門戶內(nèi)的信息進(jìn)行快速、準(zhǔn)確的全文檢索，并且將檢索結(jié)果與用戶的權(quán)限結(jié)合，利用更加安全有效的檢索機(jī)制保護(hù)信息資源，提供高級(jí)檢索和自定義檢索等功能。

3.6信息發(fā)布模塊

信息發(fā)布模塊應(yīng)支持模板技術(shù)，使信息資源和表現(xiàn)形式相結(jié)合，保證資源系統(tǒng)內(nèi)的相關(guān)信息的發(fā)布的同時(shí)，提供所見即所得的頁面編輯工具，降低頁面編輯的難度，更好的實(shí)現(xiàn)信息發(fā)布和共享。

4 結(jié)束語

目前，對(duì)各行各業(yè)的信息數(shù)據(jù)資源的整合開發(fā)，已經(jīng)成為我國信息化建設(shè)的重要方式。本文結(jié)合數(shù)據(jù)整合的實(shí)際需求，提出了數(shù)據(jù)資源整合系統(tǒng)的架構(gòu)設(shè)計(jì)。利用基礎(chǔ)平臺(tái)策略和各種框架技術(shù)，詳細(xì)介紹了數(shù)據(jù)資源整合系統(tǒng)的功能實(shí)現(xiàn)。該系統(tǒng)的架構(gòu)設(shè)計(jì)已經(jīng)成功應(yīng)用于政府考試數(shù)據(jù)整合建設(shè)的實(shí)際項(xiàng)目中。

參考文獻(xiàn)

［1］董宇峰.基于 MVC 設(shè)計(jì)模式的 Web 應(yīng)用框架研究及其實(shí)例［D］.吉林：吉林大學(xué)， 2005年

［2］孔芳.數(shù)據(jù)遷移工具的設(shè)計(jì)研究［J］.蘇州大學(xué)學(xué)報(bào)，2004，24（2）：51-54

［3］朱慶偉，吳宇紅.一種對(duì)象/關(guān)系映射框架的分析和應(yīng)用.電子科技.2004年第1期

［4］何錚，陳志剛，對(duì)象/關(guān)系映射框架的研究與應(yīng)用［J］.計(jì)算機(jī)工程應(yīng)用，2003，26：188：194

［5］周志逵，徐先傳.數(shù)據(jù)倉庫中數(shù)據(jù)抽取、轉(zhuǎn)換及加載工具研究［J］. 北京理工大學(xué)學(xué)報(bào)，2003，23（6）：720-723.

中圖分類號(hào)：TP18

文獻(xiàn)標(biāo)志碼：A

作者簡介

趙曉麗（1980-），女，（河北省臨西縣）人，講師，主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)應(yīng)用技術(shù)；信息安全。

基金項(xiàng)目：山西省高等學(xué)校教學(xué)研究項(xiàng)目（J2014113）；長治學(xué)院教研項(xiàng)目（JY201505）；

Application and implementation of data resource integration system

Zhao Xiaoli
（The Computer Department of Changzhi University，Changzhi Shanxi，046011，China）

Abstract：With the improvement of information，The accumulation of data rose sharply in different walks of life.This paper proposed a application design architecture of data resource integration system，based on the needs of the industry to integrate data resources.This system design and implement the architecture of the resource integration system using the layered framework technology，which can solve the problems of the integration of various data resources flexibly.Combined with the design and implementation of function module resource integration system of education and examination data，system testing shows the flexibility and advantage of hierarchical architecture design.

Keywords：data integration；data collection；application integration； framework