[摘要] 本文分析了當(dāng)前物流信息系統(tǒng)數(shù)據(jù)管理的需求,提出了物流信息系統(tǒng)集成的體系結(jié)構(gòu),討論了物流信息系統(tǒng)中數(shù)據(jù)集成的關(guān)鍵技術(shù)。
[關(guān)鍵詞] 物流信息系統(tǒng) 數(shù)據(jù)集成 數(shù)據(jù)倉(cāng)庫(kù)
一、引言
數(shù)據(jù)源的多源異構(gòu)是物流信息化建設(shè)過(guò)程中經(jīng)常遇到的一個(gè)現(xiàn)實(shí)問(wèn)題,也是制約各種應(yīng)用信息系統(tǒng)建設(shè)和數(shù)據(jù)共享程度,以及信息化建設(shè)投資重復(fù)或負(fù)擔(dān)重的一個(gè)重要因素。物流行業(yè)數(shù)據(jù)的多源異構(gòu)特性主要表現(xiàn)在3方面:1.系統(tǒng)異構(gòu),即數(shù)據(jù)源所依賴的業(yè)務(wù)應(yīng)用系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)乃至操作系統(tǒng)之間的不同構(gòu)成了系統(tǒng)異構(gòu)。2.模式異構(gòu),即數(shù)據(jù)源在存儲(chǔ)模式上的不同。3.來(lái)源異構(gòu),即企業(yè)內(nèi)部數(shù)據(jù)源和外部數(shù)據(jù)源之間的異構(gòu)。
在物流行業(yè)信息量不斷增加及信息源多樣性的情況下,對(duì)有價(jià)值信息的檢索日趨復(fù)雜。各相關(guān)企業(yè)不僅要訪問(wèn)關(guān)系型數(shù)據(jù)庫(kù)等傳統(tǒng)應(yīng)用數(shù)據(jù)源,還必須能夠訪問(wèn)XML文檔、文本文件、掃描圖像、Web內(nèi)容及專用存儲(chǔ)器等數(shù)據(jù)源。這就迫切地需要將諸如此類的面向物流的信息集成。
經(jīng)典的信息集成觀點(diǎn)強(qiáng)調(diào)數(shù)據(jù)的集成性、完整性,一致性與訪問(wèn)安全性。物流行業(yè)的信息集成也不例外,但它不僅要面對(duì)多源異構(gòu)的數(shù)據(jù)源,而且在實(shí)時(shí)信息查詢方面的要求較高。對(duì)干面向物流的信息集成,IT行業(yè)有許多可選擇的技術(shù)與工具。但是,繁雜的技術(shù)可能也會(huì)對(duì)技術(shù)人員造成一些麻煩。如何在現(xiàn)有技術(shù)條件下,科學(xué)合理地制定適合物流行業(yè)的信息集成的體系結(jié)構(gòu)與解決方案,是技術(shù)人員面臨的一個(gè)巨大挑戰(zhàn)。
二、物流信息系統(tǒng)數(shù)據(jù)集成的體系結(jié)構(gòu)
面向物流信息集成的體系結(jié)構(gòu)必須能夠無(wú)縫地對(duì)異構(gòu)的關(guān)系數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)與XML等非結(jié)構(gòu)化數(shù)據(jù)提供統(tǒng)的訪問(wèn)與管理。本文提出了下圖所示的基本的5層體系結(jié)構(gòu)。
圖 物流信息系統(tǒng)數(shù)據(jù)集成的體系結(jié)構(gòu)
1.數(shù)據(jù)源層:提供各類結(jié)構(gòu)化(如關(guān)系表)、半結(jié)構(gòu)化(如XML文檔)、與非結(jié)構(gòu)化(如字節(jié)流、掃描文檔)的數(shù)據(jù)源,這些數(shù)據(jù)源來(lái)自各個(gè)物流企業(yè)與其他相關(guān)機(jī)構(gòu)。
2.數(shù)據(jù)整合層:提供來(lái)自基本數(shù)據(jù)源層的不同數(shù)據(jù)格式數(shù)據(jù)的存儲(chǔ)、檢索與轉(zhuǎn)換。該層應(yīng)能夠?qū)?shù)據(jù)存儲(chǔ)為結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化的格式,并能提供方便的檢索。該層更應(yīng)能集成外部數(shù)據(jù)源,這些數(shù)據(jù)源同樣可能是各類結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)。該層是本體系結(jié)構(gòu)的核心部分。
3.集成服務(wù)層:是從內(nèi)容管理系統(tǒng)和企業(yè)集成應(yīng)用程序中抽取的,用來(lái)提供將數(shù)據(jù)訪問(wèn)服務(wù)透明地嵌入企業(yè)應(yīng)用程序和業(yè)務(wù)過(guò)程的基礎(chǔ)結(jié)構(gòu),涉及查詢處理、文本搜索和挖掘、版本控制和元數(shù)據(jù)管理、數(shù)字資產(chǎn)管理、轉(zhuǎn)換、復(fù)制和高速緩存技術(shù)。
4.應(yīng)用程序接口層:對(duì)數(shù)據(jù)整合層和集成服務(wù)層提供豐富的服務(wù)和數(shù)據(jù)集,提供了基于標(biāo)準(zhǔn)的編程接口(如傳統(tǒng)的編程接口ODBC,JDBC和基于Web Services的接口)和查詢語(yǔ)言(如針對(duì)XML的查詢語(yǔ)言XQuery),以接入數(shù)據(jù)整合層和集成服務(wù)層提供的一套豐富的業(yè)務(wù)和數(shù)據(jù)。
5.應(yīng)用程序?qū)樱航o物流各相關(guān)企業(yè)、相關(guān)機(jī)構(gòu)與相關(guān)客戶提供各類應(yīng)用服務(wù)。
該體系結(jié)構(gòu)的主要部分應(yīng)該是中間的3層,其實(shí)現(xiàn)應(yīng)全面科學(xué)地考察以下目前可用的信息集成方面的關(guān)鍵技術(shù)。
三、物流信息系統(tǒng)數(shù)據(jù)集成的關(guān)鍵技術(shù)
1.數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)技術(shù)。DBMS能很好地處理與數(shù)據(jù)管理相關(guān)的數(shù)據(jù)存儲(chǔ)、檢索、轉(zhuǎn)換、可伸縮性、可靠性和可用性等方面的難題。DBMS也正在迅速適應(yīng)近幾年物流應(yīng)用程序引入的數(shù)據(jù)和訪問(wèn)模式的多樣性。同時(shí),由于各類物流企業(yè)與機(jī)構(gòu)對(duì)DBMS過(guò)去進(jìn)行了大量的投資,充分利用它們,在所有級(jí)別上直接利用增強(qiáng)的DBMS體系結(jié)構(gòu)是信息集成的最佳選擇。
數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)技術(shù),傳統(tǒng)上主要強(qiáng)調(diào)如何存儲(chǔ)與集成歷史數(shù)據(jù),使之成為面向物流信息集成的必然選擇的主要技術(shù)之一。
2.聯(lián)邦技術(shù)。聯(lián)邦(Federation)是指用戶可以像對(duì)待一個(gè)數(shù)據(jù)源那樣對(duì)多個(gè)數(shù)據(jù)源進(jìn)行查詢和處理,同時(shí)保持?jǐn)?shù)據(jù)源各自的獨(dú)立性和完整性。利用聯(lián)邦數(shù)據(jù)庫(kù)技術(shù)可以解決物流行業(yè)分布式數(shù)據(jù)操作、異構(gòu)數(shù)據(jù)復(fù)制、空間地理應(yīng)用與分布式數(shù)據(jù)倉(cāng)庫(kù)管理等一系列商務(wù)難題。聯(lián)邦技術(shù)能夠統(tǒng)一地訪問(wèn)以任何技術(shù)存儲(chǔ)的任何數(shù)字信息,具有透明性、異構(gòu)數(shù)據(jù)源支持、底層聯(lián)邦數(shù)據(jù)源自治、可擴(kuò)展性、開(kāi)放性和優(yōu)化等功能,這使聯(lián)邦技術(shù)成為面向物流的信息集成中另一個(gè)重量級(jí)技術(shù)。
3.XML技術(shù)。XML是SGML的簡(jiǎn)化子集。XML是一種元語(yǔ)言,允許用戶創(chuàng)建自己的標(biāo)記語(yǔ)言,其自描述性使其非常適用于物流信息系統(tǒng)集成中不同應(yīng)用間的數(shù)據(jù)交換,而且這種交換是不以預(yù)先規(guī)定一組數(shù)據(jù)結(jié)構(gòu)定義為前提的。
4.Web Services技術(shù)。用Web Services可以方便地集成物流行業(yè)的異構(gòu)系統(tǒng),在不需要對(duì)原有系統(tǒng)進(jìn)行修改、不影響原有系統(tǒng)功能的情況下,只要在原有系統(tǒng)的基礎(chǔ)加上一個(gè)SOAP接口,就可以將現(xiàn)有的、用不同技術(shù)實(shí)現(xiàn)的系統(tǒng)互聯(lián)起來(lái),提供相互的數(shù)據(jù)交流和訪問(wèn)操作。在面向物流的信息集成過(guò)程中,既有一些原有的Web Services可以通過(guò)集成平臺(tái)集成進(jìn)來(lái),也可以由集成平臺(tái)提供新的Web Services以供用戶使用。
5.網(wǎng)格技術(shù)。數(shù)據(jù)網(wǎng)格是在網(wǎng)格環(huán)境下通明訪問(wèn)異構(gòu)數(shù)據(jù)資源的新的體系結(jié)構(gòu)。數(shù)據(jù)網(wǎng)格主要解決數(shù)據(jù)密集型計(jì)算應(yīng)用中如何方便高效地使用分布式數(shù)據(jù)資源的間題。其研究?jī)?nèi)容主要集中在廣域、異構(gòu)、分布環(huán)境下如何對(duì)數(shù)據(jù)進(jìn)行管理,如何從地理分布的各種異構(gòu)數(shù)據(jù)資源中獲取數(shù)據(jù),并通過(guò)地域分布的協(xié)作和處理,如何從數(shù)據(jù)源中獲取有用信息。因此該技術(shù)對(duì)今后的物流信息集成非常有用。
四、結(jié)束語(yǔ)
物流,作為一個(gè)正在迅速成長(zhǎng)的行業(yè),其信息化的應(yīng)用自然成了一個(gè)熱點(diǎn)。如何利用眾多IT行業(yè)的新技術(shù)為物流信息化服務(wù),是非常具有挑戰(zhàn)性和實(shí)際意義的。本文結(jié)合目前的集成新技術(shù),提出了利用數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)邦技術(shù)結(jié)合為核心的物流信息集成方法。今后相應(yīng)的集成辦法也將隨著IT技術(shù)的發(fā)展,會(huì)與網(wǎng)格等新技術(shù)有更多的融合。
本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。