楊多龍　翁世清

摘要:目前,數(shù)據(jù)共享困難已成為銀行系統(tǒng)所面臨的一個(gè)重要問(wèn)題。本文指出統(tǒng)一數(shù)據(jù)交換平臺(tái)能解決在分布式與多應(yīng)用系統(tǒng)環(huán)境下的數(shù)據(jù)交換問(wèn)題。文中根據(jù)組件化設(shè)計(jì)原則,以完成系統(tǒng)的總體設(shè)計(jì)、數(shù)據(jù)存儲(chǔ)和加工設(shè)計(jì)。并應(yīng)用NAS存儲(chǔ)、使用NFS共享等技術(shù)部署對(duì)ETL技術(shù)進(jìn)行了研究。

關(guān)鍵詞:統(tǒng)一數(shù)據(jù)交換 存儲(chǔ) ETL

中圖分類(lèi)號(hào):TP311.13文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1006-8937(2009)03-0064-02

在核心業(yè)務(wù)系統(tǒng)與外圍系統(tǒng)之間批量交互數(shù)據(jù)是銀行應(yīng)用系統(tǒng)中最常見(jiàn)的任務(wù)之一,由于通常要受到多方面因素的制約,這是一個(gè)十分復(fù)雜而且耗費(fèi)精力的工作。盡管目前銀行正在進(jìn)行綜合業(yè)務(wù)系統(tǒng)大集中的改造,但并非所有銀行的應(yīng)用都會(huì)集中到唯一的核心業(yè)務(wù)系統(tǒng)上,而銀行內(nèi)還存在許多面向管理類(lèi)的應(yīng)用系統(tǒng),這些圍繞在核心業(yè)務(wù)系統(tǒng)的應(yīng)用系統(tǒng),我們稱(chēng)之為“外圍系統(tǒng)”。

核心系統(tǒng)與外圍系統(tǒng)的數(shù)據(jù)交換可以分為批量數(shù)據(jù)交換和實(shí)時(shí)數(shù)據(jù)交換兩類(lèi)。實(shí)時(shí)數(shù)據(jù)交換是雙向的,一般由專(zhuān)門(mén)的中間件完成。批量數(shù)據(jù)交換也可能是雙向的,但總體上是從核心系統(tǒng)流向外圍系統(tǒng)的批量數(shù)據(jù)交換方式為主。從這一點(diǎn)來(lái)看核心系統(tǒng)是數(shù)據(jù)生產(chǎn)者,外圍系統(tǒng)是數(shù)據(jù)消費(fèi)者。外圍系統(tǒng)之間也可以有批量數(shù)據(jù)交換和實(shí)時(shí)數(shù)據(jù)交換,因而互相扮演數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者的角色。

本文研究的是如何在中國(guó)建設(shè)銀行總行實(shí)現(xiàn)統(tǒng)一的批量數(shù)據(jù)交換,從而建立統(tǒng)一數(shù)據(jù)交換平臺(tái)(Unified Data Interchange Platform,以下簡(jiǎn)稱(chēng)UDI)。

1應(yīng)用技術(shù)現(xiàn)狀與研究

本文研究的重點(diǎn)之一是如何實(shí)現(xiàn)海量數(shù)據(jù)的加工,而且要在規(guī)定的時(shí)間窗口內(nèi)完成指定的數(shù)據(jù)加工處理任務(wù),否則,從業(yè)務(wù)角度看就是失敗的。這一點(diǎn)的提出要求我們研究和應(yīng)用先進(jìn)的存儲(chǔ)和計(jì)算技術(shù),以及使用ETL技術(shù)對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行提取。

1.1網(wǎng)絡(luò)存儲(chǔ)的研究

早期的存儲(chǔ)系統(tǒng)是計(jì)算機(jī)系統(tǒng)的一部分,大多以存儲(chǔ)設(shè)備形式出現(xiàn)。隨著網(wǎng)絡(luò)的發(fā)展,數(shù)據(jù)的存儲(chǔ)也逐漸由單機(jī)向多機(jī)方式和專(zhuān)用機(jī)發(fā)展,數(shù)據(jù)的共享與傳遞也逐漸從依賴(lài)主機(jī)系統(tǒng)向依賴(lài)網(wǎng)絡(luò)系統(tǒng)發(fā)展。在大型企業(yè)應(yīng)用和Internet發(fā)布系統(tǒng)中,安裝數(shù)十臺(tái)服務(wù)器已經(jīng)很常見(jiàn)。但過(guò)于分散的數(shù)據(jù)資源,會(huì)給訪(fǎng)問(wèn)和管理帶來(lái)困難。因此,數(shù)據(jù)存儲(chǔ)問(wèn)題備受關(guān)注。存儲(chǔ)系統(tǒng)大致可以分成三種類(lèi)型:

直接依附存儲(chǔ)系統(tǒng)(Direct Attached Storage,DAS)又稱(chēng)為以服務(wù)器為中心的存儲(chǔ)體系。其特征為存儲(chǔ)設(shè)備是通用服務(wù)器的一部分。數(shù)據(jù)的輸入/輸出由服務(wù)器負(fù)責(zé),數(shù)據(jù)訪(fǎng)問(wèn)與操作系統(tǒng)、文件系統(tǒng)和服務(wù)程序緊密相關(guān)。當(dāng)用戶(hù)數(shù)量增加或服務(wù)器正在提供服務(wù)時(shí),響應(yīng)會(huì)變慢。在網(wǎng)絡(luò)帶寬足夠的情況下,服務(wù)器本身成為數(shù)據(jù)輸入/輸出的瓶頸。

網(wǎng)絡(luò)依附存儲(chǔ)系統(tǒng)(Network Attached Storage,NAS)這種存儲(chǔ)方式多采用專(zhuān)用數(shù)據(jù)服務(wù)器。該服務(wù)器不再承擔(dān)應(yīng)用服務(wù),稱(chēng)之為“瘦服務(wù)器”(Thin Server)。數(shù)據(jù)服務(wù)器通過(guò)局域網(wǎng)的接口與應(yīng)用服務(wù)器連接。由于采用局域網(wǎng)上通用數(shù)據(jù)傳輸協(xié)議,如NFS,CIFS等,所以能夠在異構(gòu)的服務(wù)器間共享數(shù)據(jù)。NAS也是一種集中化數(shù)據(jù)存儲(chǔ)形式,便于維護(hù)和管理。

存儲(chǔ)區(qū)域網(wǎng)絡(luò)(Storage Area Network)采用高速數(shù)據(jù)連接通道—光纖通道(Fiber Channel,FC)連接服務(wù)器和存儲(chǔ)系統(tǒng)。從結(jié)構(gòu)上看,服務(wù)器和數(shù)據(jù)存儲(chǔ)系統(tǒng)相互獨(dú)立。將設(shè)備連接到FC集線(xiàn)器或交換機(jī)上,便于擴(kuò)展系統(tǒng)規(guī)模。FC的傳輸速率和可靠性極高,能夠滿(mǎn)足當(dāng)前視/音頻業(yè)務(wù)的需求。在SAN中,所有的存儲(chǔ)設(shè)備和存儲(chǔ)數(shù)據(jù)均可采用中心化管理,使得整個(gè)存儲(chǔ)系統(tǒng)具有可伸縮性。并且,可以通過(guò)存儲(chǔ)設(shè)備的集群方式而達(dá)到高可用度。

從軟件角度看,NAS是應(yīng)用與存儲(chǔ)分離的系統(tǒng),應(yīng)用服務(wù)器通過(guò)局域網(wǎng)(LAN)訪(fǎng)問(wèn)文件存儲(chǔ)系統(tǒng),通常NAS以標(biāo)準(zhǔn)化訪(fǎng)問(wèn)協(xié)議(如NFS)提供服務(wù);在SAN中,文件系統(tǒng)與存儲(chǔ)系統(tǒng)完全分離,存儲(chǔ)系統(tǒng)實(shí)際上成為運(yùn)行應(yīng)用程序服務(wù)器的設(shè)備,二者以高速FC連接。

1.2ETL技術(shù)的研究

企業(yè)的信息系統(tǒng)往往是一個(gè)由傳統(tǒng)系統(tǒng)、不兼容數(shù)據(jù)源、數(shù)據(jù)庫(kù)與應(yīng)用所共同構(gòu)成的復(fù)雜數(shù)據(jù)集合,各個(gè)部分之間不能彼此交流,這些數(shù)據(jù)的來(lái)源、格式不一樣,導(dǎo)致了數(shù)據(jù)整合的難度,企業(yè)非常希望有一個(gè)全面的解決方案來(lái)解脫自己的困境,解決數(shù)據(jù)一致性與集成化問(wèn)題,從而能夠從所有傳統(tǒng)環(huán)境與平臺(tái)中采集數(shù)據(jù),并利用一個(gè)單一解決方案對(duì)其進(jìn)行高效的轉(zhuǎn)換,這種解決方案就是ETL(Extraction,Transformation and Loading)。

從實(shí)際角度,ETL的使用包括數(shù)據(jù)抽取、數(shù)據(jù)傳輸、數(shù)據(jù)轉(zhuǎn)換與清洗、數(shù)據(jù)加載、調(diào)度監(jiān)控以及元數(shù)據(jù)管理等。

2 平臺(tái)的總體設(shè)計(jì)

組件由一段執(zhí)行碼組成,通過(guò)對(duì)相應(yīng)的控件資源的調(diào)用完成設(shè)定功能的執(zhí)行模塊。組件通過(guò)有序的組合,構(gòu)成組件執(zhí)行序列即流程,完成所要實(shí)現(xiàn)的功能。本節(jié)對(duì)UDI平臺(tái)建設(shè)需要實(shí)現(xiàn)的功能進(jìn)行分析,包括技術(shù)合規(guī)性檢查、元數(shù)據(jù)管理、數(shù)據(jù)接入服務(wù)、數(shù)據(jù)組織和管理服務(wù)、數(shù)據(jù)提交服務(wù)、安全控管、系統(tǒng)監(jiān)控管理等組件,并在此基礎(chǔ)上依據(jù)組件設(shè)計(jì)的思想進(jìn)行組合,提出統(tǒng)一數(shù)據(jù)交換平臺(tái)的總體架構(gòu)。

2.1 UDI的功能分析

2.1.1 技術(shù)合規(guī)性檢查

按照UDI數(shù)據(jù)標(biāo)準(zhǔn)和目標(biāo)系統(tǒng)的要求,針對(duì)數(shù)據(jù)格式所進(jìn)行的檢查,包括數(shù)據(jù)屬性與值域檢查、代碼表引用檢查、中文亂碼和半個(gè)漢字等檢查。

2.1.2 元數(shù)據(jù)管理

簡(jiǎn)單地說(shuō),元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”。包括業(yè)務(wù)性元數(shù)據(jù),主要指數(shù)據(jù)的業(yè)務(wù)定義、計(jì)算公式、修改規(guī)則等;技術(shù)性元數(shù)據(jù),主要指數(shù)據(jù)結(jié)構(gòu)(數(shù)據(jù)表和字段)的定義和轉(zhuǎn)換規(guī)則等;操作性元數(shù)據(jù),主要指作業(yè)運(yùn)行日志、數(shù)據(jù)保留期間、加載頻率等。UDI系統(tǒng)重點(diǎn)是實(shí)現(xiàn)基于技術(shù)性元數(shù)據(jù)的元數(shù)據(jù)驅(qū)動(dòng)服務(wù)以及對(duì)元數(shù)據(jù)的管理服務(wù)。

2.1.3 數(shù)據(jù)接入服務(wù)

負(fù)責(zé)源系統(tǒng)數(shù)據(jù)向UDI的接入,包括與源系統(tǒng)的連接、源系統(tǒng)數(shù)據(jù)的獲取以及源系統(tǒng)數(shù)據(jù)向UDI標(biāo)準(zhǔn)數(shù)據(jù)的轉(zhuǎn)換,特別要考慮系統(tǒng)面對(duì)大數(shù)據(jù)量和有限處理時(shí)間條件下的處理能力。UDI平臺(tái)支持的轉(zhuǎn)換規(guī)則如:格式與類(lèi)型、數(shù)據(jù)翻譯、數(shù)據(jù)連接、數(shù)據(jù)合并、數(shù)據(jù)排序、數(shù)據(jù)計(jì)算、碼制轉(zhuǎn)換等。

2.2 數(shù)據(jù)組織和管理服務(wù)

數(shù)據(jù)組織和管理是實(shí)現(xiàn)“目標(biāo)系統(tǒng)通過(guò)UDI屏蔽對(duì)源系統(tǒng)的數(shù)據(jù)要求”的關(guān)鍵,UDI對(duì)進(jìn)入其標(biāo)準(zhǔn)數(shù)據(jù)的源系統(tǒng)數(shù)據(jù)不做結(jié)構(gòu)上的改變,對(duì)這些數(shù)據(jù)可以重新進(jìn)行組織,這樣可以滿(mǎn)足目標(biāo)系統(tǒng)對(duì)數(shù)據(jù)的多樣性需求,并逐步形成UDI的數(shù)據(jù)標(biāo)準(zhǔn)和接口標(biāo)準(zhǔn),統(tǒng)一UDI的數(shù)據(jù)管理流程和作業(yè)流程。

2.3 數(shù)據(jù)提交服務(wù)

負(fù)責(zé)由UDI標(biāo)準(zhǔn)數(shù)據(jù)向目標(biāo)系統(tǒng)的數(shù)據(jù)轉(zhuǎn)換和分發(fā)管理,包括按目標(biāo)系統(tǒng)要求所進(jìn)行的技術(shù)性轉(zhuǎn)換以及對(duì)待提交數(shù)據(jù)的管理。

UDI作為批量數(shù)據(jù)交換平臺(tái)基礎(chǔ)設(shè)施,所以與源系統(tǒng)必須制定規(guī)范的數(shù)據(jù)交換協(xié)議標(biāo)準(zhǔn),綜合考慮源系統(tǒng)安全性,性能問(wèn)題,傳輸效率等等原因,UDI系統(tǒng)與源系統(tǒng)之間不采用數(shù)據(jù)庫(kù)直連標(biāo)準(zhǔn),如ODBC等連接方式。

采用FTP協(xié)議作為源系統(tǒng)與UDI之間的數(shù)據(jù)交換協(xié)議,那么就得約定與源系統(tǒng)之間的數(shù)據(jù)準(zhǔn)備就緒標(biāo)準(zhǔn)與檢查方式,要求UDI平臺(tái)支持?jǐn)?shù)據(jù)就緒標(biāo)記文件和時(shí)間約定方式。

2.4 安全控管

UDI總體安全控制分成:系統(tǒng)層安全性(如操作系統(tǒng))、應(yīng)用層安全性(如針對(duì)數(shù)據(jù)存儲(chǔ)的安全加密措施,針對(duì)應(yīng)用數(shù)據(jù)在網(wǎng)絡(luò)傳輸過(guò)程中,采取的應(yīng)用層加密控制等等)、網(wǎng)絡(luò)層安全性(如采用防火墻,VPN等網(wǎng)絡(luò)安全技術(shù))。

2.5 監(jiān)控管理

與管理流程相對(duì)應(yīng)的對(duì)整個(gè)系統(tǒng)運(yùn)行環(huán)境的管理,包括系統(tǒng)接入管理、轉(zhuǎn)換配置管理、運(yùn)行配置管理、日常作業(yè)管理和系統(tǒng)恢復(fù)管理等。

2.6 數(shù)據(jù)存儲(chǔ)設(shè)計(jì)

2.6.1 存儲(chǔ)方案的選擇

基于NAS、SAN的存儲(chǔ)系統(tǒng)都是完全獨(dú)立的,不存在與服務(wù)器之間緊密的、依賴(lài)性的物理硬連接,都可以構(gòu)造中心化的數(shù)據(jù)存儲(chǔ)系統(tǒng)。二者都可通過(guò)冗余的硬件配置和軟件支持做到安全可靠的保護(hù)數(shù)據(jù),都具有良好的擴(kuò)充能力和數(shù)據(jù)共享能力,都能實(shí)現(xiàn)中心化的數(shù)據(jù)管理。

在擴(kuò)展能力方面,SAN通過(guò)多個(gè)FC交換機(jī)的級(jí)聯(lián),理論上可連接幾十萬(wàn)個(gè)設(shè)備,要優(yōu)于NAS。另外,NAS的系統(tǒng)訪(fǎng)問(wèn)能力受限于LAN的速率和服務(wù)質(zhì)量,而SAN采用光纖技術(shù),能提供高達(dá)1Gb/s的速率,數(shù)據(jù)訪(fǎng)問(wèn)速度優(yōu)于NAS。

NAS的設(shè)計(jì)使得網(wǎng)絡(luò)中的通用服務(wù)器可以從繁重的文件存儲(chǔ)功能上解放出來(lái)。從具體的系統(tǒng)實(shí)施來(lái)講,NAS有自己非常明顯的優(yōu)勢(shì)。

首先,NAS結(jié)構(gòu)簡(jiǎn)單,易于實(shí)現(xiàn)。只需將NAS文件服務(wù)器連接到LAN,進(jìn)行簡(jiǎn)單的配置即可實(shí)現(xiàn)數(shù)據(jù)共享。而SAN至少要在每臺(tái)服務(wù)器上安裝一塊HBA及其驅(qū)動(dòng)程序,當(dāng)服務(wù)器數(shù)量較多時(shí),還要添加FC交換機(jī),網(wǎng)絡(luò)布線(xiàn)和系統(tǒng)配置都較復(fù)雜。術(shù)語(yǔ)“即插即用”對(duì)于SAN來(lái)說(shuō)并不適用,至少還需要一段時(shí)間來(lái)達(dá)到。

其次,NAS易于實(shí)現(xiàn)多個(gè)局域網(wǎng)子網(wǎng)段的存儲(chǔ)共享。

綜上所述,結(jié)合銀行實(shí)際情況,UDI的數(shù)據(jù)存儲(chǔ)最終選擇NAS存儲(chǔ)方式。

2.6.2 存儲(chǔ)方案的設(shè)計(jì)

UDI系統(tǒng)的數(shù)據(jù)共享主要分為UDI應(yīng)用處理器之間的數(shù)據(jù)共享和ETL主輔節(jié)點(diǎn)之間的數(shù)據(jù)交換兩種情形。其中ETL主輔節(jié)點(diǎn)的數(shù)據(jù)交換由ETL工具自身來(lái)實(shí)現(xiàn)。

服務(wù)所用的數(shù)據(jù)存儲(chǔ)在集群文件系統(tǒng)中的磁盤(pán)設(shè)備組上。這種設(shè)置首先數(shù)據(jù)是高可用的,也就是說(shuō),因?yàn)榇疟P(pán)是多主機(jī)的,如果當(dāng)前主節(jié)點(diǎn)的路徑出現(xiàn)問(wèn)題,訪(fǎng)問(wèn)能換到可直接訪(fǎng)問(wèn)這些磁盤(pán)的另一節(jié)點(diǎn)。其次,因?yàn)閿?shù)據(jù)在集群文件系統(tǒng)上,所以可以從任何集群節(jié)點(diǎn)上直接查看它,而不必過(guò)問(wèn)此節(jié)點(diǎn)與存儲(chǔ)設(shè)備是否有物理連接。可以像常規(guī)設(shè)備那樣使用全局設(shè)備。UDI共享設(shè)計(jì)方案如圖所示。

2.7 數(shù)據(jù)加工設(shè)計(jì)

應(yīng)對(duì)數(shù)據(jù)源的數(shù)據(jù)提取可以有兩種方案,一種是設(shè)定一種類(lèi)型,比如關(guān)系數(shù)據(jù)庫(kù),作為統(tǒng)一的源類(lèi)型,其他類(lèi)型首先轉(zhuǎn)換到關(guān)系數(shù)據(jù)庫(kù)表中,然后再實(shí)施提取;另一種方案是直接選用數(shù)據(jù)提取的中間件產(chǎn)品,比如Ascential Datastage等。

如將數(shù)據(jù)裝入數(shù)據(jù)庫(kù),再進(jìn)行提取,文件在服務(wù)器上有轉(zhuǎn)換、裝載、抽取的環(huán)節(jié)。來(lái)自源系統(tǒng)的數(shù)據(jù)使用文件形式,數(shù)據(jù)量很大, UDI初始全量數(shù)據(jù)約820G,把文件Load到數(shù)據(jù)庫(kù)中是需要時(shí)間的,同時(shí),數(shù)據(jù)庫(kù)通常會(huì)用到索引,Enable索引比較慢,因而效率要差一些。而采用中間件產(chǎn)品,如ETL工具,可以直接將接收到源文件進(jìn)行提取,根據(jù)節(jié)點(diǎn)個(gè)數(shù)設(shè)置并行處理進(jìn)程,提取后結(jié)果文件直接發(fā)送到目標(biāo)系統(tǒng),這樣不用經(jīng)過(guò)“數(shù)據(jù)落地”的中間環(huán)節(jié),處理效率比較高。

UDI平臺(tái)的數(shù)據(jù)邏輯加工處理最終采用Ascential公司的DataStage ETL工具進(jìn)行規(guī)劃設(shè)計(jì),UDI平臺(tái)一部分組件是基于ETL工具的進(jìn)行開(kāi)發(fā)(ETL工具開(kāi)發(fā)語(yǔ)言 SCRIPT),另外一部分組件需要采用開(kāi)發(fā)語(yǔ)言進(jìn)行開(kāi)發(fā),統(tǒng)一規(guī)劃成AIX下C/C++。管理數(shù)據(jù)庫(kù)采用Informix數(shù)據(jù)庫(kù),任務(wù)調(diào)度和監(jiān)控通過(guò)ODBC與數(shù)據(jù)庫(kù)連接。

統(tǒng)一數(shù)據(jù)交換平臺(tái)項(xiàng)目作為建行基礎(chǔ)設(shè)施的建設(shè),已成功投入運(yùn)營(yíng)。當(dāng)前接入源系統(tǒng)有五個(gè)(DCCN、DCCS、CMIS、國(guó)際卡、證券等),接入目標(biāo)系統(tǒng)有四個(gè)(BDB、ECIF、OCRM、IPSS等)。平臺(tái)在功能上滿(mǎn)足了建行核心系統(tǒng)與外圍系統(tǒng)之間的批量數(shù)據(jù)交換需要。

參考文獻(xiàn):

[1] 周敬利,余勝生.網(wǎng)絡(luò)存儲(chǔ)原理與技術(shù)[M].北京:清華大學(xué)出版社,2005.

[2] Preston, Curtis. Using SAN and NAS.Sebastopol, CA: O'Reilly and Associates, 2002.