郭 帥， 郭忠文??， 胡乃軍， 仇志金

(1 中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島266100； 2.青島市工商行政管理局信息中心，山東 青島 266071)

隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展以及互聯(lián)網(wǎng)+理念的普及，海量數(shù)據(jù)的互聯(lián)轉(zhuǎn)換已經(jīng)形成了不可阻擋的發(fā)展趨勢(shì)，異構(gòu)數(shù)據(jù)轉(zhuǎn)換作為實(shí)現(xiàn)數(shù)據(jù)互聯(lián)的有效途徑之一，其重要性也日益增加。然而，目前大多數(shù)據(jù)并未實(shí)現(xiàn)互聯(lián)共享，導(dǎo)致形成了大量的、獨(dú)立封閉的信息孤島，嚴(yán)重阻礙了人們對(duì)信息的獲取[1]，如何將這些信息孤島互聯(lián)起來已經(jīng)成為當(dāng)下的關(guān)鍵問題。傳統(tǒng)的異構(gòu)數(shù)據(jù)轉(zhuǎn)換模型大多將重點(diǎn)放在異構(gòu)數(shù)據(jù)輸出格式的統(tǒng)一定義和網(wǎng)絡(luò)傳輸方式上，隨著異構(gòu)數(shù)據(jù)越來越多樣化以及互聯(lián)轉(zhuǎn)換需求量的迅速增加，對(duì)異構(gòu)數(shù)據(jù)轉(zhuǎn)換又提出了新的挑戰(zhàn)，如何在現(xiàn)實(shí)應(yīng)用中實(shí)現(xiàn)標(biāo)準(zhǔn)、高效、規(guī)?；漠悩?gòu)數(shù)據(jù)轉(zhuǎn)換越來越受到人們的重視。

數(shù)據(jù)互聯(lián)與轉(zhuǎn)換技術(shù)種類繁多，主要可以劃分為：聯(lián)邦數(shù)據(jù)庫技術(shù)、數(shù)據(jù)服務(wù)技術(shù)、數(shù)據(jù)網(wǎng)格技術(shù)等。聯(lián)邦數(shù)據(jù)庫技術(shù)將海量數(shù)據(jù)庫，通過構(gòu)建全局?jǐn)?shù)據(jù)視圖，實(shí)現(xiàn)了對(duì)異構(gòu)數(shù)據(jù)庫的統(tǒng)一訪問。數(shù)據(jù)服務(wù)技術(shù)將服務(wù)技術(shù)的特點(diǎn)和優(yōu)勢(shì)與數(shù)據(jù)庫互聯(lián)相結(jié)合，增強(qiáng)傳統(tǒng)數(shù)據(jù)庫的交互及協(xié)同能力。數(shù)據(jù)網(wǎng)格技術(shù)主要針對(duì)多系統(tǒng)、多分布、大規(guī)模的異構(gòu)數(shù)據(jù)，通過數(shù)據(jù)網(wǎng)格實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫的自主互聯(lián)、協(xié)同及綜合利用。美國(guó)軍方正在實(shí)施的全球信息網(wǎng)格GIG(Global Information Grid)，預(yù)計(jì)在2020年完成，利用計(jì)算網(wǎng)格和數(shù)據(jù)網(wǎng)格技術(shù)及時(shí)的收集、處理和共享軍事情報(bào)信息。

基于以上的數(shù)據(jù)互聯(lián)與轉(zhuǎn)換技術(shù)，在現(xiàn)有的數(shù)據(jù)轉(zhuǎn)換模型中，美國(guó)Standford大學(xué)設(shè)計(jì)的Lore系統(tǒng)[2]主要用于管理半結(jié)構(gòu)化信息的數(shù)據(jù)庫管理系統(tǒng)，可以對(duì)半結(jié)構(gòu)化數(shù)據(jù)OEM和XML數(shù)據(jù)進(jìn)行存儲(chǔ)和管理；Ozone模型對(duì)面向?qū)ο髷?shù)據(jù)庫的ODMG轉(zhuǎn)換模型進(jìn)行了擴(kuò)展，可對(duì)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行轉(zhuǎn)換；東南大學(xué)Versatile[3]是一個(gè)基于CORBA可擴(kuò)展的異構(gòu)數(shù)據(jù)源轉(zhuǎn)換系統(tǒng)模型。這些傳統(tǒng)的數(shù)據(jù)轉(zhuǎn)換模型都在一定程度上解決了異構(gòu)數(shù)據(jù)轉(zhuǎn)換問題，但在現(xiàn)實(shí)情況中仍然存在許多缺點(diǎn)和不足：首先，單一的定義統(tǒng)一數(shù)據(jù)輸出格式只能解決部分問題，大多數(shù)的異構(gòu)數(shù)據(jù)無法提供統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)接口，只能使用人工配置的方式對(duì)異構(gòu)數(shù)據(jù)與標(biāo)準(zhǔn)化數(shù)據(jù)庫進(jìn)行模式匹配，而現(xiàn)有的模式匹配方式多種多樣，大多隨著開發(fā)人員的定義和習(xí)慣而改變，難以形成一個(gè)統(tǒng)一的異構(gòu)數(shù)據(jù)模式匹配模型，導(dǎo)致模式匹配過程復(fù)雜、耗時(shí)，降低了數(shù)據(jù)轉(zhuǎn)換的效率。其次，傳統(tǒng)的模式匹配映射僅僅以人工編寫代碼的方式寫入程序中，供解析模塊解析，并沒有單獨(dú)存儲(chǔ)信息，導(dǎo)致一旦模式發(fā)生改變，只能通過修改代碼的方式解決，解析模塊無法自適應(yīng)映射的改變并且無法動(dòng)態(tài)擴(kuò)充，這大大降低了軟件的靈活性，提高了開發(fā)成本，延長(zhǎng)了開發(fā)周期。最后，對(duì)大量不同的數(shù)據(jù)轉(zhuǎn)換模塊缺少統(tǒng)一的管理及其運(yùn)行狀態(tài)的實(shí)時(shí)遠(yuǎn)程監(jiān)控，導(dǎo)致出現(xiàn)問題無法及時(shí)捕捉，難以通過遠(yuǎn)程方式解決，增加了維護(hù)成本。

針對(duì)以上出現(xiàn)的新問題，傳統(tǒng)的異構(gòu)數(shù)據(jù)轉(zhuǎn)換模型已經(jīng)難以處理，無法在現(xiàn)實(shí)應(yīng)用中實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換的標(biāo)準(zhǔn)化、高效化、規(guī)?；?。為此本文給出了一種面向物聯(lián)網(wǎng)的異構(gòu)數(shù)據(jù)轉(zhuǎn)換模型IDCM，該模型主要針對(duì)由物聯(lián)網(wǎng)各領(lǐng)域中應(yīng)用系統(tǒng)的分散開發(fā)和引進(jìn)而形成了海量的異構(gòu)數(shù)據(jù)庫，通過引入模式匹配器、數(shù)據(jù)轉(zhuǎn)換器和狀態(tài)監(jiān)控器，較好的解決了以上問題，本文的主要貢獻(xiàn)如下：

(1)構(gòu)建了物聯(lián)網(wǎng)異構(gòu)數(shù)據(jù)轉(zhuǎn)換模型架構(gòu)，對(duì)物聯(lián)網(wǎng)異構(gòu)數(shù)據(jù)的轉(zhuǎn)換與互聯(lián)提供了一個(gè)標(biāo)準(zhǔn)，提高了針對(duì)物聯(lián)網(wǎng)異構(gòu)數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換與互聯(lián)的效率。

(2)構(gòu)建了模式匹配器，基于統(tǒng)一的模式匹配模型，對(duì)未能提供標(biāo)準(zhǔn)數(shù)據(jù)接口的異構(gòu)數(shù)據(jù)與標(biāo)準(zhǔn)化數(shù)據(jù)庫進(jìn)行模式匹配，產(chǎn)生的匹配結(jié)果單獨(dú)存儲(chǔ)，簡(jiǎn)化了模式匹配過程，提高了模式匹配效率，降低了人工參與度。

(3)構(gòu)建了數(shù)據(jù)轉(zhuǎn)換器，調(diào)用模式匹配結(jié)果，建立映射，實(shí)現(xiàn)動(dòng)態(tài)自適應(yīng)，降低了解析模塊開發(fā)成本，大幅縮短其開發(fā)周期，提高了系統(tǒng)開發(fā)過程中的資源利用率。

(4)構(gòu)建了運(yùn)行狀態(tài)監(jiān)控器的使用，實(shí)現(xiàn)了數(shù)據(jù)轉(zhuǎn)換器統(tǒng)一的集成管理，并且實(shí)時(shí)遠(yuǎn)程追蹤其運(yùn)行狀態(tài)，增強(qiáng)了為數(shù)據(jù)轉(zhuǎn)換器的維護(hù)性，降低維護(hù)成本。

(5)對(duì)外提供標(biāo)準(zhǔn)化的WebService數(shù)據(jù)接口，通過訪問該接口來獲取轉(zhuǎn)換后的數(shù)據(jù)。

1 模型設(shè)計(jì)

IDCM是一種面向物聯(lián)網(wǎng)的異構(gòu)數(shù)據(jù)轉(zhuǎn)換模型，該模型針對(duì)物聯(lián)網(wǎng)海量的異構(gòu)數(shù)據(jù)互聯(lián)轉(zhuǎn)換問題，提供了有效的數(shù)據(jù)轉(zhuǎn)換方法，實(shí)現(xiàn)了數(shù)據(jù)轉(zhuǎn)換過程中對(duì)模式匹配的動(dòng)態(tài)自適應(yīng)；提高了模式匹配效率及系統(tǒng)開發(fā)過程中資源的重復(fù)利用率；對(duì)數(shù)據(jù)轉(zhuǎn)換模塊進(jìn)行統(tǒng)一管理和遠(yuǎn)程監(jiān)控；最終實(shí)現(xiàn)異構(gòu)數(shù)據(jù)轉(zhuǎn)換的標(biāo)準(zhǔn)化、高效化、規(guī)模化。本章節(jié)將對(duì)IDCM的模型架構(gòu)及模型處理機(jī)制進(jìn)行詳細(xì)描述。

1.1 模型架構(gòu)

本文所提出的異構(gòu)數(shù)據(jù)轉(zhuǎn)換模型(IDCM)的模型架構(gòu)如圖1所示，該模型由五大模塊組成：模式匹配器、數(shù)據(jù)轉(zhuǎn)換器、狀態(tài)監(jiān)控器、標(biāo)準(zhǔn)化數(shù)據(jù)庫和標(biāo)準(zhǔn)數(shù)據(jù)接口，各部分協(xié)同工作，共同實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的轉(zhuǎn)換。

(1)模式匹配器：基于統(tǒng)一的模式匹配模型，為用戶提供人性化、快捷化的操作界面以及操作方式，對(duì)異構(gòu)數(shù)據(jù)和標(biāo)準(zhǔn)化數(shù)據(jù)庫進(jìn)行模式匹配，建立映射，并最終將匹配結(jié)果單獨(dú)存儲(chǔ)。

(2)數(shù)據(jù)轉(zhuǎn)換器：解析模式匹配結(jié)果，獲取異構(gòu)數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換，并將轉(zhuǎn)換后的數(shù)據(jù)寫入到標(biāo)準(zhǔn)化數(shù)據(jù)庫中，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的標(biāo)準(zhǔn)化。

(3)狀態(tài)監(jiān)控器：對(duì)所有的數(shù)據(jù)轉(zhuǎn)換器的運(yùn)行狀態(tài)、網(wǎng)絡(luò)連接等進(jìn)行實(shí)時(shí)遠(yuǎn)程監(jiān)控，并對(duì)其進(jìn)行統(tǒng)一的管理與維護(hù)。

(4)標(biāo)準(zhǔn)化數(shù)據(jù)庫：存儲(chǔ)標(biāo)準(zhǔn)化數(shù)據(jù)、模式匹配結(jié)果和狀態(tài)監(jiān)控日志等數(shù)據(jù)信息。

(5)標(biāo)準(zhǔn)數(shù)據(jù)接口：對(duì)外提供標(biāo)準(zhǔn)化的WebService數(shù)據(jù)服務(wù)接口，用戶通過訪問數(shù)據(jù)接口獲取相關(guān)數(shù)據(jù)。

圖1 IDCM模型架構(gòu)

1.2 模型處理機(jī)制

步驟一: 模式匹配器與異構(gòu)數(shù)據(jù)建立連接，獲取異構(gòu)數(shù)據(jù)的模式信息，通過人工快速配置的方式進(jìn)行模式匹配，將最終產(chǎn)生的模式匹配結(jié)果存入標(biāo)準(zhǔn)化數(shù)據(jù)庫的匹配池中(見圖2中過程①②)。

步驟二: 數(shù)據(jù)轉(zhuǎn)換程序從數(shù)據(jù)庫匹配池中獲取模式匹配結(jié)果，建立映射，啟動(dòng)數(shù)據(jù)轉(zhuǎn)換功能進(jìn)行數(shù)據(jù)的獲取與解析，并將最終生成的數(shù)據(jù)寫入標(biāo)準(zhǔn)化數(shù)據(jù)庫(見圖2中過程③④⑤⑥)。

步驟三: 這期間，運(yùn)行狀態(tài)監(jiān)控器對(duì)所有啟動(dòng)的數(shù)據(jù)轉(zhuǎn)換器進(jìn)行遠(yuǎn)程監(jiān)控(見圖2中過程⑦)。

圖2 IDCM模型處理機(jī)制

2 模型實(shí)現(xiàn)

2.1 模式匹配器

模式匹配器主要實(shí)現(xiàn)異構(gòu)數(shù)據(jù)和標(biāo)準(zhǔn)化數(shù)據(jù)庫之間的模式匹配，建立映射關(guān)系[4]，并且將最終的匹配結(jié)果單獨(dú)存儲(chǔ)。模式匹配器的映射模型如圖3所示。

圖3 模式匹配器映射模型

假設(shè)存在異構(gòu)數(shù)據(jù)S和標(biāo)準(zhǔn)化數(shù)據(jù)庫D，定義:

(1)在S和D中，只包含一個(gè)主題信息的數(shù)據(jù)集合為C，例如關(guān)系數(shù)據(jù)庫的一個(gè)表或一個(gè)數(shù)據(jù)文件等。

(2)D中每一個(gè)數(shù)據(jù)集合C都有唯一的模式匹配集合R與之對(duì)應(yīng)，即R=f(C)。

(3)S中數(shù)據(jù)集合C的個(gè)數(shù)為m和D中數(shù)據(jù)集合C的個(gè)數(shù)為n，則S集合和D集合可以表示為：

S={Cs1,Cs2,Cs3，…，Csm}；

D={(CD1,R1),(CD2,R2)，…，(CDn,Rn)}。

(4)對(duì)于單一的數(shù)據(jù)集合C都可以表示為一個(gè)p×q的二維矩陣A(p∈N,q∈N)，A=(a1,a2,a3，…，ai)，(i=p或i=q)。例如對(duì)于關(guān)系數(shù)據(jù)庫中的表，A可以表示為列向量的集合；對(duì)于XML數(shù)據(jù)文件則可以表示為行向量的集合。

Csi←Asi=(a1,a2,a3，…，ar)，r∈N；

CDj←BTj=(b1,b2,b3，…，bs)，s∈N。

通過研究分析發(fā)現(xiàn)Csi和CDj中的a、b，i∈(1,m),j∈(1,n)主要存在一對(duì)一，一對(duì)多，多對(duì)一這三種映射關(guān)系，如圖4所示?；谟成潢P(guān)系，建立一個(gè)操作函數(shù)f(x)執(zhí)行模式匹配運(yùn)算，匹配運(yùn)算包含基本的算數(shù)運(yùn)算、合并拆分及數(shù)據(jù)格式轉(zhuǎn)換等操作，則對(duì)于任意一個(gè)匹配集合R，都有：

R=f((CS1,a1),(CS2,a2)，…，(CSn,an))，n∈N。

圖4 數(shù)據(jù)集合映射Fig.4 Dataset mapping

模式匹配結(jié)果集R={R1,R2,R3，…，Rn}存儲(chǔ)于數(shù)據(jù)庫中，任意匹配集Ri∈R的存儲(chǔ)方式如表1所示，其中匹配標(biāo)識(shí)唯一確定了一條匹配信息，便于檢索調(diào)用；D信息中記錄CDj(j∈(1,n))中每一個(gè)b的唯一標(biāo)識(shí)信息；S信息存儲(chǔ)對(duì)應(yīng)于b的匹配結(jié)果，“@”為操作符，它實(shí)際上是一個(gè)由多種數(shù)據(jù)轉(zhuǎn)換操作組成的集合。

表1 匹配集合存儲(chǔ)結(jié)構(gòu)

最后，以關(guān)系數(shù)據(jù)庫為例對(duì)模式匹配器進(jìn)行說明。已知關(guān)系數(shù)據(jù)庫S和標(biāo)準(zhǔn)化數(shù)據(jù)庫D，按照D的模式構(gòu)建一個(gè)模式匹配器，模式匹配器與關(guān)系數(shù)據(jù)庫S建立連接，從而獲取S的模式信息集{Cs1,Cs2,Cs3，…，Csm}，其中模式信息如數(shù)據(jù)庫表名、字段名、字段類型，數(shù)據(jù)文件的文件名，行、列定義等,基于該集合構(gòu)建一個(gè)m×k的模式矩陣P:

式中：m為S中所有表的個(gè)數(shù)；n為S中所有表中的最大字段數(shù)；ti為Csi所對(duì)應(yīng)的表的表名稱；fi1～fin為Csi所對(duì)應(yīng)的表的所有字段名稱及字段類型；Csi={f1j,C2j,C3j，…，Cnj}，并且定義若(ti,fij)不存在，則(ti,fij)=0。隨后構(gòu)建操作矩陣Q:

式中cij為P矩陣中(tj,fji)相對(duì)應(yīng)的操作符，即對(duì)于Ri∈R={R1,R2,R3，…，Rn}，都存在一個(gè)Qi，使得Ri等于P×Qi所得矩陣的對(duì)角線元素之和，將對(duì)角線元素進(jìn)行解析處理，最總得到模式匹配結(jié)果集。

2.2 數(shù)據(jù)轉(zhuǎn)換器

數(shù)據(jù)轉(zhuǎn)換器主要負(fù)責(zé)解析數(shù)據(jù)庫中的模式匹配結(jié)果R并構(gòu)建匹配引擎，通過匹配引擎獲取異構(gòu)數(shù)據(jù)S的原始數(shù)據(jù)，并且對(duì)原始數(shù)據(jù)進(jìn)行質(zhì)量控制、格式轉(zhuǎn)換等操作，最終將標(biāo)準(zhǔn)化的數(shù)據(jù)寫入標(biāo)準(zhǔn)化數(shù)據(jù)庫D中[5-6]，數(shù)據(jù)轉(zhuǎn)換器如圖5所示。下面對(duì)數(shù)據(jù)轉(zhuǎn)換器的轉(zhuǎn)換算法進(jìn)行描述。

圖5 數(shù)據(jù)轉(zhuǎn)換器

2.3 狀態(tài)監(jiān)控器

狀態(tài)監(jiān)控器主要負(fù)責(zé)對(duì)所有數(shù)據(jù)轉(zhuǎn)換器運(yùn)行狀態(tài)的實(shí)時(shí)遠(yuǎn)程監(jiān)控及統(tǒng)一管理，并且為解決多地區(qū)軟件維護(hù)成本過高等問題提供了一個(gè)良好的解決方案[7]。狀態(tài)監(jiān)控器具有對(duì)數(shù)據(jù)轉(zhuǎn)換器進(jìn)行實(shí)時(shí)的網(wǎng)絡(luò)連接監(jiān)控、運(yùn)行狀態(tài)監(jiān)控、集成管理及升級(jí)維護(hù)等功能，如圖6所示。

3 模型驗(yàn)證

3.1 系統(tǒng)開發(fā)效率

在物聯(lián)網(wǎng)各領(lǐng)域的異構(gòu)數(shù)據(jù)轉(zhuǎn)換問題中，通常需要對(duì)不同結(jié)構(gòu)的數(shù)據(jù)庫進(jìn)行相應(yīng)的數(shù)據(jù)轉(zhuǎn)換系統(tǒng)的重復(fù)性開發(fā)，而IDCM模型具有靈活、動(dòng)態(tài)適應(yīng)特點(diǎn)，能夠?qū)崿F(xiàn)異構(gòu)數(shù)據(jù)庫數(shù)據(jù)的快速轉(zhuǎn)換。首先，模式匹配器將匹配過程單獨(dú)抽離，實(shí)現(xiàn)了匹配模型的統(tǒng)一，匹配結(jié)果作為一個(gè)“可配置的信息”，存儲(chǔ)于數(shù)據(jù)庫中。其次，數(shù)據(jù)轉(zhuǎn)換器與模式匹配器無縫對(duì)接，能夠動(dòng)態(tài)自適應(yīng)匹配結(jié)果，無需因匹配結(jié)果的改變而重新開發(fā)或修改數(shù)據(jù)轉(zhuǎn)換器；狀態(tài)監(jiān)控器的遠(yuǎn)程實(shí)時(shí)監(jiān)控，能夠?qū)崟r(shí)捕捉異常并遠(yuǎn)程進(jìn)行操作處理，大大減少了軟件維護(hù)成本。IDCM模式相比較平臺(tái)開發(fā)、組件式開發(fā)、重新編碼等軟件開發(fā)方法[8-9]，其開發(fā)明顯提高了開發(fā)效率，由于需要構(gòu)建模式匹配器，因此第一次開發(fā)時(shí)，IDCM會(huì)占用更多的資源，但是隨著互聯(lián)的異構(gòu)數(shù)據(jù)數(shù)量的增加，其效率會(huì)有明顯的提升，并且大幅降低了系統(tǒng)測(cè)試和維護(hù)的成本與時(shí)間。以工業(yè)領(lǐng)域家用空調(diào)測(cè)試數(shù)據(jù)轉(zhuǎn)換系統(tǒng)開發(fā)為例，共計(jì)對(duì)12套異構(gòu)的產(chǎn)品測(cè)試系統(tǒng)進(jìn)行數(shù)據(jù)轉(zhuǎn)換，包含ORACLE、SQLSERVER、ACCESS、TXT文件等多種數(shù)據(jù)存儲(chǔ)形式，每套數(shù)據(jù)庫平均有15個(gè)表，350個(gè)字段，包含的數(shù)據(jù)內(nèi)容包括產(chǎn)品測(cè)試的銘牌信息、傳感器信息、工況信息、報(bào)告信息、測(cè)試數(shù)據(jù)等，對(duì)其進(jìn)行對(duì)比發(fā)現(xiàn)，IDCM模型明顯提高了整個(gè)系統(tǒng)的開發(fā)效率，減少了系統(tǒng)測(cè)試時(shí)間，并且降低了維護(hù)成本，對(duì)比結(jié)果如圖7和8所示。

數(shù)據(jù)轉(zhuǎn)換算法1:定義MatchList數(shù)據(jù)集合,存儲(chǔ)解析后的匹配結(jié)果信息。定義DataList數(shù)據(jù)集合,存儲(chǔ)從異構(gòu)數(shù)據(jù)源S獲取的數(shù)據(jù)。2: 獲取數(shù)據(jù)轉(zhuǎn)換器啟動(dòng)所需的配置信息,與異構(gòu)數(shù)據(jù)S和標(biāo)準(zhǔn)化數(shù)據(jù)庫D分別建立連接異構(gòu)數(shù)據(jù)S的連接信息標(biāo)準(zhǔn)化數(shù)據(jù)庫D的連接信息數(shù)據(jù)轉(zhuǎn)換器的轉(zhuǎn)換周期3: 獲取匹配結(jié)果集R={R1,R2…Rn},經(jīng)解析后構(gòu)建匹配模式引擎4: 通過匹配模式引擎獲取異構(gòu)數(shù)據(jù)S的原始數(shù)據(jù)5: 解析數(shù)據(jù),進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化,在其整個(gè)過程中進(jìn)行日志追蹤及異常數(shù)據(jù)判斷處理,產(chǎn)生標(biāo)準(zhǔn)化數(shù)據(jù)Begin數(shù)據(jù)轉(zhuǎn)換檢查轉(zhuǎn)換器對(duì)外連接檢測(cè)異常數(shù)據(jù),并智能處理解析正常數(shù)據(jù)對(duì)正常數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化日志追蹤End

圖6 狀態(tài)監(jiān)控器

圖7 系統(tǒng)開發(fā)效率對(duì)比

圖8 系統(tǒng)測(cè)試維護(hù)對(duì)比

3.2 模式匹配效率

模式匹配作為數(shù)據(jù)轉(zhuǎn)換的重要過程，其效率的高低能夠直接影響整個(gè)數(shù)據(jù)轉(zhuǎn)換效率。本文通過構(gòu)建了模式匹配器，簡(jiǎn)化了模式匹配過程，提高了模式匹配效率，降低了人工參與度。為了驗(yàn)證模式匹配器工作效率，對(duì)來自工業(yè)領(lǐng)域冰箱性能測(cè)試的10個(gè)異構(gòu)數(shù)據(jù)庫，分別進(jìn)行使用匹配器前后的匹配效率對(duì)比，結(jié)果表明使用了模式匹配器后，匹配效率與之前相比有著明顯的提升(見圖9)。

圖9 模式匹配效率對(duì)比

3.3 WebService響應(yīng)時(shí)間

IDCM模型最終對(duì)外提供WebService標(biāo)準(zhǔn)化接口，用戶通過訪問WebService接口來獲取相應(yīng)的標(biāo)準(zhǔn)化數(shù)據(jù)，因此WebService接口的性能直接影響到互聯(lián)系統(tǒng)的數(shù)據(jù)顯示、操作及響應(yīng)時(shí)間[10]。為了檢驗(yàn)接口性能，本文對(duì)IDCM模型的WebService接口做了性能測(cè)試，測(cè)試環(huán)境如表2所示。本次假定在相同網(wǎng)絡(luò)、主機(jī)環(huán)境條件下進(jìn)行本機(jī)測(cè)試和遠(yuǎn)程測(cè)試，服務(wù)端接口內(nèi)部沒有復(fù)雜業(yè)務(wù)邏輯，客戶端調(diào)用時(shí)，返回一條數(shù)據(jù)。每次運(yùn)行，采用java循環(huán)方式調(diào)用10次服務(wù)端接口，并記錄下從發(fā)起到返回結(jié)果的時(shí)間。測(cè)試結(jié)果表明IDCM模型的WebService標(biāo)準(zhǔn)化接口性能良好(見圖10)。

表2 測(cè)試環(huán)境

3.4 應(yīng)用實(shí)例

IDCM作為一種面向物聯(lián)網(wǎng)的異構(gòu)數(shù)據(jù)轉(zhuǎn)換模型，已經(jīng)被應(yīng)用到家電產(chǎn)品測(cè)試系統(tǒng)和海洋應(yīng)用系統(tǒng)互聯(lián)的項(xiàng)目中，得到了有效的驗(yàn)證。首先，基于IDCM模型的海爾家電產(chǎn)品測(cè)試互聯(lián)系統(tǒng)(見圖11)，是海爾集團(tuán)為響應(yīng)“中國(guó)制造2025”發(fā)展戰(zhàn)略，提高制造水平、制造效率、生產(chǎn)出適合人們個(gè)性化需要的各種家電產(chǎn)品而產(chǎn)生的軟件系統(tǒng)。IDCM模型作為其數(shù)據(jù)轉(zhuǎn)換模塊的核心，實(shí)現(xiàn)了海爾熱水器、電冰箱、空調(diào)、模塊商等眾多廠家共計(jì)67套測(cè)試系統(tǒng)的異構(gòu)數(shù)據(jù)轉(zhuǎn)換，累計(jì)轉(zhuǎn)換的數(shù)據(jù)量約為1005G。IDCM模型的使用解決了長(zhǎng)期以來家電產(chǎn)品測(cè)試行業(yè)大量“信息孤島”的問題，明顯提高了測(cè)試系統(tǒng)的互聯(lián)效率。

圖10 測(cè)試結(jié)果

圖11 海爾家電產(chǎn)品測(cè)試互聯(lián)系統(tǒng)

海洋應(yīng)用互聯(lián)系統(tǒng)(見圖12)是我國(guó)海洋觀測(cè)、監(jiān)測(cè)和調(diào)查儀器設(shè)備研發(fā)、海洋科學(xué)研究、實(shí)現(xiàn)科技興海，促進(jìn)高新科技成果轉(zhuǎn)化及海洋可再生能源開發(fā)的重要平臺(tái)。該系統(tǒng)通過互聯(lián)操作來實(shí)現(xiàn)系統(tǒng)的無縫集成和系統(tǒng)重構(gòu)[11]。IDCM模型兼容多類型參數(shù)數(shù)據(jù)，面向多種數(shù)據(jù)應(yīng)用與服務(wù)系統(tǒng)，實(shí)現(xiàn)了海洋應(yīng)用領(lǐng)域中海量異構(gòu)數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換，為實(shí)現(xiàn)中國(guó)海洋數(shù)據(jù)“一張圖”打下了良好的基礎(chǔ)。

圖12 海洋應(yīng)用互聯(lián)系統(tǒng)

4 結(jié)語

本文提出的IDCM模型為解決物聯(lián)網(wǎng)的海量、多源異構(gòu)數(shù)據(jù)庫的轉(zhuǎn)換問題提供了一個(gè)良好的解決方案，通過引入模式匹配器、數(shù)據(jù)轉(zhuǎn)換器和狀態(tài)監(jiān)控器，統(tǒng)一了模式匹配的方法，提高了數(shù)據(jù)轉(zhuǎn)換的效率，降低了人工維護(hù)成本，最終實(shí)現(xiàn)了高效、快速、規(guī)?；漠悩?gòu)數(shù)據(jù)轉(zhuǎn)換，并且IDCM模型在家電產(chǎn)品測(cè)試系統(tǒng)和海洋觀測(cè)系統(tǒng)互聯(lián)等實(shí)際應(yīng)用中得到了有效的驗(yàn)證。

但是IDCM模型仍然存在缺點(diǎn)與不足，比如說模式匹配器的人工參與度過多，兼容性較差；數(shù)據(jù)轉(zhuǎn)換器的復(fù)用率不理想；狀態(tài)監(jiān)控器的異常判斷處理的實(shí)時(shí)性較差。我們的后續(xù)工作包括：(1)結(jié)合機(jī)器學(xué)習(xí)的知識(shí)，尋找一種適應(yīng)IDCM模型的高效算法，實(shí)現(xiàn)物聯(lián)網(wǎng)的異構(gòu)數(shù)據(jù)模式的自動(dòng)匹配，并增強(qiáng)其兼容性。(2)優(yōu)化數(shù)據(jù)轉(zhuǎn)換器的結(jié)構(gòu)設(shè)計(jì)，動(dòng)態(tài)自適應(yīng)模式匹配結(jié)果，提高其復(fù)用率。(3)進(jìn)一步將模型擴(kuò)展至其他領(lǐng)域。