韓圣亞，嚴(yán) 莉，劉 蔭，徐 浩，朱韶松

（國(guó)網(wǎng)山東省電力公司信息通信公司，山東濟(jì)南 250001）

當(dāng)前互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)正朝著縱深方向發(fā)展，分布于不同網(wǎng)絡(luò)空間的異構(gòu)數(shù)據(jù)源具有典型的分布性和異構(gòu)性特征[1]。數(shù)據(jù)的異構(gòu)性容易導(dǎo)致原始數(shù)據(jù)在提取、分析、集成和融合過(guò)程中的復(fù)雜度和難度[2-3]。異構(gòu)數(shù)據(jù)處理系統(tǒng)可以有效減少多源異構(gòu)數(shù)據(jù)庫(kù)之間的差異性[4-5]。異構(gòu)數(shù)據(jù)處理的一致性程度，是評(píng)價(jià)異構(gòu)數(shù)據(jù)自動(dòng)化系統(tǒng)性能的主要指標(biāo)之一，而且數(shù)據(jù)融合處理完畢后必須對(duì)數(shù)據(jù)集做一致性檢驗(yàn)[6-8]。

匯總現(xiàn)有針對(duì)多源異構(gòu)數(shù)據(jù)一致性校驗(yàn)的方法，文獻(xiàn)[9]提出通過(guò)數(shù)據(jù)庫(kù)模擬轉(zhuǎn)換的方式來(lái)同步源數(shù)據(jù)，但該方法對(duì)異構(gòu)數(shù)據(jù)的規(guī)模和復(fù)雜程度都有要求，無(wú)法處理過(guò)于復(fù)雜的數(shù)據(jù)集；文獻(xiàn)[10]利用HTML 語(yǔ)言工具實(shí)現(xiàn)對(duì)異構(gòu)數(shù)據(jù)的復(fù)制和校驗(yàn)，但該方法的適用場(chǎng)景較少，靈活性不足，且對(duì)于通信網(wǎng)絡(luò)的健壯性要求較高。針對(duì)上述問(wèn)題，文中提出基于XML（可擴(kuò)展標(biāo)記語(yǔ)言）語(yǔ)言的數(shù)據(jù)一致性校驗(yàn)方法。XML 是一種標(biāo)準(zhǔn)化、結(jié)構(gòu)化的通用計(jì)算機(jī)語(yǔ)言，有效彌補(bǔ)了傳統(tǒng)HTML 語(yǔ)言的漏洞和不足，且該語(yǔ)言在結(jié)構(gòu)化設(shè)計(jì)、兼容性、可拓展性等方面具有較大的優(yōu)化空間，能夠更好地對(duì)異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，滿足不同用戶的具體使用需求。

1 XML語(yǔ)言的映射關(guān)系及數(shù)據(jù)轉(zhuǎn)換

XML 語(yǔ)言具有良好的軟件伸縮性、靈活性和可拓展性，對(duì)于現(xiàn)有的Web 應(yīng)用而言，不僅能夠?qū)崿F(xiàn)數(shù)據(jù)的兼容和共享，還可以集成不同結(jié)構(gòu)的異構(gòu)數(shù)據(jù)庫(kù)，拓展數(shù)據(jù)庫(kù)的應(yīng)用方向和應(yīng)用場(chǎng)景[11]。XML 工具對(duì)傳統(tǒng)的HTML 語(yǔ)言功能進(jìn)行了深度完善，更便于比對(duì)異構(gòu)數(shù)據(jù)庫(kù)，提取關(guān)鍵信息。XML工具的最大優(yōu)勢(shì)在于針對(duì)異構(gòu)數(shù)據(jù)深度交換和標(biāo)準(zhǔn)化，并能夠參與關(guān)系型數(shù)據(jù)庫(kù)之間映射關(guān)系的轉(zhuǎn)換。XML 工具的映射關(guān)系采用基于模型的驅(qū)動(dòng)方式，如圖1 所示。

圖1 XML語(yǔ)言與異構(gòu)數(shù)據(jù)庫(kù)的關(guān)系轉(zhuǎn)換

其中，一種對(duì)應(yīng)關(guān)系轉(zhuǎn)換方式是從關(guān)系數(shù)據(jù)庫(kù)的具體模式中識(shí)別出映射的具體類型，再基于關(guān)系模式重構(gòu)與其對(duì)應(yīng)的有向圖；另一種映射關(guān)系為根據(jù)XML 文檔結(jié)構(gòu)，提取具體的文檔和示例[12]?；赬ML 語(yǔ)言轉(zhuǎn)換的異構(gòu)數(shù)據(jù)庫(kù)表包含可參照、可引用的主鍵列，首先構(gòu)建多源異構(gòu)數(shù)據(jù)庫(kù)表的主鍵約束關(guān)系，再建立外鍵約束和表的索引約束，確定出兩者之間映射關(guān)系的主體框架結(jié)構(gòu)，完成異構(gòu)數(shù)據(jù)庫(kù)的結(jié)構(gòu)映射與XML 文檔關(guān)系映射的融合處理。

在XML 文檔模式與異構(gòu)關(guān)系型數(shù)據(jù)庫(kù)之間的關(guān)系轉(zhuǎn)換前后，需要保持?jǐn)?shù)據(jù)表信息的一致，XML 文檔在結(jié)構(gòu)設(shè)計(jì)上比HTML 更為復(fù)雜。因此在功能設(shè)計(jì)和應(yīng)用范圍上，為保持XML 文檔信息的完整性和一致性，模型轉(zhuǎn)換中僅允許定義單個(gè)主元素，并以該元素作為異構(gòu)數(shù)據(jù)網(wǎng)絡(luò)的一個(gè)子節(jié)點(diǎn)。利用XML工具文檔與異構(gòu)性數(shù)據(jù)庫(kù)之間的映射關(guān)系，可以實(shí)現(xiàn)對(duì)異構(gòu)數(shù)據(jù)格式的轉(zhuǎn)換，這是最終異構(gòu)數(shù)據(jù)一次性校驗(yàn)的關(guān)鍵環(huán)節(jié)，異構(gòu)數(shù)據(jù)轉(zhuǎn)換的主要步驟如下：

Step1：將XML 文檔中的主元素和子元素形成元素集合，元素集合可以準(zhǔn)確地描述XML 文檔的結(jié)構(gòu)和類型。

Step2：確定出不同數(shù)據(jù)庫(kù)表之間的映射關(guān)系、節(jié)點(diǎn)關(guān)系及網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，并明確數(shù)據(jù)類型映射與閾值約束映射之間的關(guān)系。

Step3：依據(jù)映射關(guān)系集合生成與異構(gòu)數(shù)據(jù)庫(kù)對(duì)應(yīng)的XML 格式語(yǔ)言，并按照關(guān)系模型找出與異構(gòu)數(shù)據(jù)庫(kù)表同步變化的主鍵、外鍵、索引等工具。

Step4：按照最終的映射結(jié)果將數(shù)值轉(zhuǎn)換過(guò)的XML 語(yǔ)句插入數(shù)據(jù)庫(kù)中。只有經(jīng)過(guò)映射關(guān)系調(diào)整和數(shù)值轉(zhuǎn)換后，自動(dòng)化異構(gòu)系統(tǒng)在數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型及檢驗(yàn)標(biāo)準(zhǔn)上才具有一定的可比性。

2 基于XML 語(yǔ)言的異構(gòu)數(shù)據(jù)一致性校驗(yàn)

XML 語(yǔ)言及多元異構(gòu)數(shù)據(jù)庫(kù)文檔，均具有良好的數(shù)據(jù)庫(kù)兼容性，且內(nèi)部允許運(yùn)行國(guó)際上通用的IEC61850 標(biāo)準(zhǔn)。語(yǔ)義模式是一種較為完善的計(jì)算機(jī)高級(jí)指令集，利用語(yǔ)義指令集構(gòu)造以XML語(yǔ)言為基礎(chǔ)的模型及自動(dòng)化異構(gòu)系統(tǒng)，以便于在計(jì)算機(jī)語(yǔ)義層面上相互操作[13]。IEC61850 標(biāo)準(zhǔn)是國(guó)際上通用的映射標(biāo)準(zhǔn)，利用該標(biāo)準(zhǔn)構(gòu)建的XML 語(yǔ)言模型，可以實(shí)現(xiàn)在語(yǔ)義空間范圍內(nèi)的數(shù)據(jù)交互、數(shù)據(jù)傳輸及共享。

使用XML 語(yǔ)言工具包解析相應(yīng)的文本模型，再遍歷異構(gòu)數(shù)據(jù)庫(kù)中的各個(gè)數(shù)據(jù)表，比較數(shù)據(jù)類別、數(shù)據(jù)關(guān)系及屬性之間的關(guān)系性。對(duì)異構(gòu)數(shù)據(jù)的一致性校驗(yàn)包括對(duì)副本數(shù)據(jù)的一致性校驗(yàn)，核對(duì)單表數(shù)據(jù)的一致性校驗(yàn)，分析等效數(shù)據(jù)集與原數(shù)據(jù)集的符合程度。等效數(shù)據(jù)集是在數(shù)據(jù)復(fù)制、傳輸過(guò)程中形成，隨著時(shí)間的推移而產(chǎn)生，因此，數(shù)據(jù)的復(fù)制與拷貝時(shí)間指標(biāo)，也是評(píng)價(jià)一次性校驗(yàn)的重要指標(biāo)之一。首先構(gòu)建數(shù)據(jù)一致性校驗(yàn)函數(shù)f如式（1）所示。

其中，A表示精準(zhǔn)率，計(jì)算公式為a為一致性的數(shù)據(jù)記錄，b為不一致性的數(shù)據(jù)記錄；B是召回率指標(biāo)，計(jì)算公式為c為未檢測(cè)出不一致的記錄數(shù)。根據(jù)公式（1）及其指標(biāo)計(jì)算公式得出數(shù)據(jù)一致性校驗(yàn)的測(cè)量函數(shù)f′：

其中，fi表示第i次測(cè)量得到的校驗(yàn)值，ti表示該次校驗(yàn)所耗費(fèi)的時(shí)間，h表示測(cè)量的總次數(shù)。使用fi指標(biāo)分別對(duì)副本數(shù)據(jù)、單表數(shù)據(jù)做一致性校驗(yàn)，異構(gòu)數(shù)據(jù)的一致性檢驗(yàn)主要關(guān)注數(shù)據(jù)的內(nèi)容。對(duì)于異構(gòu)數(shù)據(jù)的副本而言一致性的校驗(yàn)項(xiàng)目主要包括校驗(yàn)實(shí)體、元素、及函數(shù)等，利用統(tǒng)計(jì)特征識(shí)別出滿足條件的特定值，使用測(cè)量函數(shù)校驗(yàn)數(shù)據(jù)是否一致[14]。異構(gòu)數(shù)據(jù)庫(kù)測(cè)量工作的前提是完成一致性的校驗(yàn)，如果校驗(yàn)完畢并獲取檢測(cè)結(jié)果，即可以利用測(cè)量函數(shù)配置數(shù)據(jù)庫(kù)副本數(shù)據(jù)，并分塊計(jì)算數(shù)據(jù)的差異數(shù)值；如果測(cè)量后發(fā)現(xiàn)異構(gòu)數(shù)據(jù)庫(kù)中的A指標(biāo)值與B指標(biāo)值過(guò)低，表明該異構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)一致性較差，使用XML 語(yǔ)義值判斷數(shù)據(jù)庫(kù)表的一致性，使驗(yàn)證總體效率得到本質(zhì)地改善。

對(duì)于單數(shù)據(jù)表而言，以XML 語(yǔ)言和判斷函數(shù)為基礎(chǔ)，使用XML 程序語(yǔ)句可直接實(shí)現(xiàn)對(duì)內(nèi)容復(fù)制前后的數(shù)據(jù)庫(kù)表進(jìn)行對(duì)照和判斷[15-16]。獲取單表檢查的結(jié)果后，再計(jì)算f′的函數(shù)值，判斷數(shù)據(jù)庫(kù)表的一致性程度，異構(gòu)數(shù)據(jù)庫(kù)副本校驗(yàn)與數(shù)據(jù)庫(kù)表的校驗(yàn)流程如圖2 所示。

圖2 異構(gòu)數(shù)據(jù)的一致性校驗(yàn)流程

在異構(gòu)數(shù)據(jù)校驗(yàn)中，使用統(tǒng)一化的URI 標(biāo)識(shí)符對(duì)整體的資源框架進(jìn)行描述。在執(zhí)行查詢指令中，利用XML 直接編輯查詢語(yǔ)句，按照模型中匹配的查詢結(jié)果，完成對(duì)語(yǔ)義的檢索和一致性校驗(yàn)。

3 實(shí)驗(yàn)與仿真

3.1 實(shí)驗(yàn)環(huán)境搭建

異構(gòu)源數(shù)據(jù)節(jié)點(diǎn)采用分布式方式部署，通過(guò)200 M 的局域網(wǎng)連接，節(jié)點(diǎn)數(shù)據(jù)之間的異構(gòu)性主要從軟件的層面體現(xiàn)，涉及到的網(wǎng)絡(luò)集群環(huán)境設(shè)置如表1所示。

表1 集群環(huán)境設(shè)置

在操作系統(tǒng)和數(shù)據(jù)庫(kù)關(guān)系中都能夠顯示出數(shù)據(jù)庫(kù)的異構(gòu)性，實(shí)驗(yàn)用的操作系統(tǒng)選擇Windows10，實(shí)驗(yàn)用的數(shù)據(jù)庫(kù)類型、數(shù)據(jù)表數(shù)量、記錄數(shù)量等信息如表2 所示。

表2 數(shù)據(jù)環(huán)境設(shè)置

3.2 數(shù)據(jù)的一致性校驗(yàn)

在200 ms、100 ms 和0 ms 的網(wǎng)絡(luò)延遲下，分析不同規(guī)模的異構(gòu)集群數(shù)據(jù)一致性恢復(fù)耗時(shí)，數(shù)據(jù)的統(tǒng)計(jì)結(jié)果如圖3 所示（為了使實(shí)驗(yàn)結(jié)果更為直觀，引入了文獻(xiàn)[9]和文獻(xiàn)[10]參與對(duì)比）。

圖3 不同網(wǎng)絡(luò)延遲條件下的數(shù)據(jù)一致性恢復(fù)耗時(shí)對(duì)比

當(dāng)通信網(wǎng)絡(luò)不存在數(shù)據(jù)延遲時(shí)可以觀測(cè)出，隨著數(shù)據(jù)規(guī)模的增加，3 種不同算法的數(shù)據(jù)一致性恢復(fù)耗時(shí)均有所增加，但3 種算法的效率差距較?。划?dāng)網(wǎng)絡(luò)延遲增加到100 ms時(shí)，受到網(wǎng)絡(luò)延遲的影響數(shù)據(jù)一致性恢復(fù)的耗時(shí)有所增長(zhǎng)，但文中提出的基于XML 工具的耗時(shí)要明顯低于文獻(xiàn)[9]和文獻(xiàn)[10]提出的方法；當(dāng)網(wǎng)絡(luò)延遲進(jìn)一步增加到200 ms 時(shí)，基于XML 語(yǔ)言的數(shù)據(jù)一致性校驗(yàn)方法的效率優(yōu)勢(shì)更為明顯。

數(shù)據(jù)庫(kù)中全部的數(shù)據(jù)記錄總數(shù)為50 000 條，隨機(jī)將全部數(shù)據(jù)記錄分為10 組，通過(guò)網(wǎng)絡(luò)在線傳輸，驗(yàn)證一次性校驗(yàn)的穩(wěn)定性情況，選取數(shù)據(jù)波動(dòng)的均值指標(biāo)μ和方差指標(biāo)σ2作為評(píng)價(jià)標(biāo)準(zhǔn)（μ和σ2的取值越低表明數(shù)據(jù)校驗(yàn)的一致性越穩(wěn)定），統(tǒng)計(jì)結(jié)果如表3 所示。

表3 數(shù)據(jù)的一致性校驗(yàn)均值指標(biāo)效果對(duì)比（μ）

表4 數(shù)據(jù)的一致性校驗(yàn)方差指標(biāo)效果對(duì)比（σ2）

統(tǒng)計(jì)結(jié)果顯示，無(wú)論是數(shù)據(jù)一次性校驗(yàn)的均值指標(biāo)還是方差指標(biāo)，相對(duì)于兩種傳統(tǒng)的校驗(yàn)方法，基于XML 工具的數(shù)據(jù)一次性校驗(yàn)方法的指標(biāo)值都更低，具有相對(duì)優(yōu)勢(shì)。最后在0～200 ms 的網(wǎng)絡(luò)延遲范圍內(nèi)，分析不同的一致性校驗(yàn)方法在讀寫(xiě)性能上的差異，網(wǎng)絡(luò)延遲設(shè)定為0 ms、50 ms、100 ms、150 ms 和200 ms，讀取數(shù)據(jù)的吞吐率指標(biāo)值變化如圖4 所示。

圖4 異構(gòu)數(shù)據(jù)讀取的吞吐率指標(biāo)差異

當(dāng)網(wǎng)絡(luò)延遲較低的條件下，3 種一致性校驗(yàn)方法的數(shù)據(jù)讀取吞吐率相差較?。浑S著網(wǎng)絡(luò)延遲的提升，兩種傳統(tǒng)校驗(yàn)方法的數(shù)據(jù)讀取吞吐率衰減過(guò)快，會(huì)嚴(yán)重影響到數(shù)據(jù)的一致性校驗(yàn)。在不同網(wǎng)絡(luò)延遲條件下數(shù)據(jù)寫(xiě)入的吞吐率變化情況如圖5 所示。

圖5 異構(gòu)數(shù)據(jù)寫(xiě)入的吞吐率指標(biāo)差異

與數(shù)據(jù)讀取時(shí)的吞吐率變化不同，當(dāng)網(wǎng)絡(luò)延遲為0 ms 的條件下，基于XML 供給的一致性校驗(yàn)方法并沒(méi)有出現(xiàn)性能上的衰減，表明該一致性校驗(yàn)方法具有更強(qiáng)的數(shù)據(jù)復(fù)制與轉(zhuǎn)換性能。

4 結(jié)束語(yǔ)

數(shù)據(jù)資源作為最重要的社會(huì)資源之一，在社會(huì)經(jīng)濟(jì)生活中發(fā)揮出越來(lái)越重要的作用。大數(shù)據(jù)不僅表現(xiàn)為總量上的海量性，還表現(xiàn)為結(jié)構(gòu)上的復(fù)雜性，數(shù)據(jù)一致性檢驗(yàn)也成為數(shù)據(jù)集成和融合的關(guān)鍵環(huán)節(jié)之一。文中基于XML 語(yǔ)言對(duì)異構(gòu)性數(shù)據(jù)庫(kù)進(jìn)行一致性檢驗(yàn)，仿真結(jié)果表明提出方法數(shù)據(jù)一致性校驗(yàn)效果更好，數(shù)據(jù)讀寫(xiě)的能力更強(qiáng)。