梁志剛

(張掖市龍渠三級(jí)水電有限責(zé)任公司，甘肅 張掖 734000)

0 引 言

水利是支撐當(dāng)前社會(huì)發(fā)展的重要工程，不斷幫助人類適應(yīng)、利用、改造和保護(hù)水環(huán)境，用來滿足發(fā)展需求[1]。隨著城市化程度的提高，水利工程的需求不斷增加，對(duì)信息的實(shí)時(shí)性要求也在不斷提高，既可以避免工程重復(fù)投資，也可以在建設(shè)過程中查找相關(guān)工程資料，進(jìn)一步降低工程建設(shè)成本。因此，水利數(shù)據(jù)共享已經(jīng)成為工程建設(shè)的基本需求。

目前，國(guó)內(nèi)外為應(yīng)對(duì)“信息孤島”現(xiàn)象，采用云計(jì)算、Hadoop、XML等技術(shù)，設(shè)計(jì)數(shù)據(jù)共享系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)集成共享[2]。在此研究基礎(chǔ)上，文獻(xiàn)[3]在原有系統(tǒng)數(shù)據(jù)的基礎(chǔ)上，建立一個(gè)共享交換中心，調(diào)整數(shù)據(jù)交換的耦合性，實(shí)現(xiàn)數(shù)據(jù)共享，但該方法挖掘到的數(shù)據(jù)集數(shù)據(jù)質(zhì)量差[3]。文獻(xiàn)[4]在原有共享系統(tǒng)基礎(chǔ)上，針對(duì)系統(tǒng)存在的數(shù)據(jù)安全問題，采用區(qū)塊鏈技術(shù)，形成私鏈與公鏈雙層結(jié)構(gòu)，增強(qiáng)系統(tǒng)數(shù)據(jù)查詢的規(guī)范性和數(shù)據(jù)解析難度，實(shí)現(xiàn)數(shù)據(jù)安全共享，但該方法挖掘到的數(shù)據(jù)集數(shù)據(jù)質(zhì)量差[4]。文獻(xiàn)[5]針對(duì)數(shù)據(jù)共享存在的共享數(shù)據(jù)整理時(shí)間長(zhǎng)，共享數(shù)據(jù)查閱困難等問題，提出大數(shù)據(jù)管理技術(shù)，實(shí)現(xiàn)數(shù)據(jù)資源共享，但該方法挖掘到的數(shù)據(jù)集數(shù)據(jù)質(zhì)量差[5]。針對(duì)這一問題，此次研究采用決策樹挖掘算法，深入挖掘水利信息化數(shù)據(jù)，保障水利共享數(shù)據(jù)的質(zhì)量，提出基于決策樹挖掘算法的水利信息化數(shù)據(jù)共享系統(tǒng)硬件設(shè)計(jì)。

1 基于決策樹挖掘算法的水利信息化數(shù)據(jù)共享系統(tǒng)硬件設(shè)計(jì)

此次設(shè)計(jì)水利信息化數(shù)據(jù)共享系統(tǒng)，將在前人確定的硬件設(shè)備基礎(chǔ)上，考慮系統(tǒng)主要功能，設(shè)計(jì)系統(tǒng)運(yùn)行網(wǎng)絡(luò)體系，保障水利信息化數(shù)據(jù)存儲(chǔ)安全，采用決策樹挖掘算法，深入挖掘水利信息化數(shù)據(jù)，構(gòu)建的數(shù)據(jù)共享模型中，按照模型的數(shù)據(jù)共享傳輸協(xié)議與傳輸控制，實(shí)現(xiàn)水利信息化數(shù)據(jù)共享，完成水利信息化數(shù)據(jù)共享系統(tǒng)軟件設(shè)計(jì)。

1.1 設(shè)計(jì)系統(tǒng)網(wǎng)絡(luò)體系

數(shù)據(jù)共享系統(tǒng)共享數(shù)據(jù)時(shí)，與系統(tǒng)網(wǎng)絡(luò)運(yùn)行速度具有直接聯(lián)系[6]。為此采用100/1 000 M的3COM型號(hào)交換機(jī)，作為系統(tǒng)網(wǎng)絡(luò)運(yùn)行的核心交換機(jī)，所設(shè)計(jì)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)見圖1。

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

從圖1中可以看出，此次設(shè)計(jì)的水利信息化數(shù)據(jù)共享系統(tǒng)主要由數(shù)據(jù)庫(kù)和web服務(wù)器、工作站組成系統(tǒng)外網(wǎng)，分別用于存儲(chǔ)水利信息化數(shù)據(jù)、控制系統(tǒng)運(yùn)行和數(shù)據(jù)共享控制?；诖?，系統(tǒng)中心局域網(wǎng)包括客戶端部分，與3COM型號(hào)交換機(jī)相連接；連接局域網(wǎng)和外網(wǎng)時(shí)，在局域網(wǎng)和外網(wǎng)之間增添防火墻和磁盤陣列，保障系統(tǒng)數(shù)據(jù)運(yùn)行安全。系統(tǒng)網(wǎng)絡(luò)體系的主干部分采用100 M雙絞線聯(lián)接，在保障系統(tǒng)數(shù)據(jù)安全運(yùn)行的同時(shí)，將系統(tǒng)運(yùn)行數(shù)據(jù)的吞吐率增加至100 Mbps，保障系統(tǒng)的運(yùn)行速率。

1.2 基于決策樹挖掘算法挖掘水利信息化數(shù)據(jù)

在此次設(shè)計(jì)的系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)基礎(chǔ)上，采用決策樹挖掘算法，深入挖掘水利信息化數(shù)據(jù)，以此保障系統(tǒng)中共享的水利信息化數(shù)據(jù)質(zhì)量。

假設(shè)，決策樹挖掘算法挖掘水利信息化數(shù)據(jù)集對(duì)為(O1,O2)，根據(jù)數(shù)據(jù)集對(duì)(O1,O2)構(gòu)建數(shù)據(jù)挖掘決策樹I，對(duì)水利信息化數(shù)據(jù)集O1和O2進(jìn)行分類。此時(shí)，假設(shè)決策樹I對(duì)水利信息化數(shù)據(jù)集O1和O2分類的準(zhǔn)確度A(I)為：

A(I)=min(AO1(I),AO2(I))

(1)

式中：AO1(I)和AO2(I)分別為決策樹I對(duì)數(shù)據(jù)集O1、O2的分類準(zhǔn)確度[7]。

假設(shè)決策樹I計(jì)算節(jié)點(diǎn)總數(shù)為m；數(shù)據(jù)集Oi存儲(chǔ)在決策樹I計(jì)算節(jié)點(diǎn)j上的被錯(cuò)誤分類的元組數(shù)為Ej，則決策樹I對(duì)數(shù)據(jù)集Oi(i=1,2)的分類準(zhǔn)確度A(Oi)為：

(2)

式中：j為決策樹I計(jì)算節(jié)點(diǎn)；NOi為數(shù)據(jù)集Oi的元數(shù)據(jù)組總數(shù)。

此時(shí)，需要計(jì)算決策樹I分類挖掘數(shù)據(jù)的相似性，從而確定數(shù)據(jù)集的質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)和分裂指標(biāo)，以保證挖掘到的數(shù)據(jù)質(zhì)量。為此，計(jì)算決策樹I在節(jié)點(diǎn)上挖掘數(shù)據(jù)集數(shù)據(jù)的類分布向量Vi(u)，確定節(jié)點(diǎn)分布相似性D(u)，從而得到數(shù)據(jù)分布相似性S(I)，則有：

(3)

式中：M為集群中計(jì)算節(jié)點(diǎn)的數(shù)量；Vij(u)為在節(jié)點(diǎn)u上的計(jì)算節(jié)點(diǎn)i的非根節(jié)點(diǎn)j的類分布向量；‖·‖ 為向量模；uij為存儲(chǔ)在計(jì)算節(jié)點(diǎn)i的非根節(jié)點(diǎn)j；V1(u)和V2(u)分別為在節(jié)點(diǎn)u上的數(shù)據(jù)集O1、O2的類分布向量；n為決策樹I的非根節(jié)點(diǎn)數(shù)；α為數(shù)據(jù)平滑指數(shù)[8]。

綜合上述3個(gè)公式，得到的決策樹I質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)Q(I)和分裂指標(biāo)P(C,cu)計(jì)算公式如下：

Q(I)=min(A(I),S(I))avg(A(I),S(I))

P(C,cu)=wG·G(C,cu)+wD·D(C,cu)

(4)

式中：(C,cu)為屬性C中存在的一個(gè)可能分裂點(diǎn)cu；avg為求取(A(I),S(I))的平均數(shù)；G(C,cu)為信息增益；wG為G(C,cu)的權(quán)重；D(C,cu)為(C,cu)將節(jié)點(diǎn)劃分后的兩個(gè)子節(jié)點(diǎn)的節(jié)點(diǎn)分布相似性D(u)值的平均值；wD為D(C,cu)的權(quán)重。

綜合上述4個(gè)公式計(jì)算過程，采用決策樹按照數(shù)據(jù)集屬性，不斷循環(huán)分裂水利信息化數(shù)據(jù)集對(duì)，并不斷重新排列新分裂的數(shù)據(jù)，輸出最終挖掘到的水利信息化數(shù)據(jù)。

1.3 構(gòu)建水利信息化數(shù)據(jù)共享模型

基于此次設(shè)計(jì)，采用決策樹挖掘算法挖掘到的水利信息化數(shù)據(jù)，采用NOSQL數(shù)據(jù)庫(kù)和云計(jì)算，構(gòu)建水利信息化數(shù)據(jù)共享模型，增強(qiáng)系統(tǒng)對(duì)水利信息化數(shù)據(jù)處理能力，實(shí)現(xiàn)水利信息化數(shù)據(jù)共享。見圖2。

圖2 水利信息化數(shù)據(jù)共享模型

圖2中的箭頭方向表示數(shù)據(jù)的遷移方向。圖2所示的水利信息化數(shù)據(jù)共享模型，將NOSQL中的HBase型號(hào)數(shù)據(jù)庫(kù)作為系統(tǒng)共享數(shù)據(jù)庫(kù)，統(tǒng)一數(shù)據(jù)的存儲(chǔ)格式，并在本地?cái)?shù)據(jù)庫(kù)的基礎(chǔ)上，實(shí)現(xiàn)多副本存儲(chǔ)數(shù)據(jù)，保障數(shù)據(jù)存儲(chǔ)的隱私性，從而充分發(fā)揮決策樹挖掘算法的優(yōu)勢(shì)。

1.4 數(shù)據(jù)共享傳輸格式與傳輸控制

若要在此次構(gòu)建的模型中實(shí)現(xiàn)水利信息化數(shù)據(jù)共享，需要在模型中設(shè)置共享數(shù)據(jù)傳輸格式，并控制數(shù)據(jù)共享傳輸過程、網(wǎng)絡(luò)體系產(chǎn)生的擁塞和差錯(cuò)問題。

1.4.1 數(shù)據(jù)共享傳輸格式

此次設(shè)計(jì)的系統(tǒng)數(shù)據(jù)共享模型，將依據(jù)數(shù)據(jù)接收和傳輸兩方生成8位字符串，組成363字節(jié)的數(shù)據(jù)包，在MIT-BIH的數(shù)據(jù)共享傳輸格式下，單獨(dú)存儲(chǔ)水利信息化數(shù)據(jù)，最終形成數(shù)據(jù)共享傳輸格式。見圖3。

圖3中，將數(shù)據(jù)分為頭部、類型、編號(hào)、校驗(yàn)和360字節(jié)數(shù)據(jù)5部分，其中0-7位數(shù)據(jù)編碼，360字節(jié)數(shù)據(jù)包含其他4部分。即0-7位數(shù)據(jù)編碼中，存在一個(gè)頭部字節(jié)、一個(gè)編號(hào)字節(jié)和一個(gè)校驗(yàn)字節(jié)。除頭部字節(jié)外，剩下的6個(gè)字節(jié)會(huì)隨機(jī)生成8位字符串，生成360字節(jié)數(shù)據(jù)，正好是363字節(jié)的數(shù)據(jù)包，提出一個(gè)頭部字節(jié)、一個(gè)編號(hào)字節(jié)和一個(gè)校驗(yàn)字節(jié)后的字節(jié)數(shù)據(jù)[9]。

圖3 數(shù)據(jù)共享傳輸格式

1.4.2 數(shù)據(jù)傳輸控制

數(shù)據(jù)在傳輸過程中，主要存在擁塞和差錯(cuò)兩種問題。針對(duì)這兩種問題，所設(shè)計(jì)的控制步驟如下：

1) 擁塞控制：①在數(shù)據(jù)傳輸方，設(shè)置“擁塞窗口”；②在數(shù)據(jù)傳輸方傳輸數(shù)據(jù)時(shí)，會(huì)自動(dòng)發(fā)送一字節(jié)的試探包；查看網(wǎng)絡(luò)運(yùn)行情況，判斷網(wǎng)絡(luò)是否存在擁塞問題；③數(shù)據(jù)接收方接收到一字節(jié)的數(shù)據(jù)試探包后，會(huì)再次發(fā)送兩字節(jié)的報(bào)文，按照2的指數(shù)級(jí)遞增，不斷重復(fù)步驟2，檢測(cè)網(wǎng)絡(luò)擁塞情況；④當(dāng)試探結(jié)果滿足預(yù)設(shè)數(shù)據(jù)傳輸值，即停止試探，傳輸共享數(shù)據(jù)。

2) 差錯(cuò)控制：①系統(tǒng)接收到數(shù)據(jù)待發(fā)送序號(hào)，根據(jù)需要要求，裝配共享數(shù)據(jù)，準(zhǔn)備發(fā)送；②在發(fā)送數(shù)據(jù)的過程中，設(shè)置數(shù)據(jù)發(fā)送定時(shí)器；③等待計(jì)時(shí)器計(jì)時(shí)，并判斷計(jì)時(shí)器是否超時(shí)；④若計(jì)時(shí)器超時(shí)，則返回步驟3，重新設(shè)置計(jì)時(shí)器；⑤若計(jì)時(shí)器未曾超時(shí)，則進(jìn)入步驟6；⑥判斷是否收到共享數(shù)據(jù)，此時(shí)需要獲取數(shù)據(jù)確認(rèn)序號(hào)，其序號(hào)確定過程如下：a.期待接收需要；b.等待數(shù)據(jù)到達(dá)；c.針對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)；d.數(shù)據(jù)校驗(yàn)通過，直接使用數(shù)據(jù)，期待接收下一序號(hào)，確認(rèn)數(shù)據(jù)接收序號(hào)；e. 數(shù)據(jù)校驗(yàn)不通過，直接確認(rèn)數(shù)據(jù)接收序號(hào)，并返回步驟b，為下一次需要確認(rèn)做準(zhǔn)備[10]。⑦確認(rèn)序號(hào)正確，發(fā)送下一序號(hào)，并返回步驟1，準(zhǔn)備控制下一次數(shù)據(jù)發(fā)送差錯(cuò)。

2 系統(tǒng)測(cè)試

選擇兩組常規(guī)數(shù)據(jù)共享系統(tǒng)，采用對(duì)比測(cè)試的方式，以某區(qū)域的水利信息化數(shù)據(jù)，作為此次設(shè)計(jì)的系統(tǒng)測(cè)試實(shí)驗(yàn)對(duì)象，驗(yàn)證此次設(shè)計(jì)的水利信息化數(shù)據(jù)共享系統(tǒng)，比較3組數(shù)據(jù)共享系統(tǒng)挖掘算法的挖掘數(shù)據(jù)集數(shù)據(jù)質(zhì)量、系統(tǒng)可擴(kuò)展性和數(shù)據(jù)共享實(shí)時(shí)性。

2.1 實(shí)驗(yàn)準(zhǔn)備

此次設(shè)計(jì)的系統(tǒng)測(cè)試實(shí)驗(yàn)，設(shè)計(jì)的系統(tǒng)軟硬件環(huán)境見圖4。

圖4 系統(tǒng)軟硬件環(huán)境

在圖4所示的系統(tǒng)運(yùn)行環(huán)境下，使用1 000 M的自適應(yīng)網(wǎng)絡(luò)傳輸數(shù)據(jù)，測(cè)試此次實(shí)驗(yàn)選擇的3組系統(tǒng)。選擇某區(qū)域數(shù)據(jù)庫(kù)中存儲(chǔ)的水利信息化數(shù)據(jù)，總共被分為A、B、C、D、E共5個(gè)數(shù)據(jù)集，其基本信息見表1。

表1 數(shù)據(jù)集基本信息

2.2 實(shí)驗(yàn)結(jié)果

2.2.1 第一組實(shí)驗(yàn)結(jié)果

基于此次實(shí)驗(yàn)選擇的5個(gè)數(shù)據(jù)集，在系統(tǒng)的系統(tǒng)共享數(shù)據(jù)庫(kù)與客戶端之間傳輸不同長(zhǎng)度的水利信息化數(shù)據(jù)，并將數(shù)據(jù)傳輸結(jié)果與發(fā)送前的數(shù)據(jù)進(jìn)行對(duì)比，采用數(shù)據(jù)傳輸正確率檢測(cè)3組共享系統(tǒng)所存儲(chǔ)的不同長(zhǎng)度數(shù)據(jù)質(zhì)量，其實(shí)驗(yàn)結(jié)果見圖5。

圖5 數(shù)據(jù)共享質(zhì)量檢測(cè)

從圖5中可以看出，隨著數(shù)據(jù)長(zhǎng)度的增加，數(shù)據(jù)傳輸正確率在不斷下降，表明共享數(shù)據(jù)質(zhì)量也在下降。其中，常規(guī)系統(tǒng)2隨著數(shù)據(jù)長(zhǎng)度的增加，數(shù)據(jù)正確率下降速度較快，其平均正確率為92.76%；常規(guī)系統(tǒng)1隨著數(shù)據(jù)長(zhǎng)度的增加，數(shù)據(jù)正確率下降速度較常規(guī)系統(tǒng)2慢，其平均正確率為94.58%，同樣高于常規(guī)系統(tǒng)2；設(shè)計(jì)系統(tǒng)隨著數(shù)據(jù)長(zhǎng)度的增加，數(shù)據(jù)正確率下降速度明顯較兩組常規(guī)系統(tǒng)慢，其平均正確率為98.88%，較兩組常規(guī)系統(tǒng)正確率分別高6.12%、4.3%?？梢?，此次設(shè)計(jì)系統(tǒng)具有較高的數(shù)據(jù)質(zhì)量。

2.2.2 第二組實(shí)驗(yàn)結(jié)果

在第一組實(shí)驗(yàn)的基礎(chǔ)上，檢測(cè)數(shù)據(jù)共享的實(shí)時(shí)性，即系統(tǒng)在傳輸數(shù)據(jù)時(shí)所產(chǎn)生的延時(shí)時(shí)間。其實(shí)時(shí)性檢測(cè)流程如下：①在即將傳輸?shù)乃畔?shù)據(jù)集上，添加時(shí)間標(biāo)記；②系統(tǒng)準(zhǔn)備傳輸數(shù)據(jù)；③系統(tǒng)數(shù)據(jù)庫(kù)發(fā)送數(shù)據(jù)；④系統(tǒng)客戶端接收數(shù)據(jù)；⑤將接收到的數(shù)據(jù)重新上傳至系統(tǒng)數(shù)據(jù)庫(kù)；⑥計(jì)算數(shù)據(jù)在客戶端和數(shù)據(jù)庫(kù)之間傳輸時(shí)間差。其計(jì)算結(jié)果見表2。

表2 數(shù)據(jù)共享實(shí)時(shí)性 /ms

從表2中可以看出，隨著數(shù)據(jù)集數(shù)據(jù)組數(shù)的增加，數(shù)據(jù)共享的延時(shí)時(shí)間增加，表明數(shù)據(jù)共享實(shí)時(shí)性降低。其中，常規(guī)系統(tǒng)1產(chǎn)生的時(shí)間差最大，設(shè)計(jì)系統(tǒng)產(chǎn)生的時(shí)間差最小。在5個(gè)數(shù)據(jù)集中，設(shè)計(jì)系統(tǒng)較常規(guī)系統(tǒng)2產(chǎn)生的時(shí)間差分別小14、8、7、5和4 ms，較常規(guī)系統(tǒng)1產(chǎn)生的時(shí)間差分別小33 、10、9、6和4 ms?？梢?，此次設(shè)計(jì)系統(tǒng)具有較優(yōu)的數(shù)據(jù)共享實(shí)時(shí)性。

2.2.3 第三組實(shí)驗(yàn)結(jié)果

在前兩組實(shí)驗(yàn)的基礎(chǔ)上，測(cè)試3組系統(tǒng)對(duì)數(shù)據(jù)的可擴(kuò)展性。在此次實(shí)驗(yàn)選擇的數(shù)據(jù)集基礎(chǔ)上，增添F、G兩組水利信息化數(shù)據(jù)集，其數(shù)據(jù)組數(shù)目、屬性、長(zhǎng)度如下：①F數(shù)據(jù)集：數(shù)目256，屬性15678，長(zhǎng)度17 h；②G數(shù)據(jù)集：數(shù)目349，屬性20173，長(zhǎng)度28 h。在7組數(shù)據(jù)集上，分別檢測(cè)3組系統(tǒng)算法挖掘數(shù)據(jù)集數(shù)據(jù)的運(yùn)行時(shí)間，驗(yàn)證3組系統(tǒng)的可擴(kuò)展性。其實(shí)驗(yàn)結(jié)果見圖6。

圖6 系統(tǒng)擴(kuò)展性檢測(cè)

從圖6中可以看出，常規(guī)系統(tǒng)1的算法挖掘F數(shù)據(jù)集數(shù)據(jù)時(shí)，算法運(yùn)行時(shí)間急劇上升，已經(jīng)難以繼續(xù)運(yùn)行，表明常規(guī)系統(tǒng)1僅能挖掘F數(shù)據(jù)集大小的數(shù)據(jù)；常規(guī)系統(tǒng)2的算法挖掘G數(shù)據(jù)集數(shù)據(jù)時(shí)，算法運(yùn)行時(shí)間急劇上升，已經(jīng)難以繼續(xù)運(yùn)行，表明常規(guī)系統(tǒng)2僅能挖掘G數(shù)據(jù)集大小的數(shù)據(jù)；設(shè)計(jì)系統(tǒng)的算法挖掘7組數(shù)據(jù)集數(shù)據(jù)時(shí)，系統(tǒng)運(yùn)行平穩(wěn)，在E數(shù)據(jù)集處，較兩組常規(guī)系統(tǒng)所用運(yùn)行時(shí)間分別小340、660 min。可見，此次設(shè)計(jì)系統(tǒng)具有較優(yōu)的擴(kuò)展性。

3 結(jié) 語

此次設(shè)計(jì)基于決策樹挖掘算法的水利信息化數(shù)據(jù)共享系統(tǒng)，充分考慮水利建設(shè)工程，對(duì)水利信息化數(shù)據(jù)共享系統(tǒng)需求，從系統(tǒng)的網(wǎng)絡(luò)運(yùn)行體系出發(fā)，增強(qiáng)數(shù)據(jù)傳輸安全性。并且在系統(tǒng)中，引入決策樹挖掘算法，充分利用決策樹挖掘算法，挖掘水利信息化數(shù)據(jù)集數(shù)據(jù)，提高系統(tǒng)的擴(kuò)展性、質(zhì)量和實(shí)時(shí)性。但是，此次設(shè)計(jì)的水利信息化共享數(shù)據(jù)系統(tǒng)，在建模的模型材質(zhì)、種類劃分等方面，還需進(jìn)一步加強(qiáng)研究，需要結(jié)合水利工程建設(shè)，以及相關(guān)人員對(duì)水利信息的需求，構(gòu)建數(shù)據(jù)共享模型的基礎(chǔ)框架，通過實(shí)際應(yīng)用探索模型種類劃分原則，進(jìn)一步完善系統(tǒng)中的數(shù)據(jù)共享模型。