梁志剛

(張掖市龍渠三級水電有限責(zé)任公司，甘肅 張掖 734000)

0 引 言

水利是支撐當(dāng)前社會發(fā)展的重要工程，不斷幫助人類適應(yīng)、利用、改造和保護(hù)水環(huán)境，用來滿足發(fā)展需求[1]。隨著城市化程度的提高，水利工程的需求不斷增加，對信息的實時性要求也在不斷提高，既可以避免工程重復(fù)投資，也可以在建設(shè)過程中查找相關(guān)工程資料，進(jìn)一步降低工程建設(shè)成本。因此，水利數(shù)據(jù)共享已經(jīng)成為工程建設(shè)的基本需求。

目前，國內(nèi)外為應(yīng)對“信息孤島”現(xiàn)象，采用云計算、Hadoop、XML等技術(shù)，設(shè)計數(shù)據(jù)共享系統(tǒng)，實現(xiàn)數(shù)據(jù)集成共享[2]。在此研究基礎(chǔ)上，文獻(xiàn)[3]在原有系統(tǒng)數(shù)據(jù)的基礎(chǔ)上，建立一個共享交換中心，調(diào)整數(shù)據(jù)交換的耦合性，實現(xiàn)數(shù)據(jù)共享，但該方法挖掘到的數(shù)據(jù)集數(shù)據(jù)質(zhì)量差[3]。文獻(xiàn)[4]在原有共享系統(tǒng)基礎(chǔ)上，針對系統(tǒng)存在的數(shù)據(jù)安全問題，采用區(qū)塊鏈技術(shù)，形成私鏈與公鏈雙層結(jié)構(gòu)，增強(qiáng)系統(tǒng)數(shù)據(jù)查詢的規(guī)范性和數(shù)據(jù)解析難度，實現(xiàn)數(shù)據(jù)安全共享，但該方法挖掘到的數(shù)據(jù)集數(shù)據(jù)質(zhì)量差[4]。文獻(xiàn)[5]針對數(shù)據(jù)共享存在的共享數(shù)據(jù)整理時間長，共享數(shù)據(jù)查閱困難等問題，提出大數(shù)據(jù)管理技術(shù)，實現(xiàn)數(shù)據(jù)資源共享，但該方法挖掘到的數(shù)據(jù)集數(shù)據(jù)質(zhì)量差[5]。針對這一問題，此次研究采用決策樹挖掘算法，深入挖掘水利信息化數(shù)據(jù)，保障水利共享數(shù)據(jù)的質(zhì)量，提出基于決策樹挖掘算法的水利信息化數(shù)據(jù)共享系統(tǒng)硬件設(shè)計。

1 基于決策樹挖掘算法的水利信息化數(shù)據(jù)共享系統(tǒng)硬件設(shè)計

此次設(shè)計水利信息化數(shù)據(jù)共享系統(tǒng)，將在前人確定的硬件設(shè)備基礎(chǔ)上，考慮系統(tǒng)主要功能，設(shè)計系統(tǒng)運(yùn)行網(wǎng)絡(luò)體系，保障水利信息化數(shù)據(jù)存儲安全，采用決策樹挖掘算法，深入挖掘水利信息化數(shù)據(jù)，構(gòu)建的數(shù)據(jù)共享模型中，按照模型的數(shù)據(jù)共享傳輸協(xié)議與傳輸控制，實現(xiàn)水利信息化數(shù)據(jù)共享，完成水利信息化數(shù)據(jù)共享系統(tǒng)軟件設(shè)計。

1.1 設(shè)計系統(tǒng)網(wǎng)絡(luò)體系

數(shù)據(jù)共享系統(tǒng)共享數(shù)據(jù)時，與系統(tǒng)網(wǎng)絡(luò)運(yùn)行速度具有直接聯(lián)系[6]。為此采用100/1 000 M的3COM型號交換機(jī)，作為系統(tǒng)網(wǎng)絡(luò)運(yùn)行的核心交換機(jī)，所設(shè)計的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)見圖1。

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

從圖1中可以看出，此次設(shè)計的水利信息化數(shù)據(jù)共享系統(tǒng)主要由數(shù)據(jù)庫和web服務(wù)器、工作站組成系統(tǒng)外網(wǎng)，分別用于存儲水利信息化數(shù)據(jù)、控制系統(tǒng)運(yùn)行和數(shù)據(jù)共享控制?；诖?，系統(tǒng)中心局域網(wǎng)包括客戶端部分，與3COM型號交換機(jī)相連接；連接局域網(wǎng)和外網(wǎng)時，在局域網(wǎng)和外網(wǎng)之間增添防火墻和磁盤陣列，保障系統(tǒng)數(shù)據(jù)運(yùn)行安全。系統(tǒng)網(wǎng)絡(luò)體系的主干部分采用100 M雙絞線聯(lián)接，在保障系統(tǒng)數(shù)據(jù)安全運(yùn)行的同時，將系統(tǒng)運(yùn)行數(shù)據(jù)的吞吐率增加至100 Mbps，保障系統(tǒng)的運(yùn)行速率。

1.2 基于決策樹挖掘算法挖掘水利信息化數(shù)據(jù)

在此次設(shè)計的系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)基礎(chǔ)上，采用決策樹挖掘算法，深入挖掘水利信息化數(shù)據(jù)，以此保障系統(tǒng)中共享的水利信息化數(shù)據(jù)質(zhì)量。

假設(shè)，決策樹挖掘算法挖掘水利信息化數(shù)據(jù)集對為(O1,O2)，根據(jù)數(shù)據(jù)集對(O1,O2)構(gòu)建數(shù)據(jù)挖掘決策樹I，對水利信息化數(shù)據(jù)集O1和O2進(jìn)行分類。此時，假設(shè)決策樹I對水利信息化數(shù)據(jù)集O1和O2分類的準(zhǔn)確度A(I)為：

A(I)=min(AO1(I),AO2(I))

(1)

式中：AO1(I)和AO2(I)分別為決策樹I對數(shù)據(jù)集O1、O2的分類準(zhǔn)確度[7]。

假設(shè)決策樹I計算節(jié)點(diǎn)總數(shù)為m；數(shù)據(jù)集Oi存儲在決策樹I計算節(jié)點(diǎn)j上的被錯誤分類的元組數(shù)為Ej，則決策樹I對數(shù)據(jù)集Oi(i=1,2)的分類準(zhǔn)確度A(Oi)為：

(2)

式中：j為決策樹I計算節(jié)點(diǎn)；NOi為數(shù)據(jù)集Oi的元數(shù)據(jù)組總數(shù)。

此時，需要計算決策樹I分類挖掘數(shù)據(jù)的相似性，從而確定數(shù)據(jù)集的質(zhì)量評價標(biāo)準(zhǔn)和分裂指標(biāo)，以保證挖掘到的數(shù)據(jù)質(zhì)量。為此，計算決策樹I在節(jié)點(diǎn)上挖掘數(shù)據(jù)集數(shù)據(jù)的類分布向量Vi(u)，確定節(jié)點(diǎn)分布相似性D(u)，從而得到數(shù)據(jù)分布相似性S(I)，則有：

(3)

式中：M為集群中計算節(jié)點(diǎn)的數(shù)量；Vij(u)為在節(jié)點(diǎn)u上的計算節(jié)點(diǎn)i的非根節(jié)點(diǎn)j的類分布向量；‖·‖ 為向量模；uij為存儲在計算節(jié)點(diǎn)i的非根節(jié)點(diǎn)j；V1(u)和V2(u)分別為在節(jié)點(diǎn)u上的數(shù)據(jù)集O1、O2的類分布向量；n為決策樹I的非根節(jié)點(diǎn)數(shù)；α為數(shù)據(jù)平滑指數(shù)[8]。

綜合上述3個公式，得到的決策樹I質(zhì)量評價標(biāo)準(zhǔn)Q(I)和分裂指標(biāo)P(C,cu)計算公式如下：

Q(I)=min(A(I),S(I))avg(A(I),S(I))

P(C,cu)=wG·G(C,cu)+wD·D(C,cu)

(4)

式中：(C,cu)為屬性C中存在的一個可能分裂點(diǎn)cu；avg為求取(A(I),S(I))的平均數(shù)；G(C,cu)為信息增益；wG為G(C,cu)的權(quán)重；D(C,cu)為(C,cu)將節(jié)點(diǎn)劃分后的兩個子節(jié)點(diǎn)的節(jié)點(diǎn)分布相似性D(u)值的平均值；wD為D(C,cu)的權(quán)重。

綜合上述4個公式計算過程，采用決策樹按照數(shù)據(jù)集屬性，不斷循環(huán)分裂水利信息化數(shù)據(jù)集對，并不斷重新排列新分裂的數(shù)據(jù)，輸出最終挖掘到的水利信息化數(shù)據(jù)。

1.3 構(gòu)建水利信息化數(shù)據(jù)共享模型

基于此次設(shè)計，采用決策樹挖掘算法挖掘到的水利信息化數(shù)據(jù)，采用NOSQL數(shù)據(jù)庫和云計算，構(gòu)建水利信息化數(shù)據(jù)共享模型，增強(qiáng)系統(tǒng)對水利信息化數(shù)據(jù)處理能力，實現(xiàn)水利信息化數(shù)據(jù)共享。見圖2。

圖2 水利信息化數(shù)據(jù)共享模型

圖2中的箭頭方向表示數(shù)據(jù)的遷移方向。圖2所示的水利信息化數(shù)據(jù)共享模型，將NOSQL中的HBase型號數(shù)據(jù)庫作為系統(tǒng)共享數(shù)據(jù)庫，統(tǒng)一數(shù)據(jù)的存儲格式，并在本地數(shù)據(jù)庫的基礎(chǔ)上，實現(xiàn)多副本存儲數(shù)據(jù)，保障數(shù)據(jù)存儲的隱私性，從而充分發(fā)揮決策樹挖掘算法的優(yōu)勢。

1.4 數(shù)據(jù)共享傳輸格式與傳輸控制

若要在此次構(gòu)建的模型中實現(xiàn)水利信息化數(shù)據(jù)共享，需要在模型中設(shè)置共享數(shù)據(jù)傳輸格式，并控制數(shù)據(jù)共享傳輸過程、網(wǎng)絡(luò)體系產(chǎn)生的擁塞和差錯問題。

1.4.1 數(shù)據(jù)共享傳輸格式

此次設(shè)計的系統(tǒng)數(shù)據(jù)共享模型，將依據(jù)數(shù)據(jù)接收和傳輸兩方生成8位字符串，組成363字節(jié)的數(shù)據(jù)包，在MIT-BIH的數(shù)據(jù)共享傳輸格式下，單獨(dú)存儲水利信息化數(shù)據(jù)，最終形成數(shù)據(jù)共享傳輸格式。見圖3。

圖3中，將數(shù)據(jù)分為頭部、類型、編號、校驗和360字節(jié)數(shù)據(jù)5部分，其中0-7位數(shù)據(jù)編碼，360字節(jié)數(shù)據(jù)包含其他4部分。即0-7位數(shù)據(jù)編碼中，存在一個頭部字節(jié)、一個編號字節(jié)和一個校驗字節(jié)。除頭部字節(jié)外，剩下的6個字節(jié)會隨機(jī)生成8位字符串，生成360字節(jié)數(shù)據(jù)，正好是363字節(jié)的數(shù)據(jù)包，提出一個頭部字節(jié)、一個編號字節(jié)和一個校驗字節(jié)后的字節(jié)數(shù)據(jù)[9]。

圖3 數(shù)據(jù)共享傳輸格式

1.4.2 數(shù)據(jù)傳輸控制

數(shù)據(jù)在傳輸過程中，主要存在擁塞和差錯兩種問題。針對這兩種問題，所設(shè)計的控制步驟如下：

1) 擁塞控制：①在數(shù)據(jù)傳輸方，設(shè)置“擁塞窗口”；②在數(shù)據(jù)傳輸方傳輸數(shù)據(jù)時，會自動發(fā)送一字節(jié)的試探包；查看網(wǎng)絡(luò)運(yùn)行情況，判斷網(wǎng)絡(luò)是否存在擁塞問題；③數(shù)據(jù)接收方接收到一字節(jié)的數(shù)據(jù)試探包后，會再次發(fā)送兩字節(jié)的報文，按照2的指數(shù)級遞增，不斷重復(fù)步驟2，檢測網(wǎng)絡(luò)擁塞情況；④當(dāng)試探結(jié)果滿足預(yù)設(shè)數(shù)據(jù)傳輸值，即停止試探，傳輸共享數(shù)據(jù)。

2) 差錯控制：①系統(tǒng)接收到數(shù)據(jù)待發(fā)送序號，根據(jù)需要要求，裝配共享數(shù)據(jù)，準(zhǔn)備發(fā)送；②在發(fā)送數(shù)據(jù)的過程中，設(shè)置數(shù)據(jù)發(fā)送定時器；③等待計時器計時，并判斷計時器是否超時；④若計時器超時，則返回步驟3，重新設(shè)置計時器；⑤若計時器未曾超時，則進(jìn)入步驟6；⑥判斷是否收到共享數(shù)據(jù)，此時需要獲取數(shù)據(jù)確認(rèn)序號，其序號確定過程如下：a.期待接收需要；b.等待數(shù)據(jù)到達(dá)；c.針對數(shù)據(jù)進(jìn)行校驗；d.數(shù)據(jù)校驗通過，直接使用數(shù)據(jù)，期待接收下一序號，確認(rèn)數(shù)據(jù)接收序號；e. 數(shù)據(jù)校驗不通過，直接確認(rèn)數(shù)據(jù)接收序號，并返回步驟b，為下一次需要確認(rèn)做準(zhǔn)備[10]。⑦確認(rèn)序號正確，發(fā)送下一序號，并返回步驟1，準(zhǔn)備控制下一次數(shù)據(jù)發(fā)送差錯。

2 系統(tǒng)測試

選擇兩組常規(guī)數(shù)據(jù)共享系統(tǒng)，采用對比測試的方式，以某區(qū)域的水利信息化數(shù)據(jù)，作為此次設(shè)計的系統(tǒng)測試實驗對象，驗證此次設(shè)計的水利信息化數(shù)據(jù)共享系統(tǒng)，比較3組數(shù)據(jù)共享系統(tǒng)挖掘算法的挖掘數(shù)據(jù)集數(shù)據(jù)質(zhì)量、系統(tǒng)可擴(kuò)展性和數(shù)據(jù)共享實時性。

2.1 實驗準(zhǔn)備

此次設(shè)計的系統(tǒng)測試實驗，設(shè)計的系統(tǒng)軟硬件環(huán)境見圖4。

圖4 系統(tǒng)軟硬件環(huán)境

在圖4所示的系統(tǒng)運(yùn)行環(huán)境下，使用1 000 M的自適應(yīng)網(wǎng)絡(luò)傳輸數(shù)據(jù)，測試此次實驗選擇的3組系統(tǒng)。選擇某區(qū)域數(shù)據(jù)庫中存儲的水利信息化數(shù)據(jù)，總共被分為A、B、C、D、E共5個數(shù)據(jù)集，其基本信息見表1。

表1 數(shù)據(jù)集基本信息

2.2 實驗結(jié)果

2.2.1 第一組實驗結(jié)果

基于此次實驗選擇的5個數(shù)據(jù)集，在系統(tǒng)的系統(tǒng)共享數(shù)據(jù)庫與客戶端之間傳輸不同長度的水利信息化數(shù)據(jù)，并將數(shù)據(jù)傳輸結(jié)果與發(fā)送前的數(shù)據(jù)進(jìn)行對比，采用數(shù)據(jù)傳輸正確率檢測3組共享系統(tǒng)所存儲的不同長度數(shù)據(jù)質(zhì)量，其實驗結(jié)果見圖5。

圖5 數(shù)據(jù)共享質(zhì)量檢測

從圖5中可以看出，隨著數(shù)據(jù)長度的增加，數(shù)據(jù)傳輸正確率在不斷下降，表明共享數(shù)據(jù)質(zhì)量也在下降。其中，常規(guī)系統(tǒng)2隨著數(shù)據(jù)長度的增加，數(shù)據(jù)正確率下降速度較快，其平均正確率為92.76%；常規(guī)系統(tǒng)1隨著數(shù)據(jù)長度的增加，數(shù)據(jù)正確率下降速度較常規(guī)系統(tǒng)2慢，其平均正確率為94.58%，同樣高于常規(guī)系統(tǒng)2；設(shè)計系統(tǒng)隨著數(shù)據(jù)長度的增加，數(shù)據(jù)正確率下降速度明顯較兩組常規(guī)系統(tǒng)慢，其平均正確率為98.88%，較兩組常規(guī)系統(tǒng)正確率分別高6.12%、4.3%?？梢?，此次設(shè)計系統(tǒng)具有較高的數(shù)據(jù)質(zhì)量。

2.2.2 第二組實驗結(jié)果

在第一組實驗的基礎(chǔ)上，檢測數(shù)據(jù)共享的實時性，即系統(tǒng)在傳輸數(shù)據(jù)時所產(chǎn)生的延時時間。其實時性檢測流程如下：①在即將傳輸?shù)乃畔?shù)據(jù)集上，添加時間標(biāo)記；②系統(tǒng)準(zhǔn)備傳輸數(shù)據(jù)；③系統(tǒng)數(shù)據(jù)庫發(fā)送數(shù)據(jù)；④系統(tǒng)客戶端接收數(shù)據(jù)；⑤將接收到的數(shù)據(jù)重新上傳至系統(tǒng)數(shù)據(jù)庫；⑥計算數(shù)據(jù)在客戶端和數(shù)據(jù)庫之間傳輸時間差。其計算結(jié)果見表2。

表2 數(shù)據(jù)共享實時性 /ms

從表2中可以看出，隨著數(shù)據(jù)集數(shù)據(jù)組數(shù)的增加，數(shù)據(jù)共享的延時時間增加，表明數(shù)據(jù)共享實時性降低。其中，常規(guī)系統(tǒng)1產(chǎn)生的時間差最大，設(shè)計系統(tǒng)產(chǎn)生的時間差最小。在5個數(shù)據(jù)集中，設(shè)計系統(tǒng)較常規(guī)系統(tǒng)2產(chǎn)生的時間差分別小14、8、7、5和4 ms，較常規(guī)系統(tǒng)1產(chǎn)生的時間差分別小33 、10、9、6和4 ms?？梢?，此次設(shè)計系統(tǒng)具有較優(yōu)的數(shù)據(jù)共享實時性。

2.2.3 第三組實驗結(jié)果

在前兩組實驗的基礎(chǔ)上，測試3組系統(tǒng)對數(shù)據(jù)的可擴(kuò)展性。在此次實驗選擇的數(shù)據(jù)集基礎(chǔ)上，增添F、G兩組水利信息化數(shù)據(jù)集，其數(shù)據(jù)組數(shù)目、屬性、長度如下：①F數(shù)據(jù)集：數(shù)目256，屬性15678，長度17 h；②G數(shù)據(jù)集：數(shù)目349，屬性20173，長度28 h。在7組數(shù)據(jù)集上，分別檢測3組系統(tǒng)算法挖掘數(shù)據(jù)集數(shù)據(jù)的運(yùn)行時間，驗證3組系統(tǒng)的可擴(kuò)展性。其實驗結(jié)果見圖6。

圖6 系統(tǒng)擴(kuò)展性檢測

從圖6中可以看出，常規(guī)系統(tǒng)1的算法挖掘F數(shù)據(jù)集數(shù)據(jù)時，算法運(yùn)行時間急劇上升，已經(jīng)難以繼續(xù)運(yùn)行，表明常規(guī)系統(tǒng)1僅能挖掘F數(shù)據(jù)集大小的數(shù)據(jù)；常規(guī)系統(tǒng)2的算法挖掘G數(shù)據(jù)集數(shù)據(jù)時，算法運(yùn)行時間急劇上升，已經(jīng)難以繼續(xù)運(yùn)行，表明常規(guī)系統(tǒng)2僅能挖掘G數(shù)據(jù)集大小的數(shù)據(jù)；設(shè)計系統(tǒng)的算法挖掘7組數(shù)據(jù)集數(shù)據(jù)時，系統(tǒng)運(yùn)行平穩(wěn)，在E數(shù)據(jù)集處，較兩組常規(guī)系統(tǒng)所用運(yùn)行時間分別小340、660 min?？梢姡舜卧O(shè)計系統(tǒng)具有較優(yōu)的擴(kuò)展性。

3 結(jié) 語

此次設(shè)計基于決策樹挖掘算法的水利信息化數(shù)據(jù)共享系統(tǒng)，充分考慮水利建設(shè)工程，對水利信息化數(shù)據(jù)共享系統(tǒng)需求，從系統(tǒng)的網(wǎng)絡(luò)運(yùn)行體系出發(fā)，增強(qiáng)數(shù)據(jù)傳輸安全性。并且在系統(tǒng)中，引入決策樹挖掘算法，充分利用決策樹挖掘算法，挖掘水利信息化數(shù)據(jù)集數(shù)據(jù)，提高系統(tǒng)的擴(kuò)展性、質(zhì)量和實時性。但是，此次設(shè)計的水利信息化共享數(shù)據(jù)系統(tǒng)，在建模的模型材質(zhì)、種類劃分等方面，還需進(jìn)一步加強(qiáng)研究，需要結(jié)合水利工程建設(shè)，以及相關(guān)人員對水利信息的需求，構(gòu)建數(shù)據(jù)共享模型的基礎(chǔ)框架，通過實際應(yīng)用探索模型種類劃分原則，進(jìn)一步完善系統(tǒng)中的數(shù)據(jù)共享模型。