錢游 重慶城市職業(yè)學(xué)院

一、w eb 網(wǎng)絡(luò)數(shù)據(jù)分類系統(tǒng)總體設(shè)計(jì)

根據(jù)網(wǎng)絡(luò)大數(shù)據(jù)分類系統(tǒng)所需要的要求，分類系統(tǒng)應(yīng)采用軟硬件相結(jié)合的方式以實(shí)現(xiàn)對數(shù)據(jù)的分類管理，所得出的系統(tǒng)安全性能更高、運(yùn)行穩(wěn)定性更好，且更加方便相關(guān)人員進(jìn)行管理與數(shù)據(jù)監(jiān)測。

就目前來說，單獨(dú)使用軟件、硬件均不能保障系統(tǒng)高效、穩(wěn)定運(yùn)行，且成本相對較高，對人力物力等資源消耗也相應(yīng)增加。而將軟、硬件相結(jié)合，通過硬件部分?jǐn)?shù)據(jù)采集器和軟件部分?jǐn)?shù)據(jù)采集源代碼等相關(guān)對Web 網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，將采集到的Web 網(wǎng)絡(luò)數(shù)據(jù)通過網(wǎng)絡(luò)接口傳輸至Web 網(wǎng)絡(luò)處理器中進(jìn)行處理并儲存，然后，將處理好的數(shù)據(jù)傳輸至軟件部分的數(shù)據(jù)分類與改進(jìn)程序中，以實(shí)現(xiàn)對大數(shù)據(jù)的分類處理，最終將處理的結(jié)果傳輸至存儲模塊進(jìn)行保存。后期數(shù)據(jù)將儲存在數(shù)據(jù)庫中，通過一系列的處理不斷更新，方便了工作人員的管理與使用。

二、Web 網(wǎng)絡(luò)大數(shù)據(jù)分類系統(tǒng)硬件設(shè)計(jì)

（一）web 數(shù)據(jù)采集器

數(shù)據(jù)采集(DAQ)，是指從傳感器和其它待測設(shè)備等模擬和數(shù)字被測單元中自動采集非電量或者電量信號，送到上位機(jī)中進(jìn)行分析，處理。數(shù)據(jù)采集系統(tǒng)是結(jié)合基于計(jì)算機(jī)或者其他專用測試平臺的測量軟硬件產(chǎn)品來實(shí)現(xiàn)靈活的、用戶自定義的測量系統(tǒng)。應(yīng)用時，數(shù)據(jù)采集系統(tǒng)置于被監(jiān)控的設(shè)備處，通過傳感器對設(shè)備的電壓或者電流信號進(jìn)行采樣、保持，并送入A/D 轉(zhuǎn)換器變成數(shù)字信號，然后將該信號送到FIFO 中。當(dāng)FIFO 中存放的數(shù)據(jù)到了一定數(shù)目時，由ARM7 從FIFO 中讀出，然后通過ARM7 的以太網(wǎng)接口或者RS232 送給上位機(jī)。考慮到要監(jiān)控的設(shè)備可能會很多，所以設(shè)計(jì)了多路采集通道，經(jīng)過模擬開關(guān)后再進(jìn)入A/D 轉(zhuǎn)換器。CPLD 是整個系統(tǒng)的控制核心，控制采集通道的切換、A/D 轉(zhuǎn)換器的啟/停、轉(zhuǎn)換后的數(shù)據(jù)在FIFO 中的存放地址發(fā)生器、產(chǎn)生中斷請求以通知ARM7 讀取存放在FIFO中的數(shù)據(jù)等。

（二）web 網(wǎng)絡(luò)處理器

網(wǎng)絡(luò)處理器是一種可編程器件，在收集到從網(wǎng)絡(luò)數(shù)據(jù)采集器傳到過來的數(shù)據(jù)后，可特定地應(yīng)用于數(shù)據(jù)匯聚等過程中。網(wǎng)絡(luò)處理器器件內(nèi)部通常由若干個微碼處理器和若干硬件協(xié)處理器組成，多個微碼處理器在網(wǎng)絡(luò)處理器內(nèi)部并行處理，通過預(yù)先編制的微碼來控制處理流程。而對于一些復(fù)雜的標(biāo)準(zhǔn)操作則采用硬件協(xié)處理器來進(jìn)一步提高處理性能，從而實(shí)現(xiàn)了業(yè)務(wù)靈活性和高性能的有機(jī)結(jié)合。 web 網(wǎng)絡(luò)處理器這里建議采用IXP2400，IXP 可通過增加硬件資源來達(dá)到高性能，而通過將這些硬件分解并用多總線連接以形成多主多從的結(jié)構(gòu)以達(dá)到其靈活性。另外，軟件商，通過ixa portability framework 提供了可移植性，以及大量可以使用的底層函數(shù)。

（三）存儲模塊

存儲模塊是用于存儲計(jì)算機(jī)數(shù)據(jù)的處理系統(tǒng)，儲存數(shù)據(jù)包括原始數(shù)據(jù)、計(jì)算過程中產(chǎn)生的數(shù)據(jù)、計(jì)算所需程序以及計(jì)算結(jié)果數(shù)據(jù)等。當(dāng)網(wǎng)絡(luò)數(shù)據(jù)傳輸進(jìn)web網(wǎng)絡(luò)數(shù)據(jù)處理器并被處理器及時分析處理后，網(wǎng)絡(luò)數(shù)據(jù)通過網(wǎng)絡(luò)接口將數(shù)據(jù)傳入存儲模塊進(jìn)行數(shù)據(jù)存儲。這里推薦使用C8051F 系列單片機(jī)和AT45DB081D-SU。C8051F 系列單片機(jī)的優(yōu)勢有：基于增強(qiáng)的CIP-51內(nèi)核，其指令集與MCS-51完全兼容，具有標(biāo)準(zhǔn)8051 的組織架構(gòu)，可以使用標(biāo)準(zhǔn)的803x/805x 匯編器和編譯器進(jìn)行軟件開發(fā)；集成了豐富的模擬資源，絕大部分的C8051F 系列單片機(jī)都集成了單個或兩個ADC，在片內(nèi)模擬開關(guān)的作用下可實(shí)現(xiàn)對多路模擬信號的采集轉(zhuǎn)換；集成了豐富的外部設(shè)備接口；信號處理方面的性能增強(qiáng)，可對所采集信號進(jìn)行實(shí)時有效的算法處理并提高了數(shù)據(jù)傳送能力等。

三、Web 網(wǎng)絡(luò)大數(shù)據(jù)分類系統(tǒng)軟件設(shè)計(jì)

（一）軟件部分大數(shù)據(jù)采集

針對數(shù)據(jù)采集部分，為了實(shí)現(xiàn)硬件設(shè)計(jì)中對數(shù)據(jù)的有效采集，需要對數(shù)據(jù)采集器編寫源代碼。數(shù)據(jù)采集器編寫源代碼。在軟件設(shè)計(jì)的過程中，用JavehpptUser 對Web 網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，源代碼將通過連接方式獲取，且為了保證采集數(shù)據(jù)的完成度，需要將代碼進(jìn)行轉(zhuǎn)換后再進(jìn)行數(shù)據(jù)的采集，具體數(shù)據(jù)采集器源代碼編輯如下：

// 采 集 組 件common affiliation CreeperAdsl inherit CreeperFoundation

{Common Web CreeperByAdsl（）

{Rope Web=Creeper(mission)};

//Web 網(wǎng)絡(luò)數(shù)據(jù)

{

Web=Creeper(mission);

Size++;}

Return Web;

//客戶端

Common affiliation My User

Com mon affiliation Baogang Data Creep er Bolt inherit Founda-tion Rich Bolt;

（二）web 大數(shù)據(jù)分類與改進(jìn)系統(tǒng)

設(shè)計(jì)好web 網(wǎng)絡(luò)處理器的硬件后，要求編輯相應(yīng)的軟件代碼，實(shí)現(xiàn)相關(guān)程序的功能，并根據(jù)實(shí)際情況將web 網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分類，使網(wǎng)絡(luò)處理器有邏輯判斷的依據(jù)，具體的編碼如下：

//分類對象

common affiliation DataKind

{ backroom Rope dataid；

backroom Rope dataMonicker；

backroom int dataDegree；

backroom Rope dataPraent；

backroom Rope dataKind }

if（content Does not include the "stock"）

//對含有相同屬性的數(shù)據(jù)歸為一類

for（Classification list）

if（Source site does not belong to the configuration list）

for（Must contain the keyword list）

if（There are）

continue；

else

break；

else

Join the classification directly；

for（Must not contain the keywords list）

if（There are）

break；

else

continue；

if（Meet m u st b e includ ed an d m ust n o t co nt ain conditions）

{ Comp uting contains key indicators to jud ge w hether classification belongs；}

同時，對分類好的數(shù)據(jù)進(jìn)行改進(jìn)，以實(shí)現(xiàn)對web 網(wǎng)絡(luò)大數(shù)據(jù)跟好的分類，相關(guān)代碼如下：

PrintTree（T）；

// 顯示整個決策樹

Show（T，Sh）；

Show Branch（Sh，T，v）；

short MaxLine（St）；

ndent（Sh，Mark）；

SaveTree（T，Extension）；

// 保存整個決策樹

OutTree（T）；

Tree GetTree（Extension）；

// 檢索整個決策樹

Tree InTree（）；

//依據(jù)數(shù)據(jù)屬性通過決策樹進(jìn)行分類

Stream Out（s，n）；

ReleaseTree（Node）；

Tree Leaf（ClassFreq，NodeClass，Errors）；

Sprout（Node，Branches）；

// 在一個節(jié)點(diǎn)中插入分支

TreeSize（Node）；

Tree CopyTree（T）

SaveDiscreteNames（）

//保存分類結(jié)果