葉娟

摘 要：基于網(wǎng)絡(luò)數(shù)據(jù)包環(huán)境下大數(shù)據(jù)分析任務(wù)對(duì)精準(zhǔn)度與速度要求不斷提升，本文在此基礎(chǔ)上重點(diǎn)論述大數(shù)據(jù)處理開(kāi)展的理論環(huán)境?；趥鹘y(tǒng)技術(shù)方法中存在的弊端，重點(diǎn)論述技術(shù)方法優(yōu)化解決措施，提出大數(shù)據(jù)分析程序的有效設(shè)計(jì)方法，從而達(dá)到最佳數(shù)據(jù)處理效果，幫助提升網(wǎng)絡(luò)數(shù)據(jù)包文件下載速率。

關(guān)鍵詞：網(wǎng)絡(luò)數(shù)據(jù)包；大數(shù)據(jù)分析；程序設(shè)計(jì)

中圖分類(lèi)號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：Given that the requirements for accuracy and speed in big data analysis is in rapid escalation in the network data packet environment，this paper mainly discusses the theoretical environment for big data processing as well as technical optimization solutions based on the existing drawbacks in traditional technology and methods and proposes an effective design method of big data analysis program，aiming to achieve optimum results of data processing and to help accelerating the download speed of network packet files.

Keywords：network packets；big data analysis；program design

1 引言（Introduction）

網(wǎng)絡(luò)數(shù)據(jù)包技術(shù)下，數(shù)據(jù)處理可以同時(shí)完成更大任務(wù)量，對(duì)于發(fā)展期間比較常見(jiàn)的數(shù)據(jù)處理隱患問(wèn)題，通過(guò)數(shù)據(jù)分析處理也得到了有效預(yù)防控制。大數(shù)據(jù)分析程序設(shè)計(jì)中，充分利用云計(jì)算技術(shù)來(lái)提升數(shù)據(jù)處理速度，將數(shù)據(jù)處理任務(wù)結(jié)合環(huán)境來(lái)進(jìn)行，在處理數(shù)據(jù)的同時(shí)進(jìn)行數(shù)據(jù)對(duì)接傳輸，滿(mǎn)足程序運(yùn)行控制需求。面臨大工作任務(wù)環(huán)境下的數(shù)據(jù)處理，程序內(nèi)會(huì)自動(dòng)將處理能力從TB級(jí)向FB級(jí)轉(zhuǎn)變，最大程度優(yōu)化數(shù)據(jù)處理系統(tǒng)應(yīng)用效率，避免在最終功能上因此受到影響。批量處理符合大數(shù)據(jù)程序運(yùn)行特征。面對(duì)大數(shù)據(jù)環(huán)境所開(kāi)展的批量處理，將客戶(hù)信息建立成為一個(gè)整體，共同進(jìn)行數(shù)據(jù)處理。根據(jù)所得結(jié)果進(jìn)入到更細(xì)致的分析環(huán)節(jié)，從而實(shí)現(xiàn)程序運(yùn)行的數(shù)據(jù)處理任務(wù)[1]。

MapReduce屬于當(dāng)前常用的大數(shù)據(jù)處理系統(tǒng)，在處理過(guò)程中能夠滿(mǎn)足大規(guī)模群任務(wù)需求。在該系統(tǒng)中，將不同任務(wù)需要之間整合在一起，共同形成大數(shù)據(jù)處理模型。該項(xiàng)處理技術(shù)屬于主流技術(shù)，應(yīng)用后自動(dòng)化性能更理想，處理運(yùn)算能力強(qiáng)大，同時(shí)操作界面更簡(jiǎn)單且利于理解[2]。該項(xiàng)技術(shù)在數(shù)據(jù)處理期間可以將復(fù)雜的處理過(guò)程隱藏起來(lái)，節(jié)省顯示界面所占據(jù)的內(nèi)容空間。同時(shí)通過(guò)學(xué)習(xí)記憶功能來(lái)實(shí)現(xiàn)更深層次的數(shù)據(jù)挖掘和算法應(yīng)用，為管理計(jì)劃進(jìn)行建立一個(gè)適合的基礎(chǔ)環(huán)境，記憶所處理的數(shù)據(jù)并編排成為歷史數(shù)據(jù)庫(kù)。面對(duì)海量數(shù)據(jù)處理任務(wù)，首先會(huì)進(jìn)行歷史數(shù)據(jù)對(duì)比，參照記憶功能來(lái)處理剩余部分?jǐn)?shù)據(jù)，自然能夠節(jié)省大量時(shí)間，這也是該項(xiàng)技術(shù)最常使用的原因。隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)不斷發(fā)展，也產(chǎn)生了更多的大數(shù)據(jù)處理系統(tǒng)，可以滿(mǎn)足不同類(lèi)型的高端數(shù)據(jù)處理需求。本文將針對(duì)這一技術(shù)性方案展開(kāi)探討。

2 傳統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)包大數(shù)據(jù)分析模式（Big data

analysis mode for traditional network packets）

2.1 BSP計(jì)算模式

數(shù)據(jù)信息處理采用周期性方法，在處理系統(tǒng)中將數(shù)據(jù)整體劃分成為多個(gè)單元格，再依次完成各個(gè)單元格的處理任務(wù)，在精準(zhǔn)度上可以達(dá)到大數(shù)據(jù)分析標(biāo)準(zhǔn)。但由于劃分單元格過(guò)多，面對(duì)海量數(shù)據(jù)處理分析需要一段時(shí)間，在時(shí)間和速度上難以達(dá)到最佳使用效果。每個(gè)數(shù)據(jù)均會(huì)在單元格內(nèi)完成分析計(jì)算，對(duì)于計(jì)算期間的各項(xiàng)處理分析任務(wù)，機(jī)遇網(wǎng)絡(luò)數(shù)據(jù)包環(huán)境下面臨大量處理任務(wù)，這也是當(dāng)前常用技術(shù)性方法，其數(shù)據(jù)分析構(gòu)成模型如圖1所示。

圖1表示為BSP計(jì)算模式的結(jié)構(gòu)狀態(tài)，在系統(tǒng)中會(huì)自動(dòng)將需要分析處理的數(shù)據(jù)進(jìn)行匯總，整理成為等待處理的數(shù)據(jù)，劃分單元結(jié)構(gòu)基礎(chǔ)上共同進(jìn)行多核處理，通過(guò)這種方法來(lái)幫助節(jié)省時(shí)間。在超級(jí)處理步驟中會(huì)同時(shí)啟動(dòng)多項(xiàng)處理器，共同參與到全局通信系統(tǒng)中，將網(wǎng)絡(luò)環(huán)境中所獲取的數(shù)據(jù)通過(guò)這種方法來(lái)整合成為需要的模式。傳統(tǒng)處理模式中需要大量時(shí)間來(lái)調(diào)動(dòng)各個(gè)處理器，在效率與時(shí)間上急需調(diào)整。

2.2 BSP模式中的缺陷

該模式中存在一個(gè)超級(jí)步驟，在此環(huán)節(jié)中應(yīng)用處理器來(lái)對(duì)數(shù)據(jù)進(jìn)行處理、傳輸都會(huì)浪費(fèi)大量時(shí)間，同時(shí)面對(duì)多項(xiàng)信息處理任務(wù)時(shí)在信息容量上也很容易達(dá)到上限，數(shù)據(jù)開(kāi)發(fā)期間更是難以達(dá)到最佳使用效果?；诰W(wǎng)絡(luò)數(shù)據(jù)環(huán)境下實(shí)現(xiàn)大數(shù)據(jù)分析程序開(kāi)發(fā)設(shè)計(jì)，需要一個(gè)適合的數(shù)據(jù)存儲(chǔ)環(huán)境，而在BSP模式下并沒(méi)有達(dá)到這一效果，處理問(wèn)題的能力自然也因此受到影響[3]。超級(jí)處理步驟不僅在存儲(chǔ)空間中要求大，數(shù)據(jù)傳輸也會(huì)同時(shí)占據(jù)大量網(wǎng)絡(luò)空間，導(dǎo)致企業(yè)信息傳輸任務(wù)進(jìn)行遇到網(wǎng)絡(luò)延遲，難以在預(yù)期時(shí)間內(nèi)完成分析任務(wù)。BSP模式中存在的主要弊端是處理量與網(wǎng)絡(luò)需求之間的矛盾。該種開(kāi)發(fā)模式在運(yùn)算方式上需要繼續(xù)優(yōu)化改變，這樣才能達(dá)到最佳效果。對(duì)于運(yùn)算期間可能會(huì)產(chǎn)生的問(wèn)題更要采取預(yù)防控制中方案，以免最終的功能穩(wěn)定性因此受到影響。

3 基于網(wǎng)絡(luò)數(shù)據(jù)包的大數(shù)據(jù)分析程序設(shè)計(jì)構(gòu)想

3.1 SAT模型邏輯分層

邏輯層共由三個(gè)結(jié)構(gòu)組成。首先S層是針對(duì)數(shù)據(jù)進(jìn)行分隔，避免分析處理過(guò)程中數(shù)據(jù)之間出現(xiàn)干擾。A層中表示數(shù)據(jù)分析處理和處理過(guò)程中的任務(wù)操作穩(wěn)定性，會(huì)根據(jù)大數(shù)據(jù)處理特征來(lái)有針對(duì)性地規(guī)劃相關(guān)信息，從而達(dá)到最佳處理分析效果。T層中則表示數(shù)據(jù)分析過(guò)程中的加工整合和具體包裝情況，與實(shí)際情況之間相互對(duì)應(yīng)進(jìn)行，可以根據(jù)不同數(shù)據(jù)分析任務(wù)中的特征來(lái)進(jìn)行包裝優(yōu)化，符合網(wǎng)絡(luò)數(shù)據(jù)包大信息量使用特征，最終控制任務(wù)進(jìn)行效率也更高速。SAT模型的具體大數(shù)據(jù)分析流程圖如圖2所示。endprint

由圖2可知，在SAT模式中，大數(shù)據(jù)處理各個(gè)任務(wù)劃分十分嚴(yán)格。對(duì)于分析處理過(guò)程中可能會(huì)產(chǎn)生的問(wèn)題，在此環(huán)境下也能得到充分解決。有關(guān)于現(xiàn)場(chǎng)任務(wù)處理中可能會(huì)產(chǎn)生的問(wèn)題，各個(gè)模塊中可以加入預(yù)防程序，在大數(shù)據(jù)處理過(guò)程中啟動(dòng)這一程序，從而達(dá)到最佳分析效果。與之相匹配的數(shù)據(jù)分析處理任務(wù)，最終結(jié)果也更加理想。為提升大數(shù)據(jù)分析速度，五個(gè)功能模塊采用統(tǒng)一系統(tǒng)進(jìn)行總控制，最大程度減少中間處理環(huán)節(jié)，這樣在處理時(shí)間上更優(yōu)化節(jié)約。該模式下可以充分調(diào)動(dòng)多個(gè)系統(tǒng)之間相互合作，共同完成處理分析任務(wù)，從而實(shí)現(xiàn)對(duì)控制計(jì)劃中的綜合控制，分析層之的間轉(zhuǎn)換也更高效和諧，分析結(jié)果也能直接通過(guò)程序運(yùn)行展現(xiàn)出來(lái)。

3.2 SAT大數(shù)據(jù)分析程序?qū)崿F(xiàn)流程

（1）數(shù)據(jù)預(yù)處理

在使用需求的基礎(chǔ)上對(duì)數(shù)據(jù)信息進(jìn)行預(yù)處理，并結(jié)合實(shí)際情況觀察所分析數(shù)據(jù)是否在使用中與實(shí)際情況可以保持一致。在網(wǎng)絡(luò)數(shù)據(jù)包的基礎(chǔ)上所開(kāi)展的數(shù)據(jù)分析和處理，需要充分利用云計(jì)算技術(shù)來(lái)幫助處理數(shù)據(jù)。預(yù)處理后能夠?qū)⒎治鋈蝿?wù)進(jìn)行模塊劃分，確定其具體屬性所在，在此基礎(chǔ)上幫助提升最終功能，并結(jié)合各項(xiàng)技術(shù)性方法來(lái)探究相關(guān)問(wèn)題的解決處理措施，建立起各個(gè)數(shù)據(jù)庫(kù)預(yù)處理聯(lián)系性，以便更好地確定其屬性[4]。模糊預(yù)處理可幫助節(jié)省大量時(shí)間，并篩選出其中重要信息內(nèi)容，進(jìn)行接下來(lái)更深入的任務(wù)分析，發(fā)現(xiàn)問(wèn)題后充分探討其解決規(guī)劃措施，從而達(dá)到最佳處理效果。模糊處理后篩選出的數(shù)據(jù)需要進(jìn)行二次精準(zhǔn)分析，進(jìn)入到分析程序中的循環(huán)部分[5]。因此在對(duì)程序進(jìn)行構(gòu)建期間，循環(huán)流程也是不可缺少的。將多項(xiàng)任務(wù)相互結(jié)合共同高效運(yùn)行，可以達(dá)到理想的使用效果，并為管理任務(wù)開(kāi)展建立一個(gè)適合的基礎(chǔ)環(huán)境。設(shè)計(jì)篩選后的數(shù)據(jù)集合，二次循環(huán)過(guò)程中的數(shù)據(jù)分析可以針對(duì)這部分信息來(lái)進(jìn)行，從而幫助節(jié)省大量時(shí)間，進(jìn)入到系統(tǒng)分析平臺(tái)中。

（2）淘汰失效數(shù)據(jù)

預(yù)處理和分析任務(wù)結(jié)束后，都需要進(jìn)行現(xiàn)場(chǎng)預(yù)處理，觀察到信息結(jié)果與實(shí)際情況之間存在差異性聯(lián)系后，將無(wú)用數(shù)據(jù)進(jìn)行淘汰處理。系統(tǒng)程序內(nèi)自動(dòng)完成這一任務(wù)，將失效數(shù)據(jù)刪除后可節(jié)省大量存儲(chǔ)空間，數(shù)據(jù)分析任務(wù)進(jìn)行也可以在特征數(shù)據(jù)庫(kù)中進(jìn)行。為了解決系統(tǒng)復(fù)雜性帶來(lái)的挑戰(zhàn)，人們需要結(jié)合大數(shù)據(jù)的價(jià)值稀疏性和訪(fǎng)問(wèn)弱局部性的特點(diǎn)，針對(duì)能效優(yōu)化的大數(shù)據(jù)分布存儲(chǔ)和處理的系統(tǒng)架構(gòu)，以大數(shù)據(jù)感知、存儲(chǔ)與計(jì)算融合為大數(shù)據(jù)的計(jì)算準(zhǔn)則，在性能評(píng)價(jià)體系、分布式系統(tǒng)架構(gòu)、流式數(shù)據(jù)計(jì)算框架、在線(xiàn)數(shù)據(jù)處理方法等方面展開(kāi)基礎(chǔ)性研究，并對(duì)作為重要驗(yàn)證工具的基準(zhǔn)測(cè)試程序及系統(tǒng)性能預(yù)測(cè)方法進(jìn)行研究，通過(guò)設(shè)計(jì)、實(shí)現(xiàn)與驗(yàn)證的迭代完善，最終實(shí)現(xiàn)大數(shù)據(jù)計(jì)算系統(tǒng)的數(shù)據(jù)獲取高吞吐、數(shù)據(jù)存儲(chǔ)低能耗和數(shù)據(jù)計(jì)算高效率，建立如下的程序文件代碼，將其應(yīng)用在程序中，控制各個(gè)系統(tǒng)模塊運(yùn)行。

篩選程序設(shè)計(jì)完成，在以上程序中能夠?qū)崿F(xiàn)不通區(qū)域之間跨越分析，適用于大數(shù)據(jù)環(huán)境，對(duì)于不同環(huán)境分析使用需求，改變程序內(nèi)部控制模式，可以實(shí)現(xiàn)與數(shù)據(jù)環(huán)境符合的分析模式。網(wǎng)絡(luò)數(shù)據(jù)包獲取速度受網(wǎng)絡(luò)環(huán)境穩(wěn)定性直接影響，如果不能控制好當(dāng)前需要的環(huán)境和各項(xiàng)控制計(jì)劃，最終的工作穩(wěn)定性也將會(huì)因此受到影響[6]。程序系統(tǒng)開(kāi)發(fā)設(shè)計(jì)中考慮網(wǎng)絡(luò)平臺(tái)信息傳輸能力，在此基礎(chǔ)上完成程序系統(tǒng)更高效的開(kāi)發(fā)任務(wù)。

（3）基于網(wǎng)絡(luò)數(shù)據(jù)包的文件下載

系統(tǒng)內(nèi)會(huì)根據(jù)大數(shù)據(jù)分析任務(wù)來(lái)進(jìn)行相關(guān)文件包下載流程如圖3所示，并將其應(yīng)用在適合的控制模塊中。執(zhí)行程序后首先進(jìn)入檢索環(huán)節(jié)，將其連接到文件夾有用價(jià)值判斷中。判斷該文件夾無(wú)用，則進(jìn)行文件夾重新獲取，直到所確定的文件夾范圍與使用需求之間保持一致，進(jìn)行到下載環(huán)節(jié)中?；诰W(wǎng)絡(luò)數(shù)據(jù)包基礎(chǔ)上下載正確的文件夾，才能進(jìn)入到更理想的數(shù)據(jù)使用環(huán)節(jié)中，接下來(lái)的大數(shù)據(jù)分析計(jì)劃也能與之保持一致。

當(dāng)檢測(cè)所獲取的文件夾能夠與使用需求之間保持一致，則會(huì)直接進(jìn)入到大數(shù)據(jù)分析環(huán)節(jié)中。數(shù)據(jù)分析過(guò)程中比較容易出現(xiàn)隱患，要加強(qiáng)文件夾現(xiàn)在階段的審核，確定數(shù)據(jù)精準(zhǔn)程度后再次進(jìn)入到分析環(huán)節(jié)中，更精準(zhǔn)高效地完成任務(wù)。

（4）程序系統(tǒng)功能初始化

初始化功能能夠?qū)λ治龅拇髷?shù)據(jù)文件進(jìn)行恢復(fù)，節(jié)省大量信息篩選所用時(shí)間，并直接將系統(tǒng)運(yùn)行中需要的信息引入其中，初始化流程框圖如圖4所示。

初始化具有清除和恢復(fù)功能，程序開(kāi)發(fā)中設(shè)計(jì)多項(xiàng)控制功能，并將其規(guī)劃到具體方案中，落實(shí)完善后才能達(dá)到更理想的程序使用效果，初始化過(guò)程中會(huì)自動(dòng)恢復(fù)系統(tǒng)不需要的信息內(nèi)容，以便節(jié)省處理空間，為所開(kāi)展的各項(xiàng)設(shè)計(jì)任務(wù)建立一個(gè)適合的基礎(chǔ)。檢查過(guò)程也是一項(xiàng)篩選功能，判斷所存在的問(wèn)題，并加以?xún)?yōu)化解決。文件夾處理分析過(guò)程中程序內(nèi)各個(gè)模塊之間相互配合運(yùn)行，共同參與完成信息檢索任務(wù)。

4 結(jié)論（Conclusion）

互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算技術(shù)的快速發(fā)展，各類(lèi)應(yīng)用的層出不窮引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng)，使數(shù)據(jù)滲透到了當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)領(lǐng)域，成為重要的生產(chǎn)因素。大數(shù)據(jù)因此成為社會(huì)各界關(guān)注的新焦點(diǎn)，大數(shù)據(jù)時(shí)代已然來(lái)臨。為了應(yīng)對(duì)不同的業(yè)務(wù)需求，以Google、Facebook、Linkedin、Microsoft等為代表的互聯(lián)網(wǎng)企業(yè)近幾年推出了各種大數(shù)據(jù)處理系統(tǒng)，深度學(xué)習(xí)、知識(shí)計(jì)算、可視化等大數(shù)據(jù)分析技術(shù)也得到迅速發(fā)展，已被廣泛應(yīng)用于不同的行業(yè)和領(lǐng)域。本文根據(jù)處理形式的不同，介紹了批量處理數(shù)據(jù)、流式處理數(shù)據(jù)、交互處理數(shù)據(jù)和圖數(shù)據(jù)四種不同形式數(shù)據(jù)的突出特征和各自的典型應(yīng)用場(chǎng)景，以及相應(yīng)的代表性處理系統(tǒng)，并總結(jié)出引擎專(zhuān)用化、平臺(tái)多樣化、計(jì)算實(shí)時(shí)化是當(dāng)前大數(shù)據(jù)處理系統(tǒng)的三大發(fā)展趨勢(shì)。隨后，對(duì)系統(tǒng)支撐下的深度學(xué)習(xí)、知識(shí)計(jì)算、社會(huì)計(jì)算與可視化四類(lèi)大數(shù)據(jù)分析技術(shù)和應(yīng)用進(jìn)行了簡(jiǎn)要綜述，總結(jié)了各種技術(shù)在大數(shù)據(jù)分析理解過(guò)程中的關(guān)鍵作用，即深度學(xué)習(xí)提高精度，知識(shí)計(jì)算挖掘深度，社會(huì)計(jì)算促進(jìn)認(rèn)知，強(qiáng)可視化輔助決策。

參考文獻(xiàn)（References）

[1] 周情濤，何軍，胡昭華.基于GPU的Spark大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室的開(kāi)發(fā)應(yīng)用[J].實(shí)驗(yàn)室研究與探索，2017，36（1）：112-116.

[2] 程平，張礫.大數(shù)據(jù)時(shí)代基于云會(huì)計(jì)的房地產(chǎn)開(kāi)發(fā)企業(yè)稅務(wù)管理探析——以A集團(tuán)為例[J].會(huì)計(jì)之友，2017（8）：134-137.

[3] 王崗.基于大數(shù)據(jù)的用戶(hù)體驗(yàn)分析應(yīng)用——“互聯(lián)網(wǎng)+”環(huán)境下新品研發(fā)質(zhì)量管理探索[J].上海質(zhì)量，2017（6）：26-27.

[4] 黃冬梅.大數(shù)據(jù)時(shí)代下地勘業(yè)務(wù)轉(zhuǎn)型發(fā)展的實(shí)踐與思考——以五礦勘查開(kāi)發(fā)有限公司實(shí)踐為例[J].中國(guó)國(guó)土資源經(jīng)濟(jì)，2017，30（3）：9-13.

[5] 孫秀春，廉新宇.基于大數(shù)據(jù)分析的高職院校物聯(lián)網(wǎng)專(zhuān)業(yè)創(chuàng)新創(chuàng)業(yè)教育模式研究與實(shí)踐[J].人才資源開(kāi)發(fā)，2017（4）：234-234.

[6] 呂慧.“95后”大學(xué)生思想變化特點(diǎn)和規(guī)律研究——基于大數(shù)據(jù)思想分析維度[J].人才資源開(kāi)發(fā)，2017（8）：138-140.

作者簡(jiǎn)介：

葉 娟（1973-），女，本科，副教授.研究領(lǐng)域：計(jì)算機(jī)應(yīng)用.endprint