齊慧

摘? 要：文章首先對web數(shù)據(jù)挖掘技術(shù)進行概括，分別從數(shù)據(jù)挖掘技術(shù)概念、技術(shù)應用優(yōu)勢與技術(shù)原理三方面進行論述。其次，重點探討基于python基礎上的web數(shù)據(jù)挖掘技術(shù)開發(fā)設計方法，對數(shù)據(jù)挖掘過程中的各類爬蟲技術(shù)應用優(yōu)勢進行對比，可以作為數(shù)據(jù)挖掘系統(tǒng)構(gòu)建過程中的理論參照。

關鍵詞：python語言;數(shù)據(jù)挖掘技術(shù);仿真實驗

中圖分類號：TP309? ? ?文獻標識碼：A

Abstract：This paper firstly summarizes web data mining technology，discussing the concept，application advantages and principles of data mining technology.Secondly，it mainly discusses the development and design methods of web data mining technology based on python，and compares the application advantages of various crawler technologies in the process of data mining，which can be used as a theoretical reference in the construction of data mining system.

Keywords：Python;data mining technology;simulation experiments

1? ?引言（Introduction）

運用web數(shù)據(jù)挖掘技術(shù)，能夠模擬出用戶基于網(wǎng)絡環(huán)境中的瀏覽過程，并根據(jù)用戶操作過程中的使用功能需求，自動跳轉(zhuǎn)至指定的信息頁面。通過數(shù)據(jù)挖掘，將無序并且數(shù)量龐大的信息自動提取存儲，將其整理成為結(jié)構(gòu)化的信息形式[1]。一方面，方便用戶在信息瀏覽過程中對自身需要的數(shù)據(jù)進行存儲，另一方面也能夠根據(jù)數(shù)據(jù)挖掘?qū)Ω黝惞δ苓M行表達，滿足用戶信息瀏覽過程中的不同需求。數(shù)據(jù)挖掘技術(shù)使用范圍十分廣闊，能夠用于不同區(qū)域，并且在功能整合過程中也能夠根據(jù)最終的綜合控制能力，判斷接下來的數(shù)據(jù)挖掘方向[2]。數(shù)據(jù)挖掘技術(shù)是存儲功能實現(xiàn)不可缺少的基礎，也具有極強的整合能力，能夠與其他技術(shù)方法相結(jié)合，高效便捷的完成數(shù)據(jù)捕捉和存儲。數(shù)據(jù)挖掘技術(shù)在不同領域均充當著重要角色，將web數(shù)據(jù)挖掘技術(shù)，與學習型匯編語言相結(jié)合，在程序設計過程中更能夠體現(xiàn)出人性化功能，也能處于網(wǎng)絡環(huán)境下，對數(shù)據(jù)信息進行高效定位，實現(xiàn)安全便捷的數(shù)據(jù)挖掘以及功能指令傳輸。

2? 數(shù)據(jù)挖掘技術(shù)發(fā)展優(yōu)勢（Development advantages of data mining technology）

隨著網(wǎng)絡信息技術(shù)不斷發(fā)展進步，數(shù)據(jù)挖掘技術(shù)也具有廣闊的應用前景。網(wǎng)絡環(huán)境中的各類數(shù)據(jù)信息資源，并沒有固定結(jié)構(gòu)存在。瀏覽網(wǎng)絡信息中對于其中的有用數(shù)據(jù)提取往往會消耗過多時間。通過互聯(lián)網(wǎng)技術(shù)普及，數(shù)據(jù)挖掘技術(shù)的應用能夠?qū)⒘闵⒌男畔⑦M行整合，并根據(jù)用戶不同使用功能選擇自動或手動的挖掘存儲[3]。數(shù)據(jù)挖掘技術(shù)在信息整合速度上十分快，具有極強的技術(shù)適應能力，應用該技術(shù)能夠體現(xiàn)出不同挖掘項目之間的統(tǒng)籌能力，并根據(jù)挖掘過程中體現(xiàn)出的多角度問題[4]。新型技術(shù)應用方向調(diào)整，基于python語言基礎上的網(wǎng)絡系統(tǒng)設置，能夠明顯降低數(shù)據(jù)傳輸過程中的誤差，并幫助查找遺漏，對遺漏數(shù)據(jù)自動填補。尤其是面對統(tǒng)計任務量較大的數(shù)據(jù)時，能夠快速完成信息分類對接，并根據(jù)用戶使用過程中的各類規(guī)則，對程序進行調(diào)整，糾正程序中存在的錯誤。數(shù)據(jù)挖掘過程中，能夠確定數(shù)據(jù)傳輸?shù)淖罴崖窂?，從而在傳輸過程中節(jié)省時間。由此可見，數(shù)據(jù)挖掘技術(shù)具有明顯的發(fā)展優(yōu)勢，未來技術(shù)發(fā)展中，也將進入到更理想的狀態(tài)中，通過不同匯編語言之間的相互結(jié)合，達到理想的設計效果。

3? 數(shù)據(jù)挖掘技術(shù)應用原理（Application principle of data mining technology）

數(shù)據(jù)挖掘技術(shù)在應用過程中的功能實現(xiàn)，通過對用戶基于網(wǎng)絡環(huán)境中瀏覽信息的腳本捕捉，自動進行有效數(shù)據(jù)信息排序，并根據(jù)用戶所發(fā)出的功能指令對有用信息進行子集合構(gòu)建，并對信息系統(tǒng)中的數(shù)據(jù)進行訪問。訪問wed頁面內(nèi)的相關內(nèi)容后，根據(jù)反復的信息驗證。數(shù)據(jù)挖掘功能原理如圖1所示。

確定最終的有用信息結(jié)合范圍，從而實現(xiàn)子頁面內(nèi)的各類數(shù)據(jù)結(jié)合，進行切實有效的數(shù)據(jù)信息分類與整合。信息分類整合同樣是實現(xiàn)模塊化管理的基礎，也是數(shù)據(jù)挖掘功能實現(xiàn)的原理，在數(shù)據(jù)挖掘過程中，會涉及不同爬蟲算法的使用，選擇的爬蟲算法直接關系到數(shù)據(jù)信息挖掘，提取速度與最終的數(shù)據(jù)集合構(gòu)成穩(wěn)定性。數(shù)據(jù)挖掘技術(shù)在功能實現(xiàn)方面，需要對不同爬蟲算法進行對比，從用戶登錄web頁面后的起始頁至最后一頁進行連續(xù)的數(shù)據(jù)提取逐漸向外層延伸，并構(gòu)建多角度信息獲取鏈接，自動實現(xiàn)信息的捕捉[5]。數(shù)據(jù)挖掘與數(shù)據(jù)提取是相對應的功能，挖掘后并確定數(shù)據(jù)的來源范圍，才能進行下一步功能構(gòu)建。提取數(shù)據(jù)后并將其發(fā)送到指定的功能層，在頁面功能實現(xiàn)過程中，篩選有用信息并進行結(jié)構(gòu)化整合，經(jīng)過數(shù)據(jù)搜索與分析最終確定挖掘?qū)ο螅瑢崿F(xiàn)一系列數(shù)據(jù)提取功能。

4? 數(shù)據(jù)挖掘技術(shù)中的算法比較（Comparison of algorithms in data mining）

4.1? ?廣度優(yōu)先算法

數(shù)據(jù)挖掘技術(shù)應用過程中，算法的比較研究內(nèi)容比較多，首先是廣度優(yōu)先的算法策略，在計算過程中從起始頁到最終的頁面，要進行由內(nèi)而外的延伸運算。并對多鏈接信息進行整合，在數(shù)據(jù)挖掘過程中自動進入到下一集層的深度中，確保數(shù)據(jù)挖掘在web網(wǎng)絡環(huán)境中的廣度。在挖掘分析過程中，對不同目錄進行深入分析，確保挖掘過程中的分析內(nèi)容涵蓋整體目錄。其優(yōu)勢在于廣度優(yōu)先策略，在運算過程中精準度十分高，其劣勢在于挖掘過程中對目錄分析將會耗費大量時間。廣度優(yōu)先算法主要是針對目錄精準排查，實現(xiàn)鏈接的提取與扣件。能夠進行算法的并行處理，同時在Web信息的挖掘，提取出多少也會有所提升。如果挖掘數(shù)據(jù)信息涉及到深層目錄，最終的功能將會受到影響。

4.2? ?深度優(yōu)先算法

深度優(yōu)先算法應用在數(shù)據(jù)挖掘技術(shù)中，注重在同一區(qū)域范圍內(nèi)的深層次數(shù)據(jù)捕捉。根據(jù)用戶的瀏覽內(nèi)容在當前頁面訪問時，會進行深層次數(shù)據(jù)挖掘，直到在當前頁面的最深點數(shù)據(jù)挖掘成功后，視為完成一個分支任務。并返回到最初的訪問界面，從而進入到另一個爬行分支中進行相關數(shù)據(jù)的挖掘整理，直到對所有鏈接的深層次分析結(jié)束后，完成整體爬行任務。算法流程語言如下：

該種分析方法，能夠確保挖掘信息的深度，但如果在挖掘過程中，需要對更深層次的數(shù)據(jù)進行捕捉，將會消耗大量的分析資源。深度優(yōu)先算法對于低層站點的數(shù)據(jù)挖掘和統(tǒng)計，這種效果并不理想，并且在最終的數(shù)據(jù)對比分析中，容易在某一鏈接范圍內(nèi)產(chǎn)生誤差。因此該種技術(shù)手段應用，還需要進行技術(shù)方法之間的相互結(jié)合，達到最佳控制效果。

4.3? ?數(shù)據(jù)結(jié)構(gòu)化存儲

數(shù)據(jù)結(jié)構(gòu)化存儲也是數(shù)據(jù)挖掘過程中最常使用的技術(shù)手段，結(jié)構(gòu)性存儲能夠針對原本雜亂無序的數(shù)據(jù)信息進行歸類整合，并達到最佳的結(jié)構(gòu)化存儲形式。通過無結(jié)構(gòu)信息的提取，并將其整合成為另一種鏈接形式，存儲到本地文檔中。能夠確保數(shù)據(jù)信息的存儲形式得到規(guī)范統(tǒng)一，并在執(zhí)行過程通過人工整合達到最理想的場景構(gòu)建模式。在存儲過程中，結(jié)構(gòu)化處理需要確保準確度與速度，既要滿足多鏈接數(shù)據(jù)挖掘需求，同時也能夠根據(jù)存儲結(jié)構(gòu)的調(diào)整，快速實現(xiàn)各鏈接之間的相互結(jié)合。結(jié)構(gòu)化存儲功能對于數(shù)據(jù)的綜合處理能力十分快，處于Web環(huán)境下能夠?qū)崿F(xiàn)數(shù)據(jù)信息的自動結(jié)構(gòu)調(diào)整，并通過結(jié)構(gòu)之間的相互轉(zhuǎn)換，減少人工操作帶來的數(shù)據(jù)誤差，結(jié)構(gòu)圖見圖2。

結(jié)構(gòu)僅僅作為數(shù)據(jù)存儲中的一種形式，在統(tǒng)一結(jié)構(gòu)的同時，還需要考慮不同數(shù)據(jù)信息類型。自動選取最為高效便捷的存儲方式，保證數(shù)據(jù)信息在存儲過程中的安全性與使用效率。數(shù)據(jù)結(jié)構(gòu)化存儲對數(shù)據(jù)挖掘技術(shù)精準度要求極高，不僅在穩(wěn)定性與速度上要達到使用標準同時還需要滿足自動歸類功能，能夠在歸類過程中增強綜合控制能力，實現(xiàn)數(shù)據(jù)結(jié)構(gòu)化的自動存儲，在結(jié)構(gòu)化存儲過程中自動生成二維表格，達到最佳功能整合效果。

5? 基于python的WEB數(shù)據(jù)挖掘設計（Design of WEB data mining based on python）

5.1? ?爬蟲功能設計

基于python語言技術(shù)基礎上的web數(shù)據(jù)挖掘設計，首先需要對爬蟲功能進行選擇，根據(jù)用戶日常使用過程中對于功能的特殊性需求，對比不同爬蟲方法之間的優(yōu)勢與劣勢。借助python技術(shù)的分析功能，在計算過程中對數(shù)據(jù)的廣度進行擴增，并根據(jù)不同數(shù)據(jù)以及關鍵詞在網(wǎng)絡信息瀏覽中的出現(xiàn)次數(shù)，進行自動分析定位，確定接下來的語言擴增形式。數(shù)據(jù)結(jié)構(gòu)設計過程中，不僅需要對穩(wěn)定性進行對比，還需要根據(jù)數(shù)據(jù)抓取過程中的鏈接分析，進行最終的匹配鏈條確定。爬蟲功能根據(jù)瀏覽頁面的實際情況，對腳本內(nèi)容進行構(gòu)建，通過應答服務體系以及構(gòu)建過程中的超鏈接獲取，實現(xiàn)對數(shù)據(jù)信息的快速篩選。但在最終的數(shù)據(jù)信息獲取和整合過程中，根據(jù)所分析的內(nèi)容進行最終的數(shù)據(jù)整合。并在挖掘過程中對所涉及的各類功能進一步調(diào)整，針對數(shù)據(jù)挖掘設計中的功能在強化過程中體現(xiàn)出多元化整合能力。數(shù)據(jù)分析時對頁面的源代碼進行提取，在源代碼分析基礎上進入到更穩(wěn)定的數(shù)據(jù)整合階段，并根據(jù)場合得到的各類結(jié)果，采取多元化調(diào)整措施，提升數(shù)據(jù)信息之間的相互配合能力。

5.2? ?數(shù)據(jù)表達設計

數(shù)據(jù)表達設計過程中，一方面要考慮數(shù)據(jù)挖掘與最終使用的穩(wěn)定情況，另一方面也需要根據(jù)數(shù)據(jù)的具體表達能力。在設計過程中體現(xiàn)出最佳的表達方法，對數(shù)據(jù)的構(gòu)建形式加以完善。數(shù)據(jù)表達中需要考慮不同頁面訪問的過程調(diào)整，并根據(jù)元數(shù)據(jù)體系最終的判斷，在表達形式上體現(xiàn)出控制指令之間的對接能力。對于數(shù)據(jù)表達過程中不同方法理念之間的選擇以及構(gòu)建，更需要多元化的融合角度體現(xiàn)出數(shù)據(jù)表達的綜合控制能力，尤其是在數(shù)據(jù)表達設計階段，各個功能方法之間的相互結(jié)合，充分體現(xiàn)出元數(shù)據(jù)的多元化控制能力，以及最終的數(shù)據(jù)綜合挖掘情況。在不同功能頁面，采用多種結(jié)構(gòu)的形式對數(shù)據(jù)進行表達，數(shù)據(jù)表達后才能進入到接下來的有用信息捕捉與自動存儲階段。數(shù)據(jù)表達設計階段，同樣需要借助python語言來進行模擬設計，實現(xiàn)數(shù)據(jù)表達過程中的爬蟲功能，以及在數(shù)據(jù)挖掘提取階段不同功能之間的相互控制能力。運用多元化數(shù)據(jù)整合模式，進行分層結(jié)構(gòu)完善以及結(jié)構(gòu)化功能的實現(xiàn)，完成數(shù)據(jù)挖掘、數(shù)據(jù)提取和結(jié)構(gòu)構(gòu)建多元化功能之間的融合。數(shù)據(jù)表達設計期間的綜合控制能力提升，以及最終的運行狀態(tài)調(diào)整，還需要在管理階段體現(xiàn)出數(shù)據(jù)的綜合表達能力，對表達流程和表達形式進一步設計，實現(xiàn)數(shù)據(jù)表達與數(shù)據(jù)提取一體化模式。

5.3? ?仿真功能檢驗

仿真功能檢驗是指在功能應用過程中，對于所構(gòu)建設計的全部系統(tǒng)以及數(shù)據(jù)信息提取形式進行仿真功能驗證，觀察是否在仿真功能上能夠達到預期效果，以及最終的仿真能力是否與開發(fā)設計中所確定的功能目標保持一致。對于開發(fā)設計階段所確定的各類功能，需要通過仿真實驗后確定其可行性，才能在接下來的系統(tǒng)中制定進一步的綜合控制目標。仿真實驗需要模擬網(wǎng)絡環(huán)境中潛藏的風險隱患，對所構(gòu)建的系統(tǒng)結(jié)構(gòu)進一步整合，觀察系統(tǒng)結(jié)構(gòu)的綜合控制能力。模擬病毒對系統(tǒng)進行攻擊，從而判斷系統(tǒng)開發(fā)設計中需要進一步完善的內(nèi)容。仿真功能檢驗過程中，對于所存在的問題，需要將其劃分到同一集合中。腳本仿真實驗程序如下：

6? ?結(jié)論（Conclusion）

在接下來的開發(fā)設計階段，重點針對現(xiàn)存問題部分加以完善，并通過仿真功能檢驗對問題進行拓展，觀察是否存在系統(tǒng)之間的相互影響。并通過干擾分析增強最終的仿真功能穩(wěn)定性，根據(jù)所得到的仿真功能檢驗結(jié)果，確定系統(tǒng)在網(wǎng)絡環(huán)境中運行使用的薄弱環(huán)節(jié)，通過數(shù)據(jù)挖掘技術(shù)，增強最終的功能穩(wěn)定性。

參考文獻（References）

[1] 王雪峰.基于Python的數(shù)據(jù)挖掘——陽光集團的具體數(shù)據(jù)挖掘項目[J].電腦知識與技術(shù)，2018，14（23）：15-20;36.

[2] 邢娜.淺析基于Web數(shù)據(jù)挖掘應用于電氣自動化技術(shù)對社會經(jīng)濟發(fā)展促進作用的研究[J].青春歲月，2017（12）：427.

[3] 李巖松.集成Vissim和Python的車聯(lián)網(wǎng)仿真平臺研究[J].計算機仿真，2018，35（12）：159-162;421.

[4] 唐琳.基于Python的自然語言數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[J].電子技術(shù)與軟件工程，2018，138（16）：176-178.

[5] 黃雪華.基于Python的決策樹算法在學生招生錄取數(shù)據(jù)中的應用研究[J].電腦知識與技術(shù)，2018，14（29）：22-23.