馬琳 董智鶴 夏嵩 賈孺

摘要：數(shù)據(jù)挖掘，是利用機(jī)器對樣本數(shù)據(jù)進(jìn)行分析和發(fā)掘形成知識的過程。本文結(jié)合作者的實(shí)踐，淺述了數(shù)據(jù)挖掘技術(shù)在各領(lǐng)域的應(yīng)用情況，詳細(xì)闡述了幾種主要的數(shù)據(jù)挖掘技術(shù)，并對此進(jìn)行了分類比較，給今后廣大研究者提供一定的借鑒意義。

關(guān)鍵詞：數(shù)據(jù)挖掘;應(yīng)用;網(wǎng)絡(luò)

中圖分類號：TP311.13 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2019）10-0230-02

0 引言

數(shù)據(jù)挖掘（Data Mining），又被稱為知識發(fā)現(xiàn)、資料探勘、數(shù)據(jù)采礦等，是利用機(jī)器對樣本數(shù)據(jù)進(jìn)行分析和發(fā)掘形成知識的過程[1]。該技術(shù)是自動從大量的數(shù)據(jù)樣本中尋找數(shù)據(jù)間隱藏的特殊關(guān)系。數(shù)據(jù)挖掘技術(shù)是統(tǒng)計(jì)學(xué)、人工智能技術(shù)和數(shù)據(jù)庫技術(shù)等理論的結(jié)晶，為尋找數(shù)據(jù)間的隱藏關(guān)系提供了很好的技術(shù)支持[2]。自上世紀(jì)80年代末，數(shù)據(jù)挖掘的技術(shù)思想在底特律召開的第十一屆國際人工智能會議第一次展開專題討論，當(dāng)時(shí)會議的主題是數(shù)據(jù)庫的知識發(fā)現(xiàn)。隨后每年舉辦一次關(guān)于知識發(fā)現(xiàn)的專題討論，直至1995年在蒙特利爾召開了第一屆數(shù)據(jù)挖掘國際會議[3]。在此之后，每年召開的有關(guān)于數(shù)據(jù)挖掘的國際會議越來越多，期刊的數(shù)量也在不斷增加。

1 數(shù)據(jù)挖掘的應(yīng)用現(xiàn)狀

數(shù)據(jù)挖掘廣泛應(yīng)用于市場銷售、金融、互聯(lián)網(wǎng)、醫(yī)療、交通等各個(gè)領(lǐng)域。

在市場銷售領(lǐng)域，可以完成消費(fèi)群體分析、市場定位、銷售情況趨勢預(yù)測、倉庫進(jìn)出庫分析、優(yōu)化市場策略、判別用戶購買行為、優(yōu)化促銷活動等。諸多分析人員也在此領(lǐng)域做出了研究。王旺[4]利用SAS軟件，對便利店購買交易數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析，提出在商品布局、促銷推廣等方面的優(yōu)化應(yīng)用;黃玉佳將生命周期理論與Bass模型相結(jié)合，進(jìn)行消費(fèi)者購買模式偏好計(jì)算，為企業(yè)創(chuàng)造利潤的方向提供了借鑒;耿曉中設(shè)計(jì)了超市管理系統(tǒng)，并基于該系統(tǒng)實(shí)現(xiàn)FP-growth算法，找出了消費(fèi)者購買行為模式。

在金融領(lǐng)域，通過對金融交易活動的監(jiān)督，發(fā)現(xiàn)交易規(guī)則，或通過對客戶收入水平、償還收入比、受教育程度等主導(dǎo)因素分析，可以完成對客戶信用等級評價(jià)，以預(yù)測客戶貸款還款能力，降低銀行放貸風(fēng)險(xiǎn)。許江峰對P2P網(wǎng)絡(luò)金融平臺數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析和logistic回歸，在解決國內(nèi)P2P網(wǎng)絡(luò)金融平臺面臨的借貸雙方信息不對等、借款業(yè)務(wù)操作無參考等問題方面進(jìn)行了探索研究。

在互聯(lián)網(wǎng)領(lǐng)域，通過對網(wǎng)頁Links信息的挖掘，以實(shí)現(xiàn)對網(wǎng)絡(luò)信息的分類、聚類、瀏覽和檢索，通過對用戶的檢索記錄分析，有效的進(jìn)行提問擴(kuò)展，提高引擎的檢索效率。曾珂對新浪微博用戶數(shù)據(jù)進(jìn)行聚類分析，研究了微博用戶興趣、偏好、習(xí)慣，對于日后微博功能開發(fā)、產(chǎn)品研發(fā)等具有一定的應(yīng)用價(jià)值。

2 數(shù)據(jù)挖掘分類

數(shù)據(jù)挖掘的方法和所涉及到的學(xué)科領(lǐng)域、分類分支有很多，其中，按照數(shù)據(jù)挖掘的任務(wù)劃分，常用于數(shù)據(jù)預(yù)警預(yù)測的主要有分類、聚類、關(guān)聯(lián)規(guī)則、時(shí)間序列等。

分類挖掘算法的核心是制定某種規(guī)則模型，機(jī)器按照規(guī)則模型將大量的有效樣本數(shù)據(jù)進(jìn)行區(qū)分;在分類過程中，可以將樣本數(shù)據(jù)分成兩類或多類。進(jìn)行分類挖掘運(yùn)算，需要建立一個(gè)可以描述數(shù)據(jù)類集或者概念集的一個(gè)模型。這個(gè)建立的模型是依據(jù)屬性描述的數(shù)據(jù)元組屬性構(gòu)成的，每個(gè)元組作為數(shù)據(jù)訓(xùn)練集中的訓(xùn)練樣本，根據(jù)類的不同劃分不同標(biāo)號，標(biāo)號確定樣本的屬性，這些數(shù)據(jù)元組形成訓(xùn)練數(shù)據(jù)集合。常用分類規(guī)則、數(shù)學(xué)公式或者判定的樹形結(jié)構(gòu)來確定學(xué)習(xí)模型;然后使用該模型分類，通過評估判斷預(yù)測模型的準(zhǔn)確性，如果預(yù)測模型準(zhǔn)確程度可以接受，就用該模型對未知的數(shù)據(jù)隊(duì)形完成分類;如果準(zhǔn)確度不能達(dá)到要求，就需要重新做第一步的工作，重新構(gòu)建分類預(yù)測模型。

聚類挖掘算法是數(shù)據(jù)挖掘技術(shù)中另一個(gè)非常重要的技術(shù)手段和方法，它是將樣本數(shù)據(jù)按照特定的屬性聚集在一起，根據(jù)樣本與模型的相似度進(jìn)行匹配，也就是把一個(gè)體按照相似性劃分成若干個(gè)類別，以實(shí)現(xiàn)對數(shù)據(jù)樣本的聚集歸類，可以理解為人們常說的“物以類聚”。在經(jīng)過歸類后，得到一組一組數(shù)據(jù)對象的集合。這些集合內(nèi)的元素彼此之間有較強(qiáng)的相似性，集合之間的元素之間有較大的差異性。在應(yīng)用過程中常把一個(gè)集合中的全部元素作為一個(gè)整體看待。常見的聚類挖掘算法流程如圖1所示。

關(guān)聯(lián)規(guī)則挖掘算法是用來尋找數(shù)據(jù)樣本中潛在的對用戶有用的聯(lián)系。在大量的數(shù)據(jù)樣本中，找到所有的高頻項(xiàng)，再在這些項(xiàng)中找到相互聯(lián)系的規(guī)則，即A事件的發(fā)生將觸發(fā)與之關(guān)聯(lián)的B事件發(fā)生，挖掘策略主要是尋找最小支持度閾值的頻繁項(xiàng)和頻繁項(xiàng)中的高置信度。關(guān)聯(lián)規(guī)則首次提出是為了解決商家關(guān)于庫存量、進(jìn)貨量的安排等問題。Agrawal等提出的Apriori算法，通過挖掘顧客交易數(shù)據(jù)中商品關(guān)聯(lián)關(guān)系，得到了客戶購物的一般購物模式結(jié)果。

時(shí)間序列挖掘算法是一種應(yīng)用廣泛的分析方法，已在股指預(yù)測、生產(chǎn)過程監(jiān)測、電氣系統(tǒng)監(jiān)測、銷售額預(yù)測等領(lǐng)域發(fā)揮了重要作用。它是對在不同時(shí)間下取得的樣本數(shù)據(jù)進(jìn)行挖掘，用于分析樣本數(shù)據(jù)之間的變化趨勢，這些數(shù)據(jù)是要按照一定的時(shí)間間隔排列的。從數(shù)據(jù)的時(shí)間特性入手，獲取數(shù)據(jù)知識，其主要手段是要對時(shí)間特性進(jìn)行分析，找尋事物演變的過程。換言之，即為從眾多時(shí)間序列樣本中挖掘隱藏的、與時(shí)間關(guān)系聯(lián)系緊密的規(guī)則，并對時(shí)間數(shù)據(jù)的發(fā)展趨勢進(jìn)行預(yù)測。時(shí)間序列挖掘主要用于對數(shù)據(jù)進(jìn)行可視化描述;分析給定時(shí)間序列的產(chǎn)生原理，尋找兩個(gè)或兩個(gè)以上變量間的關(guān)系;根據(jù)現(xiàn)有數(shù)據(jù)通過模型進(jìn)行擬合，預(yù)測未來時(shí)間的數(shù)據(jù);通過改變時(shí)間序列模型的輸入變量，得到符合目標(biāo)的輸出變量，這可以幫助決策者及時(shí)調(diào)整變量，進(jìn)行有效控制。

聚類和關(guān)聯(lián)規(guī)則本質(zhì)上屬于描述型模型，主要是需要通過對數(shù)據(jù)之間隱含的模式或者關(guān)系進(jìn)行挖掘識別，從而發(fā)現(xiàn)所需要的知識。這類方法要求的數(shù)據(jù)類型較多，獲取程度上也較復(fù)雜。分類和時(shí)間序列分析屬于預(yù)測型模型，是以時(shí)間為關(guān)鍵屬性開展的，分析歷史或當(dāng)前的數(shù)據(jù)，從而推導(dǎo)出未來的趨勢。這類模型對數(shù)據(jù)的時(shí)間連續(xù)性要求較強(qiáng)，同時(shí)由于使用的數(shù)據(jù)類型相對單一，在數(shù)據(jù)的獲取上較容易實(shí)現(xiàn)。

3 結(jié)語

通過對數(shù)據(jù)挖掘相關(guān)知識的總結(jié)梳理和分類，對數(shù)據(jù)挖掘應(yīng)用的領(lǐng)域有了深刻的認(rèn)識，為今后相關(guān)的研究奠定了一定的理論基礎(chǔ)，給同仁在此方面的研究提供借鑒參考價(jià)值。

參考文獻(xiàn)

[1] 劉健.基于數(shù)據(jù)挖掘的軟件系統(tǒng)優(yōu)化與重構(gòu)的研究[D].河北工業(yè)大學(xué)，2013.

[2] 武書彥，李咚.數(shù)據(jù)挖掘的探索性研究[J].制造業(yè)自動化，2011，33（2）：98-100.

[3] 張瑩.基于SVR的案例挖掘的應(yīng)用研究[D].合肥工業(yè)大學(xué)，2011.

[4] 王旺.數(shù)據(jù)挖掘在零售行業(yè)的應(yīng)用[D].云南大學(xué)，2016.