劉樹寶

摘要：由于現(xiàn)代科技的發(fā)展，網(wǎng)上的各類信息數(shù)據(jù)越來越多，面對(duì)這些海量數(shù)據(jù)，數(shù)據(jù)挖掘技術(shù)得以開發(fā)和發(fā)展。數(shù)據(jù)挖掘技術(shù)可以將大量數(shù)據(jù)信息進(jìn)行處理從而輸出想要的結(jié)果，其中融合了多種算法。相比于傳統(tǒng)方法，具有一定的可行性和優(yōu)越性。該文主要是分析數(shù)據(jù)挖掘技術(shù)相關(guān)的開發(fā)和應(yīng)用，探究數(shù)據(jù)挖掘技術(shù)的工作流程和所帶來的貢獻(xiàn)。

關(guān)鍵詞：數(shù)據(jù)挖掘技術(shù);開發(fā);應(yīng)用

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）15-0057-02

隨著“大數(shù)據(jù)”時(shí)代的到來，海量的信息數(shù)據(jù)給用戶和商家都帶來了不必要的麻煩，然而，數(shù)據(jù)挖掘技術(shù)的出現(xiàn)緩解了這個(gè)麻煩的問題，因此，數(shù)據(jù)挖掘技術(shù)越來越被各行各業(yè)的研究人員重視。

1大數(shù)據(jù)中的數(shù)據(jù)挖掘技術(shù)

1.1大數(shù)據(jù)的現(xiàn)狀

從現(xiàn)在來看，大數(shù)據(jù)無非是指的來自各個(gè)商業(yè)或是平臺(tái)的海量信息，對(duì)于現(xiàn)有的傳統(tǒng)數(shù)據(jù)庫無法表示或是處理這些過載的信息。隨著時(shí)間和技術(shù)的進(jìn)步，信息匱乏的時(shí)代已經(jīng)結(jié)束，隨之而來的是“海量數(shù)據(jù)”或是“信息過載”等爆炸式信息涌來，這便是大數(shù)據(jù)的到來，一些文章中對(duì)大數(shù)據(jù)做了定義，大數(shù)據(jù)指的是各種類型的數(shù)據(jù)集組合在一起的大數(shù)據(jù)集合。

由于這些大量數(shù)據(jù)的出現(xiàn)，給人們帶來了很多不必要的麻煩，例如，我想要看一部電影，我打開一些電影方面的網(wǎng)站，發(fā)現(xiàn)有海量的電影數(shù)據(jù)，我無法找到比較心儀的一部電影，對(duì)我造成了很大的困擾。如何處理這些數(shù)據(jù)成為如今將要解決的問題，由于大數(shù)據(jù)所包含的范圍很大，它包含了很多傳統(tǒng)數(shù)據(jù)分析工具很難處理的問題，因此，數(shù)據(jù)挖掘技術(shù)被提出用于緩解大數(shù)據(jù)所造成的困擾。

1.2數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘技術(shù)指的是結(jié)合現(xiàn)有的數(shù)據(jù)集，分析數(shù)據(jù)并在其中挖掘一些對(duì)我們有益的信息或是規(guī)則。并且，數(shù)據(jù)挖掘技術(shù)給各行各業(yè)都帶來了便利，例如：需求比較大的物聯(lián)網(wǎng)，互聯(lián)網(wǎng)平臺(tái)等。數(shù)據(jù)挖掘技術(shù)通過分析和處理大數(shù)據(jù)，能夠幫助平臺(tái)精準(zhǔn)的預(yù)測(cè)或是推薦一些信息數(shù)據(jù)。

數(shù)據(jù)挖掘技術(shù)通過發(fā)掘數(shù)據(jù)庫中的大量信息來獲取平臺(tái)或是商家所需要的信息。雖然數(shù)據(jù)挖掘技術(shù)融合了很多種復(fù)雜算法，但是它遵循著一套總體的流程或是規(guī)則。在運(yùn)行的時(shí)候，各個(gè)算法按著秩序分工合作從而擺脫了很多麻煩，達(dá)到自己的目標(biāo)。數(shù)據(jù)挖掘技術(shù)一般分為三個(gè)階段，分別是翻譯數(shù)據(jù)、預(yù)處理數(shù)據(jù)和分析數(shù)據(jù)建模。其中，翻譯數(shù)據(jù)其實(shí)就是轉(zhuǎn)換數(shù)據(jù)的意思，將數(shù)據(jù)做轉(zhuǎn)換使其在計(jì)算機(jī)允許的格式范圍內(nèi)，在這個(gè)階段中，會(huì)選擇一些有價(jià)值的數(shù)據(jù)供后續(xù)使用;預(yù)處理數(shù)據(jù)階段對(duì)上一步所篩選和轉(zhuǎn)換的數(shù)據(jù)進(jìn)一步初始化，提高數(shù)據(jù)質(zhì)量，保障后續(xù)工作高效運(yùn)行，不會(huì)因?yàn)閿?shù)據(jù)問題干擾后續(xù)工作;后面是對(duì)數(shù)據(jù)的建模，根據(jù)實(shí)際所提出的需求，對(duì)上面處理后的數(shù)據(jù)進(jìn)行分析和建模，發(fā)現(xiàn)其中所存在的規(guī)則，這些數(shù)據(jù)會(huì)遵循這些規(guī)則所運(yùn)行，得出最后的結(jié)果。

總之，數(shù)據(jù)挖掘技術(shù)是針對(duì)大數(shù)據(jù)做處理的，它幫助各個(gè)平臺(tái)和商業(yè)解決了不少麻煩，數(shù)據(jù)挖掘技術(shù)是目前大數(shù)據(jù)領(lǐng)域和信息化領(lǐng)域所重視的一個(gè)研究課題，加快了現(xiàn)代科技的腳步。

2數(shù)據(jù)挖掘技術(shù)的開發(fā)

2.1傳統(tǒng)方法

在開發(fā)計(jì)算機(jī)數(shù)據(jù)挖掘技術(shù)的過程中，統(tǒng)計(jì)是相較于其他方法來說最為傳統(tǒng)的方法，主要包括了以下幾種：第一是抽樣分析方法。主要是從所有數(shù)據(jù)中抽取一部分?jǐn)?shù)據(jù)來當(dāng)作研究樣本，旨在降低人們的工作壓力，有效減少數(shù)據(jù)分析的數(shù)量。第二則是多遠(yuǎn)統(tǒng)計(jì)分析方法。此方法所面對(duì)的對(duì)象基本是那些具有復(fù)雜結(jié)構(gòu)以及較高維數(shù)的因子與數(shù)據(jù)。除此之外就是統(tǒng)計(jì)預(yù)測(cè)方法，主要內(nèi)容包含了回歸分析預(yù)測(cè)分析法以及序列分析法。

2.2數(shù)據(jù)挖掘技術(shù)中的六種算法

數(shù)據(jù)挖掘技術(shù)是融合了各類算法，各個(gè)算法分工合作來提高對(duì)于數(shù)據(jù)的處理，相比普通的數(shù)據(jù)分析處理方法，數(shù)據(jù)挖掘技術(shù)更具有高效性、優(yōu)越性和全面性。從現(xiàn)實(shí)生活來看，大數(shù)據(jù)對(duì)于可視化數(shù)據(jù)的處理能力在廠商和平臺(tái)看來應(yīng)用更為便利和廣泛。因此，大數(shù)據(jù)中的有價(jià)值的信息是更為重要的，也就是說，數(shù)據(jù)挖掘技術(shù)對(duì)于數(shù)據(jù)的加工能力是研究人員所要重視的地方。目前的數(shù)據(jù)挖掘算法有很多，主要分為六類，分別是回歸算法、分類算法、聚類分析、神經(jīng)網(wǎng)絡(luò)方法、關(guān)聯(lián)規(guī)則和Web數(shù)據(jù)挖掘嘲。其中，回歸算法是指分析因變量與它的多個(gè)自變量的關(guān)系并發(fā)掘變量的屬性值之間是否有一定的規(guī)則或是相似性，這樣就可以得到兩個(gè)數(shù)據(jù)點(diǎn)之間的聯(lián)系從而設(shè)計(jì)一些算法;分類算法指的是根據(jù)數(shù)據(jù)的類型不同點(diǎn)，將數(shù)據(jù)分為幾種類型;聚類分析相當(dāng)于找出數(shù)據(jù)之間的相似性，根據(jù)分類分析的方法再次做劃分;神經(jīng)網(wǎng)絡(luò)方法是一種學(xué)習(xí)的方法，就像大腦一樣思考和學(xué)習(xí)，對(duì)于輸入的訓(xùn)練集進(jìn)行學(xué)習(xí)和訓(xùn)練，對(duì)神經(jīng)網(wǎng)絡(luò)算法中的參數(shù)進(jìn)行設(shè)定，然后到測(cè)試集中測(cè)試，即處理實(shí)際數(shù)據(jù);關(guān)聯(lián)規(guī)則是指數(shù)據(jù)中數(shù)據(jù)集合與數(shù)據(jù)集合之間的某種聯(lián)系的算法;Web數(shù)據(jù)挖掘方法即從網(wǎng)頁中不斷挖掘并收集所需數(shù)據(jù)。

數(shù)據(jù)挖掘技術(shù)通過結(jié)合六類算法中的一個(gè)或是幾個(gè)解決目前的需求，而不是只運(yùn)用其中一個(gè)算法，它對(duì)大數(shù)據(jù)制定了一套規(guī)則，形成一套具有通用性的算法解決大數(shù)據(jù)的問題。相比傳統(tǒng)方法，更加滿足客戶和商戶以及平臺(tái)的需求。

2.3數(shù)據(jù)挖掘法之軸線型

軸線型方法指把處理數(shù)據(jù)的整個(gè)過程看成一條軸線，這條軸線的整個(gè)流程即為數(shù)據(jù)挖掘的過程，從數(shù)據(jù)的輸入開始，經(jīng)過數(shù)據(jù)的預(yù)處理和分析，最后將數(shù)據(jù)輸出。這個(gè)方法使得各個(gè)步驟分工明確，實(shí)現(xiàn)起來也很方便，但是也有很大的缺點(diǎn)，如果前一個(gè)步驟出現(xiàn)問題，將影響下面的步驟無法繼續(xù)進(jìn)行，比較耗時(shí)。

2.4數(shù)據(jù)挖掘法之環(huán)形

環(huán)形方法也就是將數(shù)據(jù)處理過程分布在一個(gè)環(huán)中，環(huán)的周長(zhǎng)也就是數(shù)據(jù)挖掘的工作時(shí)長(zhǎng)。環(huán)中的數(shù)據(jù)也就是數(shù)據(jù)的輸入和輸出，中間經(jīng)歷預(yù)處理和分析，和軸線型相同，但是這種方法相比軸線型效率更高，因?yàn)榇舜螖?shù)據(jù)挖掘工作完成后可以馬上運(yùn)行到下一次循環(huán)中，不斷持續(xù)，不會(huì)間斷，但是整個(gè)過程相對(duì)復(fù)雜，實(shí)現(xiàn)比較困難。

2.5數(shù)據(jù)挖掘法之決策樹

決策樹數(shù)據(jù)挖掘法是一種內(nèi)含有龐大數(shù)據(jù)，并圍繞這些數(shù)據(jù)展開統(tǒng)計(jì)分類以及計(jì)算預(yù)測(cè)的挖掘手段，這種方式主要是依照有關(guān)數(shù)據(jù)，以此為基礎(chǔ)展開數(shù)據(jù)操作。決策樹中涵蓋了許多針對(duì)數(shù)據(jù)分析的方法，現(xiàn)階段比較完善的是CHAID以及RINT這兩種計(jì)算統(tǒng)計(jì)方法。而當(dāng)今計(jì)算機(jī)技術(shù)正在不斷向前發(fā)展，有關(guān)數(shù)據(jù)統(tǒng)計(jì)的方式也在隨之變得更為完善與科學(xué)，例如SLIQ和SPRINT技術(shù)就對(duì)連續(xù)屬性的處理提出了更優(yōu)良的解決策略，能夠?qū)⒎彪s的數(shù)據(jù)有序統(tǒng)一到?jīng)Q策樹上。

3數(shù)據(jù)挖掘技術(shù)的應(yīng)用

3.1市場(chǎng)方面

對(duì)于市場(chǎng)需求的統(tǒng)計(jì)是比較麻煩的，因?yàn)橐粋€(gè)公司要推出一款產(chǎn)品之前，首先需要調(diào)查市場(chǎng)上面能夠使用該產(chǎn)品的用戶以及用戶的需求，對(duì)于如何了解市場(chǎng)人群的興趣點(diǎn)是一個(gè)問題，這時(shí)候就可以用數(shù)據(jù)挖掘技術(shù)來解決這個(gè)問題，通過數(shù)據(jù)挖掘技術(shù)統(tǒng)計(jì)這些需求數(shù)據(jù)并根據(jù)算法計(jì)算出用戶的需求偏好度，遵循用戶的需求和滿意度去設(shè)計(jì)產(chǎn)品的質(zhì)量。例如，如今流行的電商平臺(tái)像淘寶、京東等，它們都會(huì)有一些猜你喜歡或是興趣度推薦提供，這些提供是根據(jù)用戶的歷史行為數(shù)據(jù)進(jìn)行建模，預(yù)測(cè)用戶的興趣度和喜好度，然后將用戶可能喜歡的商品展示在用戶面前，這樣既省去了用戶找某類不能描述的商品的時(shí)間，提高了購買率，也給商家?guī)砹素S厚的利潤。

3.2電信行業(yè)

電信行業(yè)與數(shù)據(jù)原本就有比較密切的聯(lián)系;正因如此，運(yùn)用數(shù)據(jù)挖掘技術(shù)能夠有效促進(jìn)此行業(yè)穩(wěn)步發(fā)展。縱觀目前電信行業(yè)的發(fā)展現(xiàn)狀，其在價(jià)格競(jìng)爭(zhēng)方面的態(tài)勢(shì)是十分激烈的，而伴隨著通信市場(chǎng)的日新月異，對(duì)電信行業(yè)中的各大運(yùn)營商也提出了巨大挑戰(zhàn)?，F(xiàn)階段中國電信行業(yè)正處于改革大背景之下，不僅促進(jìn)了市場(chǎng)的有序競(jìng)爭(zhēng)，也推動(dòng)了電信市場(chǎng)的“更上一層樓”，電信行業(yè)朝著信息化與集團(tuán)化方向發(fā)展已然成了該行業(yè)發(fā)展的大趨勢(shì)。除此之外，移動(dòng)、電信、聯(lián)通等各大運(yùn)營商之間的競(jìng)爭(zhēng)日趨激烈以及5G技術(shù)的出現(xiàn)，使得其在客戶服務(wù)水平上也向前邁出了一大步，很顯然，現(xiàn)階段移動(dòng)信息化對(duì)于全球信息化服務(wù)起到的作用是決定性的。利用數(shù)據(jù)挖掘技術(shù)來深入探索大數(shù)據(jù)信息，主要內(nèi)容涵蓋了數(shù)據(jù)統(tǒng)計(jì)、業(yè)務(wù)數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、交易數(shù)據(jù)以及日常數(shù)據(jù)分析等等，并與預(yù)測(cè)預(yù)警以及數(shù)據(jù)試驗(yàn)等模型相結(jié)合，從而為客戶打造更優(yōu)良完善的服務(wù)體系，以此來促使經(jīng)濟(jì)的進(jìn)一步發(fā)展;但是，由于數(shù)據(jù)挖掘的工具基本上都屬于共享形式，因此，運(yùn)營商應(yīng)該以挖掘工具為基礎(chǔ)形式，不斷展開創(chuàng)新創(chuàng)造，全面增強(qiáng)自身的市場(chǎng)競(jìng)爭(zhēng)力。

3.3半導(dǎo)體行業(yè)

將計(jì)算機(jī)數(shù)據(jù)挖掘技術(shù)應(yīng)用于半導(dǎo)體這個(gè)領(lǐng)域當(dāng)中，其主要作用就是對(duì)軟件進(jìn)行精準(zhǔn)檢測(cè)。大體流程如下：在生產(chǎn)半導(dǎo)體元件的過程中，通過采集有關(guān)的元件數(shù)據(jù)信息，結(jié)合數(shù)據(jù)挖掘技術(shù)對(duì)元件信息展開精準(zhǔn)的分析，從而判斷此元件的質(zhì)量是否符合規(guī)格標(biāo)準(zhǔn)，從而確保半導(dǎo)體能夠正常投入使用。因此，計(jì)算機(jī)數(shù)據(jù)挖掘技術(shù)的使用，有效提高了判斷元件合格與否的正確率。

3.4金融方面

不單單是指上述方面，數(shù)據(jù)挖掘方法在各個(gè)領(lǐng)域都有很大的應(yīng)用，每個(gè)企業(yè)都有對(duì)于金融的管理，因?yàn)橐粋€(gè)公司的金融支持著整個(gè)公司的運(yùn)作，所以企業(yè)的規(guī)模與金融的管理和分析有著密切的聯(lián)系。例如，通過處理和分析數(shù)據(jù)去預(yù)測(cè)公司股票，防御投資所帶來的風(fēng)險(xiǎn)。這里可以投資某個(gè)股票前，通過數(shù)據(jù)挖掘技術(shù)，建模股票的生命周期中的數(shù)據(jù)，做出未來所出現(xiàn)的可能性比較大的各類風(fēng)險(xiǎn)，防止公司的錯(cuò)誤投資，為公司的金融作保障，減少公司所帶來的不必要的損失;除了這方面，它對(duì)于工作環(huán)境的預(yù)測(cè)和分析也有很大便利，例如，對(duì)于一些危險(xiǎn)系數(shù)比較高的行業(yè)，可以通過數(shù)據(jù)挖掘技術(shù)建立模型對(duì)周圍環(huán)境做分析，并設(shè)計(jì)周圍環(huán)境的危險(xiǎn)系數(shù)預(yù)警算法，如遇危險(xiǎn)，立即拉響警報(bào)，減少人員傷亡，為公司的工作人員的安全作保障;還有關(guān)于開采方面，數(shù)據(jù)挖掘技術(shù)也做出了不少貢獻(xiàn)，這方面的公司通過數(shù)據(jù)挖掘技術(shù)來幫助工作人員制定很好的開采方案，使得開采工作的效率增加。

3.5其他方面

除了以上幾種實(shí)際應(yīng)用之外，挖掘技術(shù)在稅務(wù)行業(yè)也被較為廣泛的使用。通過采取這項(xiàng)技術(shù)，能夠及時(shí)發(fā)現(xiàn)和追蹤某些單位的偷稅和漏稅問題，并展開第一時(shí)間的調(diào)查。數(shù)據(jù)挖掘技術(shù)圍繞不同領(lǐng)域的納稅人，對(duì)其商業(yè)行為的基本規(guī)律進(jìn)行分析與研究，提高了中國稅收工作的實(shí)際操作效率。此外，也有效預(yù)防了偷稅與漏稅等等問題的發(fā)生，從而進(jìn)一步保障了征稅工作的有序開展。

4結(jié)束語

總的來說，隨著科技的進(jìn)步和大數(shù)據(jù)的發(fā)展，網(wǎng)上的數(shù)據(jù)量會(huì)越來越多，數(shù)據(jù)挖掘是緩解這個(gè)麻煩的有效方法之一，目前的數(shù)據(jù)挖掘技術(shù)已經(jīng)很好地解決了很多問題，但是還是遠(yuǎn)遠(yuǎn)不夠的，因?yàn)樗臏?zhǔn)確性和普遍性還需要進(jìn)一步提高，因此，它仍然是相關(guān)領(lǐng)域的研究熱點(diǎn)。