摘 要:隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)通信技術(shù)的不斷發(fā)展,數(shù)據(jù)信息逐漸成為當(dāng)前社會(huì)各行各業(yè)發(fā)展的關(guān)鍵。如何在海量數(shù)據(jù)中挖掘出對(duì)企業(yè)發(fā)展有利的信息是當(dāng)前各行各業(yè)研究熱點(diǎn),也是未來(lái)計(jì)算機(jī)領(lǐng)域發(fā)展的主要方向。本文從數(shù)據(jù)挖掘技術(shù)的相關(guān)概念出發(fā),對(duì)時(shí)態(tài)約束關(guān)聯(lián)規(guī)則挖掘問(wèn)題及算法,數(shù)據(jù)分割下的挖掘問(wèn)題及算法進(jìn)行了簡(jiǎn)單分析,結(jié)合相關(guān)內(nèi)容簡(jiǎn)單介紹了交互式的可視化方法。
關(guān)鍵詞:數(shù)據(jù)挖掘;關(guān)聯(lián)規(guī)則
中圖分類(lèi)號(hào):TP311.13
1 數(shù)據(jù)挖掘技術(shù)
1.1 數(shù)據(jù)挖掘概念
所謂數(shù)據(jù)挖掘,簡(jiǎn)單理解就是從海量數(shù)據(jù)中挖掘出對(duì)用戶(hù)有利用價(jià)值的信息,并根據(jù)分析結(jié)果判斷數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系。人們利用數(shù)據(jù)技術(shù)的主要目的就在于從混亂的數(shù)據(jù)信息中分析出能夠?qū)ξ磥?lái)經(jīng)營(yíng)策略有用的信息,進(jìn)而能夠更好更高效的經(jīng)營(yíng)企業(yè),獲得更多經(jīng)營(yíng)利潤(rùn)。
1.2 數(shù)據(jù)挖掘技術(shù)分類(lèi)
關(guān)于數(shù)據(jù)挖掘針對(duì)其挖掘的對(duì)象,大致的可以做出以下分類(lèi),具體分為時(shí)態(tài)數(shù)據(jù)庫(kù)、異質(zhì)數(shù)據(jù)庫(kù)、文本數(shù)據(jù)源、關(guān)系數(shù)據(jù)庫(kù)面向?qū)ο髷?shù)據(jù)庫(kù)(Object-Oriented Database)、空間數(shù)據(jù)庫(kù)、遺產(chǎn)數(shù)據(jù)庫(kù)、多媒體數(shù)據(jù)庫(kù)以及web等比較具有針對(duì)性的挖掘?qū)ο?。針?duì)數(shù)據(jù)挖掘的方法大致的可以歸納為:計(jì)算機(jī)學(xué)習(xí)法、數(shù)理統(tǒng)計(jì)法、信息聚類(lèi)分析法、遺傳算法Genetic Algorithm、神經(jīng)網(wǎng)絡(luò) Neural Network探索性分析法、不確定性推理和近似推理法、數(shù)據(jù)分析法、證據(jù)理論和元模式法、數(shù)據(jù)集成方法、當(dāng)代數(shù)學(xué)分析法等。
1.3 數(shù)據(jù)挖掘應(yīng)用分析
隨著當(dāng)前計(jì)算機(jī)技術(shù)和信息技術(shù)的飛速發(fā)展,數(shù)據(jù)分析已經(jīng)成為當(dāng)前各行各業(yè)的重要研究?jī)?nèi)容,數(shù)據(jù)挖掘技術(shù)可以說(shuō)是時(shí)代發(fā)展的產(chǎn)物。傳統(tǒng)意義上的數(shù)據(jù)收集已經(jīng)很難以應(yīng)付當(dāng)前數(shù)據(jù)信息瞬息萬(wàn)變的局面,企業(yè)需要發(fā)展就需要高價(jià)值率的數(shù)據(jù)庫(kù)作保證。企業(yè)在市場(chǎng)競(jìng)爭(zhēng)中,只有掌握了最為準(zhǔn)確的市場(chǎng)分析數(shù)據(jù),才能夠更好的去確定未來(lái)的發(fā)展方向,才能夠更好的提高資金利用率。高層次數(shù)據(jù)分析是很多企業(yè)所面臨的重點(diǎn)問(wèn)題,不管是行政決策還是市場(chǎng)預(yù)判,均需要這類(lèi)數(shù)據(jù)來(lái)提供可靠參考。所以,研究數(shù)據(jù)挖掘技術(shù)與關(guān)聯(lián)規(guī)則挖掘算法具有非常重要的現(xiàn)實(shí)意義。
2 時(shí)態(tài)約束關(guān)聯(lián)規(guī)則挖掘問(wèn)題及算法
2.1 聚焦挖掘任務(wù),提高挖掘效率
早期的數(shù)據(jù)挖掘理論主要研究方向是模型建立及挖掘算法設(shè)計(jì),不同企業(yè)所收集數(shù)據(jù)類(lèi)型不同,所以在實(shí)際使用過(guò)程中模型及算法的確定也不同。傳統(tǒng)數(shù)據(jù)挖掘過(guò)程,首先需要做的是對(duì)提供的數(shù)據(jù)庫(kù)進(jìn)行全面分析,然后再結(jié)合用戶(hù)需求進(jìn)行更為深入細(xì)致的研究,制定出最佳數(shù)據(jù)挖掘模型,如果最終所得到的分析結(jié)果并未達(dá)到用戶(hù)滿(mǎn)意,則重新分析研究制定模型進(jìn)行二次數(shù)據(jù)挖掘。算法也是影響數(shù)據(jù)挖掘結(jié)果的關(guān)鍵,不同算法在不同模型下所得到的結(jié)果也不同,因此制定數(shù)據(jù)挖掘模型及算法是用戶(hù)是否能夠得到預(yù)期結(jié)果的重要參數(shù)。
2.2 保證挖掘的精確性
雖然數(shù)據(jù)挖掘的目的是為了能夠幫助用戶(hù)獲得更多有價(jià)值的參考結(jié)論,但其結(jié)果具有不可預(yù)測(cè)性的特點(diǎn)。數(shù)據(jù)挖掘過(guò)程中算法的運(yùn)用還會(huì)設(shè)計(jì)很多問(wèn)題,這些問(wèn)題的出現(xiàn)肯定會(huì)對(duì)最終的結(jié)果可靠性造成一定影響,因此必須要在算法中加入反饋機(jī)制,以便于在計(jì)算過(guò)程中對(duì)結(jié)果進(jìn)行測(cè)試和修正。
3 數(shù)據(jù)分割下的挖掘問(wèn)題及算法
對(duì)于理論基礎(chǔ)比較成熟的算法——Apriori算法,研究的側(cè)重點(diǎn)已經(jīng)變?yōu)樾蕟?wèn)題,人們也提出了各種的改進(jìn)算法,本文選區(qū)幾種比較有代表性的加以介紹。
3.1 減少事務(wù)的個(gè)數(shù)
如果在事務(wù)處理過(guò)程中去除長(zhǎng)度小于k的項(xiàng)目集,那么在后期計(jì)算過(guò)程中肯定不會(huì)再出現(xiàn)長(zhǎng)度為k+1的項(xiàng)目集。因此,在數(shù)據(jù)挖掘過(guò)程中我們可以通過(guò)算法直接將無(wú)用事務(wù)濾除,以便于在下輪掃描過(guò)程中簡(jiǎn)化操作過(guò)程,提高數(shù)據(jù)挖掘效率。
3.2 基于劃分的方法
這類(lèi)算法的比較典型的是頻繁項(xiàng)目生成算法,該算法原理在于:把數(shù)據(jù)庫(kù)分解成邏輯上互不交叉的部分,而每次只需要單獨(dú)考慮一個(gè)分塊,在這樣的分塊中,研究怎樣能夠發(fā)掘頻繁項(xiàng)目集;而對(duì)于怎樣將數(shù)據(jù)進(jìn)入存儲(chǔ)中,可以把需要處理的分塊放入計(jì)算機(jī)內(nèi)存中,這樣有利于算法的并行處理,數(shù)據(jù)量相對(duì)于不分塊前減少,提高了數(shù)據(jù)挖掘的速度。
3.3 基于采樣的方法
數(shù)據(jù)庫(kù)抽樣計(jì)算的目的是獲得更直接的規(guī)則,進(jìn)而能夠方便于后期的數(shù)據(jù)挖掘過(guò)程,通過(guò)抽樣檢驗(yàn)我們可以更為直觀(guān)的判斷關(guān)聯(lián)規(guī)則是否有效,是否能夠更加簡(jiǎn)便的獲得用戶(hù)所需目標(biāo)。基于采樣的數(shù)據(jù)挖掘算法在實(shí)現(xiàn)方法上要容易一些,而且還可以最大限度的降低數(shù)據(jù)挖掘過(guò)程所需要提供的I/O成本。但同時(shí)這種算法也會(huì)使得抽樣數(shù)據(jù)隨機(jī)性大大增加,進(jìn)而使得數(shù)據(jù)挖掘過(guò)程中出現(xiàn)的問(wèn)題增多,給數(shù)據(jù)挖掘帶來(lái)額外負(fù)擔(dān)?;诮y(tǒng)計(jì)學(xué)理論的抽樣算法,雖然在計(jì)算精度上無(wú)法與其他算法相媲美,但如果我們結(jié)合相關(guān)數(shù)據(jù)挖掘理論進(jìn)行更為深入的分析研究,還是能夠在精度上進(jìn)行一定的彌補(bǔ)。
4 交互式的可視化方法
關(guān)聯(lián)規(guī)則可視化研究是當(dāng)前關(guān)聯(lián)規(guī)則挖掘在數(shù)據(jù)挖掘技術(shù)走向?qū)嵱没闹匾獌?nèi)容之一,通過(guò)直觀(guān)的、易懂的方式展現(xiàn)給用戶(hù)是關(guān)聯(lián)規(guī)則挖掘是否能夠高效應(yīng)用的關(guān)鍵。當(dāng)前社會(huì)上可視化方法中使用最為廣泛的是有向圖、2D矩陣、3D顯示等幾種,這些方法中已經(jīng)在實(shí)際生活中得到了廣泛認(rèn)可。但它們均有一個(gè)共同的特點(diǎn)就是將數(shù)據(jù)挖掘所得到的所有結(jié)果一次性通過(guò)不同顏色或者不同形狀展現(xiàn)在表或者圖中,這種頁(yè)面顯示必然會(huì)存在一定的混亂性,以致于其顯示效果大打折扣。正是在這種前提下,交互式可視化方法受到了研究人員的關(guān)注。交互式可視化方法顯示方式為:
第一,從宏觀(guān)上來(lái)把握項(xiàng)與項(xiàng)之間存在的關(guān)系,通過(guò)不同圖形或者顏色來(lái)達(dá)到視覺(jué)突出的效果,進(jìn)而能夠讓用戶(hù)更加直觀(guān)的看到數(shù)據(jù)挖掘結(jié)果。關(guān)聯(lián)規(guī)則挖掘所得到的結(jié)果中不同項(xiàng)與項(xiàng)之間是使用線(xiàn)條連接起來(lái)的,在這種情況下,用戶(hù)可以通過(guò)了解某一個(gè)項(xiàng)其內(nèi)部的關(guān)聯(lián)信息,進(jìn)而解決由于線(xiàn)條過(guò)多而造成的頁(yè)面混亂情況。
第二,從微觀(guān)上更加精確的把握每一個(gè)關(guān)聯(lián)規(guī)則的支持度和信任度,通過(guò)數(shù)字化的形式來(lái)給出挖掘結(jié)果的表示比,進(jìn)而幫助用戶(hù)更直觀(guān)更準(zhǔn)確的獲得數(shù)據(jù)挖掘結(jié)果。
第三,從分類(lèi)顯示的角度出發(fā),將數(shù)據(jù)挖掘所得出的沒(méi)有使用價(jià)值的規(guī)則剔除,通過(guò)不同圖形或者顏色來(lái)增加視覺(jué)效果,這樣從根本上提高了數(shù)據(jù)挖掘可視化目的。
5 結(jié)束語(yǔ)
數(shù)據(jù)挖掘技術(shù)與關(guān)聯(lián)規(guī)則挖掘算法所包含的內(nèi)容有很多,本文只是簡(jiǎn)單介紹了其中較為重要的一部分。在今后的工作中,筆者將繼續(xù)致力于該領(lǐng)域的研究工作,以期能夠獲得更多有價(jià)值的研究成果。
參考文獻(xiàn):
[1]孟海東,李丹丹,吳鵬飛.基于數(shù)據(jù)場(chǎng)的量化關(guān)聯(lián)規(guī)則挖掘方法設(shè)計(jì)[J].計(jì)算機(jī)與現(xiàn)代化,2013(01):8-11.
[2]陸新慧,吳陳,楊習(xí)貝.空間關(guān)聯(lián)規(guī)則挖掘技術(shù)的研究及應(yīng)用[J].計(jì)算機(jī)技術(shù)與發(fā)展,2013(05):26-29+33.
[3]劉愛(ài)宏,史春燕.基于數(shù)據(jù)挖掘的現(xiàn)代物流信息系統(tǒng)管理問(wèn)題研究[J].物流技術(shù),2013(09):381-383.
作者簡(jiǎn)介:王權(quán)(1982.01-),男,甘肅人,講師,本科,研究方向:計(jì)算機(jī)科學(xué)與技術(shù);王軍(1978.01-),男,甘肅平?jīng)鋈耍v師,碩士,研究方向:軟件算法;史子新(1980.02-),男,甘肅武威人,講師,碩士,研究方向:計(jì)算機(jī)網(wǎng)絡(luò)管理。
作者單位:武威職業(yè)學(xué)院,甘肅武威 733000