李曉峰, 王妍瑋, 李 東

(1. 黑龍江外國語學(xué)院 信息工程系, 哈爾濱 150025; 2. 普度大學(xué) 機(jī)械工程系, 印第安納州 西拉法葉市 IN47906; 3. 哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 哈爾濱 150001)

0 引 言

大數(shù)據(jù)本身是一個(gè)比較抽象的概念, 主要指需要新處理模式才能具有更強(qiáng)的決策力、 洞察力和流程優(yōu)化能力的改良、 高增長率和多樣化的信息資產(chǎn)。由于在互聯(lián)網(wǎng)大數(shù)據(jù)中能描繪出具體的數(shù)據(jù)特征, 因此對(duì)其進(jìn)行數(shù)據(jù)挖掘具有較大的研究?jī)r(jià)值。在通常情況下大數(shù)據(jù)具有數(shù)據(jù)體量大、 數(shù)據(jù)類型繁多、 處理速度快以及價(jià)值密度低的特點(diǎn), 因此在對(duì)其挖掘過程中需要經(jīng)過幾個(gè)基本的挖掘步驟, 才能得到最終結(jié)果。通常在數(shù)據(jù)挖掘過程中, 首先進(jìn)行數(shù)據(jù)采集, 然后通過數(shù)據(jù)清理、 集成、 歸約以及變換等步驟, 完成數(shù)據(jù)的預(yù)處理過程, 最終經(jīng)過特征提取與處理、 數(shù)據(jù)建模與轉(zhuǎn)換, 輸出數(shù)據(jù)挖掘的最終評(píng)估結(jié)果。由于其數(shù)據(jù)信息不是靜態(tài)的, 而是以增量式形式逐漸增加的, 因此為了提高數(shù)據(jù)挖掘效率, 近些年人們提出了并行數(shù)據(jù)挖掘技術(shù), 通過將順序執(zhí)行的計(jì)算任務(wù)分解成多個(gè)可以同時(shí)執(zhí)行的子任務(wù), 并且其可以同時(shí)并行執(zhí)行, 最終完成整個(gè)計(jì)算任務(wù)。

量子算法是一種遵循量子力學(xué)規(guī)律調(diào)控量子信息單元進(jìn)行計(jì)算的新型計(jì)算模式, 張煥國等[1]主要分析了量子問題、 量子線路及量子算法復(fù)雜性的有關(guān)問題, 對(duì)量子環(huán)境下的算法設(shè)計(jì)和問題求解具有指導(dǎo)意義; 孫曉明[2]圍繞著量子算法、 計(jì)算復(fù)雜性、 程序理論、 電路和密碼學(xué), 對(duì)近些年來量子力學(xué)理論展開研究與總結(jié), 并展望了未來量子算法的發(fā)展方向; 許精明等[3]根據(jù)量子算法具有計(jì)算靈活, 結(jié)果準(zhǔn)確的優(yōu)點(diǎn), 將量子算法應(yīng)用于網(wǎng)絡(luò)節(jié)點(diǎn)擴(kuò)展的酉變換矩陣的研究中; 金貽榮等[4]主要研究了超導(dǎo)量子計(jì)算在抑制電荷、 磁通和準(zhǔn)粒子等幾種主要噪聲來源方面做出探索; 張?zhí)m等[5]主要對(duì)量子粒子群優(yōu)化算法進(jìn)行了研究; 周海鵬等[6]主要研究了自適應(yīng)混沌量子粒子群算法及其在WSN(Wireless Sensor Network)覆蓋優(yōu)化中的應(yīng)用; 張惠珍等[7]在傳統(tǒng)量子算法的基礎(chǔ)上, 利用量子蟻群算法分析了多車次同時(shí)送取貨物車輛路徑問題。

諸多專家學(xué)者對(duì)增量式大數(shù)據(jù)并行挖掘方法進(jìn)行了研究, 并取得了一定的研究成果。文獻(xiàn)[8]提出一種基于MapReduce的并行頻繁模式增量挖掘算法。由于傳統(tǒng)的頻繁模式挖掘算法是以“批處理”方式執(zhí)行的, 即一次性對(duì)所有數(shù)據(jù)進(jìn)行挖掘, 無法滿足不斷增長的大數(shù)據(jù)挖掘的需要, 因此引入MapReduce, 將傳統(tǒng)頻繁模式增量挖掘算法CanTree向MapReduce計(jì)算模型進(jìn)行了遷移, 實(shí)現(xiàn)了并行的頻繁模式增量挖掘。文獻(xiàn)[9]提出一種大數(shù)據(jù)環(huán)境下關(guān)聯(lián)規(guī)則并行分層挖掘算法, 將整個(gè)數(shù)據(jù)庫D隨機(jī)分割成若干個(gè)非重疊區(qū)域, 并行挖掘出局部頻繁項(xiàng)集, 利用先驗(yàn)性質(zhì)連接局部頻繁項(xiàng)集得到全局候選項(xiàng)集, 再次掃描D統(tǒng)計(jì)出每個(gè)候選項(xiàng)集的實(shí)際支持度, 以確定全局頻繁項(xiàng)集, 以此實(shí)現(xiàn)大數(shù)據(jù)并行挖掘。文獻(xiàn)[10]提出了時(shí)空大數(shù)據(jù)背景下并行數(shù)據(jù)處理分析挖掘方法, 以其作為研究基礎(chǔ), 重點(diǎn)從時(shí)空大數(shù)據(jù)的存儲(chǔ)管理、 時(shí)空分析和領(lǐng)域挖掘3個(gè)角度對(duì)并行化挖掘方法進(jìn)行了設(shè)計(jì)。

經(jīng)過研究發(fā)現(xiàn), 上述并行式數(shù)據(jù)挖掘方法無法考慮到大數(shù)據(jù)增量變化的問題, 在增量式大數(shù)據(jù)中召回率低, 不能全面且準(zhǔn)確地挖掘大數(shù)據(jù)中的數(shù)據(jù)信息。為解決上述問題, 筆者在傳統(tǒng)并行數(shù)據(jù)挖掘的基礎(chǔ)上, 引入量子算法, 提出基于量子算法的增量式大數(shù)據(jù)并行挖掘方法。將量子算法應(yīng)用于大數(shù)據(jù)挖掘方法的優(yōu)勢(shì)在于打破了圖靈機(jī)模式的計(jì)算限制, 提高指數(shù)效率和計(jì)算性能, 以達(dá)到保證增量式大數(shù)據(jù)并行挖掘的基礎(chǔ)上實(shí)現(xiàn)大數(shù)據(jù)的精準(zhǔn)挖掘。

1 構(gòu)建增量式大數(shù)據(jù)并行挖掘模型

按照大數(shù)據(jù)并行挖掘的基本流程搭建相應(yīng)的并行數(shù)據(jù)挖掘模型, 并在模型中引入量子算法, 其模型的搭建結(jié)果MapReduce如圖1所示。圖1中并行數(shù)據(jù)挖掘模型實(shí)現(xiàn)的基本過程一般有： 數(shù)據(jù)準(zhǔn)備、 開采、 評(píng)估與表示等。通過該模型, 大數(shù)據(jù)并行挖掘的相關(guān)程序?qū)⒈蛔詣?dòng)的分布到一個(gè)由普通機(jī)器組成的超大機(jī)群上并發(fā)執(zhí)行, 而模型中的Map和Reduce分布為該模型中的兩大基本操作, 分別表示數(shù)據(jù)挖掘中的映射過程和歸約過程。Map任務(wù)在執(zhí)行過程中需要將一組數(shù)據(jù)一對(duì)一的映射到另外一組數(shù)據(jù)中, 而Reduce利用映射規(guī)則與歸約規(guī)則實(shí)現(xiàn)數(shù)據(jù)聚類挖掘[11]。兩個(gè)步驟程序通過把大數(shù)據(jù)的操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn), 實(shí)現(xiàn)數(shù)據(jù)的并行式挖掘, 每個(gè)節(jié)點(diǎn)以周期性的運(yùn)行方式, 將計(jì)算得到的結(jié)果和狀態(tài)信息返回到主節(jié)點(diǎn)中。

圖1 數(shù)據(jù)挖掘模型Fig.1 Data mining model

2 量子算法數(shù)據(jù)預(yù)處理

量子計(jì)算是綜合利用量子力學(xué)原理和計(jì)算機(jī)科學(xué)相關(guān)知識(shí)進(jìn)行計(jì)算的一種新的計(jì)算模式。在現(xiàn)階段利用量子機(jī)制進(jìn)行信息處理已成為突破經(jīng)典計(jì)算極限的一條重要的探索途徑, 量子計(jì)算建立在與傳統(tǒng)比特概念類似的量子比特上, 主要利用量子系統(tǒng)的疊加性、 糾纏性和相干性等實(shí)現(xiàn)量子的并行計(jì)算。

通過量子算法進(jìn)行數(shù)據(jù)的預(yù)處理, 將計(jì)算模型上的數(shù)據(jù)進(jìn)行移植, 使用3個(gè)MapReduce任務(wù)實(shí)現(xiàn)并行挖掘預(yù)處理。預(yù)處理基本原理如圖2所示。

圖2 量子算法基本原理圖Fig.2 Basic principle of quantum algorithm

在圖2中, 不同結(jié)點(diǎn)按照其性質(zhì)劃分至不同組別, 結(jié)點(diǎn)所對(duì)應(yīng)的組別不是唯一的, 屬于一對(duì)多關(guān)系, 體現(xiàn)了量子糾纏性。對(duì)大數(shù)據(jù)進(jìn)行數(shù)據(jù)分區(qū)與并行計(jì)數(shù), 獲取大數(shù)據(jù)頻繁項(xiàng)集合, 進(jìn)而將該集合分為局部頻繁項(xiàng)與全局頻繁項(xiàng), 體現(xiàn)了數(shù)據(jù)之間的關(guān)聯(lián)性, 說明其具有量子相干性。在對(duì)大數(shù)據(jù)處理過程中, 其頻繁項(xiàng)可以處在不同量子態(tài)的疊加態(tài)上, 因此體現(xiàn)了量子疊加性。

按照?qǐng)D2中的量子算法原理, 使用HDFS(Hadoop Distributed File System)將大數(shù)據(jù)進(jìn)行自動(dòng)分配, 在第1個(gè)任務(wù)執(zhí)行中對(duì)所有數(shù)據(jù)項(xiàng)進(jìn)行并行計(jì)算, 得到所有頻繁項(xiàng)的集合, 記為FList。將分組過的頻繁項(xiàng)集合記為組列表GList。將包含組列表的集合進(jìn)行加載啟動(dòng), 并對(duì)執(zhí)行結(jié)點(diǎn)進(jìn)行數(shù)據(jù)分片處理, 輸出每組關(guān)聯(lián)事物結(jié)果。最后將所有的局部頻繁項(xiàng)合并在一起得到全局頻繁項(xiàng)集, 即為大數(shù)據(jù)挖掘的預(yù)處理結(jié)果。按照量子算法的基本計(jì)算原理[12], 對(duì)預(yù)處理步驟進(jìn)行具體分析。

2.1 量子比特的數(shù)據(jù)信息轉(zhuǎn)換

量子算法在應(yīng)用處理過程中只能針對(duì)量子比特?cái)?shù)據(jù)進(jìn)行計(jì)算, 量子比特也是量子算法中存儲(chǔ)信息的位移格式。因此需要將大數(shù)據(jù)中的數(shù)據(jù)信息轉(zhuǎn)換成量子比特下的單位格式, 用于描述量子線路的狀態(tài)信息, 因此首先對(duì)量子比特進(jìn)行定義。根據(jù)量子力學(xué)的基本原理, 將量子比特的狀態(tài)定為0態(tài)或1態(tài)。此外, 量子比特的狀態(tài)也可以落在0態(tài)和1態(tài)之外, 可以是任意線性疊加的狀態(tài)[13]。1個(gè)n位的量子存儲(chǔ)器可以處于2n個(gè)基態(tài)的相干疊加態(tài)|φ〉中, 由此便可以同時(shí)存儲(chǔ)2n個(gè)不同數(shù)字, 對(duì)量子寄存器進(jìn)行一次操作就相當(dāng)于對(duì)傳統(tǒng)計(jì)算機(jī)的2n次操作實(shí)現(xiàn)并行挖掘。其中相干疊加態(tài)|φ〉可表示為

|φ〉=α|0〉+β|1〉

(1)

其中α和β分別表示一對(duì)復(fù)數(shù), 即量子態(tài)的概率幅值[14]。α和β需要滿足

(2)

(3)

其中θ與φ定義了三維單位球面上的一點(diǎn)P, 如圖3所示。

圖3 量子比特坐標(biāo)示意圖Fig.3 Schematic diagram of qubit coordinates

將量子比特定義在球面上使單個(gè)量子比特狀態(tài)可視化, 方便進(jìn)行量子計(jì)算與量子信息識(shí)別, 以此實(shí)現(xiàn)量子比特。

2.2 量子搜索算法

在量子算法實(shí)際應(yīng)用過程中難以做到使搜索概率達(dá)到100%, 且量子相位旋轉(zhuǎn)角的誤差會(huì)導(dǎo)致搜索概率下降, 因此要對(duì)量子搜索算法進(jìn)行改進(jìn)。設(shè)量子搜索算法初始狀態(tài)為Ψmφ, 經(jīng)過m迭代后得到

(4)

搜索過程中的相位旋轉(zhuǎn)角θ是影響量子搜索算法性能的主要因素, 因此利用

(5)

對(duì)其進(jìn)行改進(jìn), 其中J為量子理想態(tài)數(shù)。

設(shè)大數(shù)據(jù)并行挖掘中的待挖掘數(shù)據(jù)的標(biāo)記態(tài)為|s1〉,|s2〉,…,|sM〉, 而非標(biāo)記態(tài)用|t1〉,|t2〉,…,|tN-M〉, 將對(duì)應(yīng)系數(shù)代入可得

(6)

將兩個(gè)相移算子Is與I0進(jìn)行推廣描述, 可將量子搜索[15]結(jié)果描述為

(7)

其中H表示變換算子, 通過量子搜素算法得出數(shù)據(jù)挖掘的初始數(shù)據(jù)。將得到的搜索結(jié)果記為G=(g1,g2,…,gn)T且在搜索過程中保證搜索的成功概率恒等于1。

2.3 量子神經(jīng)網(wǎng)絡(luò)處理

在上述量子搜索中經(jīng)常要同時(shí)搜索多個(gè)模式, 會(huì)在一定程度上降低量子搜索精度, 因此在量子搜索算法的相位旋轉(zhuǎn)角進(jìn)行改進(jìn)的基礎(chǔ)上, 利用量子神經(jīng)網(wǎng)絡(luò)解決該問題。

量子神經(jīng)網(wǎng)絡(luò)中當(dāng)模擬人的意識(shí)時(shí)要處理多模式問題, 能有效提升量子搜索精度與速率。量子神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 量子神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of quantum neural network

基于上述量子神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 將得到的數(shù)據(jù)搜索結(jié)果經(jīng)過量子比特轉(zhuǎn)換得

|G〉=[|g1〉,|g2〉,…,|gn〉]T

(8)

其中G表示量子比特轉(zhuǎn)換方程。且

(9)

其中g(shù)i表示量子網(wǎng)絡(luò)參數(shù)。按照量子網(wǎng)絡(luò)中的數(shù)據(jù)參數(shù)的更新規(guī)則, 對(duì)數(shù)據(jù)參數(shù)進(jìn)行多模式搜索, 得到歸一化后的期望輸出

G(t+1)=ηΔG(t)

(10)

其中η為量子神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)更新速率, ΔG(t)為更新梯度值[16]。

利用量子神經(jīng)網(wǎng)絡(luò)完成數(shù)據(jù)歸一化處理, 獲取數(shù)據(jù)更新處理結(jié)果。

2.4 量子映射變換

經(jīng)過量子神經(jīng)網(wǎng)絡(luò)更新處理完成的數(shù)據(jù)即為量子算法預(yù)處理的結(jié)果數(shù)據(jù), 然而更新的數(shù)據(jù)是以量子比特的形式輸出, 因此需要通過量子映射變換, 將數(shù)據(jù)轉(zhuǎn)換為大數(shù)據(jù)中的正常形式。將量子映射變換過程表示如下

(11)

其中I為量子映射參數(shù),αi為量子基態(tài)。根據(jù)量子映射變換公式輸出增量式大數(shù)據(jù)預(yù)處理結(jié)果如下

(12)

3 數(shù)據(jù)并行協(xié)同過濾

由上述得到的增量式大數(shù)據(jù)并行挖掘的預(yù)處理結(jié)果為基礎(chǔ), 利用數(shù)據(jù)并行協(xié)同過濾實(shí)現(xiàn)得到數(shù)據(jù)并行挖掘結(jié)果, 其過程為： 計(jì)算待挖掘數(shù)據(jù)之間的相關(guān)度, 得到相似度的計(jì)算集合, 根據(jù)該集合分解大數(shù)據(jù)的權(quán)重矩陣, 得到過濾權(quán)重組合, 利用該組合對(duì)增量式大數(shù)據(jù)并行挖掘的預(yù)處理結(jié)果進(jìn)行數(shù)據(jù)并行過濾, 得到增量式大數(shù)據(jù)并行挖掘的初始結(jié)果。首先將所有的大數(shù)據(jù)的權(quán)重構(gòu)建成為x×y的矩陣[17], 并用向量的形式進(jìn)行表示, 可表示為R(u=x,y)=(Ru1,Ru2,…,Run)。然后利用相似性計(jì)算公式, 求出待挖掘數(shù)據(jù)之間的相關(guān)度, 計(jì)算公式如下

(13)

圖5 矩陣向量相乘分解圖Fig.5 Matrix vector multiplication decomposition diagram

將共現(xiàn)矩陣中項(xiàng)目對(duì)應(yīng)的列向量, 與數(shù)據(jù)向量中對(duì)應(yīng)的相似度相乘, 即可得到過濾權(quán)重組合[19], 最后將各個(gè)部分相加即可得到完整的并行協(xié)同過濾結(jié)果R′, 將并行協(xié)同過濾的結(jié)果作為靜態(tài)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)并行挖掘結(jié)果。

4 數(shù)據(jù)增量式聚類挖掘結(jié)果

在靜態(tài)挖掘結(jié)果的基礎(chǔ)上, 利用大數(shù)據(jù)增量式技術(shù)與量子算法中的增量性質(zhì), 實(shí)現(xiàn)對(duì)增量式大數(shù)據(jù)的遍歷, 將每次遍歷得到的挖掘結(jié)果進(jìn)行模糊聚類, 便可得到增量式大數(shù)據(jù)并行挖掘結(jié)果。應(yīng)用的增量式技術(shù)是指對(duì)新增數(shù)據(jù), 利用已有結(jié)果對(duì)其進(jìn)行處理, 即避免了對(duì)已有數(shù)據(jù)的重新處理, 又可以對(duì)新增的數(shù)據(jù)進(jìn)行全面處理, 使每次處理的數(shù)據(jù)量很小, 且使用時(shí)間更短, 大幅度提升聚類效果。

在此過程中會(huì)出現(xiàn)策略不適用的問題, 為解決該問題, 只需修改因數(shù)據(jù)變化而涉及的規(guī)則即可完成數(shù)據(jù)的增量式處理。

數(shù)據(jù)增量式模糊聚類將靜態(tài)的數(shù)據(jù)挖掘結(jié)果用一個(gè)代價(jià)函數(shù)進(jìn)行迭代, 聚類原理如圖6所示。

圖6 量子模糊聚類原理圖 圖7 量子編碼電路Fig.6 Principle diagram of quantum fuzzy clustering Fig.7 Quantum coding circuit

遵循圖中的量子模糊聚類原理, 靜態(tài)數(shù)據(jù)挖掘的結(jié)果R′分為N個(gè)集合數(shù)據(jù)與k個(gè)類別Ci, 定義靜態(tài)挖掘結(jié)果R′中的聚類中心為Pi[20], 且i的取值為[1,k]。根據(jù)聚類的類間分離原則, 將增量式聚類結(jié)果描述為

(14)

其中Pj表示R′中任意一個(gè)數(shù)據(jù), 對(duì)式(11)進(jìn)行求解, 便可得出增量式大數(shù)據(jù)挖掘聚類結(jié)果為

(15)

將聚類結(jié)果以編碼的形式輸出便可得到增量式大數(shù)據(jù)并行挖掘結(jié)果, 其中聚類結(jié)果的編碼電路如圖7所示。

第1位比特的態(tài)即為單比特邏輯態(tài), 第2～6位量子比特處于態(tài)|0〉。在圖7中將第6位比特設(shè)置控制位, 利用該控制位實(shí)現(xiàn)對(duì)其他比特位的控制操作, 完成聚類結(jié)果的編碼, 輸出增量式大數(shù)據(jù)并行挖掘結(jié)果。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 實(shí)驗(yàn)環(huán)境

由于該實(shí)驗(yàn)需要對(duì)海量的數(shù)據(jù)進(jìn)行處理, 因此對(duì)實(shí)驗(yàn)環(huán)境具有較高的要求。計(jì)算機(jī)處理器為酷睿i7處理器, 運(yùn)行存儲(chǔ)空間為8 GByte, 內(nèi)存空間為64 GByte, 并增加外部存儲(chǔ)設(shè)備為80 TByte。在符合實(shí)驗(yàn)要求的設(shè)備上安裝實(shí)驗(yàn)所需的實(shí)驗(yàn)方法和對(duì)比方法。其中對(duì)比方法為不應(yīng)用量子算法的傳統(tǒng)增量式大數(shù)據(jù)并行挖掘方法。

5.2 實(shí)驗(yàn)數(shù)據(jù)集

為了檢測(cè)量子算法的增量式大數(shù)據(jù)并行挖掘方法的綜合性能, 進(jìn)行了實(shí)驗(yàn)測(cè)試, 選取GroupLens(https:∥grouplens.org/datasets/movielens/)提供的數(shù)據(jù)集作為實(shí)驗(yàn)樣本數(shù)據(jù)。該大數(shù)據(jù)中包含了不同大小與類型的多個(gè)數(shù)據(jù)集, 挖掘出用戶對(duì)不同領(lǐng)域的需要具有重要的商業(yè)意義。數(shù)據(jù)集中部分?jǐn)?shù)據(jù)描述如表1所示。

表1 數(shù)據(jù)集部分?jǐn)?shù)據(jù)描述

實(shí)驗(yàn)中所用的數(shù)據(jù)存在的形式為標(biāo)準(zhǔn)格式, 可以直接應(yīng)用于實(shí)驗(yàn)中。

5.3 實(shí)驗(yàn)指標(biāo)

由于文獻(xiàn)[8-10]方法都是增量式大數(shù)據(jù)并行挖掘較新研究, 也是具有代表性的研究成果, 因此選擇這3種方法進(jìn)行實(shí)驗(yàn)測(cè)試, 實(shí)驗(yàn)中選取的主要評(píng)價(jià)指標(biāo)如下。

1) 召回率。此次對(duì)比實(shí)驗(yàn)主要為了檢測(cè)挖掘方法的性能, 因此選擇文獻(xiàn)[8]方法與筆者方法進(jìn)行數(shù)據(jù)挖掘的召回率對(duì)比。召回率的計(jì)算公式如下

(16)

其中TP表示的是實(shí)驗(yàn)數(shù)據(jù)挖掘的有效結(jié)果,FN為數(shù)據(jù)挖掘的漏報(bào)數(shù)據(jù)結(jié)果。因此在實(shí)驗(yàn)過程中通過記錄實(shí)驗(yàn)的有效結(jié)果數(shù)據(jù)與漏報(bào)結(jié)果數(shù)據(jù)便可以得出兩種數(shù)據(jù)挖掘方法的召回率。

2) 并行挖掘時(shí)間。并行挖掘時(shí)間是反應(yīng)數(shù)據(jù)挖掘效率高低的重要因素, 因此將筆者方法與3種方法進(jìn)行并行挖掘時(shí)間對(duì)比。

3) 并行挖掘準(zhǔn)確率。并行挖掘準(zhǔn)確率是衡量數(shù)據(jù)挖掘方法性能的主要因素之一, 因此將筆者方法與3種方法進(jìn)行并行挖掘準(zhǔn)確率對(duì)比。

4) 尋優(yōu)能力。尋優(yōu)能力是反應(yīng)并行挖掘結(jié)果好壞的主要因素, 將筆者方法與3種方法進(jìn)行尋優(yōu)能力對(duì)比。在尋優(yōu)過程中最優(yōu)迭代次數(shù)計(jì)算公式如下

(17)

5.4 實(shí)驗(yàn)結(jié)果

將實(shí)驗(yàn)數(shù)據(jù)按照分類分別輸入到兩種挖掘方法中, 文獻(xiàn)[8]方法與量子算法下的挖掘方法分別按照各自的方法流程對(duì)數(shù)據(jù)進(jìn)行處理, 最終輸出的挖掘結(jié)果如表2所示。

表2 實(shí)驗(yàn)對(duì)比數(shù)據(jù)

通過表2可以看出, 文獻(xiàn)[8]方法的總漏報(bào)數(shù)據(jù)量為2 221 kByte, 而應(yīng)用筆者方法的總漏報(bào)數(shù)據(jù)量為371 kByte。經(jīng)過計(jì)算可知, 文獻(xiàn)[8]方法的平均召回率為83.99%, 而筆者方法的平均召回率為97.25%, 比文獻(xiàn)[8]方法高13.26%。

在以下實(shí)驗(yàn)中, 選擇的大數(shù)據(jù)類型隨機(jī)。為了進(jìn)一步驗(yàn)證筆者方法的優(yōu)越性, 將3種方法作為實(shí)驗(yàn)對(duì)比方法進(jìn)行挖掘時(shí)間對(duì)比, 結(jié)果如表3所示。

表3 不同方法并行挖掘時(shí)間對(duì)比

分析表3可知, 文獻(xiàn)[8]方法的并行挖掘時(shí)間在5.2～6.5 s的范圍內(nèi)變化； 文獻(xiàn)[9]在17.5～20.5 s的范圍內(nèi)變動(dòng)； 文獻(xiàn)[10]方法在20.9～28.6 s的范圍內(nèi)變化； 筆者方法在2.1～3.2 s的范圍內(nèi)變動(dòng)。綜合比較4種研究方法的并行挖掘時(shí)間, 筆者方法的挖掘時(shí)間最短。

在比較不同研究方法召回率與挖掘時(shí)間的基礎(chǔ)上, 測(cè)試不同方法的并行挖掘準(zhǔn)確率, 結(jié)果如圖8所示。

分析圖8可知, 文獻(xiàn)[8]方法的并行挖掘準(zhǔn)確率在60%～70%之間； 文獻(xiàn)[9]方法在60%左右, 是4種方法中挖掘準(zhǔn)確率最低的； 文獻(xiàn)[10]方法在80%～85%之間； 筆者方法在95%以上, 與其他研究方法相比具有較高的并行挖掘精度。

圖8 不同方法并行挖掘準(zhǔn)確率對(duì)比 圖9 不同方法尋優(yōu)能力對(duì)比 Fig.8 Comparison of parallel mining Fig.9 Comparison of different methods accuracy of different methods for optimization

在上述實(shí)驗(yàn)基礎(chǔ)上, 為了更全面比較不同研究方法綜合性能, 需要比較不同方法的算法尋優(yōu)能力, 結(jié)果如圖9所示。

收斂性主要是指在合適的迭代次數(shù)下輸出大數(shù)據(jù)挖掘結(jié)果。根據(jù)式(17)可知, 在迭代次數(shù)為450時(shí)數(shù)據(jù)挖掘結(jié)果最優(yōu)。分析圖9可知, 文獻(xiàn)[8]方法最快收斂, 其次是文獻(xiàn)[10]方法, 而文獻(xiàn)[9]方法在500次迭代中一直未收斂, 筆者方法在440左右停止收斂, 因此該方法的收斂性更好。綜合比較4種方法可知, 筆者方法的收斂性最好, 尋優(yōu)能力強(qiáng), 因此可以得到較好的并行挖掘結(jié)果, 有利于挖掘出用戶對(duì)于不同領(lǐng)域的需要, 表明該方法具有重要的商業(yè)意義與應(yīng)用價(jià)值。

6 結(jié) 語

隨著大數(shù)據(jù)時(shí)代的到來, 數(shù)據(jù)量正在以驚人的速度增長, 從海量數(shù)據(jù)中挖掘出有效信息, 有效組織和利用相關(guān)數(shù)據(jù)都是現(xiàn)階段需要解決的問題。針對(duì)傳統(tǒng)增量式大數(shù)據(jù)并行挖掘方法存在的問題, 在增量式大數(shù)據(jù)并行挖掘方法中應(yīng)用量子算法, 實(shí)驗(yàn)結(jié)果表明, 該方法具有較高的召回率, 挖掘時(shí)間較短, 挖掘準(zhǔn)確率較高并具有較好的算法尋優(yōu)能力。筆者研究方法不僅提高了數(shù)據(jù)挖掘的召回率, 同時(shí)也大幅提高了時(shí)間效率, 為數(shù)據(jù)挖掘領(lǐng)域的發(fā)展及增量式大數(shù)據(jù)挖掘提供了新思路。