陸興華，劉文林，吳宏裕，馮飛龍

(廣東工業(yè)大學(xué)華立學(xué)院，廣東 廣州 511325)

0 引 言

隨著云計(jì)算技術(shù)和物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，在物聯(lián)網(wǎng)環(huán)境中通過(guò)云存儲(chǔ)方式進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的集成處理，通過(guò)模糊聚類方法實(shí)現(xiàn)散亂點(diǎn)云數(shù)據(jù)的信息融合和自適應(yīng)調(diào)度，提高云計(jì)算和云組合服務(wù)的質(zhì)量。海量散亂點(diǎn)云數(shù)據(jù)的準(zhǔn)確挖掘和分類管理是保障云服務(wù)質(zhì)量的關(guān)鍵，采用智能挖掘和信息處理算法進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的優(yōu)化挖掘和調(diào)度，提高用戶進(jìn)行數(shù)據(jù)檢索和管理的能力，并根據(jù)海量散亂點(diǎn)云數(shù)據(jù)的挖掘結(jié)果，構(gòu)成最優(yōu)的服務(wù)組合，提高數(shù)據(jù)檢索和調(diào)度的準(zhǔn)確性[1]。

對(duì)海量散亂點(diǎn)云數(shù)據(jù)的挖掘是建立在對(duì)大規(guī)模數(shù)據(jù)集的特征提取和關(guān)聯(lián)規(guī)則特征分析基礎(chǔ)上的。根據(jù)網(wǎng)絡(luò)傳輸?shù)牧髁刻卣鬟M(jìn)行海量散亂點(diǎn)云數(shù)據(jù)挖掘，采用相關(guān)的信息處理和數(shù)據(jù)檢測(cè)方法，提高海量散亂點(diǎn)云數(shù)據(jù)挖掘的準(zhǔn)確性和抗干擾能力[2]。傳統(tǒng)方法中，對(duì)海量散亂點(diǎn)云數(shù)據(jù)的挖掘主要采用分集檢測(cè)和譜分析方法[3]，采用自相關(guān)特征譜分解方法進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的信息融合和相關(guān)性檢測(cè)，結(jié)合模糊數(shù)值分析和簇聚類方法實(shí)現(xiàn)海量散亂點(diǎn)云數(shù)據(jù)挖掘。根據(jù)上述原理，相關(guān)人員進(jìn)行了數(shù)據(jù)挖掘算法研究。文獻(xiàn)[4]中提出一種基于簡(jiǎn)化梯度算法的海量散亂點(diǎn)云數(shù)據(jù)挖掘模型，采用相關(guān)檢測(cè)器進(jìn)行3D云數(shù)據(jù)的干擾濾波，結(jié)合簡(jiǎn)化梯度算法進(jìn)行云數(shù)據(jù)的輸出信道均衡設(shè)計(jì)，提高數(shù)據(jù)挖掘的抗干擾能力，但該方法存在帶寬受限和維數(shù)較大等問題；文獻(xiàn)[5]中提出一種基于模糊指向性聚類的海量散亂點(diǎn)云數(shù)據(jù)挖掘方法，采用模糊K質(zhì)心方法進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的模糊加權(quán)，在保留海量散亂點(diǎn)云數(shù)據(jù)集內(nèi)在的不確定性的條件下實(shí)現(xiàn)數(shù)據(jù)優(yōu)化聚類，提高數(shù)據(jù)挖掘的模糊決策性，但該方法存在計(jì)算開銷較大和復(fù)雜度較高的問題。

針對(duì)上述問題，文中提出一種基于支持向量機(jī)的大數(shù)據(jù)分類挖掘技術(shù)。首先采用分段向量量化編碼技術(shù)進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)空間存儲(chǔ)結(jié)構(gòu)分析，結(jié)合閉頻繁項(xiàng)集檢測(cè)方法進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的信息融合處理，然后對(duì)高維融合數(shù)據(jù)進(jìn)行語(yǔ)義特征分析和關(guān)聯(lián)規(guī)則特征提取，結(jié)合尺度分解方法對(duì)分類輸出的海量散亂點(diǎn)云數(shù)據(jù)進(jìn)行降維處理，采用模糊聚類方法實(shí)現(xiàn)對(duì)海量散亂點(diǎn)云數(shù)據(jù)的分類挖掘。最后通過(guò)仿真證明了該方法的有效性。

1 海量散亂點(diǎn)云數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)分析和特征提取

1.1 海量散亂點(diǎn)云數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)分析

為了實(shí)現(xiàn)對(duì)海量散亂點(diǎn)云數(shù)據(jù)的優(yōu)化挖掘，首先分析海量散亂點(diǎn)云數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和相似度特征信息。采用C4.5決策樹模型，構(gòu)建海量散亂點(diǎn)云數(shù)據(jù)的分類決策模型[6]，進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的相似度分解，如圖1所示。

圖1 海量散亂點(diǎn)云數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)分解決策樹模型

根據(jù)圖1的決策樹模型，對(duì)海量散亂點(diǎn)云數(shù)據(jù)進(jìn)行模糊特征識(shí)別和數(shù)據(jù)分類，構(gòu)造海量散亂點(diǎn)云數(shù)據(jù)的混合屬性模糊分類模型[7]，根據(jù)數(shù)據(jù)的混合分類屬性進(jìn)行相似度分析，對(duì)模糊信息的分段屬性集X進(jìn)行奇異值(SVD)分解：

X=UDVT

(1)

(2)

(3)

其中，AH、AHB和θH、θHB分別是前p個(gè)元素是數(shù)值屬性值以及系統(tǒng)函數(shù)H(z)和HB(z)的離散化數(shù)值屬性和向量量化特征量。

求得海量散亂點(diǎn)云數(shù)據(jù)的語(yǔ)義概念集的分布矩陣XTX，取非零特征值作為訓(xùn)練子集，進(jìn)行數(shù)據(jù)信息流模型重構(gòu)。采用混合相似度特征分析方法，對(duì)海量散亂點(diǎn)云數(shù)據(jù)進(jìn)行特征重組和向量量化分析，得到云數(shù)據(jù)特征重組后輸出的平均互信息特征表達(dá)式為：

(4)

其中，psq(si,qj)表示海量散亂點(diǎn)云數(shù)據(jù)的語(yǔ)義本體概念集si和數(shù)據(jù)概念集qj的聯(lián)合分布概率。

定義海量散亂點(diǎn)云數(shù)據(jù)的簇中的信息分布模型為[s,q]=[x(t),x(t+τ)]，得到模糊信息的閉頻繁項(xiàng)，結(jié)合閉頻繁項(xiàng)集檢測(cè)方法進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的信息融合處理[8]。

1.2 閉頻繁項(xiàng)特征提取

xn=x(t0+nΔt)=h[z(t0+nΔt)]+ωn

(5)

其中，h(·)為海量散亂點(diǎn)云數(shù)據(jù)分布式時(shí)間序列，表示為一個(gè)具有多維數(shù)據(jù)結(jié)構(gòu)模型的函數(shù)；ωn為大數(shù)據(jù)的測(cè)量誤差。

構(gòu)建海量散亂點(diǎn)云數(shù)據(jù)分布的時(shí)態(tài)結(jié)構(gòu)模型，將挖掘的海量散亂點(diǎn)云數(shù)據(jù)按照五元組進(jìn)行關(guān)聯(lián)規(guī)則項(xiàng)特征重建，海量散亂點(diǎn)云數(shù)據(jù)的分布結(jié)構(gòu)模型的分布函數(shù)描述式為：

Xp(u)=

(6)

其中，p為分布式海量散亂點(diǎn)云數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的階數(shù)；α為統(tǒng)計(jì)信息采樣的頻繁項(xiàng)集。

采用統(tǒng)計(jì)回歸分析方法進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的閉頻繁項(xiàng)檢測(cè)[10]，檢測(cè)模型表達(dá)如下：

(7)

結(jié)合閉頻繁項(xiàng)集檢測(cè)方法進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的信息融合處理，構(gòu)造海量散亂點(diǎn)云數(shù)據(jù)挖掘的線性規(guī)劃模型[11]。

2 數(shù)據(jù)模糊聚類挖掘?qū)崿F(xiàn)

2.1 數(shù)據(jù)模糊聚類處理

在采用分段向量量化編碼技術(shù)進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)空間存儲(chǔ)結(jié)構(gòu)分析的基礎(chǔ)上，對(duì)高維融合數(shù)據(jù)進(jìn)行語(yǔ)義特征分析和關(guān)聯(lián)規(guī)則特征提取和模糊聚類處理。采用分段向量量化編碼技術(shù)進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)空間存儲(chǔ)結(jié)構(gòu)分析和關(guān)聯(lián)規(guī)則特征提取[12]，構(gòu)建需要挖掘的海量點(diǎn)云數(shù)據(jù)的量化編碼分析模型：

(8)

(9)

根據(jù)數(shù)據(jù)的不同屬性在聚類的差異性，進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)特征識(shí)別[13]。數(shù)值屬性特征和分類屬性特征分別為：

RβX=U{E∈U/R|c(E,X)≤β}

(10)

RβX=U{E∈U/R|c(E,X)≤1-β}

(11)

(12)

(13)

Si=Sb+Sω

(14)

其中，p(ωi)為數(shù)據(jù)挖掘的分配規(guī)則向量集；μ=E(x)為散亂點(diǎn)云數(shù)據(jù)的分布稀疏度。

2.2 基于支持向量機(jī)的數(shù)據(jù)挖掘

文中提出一種基于支持向量機(jī)的大數(shù)據(jù)分類挖掘技術(shù)，采用自適應(yīng)加權(quán)算法，得到支持向量機(jī)進(jìn)行大數(shù)據(jù)特征分類器的加權(quán)系數(shù)為：

(15)

采用支持向量機(jī)的學(xué)習(xí)算法[14]，得到海量散亂點(diǎn)云數(shù)據(jù)分類的自適應(yīng)學(xué)習(xí)過(guò)程為：

(16)

在B?D，A∩B?D等規(guī)則約束項(xiàng)下，得到海量散亂點(diǎn)云數(shù)據(jù)模糊挖掘的量化參數(shù)滿足：

(17)

數(shù)據(jù)的統(tǒng)計(jì)量化集為(u,v)∈E，設(shè)A?V，B?V且A∩B=?，采用支持向量機(jī)分類器進(jìn)行模式識(shí)別，實(shí)現(xiàn)對(duì)海量散亂點(diǎn)云數(shù)據(jù)重組和數(shù)據(jù)結(jié)構(gòu)重排。對(duì)高維融合數(shù)據(jù)進(jìn)行語(yǔ)義特征分析和關(guān)聯(lián)規(guī)則特征提取，對(duì)提取的海量散亂點(diǎn)云數(shù)據(jù)的關(guān)聯(lián)規(guī)則采用支持向量機(jī)分類器進(jìn)行模式識(shí)別[15]，數(shù)據(jù)準(zhǔn)確挖掘的概率密度函數(shù)為：

其中，λS為在采樣時(shí)刻進(jìn)行數(shù)據(jù)采集的相似度系數(shù)；p2D為簇中的信息分布概率密度。

海量散亂點(diǎn)云數(shù)據(jù)簇中心之間的相異度為：

(19)

其中，Dis(A)表示聚類中心的歐氏距離；Dis(B)表示語(yǔ)義本體集。

采用基于模糊質(zhì)心相異性度量方法構(gòu)建海量散亂點(diǎn)云數(shù)據(jù)的分類模糊集。根據(jù)上述分析，實(shí)現(xiàn)了海量散亂點(diǎn)云數(shù)據(jù)的模糊聚類挖掘。

3 仿真實(shí)驗(yàn)分析

通過(guò)仿真實(shí)驗(yàn)測(cè)試文中方法在實(shí)現(xiàn)海量散亂點(diǎn)云數(shù)據(jù)優(yōu)化挖掘中的應(yīng)用性能。實(shí)驗(yàn)采用Matlab設(shè)計(jì)，測(cè)試數(shù)據(jù)集選用KTT數(shù)據(jù)集，實(shí)驗(yàn)中的大數(shù)據(jù)樣本庫(kù)采用Olivetti-Oracle Research Lab (ORL)海量散亂點(diǎn)云數(shù)據(jù)庫(kù)，每個(gè)高維融合數(shù)據(jù)子塊閾值YHW=0.15，對(duì)海量散亂點(diǎn)云數(shù)據(jù)采樣的占空比為0.34，樣本訓(xùn)練集規(guī)模為26 kbps，海量散亂點(diǎn)云測(cè)試集為100 kbps，稀疏度為0.56。根據(jù)上述仿真環(huán)境和參數(shù)設(shè)定，進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)模糊聚類和挖掘仿真，得到數(shù)據(jù)采樣的時(shí)域分布如圖2所示。

采用分段向量量化編碼技術(shù)進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的信息融合，實(shí)現(xiàn)數(shù)據(jù)模糊聚類和挖掘，得到的挖掘結(jié)果輸出如圖3所示。

圖2 數(shù)據(jù)采樣的時(shí)域分布

圖3 數(shù)據(jù)模糊聚類挖掘輸出

分析圖3得知，采用文中方法能有效實(shí)現(xiàn)對(duì)海量散亂點(diǎn)云數(shù)據(jù)的分類挖掘，特征的聚類性較好。測(cè)試不同方法進(jìn)行數(shù)據(jù)挖掘的召回率，得到的對(duì)比結(jié)果如圖4所示。

圖4 數(shù)據(jù)挖掘的召回性對(duì)比

分析圖4得知，文中方法進(jìn)行數(shù)據(jù)挖掘的召回率較高，說(shuō)明數(shù)據(jù)挖掘精度較高，挖掘的收斂性較好，具有很好的模糊聚類挖掘性能。

4 結(jié)束語(yǔ)

文中提出一種基于支持向量機(jī)的大數(shù)據(jù)分類挖掘技術(shù)。采用分段向量量化編碼技術(shù)進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)空間存儲(chǔ)結(jié)構(gòu)分析，結(jié)合閉頻繁項(xiàng)集檢測(cè)方法進(jìn)行海量散亂點(diǎn)云數(shù)據(jù)的信息融合處理，對(duì)高維融合數(shù)據(jù)進(jìn)行語(yǔ)義特征分析和關(guān)聯(lián)規(guī)則特征提取。對(duì)提取的海量散亂點(diǎn)云數(shù)據(jù)的關(guān)聯(lián)規(guī)則采用支持向量機(jī)分類器進(jìn)行模式識(shí)別，結(jié)合尺度分解方法對(duì)分類輸出的海量散亂點(diǎn)云數(shù)據(jù)進(jìn)行降維處理，采用模糊聚類方法實(shí)現(xiàn)對(duì)海量散亂點(diǎn)云數(shù)據(jù)的分類挖掘。仿真結(jié)果表明，該方法進(jìn)行數(shù)據(jù)挖掘的召回性能較好，挖掘精度較高。