趙 鑫，劉 玉，孔凡功，陳洪雷

(齊魯工業(yè)大學(xué)山東省科學(xué)院生物基材料與綠色造紙國家重點實驗室，山東 濟南 250353)

1 引言

增量學(xué)習(xí)是指不斷學(xué)習(xí)的過程，在學(xué)習(xí)過程中，可接受新知識并對歷史學(xué)習(xí)知識實現(xiàn)保存。在實際應(yīng)用過程中，數(shù)據(jù)量幾乎是累積增加狀態(tài)，在新數(shù)據(jù)處理時，增量學(xué)習(xí)通常用于數(shù)據(jù)庫巨大以及數(shù)據(jù)不斷增加形成的數(shù)據(jù)流處理[1]。當(dāng)下數(shù)字化數(shù)據(jù)庫已經(jīng)成為各個企業(yè)以及各領(lǐng)域主要數(shù)據(jù)存儲方式，數(shù)字化數(shù)據(jù)庫可實現(xiàn)數(shù)字?jǐn)?shù)據(jù)、資源以及信息的集成，且該類數(shù)據(jù)庫內(nèi)的數(shù)據(jù)具備不斷增加特征[2]，該類數(shù)據(jù)在不斷累積過程中，需要采用相關(guān)有效方法處理，保證數(shù)據(jù)中的數(shù)據(jù)對象、結(jié)構(gòu)、關(guān)系等，可有效進行分類、聚類以及重組等[3]。大量數(shù)據(jù)在存儲過程中，會出現(xiàn)爆炸式增長，導(dǎo)致增量學(xué)習(xí)效率較低、數(shù)據(jù)分類精度降低。

因此，為了更好實現(xiàn)數(shù)字化集成信息增量學(xué)習(xí)，本文以深度學(xué)習(xí)算法中的樸素貝葉斯概念為依據(jù)，研究基于加權(quán)樸素貝葉斯分類的數(shù)字化集成信息增量學(xué)習(xí)算法，完成數(shù)字化集成信息增量學(xué)習(xí)，保證數(shù)據(jù)集中數(shù)據(jù)的最佳分類效果。

2 數(shù)字化集成信息增量學(xué)習(xí)算法

2.1 加權(quán)樸素貝葉斯的增量分類模型

加權(quán)樸素貝葉斯算法是以后驗概率獲取樣本類別標(biāo)簽，其中后驗概率的獲取是通過先驗概率和條件概率實現(xiàn)，前者屬于訓(xùn)練的樣本類，后者屬于特征項的類[4]。為實現(xiàn)信息擴充、增加信息量的豐富程度，以此保證對數(shù)字化集成信息增量的分類效果，特征項采用兩種屬性的相似度描述，分別為條件和決策，實現(xiàn)較小的訓(xùn)練子集，提升增量學(xué)習(xí)效率。

兩種屬性的定義分別為：

(u1(x)，u2(x)，…，un(x))表示特征向量，且維數(shù)為n，用其描述數(shù)據(jù)集x，其中ui(x)表示取值，屬于x的第i個屬性。若條件和決策兩種屬性分別為ui和uk，以后者為參照，前者相對于其的相似度公式為

(1)

其中

(2)

式中：δ(ui(x)，uk(x))表示函數(shù)，用于完成屬性數(shù)量的統(tǒng)計，其為相等取值，屬于ui和uk兩者。

設(shè)訓(xùn)練樣本集和測試集分別用D和Dt表示，兩者均為給定量，uk和ui間的相似度通過式(1)獲取，前兩者屬于Dt，后者屬于D，且后者為各個條件屬性。Ak的屬性權(quán)值，采用計算結(jié)果表示，用Wk表示，完成加權(quán)樸素貝葉斯分類的生成，同時獲取分類結(jié)果[5]。

(3)

基于加權(quán)貝葉斯分類算法步驟如下所述：

輸入：D和Dt；

輸出：dt的類別。

步驟1：分類器C的學(xué)習(xí)通過D完成。

步驟2：返回分類器的條件為Dt≠0，反之繼續(xù)。

步驟3：若Dt中的各個元素dtp∈Dt，則表示L=0。

重復(fù)：

步驟4：若D=D+{〈x，C〉}，Dt=Dt{dtp}，則反之步驟1。

2.2 數(shù)字化集成信息增量學(xué)習(xí)

設(shè)V和I分別表示原始數(shù)據(jù)集和增量集，且前者為2.1小節(jié)挖掘的分類結(jié)果的集合，若兩者均滿足V∩I=?條件，對兩者訓(xùn)練，且在V上完成，使其形成數(shù)個初始加權(quán)樸素貝葉斯分類器和其集成，獲取加權(quán)樸素貝葉斯分類器集成，且需在樣本集合V∪I上，是算法最終目標(biāo)[6，7]。

利用隨機屬性方法在初始化時，實現(xiàn)一組屬性子集的隨機形成，其為完全屬性集中，并屬于原始數(shù)據(jù)庫中，在保證訓(xùn)練集中樣本數(shù)量不發(fā)生變化的情況下，訓(xùn)練形成的所有加權(quán)樸素貝葉斯分類器均一一和各個子集相對應(yīng)[8]。

基于隨機屬性選擇形成加權(quán)樸素貝葉斯分類器算法的獲取，是以條件屬性集S為基礎(chǔ)實現(xiàn)：

1)建立貝葉斯概率表，并且在V中完成。

2)為形成隨機子空間，維數(shù)為m*，且屬于條件屬性，該屬性維數(shù)為m，需獲取S中m*個條件屬性，且在概率P相等的情況下隨機得出，并位于V中。其中，P∈(0，1)，m

3)為獲取數(shù)量為ω個的屬性子集，將上一步驟重復(fù)操作ω次，使各個子集完全加入決策屬性中，次數(shù)屬性數(shù)量為m*+1。

4)以貝葉斯概率表B為依據(jù)，完成數(shù)量為ω的加權(quán)樸素貝葉斯分類器的生成，且需在上述子集的基礎(chǔ)上。

B在構(gòu)建過程中，在其參數(shù)取值范圍的分布狀態(tài)為均勻狀態(tài)，是由于參數(shù)呈現(xiàn)無信息先驗分布狀態(tài)導(dǎo)致。因此，以無信息Dirichldt共軛先驗假設(shè)為標(biāo)準(zhǔn)[9]，求解V的兩個參數(shù)，分別為θi、θjk|i，兩者計算公式分別為

(4)

(5)

式中：countV(x)表示計數(shù)器，用于統(tǒng)計Sj可能存在的取值數(shù)量，且為第j個；ajk表示取值，屬于Sj，且為第k個；|Sj|表示取值個數(shù)，且屬于Sj；Q表示離散值，且Q={q1，q2，…，qi}。

由于通過選取方式為隨機選取，且在等概率情況下，因此，獲取的m*存在差異，且屬于屬性子集。I的自動分組是根據(jù)是否存在類別標(biāo)簽，并在增量學(xué)習(xí)階段，I1和I2則為劃分后的兩組，其中，具備類別標(biāo)簽的樣本屬于前者，沒有類別標(biāo)簽的樣本屬于后者中。先對I1中的樣本學(xué)習(xí)，以原有的順序，通過加權(quán)樸素貝葉斯分類器展開學(xué)習(xí)[10]，以無信息Dirichldt共軛的分布為依據(jù)，更新參數(shù)，為

θ′jk|i=P(Sj=ajk|q=qi)

(6)

(7)

式中：δ=|Q|+|V|+|Ii|。

2.3 算法整體流程

通過上述步驟即可獲取加權(quán)樸素貝葉斯分類器的更新，且數(shù)量為w，采用遺傳算法選取獲取最優(yōu)結(jié)果，可得出數(shù)字化集成信息增量學(xué)習(xí)結(jié)果。算法整體流程步驟如下所述：

1)為實現(xiàn)數(shù)個加權(quán)樸素貝葉斯分類器的生成，需依據(jù)上述2.2小節(jié)的獲取方法得出。

2)完成I的自動分類，且需依據(jù)樣本是否存在標(biāo)簽得出，劃分成I1和I2。

3)完成I1和I2的學(xué)習(xí)，且通過各自適合的順序完成。

4)以數(shù)據(jù)子集表為依據(jù)，完成加權(quán)樸素貝葉斯分類器參數(shù)的更新。

5)為獲取更新后加權(quán)樸素貝葉斯分類器的最佳結(jié)果，采用遺傳算法完成。

6)當(dāng)有新樣本x*輸入時，統(tǒng)計遺傳算法獲取的輸出類別結(jié)果，數(shù)量最多的結(jié)果計為y*，其公式為

(8)

式中：SBCj表示更新后分類器。

遺傳算法在運算過程中，初始集成中的分類器數(shù)量即為其算法的編碼尺寸；將比例選擇和兩點雜交，分別用于選擇算子和交叉算子，但是，在適應(yīng)度排序最高的前百分之十的個體不參與上述兩種操作，且該適應(yīng)度屬于各代遺傳群體中，可實現(xiàn)自動保存至下一代中，若I1為空集，表示可將所有的分類器簡化成簡單集成。

3 實驗驗證與結(jié)果分析

為驗證本文算法應(yīng)用效果，選取某機器學(xué)習(xí)庫中的數(shù)據(jù)集作為實驗分析測試對象，將該數(shù)據(jù)集分別編號為1號～3號。三個數(shù)據(jù)集的依次詳細(xì)情況為：

1號數(shù)據(jù)集：屬性數(shù)量36個、類別數(shù)量2個、樣本數(shù)量3196個、D數(shù)量/個1599個、I1數(shù)量959個、I2數(shù)量638個；

2號數(shù)據(jù)集：屬性數(shù)量22個、類別數(shù)量2個、樣本數(shù)量8124個、D數(shù)量/個4064個、I1數(shù)量2436個、I2數(shù)量1624個；

3號數(shù)據(jù)集：屬性數(shù)量9個、類別數(shù)量2個、樣本數(shù)量958個、D數(shù)量/個481個、I1數(shù)量286個、I2數(shù)量191個。

上述共有數(shù)據(jù)樣本數(shù)量12278個，類別數(shù)量6個，屬性數(shù)量67個，分類器數(shù)量25個，群體種群規(guī)模100，交叉概率0.59，變異概率0.01，最大迭代次數(shù)55次。針對3個編號的數(shù)據(jù)集，采用分層隨機抽樣方式完成訓(xùn)練、驗證和測試樣本的劃分，三者比例分別為70%、15%、15%。完成各個樣本的精度估計后，所有分類器均需完成子集的重新學(xué)習(xí)，為下次增量學(xué)習(xí)提供可靠參數(shù)。

測試文本算法在增量學(xué)習(xí)過程中的學(xué)習(xí)效率，在不同的訓(xùn)練階段，通過新樣本選擇性加入的方式，測試算法的訓(xùn)練性能，見表1。

表1 算法訓(xùn)練性能測試結(jié)果

分析表1中數(shù)據(jù)可知：在學(xué)習(xí)增量訓(xùn)練學(xué)習(xí)階段的不斷增加，從第一階段直到第五階段整個過程中，訓(xùn)練樣本減少的數(shù)量明顯提升，從最開始數(shù)量沒有減少，到減少數(shù)量達到594個的數(shù)據(jù)結(jié)果可表明，本文算法可描述特征項采用兩種屬性的相似度，實現(xiàn)較小的訓(xùn)練子集，使訓(xùn)練樣本數(shù)量被有效劃分并逐漸減少，以此可提升算法的增量學(xué)習(xí)效率。

為進一步分析本文算法的性能，采用數(shù)據(jù)伸縮度和擴展率作為衡量指標(biāo)，前者用于衡量算法的時間復(fù)雜度，后者用于衡量算法在運行過程中對不同大小數(shù)據(jù)集的適應(yīng)性，測試結(jié)果見圖1、圖2。

圖1 數(shù)據(jù)伸縮度測試結(jié)果

圖2 擴展率測試結(jié)果

根據(jù)圖1和圖2測試結(jié)果可知：數(shù)據(jù)數(shù)量的增加，數(shù)據(jù)伸縮率呈上升趨勢，數(shù)據(jù)數(shù)量在4000個以下時，數(shù)據(jù)的伸縮率上升相對較為平緩，當(dāng)其數(shù)量超過4000個以后，伸縮率上升增加幅度明顯提升，因此，算法可根據(jù)數(shù)據(jù)的大小調(diào)整數(shù)據(jù)的伸縮情況；除此之外，隨著數(shù)據(jù)數(shù)量的增加，算法的擴展率呈現(xiàn)相對平穩(wěn)變化，數(shù)據(jù)量為2000個時，擴展率為0.87，數(shù)據(jù)量為10000個時，擴展率為0.94，該結(jié)果差距較小，表明算法可較好地適應(yīng)不同大小數(shù)據(jù)集，有效保證算法計算結(jié)果。

為測試本文算法對于數(shù)字集成化信息增量學(xué)習(xí)的應(yīng)用效果，選取1-3號數(shù)據(jù)集，測試本文算法通過遺傳算法優(yōu)選后的數(shù)據(jù)集成分類精度和未進行集成分類精度的結(jié)果對比，分析本文算法的優(yōu)勢，結(jié)果見圖3。

圖3 三種數(shù)據(jù)集的測試結(jié)果

分析圖3的測試結(jié)果可知：在沒有類別標(biāo)簽樣本占據(jù)比例發(fā)生變化的情況下，三種數(shù)據(jù)集的優(yōu)選前和優(yōu)選后結(jié)果均呈現(xiàn)差異化的變化趨勢，根據(jù)整體測試結(jié)果可看出，在相同占據(jù)比例情況下，采用遺傳算法優(yōu)選后，數(shù)字集成化信息增量學(xué)習(xí)的分類精度高于優(yōu)選前，可更好保證其增量學(xué)習(xí)效果。

4 結(jié)論

本文提出基于深度學(xué)習(xí)的數(shù)字化集成信息增量學(xué)習(xí)算法，對分類器完成當(dāng)前增量學(xué)習(xí)，更好的實現(xiàn)數(shù)字化集成信息的分類處理，并通過一系列的測試表明：本文算法有效完成數(shù)據(jù)集的劃分，提升其對數(shù)字化集成信息的分類效果，同時，算法可根據(jù)數(shù)據(jù)集的大小情況自行完成處理，避免數(shù)據(jù)量較大時，出現(xiàn)效率較低問題，具備較好地數(shù)據(jù)伸縮度，并且經(jīng)過優(yōu)選后，算法的分類精度顯著提升。