宋曉明，曲文龍，b，闞明陽(yáng)，汪慎文，b

（河北地質(zhì)大學(xué) a．信息工程學(xué)院；b．機(jī)器學(xué)習(xí)與人工智能實(shí)驗(yàn)室，石家莊 050031）

分類是機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘核心問(wèn)題之一，分類模型的本質(zhì)是：基于已有的標(biāo)記信息進(jìn)行挖掘分類規(guī)則、構(gòu)建分析模型，從而對(duì)未標(biāo)記的對(duì)象進(jìn)行識(shí)別。分類方法已廣泛應(yīng)用于模式識(shí)別［1］、智能控制［2］、故障檢測(cè)［3］等諸多領(lǐng)域。

傳統(tǒng)機(jī)器學(xué)習(xí)方法在面對(duì)高維、復(fù)雜和非結(jié)構(gòu)化的海量數(shù)據(jù)時(shí)，由于網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的局限性，導(dǎo)致模型和算法的魯棒性和學(xué)習(xí)能力有限。深度學(xué)習(xí)（deep learning，DL）技術(shù)的出現(xiàn)有效地解決了淺層機(jī)器學(xué)習(xí)特征提取能力不足的問(wèn)題［4］，其通過(guò)模擬人類大腦的組織結(jié)構(gòu)和學(xué)習(xí)機(jī)制，利用分層思想對(duì)數(shù)據(jù)進(jìn)行非線性處理，讓機(jī)器能夠自主學(xué)習(xí)數(shù)據(jù)的本質(zhì)特征。深度學(xué)習(xí)模型在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和自然語(yǔ)言處理中展現(xiàn)了巨大的潛力［5－7］。

深度置信網(wǎng)絡(luò)是由G．E．Hinton等［8］在2006年提出的一種深度模型，作為深度神經(jīng)網(wǎng)絡(luò)主要實(shí)現(xiàn)方式之一，具備從原始數(shù)據(jù)中抽象出更高階特征的能力。DBN不僅能夠無(wú)監(jiān)督對(duì)數(shù)據(jù)進(jìn)行高效自主學(xué)習(xí)，而且能夠利用受限玻爾茲曼機(jī)［9］（restricted Boltzmannmachine，RBM）的逐層表示學(xué)習(xí)能力進(jìn)一步提高識(shí)別性能。集成學(xué)習(xí)［10］通過(guò)訓(xùn)練數(shù)據(jù)構(gòu)建多個(gè)差異性學(xué)習(xí)器以獲得更高的性能，與單個(gè)學(xué)習(xí)器相比，集成學(xué)習(xí)能夠很大程度上提高學(xué)習(xí)系統(tǒng)的泛化能力。文獻(xiàn)［11］提出了一種深度置信網(wǎng)絡(luò)堆疊結(jié)構(gòu)，通過(guò)多個(gè)DBN對(duì)雷達(dá)信號(hào)進(jìn)行特征提取，克服了單一深度模型學(xué)習(xí)能力差的問(wèn)題。文獻(xiàn)［12］提出采用3個(gè)單一的DBN個(gè)體分類器用于肺部圖像識(shí)別，通過(guò)“相對(duì)多數(shù)投票策略”進(jìn)行集成。上述方法中，均使用淺層神經(jīng)網(wǎng)絡(luò)作為分類器，使深度學(xué)習(xí)的分類性能受到限制。文獻(xiàn)［13］提出了一種基于DBN XGBDT的入侵檢測(cè)方法，利用DBN對(duì)高維復(fù)雜的數(shù)據(jù)集進(jìn)行降維，通過(guò)XGBDT算法進(jìn)行二分類，使用單一XGBDT作為分類器，存在分類器的穩(wěn)定性較差、學(xué)習(xí)能力有限等問(wèn)題。

針對(duì)以上的不足，本文提出了一種深度置信提升網(wǎng)絡(luò)集成分類模型。該模型采用集成DBN從原始數(shù)據(jù)中提取出高階特征向量，借鑒深度學(xué)習(xí)的思想，采用XGBoost和GBDT作為基學(xué)習(xí)器，通過(guò)級(jí)聯(lián)構(gòu)成深層提升網(wǎng)絡(luò)，進(jìn)而對(duì)高階特征向量進(jìn)行逐層監(jiān)督學(xué)習(xí)，深層提升網(wǎng)絡(luò)克服了深層神經(jīng)網(wǎng)絡(luò)反向傳播過(guò)程中存在的耗時(shí)問(wèn)題，并且超參數(shù)少，魯棒性強(qiáng)?；赨CI公開(kāi)數(shù)據(jù)集和MNIST數(shù)據(jù)集，本文所提出模型與傳統(tǒng)深度學(xué)習(xí)方法和集成學(xué)習(xí)方法進(jìn)行了性能比較實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，本文模型具有良好的識(shí)別性能。

1 理論技術(shù)

1．1 深度置信網(wǎng)絡(luò)

DBN是以概率圖模型為基礎(chǔ)的深層表示學(xué)習(xí)模型，能夠模擬真實(shí)數(shù)據(jù)的聯(lián)合分布。深度置信網(wǎng)絡(luò)是由多層無(wú)監(jiān)督的受限玻爾茲曼機(jī)和一層有監(jiān)督的反向傳播（back propagation，BP）網(wǎng)絡(luò)組成［14］，其拓?fù)浣Y(jié)構(gòu)如圖1所示。從圖1中可以看出，輸入數(shù)據(jù)從底層向上依次傳遞，每層RBM輸入特征向量維度分別為n0，n1，n2，經(jīng)過(guò)逐層抽象得到深層次特征表示，最后一層為BP網(wǎng)絡(luò)，利用真實(shí)樣本標(biāo)簽反向傳播精調(diào)模型參數(shù)。

圖1 DBN模型拓?fù)浣Y(jié)構(gòu)框圖

RBM的基本結(jié)構(gòu)是由可視層和隱藏層2部分構(gòu)成。通過(guò)可視層輸入數(shù)據(jù)，隱藏層對(duì)數(shù)據(jù)進(jìn)行重構(gòu)。假設(shè)可視層神經(jīng)元和隱藏層神經(jīng)元的輸入特征值均為二進(jìn)制數(shù)值，則：

式中：vi表示第i個(gè)可視層神經(jīng)元的狀態(tài)；0表示非激活狀態(tài)；1表示激活狀態(tài)；hj表示第j個(gè)隱藏層神經(jīng)元的狀態(tài)。

可視層和隱藏層之間任意2個(gè)神經(jīng)元的連接權(quán)重為W，能量函數(shù)定義為：

式中：v和h分別代表可視層節(jié)點(diǎn)和隱藏層節(jié)點(diǎn)；wij為2個(gè)神經(jīng)元連接權(quán)重矩陣W的元素；n為可視層節(jié)點(diǎn)數(shù)目；m為隱藏層節(jié)點(diǎn)數(shù)目；ci和bj分別表示vi和hj的偏移量。

通過(guò)以上定義，RBM的聯(lián)合概率分布為：

在實(shí)際應(yīng)用中，通過(guò)用學(xué)習(xí)到的邊緣概率分布生成盡可能擬合真實(shí)樣本分布的數(shù)據(jù)集，即需要計(jì)算p（v｜h），有：

RBM需要訓(xùn)練。對(duì)于樣本數(shù)據(jù)x，主要采用RBM標(biāo)準(zhǔn)的對(duì)比散度算法［15］進(jìn)行訓(xùn)練，訓(xùn)練完成后得到參數(shù) θ＝（wij，ci，bj），進(jìn)而得到非常接近真實(shí)分布的p（v），最后通過(guò)將整個(gè)網(wǎng)絡(luò)參數(shù)輸入到BP網(wǎng)絡(luò)中，并結(jié)合樣本數(shù)據(jù)標(biāo)簽進(jìn)行參數(shù)精準(zhǔn)調(diào)優(yōu)，使分類誤差達(dá)到最小。

1．2 極限梯度提升樹(shù)

XGBoost算法［16］被稱為極限梯度提升算法，它是基于梯度提升決策樹(shù)（見(jiàn)本文1．3節(jié)）的改進(jìn)算法，是一種利用Boosting思想將多個(gè)基學(xué)習(xí)器的輸出與權(quán)重相結(jié)合的算法。由于單個(gè)決策樹(shù)的準(zhǔn)確性和泛化性能不強(qiáng)，容易出現(xiàn)識(shí)別精度低和過(guò)擬合的情況，極限梯度提升數(shù)的核心思想是：為了降低上一層弱分類器殘差，每個(gè)弱分類器都建立，然后把弱學(xué)習(xí)器進(jìn)行累加得到最終的強(qiáng)學(xué)習(xí)器。

相對(duì)于傳統(tǒng)的隨機(jī)森林和GBDT，XGBoost有以下優(yōu)點(diǎn)：

1）與傳統(tǒng)GBDT相比，XGBoost不僅可以使用分類回歸樹(shù)（classification and regression trees，CART）作為基學(xué)習(xí)器，而且支持線性分類器。

2）XGBoost對(duì)代價(jià)函數(shù)進(jìn)行2階泰勒展開(kāi)，充分利用了1階導(dǎo)數(shù)和2階導(dǎo)數(shù)信息。為了控制模型的復(fù)雜程度，在代價(jià)函數(shù)中加入了正則化懲罰項(xiàng)，防止模型過(guò)擬合。

3）與傳統(tǒng)隨機(jī)森林對(duì)訓(xùn)練集采用相同的訓(xùn)練方式不同，XGBoost通過(guò)對(duì)基學(xué)習(xí)器賦予不同權(quán)重，使特征具有區(qū)分性，并且在處理分類問(wèn)題上，XGBoost具有更高的精度和識(shí)別性能。

與傳統(tǒng)的隨機(jī)森林和GBDT相比，XGBoost體現(xiàn)出顯著的優(yōu)勢(shì)，所以本文通過(guò)XGBoost作為基學(xué)習(xí)器構(gòu)建深層網(wǎng)絡(luò)。

1．3 梯度提升決策樹(shù)

GBDT是G．H．FriedMan［17］提出的一種Boos ting方法，是一種基于決策樹(shù)的集成算法。核心思想是：每次計(jì)算多個(gè)弱學(xué)習(xí)器的輸出結(jié)果和上一次輸出結(jié)果的殘差，利用梯度下降法進(jìn)行訓(xùn)練，即在殘差減小的方向上構(gòu)建一個(gè)新的回歸模型。GBDT處理分類問(wèn)題時(shí)，通過(guò)將目標(biāo)函數(shù)得到的對(duì)數(shù)數(shù)值轉(zhuǎn)換為概率值，利用評(píng)測(cè)（概率）與真實(shí)（概率）之間的差值作為殘差，即所提升的是關(guān)于概率的近似殘差?？紤]到集成學(xué)習(xí)中學(xué)習(xí)器的多樣性，本文將GBDT作為構(gòu)建深層網(wǎng)絡(luò)的另一種基學(xué)習(xí)器。

2 一種深度置信提升網(wǎng)絡(luò)集成分類模型

周志華等［18］提出了多粒度級(jí)聯(lián)森林（multi gained cascade forest，gcForest），它是基于決策樹(shù)的多層隨機(jī)森林的集成方法。gcForest的提出是為了簡(jiǎn)化深層神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)、降低超參數(shù)的數(shù)量和提升訓(xùn)練效率，實(shí)驗(yàn)結(jié)果表明，gcForest不僅訓(xùn)練時(shí)間和超參數(shù)少于深層神經(jīng)網(wǎng)絡(luò)，而且在大規(guī)模數(shù)據(jù)集上和深層神經(jīng)網(wǎng)絡(luò)表現(xiàn)能力相當(dāng)。本文對(duì)gcForest進(jìn)行了改進(jìn)，將特征提取階段的多粒度掃描替換為集成DBN，將用于深層網(wǎng)絡(luò)學(xué)習(xí)的隨機(jī)森林替換為基于梯度提升策略的決策樹(shù)。提出了基于深度置信提升網(wǎng)絡(luò)的集成分類模型。

2．1 整體模型結(jié)構(gòu)

深度置信提升網(wǎng)絡(luò)的集成分類模型由輸入層、隱層、輸出層等3個(gè)部分構(gòu)成。

輸入層采用集成DBN作為特征提取器，以MNIST數(shù)據(jù)集為例，通過(guò)3個(gè)單一DBN（每層節(jié)點(diǎn)數(shù)為100＼150＼300）對(duì)MNIST數(shù)據(jù)進(jìn)行不同層次的深入學(xué)習(xí)，將每層RBM的輸出和最后一層DBN輸出進(jìn)行融合，同時(shí)進(jìn)行特征選擇去除冗余特征，最后將3個(gè)單一DBN的學(xué)習(xí)結(jié)果融合成900維增強(qiáng)特征向量并作為隱層的輸入，即784維的原始數(shù)據(jù)由900維的增強(qiáng)特征向量重新表示。

隱層使用XGBoost與GBDT作為基學(xué)習(xí)器，采用深層網(wǎng)絡(luò)結(jié)構(gòu)對(duì)增強(qiáng)特征向量進(jìn)行深入學(xué)習(xí)。隱層的第一層對(duì)增強(qiáng)特征向量進(jìn)行高級(jí)特征提取，從隱層的第二層開(kāi)始，將上一層所有基學(xué)習(xí)器輸出結(jié)果（4維）和增強(qiáng)特征向量（900維）融合作為輸入。隱層層數(shù)根據(jù)每層的學(xué)習(xí)結(jié)果進(jìn)行自適應(yīng)，如果當(dāng)前層輸出平均預(yù)測(cè)準(zhǔn)確率和上一層輸出平均預(yù)測(cè)準(zhǔn)確率相比，沒(méi)有提升且當(dāng)前層輸出預(yù)測(cè)準(zhǔn)確率矩陣的方差小于自適應(yīng)因子ε，則停止增加網(wǎng)絡(luò)層數(shù)，訓(xùn)練結(jié)束。

輸出層采用相對(duì)多數(shù)投票策略得到最終的分類結(jié)果。模型結(jié)構(gòu)如圖2所示。

圖2 集成分類模型總體結(jié)構(gòu)框圖

2．2 集成DBN特征提取

集成DBN分為單一DBN網(wǎng)絡(luò)構(gòu)建和集成DBN構(gòu)建2個(gè)部分。假設(shè)輸入數(shù)據(jù)m維，首先構(gòu)建單個(gè)DBN分類器，探討不同隱層層數(shù)和不同隱層節(jié)點(diǎn)數(shù)對(duì)分類準(zhǔn)確率和訓(xùn)練時(shí)間的影響，選取最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)（m－n－n），為了保持提取特征的多樣性，其余2個(gè)DBN結(jié)構(gòu)選為隱層層數(shù)相同、隱層節(jié)點(diǎn)數(shù)分別為n±0．5n。考慮到RBM編碼時(shí)存在重構(gòu)誤差，所以將倒數(shù)第二層RBM輸出和最后層輸出進(jìn)行融合。最后將3個(gè)單一DBN進(jìn)行集成，輸出增強(qiáng)特征向量。

針對(duì)DBN融合淺層特征深層特征過(guò)程中可能存在特征冗余問(wèn)題，利用基于歐幾距離（euclide an distance，ED）度量特征之間的差異性［19］，使用基于條件方差方式（conditional variance，CV）度量特征與標(biāo)簽的相關(guān)性［20］，使得特征子集盡可能具有較高的差異性和互補(bǔ)性。設(shè)樣本特征子集為征子集的差異性度量和特征與標(biāo)簽的相關(guān)性度量為：

式（5）（6）中：EDi表示第i個(gè)特征與其他特征的平均相似度；CVi表示第i個(gè)特征與類別標(biāo)簽的相關(guān)程度，取值范圍［0，1］，取值接近1表示xi與y存在強(qiáng)相關(guān)性，相反，取值接近0表示，兩者相互獨(dú)立；Var（xi）表示第i特征的邊際方差；E［Var（xi｜Y）］表示條件方差期望值。

特征之間的總平均相似度（overall average similarity，OAS）和特征與類別標(biāo)簽的總平均相關(guān)度為（overall average correlation，OAC）分別為：

算法1為集成DBN模型的訓(xùn)練標(biāo)準(zhǔn)算法，分為DBN網(wǎng)絡(luò)訓(xùn)練和特征融合等2個(gè)部分。設(shè)置算法輸入訓(xùn)練數(shù)據(jù)集為D＝｛（x1，y1），（x2，y2），…，（xn，yn）｝T，可視層和隱藏層連 接 權(quán)重為W ＝（Wij）T，可視層偏執(zhí)為c＝｛c1，c2，…，cn｝T，隱藏層偏執(zhí)為b＝｛b1，b2，…，bm｝T，集成DBN網(wǎng)絡(luò)由DBN（1，2，…，p）構(gòu) 成， 每 層 DBN 網(wǎng) 絡(luò) 輸 出為DBN1out（1，2，．…，N）。

算法1 集成DBN模型訓(xùn)練過(guò)程。

輸入：訓(xùn)練數(shù)據(jù)集D，迭代次數(shù)n＿step，采樣的步數(shù)cd＿k

2．3 深層提升網(wǎng)絡(luò)

深層提升網(wǎng)絡(luò)是基于梯度提升策略的決策樹(shù)的多層級(jí)聯(lián)結(jié)構(gòu)。本文使用XGBoost和GBDT作為個(gè)體學(xué)習(xí)器，采用級(jí)聯(lián)的方式構(gòu)成深層網(wǎng)絡(luò)，進(jìn)而對(duì)集成DBN輸出的增強(qiáng)特征向量進(jìn)一步深層學(xué)習(xí)。深層提升網(wǎng)絡(luò)第一層將增強(qiáng)特征向量作為輸入；從第二層開(kāi)始，每一層都是接收前一層處理的信息融合增強(qiáng)特征向量，并將處理后的結(jié)果輸入到下一層。為了降低過(guò)擬合風(fēng)險(xiǎn)，每次產(chǎn)生一個(gè)新的隱層，計(jì)算當(dāng)前層輸出預(yù)測(cè)準(zhǔn)確率c和當(dāng)前層各個(gè)體學(xué)習(xí)器輸出預(yù)測(cè)準(zhǔn)確率矩陣的方差η，將η與自適應(yīng)因子ε進(jìn)行比較，自適應(yīng)因子ε為學(xué)習(xí)結(jié)果變化的參數(shù)。如果η＜ε或當(dāng)前層平均精度c小于上一層平均精度，訓(xùn)練結(jié)束。

假設(shè)樣本個(gè)數(shù)為N，隱層基學(xué)習(xí)器個(gè)數(shù)為K，第i層的第k個(gè)學(xué)習(xí)器的輸出和預(yù)測(cè)準(zhǔn)確率分別用Aij和ci表示，則方差η和當(dāng)前層預(yù)測(cè)精度ci公式為：

算法2 深層提升網(wǎng)絡(luò)訓(xùn)練算法。

輸入：訓(xùn)練樣本x＿trian，訓(xùn)練樣本標(biāo)簽y＿train，測(cè)試樣本x＿test，測(cè)試樣本標(biāo)簽y＿test。

輸出：訓(xùn)練樣本x＿trian，訓(xùn)練樣本標(biāo)簽y＿train，測(cè)試樣本x＿test，測(cè)試樣本標(biāo)簽y＿test，隱層數(shù)目m。

初始化參數(shù)：隱層個(gè)體學(xué)習(xí)器（Gi1，Gi2，Li1，Li1）的學(xué)習(xí)率為α，最大迭代次數(shù)為n，最大深度為d

／ 深層提升網(wǎng)絡(luò)訓(xùn)練過(guò)程 ／

f←0 ／／停止標(biāo)志

do while（f等于1） ／／1為達(dá)到停止條件，0為未達(dá)到停止條件

gi1←Gi1（x＿train，y＿train）gi2←Gi2（x＿train，y＿train）li1←Li1（x＿train，y＿train）li2←Li2（x＿train，y＿train）

／／通過(guò)訓(xùn)練集訓(xùn)練Gi1，Gi2生成2個(gè)XGBoost模型，通過(guò)訓(xùn)練集訓(xùn)練Li1，Li2生成2個(gè)GBDT模型

x＿train←gi1（x＿train）∪gi2（x＿train）∪

li1（x＿train）∪li2（x＿train）

／／通過(guò)將4個(gè)初級(jí)學(xué)習(xí)器類向量原始數(shù)據(jù)進(jìn)行融合生成新的訓(xùn)練樣本

x＿test←gi1（x＿test）∪gi2（x＿test）∪

li1（x＿test）∪li2（x＿test）

／／通過(guò)將4個(gè)初級(jí)學(xué)習(xí)器類向量原始數(shù)據(jù)進(jìn)行融合生成新的測(cè)試樣本

計(jì)算當(dāng)前層預(yù)測(cè)準(zhǔn)確率矩陣方差η和當(dāng)前層預(yù)測(cè)精度ci

Ifη＜εor ci＜ci－1

f←1

else

i＝i＋1

end do。

深層提升網(wǎng)絡(luò)從第二層開(kāi)始都是建立在上一層學(xué)習(xí)結(jié)果的基礎(chǔ)上進(jìn)行歸納學(xué)習(xí)，采用監(jiān)督學(xué)習(xí)的方式進(jìn)行訓(xùn)練，從而能夠刻畫復(fù)雜數(shù)據(jù)結(jié)構(gòu)，同時(shí)隱層層數(shù)自動(dòng)調(diào)整，根據(jù)數(shù)據(jù)規(guī)模利用每層的輸出結(jié)果自適應(yīng)調(diào)節(jié)，更加準(zhǔn)確地了解學(xué)習(xí)過(guò)程的變化情況。

2．4 相對(duì)多數(shù)投票策略

集成多個(gè)基學(xué)習(xí)器進(jìn)行學(xué)習(xí)時(shí)，輸出層通常由單個(gè)基學(xué)習(xí)器的輸出投票產(chǎn)生。投票法一般分為絕對(duì)多數(shù)投票法［21］和相對(duì)多數(shù)投票法［22］，前者多用于處理二分類問(wèn)題，后者多用于處理多分類問(wèn)題，因此，本文選用相對(duì)多數(shù)投票法。假設(shè)對(duì)于未知樣本x，第k個(gè)基學(xué)習(xí)器輸出結(jié)果為i（樣本類別數(shù)為3），則分類器函數(shù)定義為：

將式（11）進(jìn)行求和，有：

采用相對(duì)多數(shù)投票策略，即：

3 實(shí)驗(yàn)分析

3．1 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)設(shè)計(jì)為相同實(shí)驗(yàn)環(huán)境下10次相同的實(shí)驗(yàn)結(jié)果的均值，其中包括參數(shù)設(shè)置和模型驗(yàn)證。參數(shù)設(shè)置部分分為DBN參數(shù)對(duì)識(shí)別性能的影響探究和自適應(yīng)隱層層數(shù)的探究；模型驗(yàn)證部分通過(guò)將提出模型與DBN、XGBoost和DBN XGBDT［13］等3種經(jīng)典機(jī)器學(xué)習(xí)模型進(jìn)行對(duì)比，進(jìn)一步驗(yàn)證提出模型的優(yōu)越性。

3．2 實(shí)驗(yàn)環(huán)境與評(píng)估指標(biāo)

實(shí)驗(yàn)環(huán)境。實(shí)驗(yàn)使用的計(jì)算機(jī)配置為Intel（R）Core（TM）i7－9750H 2．60GHz處理器，8 GB內(nèi)存，運(yùn)行環(huán)境為Windows10操作系統(tǒng)下的Python 3．7．0，開(kāi)發(fā)工具為Pycharm。

評(píng)價(jià)指標(biāo)。為了評(píng)估本文提出模型在訓(xùn)練時(shí)間和其他模型的檢測(cè)性能，本文使用準(zhǔn)確率和F1－度量作為評(píng)價(jià)指標(biāo)。

3．3 實(shí)驗(yàn)方法

本文使用10折交叉驗(yàn)證的方法，將數(shù)據(jù)集隨機(jī)劃分生成訓(xùn)練集和測(cè)試集，其中訓(xùn)練集和測(cè)試集的比例為7∶3，交叉驗(yàn)證重復(fù)10次，利用統(tǒng)計(jì)方法計(jì)算準(zhǔn)確率和F1－度量的平均值作為整體模型性能的評(píng)估。

3．4 實(shí)驗(yàn)數(shù)據(jù)和預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)基于UCI公開(kāi)數(shù)據(jù)集［23］（Breast Cancer、Dermatology、Chess、Arrhythmia和MNIST數(shù)據(jù)集）進(jìn)行檢測(cè)實(shí)驗(yàn)。數(shù)據(jù)集信息如表1所示。

UCI公開(kāi)數(shù)據(jù)集中的數(shù)據(jù)類型均為多變量，因?yàn)閿?shù)量單位不統(tǒng)一，所以在實(shí)驗(yàn)前需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理。通過(guò)將數(shù)據(jù)值映射到［0，1］區(qū)間，使各個(gè)指標(biāo)均在一個(gè)數(shù)量級(jí)，從而容易對(duì)不同模型輸出分類結(jié)果進(jìn)行對(duì)比。本文歸一化使用的是sklearn庫(kù)中MinMaxScaler方法。

表1 數(shù)據(jù)集信息

3．5 模型參數(shù)分析實(shí)驗(yàn)

參數(shù)設(shè)置為2個(gè)部分：一部分探討DBN網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)實(shí)驗(yàn)確定DBN的隱層層數(shù)、隱層節(jié)點(diǎn)數(shù)、學(xué)習(xí)率，從而為后續(xù)實(shí)驗(yàn)選擇最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)；另一部分通過(guò)改變提出模型隱層級(jí)聯(lián)結(jié)構(gòu)來(lái)觀察分類準(zhǔn)確率的變化，從而確定自適應(yīng)因子ε的范圍。

3．5．1 實(shí)驗(yàn)1：DBN網(wǎng)絡(luò)層數(shù)對(duì)分類結(jié)果的影響

在訓(xùn)練集成DBN模型時(shí)，首先設(shè)置非監(jiān)督學(xué)習(xí)率均為1，動(dòng)量學(xué)習(xí)率為0．5，后期設(shè)置為0．9，激活函數(shù)為sigmoid函數(shù)，RBM訓(xùn)練最大迭代次數(shù)50。BP算法學(xué)習(xí)率0．1，最大迭代次數(shù)50。通過(guò)實(shí)驗(yàn)確認(rèn)DBN網(wǎng)絡(luò)層數(shù)，每次網(wǎng)絡(luò)訓(xùn)練都將其中一個(gè)網(wǎng)絡(luò)參數(shù)作為變量，其他的網(wǎng)絡(luò)參數(shù)固定。

針對(duì)Breast Cancer、Dermatology、Chess、Ar rhythmia和MNIST數(shù)據(jù)集，隱層節(jié)點(diǎn)分別為10、40、20、100、400，設(shè)置各層節(jié)點(diǎn)數(shù)均相同，研究DBN網(wǎng)絡(luò)的隱層層數(shù)｛1，2，3，4，5｝對(duì)分類準(zhǔn)確率的影響，實(shí)驗(yàn)結(jié)果如表2所示。

從表2可知，在Breast Cancer數(shù)據(jù)集上，隱層數(shù)為2時(shí)，準(zhǔn)確率達(dá)到最高值，最高為68．53%，隨著層數(shù)升高結(jié)果沒(méi)有顯著變化，因此隱層數(shù)目選擇為2；在Dermatology數(shù)據(jù)集和Chess數(shù)據(jù)集上，隱層數(shù)為2時(shí)，分別取得了很好的結(jié)果，分別為74．54%和82．86%；在Arrhythmia數(shù)據(jù)集上，隱層數(shù)為2時(shí)，準(zhǔn)確率達(dá)到最高，最高值為55．09%；在MNIST數(shù)據(jù)集上，隱層數(shù)為2時(shí)，準(zhǔn)確率最高，最高值為88．88%。

根據(jù)實(shí)驗(yàn)結(jié)果可知，隨著DBN隱層層數(shù)的增加，分類準(zhǔn)確率呈現(xiàn)先升高后降低的趨勢(shì)?？紤]到模型結(jié)構(gòu)的復(fù)雜性和訓(xùn)練時(shí)間，將DBN的隱層層數(shù)固定為2。

3．5．2 實(shí)驗(yàn)2：集成DBN隱層節(jié)點(diǎn)數(shù)對(duì)分類結(jié)果影響

基于實(shí)驗(yàn)1的結(jié)果，研究不同隱層節(jié)點(diǎn)數(shù)對(duì)數(shù)據(jù)集的影響，針對(duì)不同的數(shù)據(jù)集，選擇最優(yōu)的隱層節(jié)點(diǎn)數(shù)以提升DBN的識(shí)別性能。實(shí)驗(yàn)結(jié)果如表3所示。

表2 DBN不同隱層層數(shù)的分類準(zhǔn)確率

表3 不同隱層節(jié)點(diǎn)下分類準(zhǔn)確率

由表3可知，隨著隱層節(jié)點(diǎn)數(shù)的增加，DBN識(shí)別性能呈現(xiàn)了先上升后下降的趨勢(shì)，考慮到集成DBN中單個(gè)DBN結(jié)構(gòu)的多樣性，第1個(gè)DBN選擇識(shí)別性能最優(yōu)的隱層節(jié)點(diǎn)數(shù)n（DBN結(jié)構(gòu)為mn－n，m為輸入特征個(gè)數(shù)），然后其余2個(gè)DBN隱層節(jié)點(diǎn)數(shù)固定為n±0．5n。在Breast Cancer數(shù)據(jù)集上，識(shí)別性能最優(yōu)時(shí)隱層節(jié)點(diǎn)數(shù)為15（DBN結(jié)構(gòu)為30－15－15），則其余2個(gè)DBN結(jié)構(gòu)固定為（30－7－7，30－22－22）；在Dermatology數(shù)據(jù)集上，分類準(zhǔn)確率最大時(shí)隱層節(jié)點(diǎn)數(shù)為20，則其余2個(gè)DBN隱層結(jié)構(gòu)為（34－10－10，34－30－30）；在Chess數(shù)據(jù)集上，分類準(zhǔn)確率最大時(shí)隱層節(jié)點(diǎn)數(shù)為40，其余2個(gè)DBN隱層結(jié)構(gòu)為（71－20－20，71－60－60）；在Arrhythmia數(shù)據(jù)集上，分類準(zhǔn)確率最大時(shí)隱層節(jié)點(diǎn)數(shù)為150，其余2個(gè)DBN隱層結(jié)構(gòu)為（277－75－75，277－225－225）；在MNIST數(shù)據(jù)集上，分類準(zhǔn)確率最大時(shí)隱層節(jié)點(diǎn)數(shù)為300，其余2個(gè)DBN隱層結(jié)構(gòu)為（784－150－150，784－450－450）。根據(jù)以上選擇，最終配置如表4所示。

表4 DBN參數(shù)最終配置

3．5．3 實(shí)驗(yàn)3：學(xué)習(xí)率對(duì)DBN分類效果的影響

根據(jù)實(shí)驗(yàn)2的結(jié)果，針對(duì)不同的數(shù)據(jù)集DBN選取最優(yōu)隱層節(jié)點(diǎn)數(shù)。實(shí)驗(yàn)選取學(xué)習(xí)率的區(qū)間為［0，1］，實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 不同學(xué)習(xí)率對(duì)DBN影響情況

實(shí)驗(yàn)結(jié)果表明，在Breast Cancer數(shù)據(jù)、Derma tology數(shù)據(jù)、Chess數(shù)據(jù)和Arrhythmia數(shù)據(jù)上學(xué)習(xí)率在［0．1，0．3］上取得準(zhǔn)確率較高，隨著學(xué)習(xí)率的增加，代價(jià)函數(shù)反而出現(xiàn)了不穩(wěn)定的趨勢(shì)。在MNIST數(shù)據(jù)上，學(xué)習(xí)率在［0．02，0．3］上取得準(zhǔn)確率較高并且穩(wěn)定，因此固定學(xué)習(xí)率 λ＝（0．3＋0 1）／2＝0．2。

3．5．4 實(shí)驗(yàn)4：深度提升網(wǎng)絡(luò)層數(shù)對(duì)分類結(jié)果的影響

深度提升網(wǎng)絡(luò)是由2個(gè)XGBoost與2個(gè)GBDT組成的多層級(jí)聯(lián)結(jié)構(gòu)。為了更好地對(duì)實(shí)驗(yàn)分類結(jié)果進(jìn)行類比，對(duì)XGBoost和GBDT的超參數(shù)進(jìn)行設(shè)置，如表5所示。

表5 XGBoost和GBDT參數(shù)配置

研究網(wǎng)絡(luò)層數(shù)對(duì)不同數(shù)據(jù)集下分類準(zhǔn)確率的影響。為了體現(xiàn)實(shí)驗(yàn)結(jié)果統(tǒng)一性和類比性，將其他參數(shù)保持不變，每次網(wǎng)絡(luò)訓(xùn)練都將網(wǎng)絡(luò)層數(shù)作為變量，實(shí)驗(yàn)結(jié)果如表6所示。

表6 隱層不同級(jí)聯(lián)層數(shù)的分類準(zhǔn)確率

根據(jù)表6可以得出，隨著網(wǎng)絡(luò)層數(shù)的增加，分類準(zhǔn)確率的變化趨勢(shì)呈現(xiàn)出逐漸上升的趨勢(shì)，但當(dāng)增加到一定程度，隨著層數(shù)增加，出現(xiàn)過(guò)擬合現(xiàn)象，導(dǎo)致識(shí)別精度開(kāi)始降低，為了能夠保持較高的識(shí)別精度，自適應(yīng)因子ε的范圍固定為［0．004，0 015］時(shí)，分類性能達(dá)到最優(yōu)。在Breast Cancer數(shù)據(jù)集上，隱層層數(shù)為2時(shí)分類準(zhǔn)確率達(dá)到最大值，最大值為97．82%；在Dermatology數(shù)據(jù)集上，網(wǎng)絡(luò)層數(shù)為2時(shí)分類準(zhǔn)確率達(dá)到98．92%；在Chess數(shù)據(jù)集上，網(wǎng)絡(luò)層數(shù)為4時(shí)分類準(zhǔn)確率達(dá)到98 01%；在Arrhythmia數(shù)據(jù)集上，網(wǎng)絡(luò)層數(shù)為2時(shí)分類準(zhǔn)確率達(dá)到71．32%；在MNIST數(shù)據(jù)集上，隱層層數(shù)為3時(shí)分類準(zhǔn)確率達(dá)到93．24%。

綜上可知，網(wǎng)絡(luò)層數(shù)對(duì)分類結(jié)果存在一定的影響。需要在一定范圍內(nèi)確定隱層層數(shù)，通過(guò)當(dāng)前層各學(xué)習(xí)器輸出準(zhǔn)確率矩陣的方差變化情況和當(dāng)前層輸出準(zhǔn)確率與上一層輸出準(zhǔn)確率的變化情況自適應(yīng)層數(shù)，從而提升模型訓(xùn)練效率。

3．6 實(shí)驗(yàn)仿真結(jié)果

通過(guò)實(shí)驗(yàn)1～4，探討模型參數(shù)對(duì)識(shí)別性能的影響，確定最優(yōu)的模型參數(shù)?；赨CI數(shù)據(jù)集和MNIST數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)，仿真結(jié)果如圖4和圖5所示。

圖4 基于UCI數(shù)據(jù)集分類準(zhǔn)確率

圖4 、5均為訓(xùn)練集上準(zhǔn)確率和測(cè)試集上準(zhǔn)確率對(duì)比結(jié)果。由圖4所知，本文模型在Chess數(shù)據(jù)和Dermatology數(shù)據(jù)上分類性能比較穩(wěn)定。由圖5所知，本文模型在Breast Cancer數(shù)據(jù)和MNIST數(shù)據(jù)上分類性能較為穩(wěn)定，但是在Arrhythmia數(shù)據(jù)上訓(xùn)練結(jié)果和測(cè)試結(jié)果相差較大，原因是樣本分布不均勻?qū)е拢捎谟?xùn)練集和測(cè)試集采用隨機(jī)劃分，某些少數(shù)類別只劃分在測(cè)試集，在模型訓(xùn)練過(guò)程中并沒(méi)有此類別樣本，因此出現(xiàn)了檢測(cè)結(jié)果波動(dòng)較大的現(xiàn)象。

圖5 基于MNIST數(shù)據(jù)集分類準(zhǔn)確率

3．7 模型整體性能分析

將所提出模型與傳統(tǒng)模型進(jìn)行對(duì)比，將實(shí)驗(yàn)數(shù)據(jù)按一定比例劃分為訓(xùn)練集和測(cè)試集，分別輸入DBN模型、XGBoost模型、DBN＋XGBoost模型和所提出模型，通過(guò)分類準(zhǔn)確率評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比，對(duì)比結(jié)果如表7所示。其中DBN和XGBoost的參數(shù)設(shè)置見(jiàn)表4和表5。

表7 不同模型分類結(jié)果對(duì)比

續(xù)表（表7）

由表7可知，使用DBN模型的預(yù)測(cè)F1－度量值在74．07% ～90．07%，平均值為85．06%，使用XGboost模型的預(yù)測(cè)F1－度量值在31．49%～96 42%，平均值為81．45%，使用DBN XGBDT模型的預(yù)測(cè)F1－度量值在78．16% ～97．29%，平均值為91．37%，本文模型的預(yù)測(cè)F1－度量值在94 69%～98．01%，平均值為92．638%，比DBN、XGBoost和DBN XGBDT的預(yù)測(cè)F1－度量值都高。本文模型的分類準(zhǔn)確率與DBN相比，平均提升13．8%，與XGBoost相比，平均提升6．98%，與DBN XGBoost相比，平均提升4．18%，由此可見(jiàn)，本文模型不僅分類準(zhǔn)確率上具有明顯提升，而且在F1－度量上具有明顯優(yōu)勢(shì)。

在處理小規(guī)模數(shù)據(jù)時(shí)XGBoost模型的分類精度明顯優(yōu)于DBN模型，通過(guò)將XGBoost用于分類器，一定程度上可以提升DBN模型處理小規(guī)模數(shù)據(jù)的能力。通過(guò)與DBN、XGBoost、DBN XGBDT模型對(duì)比，本文模型不僅在大規(guī)模高維數(shù)據(jù)上識(shí)別性能表現(xiàn)良好，而且處理小規(guī)模數(shù)據(jù)時(shí)也能表現(xiàn)出優(yōu)秀的分類性能。因?yàn)椴捎眉蒁BN算法特征提取，所以導(dǎo)致訓(xùn)練時(shí)間較長(zhǎng)，雖然訓(xùn)練時(shí)間明顯高于其他3種模型，但是可以通過(guò)優(yōu)化模型參數(shù)來(lái)進(jìn)一步提升訓(xùn)練效率。通過(guò)對(duì)比實(shí)驗(yàn)得出結(jié)論，本文模型整體分類識(shí)別能力良好，尤其處理高維非線性數(shù)據(jù)時(shí)，更是表現(xiàn)出優(yōu)秀的學(xué)習(xí)能力。

4 結(jié)論

針對(duì)單一淺層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力不足問(wèn)題，本文提出基于深度置信提升網(wǎng)絡(luò)的集成分類模型。模型采用集成DBN進(jìn)行特征提取，借鑒深度學(xué)習(xí)的思想，采用XGBoost和GBDT構(gòu)成的深層提升網(wǎng)絡(luò)對(duì)提取的特征進(jìn)行表征學(xué)習(xí)，采用自適應(yīng)網(wǎng)絡(luò)層數(shù)以降低模型復(fù)雜度?；赨CI公開(kāi)數(shù)據(jù)集和MNIST數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，結(jié)果表明，本文提出模型的分類準(zhǔn)確率均高于現(xiàn)有方法，可以為深度學(xué)習(xí)和集成學(xué)習(xí)結(jié)合提供新的方向。因?yàn)椴捎眉蒁BN方法進(jìn)行特征提取，所以模型訓(xùn)練時(shí)間較于傳統(tǒng)方法更長(zhǎng)。下一步研究采用何種方法選擇最優(yōu)參數(shù)以提升訓(xùn)練效率，以及將其應(yīng)用解決實(shí)際問(wèn)題。