◆任楚嵐 曾召俠

淺析深度信念網(wǎng)絡(luò)模型

◆任楚嵐 曾召俠

（沈陽化工大學(xué)（沈陽）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 遼寧 110000）

深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）是深度學(xué)習(xí)模型之一，是實(shí)現(xiàn)人工智能的重要模型。它是由多個受限玻爾茲曼機(jī)（RBM）堆加而成。一般在模型的最后一層加入分類器模型進(jìn)行分類。目前已在生物特征識別、語音識別、機(jī)器故障診斷、疾病診斷等諸多領(lǐng)域得到廣泛應(yīng)用。鑒于深度信念網(wǎng)絡(luò)模型的優(yōu)點(diǎn)及其強(qiáng)大的自主學(xué)習(xí)能力，主要做了四個方面的工作：第一，闡述了深度學(xué)習(xí)的背景以及深度信念網(wǎng)絡(luò)的來源，第二，詳細(xì)介紹了深度信念網(wǎng)絡(luò)的基本原理和模型框架，第三，對受限玻爾茲曼機(jī)的學(xué)習(xí)過程等進(jìn)行了介紹，第四，總結(jié)了深度信念網(wǎng)絡(luò)在疾病預(yù)測領(lǐng)域的研究與應(yīng)用。

深度學(xué)習(xí)；深度信念網(wǎng)絡(luò)；受限玻爾茲曼機(jī)；對比散度

2006年，Hinton[1]和他的學(xué)生在《科學(xué)》上發(fā)表了一篇文章，深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）模型首次被提出，當(dāng)時，推動了深度學(xué)習(xí)的發(fā)展[2]。在深度信念網(wǎng)絡(luò)模型的學(xué)習(xí)過程中，采用逐層訓(xùn)練（layer-Wise Training）的貪婪式無監(jiān)督學(xué)習(xí)方法進(jìn)行訓(xùn)練，從而解決了梯度消失問題，在模型的最后使用分類器對模型結(jié)果進(jìn)行分類?？梢哉f，深度信念網(wǎng)絡(luò)是結(jié)合了無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)的多層概率機(jī)器學(xué)習(xí)模型。

深度信念網(wǎng)絡(luò)[2-3]是深度學(xué)習(xí)中重要的學(xué)習(xí)模型，通過組合低層特征形成更加抽象的高層特征或?qū)傩灶悇e。在各界得到廣泛關(guān)注，從此掀起了深度學(xué)習(xí)研究的浪潮。近年來，深度信念網(wǎng)絡(luò)被廣泛應(yīng)用于與人們生活息息相關(guān)的課程領(lǐng)域，可以實(shí)現(xiàn)機(jī)器翻譯，人臉識別[4]，語音識別、信號恢復(fù)、商業(yè)推薦、金融分析，醫(yī)療輔助和智能交通等。

基于深度信念網(wǎng)絡(luò)的優(yōu)勢和特征學(xué)習(xí)能力，本文主要圍繞深度信念網(wǎng)絡(luò)概括為以下內(nèi)容：（1）深度信念網(wǎng)絡(luò)的基本原理；（2）受限玻爾茲曼機(jī)的算法執(zhí)行過程；（3）深度信念網(wǎng)絡(luò)在疾病預(yù)測中的研究進(jìn)展；

1 深度信念網(wǎng)絡(luò)原理

深度信念網(wǎng)絡(luò)由若干個受限玻爾茲曼機(jī)（Restricted Boltzmann Machines，RBM）的堆疊和一層有監(jiān)督的反向傳播網(wǎng)絡(luò)組成，訓(xùn)練時可通過由低到高逐層訓(xùn)練這些RBM來實(shí)現(xiàn)。整個訓(xùn)練的過程可以概括為兩個部分：一個是預(yù)訓(xùn)練（pre-Training），采用無監(jiān)督逐層學(xué)習(xí)的方式對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)進(jìn)行初始化，另一個是精調(diào)（Fine-Tuning）在模型的最后使用反向傳播算法對網(wǎng)絡(luò)參數(shù)進(jìn)行全局微調(diào)。即使整個網(wǎng)絡(luò)積累了多層，依舊可以合理地優(yōu)化參數(shù)，這種學(xué)習(xí)方法解決了梯度消失問題，使得深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)更加高效。

1.1 受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)（RBM）最早起源于玻爾茲曼機(jī)（Boltzmann Machine，BM），BM不僅有著強(qiáng)大的無監(jiān)督學(xué)習(xí)能力，而且還能夠?qū)W習(xí)數(shù)據(jù)中復(fù)雜的規(guī)則[4]，但是，這種訓(xùn)練相對比較復(fù)雜，且訓(xùn)練時間較長，為了克服這一問題，Smolensky引入了一種限制的玻爾茲曼機(jī)，則為受限玻爾茲曼機(jī)[5]，其結(jié)構(gòu)如圖（1）所示。

圖1 RBM結(jié)構(gòu)圖

RBM是由一層可見層（visible）和一層隱含層（hidden）組成，且層內(nèi)無連接。h1到hn是n個實(shí)數(shù)，v1到vm是m個實(shí)數(shù)，這些實(shí)數(shù)都是0到1之間的數(shù)字，它們各自組成了一個h向量和一個v向量。每個顯層和隱層之間都存在一個權(quán)重w，一共有n·m權(quán)重，c和b分別是隱藏和顯層的偏置向量。

RBM它是基于能量的模型，那么，對于一組給定的狀態(tài)（v，h），其能量公式定義為：

其中，是參數(shù)、和，等式右側(cè)表示的能量有三個部分，一個是由于權(quán)重連接兩側(cè)的節(jié)點(diǎn)和產(chǎn)生的，必須三個都為1才算有能量的輸出；另外兩個是節(jié)點(diǎn)上的偏置和節(jié)點(diǎn)輸入的向量維度值相乘，同樣三個必須為1才算有能量的輸出。

每一個能量對應(yīng)著一種狀態(tài)，能量越小，表示模型越穩(wěn)定。當(dāng)參數(shù)確定時，由能量公式可得顯層和隱層神經(jīng)元的聯(lián)合概率分布為：

其中，（）是歸一化因子，

由此，當(dāng)確定輸入層的狀態(tài)時，各隱含層節(jié)點(diǎn)之間的激活狀態(tài)是相互獨(dú)立的。因此，第個隱含層節(jié)點(diǎn)的激活概率為：

鑒于受限玻爾茲曼機(jī)的結(jié)構(gòu)是對稱的，當(dāng)確定隱藏層節(jié)點(diǎn)的狀態(tài)時，各輸入層節(jié)點(diǎn)的激活狀態(tài)之間也是條件獨(dú)立的，因此同理，第個可見單元的激活概率可以表示為：

目前，受限玻爾茲曼機(jī)被用于處理機(jī)器學(xué)習(xí)不同的問題，如分類、回歸、降維、高維時間序列建模、特征提取、協(xié)同過濾等。

1.2 對比散度快速學(xué)習(xí)算法

其中，是學(xué)習(xí)率（learning rate），〈〉data是訓(xùn)練數(shù)據(jù)集所定義的數(shù)學(xué)期望，〈〉recon表示一步重構(gòu)后模型定義的期望。

1.3 深度信念網(wǎng)絡(luò)的基本結(jié)構(gòu)

深度信念網(wǎng)絡(luò)是由多個受限玻爾茲曼機(jī)和一層有監(jiān)督的分類器堆疊而成，如圖（2）所示。DBN在整個學(xué)習(xí)過程中總共可以總結(jié)為兩個階段：第一階段是：無監(jiān)督學(xué)習(xí)，第二階段是：有監(jiān)督的微調(diào)。

(1)第一階段是對多層RBM進(jìn)行貪婪式訓(xùn)練，即逐層訓(xùn)練，對模型自底向上逐層訓(xùn)練。將前一個RBM的輸出值作為下一層RBM的輸入值，從而實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)的初始化。

(2)第二階段是對模型進(jìn)行微調(diào)。為了使得整個模型結(jié)構(gòu)的目標(biāo)函數(shù)達(dá)到最優(yōu)，可以采用BP神經(jīng)網(wǎng)絡(luò)算法或者支持向量機(jī)對參數(shù)進(jìn)行微調(diào)從而達(dá)到全局最優(yōu)，將微調(diào)之后的網(wǎng)絡(luò)參數(shù)作為整個網(wǎng)絡(luò)的初始參數(shù)。相對于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，DBN有著較高的準(zhǔn)確率，同時解決了易陷入局部最優(yōu)問題。

圖2 DBN結(jié)構(gòu)圖

2 深度信念網(wǎng)絡(luò)在疾病預(yù)測中的研究

鑒于深度信念網(wǎng)絡(luò)有較好的特征學(xué)習(xí)能力，許多研究者通過搭建深度信念網(wǎng)絡(luò)模型來對各種疾病進(jìn)行預(yù)測預(yù)后，并努力提高對疾病的預(yù)測準(zhǔn)確率，促使深度信念網(wǎng)絡(luò)已經(jīng)成為智慧醫(yī)療的一個重要的實(shí)現(xiàn)途徑。

張婷等人采用多隱層深度信念網(wǎng)絡(luò)模型提取肺結(jié)節(jié)圖像的深層特征，從而對肺結(jié)節(jié)良惡性進(jìn)行分類，最終達(dá)到了95%的準(zhǔn)確率，驗(yàn)證了該方法優(yōu)于BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)（SVM）[7]；逯鵬等人利用重構(gòu)誤差進(jìn)行自主確定網(wǎng)絡(luò)深度搭建DBN模型，實(shí)驗(yàn)表明采用這樣的方法得到了較高的準(zhǔn)確率[8]；Brosch等人將不同的 DBN 模型相結(jié)合，建立了大腦形態(tài)模型，通過自動捕捉腦部病變發(fā)生前可能出現(xiàn)的病理信息，進(jìn)行分析并實(shí)現(xiàn)對腦部疾病的早期診斷[9]；陳德華等人提出一種基于深度信念網(wǎng)絡(luò)的甲狀腺結(jié)節(jié)良惡性鑒別方法，實(shí)驗(yàn)結(jié)果表明基于深度信念網(wǎng)絡(luò)的預(yù)測方法具有較高的準(zhǔn)確率，在非稀疏數(shù)據(jù)和稀疏數(shù)據(jù)集上分別達(dá)到94%和88.84%[10]。Kamada提出了自適應(yīng)結(jié)構(gòu)的DBN模型，并將其應(yīng)用在綜合醫(yī)學(xué)檢查數(shù)據(jù)的癌癥預(yù)測中，該方法在探索輸入數(shù)據(jù)的最佳隱層神經(jīng)元數(shù)，并通過對算法的擴(kuò)展，在DBN中生成新的隱層，其提出的方法相對于傳統(tǒng)的DBN分類精度較高。深度信念網(wǎng)絡(luò)用于疾病預(yù)測，使得智慧醫(yī)療更近一步實(shí)現(xiàn)，為醫(yī)療機(jī)構(gòu)提供了便利[11]。

3 總結(jié)

深度學(xué)習(xí)的發(fā)展使得越來越多的人工智能得以實(shí)現(xiàn)，促使深度學(xué)習(xí)成為人工智能的一個新的研究領(lǐng)域，本文主要從深度學(xué)習(xí)的來源和深度信念網(wǎng)絡(luò)的原理，以及受限玻爾茲曼機(jī)的學(xué)習(xí)過程進(jìn)行介紹，在最后整理了深度信念網(wǎng)絡(luò)在疾病預(yù)測領(lǐng)域的研究。在深度信念網(wǎng)絡(luò)的發(fā)展過程中也存在一些不足，例如對于神經(jīng)網(wǎng)絡(luò)層數(shù)和神經(jīng)元個數(shù)的確定，沒有統(tǒng)一的規(guī)定，這些都需要在以后的研究工作中加以完善。

[1]Hinton G，Osindero S，Teh Y.A fast learning algorithm for deep belief nets[J].Neural Compution，2006，18（7）：1527-1554.

[2]Rizk Y，Hajj N，Mitri N，et al.Deep belief networks and cortical algorithms：a comparative study for supervised classification[J].Applied Computing and Informatics，2019，15：81-93.

[3]Wang Gongming，Jia Qingshan，Qiao Junfei，et al.A sparse deep belief network with efficient fuzzy learning frame-work[J].Neural Networks，2020，121：430-440.

[4]張春霞，姬楠楠，王冠偉.受限玻爾茲曼機(jī)[J].工程數(shù)學(xué)學(xué)報，2015（04）：15.

[5]Lin M，F(xiàn)an X.Low resolution face recognition with pose variations using deep belief networks[C]//International Congress on Image and Signal Processing，2011：1522-1526

[6]Hinton G E. Training products of experts by minimizing contrastive divergence [J].Neural Computation，2002，14（8）：1771-1800.

[7]張婷，趙文婷，趙涓涓，強(qiáng)彥.改進(jìn)是深度信念網(wǎng)絡(luò)肺結(jié)節(jié)良惡性分類[D].太原：太原理工大學(xué)，2018.

[8]逯鵬，王玉辰，李奇航.基于改進(jìn)深度信念網(wǎng)絡(luò)的心血管疾病預(yù)測研究[J/OL].2018，35（12）.

[9]Brosch T，Yoo Y，Li D K B，et al.Modeling the Variability in Brain Morpholopy and Lesion Distribution in Multiple Sclerosis by Deep Learning[C]// Internation Conference on Medical Image Computing and Computer-Assisted Intervention. Springer International Publishing.2014：462-469。

[10]陳德華，周東陽，樂嘉錦.基于深度學(xué)習(xí)的甲狀腺結(jié)節(jié)良惡性預(yù)測方法研究[J].微型機(jī)與應(yīng)用，2017，36（12）：13-15.

[11]Kamada S，Ichimura T，Harada T，Adaptive structural learning of deep belief network for medical examination data and its knowledge extraction by using C4.5[C]// 2018 IEEE First International Conference on Artificial Intelligence and Knowledge Engineering（AIKE），Laguna Hills，CA，2018：33-40.