周 濤，陸惠玲，霍兵強(qiáng)

1.北方民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，銀川750021

2.寧夏智能信息與大數(shù)據(jù)處理重點(diǎn)實(shí)驗(yàn)室，銀川750021

3.寧夏醫(yī)科大學(xué) 理學(xué)院，銀川750004

1 引言

深度信念網(wǎng)絡(luò)[1-2]（Deep Belief Network，DBN）是深度學(xué)習(xí)（Deep Learning，DL）中的重要模型，是目前研究和應(yīng)用都比較廣泛的深度學(xué)習(xí)架構(gòu)之一。深度信念網(wǎng)絡(luò)是一種融合了深度學(xué)習(xí)和特征學(xué)習(xí)的多層神經(jīng)網(wǎng)絡(luò)，是結(jié)合了無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)的多層概率機(jī)器學(xué)習(xí)模型。深度信念網(wǎng)絡(luò)能夠從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)、提取特征，通過DBN 學(xué)習(xí)的特征能夠?qū)υ紨?shù)據(jù)實(shí)現(xiàn)更本質(zhì)的描述，并且通過DBN 的“逐層初始化”能夠有效地解決深層網(wǎng)絡(luò)的訓(xùn)練問題。深度信念網(wǎng)絡(luò)的提出為深度學(xué)習(xí)提供了一個(gè)新的研究方向。

在深度信念網(wǎng)絡(luò)提出之前，深層網(wǎng)絡(luò)的訓(xùn)練問題一直都沒有被有效解決，梯度不穩(wěn)定、監(jiān)督學(xué)習(xí)易造成模型的過擬合、梯度下降算法對初始值敏感易陷入局部極值等問題導(dǎo)致了深層網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)的參數(shù)難于訓(xùn)練，所以深層網(wǎng)絡(luò)的效果反而不如淺層網(wǎng)絡(luò)。2006 年Hin‐ton[3]首次提出了深度信念網(wǎng)絡(luò)和貪婪無監(jiān)督逐層學(xué)習(xí)算法，有效解決深度學(xué)習(xí)模型的訓(xùn)練問題，從而也展開了深度信念網(wǎng)絡(luò)在多方面的研究和應(yīng)用。目前，深度信念網(wǎng)絡(luò)己被成功應(yīng)用于人臉識別[4]、手寫字體識別[5]、醫(yī)學(xué)圖像分析處理等諸多領(lǐng)域。

鑒于深度信念網(wǎng)絡(luò)優(yōu)異的特征學(xué)習(xí)能力和實(shí)際應(yīng)用價(jià)值，本文圍繞深度信念神經(jīng)網(wǎng)絡(luò)做了以下幾個(gè)方面的工作：（1）簡單介紹了深度信念網(wǎng)絡(luò)；（2）從受限玻爾茲曼機(jī)以及深度信念網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)過程兩方面總結(jié)了深度信念網(wǎng)絡(luò)的基本原理；（3）從網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法兩方面總結(jié)了深度信念網(wǎng)絡(luò)的研究進(jìn)展，其中，網(wǎng)絡(luò)結(jié)構(gòu)研究進(jìn)展的歸納從網(wǎng)絡(luò)深度、RBM 結(jié)構(gòu)和DBN 級聯(lián)三個(gè)角度展開，學(xué)習(xí)算法研究進(jìn)展的梳理從基本算法、優(yōu)化算法和融合方法（DBN 結(jié)合預(yù)處理方法、特征提取方法、分類識別方法和結(jié)果預(yù)測方法）三個(gè)角度展開；（4）聚焦深度信念網(wǎng)絡(luò)在醫(yī)學(xué)圖像分析領(lǐng)域中的應(yīng)用。

2 基本原理

深度信念網(wǎng)絡(luò)是一種融合了深度學(xué)習(xí)和特征學(xué)習(xí)的多層神經(jīng)網(wǎng)絡(luò)，是結(jié)合了無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)的多層概率機(jī)器學(xué)習(xí)模型。深度信念網(wǎng)絡(luò)是由多層無監(jiān)督的受限玻爾茲曼機(jī)（Restricted Boltzmann Machines，RBM）和一層有監(jiān)督的反向傳播網(wǎng)絡(luò)組成的。貪婪無監(jiān)督逐層學(xué)習(xí)算法的核心思想是對深層網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)進(jìn)行逐層的初始化，然后再使用有監(jiān)督算法對初始化后的網(wǎng)絡(luò)參數(shù)進(jìn)行全局微調(diào)。這種學(xué)習(xí)方法克服了深層網(wǎng)絡(luò)訓(xùn)練中遇到的問題，使深層網(wǎng)絡(luò)的學(xué)習(xí)變得高效。

2.1 受限波爾茲曼機(jī)

受限玻爾茲曼機(jī)是一種隨機(jī)神經(jīng)網(wǎng)絡(luò)模型，每個(gè)RBM 分為兩層，輸入數(shù)據(jù)層稱為可視層，不可見層稱為隱藏層或隱層。RBM 的層內(nèi)無連接，層間彼此互連。RBM結(jié)構(gòu)如圖1所示。

圖1 受限玻爾茲曼機(jī)結(jié)構(gòu)

圖1 中，可視層表示為v=( v1, v2,...,vn)T，隱藏層表示為h=( h1, h2,...,hm)T，連 接 兩 層 的 權(quán) 值 矩 陣 是ω=(ωi,j)∈Rn×m,可 視 層 與 隱 藏 層 的 偏 置 分 別 為b=( b1, b2,...,bn)T和c=( c1,c2,...,cm)T。RBM 的能 量 函數(shù)為：

其中，θ={ωij, bi,cj} 是RBM參數(shù)。

由于可視層和隱藏層都滿足玻爾茲曼分布，當(dāng)輸入可視層v 時(shí)，由激活函數(shù)P( hj|v ;θ )得到隱藏層h，然后根據(jù)P( vi|h ;θ )將隱藏層h重構(gòu)為可視層v′，同時(shí)更新模型參數(shù)θ。多次重復(fù)上述步驟，當(dāng)重構(gòu)的可視層v′與原始輸入的可視層一致時(shí)，則該隱藏層h即為原始可視層v 的另一種表達(dá)，那么該隱藏層h相當(dāng)于是從原始輸入數(shù)據(jù)中學(xué)習(xí)到的有效特征。當(dāng)可視層或隱藏層確定時(shí)，隱藏層與可視層的激活函數(shù)分別為：

其中，函數(shù)f 是sigmoid函數(shù)：

RBM 訓(xùn)練過程要學(xué)習(xí)參數(shù)θ=( wij,bi,cj)的值，以擬合給定的訓(xùn)練數(shù)據(jù)。RBM 的非監(jiān)督學(xué)習(xí)過程中通常采用對比散度（Contrastive Divergence，CD）的算法更新參數(shù)，各參數(shù)的更新規(guī)則為：

其中，ε 為RBM 訓(xùn)練的學(xué)習(xí)率，Edate()?是訓(xùn)練數(shù)據(jù)集所定義的分布之上的數(shù)學(xué)期望，Erecon()? 是重構(gòu)模型所定義的分布之上的期望。

2.2 深度信念網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)過程

深度信念網(wǎng)絡(luò)結(jié)合了有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩種方式對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，是多層非線性網(wǎng)絡(luò)，對數(shù)據(jù)的復(fù)雜關(guān)系有極強(qiáng)的非線性映射能力。深度信念網(wǎng)絡(luò)由若干層無監(jiān)督的RBM 單元和一層有監(jiān)督的BP 網(wǎng)絡(luò)組成，能夠?qū)⒌讓犹卣魍ㄟ^多層次結(jié)構(gòu)形成更抽象的高層特征，實(shí)現(xiàn)對原始訓(xùn)練數(shù)據(jù)的本質(zhì)描述。一個(gè)DBN 結(jié)構(gòu)如圖2所示。

圖2 DBN結(jié)構(gòu)

DBN 的學(xué)習(xí)過程具體可分為兩個(gè)階段，第一階段是無監(jiān)督特征學(xué)習(xí)，第二階段是有監(jiān)督參數(shù)微調(diào)。

（1）第一階段對DBN 每層網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，預(yù)訓(xùn)練過程采用貪婪無監(jiān)督逐層學(xué)習(xí)算法自底層到頂層逐層訓(xùn)練每個(gè)RBM，將前一個(gè)RBM 的輸出作為其高一層RBM 的輸入，自底層到頂層逐層實(shí)現(xiàn)每個(gè)RBM 的訓(xùn)練，從而實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)的初始化。

（2）經(jīng)過預(yù)訓(xùn)練之后，原始輸入數(shù)據(jù)的特征被組合成更抽象的高層特征。每個(gè)RBM 的訓(xùn)練只能優(yōu)化該層的網(wǎng)絡(luò)參數(shù)，為了使整個(gè)網(wǎng)絡(luò)的參數(shù)達(dá)到最優(yōu)，則要采用BP 算法對參數(shù)進(jìn)行微調(diào)，達(dá)到全局優(yōu)化。將預(yù)訓(xùn)練結(jié)束后得到的權(quán)重作為DBN 網(wǎng)絡(luò)的初始權(quán)重，自頂層向下層微調(diào)整個(gè)模型，進(jìn)行有監(jiān)督的訓(xùn)練，從而形成整個(gè)DBN 深層網(wǎng)絡(luò)結(jié)構(gòu)。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，深度信念網(wǎng)絡(luò)解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在深度結(jié)構(gòu)增加時(shí)訓(xùn)練時(shí)間長、易陷入局部最優(yōu)、大數(shù)據(jù)處理慢的問題。

3 深度信念網(wǎng)絡(luò)研究進(jìn)展

深度信念網(wǎng)絡(luò)是一種多層神經(jīng)網(wǎng)絡(luò)，是結(jié)合了無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)的多層概率機(jī)器學(xué)習(xí)模型。目前深度信念網(wǎng)絡(luò)的研究主要集中在網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法兩個(gè)方面。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

DBN 是由多個(gè)RBM 堆疊而成的深層網(wǎng)絡(luò)，所以RBM 的堆疊個(gè)數(shù)即網(wǎng)絡(luò)深度和RBM 結(jié)構(gòu)的不同會(huì)構(gòu)建不同的DBN，并且DBN 級聯(lián)的不同也會(huì)在很大程度上對其性能產(chǎn)生影響。本節(jié)從網(wǎng)絡(luò)深度、RBM 結(jié)構(gòu)和DBN 級聯(lián)三方面總結(jié)了DBN 網(wǎng)絡(luò)結(jié)構(gòu)的研究進(jìn)展，如圖3所示。

圖3 DBN網(wǎng)絡(luò)結(jié)構(gòu)的研究進(jìn)展

3.1.1 網(wǎng)絡(luò)深度

在DBN 的網(wǎng)絡(luò)深度方面，不同的網(wǎng)絡(luò)深度可以構(gòu)造不同的DBN，網(wǎng)絡(luò)層數(shù)的多少往往會(huì)影響網(wǎng)絡(luò)的擬合程度，從而影響網(wǎng)絡(luò)的學(xué)習(xí)效率。目前，DBN 網(wǎng)絡(luò)層數(shù)通常需要通過實(shí)驗(yàn)確定或者由主觀性較強(qiáng)的經(jīng)驗(yàn)確定，網(wǎng)絡(luò)學(xué)習(xí)效率較低，為此很多研究者做了一系列工作：李晉徽[6]提出的瓶頸深度信念網(wǎng)絡(luò)（BN-DBN）是一個(gè)層數(shù)為奇數(shù)的深層網(wǎng)絡(luò)，其中節(jié)點(diǎn)相對較少的一層為瓶頸層，去掉瓶頸層之后的網(wǎng)絡(luò)，令瓶頸層為整個(gè)網(wǎng)絡(luò)的輸出層；潘廣源[7]提出一種基于重構(gòu)誤差的網(wǎng)絡(luò)深度判斷方法，根據(jù)隱含層和重構(gòu)誤差之間的關(guān)系確定網(wǎng)絡(luò)深度；陳雷[8]提出一種基于區(qū)分性和自適應(yīng)瓶頸深度信念網(wǎng)絡(luò)的方法以解決DBN 隱含層層數(shù)和隱含層節(jié)點(diǎn)數(shù)增加到一定程度后網(wǎng)絡(luò)學(xué)習(xí)效率降低的問題；高強(qiáng)[9]研究了深度信念網(wǎng)絡(luò)（DBN）權(quán)重的層次趨勢問題，實(shí)驗(yàn)表明深度信念網(wǎng)絡(luò)層數(shù)的增加，權(quán)值系數(shù)矩陣中的元素越來越趨于正態(tài)分布，解釋了DBN 能自動(dòng)提取到精細(xì)特征的原因；Zheng[10]提出了一種基于改進(jìn)的深度信念網(wǎng)絡(luò)（DBN）的語音情感識別模型，該方法用校正線性單元（Relu）代替?zhèn)鹘y(tǒng)的DBN 激活函數(shù)，重建誤差用于確定DBN 網(wǎng)絡(luò)的深度。Kamada[11]提出了自適應(yīng)結(jié)構(gòu)學(xué)習(xí)的DBN 應(yīng)用于綜合醫(yī)學(xué)檢查數(shù)據(jù)的癌癥預(yù)測，該方法通過神經(jīng)元生成-湮滅算法在受限玻爾茲曼機(jī)（RBM）中發(fā)現(xiàn)給定輸入數(shù)據(jù)的最佳隱層神經(jīng)元數(shù)，并通過算法的擴(kuò)展在DBN 生成新的隱層，此方法比傳統(tǒng)DBN 分類精度更高。整體來看，網(wǎng)絡(luò)的深度呈現(xiàn)越來越深的發(fā)展趨勢，其學(xué)習(xí)效果也越來越好。近幾年發(fā)展起來的ResNet在網(wǎng)絡(luò)深度（152 層）和分類精度上都性能卓越，Incep‐tion 網(wǎng)絡(luò)和密集連接網(wǎng)絡(luò)都在以不斷提高網(wǎng)絡(luò)深度而提高網(wǎng)絡(luò)性能。

3.1.2 RBM結(jié)構(gòu)

基于RBM 結(jié)構(gòu)的改進(jìn)是DBN 模型結(jié)構(gòu)研究的重要組成部分。RBM 是一種由可視層和隱藏層兩層組成的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型，RBM 層內(nèi)無連接，層間互連。很多學(xué)者在原始的RBM 結(jié)構(gòu)基礎(chǔ)之上進(jìn)行了一系列改進(jìn)：魯錚[12]提出的T 型RBM 能夠?qū)?shù)據(jù)起到除噪效果，從而提高分類精度，降低特征提取的時(shí)間復(fù)雜度，但是很難在多計(jì)算機(jī)中進(jìn)行并行訓(xùn)練，因此尋找有效的可拓展的并行學(xué)習(xí)算法來訓(xùn)練深度網(wǎng)絡(luò)模型是一個(gè)難點(diǎn)；萬程[13]提出的自適應(yīng)基數(shù)RBM 通過對每個(gè)輸入數(shù)據(jù)設(shè)定對應(yīng)的閾值以調(diào)整網(wǎng)絡(luò)參數(shù)；Elfwing[14]提出的期望能量RBM 是用負(fù)期望能量代替負(fù)自由能量計(jì)算輸出量，使RBM 學(xué)習(xí)性能大大提升；高斯RBM 分類器是在高斯RBM 的隱含層h上添加一個(gè)輸出層o，隱含層h從可視層v 中提取的特征表達(dá)能力更強(qiáng)、更有利于分類；耿志強(qiáng)[15]提出一種基于膠質(zhì)細(xì)胞鏈的DBN，其鏈?zhǔn)浇Y(jié)構(gòu)由每個(gè)RBM 與一組膠質(zhì)細(xì)胞鏈接而成，每個(gè)膠質(zhì)細(xì)胞與RBM 隱藏層節(jié)點(diǎn)相連，該結(jié)構(gòu)的目的是利用膠質(zhì)細(xì)胞優(yōu)化RBM 訓(xùn)練，能夠?qū)W習(xí)到RBM 層內(nèi)節(jié)點(diǎn)間的關(guān)聯(lián)信息；Shen[16]在城市聲學(xué)分類（UAC）中，采用遷移學(xué)習(xí)結(jié)合深層信念網(wǎng)絡(luò)（DBN），將預(yù)先訓(xùn)練好的深層神經(jīng)網(wǎng)絡(luò)作為特征提取器，提取的特征被連接并饋送到DBN 用于分類器學(xué)習(xí)。為了獲得良好的泛化性能，在DBN 采用了三個(gè)受限玻爾茲曼機(jī)（RBM），它們由對比散度算法（CD）訓(xùn)練，采用反向傳播（BP）的參數(shù)微調(diào)；丁世飛[17]通過改變RBM 模型中的訓(xùn)練參數(shù)，使用隨機(jī)變量代替?zhèn)鹘y(tǒng)的實(shí)值變量，構(gòu)建基于隨機(jī)權(quán)值的受限的波爾茲曼機(jī)WRBM，在WRBM 基礎(chǔ)上構(gòu)建了相應(yīng)的深度模型：Weight uncertainty Deep Belief Network（WDBN）和Weight uncertainty Deep Boltzmann Machine（WDBM），并且通過實(shí)驗(yàn)驗(yàn)證了WDBN 和WDBM 的有效性；Zhang[18]提出的逐點(diǎn)選擇受限玻爾茲曼機(jī)能夠有效地從含有無關(guān)模式的數(shù)據(jù)中發(fā)現(xiàn)任務(wù)相關(guān)的模式，從而達(dá)到滿意的分類結(jié)果。

3.1.3 DBN級聯(lián)

DBN級聯(lián)的不同會(huì)在很大程度上對DBN的性能產(chǎn)生影響。在DBN 級聯(lián)方面，Wang[19]提出了一種基于遷移學(xué)習(xí)的生長DBN 模型（TL-GDBN）來自動(dòng)確定其結(jié)構(gòu)尺寸，首先，初始化一個(gè)具有單隱層的基本DBN 結(jié)構(gòu)，凍結(jié)學(xué)習(xí)到的權(quán)重參數(shù)；第二，將學(xué)習(xí)到的權(quán)重參數(shù)中的知識轉(zhuǎn)移到新添加的神經(jīng)元和隱藏層，實(shí)現(xiàn)結(jié)構(gòu)增長；對預(yù)處理得到的權(quán)值參數(shù)進(jìn)行進(jìn)一步微調(diào)，從而加快其學(xué)習(xí)過程，提高模型精度，但訓(xùn)練過程中參數(shù)較多，減少計(jì)算復(fù)雜性成為主要問題。葉學(xué)義[20]提出一種概率態(tài)多層RBM 級聯(lián)神經(jīng)網(wǎng)絡(luò)的方法，采用RBM 中神經(jīng)元的概率態(tài)表征來模擬人腦神經(jīng)元連續(xù)分布的激活狀態(tài)，并且利用多層P-RBM 級聯(lián)來仿真人腦對視覺的層次學(xué)習(xí)模式，又以逐層遞減隱藏層神經(jīng)元數(shù)來控制網(wǎng)絡(luò)規(guī)模，最后采用分層訓(xùn)練和整體優(yōu)化的機(jī)制來緩解魯棒性和準(zhǔn)確性的矛盾；Liu[21]提出的Boosted DBN 由一組DBN 構(gòu)成，能夠使特征學(xué)習(xí)、特征選擇和分類器形成一個(gè)循環(huán)的過程，從而實(shí)現(xiàn)特征的聯(lián)合微調(diào)，構(gòu)成一個(gè)功能強(qiáng)大的分類器。

3.2 學(xué)習(xí)算法

DBN 模型訓(xùn)練的學(xué)習(xí)過程分為無監(jiān)督特征學(xué)習(xí)和有監(jiān)督微調(diào)，學(xué)習(xí)算法是實(shí)現(xiàn)特征學(xué)習(xí)和分類識別的基礎(chǔ)。本節(jié)從基本算法、優(yōu)化算法和DBN 與其他方法融合三方面總結(jié)DBN 學(xué)習(xí)算法的改進(jìn)，其中融合方法從DBN 結(jié)合預(yù)處理、特征提取、分類識別和結(jié)果預(yù)測四方面展開闡述，如圖4所示。

3.2.1 基本算法

RBM 訓(xùn)練過程要學(xué)習(xí)參數(shù)θ=( wij,bi,cj)的值，以擬合給定的訓(xùn)練數(shù)據(jù)。2006 年，Hinton[22]提出高效的RBM 近似學(xué)習(xí)算法——CD（Contrastive Divergence）學(xué)習(xí)算法，即將原始RBM 的學(xué)習(xí)算法中的概率分布差異度量用一個(gè)近似的概率分布差異度量取代，RBM 非監(jiān)督預(yù)訓(xùn)練過程中權(quán)重參數(shù)的更新通常采用CD 算法；2008 年，Tieleman[23]提出了PCD（Persistent Contrastive Divergence）學(xué)習(xí)算法，PCD 算法既不僅具有CD 算法的高學(xué)習(xí)效率而且具有更強(qiáng)的模式生成能力；2009 年，Tieleman 和Hinton 提出了快速持續(xù)對比散度FPCD（Fast Persistent Contrastive Divergence）算法[24]，F(xiàn)PCD加快了RBM 訓(xùn)練的速度；在2009 年到2010 年，出現(xiàn)了一系列基于回火的馬爾可夫鏈蒙特卡羅采樣算法的RBM 學(xué)習(xí)算法[25-28]，算法思想上采用基于回火的MC‐MC 采樣算法來提升RBM 的學(xué)習(xí)性能；Lopes[29]為提高CD算法的收斂性提出了一種自適應(yīng)步長技術(shù)。

3.2.2 優(yōu)化算法

為了加快DBN 的學(xué)習(xí)速度，提高DBN 的整體性能，在對于DBN 的改進(jìn)研究中提出了一系列優(yōu)化算法：最大判別能力轉(zhuǎn)換法是能夠動(dòng)態(tài)地學(xué)習(xí)模型結(jié)構(gòu)的算法，它利用Fisher 準(zhǔn)則判斷隱藏層神經(jīng)元的判別性能，然后動(dòng)態(tài)地選擇部分隱藏層神經(jīng)元來構(gòu)建最優(yōu)的模型結(jié)構(gòu)；魯錚[12]提出了一種基于T-RBM的DBN分類算法，能夠有效減少訓(xùn)練時(shí)間，提高識別性能；Wan[30]將非負(fù)矩陣分解（NMF）結(jié)合DBN 方法用于預(yù)測早期癌癥疾病，使用NMF 方法作為矩陣分解技術(shù)來降低樣本數(shù)據(jù)集的維數(shù)，然后使用分解后的矩陣和權(quán)重矩陣來近似原始矩陣，以減少算法的時(shí)間和空間復(fù)雜度，該算法在保持較低時(shí)間復(fù)雜度的同時(shí)，減少了數(shù)據(jù)的存儲(chǔ)空間，可以有效提高預(yù)測性能。劉道元[31]提出一種基于深度置信神經(jīng)網(wǎng)絡(luò)—深度神經(jīng)網(wǎng)絡(luò)的預(yù)測模型，用于制造系統(tǒng)完工期快速預(yù)測。Papa[32]引入和聲搜索算法，Ro‐drigues[32]引入布谷鳥算法來處理深度信念網(wǎng)絡(luò)中的參數(shù)微調(diào)問題；Shen[34]采用共軛梯度法來加快DBN 的學(xué)習(xí)；Hossain[35]結(jié)合進(jìn)化算法來提升DBN 性能和減少其計(jì)算時(shí)間；Lopes[36]引入CD-k 算法提升模型訓(xùn)練速度；為減輕過擬合問題，Mohamed[37]在用DBN 做阿拉伯手寫文字識別時(shí)，采用dropout 和dropconnect 技術(shù)兩種正則化方法訓(xùn)練，對權(quán)值進(jìn)行優(yōu)化，從而提高分類精度并且能夠提高網(wǎng)絡(luò)的泛化能力。

圖4 DBN學(xué)習(xí)算法的研究進(jìn)展

3.2.3 融合方法

為了能夠發(fā)揮DBN 優(yōu)異的特征學(xué)習(xí)能力和實(shí)際應(yīng)用能力，通常將DBN 算法與其他方法進(jìn)行融合，從而實(shí)現(xiàn)優(yōu)化DBN性能的目的。DBN與其他方法的融合表現(xiàn)在結(jié)合預(yù)處理方法、特征提取方法、分類識別方法和結(jié)果預(yù)測方法四個(gè)方面。

（1）數(shù)據(jù)預(yù)處理是數(shù)據(jù)輸入前的重要過程，數(shù)據(jù)預(yù)處理在眾多深度學(xué)習(xí)算法訓(xùn)練中都起著重要作用。DBN 與預(yù)處理方法的融合方面，Wang[38]提出了一種基于模糊神經(jīng)網(wǎng)絡(luò)的稀疏深層信念網(wǎng)絡(luò)（SDBFNN）用于非線性系統(tǒng)建模，稀疏DBN 實(shí)現(xiàn)快速權(quán)值初始化和獲取特征向量，用以平衡密集表示以提高魯棒性。Hou[39]提出了一種半監(jiān)督PolSAR 圖像分類方法，該方法利用DBN和張量降維，利用多線性主成分分析（MPCA）對張量形式的PolSAR數(shù)據(jù)進(jìn)行降維，并將PolSAR數(shù)據(jù)的多個(gè)特征作為DBN 的輸入，實(shí)驗(yàn)表明，基于該方法的整體分類精度優(yōu)于傳統(tǒng)的分類策略，在計(jì)算方面，雖然DBN有較好的表示能力，但對半監(jiān)督算法來說，為學(xué)習(xí)到良好的訓(xùn)練效果，需要訓(xùn)練更多的樣本的學(xué)習(xí)到更多的特征，即需要更多的資源才能訓(xùn)練得到良好模型。Dong[40]提出了基于體積的稀疏深度信任網(wǎng)絡(luò)（VS-DBN）模型，DBN 從體積fMRI 數(shù)據(jù)直接推斷出分層的大腦網(wǎng)絡(luò)，以基于人類連接體項(xiàng)目（HCP）受試者發(fā)布的體積功能磁共振成像數(shù)據(jù)重建分層腦網(wǎng)絡(luò)，大腦網(wǎng)絡(luò)在多個(gè)基于HCP 任務(wù)的功能磁共振成像數(shù)據(jù)集上表現(xiàn)出相當(dāng)好的一致性和對應(yīng)性。

（2）特征提取是DBN 模型學(xué)習(xí)的重要一環(huán)，特征提取是通過特征選擇來減少特征維度，從而有效地減小特征空間。DBN 與特征提取方法的融合方面，Aswathy[41]提出基于簡化空間特征和深度信念網(wǎng)絡(luò)的半監(jiān)督人臉表情識別算法，該算法由級聯(lián)結(jié)構(gòu)組成，首先對人臉圖像進(jìn)行特征提取，然后進(jìn)行特征約簡，將具有所有可用的標(biāo)記和未標(biāo)記數(shù)據(jù)的半監(jiān)督訓(xùn)練應(yīng)用于DBN。基于DBN 的Bottleneck 特征提取方法的以訓(xùn)練準(zhǔn)則為最大化幀級交叉熵；將多尺度局部二值模式算法與DBN 算法相結(jié)合的方法采用多尺度局部二值模式算法提取特征，并將提取的特征作為DBN 的輸入；李明愛[42]利用小波包變換良好的時(shí)頻局部化特性對運(yùn)動(dòng)想象腦電信號進(jìn)行時(shí)頻分解，將其瞬時(shí)功率信號輸入給DBN，通過無監(jiān)督訓(xùn)練方法完成各個(gè)RBM 的初始化預(yù)訓(xùn)練，再采用有監(jiān)督訓(xùn)練方法對整個(gè)DBN 網(wǎng)絡(luò)進(jìn)行微調(diào)，實(shí)現(xiàn)運(yùn)動(dòng)想象腦電信號特征的自動(dòng)提取。王培良[43]將粒子群優(yōu)化算法用于優(yōu)化DBN 特征提取，提高了DBN 網(wǎng)絡(luò)的訓(xùn)練速度和泛化能力；Tang[44]結(jié)合CNN 和DBN，以CNN提取特征，DBN進(jìn)行分類。

（3）特征提取是手段，分類識別才是DBN 學(xué)習(xí)過程的最終目的，DBN 與分類識別方法的融合方面，施徐敢[45]提出一種結(jié)合DBN 和多層感知器的識別方法，把DBN 學(xué)習(xí)到的高層特征初始化多層感知器進(jìn)行分類；基于DBN 與隨機(jī)森林的算法將DBN 學(xué)習(xí)的抽象特征輸入到隨機(jī)森林中進(jìn)行分類識別；黃壽喜[46]采用改進(jìn)的深度信念網(wǎng)絡(luò)作為提取人臉表情特征的檢測器，堆疊自編碼器作為識別表情的分類器，實(shí)現(xiàn)在人臉表情識別研究中深度信念網(wǎng)絡(luò)與堆疊自編碼器的融合。張昕[47]提出了一種結(jié)合了DBN 和隱馬爾科夫模型的分類模型，降低了算法復(fù)雜度和時(shí)間復(fù)雜度。

（4）DBN 與結(jié)果預(yù)測方法的融合方面，郭磊[48]提出的二型模糊DBN 能夠?qū)?jīng)過特征選擇之后仍存在隨機(jī)性和不確定性的特征進(jìn)行有效的處理，并將二型模糊邏輯系統(tǒng)作為預(yù)測模型；Qin[49]利用自回歸積分滑動(dòng)平均模型（ARIMA）較強(qiáng)的預(yù)測能力和DBN 在非線性關(guān)系中強(qiáng)大的表達(dá)能力，提出了一種結(jié)合ARIMA 和DBN 的赤潮預(yù)測模型；楊旭華[50]在網(wǎng)絡(luò)的頂層疊加一個(gè)邏輯回歸層并將提取出的數(shù)據(jù)特征作為輸入來預(yù)測各科室未來的門診量。

4 深度信念網(wǎng)絡(luò)在醫(yī)學(xué)圖像分析中的應(yīng)用

基于深度信念網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)能力，諸多研究者將深度信念網(wǎng)絡(luò)應(yīng)用于醫(yī)學(xué)圖像的分析，目前DBN已經(jīng)在很多疾病的影像分析中發(fā)揮著其強(qiáng)大的功能，具體體現(xiàn)在醫(yī)學(xué)圖像分割和計(jì)算機(jī)輔助診斷兩個(gè)方面。

（1）醫(yī)學(xué)圖像分割對疾病的診斷和醫(yī)學(xué)數(shù)據(jù)分析等方面有重要意義，能夠?yàn)榧膊〉呐R床診療和病理學(xué)研究提供可靠的依據(jù)。在醫(yī)學(xué)圖像分割方面，付文[51]利用深度學(xué)習(xí)算法對前列腺M(fèi)RI 圖像的進(jìn)行分割，構(gòu)建DBN模型逐層無監(jiān)督學(xué)習(xí)提取有效的高層特征，通過無監(jiān)督學(xué)習(xí)學(xué)習(xí)到的抽象特征根據(jù)不同的數(shù)據(jù)集而進(jìn)行調(diào)整，同時(shí)能夠?qū)Ω邔拥慕Y(jié)構(gòu)語義信息進(jìn)行編碼，然后根據(jù)帶標(biāo)簽的數(shù)據(jù)進(jìn)行有監(jiān)督的微調(diào)，最后將學(xué)習(xí)到的特征作為softmax 回歸分類器的輸入，對數(shù)據(jù)進(jìn)行分類最終實(shí)現(xiàn)圖像的分割。

（2）計(jì)算機(jī)輔助診斷是現(xiàn)代醫(yī)學(xué)影像研究的熱點(diǎn)之一，在疾病的診斷中有很高的臨床價(jià)值。在醫(yī)學(xué)圖像分類識別和計(jì)算機(jī)輔助診斷方面，目前已實(shí)現(xiàn)深度信念網(wǎng)絡(luò)模型對乳腺腫瘤X 線圖像和甲狀腺結(jié)節(jié)超聲圖像的良惡性分類；陳娜[52]采用判別式RBM 對乳腺X 光圖像進(jìn)行分類，判別式RBM 是能夠從圖像中自動(dòng)學(xué)習(xí)特征，并利用學(xué)習(xí)到的高層特征對圖像進(jìn)行分類，這是一種新的醫(yī)學(xué)圖像分析方法，在乳腺X 光圖像標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，采用判別式RBM 對醫(yī)學(xué)圖像的分類準(zhǔn)確率明顯高于其他基于統(tǒng)計(jì)特征提取的醫(yī)學(xué)圖像分類方法；目前肺結(jié)節(jié)良惡性分類方法存在識別精度低，模型分類結(jié)果假陽性高、診斷的漏診率和誤診率降低困難等問題，把深度信念網(wǎng)絡(luò)引入了肺結(jié)節(jié)的良惡性分類并提出的自定義的DBN 分類算法，實(shí)驗(yàn)證明該算法具有優(yōu)良的分類性能，能夠?yàn)橛跋窨漆t(yī)生提供準(zhǔn)確率較高的、可供參考的診斷結(jié)果；Khatami[53]將DBN 應(yīng)用于多類別放射性圖像的分類問題，該方法使用基于小波變換和統(tǒng)計(jì)測試技術(shù)對圖像去噪，采用DBN 學(xué)習(xí)無標(biāo)簽特征，該方法具有較好魯棒性；Abdel-Zaher[54]基于DBN 提出了一種用于乳腺癌檢測的計(jì)算機(jī)輔助診斷方案，經(jīng)測試分類準(zhǔn)確度達(dá)到99.68%，該方案為乳腺癌提供了有效的分類模型，在調(diào)整參數(shù)方面，不適當(dāng)?shù)膮?shù)選擇會(huì)導(dǎo)致學(xué)習(xí)收斂于局部最優(yōu)解。

5 結(jié)束語

深度學(xué)習(xí)為機(jī)器學(xué)習(xí)帶來了新機(jī)遇，深度信念網(wǎng)絡(luò)的提出使深度學(xué)習(xí)成為機(jī)器學(xué)習(xí)的一個(gè)新興研究方向，深度信念網(wǎng)絡(luò)受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，并成為研究熱點(diǎn)。本文從深度學(xué)習(xí)的重要模型——深度信念網(wǎng)絡(luò)出發(fā)，從受限玻爾茲曼機(jī)以及深度信念網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)過程兩方面介紹了深度信念網(wǎng)絡(luò)的基本原理，詳細(xì)總結(jié)了深度信念網(wǎng)絡(luò)在網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法兩方面的研究進(jìn)展，并總結(jié)了深度信念網(wǎng)絡(luò)在醫(yī)學(xué)圖像分析中的應(yīng)用。這里對DBN及其未來展望如下：

（1）網(wǎng)絡(luò)結(jié)構(gòu)越來越復(fù)雜、網(wǎng)絡(luò)節(jié)點(diǎn)功能越來越豐富

為了不斷提升深度信念神經(jīng)網(wǎng)絡(luò)的性能，正如本文總結(jié)的那樣，科學(xué)家不斷在網(wǎng)絡(luò)深度、RBM 結(jié)構(gòu)、DBN級聯(lián)方式和網(wǎng)絡(luò)節(jié)點(diǎn)功能上進(jìn)行探索，深度神經(jīng)網(wǎng)絡(luò)的層數(shù)已擴(kuò)展到上百層甚至上千層，隨著網(wǎng)絡(luò)層數(shù)的不斷加深，其學(xué)習(xí)效果也越來越好，近幾年發(fā)展起來的ResNet 在網(wǎng)絡(luò)深度（152 層）和分類精度上都性能卓越，Inception 網(wǎng)絡(luò)和密集連接網(wǎng)絡(luò)都在以不斷提高網(wǎng)絡(luò)深度而提高網(wǎng)絡(luò)性能。采用膠囊作為網(wǎng)絡(luò)節(jié)點(diǎn)的膠囊網(wǎng)絡(luò)，理論上更接近人腦的思維方式，旨在提高深度神經(jīng)網(wǎng)絡(luò)的空間分層和推理能力。DeepMind、谷歌大腦和圖網(wǎng)絡(luò)，都試圖定義具有關(guān)系歸納偏置功能的模，使深度神經(jīng)網(wǎng)絡(luò)具有因果推理的能力。

（2）深度學(xué)習(xí)模型與機(jī)器學(xué)習(xí)模型的深度融合

深度學(xué)習(xí)模型自身也存在參數(shù)量大、計(jì)算復(fù)雜、模型退化、梯度消失、網(wǎng)絡(luò)收斂性不好等問題，因此通過融合其他機(jī)器學(xué)習(xí)模型，可能會(huì)避免對圖像的過度預(yù)處理，通過局部感受野、權(quán)值共享、池化功能，使得深度學(xué)習(xí)模型能在較低的模型復(fù)雜度下充分利用圖像局部和全局信息，對圖像的平移、旋轉(zhuǎn)、縮放等具有一定魯棒性，從而很好地解決了深層卷積神經(jīng)網(wǎng)絡(luò)層數(shù)與準(zhǔn)確度之間的矛盾，進(jìn)而可以加深網(wǎng)絡(luò)深度，解決了網(wǎng)絡(luò)加深所出現(xiàn)的梯度消失問題，并且加速網(wǎng)絡(luò)收斂。為了降低深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練所需的數(shù)據(jù)量，引入了遷移學(xué)習(xí)的思想，遷移學(xué)習(xí)可以說是一種“站在巨人肩膀上”的學(xué)習(xí)方法，可以利用數(shù)據(jù)、任務(wù)或模型之間的相似性，將在舊領(lǐng)域?qū)W習(xí)過的模型，應(yīng)用于新領(lǐng)域的一種學(xué)習(xí)過程。通過將訓(xùn)練好的模型遷移到類似場景，實(shí)現(xiàn)只需少量的訓(xùn)練數(shù)據(jù)就可以達(dá)到較好的效果。

（3）無監(jiān)督數(shù)據(jù)的特征學(xué)習(xí)

如果已經(jīng)有一個(gè)足夠強(qiáng)大的機(jī)器學(xué)習(xí)算法，為了獲得更好的性能，最可靠的方法之一是給這個(gè)算法更多的數(shù)據(jù)。機(jī)器學(xué)習(xí)界有個(gè)說法：“有時(shí)候勝出者并非有最好的算法，而是有更多的數(shù)據(jù)”?？茖W(xué)家總是嘗試獲取更多的已標(biāo)注數(shù)據(jù)，基于已標(biāo)注數(shù)據(jù)的特征學(xué)習(xí)仍然占據(jù)著主導(dǎo)地位。但是標(biāo)注數(shù)據(jù)的時(shí)間和經(jīng)濟(jì)成本往往很高，海量的無標(biāo)注數(shù)據(jù)在現(xiàn)實(shí)世界中大量存在，將海量無標(biāo)注數(shù)據(jù)逐一人工標(biāo)注，顯然費(fèi)時(shí)費(fèi)力，因此，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，必將越來越重視對無標(biāo)注數(shù)據(jù)的特征學(xué)習(xí)，以及將無標(biāo)注數(shù)據(jù)自動(dòng)添加標(biāo)注技術(shù)的研究。目前有科學(xué)家已經(jīng)開展利用數(shù)據(jù)自身的一些特點(diǎn)來自動(dòng)尋找標(biāo)注信息，通過這種方式得到的標(biāo)注數(shù)據(jù)噪聲較大，但是廉價(jià)的自標(biāo)注數(shù)據(jù)，大幅度降低對人工標(biāo)注高精度數(shù)據(jù)的需求，對推動(dòng)深度學(xué)習(xí)賦能細(xì)分行業(yè)有著積極的意義。

（4）“人工智能+醫(yī)療”的發(fā)展

將以深度學(xué)習(xí)為代表的人工智能技術(shù)應(yīng)用于醫(yī)療行業(yè)的本質(zhì)是為解決醫(yī)療資源的供給不足，醫(yī)療資源分布布局的問題，這不僅是醫(yī)療行業(yè)的一種技術(shù)創(chuàng)新，更是對醫(yī)療產(chǎn)業(yè)的一種變革，將帶來巨大的市場增量，擁有巨大的市場空間。人工智能的發(fā)展為醫(yī)生的大腦添加了一個(gè)新引擎，人工智能技術(shù)能夠進(jìn)一步優(yōu)化醫(yī)療產(chǎn)業(yè)鏈，并讓醫(yī)療行業(yè)走向更高效率和更高層次，未來值得期待。

深度信念網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)領(lǐng)域的新興技術(shù)，具有較好的特征學(xué)習(xí)能力、實(shí)際應(yīng)用價(jià)值和應(yīng)用潛力，未來深度信念網(wǎng)絡(luò)的研究應(yīng)著力解決目前存在的問題。深度信念網(wǎng)絡(luò)更廣泛地應(yīng)用于醫(yī)學(xué)圖像分析領(lǐng)域?qū)膊〉脑\斷、醫(yī)學(xué)數(shù)據(jù)的分析等方面產(chǎn)生重要意義，將對臨床診療和病理學(xué)研究做出重要貢獻(xiàn)。