李海峰，李純果

（1.河北大學 教務處，河北 保定 071002；2.河北大學 數(shù)學與計算機學院，河北 保定 071002）

深度學習結構和算法比較分析

李海峰1，李純果2

（1.河北大學 教務處，河北 保定 071002；2.河北大學 數(shù)學與計算機學院，河北 保定 071002）

Hinton等人提出的深度機器學習，掀起了神經網絡研究的又一個浪潮.介紹了深度機器學習的基本概念和基本思想.對于目前比較成熟的深度機器學習結構深度置信網DBNs和約束Boltzmann機（RBM）的結構和無監(jiān)督貪婪學習算法作了比較詳細的介紹和比較，并對算法的改進方向提出了有建設性的意見，對深度機器學習的未來發(fā)展方向和目前存在的問題進行了深刻的分析.

深度機器學習；無監(jiān)督貪婪學習算法；DBNs；RBMs

隨著電腦的普及與發(fā)展，智能化、機械化成為人們關注的熱點.機器學習是仿照人類大腦工作的方式，讓電腦進行計算，學習到類似于大腦的工作方式.為此，研究學者需要構建計算機能夠運作的模型，例如，神經網絡就是根據人類的大腦神經的激活或抑制的信號傳輸構建的模型［1］.神經網絡的基本組成單位就是神經元，神經元的構造方式完全模擬了人類大腦細胞的結構，如圖1.但是，顯而易見，人工神經元只是簡單的結構的模擬，要想達到與生物神經元有相同的功能，還遠遠的不夠.科研工作者就其訓練的方式對其進行訓練，試圖讓人工神經網絡的運算功能盡可能的與人類接近.簡單的網絡已經可以進行基本的運算，甚至有2個隱含層的非線性神經網絡已經能夠對任意的函數(shù)進行平滑的逼近.從1943年McCulloch和Pitts提出的簡單神經元開始，神經網絡經歷了幾度興衰.神經網絡已經深入到各個領域，技術相對比較成熟，然而也很難再有新突破.人類完成的日常生活中的各種簡單的動作，如果讓計算機來完成，就需要高度復雜的神經網絡來完成.因此，Hinton等人提出了深度學習，掀起了神經網絡研究的又一次浪潮.

圖1 生物神經元與人工神經元Fig.1 Structure of biological and artificial neurons

1 深度學習

深度學習是為了能夠得到有助于理解圖片、聲音、文本等的數(shù)據所表述的意義而進行的多層次的表示和抽取的學習［2］.例如，給定圖2中的圖片，大腦做出的反應是：“許多黃色的郁金香.”同樣的圖片，輸入到計算機中，是描述圖片的最原始數(shù)據，那就是用向量表示的像素.用簡單的機器學習，例如用含2個或3個隱含層的神經網絡，是不可能達到與人類類似的判別決策的.這就需要多層的學習器，逐層學習并把學習到的知識傳遞給下一層，以便下層能夠得到更高級別的表述形式，期望可以得到與人類類似的結論［2］.

1.1 學習的深度

學習器的深度，決定于學習器的構造.假設學習器為一個有向流通圖，那么深度就是從開始結點到結束結點（或從輸入結點到輸出結點）的最長路徑.例如，一個支撐向量機的深度是2，是輸入經過一個核變換到核空間，再加上一個線性組合.再如多層前傳神經網絡的深度是隱含層層數(shù)加1（輸出層）.如果說學習到一次知識，就是一個深度的話，那么，學習的深度是原始數(shù)據被逐層學習的次數(shù).

根據學習的深度，機器學習可以分為淺度學習和深度學習.對于簡單的計算，淺度學習可以有效地進行計算，例如二進制數(shù)據的邏輯運算.顯然，如果想讓機器達到人腦的反應效果，淺度學習是遠遠不夠的，必須要進行深度的機器學習，才有可能得到與人腦反應近似的結果.實際上，深度的機器學習正是模擬了人腦的工作方式.對于圖2中的圖片，先由視網膜接受數(shù)據信號，視網膜通過神經鏈接，把看到的圖片轉化成腦波信號傳輸?shù)酱竽X中，由于大腦的不同部位處理不同的問題，信號不可能一下子就傳到相應位置，需要層層傳輸.同時，在信號傳輸過程中，大腦會提取不同的信息，例如，花的顏色、形狀、個數(shù)、位置、個體差異等等.因此，深度的機器學習模型需要具備類似的特征，也即，深度的機器學習模型可以提取觀察對象的不同方面的特征.為此，深度的機器學習模型通常為分層結構，每一層提取數(shù)據的1個或多個不同方面的特征，并把提取出的特征作為下一層的輸入.圖3是一個典型的深度學習模型.

圖2 待識別的圖片F(xiàn)ig.2 Picture for recognition

圖3 深度機器學習模型Fig.3 Deep learning model

1.2 深度學習的動機

從早期的神經網絡的學習，到現(xiàn)在的深度學習，究其機制，都是從模擬大腦的構架并輔以一定的學習算法，從而使計算機的工作方式盡可能地接近人類的工作方式.機器學習從僅有2層左右的學習構架，要向有多層的結構發(fā)展，不僅有生物神經元的啟示，也是對現(xiàn)有的機器學習結構的弊端的改進.

首先，人類大腦的神經元系統(tǒng)是一個龐大的結構，由無數(shù)個神經元共同組成，完成一定的生理功能.例如，從視網膜到處理視網膜的大腦區(qū)域，需要經過無數(shù)層的神經元層層傳遞視覺信息，最終到達大腦的視覺處理區(qū)域，然后再經過信息處理，把信息反饋到肌肉神經，或語言區(qū)域.這個過程在生物神經元系統(tǒng)只不過是瞬間的事情，但是，完成這個過程，是由已經訓練好的神經系統(tǒng)完成的，神經系統(tǒng)對整個過程的處理，與從出生到成人的認知過程是分不開的.而這一切，要用電腦來完成，不是構造簡單的人工神經元就能夠完成的，需要大規(guī)模的神經元組織和鏈接，并經過來自于外界信息的不斷強化和訓練.故從結構上，神經網絡結構要加深.

由于其自身的復雜性，深度學習算法很多年都沒有新的進展.就監(jiān)督的多層神經網絡來說，無論是測試精度還是訓練精度，深度學習的結果遠遠不如有1個或2個隱含層的神經網絡的結果.直到2006年，Hinton等人提出了貪婪無監(jiān)督逐層學習算法［4］，深度學習的問題才有所突破.

2 深度學習的方法

同機器學習方法一樣，深度機器學習方法也有監(jiān)督學習與無監(jiān)督學習之分.不同的學習框架下建立的學習模型很是不同.例如，卷積神經網絡（Convolutional neural networks，簡稱CNNs）就是一種深度的監(jiān)督學習下的機器學習模型，而深度置信網（Deep Belief Nets，簡稱DBNs）就是一種無監(jiān)督學習下的機器學習模型.

2.1 卷積神經網絡

20世紀60年代，Hubel和Wiesel在研究貓腦皮層時，發(fā)現(xiàn)了一種獨特的神經網絡結構，可以有效地降低反饋神經網絡的復雜性，進而提出了卷積神經網絡［5］.現(xiàn)在，卷積神經網絡已經發(fā)展成一種高效的圖像識別方法［6］.

其中，i和j標注了該神經元在特征平面上的位置.

圖4 用于圖像識別的卷積神經網絡結構Fig.4 Convolution network for image recognition

圖5 卷積層的接受域Fig.5 Receptive field of one neuron in a convolution layer

每個卷積層都會緊跟1個次抽樣層.輸入數(shù)據經過卷積后，進入高維空間，換句話說，卷積層進行了升維映射.如果不斷地進行升維，則不可避免地陷入維數(shù)災難.同卷積層類似，次抽樣層的每個特征平面上的神經元也共享連接權重，且每個神經元都從其接受域中接受數(shù)據.卷積層的每個特征平面都對應了次抽樣層的1個特征平面，次抽樣層中的神經元對其接受域中的數(shù)據進行抽樣（例如，取大，取小，取平均值，等等），因此次抽樣層的特征平面上的神經元的個數(shù)往往會減半.

卷積層的每一個平面都抽取了前一層某一個方面的特征.每個卷積層上的每個結點，作為特征探測器，共同抽取輸入圖像的某個特征，例如45°角、反色、拉伸、翻轉、平移等.圖像經過一層卷積，就由原始空間被影射到特征空間，在特征空間中進行圖像的重構.卷積層的輸出，為圖像在特征空間中重構的坐標，作為下一層也就是次抽樣層的輸入.

LeCun從1998年開始，專注于卷積神經網絡的研究，提出了LeNet模型［8］（如圖6），用于識別手寫和機打字體，逐漸已經適用識別很多類圖形問題.由圖6所示，輸入層后有2組隱含層抽取輸入圖像的特征，最后有一個全連接的隱含層完成對輸入圖像的識別.LeNet模型在識別手寫數(shù)字上達到很高的識別率，而且具有拉伸、擠壓、反轉的不變性，而且抗噪能力很強.模型用傳統(tǒng)的BP進行訓練.

圖6 LeNet模型Fig.6 LeNet Model

2.2 深度置信網

其中x是可見變量，描述可以觀察的數(shù)據；h是隱含變量，無法觀察到其實際取值；b和h分別是可見變量和隱含變量的閾值；W，U，V是結點之間的連接權重.如果對Boltzmann機加以約束條件，令其自身不與自身連接，則得到一個有向無環(huán)圖RBM（如圖7a），其能量函數(shù)定義為E（x，h）＝-b′x-c′h-x′Wh.

一個典型的置信網可以看成是由多個隨機變量組成的有向無環(huán)圖，也可以看成是多個RBM的累加，而深層置信網就是一個復雜度很高的有向無環(huán)圖.Hinton等人［3］認為，一個有l(wèi)個隱含層的典型的DBN，可以用聯(lián)合概率分布刻畫輸入向量x和隱含向量h的關系

其中x＝h0，P（hk｜hk＋2）是條件概率分布.DBN學習的過程，就是學習聯(lián)合概率分布的過程.而聯(lián)合概率分布的學習是機器學習中的產生式學習方式.

圖7 深度學習模型Fig.7 Deep Learning Model

對于深度的機器學習，由于參數(shù)變量很多，所以合適的訓練算法直接決定了學習器的性能.以往的基于最速梯度下降的BP算法，在經典的神經網絡中被廣泛應用，可以得到泛化性能很好的網絡結構，但是BP算法對于深度學習器的訓練卻存在一定的困難.這主要是BP算法本身的約束所在.首先，BP算法是監(jiān)督學習，訓練數(shù)據必須是有類標數(shù)據.但是，實際能得到的數(shù)據大都是無類標數(shù)據.其次，BP算法不適合有很多隱含層的學習結構，一是計算偏導數(shù)很困難，二是誤差需要層層逆?zhèn)?，收斂速度很?最后，BP算法經常會陷入到局部最優(yōu)解，不能到達全局最優(yōu)解.因此，Hinton等人提出了貪婪的逐層無監(jiān)督訓練算法［4］.

貪婪無監(jiān)督學習算法的基本思想是，把一個DBN網絡分層，對每一層進行無監(jiān)督學習，最后對整個網絡用監(jiān)督學習進行微調.把一個DBN網絡分層，每層都由若干計算單元（常常是幾百個或幾千個）組成（如圖7b），各自獨立計算該層接受到的數(shù)據，每個層的節(jié)點之間沒有連接.與外界環(huán)境連接的節(jié)點層為輸入層，輸入層接受來自于外界的輸入，例如圖像數(shù)據.第1層（即輸入層）與第2層構成一個典型的RBM，根據無監(jiān)督學習調節(jié)網絡參數(shù)，使得RBM達到能量平衡.然后，第1層的輸出作為第2層與第3層構成一個新的RBM，第1層的輸出作為外界輸入，繼續(xù)調節(jié)參數(shù)，使當前RBM結構達到能量平衡.如此進行下去，直到最后一層（如圖7c）.當完成無監(jiān)督逐層訓練學習后，再以原始外界輸入和目標輸出對整個網絡進行有監(jiān)督學習，以最大似然函數(shù)為目標，精調網絡各層的參數(shù).

Gibbs抽樣技術是在訓練每個RBM時采用的有效隨機抽樣技術［11］.設需要從未知的聯(lián)合概率分布f（x1，…，xk）中抽取n個樣本X（1），X（2），…，X（n）.由于

在貪婪學習算法中，也采用了Wake-Sleep算法的基本思想［12］.算法在覺醒階段，采用學習到的權重，按照自底朝上的順序，為下一層產生訓練需要用的數(shù)據，而在睡眠階段，按照自頂朝下，用權重對數(shù)據進行重建，如表1.

表1 貪婪學習算法實現(xiàn)步驟Tab.1 Implementing procedure of greedy layer-wise learning

3 總結

神經網絡是人工智能領域的一個重要分支，利用神經網絡可以任意精度逼近任意光滑的曲線，這使得神經網絡成為人工智能、數(shù)據挖掘等領域的一個重要工具.本文主要是簡要介紹了深度機器學習的主要思想，以及有效的學習算法.深度機器學習是神經網絡又一次興起的標志.但是，深度機器學習的訓練時間過長，常常需要幾個星期的訓練時間，如果能合并訓練，提高訓練速度，則會大大提高深度機器學習的實用性.另外，深度機器學習學習到的知識表示的物理意義很不明確，如果能把各層學習到的知識表示成有物理意義的知識，則會增加學習到知識的可理解性.這些問題都有待解決.

［1］ HAYKIN S.Neural Networks：A comprehensive foundation［M］.2nd ed.New York：Prentice-Hall，1999.

［2］ BENGIO Y.Learning deep architectures for AI［J］.Foundations and Trends in Machine Learning，2009，2（1）：1-127.

［3］ HINTON G E，MCCLELLAND J L，RUMELHART D E.Distributed Representations［M］.Cambridge：MIT Press，1986.

［4］ HINTON G E，OSINDERO S.A fast learning algorithm for deep belief nets［J］.Neural Computation，2006，18：1527-1554.

［5］ HUBEL D，WIESEL T.Receptive fields，binocular interaction，and functional architecture in the cat's visual cortex［J］.Journal of Physiology，1962，160：106-154.

［6］ LECUNY，KAVUKCUOGLUK，F(xiàn)ARABET C.Convolutional networks and applications in vision［Z］.International Symposium on Circuits and Systems，Paris，2010.

［7］ LASERSON J.From neural networks to deep learning：zeroing in on the human brain［J］.XRDS，2011，18（1）：29-34.

［8］ LECUNY，BOTTOU L，BENGIO Y，et al.Gradient-based learning applied to document recognition［J］.Proceedings of IEEE，1998，86（11）：2278-2324.

［9］ ERHAND，BENGIO Y，COURVILE A，et al.Why does unsupervised pre-training help deep learning［J］.Journal of Machine Learning Research，2010，11：625-660.

［10］ BENGIO Y，LAMBLIN P，POPOVICI D，et al.Greedy layer-wise training of deep networks［J］.Advances in Neural Information Processing Systems，2007，19：153-160.

［11］ BISHOP C M.Pattern recognition and machine learning［M］.New York：Springer，2006.

［12］ HINTON G E，DAYAN P，F(xiàn)REY B，et al.The wake-sleep algorithm for unsupervised neural network［J］.Science，1995，268：1158-1161.

Note on deep architecture and deep learning algorithms

LI Haifeng1，LI Chunguo2
（1.Department of Academic Affairs，Hebei University，Baoding 071002，China；2.College of Mathematics and Computer Science，Hebei University，Baoding 071002，China）

Deep architectures proposed by Hinton et al stir up another study wave in neural networks.This paper introduced the idea and basic concepts in deep learning.DBNs and RBMs are the advanced structures of deep learning，whose structures and effective learning algorithm are also introduced in detail in this paper.In addition，open questions in deep learning are also briefly displayed so that researchers who are interested in can devote themselves into those questions and solve them.

deep learning；greedy learning algorithm；DBNs；RBMs

TP391

A

1000-1565（2012）05-0538-07

2012-04-05

保定市科學技術研究與發(fā)展指導計劃項目（12ZG005）；河北省高等學?？茖W研究計劃項目（JYGH2011011）

李海峰（1980-），男，河北唐縣人，河北大學講師，主要從事機器學習、教學信息化等研究.

E-mail：lihf＠hbu.edu.cn

孟素蘭）