周勇 吳瑕 周為 狄宏林

東莞市廣播電視大學(xué)

?

深度學(xué)習(xí)發(fā)展來(lái)源研究

周勇 吳瑕 周為 狄宏林

東莞市廣播電視大學(xué)

深度學(xué)習(xí)帶來(lái)了機(jī)器學(xué)習(xí)的一個(gè)新浪潮，受到從學(xué)術(shù)屆到工業(yè)界的廣泛重視，也導(dǎo)致了“大數(shù)據(jù)+深度模型”時(shí)代的來(lái)臨，深度學(xué)習(xí)在各個(gè)領(lǐng)域都得到了廣泛的應(yīng)用并取得了發(fā)展優(yōu)勢(shì)，本文論述了深度學(xué)習(xí)的起源，對(duì)深度學(xué)習(xí)的三個(gè)起源機(jī)械學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)作了詳細(xì)介紹。

機(jī)器學(xué)習(xí) 深度學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) 大數(shù)據(jù)

深度學(xué)習(xí)是機(jī)械學(xué)習(xí)研究的一個(gè)新領(lǐng)域，尤其是大數(shù)據(jù)時(shí)代的爆炸式到來(lái)，大數(shù)據(jù)技術(shù)已在很多技術(shù)和行業(yè)廣泛應(yīng)用，由于大數(shù)據(jù)存在復(fù)雜、高維、多變等特性，如何從復(fù)雜的大數(shù)據(jù)中挖掘出人類感興趣的知識(shí)，迫切需要更深刻的機(jī)器學(xué)習(xí)理論進(jìn)行指導(dǎo)。了解深度學(xué)習(xí)發(fā)展的來(lái)源，可以讓我們更有效的提出深度學(xué)習(xí)的模型及改進(jìn)算法。

1　萌芽階段：機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)在人工智能領(lǐng)域具有舉足輕重的地位，如果一個(gè)智能系統(tǒng)不具有學(xué)習(xí)能力，那它就不能稱為一個(gè)真正的智能系統(tǒng)。機(jī)器學(xué)習(xí)通過(guò)算法，讓機(jī)器可以從外界輸入的大量的數(shù)據(jù)中學(xué)習(xí)到規(guī)律，從而進(jìn)行識(shí)別判斷。傳統(tǒng)機(jī)器學(xué)習(xí)的問(wèn)題主要包括如下4個(gè)方面：理解并且模擬用戶的學(xué)習(xí)過(guò)程；針對(duì)計(jì)算機(jī)和用戶之間的自然語(yǔ)言接口的研究；針對(duì)不完整的信息進(jìn)行推理和推算的能力，即自動(dòng)規(guī)劃和解決問(wèn)題；創(chuàng)造可發(fā)現(xiàn)新的程序。

傳統(tǒng)機(jī)器學(xué)習(xí)面臨的一個(gè)新挑戰(zhàn)是如何處理大數(shù)據(jù)。目前，包含大規(guī)模數(shù)據(jù)的機(jī)器學(xué)習(xí)問(wèn)題是普遍存在的，但是，由于現(xiàn)有的許多機(jī)器學(xué)習(xí)算法是基于內(nèi)存的，大數(shù)據(jù)卻無(wú)法裝載進(jìn)計(jì)算機(jī)內(nèi)存，故現(xiàn)有的諸多算法不能處理大數(shù)據(jù)。

2　草創(chuàng)階段：神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是智能學(xué)科的重要部分，為解決復(fù)雜問(wèn)題和智能控制提供了有效的途徑。神經(jīng)網(wǎng)絡(luò)曾一度成為機(jī)器學(xué)習(xí)領(lǐng)域備受關(guān)注的方向。

1943年，美國(guó)芝加哥大學(xué)心理學(xué)家和數(shù)理邏輯學(xué)家最先建立神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，即神經(jīng)元模型，這是人工神經(jīng)網(wǎng)絡(luò)研究的開(kāi)端。人工神經(jīng)網(wǎng)絡(luò)研究的內(nèi)容相當(dāng)?shù)膹V泛，包括生物原型、建立模型、算法、應(yīng)用等。在這些理論模型基礎(chǔ)上構(gòu)建的神經(jīng)網(wǎng)絡(luò)（計(jì)算機(jī)模擬），相比傳統(tǒng)的方法，具有并行、容錯(cuò)、可以硬件實(shí)現(xiàn)和自我學(xué)習(xí)等優(yōu)點(diǎn)。神經(jīng)網(wǎng)絡(luò)為解決一些復(fù)雜度較高的問(wèn)題提供了一種相對(duì)有效的簡(jiǎn)單方法。一般情況下，我們把神經(jīng)網(wǎng)絡(luò)劃分為輸入層、輸出層和隱層：輸入層的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)預(yù)測(cè)變量；輸出層的節(jié)點(diǎn)對(duì)應(yīng)目標(biāo)變量（可有多個(gè)）；在輸入層和輸出層之間的是隱層，目前為止，隱層層數(shù)和節(jié)點(diǎn)數(shù)的選取仍然沒(méi)有相關(guān)的理論支持，只是靠經(jīng)驗(yàn)來(lái)選取。

人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也稱為訓(xùn)練，通過(guò)輸入?yún)?shù)的刺激來(lái)調(diào)整網(wǎng)絡(luò)參數(shù)。一般有兩種學(xué)習(xí)方法：無(wú)監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)。有監(jiān)督的學(xué)習(xí)，就是利用提供的訓(xùn)練集進(jìn)行模仿或分類；無(wú)監(jiān)督的學(xué)習(xí)，只規(guī)定學(xué)習(xí)的方式和規(guī)則，具體的學(xué)習(xí)內(nèi)容會(huì)隨訓(xùn)練庫(kù)的不同而不同，系統(tǒng)可以根據(jù)學(xué)習(xí)來(lái)發(fā)現(xiàn)特征。在人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與使用過(guò)程中，從互聯(lián)結(jié)構(gòu)來(lái)看，包括前饋網(wǎng)絡(luò)，反饋型局部互聯(lián)網(wǎng)絡(luò)，有反饋的前饋網(wǎng)絡(luò)，全反饋型網(wǎng)絡(luò)（如網(wǎng)絡(luò)和玻爾茲曼機(jī)），以及自組織網(wǎng)絡(luò)等等。

深度學(xué)習(xí)可以理解為神經(jīng)網(wǎng)絡(luò)的發(fā)展，神經(jīng)網(wǎng)絡(luò)是對(duì)人腦或生物神經(jīng)網(wǎng)絡(luò)基本特征進(jìn)行抽象和建模，可以從外界環(huán)境中學(xué)習(xí)，并以與生物類似的交互方式適應(yīng)環(huán)境。

3　形成階段：深度學(xué)習(xí)

在大數(shù)據(jù)條件下，簡(jiǎn)單的機(jī)器學(xué)習(xí)模型會(huì)比復(fù)雜模型更加有效。比如說(shuō)，在很多的大數(shù)據(jù)應(yīng)用中，最簡(jiǎn)單的線性模型得到大量使用。而最近深度學(xué)習(xí)的驚人進(jìn)展促使我們也許到了要重新思考這個(gè)觀點(diǎn)的時(shí)候。簡(jiǎn)而言之，在大數(shù)據(jù)情況下，也許只有比較復(fù)雜的模型，或者說(shuō)表達(dá)能力強(qiáng)的模型，才能夠充分發(fā)掘海量數(shù)據(jù)中蘊(yùn)藏的豐富信息。現(xiàn)在我們到了需要重新思考“大數(shù)據(jù)+簡(jiǎn)單模型”的時(shí)候。運(yùn)用更強(qiáng)大的深度模型，也許我們能從大數(shù)據(jù)中發(fā)掘出更多的有價(jià)值的信息和知識(shí)。淺層模型有一個(gè)重要特點(diǎn)，就是假設(shè)靠人工經(jīng)驗(yàn)來(lái)抽取樣本的特征，而強(qiáng)調(diào)模型主要是負(fù)責(zé)分類或預(yù)測(cè)。在模型的運(yùn)用不出差錯(cuò)的前提下（比如，假設(shè)互聯(lián)網(wǎng)公司聘請(qǐng)的是機(jī)器學(xué)習(xí)的專家），特征的好壞就成為整個(gè)系統(tǒng)性能的瓶頸。因此，通常一個(gè)開(kāi)發(fā)團(tuán)隊(duì)中更多的人力是投入到發(fā)掘更好的特征上去的。發(fā)現(xiàn)一個(gè)好的特征，要求開(kāi)發(fā)人員對(duì)待解決的問(wèn)題要有很深入的理解。而達(dá)到這個(gè)程度，往往需要反復(fù)的摸索，甚至是數(shù)年磨一劍。因此，人工設(shè)計(jì)樣本特征，不是一個(gè)可擴(kuò)展的途徑。

深度學(xué)習(xí)的實(shí)質(zhì)，是通過(guò)構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來(lái)學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。所以，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有 5層、6層，甚至10多層的隱層節(jié)點(diǎn)；明確突出了特征學(xué)習(xí)的重要性，也就是說(shuō)，通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而分類或預(yù)測(cè)更加容易。

［1］丁世飛.人工智能［M］.北京：清華大學(xué)出版社，2011

［2］史忠值.神經(jīng)網(wǎng)絡(luò)［M］.北京：高等教育出版社，2009

個(gè)人簡(jiǎn)介

周勇，男，1980-，山東人，漢，學(xué)士學(xué)位，職稱：講師，研究方向：數(shù)據(jù)挖掘與處理。