聞輝 賈冬順

摘 要：本文介紹了神經(jīng)網(wǎng)絡(luò)作為分類器的優(yōu)點，概述了神經(jīng)網(wǎng)絡(luò)的主要發(fā)展歷程，然后對神經(jīng)網(wǎng)絡(luò)面臨的問題和挑戰(zhàn)進行了分析，給出了深度神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)機器學(xué)習(xí)的關(guān)系，最后并對神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用前景進行了總結(jié)。

關(guān)鍵詞：分類;神經(jīng)網(wǎng)絡(luò);深度神經(jīng)網(wǎng)絡(luò);機器學(xué)習(xí)

分類是一種重要的模式識別和數(shù)據(jù)挖掘技術(shù)，它是人類活動中最常見的決策任務(wù)之一。科學(xué)、工業(yè)和醫(yī)學(xué)等領(lǐng)域中的許多問題都可以視為分類問題。當前，用于分類的神經(jīng)網(wǎng)絡(luò)算法及模型已經(jīng)廣泛應(yīng)用于科學(xué)、工業(yè)和醫(yī)學(xué)等不同領(lǐng)域中。盡管各種神經(jīng)網(wǎng)絡(luò)算法及模型已經(jīng)取得了較大發(fā)展，但由于算法及模型的差異性，以及不同的非線性問題所呈現(xiàn)出的多樣性和復(fù)雜性，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)分類器在某些復(fù)雜問題上其網(wǎng)絡(luò)性能往往是有限的。針對不同的非線性問題，如何建立更有效的網(wǎng)絡(luò)結(jié)構(gòu)及算法模型，改善其分類性能一直是許多研究人員追求的目標。

一、神經(jīng)網(wǎng)絡(luò)的發(fā)展概述

自1943年科學(xué)家McCulloch和Pitts提出基于形式神經(jīng)元的M-P神經(jīng)網(wǎng)絡(luò)模型，直到1986年，Rumelhart等人[1]提出一種按照誤差反向傳播（BP）訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò)，直到當前深度學(xué)習(xí)網(wǎng)絡(luò)的興起，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了幾輪新的浪潮。

BP神經(jīng)網(wǎng)絡(luò)模型的提出引起了至今仍是最廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一。通過對輸入樣本采用并行分布式的處理方式，并且無需預(yù)先給出輸入輸出映射關(guān)系的數(shù)學(xué)表達，其學(xué)習(xí)規(guī)則采用基于誤差反向傳播的梯度下降方法來迭代更新網(wǎng)絡(luò)權(quán)值，由此使得網(wǎng)絡(luò)輸出的誤差平方和達到最小。

自BP神經(jīng)網(wǎng)絡(luò)提出之后，1995年，Vapnik[2]等人在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上提出通過引入核函數(shù)來替代內(nèi)積的方法，稱之為支持向量機（SVM），在核機器學(xué)習(xí)領(lǐng)域掀起了新的研究熱潮。

以上提到的網(wǎng)絡(luò)模型中，網(wǎng)絡(luò)隱藏層往往只有一層，對于復(fù)雜的模式分類問題，其泛化性能有限。2006年，Hinton[3]提出了深度置信網(wǎng)絡(luò)（DBN），DBN是一種基于無監(jiān)督學(xué)習(xí)的多層前饋神經(jīng)網(wǎng)絡(luò)模型，它由一系列受限波爾茲曼機組成，并首次提出了深度學(xué)習(xí)的概念。Lecun[4]等人提出的卷積神經(jīng)網(wǎng)絡(luò)（CNN）通過利用空間相對關(guān)系來減少網(wǎng)絡(luò)參數(shù)數(shù)目，以此來提高訓(xùn)練性能。深度學(xué)習(xí)的本質(zhì)是通過對觀測數(shù)據(jù)分層特征表示的基礎(chǔ)上，以進一步實現(xiàn)將觀測數(shù)據(jù)的低級特征抽象成高級特征表示。從當前的研究進展來看，當數(shù)據(jù)樣本充足、網(wǎng)絡(luò)的隱藏層足夠深，即使網(wǎng)絡(luò)未預(yù)處理，深度學(xué)習(xí)也能夠獲得很好的結(jié)果，從這個意義上來說，深度學(xué)習(xí)網(wǎng)絡(luò)與大數(shù)據(jù)呈現(xiàn)一種相輔相成的緊密聯(lián)系。深度學(xué)習(xí)網(wǎng)絡(luò)的提出掀起了智能信息領(lǐng)域新的研究浪潮。

在深度學(xué)習(xí)網(wǎng)絡(luò)快速發(fā)展的過程中，淺層神經(jīng)網(wǎng)絡(luò)也一直在不斷的發(fā)展并完善其算法特點。很多優(yōu)化學(xué)習(xí)算法包括各種聚類算法、模糊優(yōu)化方法、K近鄰算法、Boosting算法、敏感性分析方法、粒子群優(yōu)化算法、進化算法等，被引入到各種神經(jīng)網(wǎng)絡(luò)模型優(yōu)化之中，這些方法的提出進一步促進了神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用。

二、神經(jīng)網(wǎng)絡(luò)面臨的問題及挑戰(zhàn)

盡管各種神經(jīng)網(wǎng)絡(luò)算法及模型已經(jīng)取得了較大發(fā)展，當前神經(jīng)網(wǎng)絡(luò)的研究仍然面臨著許多問題和挑戰(zhàn)，以下我們列出了神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的幾個重要問題：

1.網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)構(gòu)設(shè)計主要包括確定合適的網(wǎng)絡(luò)層數(shù)、確定合適的網(wǎng)絡(luò)隱節(jié)點個數(shù)及完成網(wǎng)絡(luò)各層節(jié)點的有效連接方式。在設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)時，網(wǎng)絡(luò)結(jié)構(gòu)模型不能過于簡單或者復(fù)雜。

2.學(xué)習(xí)算法的設(shè)計。在所設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，設(shè)計出相應(yīng)的學(xué)習(xí)算法是改善神經(jīng)網(wǎng)絡(luò)分類器性能的關(guān)鍵所在。

3.泛化性能。神經(jīng)網(wǎng)絡(luò)的泛化性能與除了與網(wǎng)絡(luò)結(jié)構(gòu)緊密相關(guān)，還與訓(xùn)練集的規(guī)模、分類問題自身的復(fù)雜程度以及學(xué)習(xí)算法等多種因素有關(guān)。泛化性能一直神經(jīng)網(wǎng)絡(luò)關(guān)注的重點問題。

4.對不同非線性問題的適應(yīng)能力。實際的分類問題中還面臨著樣本屬性丟失、樣本數(shù)據(jù)污染、樣本集規(guī)模過小或樣本空間維數(shù)過高等問題，如何更好地適應(yīng)這些非線性問題，也是一項具有挑戰(zhàn)性的工作。

三、深度學(xué)習(xí)與傳統(tǒng)機器學(xué)習(xí)之間的關(guān)系

在已有的各種神經(jīng)網(wǎng)絡(luò)當中，深度學(xué)習(xí)網(wǎng)絡(luò)是當前智能信息領(lǐng)域的研究熱點。關(guān)于深度學(xué)習(xí)技術(shù)是否會取代傳統(tǒng)的機器學(xué)習(xí)方法這一問題，在“微軟亞洲研究院創(chuàng)研論壇——CVPR 2017論文分享會”[5]上，中國科學(xué)院計算技術(shù)研究所研究員陳熙霖給出以下觀點：很多問題是風馬牛不相及的，有些問題可能用深度學(xué)習(xí)確實很有效，但有些問題卻不一定會得到結(jié)論。運用深度學(xué)習(xí)時需要考慮問題的背景。北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授林宙辰指出：在小數(shù)據(jù)方面，深度學(xué)習(xí)并不具有很強的優(yōu)勢，因此還是需要掌握傳統(tǒng)方法。

而關(guān)于深度學(xué)習(xí)是否會取代傳統(tǒng)機器學(xué)習(xí)算法這一問題，深度學(xué)習(xí)大佬Yoshua Bengio 在Quora論壇上進一步給出深度神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的機器學(xué)習(xí)方法是一種相輔相成的關(guān)系。

四、總結(jié)與展望

神經(jīng)網(wǎng)絡(luò)作為機器學(xué)習(xí)中的一個重要領(lǐng)域，尤其是當前熱門的卷積神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)、以及近來新提出的膠囊網(wǎng)絡(luò)等深度神經(jīng)網(wǎng)絡(luò)發(fā)展進一步促進了人工智能在不同領(lǐng)域的推廣應(yīng)用。隨著計算機硬件性能的不斷提升以及網(wǎng)絡(luò)結(jié)構(gòu)的不斷優(yōu)化，神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)研究與實際應(yīng)用也必將取得更大的成功。

參考文獻：

[1]Rumelhart DE，Hinton GE，Williams RJ.Learning representations of back-propagating errors.Nature，1986，323：533-536

[2]Vapnik VN.The Nature of Stastical learning Theory，New York：Springer-Verlag，1995

[3]Hinton GE，Osindero S，Teh Y.A fast learning algorithm for deep belief nets.Neural Computation，2006，18：1527-1554

[4]Lecun Y，Bottou L，Bengio Y.Gradient-based learning applied to document recognition.Proceedings of the IEEE，1998，86（11）：2278-2324

[5]計算機視覺，路在何方.微軟亞洲研究院創(chuàng)研論壇——CVPR 2017論文分享會.https：//weibo.com/ttarticle/p/show？id=2309404121144000181511#_0，2017年6月