王明月 張德慧 魏銘

摘 要：神經(jīng)網(wǎng)絡(luò)是由大量簡單的神經(jīng)元按照一定連接方式形成的智能仿生網(wǎng).它以非線性神經(jīng)元作為處理單元，通過廣泛連接構(gòu)成大規(guī)模分布式并行處理系統(tǒng).神經(jīng)網(wǎng)絡(luò)不需預(yù)知其訓(xùn)練數(shù)據(jù)中輸入輸出之間的函數(shù)關(guān)系，而以數(shù)據(jù)驅(qū)動的方式解決問題.由于神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的模式識別能力和靈活的非線性建模能力，它引起了越來越多的學(xué)者及工程技術(shù)人員的關(guān)注。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 監(jiān)督學(xué)習(xí) 半監(jiān)督學(xué)習(xí)

大多數(shù)情況下神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)，是一種自適應(yīng)系統(tǒng)。現(xiàn)代神經(jīng)網(wǎng)絡(luò)是一種非線性統(tǒng)計性數(shù)據(jù)建模工具，常用來對輸入和輸出間復(fù)雜的關(guān)系進(jìn)行建模，或用來探索數(shù)據(jù)的模式。

神經(jīng)網(wǎng)絡(luò)以其自組織性、自學(xué)習(xí)性、并行性、容錯性、高度非線性、高度魯棒性、對任意函數(shù)的任意精度逼近能力，一直是監(jiān)督學(xué)習(xí)領(lǐng)域研究、開發(fā)和應(yīng)用最為活躍的分支之一。此外，神經(jīng)網(wǎng)絡(luò)模型可以根據(jù)樣本信息自適應(yīng)調(diào)整自身結(jié)構(gòu)，也可用于提升半監(jiān)督學(xué)習(xí)方法的自適應(yīng)調(diào)節(jié)能力，以降低其對先驗知識的依賴程度。

1.監(jiān)督學(xué)習(xí)方法

1.1監(jiān)督學(xué)習(xí)概述

監(jiān)督學(xué)習(xí)有兩種模型。一般常用的模型是監(jiān)督學(xué)習(xí)產(chǎn)生的全局模型，即將輸入映射到期望輸出。而另一種模型則是將這種映射作為一個局部模型（如案例推理及最近鄰算法）。為解決一個給定的監(jiān)督學(xué)習(xí)問題，可分為以下5個步驟進(jìn)行：

（1）確定訓(xùn)練樣本數(shù)據(jù)。

（2）收集訓(xùn)練樣本數(shù)據(jù)。

（3）確定學(xué)習(xí)函數(shù)輸入特征的表示方法。

（4）確定要學(xué)習(xí)的函數(shù)及其對應(yīng)的學(xué)習(xí)算法所使用的學(xué)習(xí)器類型。

（5）完成設(shè)計。

1.2監(jiān)督學(xué)習(xí)方法簡介

1.K-最近鄰算法

K-最近鄰算法（K- Nearest Neighbors，KNN）是將在特征空間中最接近的訓(xùn)練樣本進(jìn)行分類的監(jiān)督學(xué)習(xí)方法。K-最近鄰算法最初由 Cover和Hart于1967年提出，其思路非常簡單直觀，易于快速實現(xiàn)，錯誤率較低。

K-最近鄰算法的基本思想為：根據(jù)距離函數(shù)計算待分類樣本x和每個訓(xùn)練樣本的距離，選擇與待分類樣本x距離最小的K個樣本作為x的K個最近鄰最后根據(jù)x的K個最近鄰判斷x的類別。該算法沒有單獨(dú)的學(xué)習(xí)階段，是一種在分類過程中實現(xiàn)學(xué)習(xí)的監(jiān)督學(xué)習(xí)方法。

2.遺傳算法

遺傳算法（ Genetic Algorithm，GA）10]起源于20世紀(jì)60年代美國密歇根大學(xué) Holland教授對自然和人工自適應(yīng)系統(tǒng)的研究， Bagley發(fā)明“遺傳算法”一詞并發(fā)表了第一篇有關(guān)遺傳算法應(yīng)用的論文。遺傳算法的基本思想為：模擬達(dá)爾文生物進(jìn)化論的自然選擇和 Mendel遺傳學(xué)機(jī)理的生物進(jìn)化過程，將解空間中每一個點(diǎn)都編碼為二進(jìn)制位串，稱為染色體，并對應(yīng)一個適應(yīng)度值，適應(yīng)度值按概率決定個體性質(zhì)遺傳到下一代中的機(jī)會，在每一代中使用選擇交叉和變異等作用機(jī)制獲得新的種群，若干代后，種群中包含的個體具有更高的適應(yīng)度，直到滿足某種收斂指標(biāo)為止。

3.貝葉斯算法

自20世紀(jì)90年代以來，貝葉斯算法一直是機(jī)器學(xué)習(xí)研究的重要方向之一。貝葉斯算法提供了一種概率手段，可用于確定給定數(shù)據(jù)下最可能的假設(shè)。貝葉斯算法的基本思想為：假設(shè)待考察的樣本遵循某種概率分布，基于這些先驗和數(shù)據(jù)觀測假定進(jìn)行推理，獲得觀測數(shù)據(jù)的后驗概率，以此作出最優(yōu)決策。貝葉斯算法能夠方便地處理不完全數(shù)據(jù)，能夠?qū)W習(xí)變量間的因果關(guān)系，同時貝十斯網(wǎng)絡(luò)與貝葉斯統(tǒng)計相結(jié)合，能夠充分利用領(lǐng)域知識和樣本數(shù)據(jù)的信息。

2.半監(jiān)督學(xué)習(xí)方法

2.1半監(jiān)督學(xué)習(xí)概述

半監(jiān)督學(xué)習(xí)的思想起源于自訓(xùn)練（Self- training）方法，自訓(xùn)練算法又被稱為自學(xué)習(xí)（Self- teaching）算法或 Bootstrapping方法，是目前在半監(jiān)督學(xué)習(xí)中普遍使用的一種方法。在自訓(xùn)練方法中，首先用少量的有標(biāo)記數(shù)據(jù)訓(xùn)練出個初始的分類器，然后用該分類器對無標(biāo)記數(shù)據(jù)進(jìn)行預(yù)測。之后將置信度較高的無標(biāo)記樣本連同預(yù)測出的類別標(biāo)記一同加入到原來的訓(xùn)練集中。再用新的訓(xùn)練集重新訓(xùn)練這個分類器，如此循環(huán)下去，直到達(dá)到終止條件。

2.2半監(jiān)督學(xué)習(xí)方法簡介

1.生成式模型半監(jiān)督學(xué)習(xí)方法

生成式模型是最早的半監(jiān)督學(xué)習(xí)方法之一。該方法完全基于數(shù)據(jù)的概率分布進(jìn)行建模，其基本思想是對于給定樣本特征的完全數(shù)據(jù)概率建模，通常以生成式模型為分類器，將未標(biāo)記樣本屬于各類別的概率看作缺失參數(shù)，然后利用最大似然算法對標(biāo)記和模型參數(shù)進(jìn)行估計。常用于半監(jiān)督學(xué)習(xí)的生成式模型有高斯混合模型、多項式混合模型、 Markoⅴ隱式模型等。此類方法也可以看成是以少量已知標(biāo)記的樣本為中心進(jìn)行聚類，因而屬于基于聚類假設(shè)的方法。

2.協(xié)同訓(xùn)練半監(jiān)督學(xué)習(xí)方法

協(xié)同訓(xùn)練（Co-tra1nng）是另外一種流行的半監(jiān)督學(xué)習(xí)方法。協(xié)同訓(xùn)練隱含地利用聚類假設(shè)或流形假設(shè)。通常使用兩個或多個分類器，在學(xué)習(xí)過程中，這些分類器挑選若干個置信度高的未標(biāo)記樣本進(jìn)行相互標(biāo)記，從而使得模型得以更新。協(xié)同訓(xùn)練已運(yùn)用到文本分類、英語基本名詞及短語識別、情感分類、共指消解等研究上，而且取得了不錯的效果，甚至超過了傳統(tǒng)的有監(jiān)督學(xué)習(xí)方法。協(xié)同訓(xùn)練方法最大的優(yōu)點(diǎn)是不用人工干涉，即可從未標(biāo)注的數(shù)據(jù)中自動學(xué)習(xí)到知識。

3.基于圖的半監(jiān)督學(xué)習(xí)方法

基于圖的半監(jiān)督學(xué)習(xí)方法直接或間接地利用流形假設(shè)，在學(xué)習(xí)過程中首先基于訓(xùn)練樣本的特定相似度度量建立圖，圖中各節(jié)點(diǎn)對應(yīng)（有標(biāo)記或是未標(biāo)記）樣本，節(jié)點(diǎn)間的連接表示樣本間的相似度，之后定義模型的優(yōu)化目標(biāo)函數(shù)，并根據(jù)圖的平滑性，添加相應(yīng)的正則化項得到?jīng)Q策函數(shù)，通過最小化決策函數(shù)計算模型參數(shù)的最優(yōu)值。

3.基于神經(jīng)網(wǎng)絡(luò)的監(jiān)督和半監(jiān)督學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Networks，ANN），簡稱為神經(jīng)網(wǎng)絡(luò)NN），是由大量的信息處理單元（也稱神經(jīng)元）相互連接的復(fù)雜網(wǎng)絡(luò)，用來模擬人腦神經(jīng)系統(tǒng)的功能和結(jié)構(gòu)，它是一種簡化的人腦數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)研究開始于20世紀(jì)40年代對與神經(jīng)網(wǎng)絡(luò)有關(guān)的神經(jīng)科學(xué)的研究。人工神經(jīng)網(wǎng)絡(luò)具有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式識別、語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，使其在專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預(yù)測等許多領(lǐng)域得到了廣泛的應(yīng)用。

幾種常見的神經(jīng)網(wǎng)絡(luò)模型：

（1）徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

1985年， Powell提出了徑向基函數(shù)（ Radial basis funct1On，RBF），簡單來說，徑向基函數(shù)是一個取值僅僅和到原點(diǎn)間距離有關(guān)的實值函數(shù)，它的提出用于解決多變量差值問題，同時RBF理論為多層前向網(wǎng)絡(luò)的學(xué)習(xí)提供了一種新的方法。1988年， Broomhaed和Lowe首先將徑向基函數(shù)應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計，構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)不僅具有良好的推廣能力，而且避免了像BP算法那樣繁瑣的計算，使學(xué)習(xí)能得以快速地實現(xiàn)，近幾年被廣泛地應(yīng)用研究以解決各種問題。

（2）支持向量機(jī)

支持向量機(jī)（ Support vector Machines，SVM）是一種通用的廣義前饋神經(jīng)網(wǎng)絡(luò)。支持向量機(jī)是有限樣本條件下解決機(jī)器學(xué)習(xí)問題的通用方法，既有嚴(yán)格的理論基礎(chǔ)，又能較好地解決小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實際問題，其核心思想就是學(xué)習(xí)機(jī)器要與有限的訓(xùn)練樣本相適應(yīng)。支持向量機(jī)是機(jī)器學(xué)習(xí)領(lǐng)域若干標(biāo)準(zhǔn)技術(shù)的集大成者，涉及最大間隔超平面、凸二次規(guī)劃、稀疏解、 Mercer核以及松弛變量等多項技術(shù)，在若干具有挑戰(zhàn)性的應(yīng)用中獲得了良好的性能，是一個令人矚目的發(fā)展方向。

（3）自適應(yīng)神經(jīng)網(wǎng)絡(luò)

自適應(yīng)神經(jīng)網(wǎng)絡(luò)是一種基于自適應(yīng)諧振理論（ Adaptive ResonanceTheory，ART）的特殊神經(jīng)網(wǎng)絡(luò)。多數(shù)神經(jīng)網(wǎng)絡(luò)采用分布式的知識表達(dá)形式，即單個神經(jīng)元或單個連接權(quán)的具體意義都無法給出清晰的解釋，這使得多數(shù)神經(jīng)網(wǎng)絡(luò)都成為“黑箱”模型，模型通過訓(xùn)練獲得的知識隱含在大量的神經(jīng)元閾值和連接權(quán)值中。而自適應(yīng)神經(jīng)網(wǎng)絡(luò)則在網(wǎng)絡(luò)結(jié)構(gòu)解釋性方面有突出的優(yōu)勢。

總結(jié)：隨著智能時代的到來，經(jīng)過近半個世紀(jì)的發(fā)展， 神經(jīng)網(wǎng)絡(luò)理論在模式識別、自動控制、信號處理、輔助決策、人工智能等眾多研究領(lǐng)域取得了廣泛的成功， 相信隨著神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展， 其將在工程應(yīng)用中發(fā)揮越來越大的作用。

參考文獻(xiàn)：

[1]韓敏. 基于神經(jīng)網(wǎng)絡(luò)的監(jiān)督與半監(jiān)督學(xué)習(xí)方法與遙感圖像智能翻譯. 中國水利水電出版社. 2015

[2]刑紅杰. 前饋神經(jīng)網(wǎng)絡(luò)及其應(yīng)用. 科學(xué)出版社. 2013