黃曄　穆向陽(yáng)

摘 要：簡(jiǎn)單介紹了神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)，對(duì)比分析兩者的優(yōu)缺點(diǎn)，提出了神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)的協(xié)作發(fā)展，為兩者實(shí)際應(yīng)用的缺欠領(lǐng)域創(chuàng)造更多可能。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；支持向量機(jī)；競(jìng)爭(zhēng)；協(xié)作

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）與支持向量機(jī)（Support Vector Machine，SVM）都是非線(xiàn)性分類(lèi)模型。1986年，Rummelhart與McClelland創(chuàng)造出前饋型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，簡(jiǎn)稱(chēng)BP算法。Vapnik等人于1992年提出支持向量機(jī)的概念。神經(jīng)網(wǎng)絡(luò)為包含輸入、輸出以及隱含層的非線(xiàn)性模型，隱含層可以是單層也可以是多層，支持向量機(jī)則運(yùn)用核理論將非線(xiàn)性問(wèn)題轉(zhuǎn)換為線(xiàn)性問(wèn)題。神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)同為統(tǒng)計(jì)學(xué)習(xí)的代表方法，其中神經(jīng)網(wǎng)絡(luò)建立在傳統(tǒng)統(tǒng)計(jì)學(xué)的基礎(chǔ)上，支持向量機(jī)則建立在統(tǒng)計(jì)學(xué)理論的基礎(chǔ)上。傳統(tǒng)統(tǒng)計(jì)學(xué)假定樣本數(shù)據(jù)無(wú)限大，從而推導(dǎo)出各種算法，得到其統(tǒng)計(jì)性質(zhì)及其漸進(jìn)理論。而在實(shí)際應(yīng)用中，樣本數(shù)為有限數(shù)據(jù)，對(duì)神經(jīng)網(wǎng)絡(luò)算法造成了限制。為了對(duì)比分析，研究者分別對(duì)BP神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)進(jìn)行仿真實(shí)驗(yàn)，得出支持向量機(jī)具有更強(qiáng)的逼近能力這一結(jié)果。但從后文所述支持向量機(jī)的優(yōu)缺點(diǎn)來(lái)看，當(dāng)訓(xùn)練樣本規(guī)模較大時(shí)，運(yùn)用支持向量機(jī)的算法很難實(shí)現(xiàn)。一直以來(lái)，神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)處于“競(jìng)爭(zhēng)”的關(guān)系，但無(wú)論是神經(jīng)網(wǎng)絡(luò)還是支持向量機(jī)，都做不到完美無(wú)缺。

1 人工神經(jīng)網(wǎng)絡(luò)

1.1 神經(jīng)網(wǎng)絡(luò)特點(diǎn)

神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)細(xì)胞（亦稱(chēng)神經(jīng)元）組成，這些神經(jīng)細(xì)胞具有很高的互連程度，構(gòu)成了神經(jīng)網(wǎng)絡(luò)復(fù)雜的并行結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)源于對(duì)人腦結(jié)構(gòu)的模仿，因而也反映了人腦的基本結(jié)構(gòu)與基本特征，構(gòu)成了類(lèi)似人腦結(jié)構(gòu)復(fù)雜程度的學(xué)習(xí)與運(yùn)算系統(tǒng)。為前饋網(wǎng)絡(luò)選擇適當(dāng)?shù)碾[含層數(shù)目與隱含層節(jié)點(diǎn)數(shù)目，便能以任意精度逼近非線(xiàn)性函數(shù)。在工業(yè)過(guò)程的控制與建模操作中，神經(jīng)網(wǎng)絡(luò)技術(shù)得以廣泛應(yīng)用并成果顯著。神經(jīng)網(wǎng)絡(luò)具有以下特點(diǎn)：在線(xiàn)及離線(xiàn)學(xué)習(xí)，自學(xué)習(xí)和自適應(yīng)不確定的系統(tǒng)；能夠辨識(shí)非線(xiàn)性系統(tǒng)，逼近任意非線(xiàn)性函數(shù)；訊息分布存儲(chǔ)、并行處理，因而容錯(cuò)性強(qiáng)且處理速度快；通過(guò)神經(jīng)網(wǎng)絡(luò)運(yùn)算，解決自動(dòng)控制計(jì)算的許多問(wèn)題。具有以上特點(diǎn)，使神經(jīng)網(wǎng)絡(luò)良好的應(yīng)用于自動(dòng)控制領(lǐng)域。

1.2 神經(jīng)網(wǎng)絡(luò)缺陷

神經(jīng)網(wǎng)絡(luò)的缺陷性主要表現(xiàn)為：網(wǎng)絡(luò)結(jié)構(gòu)需事先確定，訓(xùn)練過(guò)程不斷修正，無(wú)法保證最優(yōu)網(wǎng)絡(luò)；通過(guò)實(shí)驗(yàn)調(diào)整網(wǎng)絡(luò)權(quán)系數(shù)，且有局限性；樣本數(shù)目足夠多時(shí)結(jié)果質(zhì)量好，但需要大量訓(xùn)練時(shí)間；出現(xiàn)無(wú)法得到最優(yōu)解的情況，易陷入局部最優(yōu)；目前收斂速度的決定條件無(wú)法判斷，定量分析訓(xùn)練過(guò)程的收斂速度無(wú)法實(shí)現(xiàn)；經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的基礎(chǔ)下，無(wú)法保證優(yōu)化時(shí)神經(jīng)網(wǎng)絡(luò)的泛化能力。前饋型神經(jīng)網(wǎng)絡(luò)普遍運(yùn)用于自動(dòng)控制領(lǐng)域，但實(shí)際應(yīng)用中存在的問(wèn)題卻不容忽視，在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的基礎(chǔ)下，網(wǎng)絡(luò)模型具有較差的泛化能力。相比于神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)小樣本學(xué)習(xí)能力強(qiáng)、模型外推能力好，適用于高維數(shù)據(jù)的處理，適于解決過(guò)程控制中的復(fù)雜問(wèn)題，廣泛應(yīng)用于過(guò)程控制領(lǐng)域。

2 支持向量機(jī)

2.1 支持向量機(jī)特點(diǎn)

支持向量機(jī)算法建立在統(tǒng)計(jì)學(xué)理論的基礎(chǔ)上。統(tǒng)計(jì)學(xué)理論是機(jī)器學(xué)習(xí)規(guī)律的基本理論，對(duì)于小樣本統(tǒng)計(jì)目前最佳。神經(jīng)網(wǎng)絡(luò)建立在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的基礎(chǔ)上，優(yōu)化時(shí)的泛化能力無(wú)法保證，而統(tǒng)計(jì)學(xué)理論對(duì)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則成立的條件進(jìn)行了系統(tǒng)的研究，并分析小樣本情況下經(jīng)驗(yàn)風(fēng)險(xiǎn)與期望風(fēng)險(xiǎn)的關(guān)系。自Vapnik等人鉆研此方面起，到20世紀(jì)90年代中期，伴隨核理論進(jìn)展、趨于成熟，最終提出支持向量機(jī)。支持向量機(jī)可以看作簡(jiǎn)易的前饋型神經(jīng)網(wǎng)絡(luò)，只包含一個(gè)隱含層。選定非線(xiàn)性映射，支持向量機(jī)將輸入向量映射到高維特征空間，來(lái)實(shí)現(xiàn)最優(yōu)分類(lèi)超平面。每個(gè)輸入的支持向量對(duì)應(yīng)一個(gè)隱含層中的節(jié)點(diǎn)，輸出為隱含層節(jié)點(diǎn)的線(xiàn)性組合。支持向量機(jī)能夠根據(jù)有限的樣本信息，獲得模型復(fù)雜程度與學(xué)習(xí)能力之間最佳的平衡點(diǎn)，得到最佳的外推能力。而基于統(tǒng)計(jì)學(xué)理論，支持向量機(jī)并不依賴(lài)于設(shè)計(jì)者的知識(shí)、經(jīng)驗(yàn)，具有嚴(yán)謹(jǐn)?shù)睦碚摶A(chǔ)。支持向量機(jī)具有以下特點(diǎn)：具有嚴(yán)格的理論基礎(chǔ)，不依賴(lài)于設(shè)計(jì)者的知識(shí)、經(jīng)驗(yàn)；針對(duì)小樣本情況，相比于尋求樣本數(shù)趨于無(wú)窮時(shí)的最優(yōu)解，節(jié)省了大量時(shí)間；基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則，泛化能力得以保證；將輸入空間的非線(xiàn)性問(wèn)題轉(zhuǎn)化為高維空間的線(xiàn)性函數(shù)進(jìn)行判別；解決局部最優(yōu)問(wèn)題，保證了算法的全局最優(yōu)性。

2.2 支持向量機(jī)缺陷

針對(duì)小樣本情況，對(duì)于大規(guī)模訓(xùn)練樣本難以實(shí)施，支持向量機(jī)憑靠二次規(guī)劃來(lái)求解支持向量，求解二次規(guī)劃時(shí)需要計(jì)算n（樣本個(gè)數(shù)）階矩陣。支持向量機(jī)針對(duì)小樣本設(shè)計(jì)，矩陣階數(shù)很高時(shí)需要很長(zhǎng)的運(yùn)算時(shí)間，同時(shí)大大占用了機(jī)器的內(nèi)存。在解決多元問(wèn)題上存在困難實(shí)際應(yīng)用中待解決的往往是多元問(wèn)題。利用支持向量機(jī)解決多元問(wèn)題，可將待解決的問(wèn)題轉(zhuǎn)化為多個(gè)經(jīng)典二分類(lèi)支持向量機(jī)的組合，或者構(gòu)造多個(gè)分類(lèi)器的組合。需要結(jié)合其他算法優(yōu)勢(shì)，分析并克服支持向量機(jī)的固有缺陷，找到平衡點(diǎn)。

3 相互關(guān)系及協(xié)作發(fā)展

神經(jīng)網(wǎng)絡(luò)理論上存在一定的缺陷，實(shí)際應(yīng)用中存在不可避免的問(wèn)題，雖然有對(duì)應(yīng)的改進(jìn)方案和解決辦法，但神經(jīng)網(wǎng)絡(luò)的弊端卻無(wú)法從根本上解決，這就造成一段時(shí)間內(nèi)神經(jīng)網(wǎng)絡(luò)理論發(fā)展緩慢。實(shí)際應(yīng)用中，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇為一難點(diǎn)。結(jié)構(gòu)選擇并無(wú)統(tǒng)一標(biāo)準(zhǔn)，研究者從實(shí)際角度出發(fā)，根據(jù)自身知識(shí)、經(jīng)驗(yàn)選定網(wǎng)絡(luò)的參數(shù)與結(jié)構(gòu)。在樣本數(shù)目一定的情況下，想得到較強(qiáng)的學(xué)習(xí)能力，則要求更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，那么就存在過(guò)學(xué)習(xí)的現(xiàn)象，結(jié)構(gòu)過(guò)于簡(jiǎn)單則學(xué)習(xí)能力不足。神經(jīng)網(wǎng)絡(luò)的參數(shù)與結(jié)構(gòu)需要研究者事先確定，而對(duì)于實(shí)際問(wèn)題中的變化無(wú)法隨機(jī)應(yīng)對(duì)。神經(jīng)網(wǎng)絡(luò)的研究發(fā)展緩慢，面對(duì)無(wú)法克服的缺陷及弊端，許多研究者先后選擇退出該研究領(lǐng)域。既然支持向量機(jī)具備多方面神經(jīng)網(wǎng)絡(luò)所欠缺的性能，為何不分析支持向量機(jī)，從統(tǒng)計(jì)學(xué)理論的先進(jìn)性，為神經(jīng)網(wǎng)絡(luò)的發(fā)展尋求一些啟示？如何與支持向量機(jī)對(duì)比、協(xié)作，在樣本有限的情況下使神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的推廣性？這些都是研究者們應(yīng)該繼續(xù)深入研究的問(wèn)題。解決多分類(lèi)問(wèn)題時(shí)神經(jīng)網(wǎng)絡(luò)非常便利，而目前支持向量機(jī)仍然無(wú)法良好處理。研究者設(shè)計(jì)出包含各種先驗(yàn)知識(shí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，來(lái)滿(mǎn)足對(duì)實(shí)際問(wèn)題的需求，支持向量機(jī)卻只能將其轉(zhuǎn)化為二類(lèi)組合問(wèn)題進(jìn)行處理。對(duì)于支持向量機(jī)來(lái)說(shuō)，并不是只需要選取核函數(shù)就解決了一切問(wèn)題，如何選取核函數(shù)，如何構(gòu)造都是還未解決的問(wèn)題，對(duì)核函數(shù)不同的選擇得到的分類(lèi)結(jié)果不同，因此核函數(shù)的選取尤為重要。

4 結(jié)束語(yǔ)

處于支持向量機(jī)理論的高速發(fā)展時(shí)期，人們研究支持向量機(jī)具有很大的熱情，則必然存在一定的跟風(fēng)與盲目性，科學(xué)技術(shù)的研究更多需要的是理智與耐心，雖然神經(jīng)網(wǎng)絡(luò)的研究趨于平緩、正常，但不應(yīng)被徹底遺忘或摒棄。如何深入研究支持向量機(jī)的優(yōu)點(diǎn)，探討統(tǒng)計(jì)學(xué)理論的先進(jìn)性，對(duì)神經(jīng)網(wǎng)絡(luò)加以改進(jìn)；如何避免支持向量機(jī)理論快速發(fā)展時(shí)期隨波逐流的現(xiàn)象，借鑒神經(jīng)網(wǎng)絡(luò)算法，提高研究效率，改進(jìn)研究結(jié)果，這都是研究人員需要思考、解決的問(wèn)題。

參考文獻(xiàn)

[1]史忠植.神經(jīng)網(wǎng)絡(luò)[M].北京：高等教育出版社，2009，5.

[2]韓力群.人工神經(jīng)網(wǎng)絡(luò)教程[M].北京：北京郵電大學(xué)出版社，2007，7.

[3]茹菲，李鐵鷹.人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)綜述[J].軟件導(dǎo)刊，2011，3.

[4]Hagan M T， Demuth H B， Beale M H. Neural network design[M].Boston London： Pws Pub.，1996.

[5]黃娟，唐軼，王軍霞.貪婪支持向量機(jī)的分析與應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（24）：32-36.

[6]Cristianinin， Shawe T J. An introduction to support vector machine[M].New York： Cambridge University Press，2000.

[7]張昱，陳光黎.基于最小二乘支持向量機(jī)的機(jī)器視覺(jué)識(shí)別方法[J].測(cè)控技術(shù)，2011，30（7）：97-100.

作者簡(jiǎn)介：黃曄（1989-），女，漢族，陜西扶風(fēng)人，碩士在讀，研究方向：檢測(cè)技術(shù)與自動(dòng)化裝置。