現(xiàn)代社會(huì)我們已經(jīng)越來越離不開對未知信息的預(yù)測：比如天氣預(yù)報(bào)，地震、海嘯預(yù)警，山體滑坡、泥石流等自然災(zāi)害的預(yù)報(bào)等等，那么我們是依據(jù)什么對未知世界進(jìn)行預(yù)測的呢？這就不得不提到人工智能的一個(gè)分支——機(jī)器學(xué)習(xí)。

機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)是研究計(jì)算機(jī)如何模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，獲取新的知識(shí)或技能，并對已有的知識(shí)結(jié)構(gòu)進(jìn)行重新組織使之不斷改善自身的一種新技術(shù)。機(jī)器學(xué)習(xí)的研究方法是從大量的觀測數(shù)據(jù)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進(jìn)行預(yù)測。迄今為止，關(guān)于機(jī)器學(xué)習(xí)還沒有一種被共同接受的理論框架，關(guān)于其實(shí)現(xiàn)方法有以下幾種：

第一種是傳統(tǒng)統(tǒng)計(jì)學(xué)理論，亦即經(jīng)典的統(tǒng)計(jì)估計(jì)方法。實(shí)際上，傳統(tǒng)參數(shù)估計(jì)方法正是基于傳統(tǒng)統(tǒng)計(jì)學(xué)的，在這種方法中，參數(shù)的相關(guān)形式是已知的，訓(xùn)練樣本用來估計(jì)參數(shù)的值。但這種方法有很大的局限性：首先，它需要已知樣本分布形式，這需要花費(fèi)很大代價(jià)；其次，傳統(tǒng)統(tǒng)計(jì)學(xué)研究的都是假設(shè)樣本數(shù)目趨于無窮大時(shí)的漸近理論。而實(shí)際問題中，樣本的數(shù)目往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法實(shí)際中表現(xiàn)卻可能不盡人意。

第二種方法是經(jīng)驗(yàn)非線性方法。經(jīng)驗(yàn)非線性方法利用已知樣本建立非線性模型，克服了傳統(tǒng)參數(shù)估計(jì)方法的困難。但是，這種方法缺乏一種統(tǒng)一的數(shù)學(xué)理論。以神經(jīng)網(wǎng)絡(luò)為例，神經(jīng)網(wǎng)絡(luò)是目前運(yùn)用較多也是最早應(yīng)用的非線性分類，由于神經(jīng)網(wǎng)絡(luò)是基于經(jīng)驗(yàn)最小化原理，它具有對非線性數(shù)據(jù)快速建模的能力，通過對訓(xùn)練集的反復(fù)學(xué)習(xí)來調(diào)節(jié)自身的網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值，并對未知的數(shù)據(jù)進(jìn)行分類和預(yù)測。但是，神經(jīng)網(wǎng)絡(luò)從某種意義上說是一種啟發(fā)式的學(xué)習(xí)機(jī)，本身有很大經(jīng)驗(yàn)的成分，它有諸如如何確定網(wǎng)絡(luò)結(jié)構(gòu)的問題、過學(xué)習(xí)與欠學(xué)習(xí)問題、局部極小點(diǎn)問題、訓(xùn)練出來的模型推廣能力不強(qiáng)等固有問題得不到很好的解決。

為了克服神經(jīng)網(wǎng)絡(luò)算法這個(gè)無法避免的難題，萬普尼克（Vapnik）領(lǐng)導(dǎo)的ATT Bell實(shí)驗(yàn)室研究小組提出了統(tǒng)計(jì)學(xué)習(xí)理論。統(tǒng)計(jì)學(xué)習(xí)理論是一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論，該理論針對小樣本統(tǒng)計(jì)問題建立了一套新的理論體系，在這種體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對漸近性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)結(jié)果。Vapnik還在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上提出了支持向量機(jī)（Support VectorMachine，SVM），是一種全新的模式識(shí)別方法。由于當(dāng)時(shí)這些研究尚不十分完善，在解決模式識(shí)別問題中往往趨于保守，且數(shù)學(xué)上比較難以解釋，因此對支持向量機(jī)的研究一直沒有得到充分重視。直到20世紀(jì)90年代，由于神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)方法的研究遇到一些難以解決的瓶頸，使得支持向量機(jī)的研究得到重視并迅速發(fā)展和完善。支持向量機(jī)是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的一種新方法，利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理使得VC維即泛化誤差的上確界最小化，從而使支持向量機(jī)具有很好的泛化能力。支持向量機(jī)在解決小樣本、非線性及高維模式識(shí)別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。SVM最初是針對分類問題提出的，目前也被推廣到回歸問題上。鑒于SVM扎實(shí)的理論基礎(chǔ)，SVM目前已經(jīng)成為機(jī)器學(xué)習(xí)的研究熱點(diǎn)之一，并已經(jīng)取得了很好的研究成果。

支持向量機(jī)

支持向量機(jī)方法是根據(jù)有限的樣本信息建立的模型獲得最好的推廣學(xué)習(xí)能力。它的實(shí)現(xiàn)的思想是：通過某種事先選擇的非線性映射，也就是滿足Mercer定理的核函數(shù)將輸入向量映射到一個(gè)高維特征空間，在這個(gè)空間中構(gòu)造最優(yōu)分類超平面，使得這個(gè)最優(yōu)分類超平面能夠盡可能多地將兩類數(shù)據(jù)點(diǎn)正確地分開，同時(shí)使分開的兩類數(shù)據(jù)點(diǎn)距離分類面最遠(yuǎn)。我們以二維線性不可分，而三維線性可分為例，如圖所示：

圖a)表示二維空間中的樣本非線性可分，只能用橢圓曲線作其分類標(biāo)準(zhǔn)；但通過某種映射，將樣本點(diǎn)映射到圖b)的三維空間，樣本就變得線性可分。從本質(zhì)上講，支持向量機(jī)是通過構(gòu)造一個(gè)帶線性不等式約束條件的二次規(guī)劃問題，并求解該問題來構(gòu)造分類超平面，從而得到?jīng)Q策函數(shù)。

支持向量機(jī)的優(yōu)點(diǎn)

傳統(tǒng)的統(tǒng)計(jì)方法只有在樣本數(shù)目趨向無窮大時(shí)其性能才有理論上的保證，對于應(yīng)用中的優(yōu)先樣本難以取得理想的分類回歸效果，而支持向量機(jī)是一種小樣本學(xué)習(xí)方法，在小樣本學(xué)習(xí)上有特殊的優(yōu)越性，能在訓(xùn)練樣本數(shù)目很小的情況下取得很好的推廣能力，特別是對非線性分類和回歸問題的處理上更加有效。同時(shí)，作為一個(gè)凸優(yōu)化問題，支持向量機(jī)還具有泛化能力強(qiáng)，容易訓(xùn)練，沒有局部極小值等優(yōu)點(diǎn)。支持向量機(jī)相對傳統(tǒng)的機(jī)器學(xué)習(xí)方法優(yōu)勢還是很明顯的：

1、支持向量機(jī)是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣理本學(xué)習(xí)方法，并且運(yùn)算過程中基本上不涉及概率測度及大數(shù)定律等。

2、支持向量機(jī)的最終決策函數(shù)只由少數(shù)的支持向量所確定，計(jì)算的復(fù)雜性取決于支持向量的數(shù)目，而不是樣本空間的維數(shù)，這在某種意義上避免了“維數(shù)災(zāi)難”。

3、少數(shù)支持向量決定了最終結(jié)果，這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本，而且注定了該方法不但算法簡單，而且具有較好的“魯棒”性。

此外， 支持向量機(jī)具有調(diào)節(jié)參數(shù)少，運(yùn)算速度快，時(shí)間代價(jià)小的優(yōu)點(diǎn)，加之支持向量機(jī)理論研究的逐步深入，支持向量機(jī)在模式識(shí)別、回歸估計(jì)、概率密度函數(shù)估計(jì)等問題上的研究也逐步深入，成為各國研究者的研究熱點(diǎn)。

支持向量機(jī)的應(yīng)用

由于支持向量機(jī)具有良好的逼近任意復(fù)雜非線性系統(tǒng)的能力，近年來被廣泛地用于自動(dòng)控制領(lǐng)域，以解決非線性、大滯后系統(tǒng)這一困擾現(xiàn)代控制理論界的難題。

模式識(shí)別方面，支持向量機(jī)可以廣泛應(yīng)用到人臉和人臉姿勢識(shí)別、指紋識(shí)別、基因數(shù)據(jù)分析和編碼、語音激活檢測、語音分類以及圖像的檢索和識(shí)別等問題，無論從查全率和查準(zhǔn)率兩方面較傳統(tǒng)方法都有較大的提高。

回歸預(yù)測方面，支持向量機(jī)也得到較為廣泛的應(yīng)用。有人將支持向量機(jī)應(yīng)用到短期電力使用負(fù)荷預(yù)測中，得到了很快的計(jì)算速度和較好的預(yù)測效果。支持向量機(jī)還可以廣泛應(yīng)用到天氣、水文、自然災(zāi)害甚至股票走勢的預(yù)測上。另外，支持向量機(jī)在故障診斷領(lǐng)域也得到了較為廣泛的應(yīng)用，如水輪發(fā)電機(jī)組衛(wèi)星故障診斷、內(nèi)燃機(jī)故障診斷、工業(yè)過程故障診斷等等。

二十一世紀(jì)， 是一個(gè)“ 信息大爆炸”的時(shí)代，信息數(shù)據(jù)大量增長，機(jī)器學(xué)習(xí)的難度急劇加大，給機(jī)器學(xué)習(xí)帶來了巨大挑戰(zhàn)。但我們相信這些挑戰(zhàn)將極大地推動(dòng)機(jī)器學(xué)習(xí)技術(shù)的不斷發(fā)展，給人工智能乃至整個(gè)計(jì)算機(jī)的發(fā)展帶來重大而深遠(yuǎn)的影響。同時(shí)，人類也將因此而受益。