劉方園, 王水花, 張煜東

(南京師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,南京 210023)

1 引言

支持向量機(jī)(Support Vector Machine,SVM)是一種監(jiān)督學(xué)習(xí)模式下的數(shù)據(jù)分類(lèi)、模式識(shí)別、回歸分析模型,其具有強(qiáng)大的數(shù)學(xué)基礎(chǔ)及理論支撐. 1992年至1995年是其形成階段,Corinna Cortes和Vapnik領(lǐng)導(dǎo)的研究小組的成員于1995年正式提出了支持向量機(jī)技術(shù)[1],在提出之初,其未能引起研究人員的充分重視,但隨著新興技術(shù)的涌現(xiàn)和發(fā)展需求,為了更好理解研究新分類(lèi)識(shí)別技術(shù),例如神經(jīng)網(wǎng)絡(luò)的科學(xué)性,基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)技術(shù)以其特有優(yōu)勢(shì)重燃研究者的探索興趣.

為將支持向量機(jī)技術(shù)廣泛應(yīng)用于實(shí)際生活中并且取得良好的檢測(cè)結(jié)果,研究人員設(shè)計(jì)不同的核函數(shù)方法分別應(yīng)用于簡(jiǎn)單支持向量機(jī)以達(dá)到期望結(jié)果. 通過(guò)深入研究支持向量機(jī)技術(shù)的理論基礎(chǔ)和提出背景下,了解到核函數(shù)方法的提出和運(yùn)用在保持支持向量機(jī)優(yōu)勢(shì)的同時(shí)修補(bǔ)了其用于處理非線性不可分?jǐn)?shù)據(jù)的劣勢(shì).在實(shí)際應(yīng)用中,只有選擇最佳的核函數(shù)來(lái)構(gòu)造相應(yīng)的核支持向量機(jī),才能更準(zhǔn)確有效地處理模式分類(lèi)問(wèn)題,下文對(duì)核函數(shù)方法及其實(shí)現(xiàn)進(jìn)行詳細(xì)介紹.

目前,支持向量機(jī)分類(lèi)技術(shù)已經(jīng)廣泛應(yīng)用于機(jī)器學(xué)習(xí)、模式識(shí)別、模式分類(lèi)、計(jì)算機(jī)視覺(jué)、工業(yè)工程應(yīng)用、航空應(yīng)用等各個(gè)領(lǐng)域中,且其分類(lèi)效果可觀. 例如,在文字檢測(cè)識(shí)別領(lǐng)域應(yīng)用中,對(duì)于文本文檔,主要針對(duì)手寫(xiě)文本,能夠?qū)崿F(xiàn)文本關(guān)鍵詞、特殊意義短語(yǔ)的識(shí)別且對(duì)于不同語(yǔ)言都有具體的分析研究; 在人體部位識(shí)別領(lǐng)域應(yīng)用中,可針對(duì)于手掌、耳朵、人臉及面部表情進(jìn)行有效識(shí)別; 在車(chē)輛交通檢測(cè)領(lǐng)域應(yīng)用中,可針對(duì)車(chē)牌、車(chē)載系統(tǒng)、車(chē)輛零件及車(chē)輛行駛路況進(jìn)行可靠檢測(cè); 在醫(yī)療領(lǐng)域應(yīng)用中,可針對(duì)骨齡估計(jì)、跌倒監(jiān)測(cè)、醫(yī)療咨詢(xún)框架以及依據(jù)人腦圖像進(jìn)行癡呆癥、抑郁癥分類(lèi)的模式識(shí)別. 除了廣泛應(yīng)用于上述領(lǐng)域,研究人員將該技術(shù)投入到其他領(lǐng)域中,大大擴(kuò)展了其應(yīng)用范圍.

基于支持向量機(jī)在實(shí)際應(yīng)用中的流行性,研究人員嘗試通過(guò)以下兩種方式對(duì)其進(jìn)行改進(jìn)以期望提高其分類(lèi)性能. 第一種是將支持向量機(jī)模型與其他分類(lèi)模型相結(jié)合,例如 SVM+AdaBoost、SVM+KNN、SVM+JCR、SVM+HMM等. 第二種是改進(jìn)核函數(shù)但其實(shí)現(xiàn)自改進(jìn),例如PmSVM、DAG-SVM、ITASVM、HIK-SVM等.

本文首先從數(shù)學(xué)背景下簡(jiǎn)單介紹支持向量機(jī)技術(shù),接著從基本構(gòu)成深入分析該技術(shù),最終研究其在各個(gè)應(yīng)用領(lǐng)域中的作用. 通過(guò)本文,期望讀者在簡(jiǎn)單了解支持向量機(jī)技術(shù)的基礎(chǔ)上提出新的改進(jìn)方法并將其應(yīng)用于更多其他未發(fā)展領(lǐng)域中.

2 數(shù)學(xué)模型

支持向量機(jī)的提出基于統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則,統(tǒng)計(jì)學(xué)習(xí)理論避免分類(lèi)模型受樣本量的限制,結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則避免模型訓(xùn)練時(shí)出現(xiàn)的模型問(wèn)題. 在這樣的背景下,支持向量機(jī)技術(shù)的推廣及其判別能力較強(qiáng),其最終的目的是根據(jù)輸入數(shù)據(jù)樣本尋找到一個(gè)最優(yōu)分類(lèi)超平面.

支持向量機(jī)最優(yōu)分類(lèi)面的求解問(wèn)題可轉(zhuǎn)化為求數(shù)據(jù)樣本分類(lèi)間隔最大化的二次函數(shù)的解,關(guān)鍵是求得分類(lèi)間隔最大值的目標(biāo)解. 以?xún)深?lèi)線性可分?jǐn)?shù)據(jù)為例,一類(lèi)數(shù)據(jù)用圓形代表,另一類(lèi)數(shù)據(jù)用菱形代表,則最優(yōu)分類(lèi)線示例圖如圖1所示.

圖1中,margin代表分類(lèi)平面間的最大分類(lèi)間隔,處于分類(lèi)線兩側(cè)的數(shù)據(jù)點(diǎn)為待分類(lèi)的樣本. 在該例圖中,基本分類(lèi)判別面方程如公式(1)所示,若對(duì)線性可分的樣本集進(jìn)行數(shù)據(jù)歸一化處理,分類(lèi)間隔表達(dá)式如公式(2)所示.

圖1 最優(yōu)分類(lèi)線示例圖

基于上述分析,通過(guò)加入有效約束條件,引入拉格朗日乘子后,解得最優(yōu)分類(lèi)判別函數(shù),且其參數(shù)的確定依賴(lài)于支持向量. 實(shí)際應(yīng)用中,核函數(shù)結(jié)合最優(yōu)分類(lèi)判別面形成的支持向量機(jī)模型解決了其只處理線性可分樣本的弊端,兩者結(jié)合形成最終的支持向量機(jī)模型.

相應(yīng)的通用支持向量機(jī)分類(lèi)函數(shù)表達(dá)式如公式(3)所示.

3 核支持向量機(jī)

支持向量機(jī)是基于兩類(lèi)線性可分的樣本數(shù)據(jù)發(fā)展而來(lái),但是在實(shí)際應(yīng)用中,需要識(shí)別和分類(lèi)的數(shù)據(jù)大多數(shù)情況下都處于非線性不可分狀態(tài),并非理想化狀態(tài).由此,研究人員設(shè)計(jì)一個(gè)核函數(shù)應(yīng)用于支持向量機(jī)的分類(lèi)過(guò)程中解決該問(wèn)題,其主要目的是將原低維空間中非線性不可分?jǐn)?shù)據(jù)映射到高維空間中,即解決低維特征空間無(wú)法構(gòu)造分類(lèi)超平面的問(wèn)題. 支持向量機(jī)的應(yīng)用性能關(guān)鍵在于核函數(shù)方法的選取.

核函數(shù)方法計(jì)算公式如下所示：

研究人員在解決不同的數(shù)據(jù)分類(lèi)問(wèn)題的時(shí)候需選擇不同的參數(shù),簡(jiǎn)單來(lái)說(shuō)就是選擇不同的核函數(shù). 核函數(shù)主要分為線性核、多項(xiàng)式核、Sigmoid核和Gauss徑向基核.

(1) 線性核

公式(5)代表數(shù)據(jù)所處的原空間中的內(nèi)積計(jì)算. 其作用是統(tǒng)一兩空間數(shù)據(jù)形式,即數(shù)據(jù)處于原空間的形式與數(shù)據(jù)經(jīng)映射后所處空間的形式.

(2) 多項(xiàng)式核

公式(6)代表多項(xiàng)式空間中的內(nèi)積計(jì)算,注重?cái)?shù)據(jù)的全局性. 其計(jì)算過(guò)程不同于線性核,這是由于直接在多項(xiàng)式空間計(jì)算會(huì)造成維數(shù)災(zāi)難,所以其計(jì)算包含一個(gè)轉(zhuǎn)換過(guò)程,即從高維空間轉(zhuǎn)到低維空間,利用低維空間計(jì)算其內(nèi)積值.

(3) Sigmoid核

公式(7)實(shí)現(xiàn)將Sigmoid函數(shù)作為核函數(shù),其近似為多層感知器神經(jīng)網(wǎng)絡(luò),注重樣本數(shù)據(jù)的全局最優(yōu)值.

(4) Gauss徑向基核(RBF)

公式(8)可將原始特征空間映射到無(wú)窮維特征空間中,其性能好壞在于參數(shù)的調(diào)控,局部性較強(qiáng).參數(shù)選取的值較小,映射后的特征空間近似一個(gè)低維空間;參數(shù)選取的值較大,易造成過(guò)擬合問(wèn)題. 正因?yàn)槠渚哂休^強(qiáng)的可調(diào)控性,其在實(shí)際應(yīng)用中更為廣泛.

實(shí)際應(yīng)用中,研究者通過(guò)權(quán)衡各個(gè)核函數(shù)的優(yōu)勢(shì)與劣勢(shì),通常將最佳的核函數(shù)應(yīng)用于特定數(shù)據(jù)分類(lèi)領(lǐng)域中. 將上述介紹的核函數(shù)與支持向量機(jī)結(jié)合后用于實(shí)驗(yàn)中的Matlab代碼實(shí)現(xiàn)如表1所示.

4 應(yīng)用

4.1 文字檢測(cè)領(lǐng)域

楊文敏等[2]將SVM分類(lèi)器應(yīng)用于基于句子級(jí)別的文本檢測(cè)系統(tǒng)中,其針對(duì)于表達(dá)含義不明確的詞語(yǔ)的信息抽取分類(lèi). 將從文檔句子中所提取的詞特征作為分類(lèi)器的輸入向量,實(shí)驗(yàn)結(jié)果表明,SVM能夠快速有效地識(shí)別文本不確定信息,在該方法中,研究人員可嘗試對(duì)段落級(jí)別的文本進(jìn)行分析進(jìn)一步提高分類(lèi)正確率.

表1 核函數(shù)的Matlab實(shí)現(xiàn)

張虎等[3]采用基于集成學(xué)習(xí)策略SVM分類(lèi)法對(duì)中文文本中具有欺騙性的信息進(jìn)行檢測(cè)識(shí)別. 通過(guò)改進(jìn)的二分k-均值劃分法劃分實(shí)驗(yàn)中的訓(xùn)練樣本,進(jìn)而對(duì)各個(gè)訓(xùn)練樣本子集構(gòu)建相應(yīng)的分類(lèi)器,稱(chēng)之為子分類(lèi)器. 最終通過(guò)集成所有子SVM分類(lèi)器的結(jié)果確定實(shí)驗(yàn)的分類(lèi)效果,研究人員對(duì)其良好的識(shí)別率進(jìn)行分析總結(jié),該檢測(cè)方法類(lèi)似于多類(lèi)別分類(lèi)SVM中的一對(duì)多法,其不足之處在于訓(xùn)練樣本量不豐富,實(shí)驗(yàn)結(jié)果可靠性需進(jìn)一步加強(qiáng).

Ryu等[4]提出一種基于結(jié)構(gòu)化學(xué)習(xí)的SVM分類(lèi)手寫(xiě)文檔圖像. 通過(guò)結(jié)構(gòu)化學(xué)習(xí)技術(shù)確定SVM參數(shù),并構(gòu)造松弛結(jié)構(gòu)SVM訓(xùn)練估計(jì)最優(yōu)的參數(shù). 結(jié)構(gòu)化SVM方法降低識(shí)別的計(jì)算復(fù)雜度并解決了手寫(xiě)文檔不規(guī)則和多樣化的干擾因素. 該文僅在拉丁語(yǔ)和印度語(yǔ)文檔中證明其可靠性,可通過(guò)將該方法應(yīng)用于英文以及漢語(yǔ)文本中,擴(kuò)大其文本應(yīng)用范圍.

Elleuch等[5]設(shè)計(jì)一種基于支持向量機(jī)的深度學(xué)習(xí)模型(DSVM)應(yīng)用于手寫(xiě)識(shí)別系統(tǒng). DSVM使用dropout技術(shù),能夠選擇關(guān)鍵的數(shù)據(jù)點(diǎn)的同時(shí)避免過(guò)度擬合,對(duì)識(shí)別對(duì)象進(jìn)行高效地分類(lèi). DSVM是由堆棧支持向量機(jī)構(gòu)成,既用于從原始圖像中自動(dòng)提取特征又能夠依據(jù)其利用基于RBF核的多類(lèi)SVM進(jìn)行圖像分類(lèi).

Kessentini等[6]提出了一種新型識(shí)別手寫(xiě)文檔關(guān)鍵詞系統(tǒng),HMM+SVM. 該方法設(shè)計(jì)：(1)利用HMM模型靈活快捷地定位關(guān)鍵詞及其字符邊界; (2)在上述基礎(chǔ)上,利用基于SVM的驗(yàn)證系統(tǒng)并結(jié)合字符概率評(píng)估關(guān)鍵詞.

Lakshmi等[7]采用模糊支持向量機(jī)識(shí)別文本中具有特殊意義的實(shí)體. 該命名實(shí)體識(shí)別方法是將SVM結(jié)合模糊模塊學(xué)習(xí)的,基于“一對(duì)多”的分類(lèi)技術(shù). 訓(xùn)練階段,將所提取的文本特征表示輸入SVM分類(lèi)器進(jìn)行訓(xùn)練; 測(cè)試階段,采用模糊SVM對(duì)測(cè)試樣本進(jìn)行判別分類(lèi). 模糊規(guī)則的引入是提高系統(tǒng)處理多個(gè)相似格式的文本的區(qū)分能力,確定實(shí)體所屬的最合適類(lèi)別.

在文本識(shí)別領(lǐng)域中,SVM分類(lèi)器在各個(gè)具體應(yīng)用中的各方面分析如表2所示.

表2 文本識(shí)別中SVM應(yīng)用分析

4.2 醫(yī)療領(lǐng)域

Zhu等[8]基于非線性?xún)?nèi)核SVM提出一種高效安全的在線醫(yī)療預(yù)測(cè)框架(eDiag). 通過(guò)輕量級(jí)多方隨機(jī)屏蔽和多項(xiàng)式聚合技術(shù)改進(jìn)非線性SVM,該實(shí)驗(yàn)選取Gauss核函數(shù)作為SVM核函數(shù). 確定原非線性SVM的參數(shù)后,通過(guò)定義相應(yīng)的分類(lèi)標(biāo)準(zhǔn)改進(jìn)原分類(lèi)器,該方法不但確保在線醫(yī)療咨詢(xún)信息的安全性且有效降低服務(wù)成本,但由于其為在線咨詢(xún)系統(tǒng),檢測(cè)實(shí)時(shí)性較高因此需提高計(jì)算效率.

Cheng等[9]提出了一種自構(gòu)建的級(jí)聯(lián)AdaBoost支持向量機(jī)分類(lèi)器并將其用于檢測(cè)識(shí)別目標(biāo)是否跌倒,計(jì)算實(shí)驗(yàn)人員日?；顒?dòng)的加速度信號(hào)并將其作為該分類(lèi)器的輸入向量. 級(jí)聯(lián)AdaBoost-SVM自動(dòng)選擇幾個(gè)最優(yōu)弱分類(lèi)器形成強(qiáng)分類(lèi)器,在此基礎(chǔ)上,自動(dòng)確定何時(shí)使用SVM替換AdaBoost分類(lèi)器. 此方法通過(guò)與現(xiàn)存其他方法比較,被證明具有最高的準(zhǔn)確率及最低的誤報(bào)率.

徐勝舟等[10]提出一種改進(jìn)的SVM檢測(cè)識(shí)別乳腺腫塊. 該改進(jìn)方式是利用改進(jìn)的遺傳算法(GA)優(yōu)化SVM參數(shù),即設(shè)計(jì)一種新的個(gè)體適應(yīng)度的方法計(jì)算方法用來(lái)選擇不影響分類(lèi)性能的同時(shí)特征數(shù)目較少的特征集. 在保證識(shí)別準(zhǔn)確性的同時(shí),研究人員采用序列最小優(yōu)化學(xué)習(xí)算法(SMO)提高SVM檢測(cè)速率,降低計(jì)算時(shí)間.

Harmsen等[11]將支持向量機(jī)分類(lèi)器用于檢測(cè)、識(shí)別、評(píng)估人體骨齡. 首先,實(shí)驗(yàn)人員從采集圖片中提取感興趣的目標(biāo)區(qū)域并對(duì)其進(jìn)行圖像檢索以保留圖像特征; 其次,將所提取的關(guān)鍵特征用于構(gòu)建SVM分類(lèi)模型之后,使用交叉驗(yàn)證法評(píng)估其測(cè)試性能; 最后,分類(lèi)年齡未知的手骨圖像. 該文通過(guò)將SVM與互相關(guān)技術(shù)結(jié)合,為每個(gè)年齡類(lèi)提供原型圖像,實(shí)現(xiàn)自動(dòng)化有效地評(píng)估人體骨骼年齡,在此基礎(chǔ)上,可通過(guò)將樣本集擴(kuò)增至萬(wàn)張以驗(yàn)證該方法檢測(cè)性能的有效性.

Bron等[12]依據(jù)支持向量機(jī)的權(quán)重向量對(duì)特征進(jìn)行改進(jìn)選擇后進(jìn)行癡呆分類(lèi). 該方法簡(jiǎn)單描述如下：(1)權(quán)重向量濾波法,選擇絕對(duì)最高權(quán)重的特征; (2)權(quán)重向量的RFE法,在每次迭代中刪除具有最低分類(lèi)器權(quán)重的特征的子集. 該文一大亮點(diǎn)是提出將RFE法應(yīng)用于SVM進(jìn)行特征選擇并將該SVM用于目標(biāo)分類(lèi),可通過(guò)優(yōu)化決策階段的SVM參數(shù)進(jìn)一步提高識(shí)別性能.

Jie等[13]采用基于SVM的方法研究人腦圖像區(qū)分抑郁癥中的雙相情感障礙. 該文將一個(gè)向前向后搜索策略(貪婪學(xué)習(xí)算法)應(yīng)用于線性支持向量機(jī)中,開(kāi)發(fā)一種新型特征選擇方案SVM-FoBa. 在此過(guò)程中,SVM-FaBo中的前向策略以SVM目標(biāo)函數(shù)的最大減量表示特征,后向策略用來(lái)消除前向步驟中的錯(cuò)誤特征.

在醫(yī)療領(lǐng)域中,SVM分類(lèi)器在各個(gè)具體應(yīng)用中的各方面分析如表3所示.

4.3 人體識(shí)別領(lǐng)域

劉小建[14]對(duì)手勢(shì)進(jìn)行分區(qū)域識(shí)別,利用多分類(lèi)SVM實(shí)現(xiàn). 從已知手勢(shì)樣本圖像細(xì)分后的各個(gè)區(qū)域中提取特征,將所提取的3個(gè)關(guān)鍵特征描述子描述手勢(shì).選取核函數(shù)為一個(gè)非線性徑向基函數(shù)(RBF),采用網(wǎng)格搜索法調(diào)整確定SVM參數(shù),實(shí)現(xiàn)高效準(zhǔn)確識(shí)別手勢(shì).

李昆侖等[15]采用基于徑向基核函數(shù)的SVM分類(lèi)器中并將其應(yīng)用于掌紋識(shí)別中. 利用改進(jìn)的PCA算法分別提取訓(xùn)練圖像和測(cè)試圖像的特征,確定的訓(xùn)練集用來(lái)訓(xùn)練最佳SVM分類(lèi)器,訓(xùn)練好的SVM分類(lèi)器識(shí)別確定的測(cè)試集. 相較于傳統(tǒng)特征匹配法,SVM決策既能夠緩解樣本不足又可以降低計(jì)算量.

表3 醫(yī)療領(lǐng)域中SVM應(yīng)用分析

Tyagi等[16]通過(guò)支持向量機(jī)利用基于遺傳算法的局部三元模式(GA-LTP)進(jìn)行人臉識(shí)別,該方法在利用局部三元模式對(duì)人臉圖像進(jìn)行特征提取的基礎(chǔ)上為進(jìn)一步降低計(jì)算時(shí)間、提高準(zhǔn)確率,采用遺傳算法進(jìn)行特征選擇. 最終,將測(cè)試特征集輸入通過(guò)訓(xùn)練特征集訓(xùn)練好SVM分類(lèi)器后進(jìn)行目標(biāo)的識(shí)別檢測(cè).

Bagla等[17]采用SIFT和SVM結(jié)合的方式進(jìn)行人臉識(shí)別. 將從訓(xùn)練圖像中提取的SIFT特征進(jìn)行關(guān)鍵特征選擇后作為SVM分類(lèi)器訓(xùn)練樣本,在訓(xùn)練好的支持向量機(jī)模型中輸入測(cè)試樣本圖像,分析評(píng)估該模型的分類(lèi)性能,需進(jìn)一步將其用于人臉大數(shù)據(jù)庫(kù)中進(jìn)行識(shí)別,分析并發(fā)現(xiàn)其性能的改進(jìn)之處.

黃忠等[18]運(yùn)用兩級(jí)SVM對(duì)人臉表情圖像進(jìn)行識(shí)別. 該兩級(jí)SVM是由以下構(gòu)成：(1) SVM對(duì)人臉各個(gè)局部區(qū)域所提取的特征進(jìn)行分類(lèi); (2) 將局部類(lèi)別與人臉整體類(lèi)別融合后用SVM對(duì)其進(jìn)行分類(lèi)判別. 該文中特征提取采用AAM-SIFT描述法且根據(jù)特征的關(guān)鍵性賦予相應(yīng)權(quán)重,SVM對(duì)其快速有效地識(shí)別. 但是,該方法只對(duì)標(biāo)準(zhǔn)正面或特定偏移角度的人臉檢測(cè)性能較好.

Adeyanju等[19]研究分析比較了將不同核函數(shù)方法結(jié)合同一支持向量機(jī)模型的分類(lèi)性能,該方法的實(shí)現(xiàn)基于七種人臉面部表情的識(shí)別分類(lèi),且采用四種不同核函數(shù)方法. 研究者分別將徑向基核、線性核、二次核及多項(xiàng)式核應(yīng)用于SVM中,實(shí)驗(yàn)結(jié)果表明,基于二次核函數(shù)的SVM性能最優(yōu),平均準(zhǔn)確率達(dá)到99.33%.

Yao等[20]比較了SVM和基于AdaBoost分類(lèi)器應(yīng)用于識(shí)別人臉的效果. 通過(guò)主成分分析法(PCA)選擇關(guān)鍵的特征并將其作為各個(gè)分類(lèi)器的輸入向量. 從實(shí)驗(yàn)結(jié)果可明顯觀察到PCA+SVM對(duì)于不同環(huán)境下人臉面部識(shí)別都優(yōu)于PCA+AdaBoost.

Bashbaghi等[21]針對(duì)不同面部表情的靜態(tài)視頻圖像提出了一種可靠穩(wěn)定的多分類(lèi)器集合識(shí)別系統(tǒng). 該方法主要應(yīng)用于單個(gè)人進(jìn)行識(shí)別,即對(duì)每個(gè)目標(biāo)分配示例SVM(exemplar-SVMs),為每個(gè)e-SVM提供高質(zhì)量的樣本進(jìn)行訓(xùn)練. 通過(guò)視頻中捕獲的非目標(biāo)個(gè)體面部選擇具有區(qū)分力的特征子集、訓(xùn)練樣本和集合融合函數(shù). 相較于其他面部圖像識(shí)別方法,其抗干擾能力較強(qiáng).

Hadchum等[22]將SVM與模糊邏輯結(jié)合應(yīng)用于根據(jù)人臉面部進(jìn)行年齡估計(jì)的系統(tǒng)中. 將從人臉皺紋和膚色中所提取的特征作為SVM的輸入向量,模糊邏輯構(gòu)造用于點(diǎn)年齡估計(jì)的規(guī)則. 通過(guò)SVMs最終估計(jì)人類(lèi)年齡的五個(gè)年齡組,并將其分類(lèi)性能與其他五種方法比較,該實(shí)驗(yàn)方法的識(shí)別準(zhǔn)確率最高,在實(shí)際生活中,人臉在20歲至50歲之間變化程度較小,為進(jìn)一步提高其識(shí)別率,研究者可將此年齡區(qū)間細(xì)分,擴(kuò)增年齡組,增強(qiáng)該方法的區(qū)分能力.

Omara等[23]采用成對(duì)的SVM分類(lèi)器對(duì)人耳進(jìn)行有效識(shí)別能避免每個(gè)人耳朵圖像有限造成的樣本不足問(wèn)題. 采用深度模型所提取的深度特征作為SVM輸入向量,取得較好識(shí)別率. 成對(duì)SVM依賴(lài)兩個(gè)輸入樣本,且預(yù)測(cè)該樣本是否屬于同一人,在此基礎(chǔ)上,設(shè)計(jì)成對(duì)內(nèi)核并與線性?xún)?nèi)核結(jié)合用于識(shí)別. 實(shí)驗(yàn)結(jié)果表明,Pairwise SVM識(shí)別率達(dá)到98.3%,優(yōu)于傳統(tǒng)SVM.

孫煒等[24]采用線性SVM作為檢測(cè)行人的分類(lèi)器并將其不斷優(yōu)化. 首先,將所采集的圖像劃定正、負(fù)樣本集并提取所需的目標(biāo)特征; 其次,訓(xùn)練SVM. 實(shí)驗(yàn)中,使用SVM檢測(cè)無(wú)目標(biāo)圖像時(shí)會(huì)出現(xiàn)誤差,該優(yōu)化方式是將錯(cuò)誤識(shí)別的樣本選取后加入負(fù)樣本集中,多次迭代后增強(qiáng)SVM分類(lèi)效果.

在人體識(shí)別領(lǐng)域中,SVM分類(lèi)器在各個(gè)具體應(yīng)用中的各方面分析如表4所示.

表4 人體識(shí)別中SVM應(yīng)用分析

4.4 車(chē)輛交通領(lǐng)域

張笑等[25]采用SVM識(shí)別偏斜車(chē)牌. 該實(shí)驗(yàn)中將原偏斜車(chē)牌圖像通過(guò)顏色定位、擴(kuò)大旋轉(zhuǎn)、仿射變換后作為SVM訓(xùn)練樣本. SVM訓(xùn)練參數(shù)為自動(dòng)訓(xùn)練參數(shù),即訓(xùn)練的同時(shí)對(duì)樣本進(jìn)行標(biāo)記. 在此過(guò)程中,對(duì)車(chē)牌圖像定位后,使用SVM測(cè)試,有效解決偏斜車(chē)牌難以識(shí)別的困難.

王銳等[26]針對(duì)智能交通系統(tǒng)中利用浮動(dòng)車(chē)監(jiān)測(cè)道路交通狀態(tài)的問(wèn)題,采用“一對(duì)一”法的SVM分類(lèi)器分類(lèi)數(shù)據(jù). 該文依據(jù)經(jīng)驗(yàn)選取RBF作為SVM核函數(shù),分類(lèi)交通狀態(tài)等級(jí)準(zhǔn)確率達(dá)到95%. 由于該實(shí)驗(yàn)采用默認(rèn)參數(shù),研究人員可以嘗試進(jìn)一步優(yōu)化改進(jìn)SVM參數(shù)來(lái)提高檢測(cè)性能.

張華偉等[27]針對(duì)汽車(chē)主減速器實(shí)現(xiàn)了一種基于混合核的SVM決策方法. 實(shí)驗(yàn)中,將不同核函數(shù)結(jié)合后進(jìn)行性能比較,結(jié)合方式如下：(1) 線性核+徑向基核;(2) 多項(xiàng)式核+徑向基核; (3) Sigmoid核+徑向基核. 此外,通過(guò)遺傳算法(GA)優(yōu)化SVM參數(shù). 最終,實(shí)驗(yàn)結(jié)果表明“多項(xiàng)式核+徑向基核”方式下識(shí)別主減速器的故障模式最佳.

胡慶新等[28]采用基于直方圖交叉核核函數(shù)的支持向量機(jī)(HIK-SVM)方法檢測(cè)車(chē)輛,該方法很大程度上提高了分類(lèi)速度,降低計(jì)算復(fù)雜性. HIK-SVM中關(guān)鍵是對(duì)特征向量的各位特征值進(jìn)行排序比較后選擇性累加,減少計(jì)算量,保證實(shí)時(shí)性檢測(cè). 該方法在復(fù)雜交通狀態(tài)下識(shí)別性能有待提高.

Wu等[29]以SVM對(duì)高光譜圖像分類(lèi)為例分析車(chē)載處理系統(tǒng). 該文中對(duì)SVM分類(lèi)器的數(shù)據(jù)水平和算法水平的錯(cuò)誤進(jìn)行分析后發(fā)現(xiàn)其分類(lèi)的誤差容忍度較高,為節(jié)約成本提供了可能. 在此基礎(chǔ)上,提出基于SVM的近似計(jì)算框架,該方法不但提高分類(lèi)準(zhǔn)確性而且降低內(nèi)核累積計(jì)算過(guò)程的能量消耗.

在車(chē)輛交通領(lǐng)域中,SVM分類(lèi)器在各個(gè)具體應(yīng)用中的各方面分析如表5所示.

表5 車(chē)輛交通領(lǐng)域中SVM應(yīng)用分析

4.5 其他

馮逍等[30]采用三維Gabor濾波器與支持向量機(jī)結(jié)合的方法對(duì)高光譜遙感圖像進(jìn)行有效分類(lèi),該方法面對(duì)的研究對(duì)象是流域區(qū)域. 根據(jù)所計(jì)算的波段指數(shù)選擇波段作為SVM分類(lèi)器的訓(xùn)練樣本和測(cè)試樣本,通過(guò)SVM對(duì)輸入樣本進(jìn)行分類(lèi)決策. 該實(shí)驗(yàn)對(duì)比分析了采用不同核函數(shù)的SVM分類(lèi)器的分類(lèi)性能,其中RBF核函數(shù)分類(lèi)效果最佳且SVM解決了樣本不足的劣勢(shì).

Zhang等[31]利用兩級(jí)級(jí)聯(lián)SVM針對(duì)自然圖像的地表包圍盒生成對(duì)象提案,兩級(jí)SVM如下所述：第一級(jí)SVM,獨(dú)立學(xué)習(xí)預(yù)定義的量化尺度或縱橫比; 第二級(jí)SVM,全局SVM在學(xué)習(xí)所有的量化尺度或縱橫比基礎(chǔ)上并對(duì)其進(jìn)行校準(zhǔn). 最終,將校準(zhǔn)后的窗口作為輸入,產(chǎn)生最終對(duì)象提案,實(shí)驗(yàn)證明該方法具有更高的計(jì)算效率.

陳欣欣等[32]選取所研究光譜圖像的感興趣區(qū)域并通過(guò)小波變換(WT)法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,將提取的關(guān)鍵波段信息作為SVM的識(shí)別樣本. 此外,采用選擇性搜索算法(SS)識(shí)別樣本波段比圖像的特征,最終采用該方法分類(lèi)受損的梨圖像的準(zhǔn)確率達(dá)到93.75%,檢測(cè)過(guò)程中易受樣本形狀、光照條件等外在條件的干擾,可通過(guò)增強(qiáng)其抗噪聲能力提升方法性能.

Bo等[33]提出一種新穎的分類(lèi)識(shí)別方法,即采用懲罰融合規(guī)則組合聯(lián)合協(xié)同表示(JCR)模型和SVM模型對(duì)地表不同植物的高光譜圖像進(jìn)行檢測(cè)識(shí)別. 利用JCR模型學(xué)習(xí)訓(xùn)練樣本自身信息的同時(shí)探索樣本的鄰域信息,并將JCR提取出的中間特征訓(xùn)練多類(lèi)SVM分類(lèi)器. 通過(guò)相同條件下的定量分析比較,該實(shí)驗(yàn)所提出的方法比之前的方法分類(lèi)效果更好.

林蔭[34]使用模型組合法(KNN-SVM)解決研究對(duì)象高維特征和樣本不均的問(wèn)題. 首先,KNN根據(jù)所提取特征對(duì)樣本進(jìn)行選擇確保樣本平衡性,其次,用所選擇樣本訓(xùn)練好SVM后,將其應(yīng)用于垃圾郵件識(shí)別.KNN-SVM處理垃圾郵件不但保證實(shí)時(shí)性而且正確率達(dá)到98.05%,其不足之處是實(shí)驗(yàn)中該方法只應(yīng)用于中文郵件數(shù)據(jù)集.

苑瑋琦[35]采用基于徑向基核函數(shù)的SVM分類(lèi)器檢測(cè)虹膜紋理：坑洞紋理和放射溝紋理. 在此過(guò)程中,還將所定義的相應(yīng)的約束條件與SVM結(jié)合,確認(rèn)坑洞紋理. 實(shí)驗(yàn)的檢測(cè)率達(dá)到90.25%,但是輸入SVM分類(lèi)器的特征向量由于抗干擾能力弱從而在一定程度上影響最終識(shí)別結(jié)果,需進(jìn)一步提高方法性能的魯棒性.

Shi等[36]解決強(qiáng)干擾情況下造成的數(shù)據(jù)缺失或數(shù)據(jù)變動(dòng)的現(xiàn)象,即非穩(wěn)態(tài)數(shù)據(jù)集的識(shí)別和分析問(wèn)題. 通過(guò)改進(jìn)的TA-SVM(ITA-SVM)對(duì)非穩(wěn)態(tài)數(shù)據(jù)集進(jìn)行快速有效地處理,ITA-SVM利用支持向量機(jī)子分類(lèi)器共享一個(gè)共同向量,保持了TA-SVM的優(yōu)勢(shì),同時(shí)有效降低了計(jì)算復(fù)雜性. 對(duì)于采樣時(shí)間不固定或者子數(shù)據(jù)集長(zhǎng)度不固定,如何合理確定共同向量還有待研究.

Wu等[37]使用加性核函數(shù)處理大規(guī)模支持向量機(jī)分類(lèi)問(wèn)題. 首先,在學(xué)習(xí)過(guò)程中設(shè)計(jì)一個(gè)基于一般非線性核函數(shù)的線性回歸支持向量機(jī)框架; 其次,利用非對(duì)稱(chēng)解釋變量的函數(shù)對(duì)所有加性核函數(shù),提出一個(gè)能量平均SVM模型(PmSVM). 實(shí)驗(yàn)表明,該方法在識(shí)別準(zhǔn)確性和學(xué)習(xí)速率取得了顯著地提升,但未能找到適應(yīng)于一般情況下的非對(duì)稱(chēng)解釋的規(guī)則變量來(lái)提升內(nèi)核學(xué)習(xí),由此該方法性能的可靠性及通用性需加強(qiáng).

Kosaka等[38]設(shè)計(jì)一種解決感應(yīng)電機(jī)故障分類(lèi)檢測(cè)問(wèn)題的新方法,其將遞歸小波包變換(RUWPT)與有向非循環(huán)圖支持向量機(jī)(DAG-SVM)組合. 該實(shí)驗(yàn)從訓(xùn)練及測(cè)試時(shí)間、準(zhǔn)確性方面比較不同的多類(lèi)SVM方法,DAG-SVM最能有效識(shí)別電機(jī)故障且達(dá)到99%的分類(lèi)精度.

在其他領(lǐng)域中,SVM分類(lèi)器在各個(gè)具體應(yīng)用中的各方面分析如表6所示.

表6 其他領(lǐng)域中SVM應(yīng)用分析

5 總結(jié)與展望

本文在簡(jiǎn)單介紹支持向量機(jī)的數(shù)學(xué)模型和發(fā)展過(guò)程的基礎(chǔ)上,研究分析其在各個(gè)不同領(lǐng)域中的應(yīng)用效果. 同時(shí),通過(guò)選取具有代表性的文章闡述支持向量機(jī)在分類(lèi)識(shí)別應(yīng)用中的不同作用,由此證明其推廣能力強(qiáng)、應(yīng)用范圍廣的優(yōu)勢(shì). 但在目前樣本數(shù)據(jù)日趨復(fù)雜化及各種新興分類(lèi)識(shí)別技術(shù)的涌現(xiàn),研究者需從以下幾個(gè)方面探索改進(jìn)支持向量機(jī)技術(shù).

(1) 改進(jìn)核函數(shù). 目前,已有研究人員將多種核函數(shù)結(jié)合起來(lái)使用,在了解各個(gè)核函數(shù)方法優(yōu)勢(shì)的基礎(chǔ)上,進(jìn)一步最大化發(fā)揮其優(yōu)勢(shì); 給定核函數(shù)的參數(shù)是可調(diào)控的,研究者可通過(guò)數(shù)據(jù)分析或者基于某些參數(shù)優(yōu)化準(zhǔn)則對(duì)其進(jìn)行調(diào)整.

(2) 分類(lèi)海量數(shù)據(jù). 為更好地適應(yīng)大數(shù)據(jù)時(shí)代,支持向量機(jī)不能僅僅應(yīng)用于特定的小型樣本數(shù)據(jù)集,需將其應(yīng)用于分類(lèi)不同形式、具備不同特點(diǎn)的海量數(shù)據(jù)中.

(3) 模型組合. 現(xiàn)今,深度學(xué)習(xí)方法在模式分類(lèi)、目標(biāo)識(shí)別應(yīng)用中日趨成熟且效果可觀,研究人員可將支持向量機(jī)模型與深度模型(卷積神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)等)結(jié)合使用,發(fā)揮兩者長(zhǎng)處的同時(shí)提高檢測(cè)識(shí)別率.

綜上所述,本文期望讀者能夠在支持向量機(jī)技術(shù)不斷發(fā)展的前景下依據(jù)合理的研究方向進(jìn)一步改進(jìn)并提出新的想法.

1 Cortes C,Vapnik V. Support-vector networks. Machine Learning,1995,20(3)：273-297.

2 楊文敏,李保利. 自然語(yǔ)言文本中不確定性信息的自動(dòng)識(shí)別. 計(jì)算機(jī)系統(tǒng)應(yīng)用,2015,24(2)：155-158.

3 張虎,譚紅葉,錢(qián)宇華,等. 基于集成學(xué)習(xí)的中文文本欺騙檢測(cè)研究. 計(jì)算機(jī)研究與發(fā)展,2015,52(5)：1005-1013.[doi：10.7544/issn1000-1239.2015.20131552]

4 Ryu J,Koo HI,Cho NI. Word segmentation method for handwritten documents based on structured learning. IEEE Signal Processing Letters,2015,22(8)：1161-1165. [doi：10.1109/LSP.2015.2389852]

5 Elleuch M,Mokni R,Kherallah M. Offline Arabic handwritten recognition system with dropout applied in deep networks based-SVMs. Proceedings of 2016 International Joint Conference on Neural Networks (IJCNN). Vancouver,BC,Canada. 2016. 3241-3248.

6 Kessentini Y,Paquet T. Keyword spotting in handwritten documents based on a generic text line HMM and a SVM verification. Proceedings of the 2015 13th International Conference on Document Analysis and Recognition(ICDAR). Tunis. 2015. 41-45.

7 Lakshmi G,Panicker JR,Meera M. Named entity recognition in Malayalam using fuzzy support vector machine.Proceedings of 2016 International Conference on Information Science (ICIS). Kochi,Japan. 2016. 201-206.

8 Zhu H,Liu XX,Lu RX,et al. Efficient and privacypreserving online medical prediagnosis framework using nonlinear SVM. IEEE Journal of Biomedical and Health Informatics,2017,21(3)：838-850. [doi：10.1109/JBHI.2016.2548248]

9 Cheng WC,Jhan DM. Triaxial accelerometer-based fall detection method using a self-constructing cascade-AdaBoost-SVM classifier. IEEE Journal of Biomedical and Health Informatics,2013,17(2)：411-419. [doi：10.1109/JBHI.2012.2237034]

10 徐勝舟,裴承丹. 基于遺傳算法和支持向量機(jī)的乳腺腫塊識(shí)別. 計(jì)算機(jī)仿真,2015,32(2)：432-435.

11 Harmsen M,Fischer B,Schramm H,et al. Support vector machine classification based on correlation prototypes applied to bone age assessment. IEEE Journal of Biomedical and Health Informatics,2013,17(1)：190-197. [doi：10.1109/TITB.2012.2228211]

12 Bron EE,Smits M,Niessen WJ,et al. Feature selection based on the SVM weight vector for classification of dementia. IEEE Journal of Biomedical and Health Informatics,2015,19(5)：1617-1626. [doi：10.1109/JBHI.2015.2432832]

13 Jie NF,Zhu MH,Ma XY,et al. Discriminating bipolar disorder from major depression based on SVM-FoBa：Efficient feature selection with multimodal brain imaging data. IEEE Transactions on Autonomous Mental Development,2015,7(4)：320-331. [doi：10.1109/TAMD.2015.2440298]

14 劉小建. 基于多特征提取和SVM分類(lèi)的手勢(shì)識(shí)別. 計(jì)算機(jī)工程與設(shè)計(jì),2017,38(4)：953-958.

15 李昆侖,張亞欣,劉利利,等. 基于改進(jìn)PCA和支持向量機(jī)的掌紋識(shí)別. 計(jì)算機(jī)科學(xué),2015,42(S2)：146-150.

16 Tyagi D,Verma A,Sharma S. An improved method for face recognition using local ternary pattern with GA and SVM classifier. Proceedings of the 2016 2nd International Conference on Contemporary Computing and Informatics(IC3I). Noida,India. 2016. 421-426.

17 Bagla K,Bhushan B. A novel approach for face recognition using hybrid SIFT-SVM. Proceedings of 2016 IEEE International Conference on Power Electronics,Intelligent Control and Energy Systems (ICPEICES). Delhi,India.2016. 1-6.

18黃忠,胡敏,劉娟. 基于AAM-SIFT特征描述的兩級(jí)SVM人臉表情識(shí)別. 計(jì)算機(jī)工程與應(yīng)用,2016,52(3)：178-183.

19 Adeyanju IA,Omidiora EO,Oyedokun OF. Performance evaluation of different support vector machine kernels for face emotion recognition. Proceedings of 2015 SAI Intelligent Systems Conference (IntelliSys). London,UK.2015. 804-806.

20 Yao M,Zhu CM. SVM and adaboost-based classifiers with fast PCA for face reocognition. Proceedings of 2016 IEEE International Conference on Consumer Electronics-China(ICCE-China). Guangzhou,China. 2016. 1-5.

21 Bashbaghi S,Granger E,Sabourin R,et al. Ensembles of exemplar-SVMs for video face recognition from a single sample per person. Proceedings of the 2015 12th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). Karlsruhe,Germany. 2015. 1-6.

22 Hadchum P,Wongthanavasu S. Facial age estimation using a hybrid of SVM and fuzzy logic. Proceedings of the 2015 12th International Conference on Electrical Engineering/Electronics,Computer,Telecommunications and Information Technology (ECTI-CON). Hua Hin,Thailand. 2015. 1-6.

23 Omara I,Wu XH,Zhang HZ,et al. Learning pairwise SVM on deep features for ear recognition. Proceedings of the 2017 IEEE/ACIS 16th International Conference on Computer and Information Science (ICIS). Wuhan,China. 2017. 341-346.

24 孫煒,薛敏,孫天宇,等. 基于支持向量機(jī)優(yōu)化的行人跟蹤學(xué)習(xí)檢測(cè)方法? 湖南大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,43(10)：102-109. [doi：10.3969/j.issn.1674-2974.2016.10.013]

25 張笑,張明. 基于SVM的偏斜車(chē)牌識(shí)別. 現(xiàn)代計(jì)算機(jī),2016,(8)：64-68.

26 王銳,楊宏業(yè),張海鵬. 基于浮動(dòng)公交車(chē)的SVM實(shí)時(shí)交通狀態(tài)識(shí)別研究. 內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào),2016,35(1)：18-23.

27 張華偉,左旭艷,潘昊. 基于混合核學(xué)習(xí)支持向量機(jī)的主減速器故障診斷. 計(jì)算機(jī)應(yīng)用與軟件,2017,34(5)：91-98.

28 胡慶新,焦偉,顧愛(ài)華. 多特征融合和交叉核SVM的車(chē)輛檢測(cè)方法. 合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,39(1)：84-89.

29 Wu YF,Yang XH,Plaza A,et al. Approximate computing of remotely sensed data：SVM hyperspectral image classification as a case study. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2016,9(12)：5806-5818. [doi：10.1109/JSTARS.2016.2539 282]

30 馮逍,肖鵬峰,李琦,等. 三維Gabor濾波器與支持向量機(jī)的高光譜遙感圖像分類(lèi). 光譜學(xué)與光譜分析,2014,34(8)：2218-2224.

31 Zhang ZM,Torr PHS. Object proposal generation using twostage cascade SVMs. IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,38(1)：102-115. [doi：10.1109/TPAMI.2015.2430348]

32 陳欣欣,郭辰彤,張初,等. 高光譜成像技術(shù)的庫(kù)爾勒梨早期損傷可視化檢測(cè)研究. 光譜學(xué)與光譜分析,2017,37(1)：150-155.

33 Bo CJ,Lu HC,Wang D. Hyperspectral image classification via JCR and SVM models with decision fusion. IEEE Geoscience and Remote Sensing Letters,2016,13(2)：177-181. [doi：10.1109/LGRS.2015.2504449]

34 林蔭. 基于KNN—SVM的垃圾郵件過(guò)濾模型. 現(xiàn)代電子技術(shù),2016,39(23)：90-92,97.

35 苑瑋琦. 基于形態(tài)學(xué)與支持向量機(jī)的虹膜坑洞紋理檢測(cè).儀器儀表學(xué)報(bào),2017,38(3)：664-671.

36 Shi YZ,Chung FL,Wang ST. An improved TA-SVM method without matrix inversion and its fast implementation for nonstationary datasets. IEEE Transactions on Neural Networks and Learning Systems,2015,26(9)：2005-2018.[doi：10.1109/TNNLS.2014.2359954]

37 Wu JX,Yang H. Linear regression-based efficient SVM learning for large-scale classification. IEEE Transactions on Neural Networks and Learning Systems,2015,26(10)：2357-2369. [doi：10.1109/TNNLS.2014.2382123]

38 Kosaka N,Ohashi G. Vision-based nighttime vehicle detection using CenSurE and SVM. IEEE Transactions on Intelligent Transportation Systems,2015,16(5)：2599-2608.[doi：10.1109/TITS.2015.2413971]