陸萍

摘 要： 支持向量機（Support Vector Machine， SVM）是機器學(xué)習(xí)領(lǐng)域中非常重要的一種線性分類器，借助于核方法，SVM能夠?qū)崿F(xiàn)對非線性樣本的有效分類。但是不同類別的核函數(shù)具有各自不同的特性，對于SVM分類的準確率也具有很大的影響。為了能夠結(jié)合不同核函數(shù)的優(yōu)勢，本文采用了對不同核函數(shù)進行融合的方式來設(shè)計多核SVM分類器，并在ORL與AR人臉識別數(shù)據(jù)集上采用局部三值模式（Local Ternary Pattern， LTP）作為特征描述子進行了驗證。實驗結(jié)果表明，多核SVM比使用普通核函數(shù)的SVM具有更優(yōu)的分類準確率。

關(guān)鍵詞： 多核SVM； 核函數(shù)； 局部三值模式； 人臉識別

中圖分類號：TP391.4 文獻標(biāo)志碼：A 文章編號：1006-8228（2016）11-57-04

Face recognition with multi-kernel SVM

Lu Ping

（Suzhou Institute of Trade and Commerce， Suzhou， Jiangsu 215009， China）

Abstract： Support Vector Machine （SVM） is one of the most importance linear classifier in machine learning， which can classify the non-linear samples efficiently via the kernel method. However， the accuracy of SVM may be heavily affected due to the characteristics of different kernels. To make better use of different kernels， the different kernels are tried to fuse to design a multi-kernel SVM， and the resulting classifier is evaluated on the ORL and AR face recognition datasets. As for the feature， the Local Ternary Pattern （LTP） is employed. The experimental results show that the multi-kernel SVM can achieve higher classification accuracy than traditional SVM with single kernel.

Key words： multi-kernel SVM； kernel function； Local Triplet Pattern； face recognition

0 引言

SVM是機器學(xué)習(xí)與模式識別領(lǐng)域中非常重要的一種線性分類器，由于SVM方法基于最大間隔（maximum margin）思想，其模型為凸二次規(guī)劃問題，使得SVM能夠通過求解對偶問題從而獲得原問題的最優(yōu)解。通過引入松弛變量，SVM在對離群點的處理上也具有相當(dāng)強的魯棒性。但本質(zhì)上SVM仍屬于線性分類器。為了更好地處理非線性樣本的分類問題，可以利用求解對偶問題時的內(nèi)積表達式引入核函數(shù)。將樣本由低維向高維空間映射，進而在高維空間中實現(xiàn)線性分類。由于SVM的優(yōu)秀性能，其在人臉識別[7-8]、圖像分類[1]、行人檢測[2]等諸多研究中都具有非常廣泛的應(yīng)用。

盡管研究人員已經(jīng)設(shè)計出許多核函數(shù)來提升SVM對于非線性樣本的處理性能，但這些核函數(shù)具有各自不同的特性。在使用時，不同的核函數(shù)對于分類準確率具有很大的影響。因此如何選擇核函數(shù)以提升分類準確率是使用SVM時一項比較困難的任務(wù)。為了解決核函數(shù)的選擇問題，本文采用將不同核函數(shù)進行融合的方式來設(shè)計多核SVM，各核函數(shù)的權(quán)重通過學(xué)習(xí)自適應(yīng)調(diào)整，從而充分發(fā)揮各種核函數(shù)的優(yōu)勢。

為了驗證多核SVM算法的性能，本文在ORL與AR人臉識別數(shù)據(jù)集上使用局部三值模式[4]LTP描述子對其進行了測試，實驗結(jié)果表明多核SVM能夠獲得比傳統(tǒng)單核函數(shù)SVM更高的識別結(jié)果。

1 多核SVM

SVM分類器通過尋求一個超平面對空間中不同類別的樣本進行分類。考慮二分類情況下，設(shè)訓(xùn)練樣本為，其中，。分類超平面為：

為了獲得最優(yōu)超平面，（w，b）應(yīng)使得不同類別間的間隔（margin）最大，同時考慮到離群點的影響，SVM引入松弛變量建立如下的目標(biāo)函數(shù)：

由于式⑵為一個二次凸優(yōu)化問題，滿足強對偶條件，可采用Lagrange乘子法轉(zhuǎn)化為求解對偶問題：

通過求解對偶變量α即Lagrange乘子的最優(yōu)解，就可以獲得原問題的解（w，b）為：，。

在原始樣本線性不可分的情況下，考慮式⑶中存在內(nèi)積的計算，可以引入核函數(shù)實現(xiàn)將樣本從原始空間到高維空間的映射。則最終的SVM分類器為：

其中，sgn[·]為符號函數(shù)。由于不同核函數(shù)的形式與參數(shù)各不相同，它們把樣本向高維空間映射的結(jié)果也存在很大的差異，特別是局部核函數(shù)與全局核函數(shù)對樣本及其領(lǐng)域的影響更大。比如：徑向基核函數(shù)（Radial Basis Function，RBF）：；多項式核函數(shù)（Polynomial Function）：；sigmoid核函數(shù)：。RBF核函數(shù)對樣本的映射受到參數(shù)σ的強烈影響，對于距離較近的數(shù)據(jù)點影響大，而對于較遠的樣本點則基本沒有影響。因此，RBF核函數(shù)是一種典型的局部核函數(shù)，適合于處理局部特征。多項式核函數(shù)與Sigmoid核函數(shù)則會對所有樣本點都產(chǎn)生影響，因此它們適合于對全局特征的處理。為了充分地利用局部核函數(shù)與全局核函數(shù)各自的優(yōu)勢，可以采用對兩者線性加權(quán)融合的方式，創(chuàng)建多核SVM分類器。

設(shè)現(xiàn)有M個核函數(shù)，其中包含了全局和局部核函數(shù)，最終的決策超平面可定義為：

由于式⑹為非凸優(yōu)化問題，僅可保證獲得局部最優(yōu)解，這里可以采用交替求解策略進行求解。即首先固定η，求解{wm}，b，ξ；然后再固定{wm}，b，ξ，求解η。在求解{wm}，b，ξ時，與傳統(tǒng)SVM類似，對上式建立Lagrange函數(shù)將原問題轉(zhuǎn)為對偶問題：

進一步求解可獲得最終的分類超平面為：

由此可見所獲得的結(jié)果與傳統(tǒng)SVM非常類似，僅需對各個核函數(shù)進行線性加權(quán)組合。在對的求解中，本文采用Rakatomamonjy等[5]提出的具有較好收斂性能的最速下降算法。

2 多尺度局部三值模式LTP描述子

局部三值模式[4] LTP描述子是對局部二值模式[3] （Local Binary Pattern， LBP）描述子的改進。原始LBP描述子在將原圖像轉(zhuǎn)入灰度值圖像后，在R×R窗口內(nèi)以窗口中心像素為閾值，與其周圍相鄰的8個像素的灰度值進行比較。若周圍像素大于中心像素值，則將該像素位置標(biāo)記為1，否則標(biāo)記為0。進而將該中心點的LBP值定義為以左上角元素為最高位的一個8位二進制值，從而獲得1個0～255之間的十進制數(shù)。其獲得過程如下：

LBP特征能夠比較好的捕捉到圖像的紋理信息，其在人臉識別與其他計算機視覺領(lǐng)域中獲得了廣泛的應(yīng)用。但是盡管LBP描述子描述紋理的性能比較好，卻也存在對噪聲較為敏感的不足。為了進一步提升LBP的性能，LTP描述子把LBP的閾值修改為閾值范圍[gc-t，gc+t]，以獲得一個三值的編碼，計算過程如下：

由于LTP模式值有3P種，為了簡化計算，常采用正負LBP編碼方式來獲得LTP值，其過程如圖1所示。其中，正編碼取不為1的值均為0；而負編碼則取-1值為1，其余均置0，再進一步統(tǒng)計直方圖分布。為了獲得更好的性能，本文在提取LTP特征描述子時進一步對原始人臉圖像在兩個尺度上提取。在某一個尺度上提取時，再分別對半徑為的范圍內(nèi)進行像素點進行比較。這樣不僅可以獲得多尺度的信息，還可以獲得同一尺度不同范圍內(nèi)的紋理信息。

3 實驗結(jié)果與分析

為了檢測多核SVM的性能，實驗選擇了ORL與AR人臉識別數(shù)據(jù)集對其進行性能評估。實驗基于SimpleMKL多核學(xué)習(xí)工具包進行，選取RBF核函數(shù)、多項核函數(shù)與Sigmoid核函數(shù)進行組合。對于RBF核函數(shù)的參數(shù)C、gamma以及多項核函數(shù)中的參數(shù)d均通過網(wǎng)格搜索來確定。對于LTP描述子，實驗中選擇了將像素值歸一化后，再進行比較的方式。實驗中在原始圖像與縮放1/2兩個尺度上劃分5*5的密集網(wǎng)格提取。LTP的閾值范圍設(shè)為[gc-0.3，gc+0.3]，再在半徑3和5兩個半徑范圍內(nèi)分別提取。由于最終提取的LTP描述子維度高達36369維，為了降低運算量并去除數(shù)據(jù)相關(guān)性，實驗時采用了保留所有能量的PCA降維方法。

3.1 在ORL數(shù)據(jù)集上的實驗

ORL人臉識別數(shù)據(jù)集由劍橋大學(xué)AT&T實驗室所創(chuàng)建，其中包含有40個人，每人有10張圖片，圖片大小已統(tǒng)一為112*92大小。該數(shù)據(jù)集中的人臉圖片包含了不同的表情、姿勢與面部飾品等變化。本實驗從每個人的10張圖片中隨機選擇了5張圖片作為訓(xùn)練樣本，剩余5張圖片作為測試樣本，對使用線性核、RBF核、Sigmoid核、多項式核、RBF+Sigmoid+多項式核的SVM分別進行了測試。為了保證實驗的魯棒性，實驗對20次隨機數(shù)據(jù)集劃分的結(jié)果進行平均，最終的識別率如表1所示。

表1的實驗結(jié)果顯示：在數(shù)據(jù)集較小的情況下，使用線性核也能夠獲得不錯的識別效果。而對于多項式核函數(shù)，發(fā)現(xiàn)取d?3時識別率始終低于80%，因此表1中的多項式核函數(shù)取參數(shù)d=2。在采用網(wǎng)格搜索的方法獲得最優(yōu)參數(shù)后，RBF核的識別率表現(xiàn)良好。由于多核SVM具備多種核函數(shù)的優(yōu)勢，因此獲得了比使用單一核函數(shù)更為優(yōu)秀的識別率，在隨機20次實驗中僅有2次識別率未達到100%，平均識別率為99.96。

3.2 在AR數(shù)據(jù)集上的實驗

AR人臉數(shù)據(jù)集中包含有126人，其中70名男性、56名女性。該數(shù)據(jù)集中的人臉圖像具有不同的表情、光照與遮擋等。實驗選擇全部70名男性與50名女性，對每個人選擇14張無遮擋的人臉圖像。圖2給出了該數(shù)據(jù)集中某一個人的14張圖片。

對于每個人的14張圖片，實驗中進一步選擇了k=5，7，10三個不同的圖片數(shù)作為訓(xùn)練集，而剩余的圖片則作為測試集，實驗結(jié)果如表2所示。

由表2可以發(fā)現(xiàn)在k=5時，由于訓(xùn)練樣本較少，使用線性核及其他單一核函數(shù)的SVM的識別率均比較差。隨著訓(xùn)練樣本數(shù)逐漸增加，各個分類器的識別準確率也明顯上升。RBF核函數(shù)仍明顯優(yōu)于使用其他核函數(shù)的SVM，而Sigmoid核函數(shù)與多項式核函數(shù)的效果相對較差。多項式核函數(shù)在不同訓(xùn)練樣本數(shù)情況下，識別率均最低。多核SVM由于融合了多個核函數(shù)，在不同的訓(xùn)練樣本數(shù)下表現(xiàn)均十分出色，特別是在k值大于7后，盡管數(shù)據(jù)集中的人數(shù)已達到120，但仍能取得100%的識別率，這再次證明，將不同核函數(shù)融合所帶來的性能提升。

4 結(jié)束語

核函數(shù)在SVM的使用中具有非常重要的地位，核函數(shù)的選擇對于分類性能高低具有很大的影響。本文在分析局部核函數(shù)和全局核函數(shù)各自的特性后，嘗試將多種核函數(shù)進行融合從而獲得多核SVM分類器，并在ORL與AR人臉識別數(shù)據(jù)集上進行算法的性能驗證。實驗結(jié)果表明，多核SVM與使用單一核函數(shù)的傳統(tǒng)SVM相比，在人臉識別的準確率上有明顯提升。

參考文獻（References）：

[1] Lin Y， Lv F， Zhu S， Zhu S， et al. Large-scale image

classification： Fast feature extraction and SVM training[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition IEEE Computer Society Conference on CVPR，2011：1689-1696

[2] Felzenszwalb， P. F.， Girshick， R. B.， McAllester， et al.

Object Detection with Discriminatively Trained Part-

Based Models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010.32（9）：1627-45

[3] Ahonen T， Hadid A， Pietik?inen M. Face Description with

Local Binary Patterns： Application to Face Recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2006.28（12）：2037-2041

[4] Liao S， Zhao G， Kellokumpu， V， et al. Modeling pixel

process with scale invariant local patterns for background subtraction in complex scenes[C]// IEEE Conference on Computer Vision & Pattern Recognition，2010：1301-1306

[5] Rakotomamonjy， A.， Bach， F. R.， Canu， S. et al.

SimpleMKL[J]. Journal of Machine Learning Research，2008.9（3）：2491-2521

[6] Sonnenburg， S.， R?tsch， G.， Sch?fer， C. A General and

Efficient Multiple Kernel Learning Algorithm[C]// Advances in Neural Information Processing Systems[J]，2006：1273-1280

[7] 薛濤，劉瀟瀟，張海兵.基于Gabor特征融合和LSSVM的人臉

識別算法[J].計算機應(yīng)用與軟件， 2014.31（7）：191-194

[8] 謝賽琴，沈福明，邱雪娜.基于支持向量機的人臉識別方法[J].

計算機工程，2009.35（16）：186-188