張校非，白艷萍，郝 巖

(中北大學(xué) 理學(xué)院， 太原 030051)

?

基于PCA和PSO-SVM的手寫(xiě)數(shù)字識(shí)別應(yīng)用研究

張校非，白艷萍，郝 巖

(中北大學(xué) 理學(xué)院， 太原 030051)

針對(duì)當(dāng)前手寫(xiě)數(shù)字識(shí)別正確率較低這一不足，提出了一種主成分分析(PCA)和粒子群算法優(yōu)化支持向量機(jī)(PSO-SVM)的手寫(xiě)數(shù)字識(shí)別方法。首先，利用PCA降低輸入數(shù)據(jù)的維數(shù)，然后把降維的數(shù)據(jù)作為SVM的輸入，用PSO不斷優(yōu)化SVM中的核函數(shù)參數(shù)g和懲罰因子c，以提高分類精度。實(shí)驗(yàn)結(jié)果表明：同傳統(tǒng)的SVM、GA-SVM、網(wǎng)格搜索算法、卷積神經(jīng)網(wǎng)絡(luò)(CNN)相比，PSO-SVM方法分類方法具有最高的識(shí)別準(zhǔn)確率且運(yùn)算效率也較高，達(dá)98.2%，性能上優(yōu)于其他幾種分類算法。

主成分分析；粒子群算法；支持向量機(jī)；手寫(xiě)數(shù)字識(shí)別

在模式識(shí)別的領(lǐng)域中，手寫(xiě)數(shù)字識(shí)別是其中的一個(gè)重要方面。隨著計(jì)算機(jī)和信息技術(shù)的日益發(fā)展，特別是大數(shù)據(jù)時(shí)代的到來(lái)，對(duì)手寫(xiě)數(shù)字識(shí)別的準(zhǔn)確度提出了更高的要求。人眼對(duì)不同的手寫(xiě)數(shù)字識(shí)別能力有限，目前對(duì)各類數(shù)字字體識(shí)別，特別是在脫機(jī)手寫(xiě)數(shù)字識(shí)別方面仍處在發(fā)展階段，識(shí)別效果仍然不夠好[1]。因此，對(duì)于手寫(xiě)數(shù)字識(shí)別的研究具有重大現(xiàn)實(shí)意義。

目前，應(yīng)用于手寫(xiě)數(shù)字識(shí)別的算法很多,例如有貝葉斯算法[2]、k-means算法[3]、神經(jīng)網(wǎng)絡(luò)算法[4-5]、支持向量機(jī)(SVM)[6-7]等，其中SVM 分類算法有很好的泛化能力與學(xué)習(xí)能力[8-10]。SVM 分類算法是以結(jié)構(gòu)風(fēng)險(xiǎn)最小化為目標(biāo)，所求得的解是全局最優(yōu)解,該算法克服“維數(shù)災(zāi)難”問(wèn)題，使分類算法的效率大大增加，被廣泛應(yīng)用于信號(hào)分類、人臉識(shí)別、文本分類、垃圾郵件過(guò)濾、手寫(xiě)體的識(shí)別等領(lǐng)域[11]。

支持向量機(jī)在性能優(yōu)化上還存在很大的問(wèn)題，為了使其性能達(dá)到最優(yōu)，本文首先用主成分分析(PCA)將手寫(xiě)數(shù)字?jǐn)?shù)據(jù)進(jìn)行降維，其次將支持向量機(jī)(SVM)與粒子群算法(PSO)相結(jié)合，用PSO優(yōu)化SVM中的相關(guān)參數(shù)(主要是懲罰參數(shù)c和核函數(shù)參數(shù)g)，避免了欠學(xué)習(xí)及過(guò)學(xué)習(xí)狀態(tài)的發(fā)生。與傳統(tǒng)的SVM、GA-SVM、卷積神經(jīng)網(wǎng)絡(luò)(CNN)相比，粒子群算法(PSO-SVM)的識(shí)別正確率有顯著提高。

1 主成分分析法和PSO-SVM基本原理

1.1 主成分分析(PCA)

主成分分析(principal component analysis，PCA)又稱主分量分析，是由皮爾遜(Pearson)于1901年首先引入，后來(lái)由霍特林(Hotelling)在1933年進(jìn)行了發(fā)展[1-13]。PCA是一種通過(guò)降維方法，把多個(gè)變量化為少數(shù)幾個(gè)變量主成分的多元統(tǒng)計(jì)方法，這些主成分能夠反映原始變量的大部分信息，通常用原始變量的線性組合來(lái)表示，為使這些主成分所包含的信息互不重疊，要求各主成分之間相互無(wú)關(guān)。

主成分分析降維的過(guò)程其實(shí)就是坐標(biāo)系旋轉(zhuǎn)變換的過(guò)程，新坐標(biāo)系的各個(gè)坐標(biāo)軸方向是原始數(shù)據(jù)變差最大的方向，各主成分表達(dá)式就是新舊坐標(biāo)系的轉(zhuǎn)換關(guān)系式[14]。

1.2 粒子群算法(PSO)

粒子群優(yōu)化算法(particle swarm optimization,PSO)最早由Kenney和Eberhart于1995年提出，PSO算法源于對(duì)鳥(niǎo)類捕食行為的研究。在鳥(niǎo)類捕食時(shí)，每只鳥(niǎo)類找到食物最簡(jiǎn)單有效的方法就是搜尋當(dāng)前距離食物最近的鳥(niǎo)類的周圍區(qū)域[15-17]。

PSO的尋優(yōu)步驟為：首先隨機(jī)初始化粒子的位置X和粒子的速度v,然后通過(guò)迭代來(lái)尋找空間中的最優(yōu)解。在每次迭代過(guò)程中，粒子通過(guò)個(gè)體極值和全局極值來(lái)更新自身的速度和位置，更新公式如下：

(1)

(2)

式中，w為慣性權(quán)重；d=1,2,…是種群的維數(shù)；i=1,2,…,m是種群的規(guī)模；t為當(dāng)前迭代次數(shù)；Vid為粒子的速度；Pid和Pgd分別代表粒子的個(gè)體最優(yōu)值和全局最優(yōu)值；a1和a2為正的非負(fù)常數(shù)，稱為加速因子；r1和r2為分布在[0,1]之間的隨機(jī)數(shù)。

1.3 PCA和PSO-SVM算法優(yōu)化步驟

由于手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集中的每一個(gè)數(shù)據(jù)為一個(gè)28×28像素點(diǎn)的圖像，一共784維數(shù)據(jù)，這意味著每個(gè)樣本有784維數(shù)據(jù)，這樣不但使計(jì)算時(shí)間增加，而且冗余的信息還會(huì)降低分類的精度，所以采用PCA進(jìn)行降維。

懲罰因子c和核函數(shù)參數(shù)g對(duì)SVM預(yù)測(cè)精度的影響較大，因此本文將識(shí)別正確率當(dāng)作PSO的適應(yīng)度函數(shù)來(lái)不斷優(yōu)化參數(shù)c、g，使適應(yīng)度函數(shù)的值達(dá)到最大。故提出一種基于粒子群算法的支持向量機(jī)優(yōu)化算法(PSO-SVM)，算法步驟如下：

1) 首先用PCA將手寫(xiě)數(shù)字特征進(jìn)行降維，將降維后的數(shù)據(jù)作為SVM中的輸入；

2) 初始化SVM的懲罰因子c和核函數(shù)參數(shù)g；

3) 初始化種群的位置和速度，以SVM算法所求得的準(zhǔn)確率作為粒子的適應(yīng)度函數(shù)；

4) 用PSO算法對(duì)個(gè)體粒子進(jìn)行更新，產(chǎn)生新的粒子并計(jì)算其適應(yīng)度函數(shù)值；

5) 判斷當(dāng)前粒子的個(gè)體極值是否為種群的全局最優(yōu)解。若是，則將當(dāng)前的個(gè)體極值替換為全局最優(yōu)解；若不是，則返回步驟4；

6) 將優(yōu)化后的參數(shù)用于SVM手寫(xiě)數(shù)字分類器進(jìn)行訓(xùn)練，并用手寫(xiě)數(shù)字測(cè)試集進(jìn)行測(cè)試。

算法主要步驟偽代碼如下：

%數(shù)據(jù)預(yù)處理

[Train_data,Test_data,ps]=scaleForSVM(train_data,test_data,0,0.1);

[Train_data,Test_data]=pcaForSVM(Train_data,Test_data,85);

%% 選擇最佳的SVM參數(shù)c&g

[bestacc,bestc,bestg] = psoSVMcgForClass(train_data_label,data_train);

% 利用最佳的參數(shù)進(jìn)行SVM網(wǎng)絡(luò)訓(xùn)練

cmd = ['-c ',num2str(bestc),' -g ',num2str(bestg)];

model = svmtrain(train_data_label,data_train,cmd);

%% 子函數(shù) psoSVMcgForClass.m

[bestCVaccuarcy,bestc,bestg,pso_option=psoSVMcgForClass(train_data_label,train,pso_option)

%個(gè)體最優(yōu)更新

if fitness(j) < local_fitness(j)

local_x(j,:) = pop(j,:);

local_fitness(j) = fitness(j);

end

if abs(fitness(j)-local_fitness(j) )<=eps && pop(j,1) < local_x(j,1)

local_x(j,:) = pop(j,:);

local_fitness(j) = fitness(j);

end

%群體最優(yōu)更新

if fitness(j) < global_fitness

global_x = pop(j,:);

global_fitness = fitness(j);

end

% SVM網(wǎng)絡(luò)預(yù)測(cè)

[predict_label,accuracy] = svmpredict(test_label,test_data,model);

2 仿真實(shí)驗(yàn)

2.1 PCA降維處理

實(shí)驗(yàn)的數(shù)據(jù)來(lái)自于MNIST數(shù)據(jù)庫(kù)，共有70 000個(gè)樣本，從中挑選出60 000個(gè)樣本作為PSO-SVM訓(xùn)練數(shù)據(jù)、1 000個(gè)樣本作為測(cè)試數(shù)據(jù)，有的數(shù)字人眼很難區(qū)分，部分樣本如圖1所示。

圖1 手寫(xiě)數(shù)字樣本

首先進(jìn)行歸一化，經(jīng)過(guò)反復(fù)實(shí)驗(yàn)對(duì)比，將樣本數(shù)據(jù)歸一化至[0,0.1]區(qū)間時(shí)，分類效果最好。數(shù)據(jù)集中每個(gè)樣本大小均為28×28，即784維數(shù)據(jù)，這意味著每個(gè)樣本均有784維數(shù)據(jù)，這不僅會(huì)增加樣本的訓(xùn)練時(shí)間，也影響到分類器的處理性能。所以，首先要進(jìn)行PCA降維，除去樣本中的冗余信息，同時(shí)增加分類器的效率。提取輸入數(shù)據(jù)85%的貢獻(xiàn)率，由784維降到59維，降低了92.5%的維數(shù)。降維后的前10個(gè)特征貢獻(xiàn)率如圖2所示。

圖2 PCA提取出的前10個(gè)主成分

從圖2中可以看出：前10個(gè)特征的累積貢獻(xiàn)率達(dá)50%以上，與初始的數(shù)據(jù)維數(shù)相比，降低了98.7%，即用1.3%的數(shù)據(jù)量代表了數(shù)據(jù)50%以上的特征，這大大降低了數(shù)據(jù)的復(fù)雜度，提高了算法的運(yùn)算效率。

2.2 PSO-SVM仿真實(shí)驗(yàn)

將PCA降維后的數(shù)據(jù)輸入SVM中，利用PSO算法優(yōu)化SVM，初始種群為20，進(jìn)化代數(shù)為200，c1=1.5，c2=1.7。首先對(duì)PSO-SVM進(jìn)行訓(xùn)練，適應(yīng)度曲線如圖3所示。

圖3 PSO尋找最佳參數(shù)的適應(yīng)度(準(zhǔn)確率)曲線

圖中x軸代表進(jìn)化代數(shù)，y軸代表訓(xùn)練集的準(zhǔn)確率，可以看出：訓(xùn)練過(guò)程中粒子的最佳正確率達(dá)98.4%，此時(shí)懲罰因子c和核函數(shù)參數(shù)g分別為66.188 8和0.803 34。

下面對(duì)測(cè)試集進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如圖4所示：

圖4 測(cè)試結(jié)果

通過(guò)測(cè)試可知：本文所用的方法對(duì)手寫(xiě)數(shù)字的識(shí)別正確率達(dá)98.2%，只錯(cuò)分了18個(gè)數(shù)字，其中對(duì)0、1兩個(gè)數(shù)字的識(shí)別正確率更是高達(dá)100%。又對(duì)每種分類器進(jìn)行50次實(shí)驗(yàn)，取50次的平均值：分別與SVM、GA-SVM、網(wǎng)格搜索算法、卷積神經(jīng)網(wǎng)絡(luò)(CNN)等幾種方法進(jìn)行了對(duì)比，對(duì)比結(jié)果見(jiàn)表1。

表1 各類算法分類性能對(duì)比

從表1中可以看出：PSO-SVM對(duì)手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集在這5種算法中的分類正確率最高，達(dá)98.2%。從運(yùn)行時(shí)間上來(lái)看，PSO-SVM僅次于SVM，效率高于GA-SVM、網(wǎng)絡(luò)搜索算法、CNN等3種算法。因此，PSO-SVM算法有更高的精度，且在運(yùn)算時(shí)間上也有很大的優(yōu)勢(shì)，具有一定的適用性。

3 結(jié)束語(yǔ)

本文首先通過(guò)PCA將手寫(xiě)數(shù)字集進(jìn)行降維，其次用PSO算法對(duì)SVM中的參數(shù)c、g反復(fù)訓(xùn)練，不斷提升SVM分類器的性能。實(shí)驗(yàn)結(jié)果表明：PSO-SVM算法對(duì)手寫(xiě)數(shù)字集的正確識(shí)別率有一定的提高，且運(yùn)算效率較高。同其他幾種算法相比，該方法在手寫(xiě)數(shù)字識(shí)別上有較好的應(yīng)用前景。

[1] 陳浩翔,蔡建明,劉鏗然,等.手寫(xiě)數(shù)字深度特征學(xué)習(xí)與識(shí)別[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016(7):19-23.

[2] 何巖.統(tǒng)計(jì)稀疏學(xué)習(xí)中的貝葉斯非參數(shù)建模方法及應(yīng)用研究[D].杭州:浙江大學(xué),2012.

[3] 王偉.Kmeans聚類與多波譜閾值相結(jié)合的云檢測(cè)和煙檢測(cè)算法研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2011.

[4] 韓力群.人工神經(jīng)網(wǎng)絡(luò)教程[M].北京:北京郵電大學(xué)出版社,2006.

[5] LéCUN Y,BOTTOU L,BENGIO Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[6] VAPNIK V.Statistical Learning Theory[M].New York:Wiley,1998.

[7] 牛強(qiáng),王志曉,陳岱.基于 SVM 的中文網(wǎng)頁(yè)分類方法的研究[J].計(jì)算機(jī)工程與應(yīng)用,2007,28(8):1893-1895.

[8] 吳益紅,許鋼,江娟娟,等.基于LBP和SVM的工件圖像特征識(shí)別研究[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)),2016,30(1):77-84.

[9] 朱兵,董恩生,郭綱.基于EIS-SVM的飛機(jī)復(fù)合材料健康監(jiān)測(cè)研究[J].壓電與聲光,2016(1):115-120.

[10]程思嘉,張昌宏.基于粒子群算法優(yōu)化最小二乘支持向量機(jī)的電路故障診斷方法[J].四川兵工學(xué)報(bào),2016,37(3):98-101.

[11]崔健明,劉建明,廖周宇.基于SVM算法的文本分類技術(shù)研究[J].計(jì)算機(jī)仿真,2013,30(2):299-302.

[12]YANG J,ZHANG D,FRANGI A F,et al.Two-dimensional PCA:a new approach to appearance-based face representation and recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,26(1):131.

[13]KE Y,SUKTHANKAR R.PCA-SIFT:a more distinctive representation for local image descriptors[J].2004,2(2):506-513.

[14]謝中華.MATlAB統(tǒng)計(jì)分析與應(yīng)用：40個(gè)案例分析[M].北京:北京航空航天大學(xué)出版社,2015.

[15]SHI Y,EBERHART R C.Empirical study of particle swarm optimization[J].Journal of System Simulation,1999,3(1):31-37.

[16]LIANG J J,QIN A K,SUGANTHAN P N,et al.Comprehensive learning particle swarm optimizer for global optimization of multimodal functions[J].IEEE Transactions on Evolutionary Computation,2006,10(3):281-295.

[17]李洋,王小川,郁磊,等.MATLAB神經(jīng)網(wǎng)絡(luò)43個(gè)案例分析[M].北京:北京航空航天大學(xué)出版社,2013.

(責(zé)任編輯 何杰玲)

Application Research of Handwritten Numeral Recognition Based on PCA and PSO-SVM

ZHANG Xiaofei, BAI Yanping， HAO Yan

(College of Science, North University of China, Taiyuan 030051, China)

In this paper, a new method of handwritten numeral recognition based on principal component analysis (PCA) and particle swarm optimization (PSO-SVM) is proposed for the problem of low accuracy of handwritten digit recognition. Firstly, the dimension of the input data is reduced by PCA, then the dimension reduction data is used as the input of SVM, and the kernel function parametergand the penalty factorcin SVM are optimized by PSO to improve the classification accuracy. The experimental results show that SVM and GA-SVM, with the traditional grid search algorithm, convolutional neural network (CNN) compared with the classification method of PSO-SVM method and it has higher recognition accuracy rate and the operation efficiency is the highest, reached 98.2%, and the performance is better than other types of classification algorithms.

principal component analysis; particle swarm algorithm; support vector machine; handwritten numeral recognition

2016-12-08

國(guó)家自然科學(xué)基金資助項(xiàng)目(61275120)；山西省回國(guó)留學(xué)人員科研資助項(xiàng)目(2016-088)

張校非(1991—)，男，碩士研究生，主要從事現(xiàn)代優(yōu)化算法、神經(jīng)網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用研究，E-mail：598095564@qq.com; 白艷萍(1962—)，女，教授，博士生導(dǎo)師，主要從事神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近與預(yù)測(cè)中的應(yīng)用、神經(jīng)網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用、數(shù)據(jù)處理與數(shù)據(jù)融合、非線性動(dòng)力學(xué)的數(shù)學(xué)建摸與研究，E-mail：974167293@qq.com。

張校非，白艷萍，郝巖.基于PCA和PSO-SVM的手寫(xiě)數(shù)字識(shí)別應(yīng)用研究[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué))，2017(7):140-144.

format：ZHANG Xiaofei,BAI Yanping，HAO Yan.Application Research of Handwritten Numeral Recognition Based on PCA and PSO-SVM[J].Journal of Chongqing University of Technology(Natural Science)，2017(7):140-144.

10.3969/j.issn.1674-8425(z).2017.07.022

TP39

A

1674-8425(2017)07-0140-05