葉曉波，秦海菲，呂永林

(1.楚雄師范學(xué)院網(wǎng)絡(luò)與信息系統(tǒng)研究所，云南 楚雄 675000；2.楚雄師范學(xué)院信息科學(xué)與技術(shù)學(xué)院，云南 楚雄 675000；3.楚雄師范學(xué)院 經(jīng)濟(jì)與管理學(xué)院，云南 楚雄 675000)

1.引言

模式識(shí)別是一門以應(yīng)用為基礎(chǔ)的學(xué)科，目的是將對(duì)象進(jìn)行分類[1]。任何可測(cè)量的對(duì)象都可進(jìn)行分類，這些對(duì)象可以是圖像、音頻等；根據(jù)待分類數(shù)據(jù)是否全部都有已知類別標(biāo)簽，模式識(shí)別可分為有監(jiān)督模式識(shí)別(分類標(biāo)簽完整)、無監(jiān)督模式識(shí)別(無分類標(biāo)簽)和半監(jiān)督模式識(shí)別(分類標(biāo)簽不完整)[1]。

手寫數(shù)字識(shí)別研究的對(duì)象是如何利用計(jì)算機(jī)自動(dòng)識(shí)別人手寫在紙張上的阿拉伯?dāng)?shù)字[2]，也就是將手寫數(shù)字進(jìn)行分類。雖然數(shù)字的類別只有十種，但由于數(shù)字字形相差不大，同一數(shù)字的寫法變化多樣，給手寫數(shù)字的準(zhǔn)確識(shí)別帶來了諸多挑戰(zhàn)[3]，本文提出基于LVQ神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別方法，神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測(cè)試樣本數(shù)據(jù)來自MNIST，實(shí)驗(yàn)證明，該方法能有效快速地對(duì)手寫數(shù)字進(jìn)行識(shí)別。

2. LVQ神經(jīng)網(wǎng)絡(luò)

模式識(shí)別的研究過程中經(jīng)常使用神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行分類，其中，單層感知器是能一致逼近線性連續(xù)函數(shù)空間最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，但是它對(duì)非線性樣本空間不可分；BP神經(jīng)網(wǎng)絡(luò)應(yīng)用最為廣泛，但BP神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)在于采用了基于梯度下降的非線性迭代算法，在求解的過程中有可能陷入局部最小問題，從而不能保證求出全局最小值[4]。LVQ神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)是不需要將輸入向量進(jìn)行歸一化、正交化，只需要直接計(jì)算輸入向量與競(jìng)爭(zhēng)層之間的距離，從而實(shí)現(xiàn)分類。

LVQ神經(jīng)網(wǎng)絡(luò)又稱為學(xué)習(xí)矢量量化神經(jīng)網(wǎng)絡(luò)(Learning Vector Quantization)，它是在有教師狀態(tài)(分類標(biāo)簽完整)下對(duì)競(jìng)爭(zhēng)層進(jìn)行訓(xùn)練的一種學(xué)習(xí)算法，廣泛應(yīng)用于模式識(shí)別和優(yōu)化領(lǐng)域[5]。LVQ神經(jīng)網(wǎng)絡(luò)屬于有監(jiān)督模式識(shí)別，其基本構(gòu)架和其他神經(jīng)網(wǎng)絡(luò)基本相同，即LVQ神經(jīng)網(wǎng)絡(luò)也是由三層神經(jīng)元組成，即輸入層、隱含層和輸出層，LVQ神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 LVQ神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖[5]

LVQ神經(jīng)網(wǎng)絡(luò)算法步驟如下[5]：

1)網(wǎng)絡(luò)初始化：對(duì)輸入層、隱含層權(quán)值、學(xué)習(xí)率η(η>0)進(jìn)行初始化。

2)輸入向量：將X=(x1,x2,x3, ……,xn)T送入到輸入層。

4)選擇獲勝神經(jīng)元：根據(jù)算法步驟3)計(jì)算結(jié)果選擇獲勝神經(jīng)元，即距離最小的神經(jīng)元作為獲勝神經(jīng)元。

5)更新連接權(quán)值：如果分類正確(獲勝神經(jīng)元和已知的分類一致)，權(quán)值按△wij=wij+η(xi-wij)進(jìn)行更新；如果分類錯(cuò)誤，權(quán)值按△wij=wij-η(xi-wij)進(jìn)行更新。

6)判斷是否迭代：如果計(jì)算結(jié)果達(dá)到指定訓(xùn)練目標(biāo)或迭代次數(shù)達(dá)到指定最大迭代次數(shù)，訓(xùn)練結(jié)束，否則返回算法步驟2)，進(jìn)入下一輪學(xué)習(xí)。

根據(jù)以上算法步驟，LVQ神經(jīng)網(wǎng)絡(luò)的算法模型如圖2所示：

圖2 LVQ神經(jīng)網(wǎng)絡(luò)算法模型圖

其中：

(1)

a1=compet(n1)

(2)

a2=purelin(LW2,1?1)

(3)

R是輸入向量，S1是競(jìng)爭(zhēng)神經(jīng)元，S2是線性層(隱含層)神經(jīng)元。

3.實(shí)驗(yàn)研究

本實(shí)驗(yàn)軟件環(huán)境為：Windows Server 2008 R2(64位)；硬件環(huán)境為：Intel(R) Xeon(R) CPU E5-2660 v2 @2.20GHz(8處理器)，8G內(nèi)存；實(shí)驗(yàn)程序設(shè)計(jì)均在Matlab 2016b下完成，以下是整個(gè)實(shí)驗(yàn)過程。

3.1實(shí)驗(yàn)數(shù)據(jù)詳情

本實(shí)驗(yàn)采用MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)(http://yann.lecun.com/exdb/mnist/)。MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)共包含60000個(gè)訓(xùn)練樣本數(shù)據(jù)，10000個(gè)測(cè)試樣本數(shù)據(jù)，每一個(gè)樣本數(shù)據(jù)(圖片)都是標(biāo)準(zhǔn)化的，即圖片大小相同，圖片上的手寫數(shù)字居中，MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)被研究者廣泛用作測(cè)試模式識(shí)別方法的基準(zhǔn)，也被學(xué)生用于模式識(shí)別、機(jī)器學(xué)習(xí)和統(tǒng)計(jì)方面的課堂項(xiàng)目。

MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)包含4個(gè)數(shù)據(jù)文件，每一個(gè)文件的名稱及文件包含內(nèi)容如表1所示。

表1 MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)文件名及文件內(nèi)容

MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)的訓(xùn)練樣本數(shù)據(jù)文件和測(cè)試樣本數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)完全相同，圖3是訓(xùn)練樣本數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)圖。

圖3 訓(xùn)練樣本數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)圖

分析訓(xùn)練樣本數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)可知：文件的第二個(gè)32位整數(shù)指明文件所包含的手寫數(shù)字圖片數(shù)量(訓(xùn)練樣本數(shù)據(jù)文件包含60000個(gè)樣本數(shù)據(jù)，測(cè)試樣本數(shù)據(jù)文件包含10000個(gè)樣本數(shù)據(jù))，第三、四個(gè)32位整數(shù)指明了每一張手寫數(shù)字圖片的行和列的像素大小，即手寫數(shù)字圖片大小是28*28像素。

MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)的訓(xùn)練樣本標(biāo)簽數(shù)據(jù)文件和測(cè)試樣本標(biāo)簽數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)完全相同，圖4是訓(xùn)練樣本標(biāo)簽數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)圖。

圖4 訓(xùn)練樣本標(biāo)簽數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)圖

分析訓(xùn)練樣本標(biāo)簽數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)可知：文件的第二個(gè)32位整數(shù)指明文件所包含的標(biāo)簽數(shù)量(訓(xùn)練樣本標(biāo)簽數(shù)據(jù)文件包含60000個(gè)標(biāo)簽，測(cè)試樣本標(biāo)簽數(shù)據(jù)文件包含10000個(gè)標(biāo)簽)，標(biāo)簽數(shù)據(jù)的值是0―9之間的數(shù)字，與樣本數(shù)據(jù)文件中的圖片一一對(duì)應(yīng)，即樣本數(shù)據(jù)文件中的第一幅圖片(手寫數(shù)字)對(duì)應(yīng)的正確數(shù)字是標(biāo)簽數(shù)據(jù)文件中的第一個(gè)標(biāo)簽值。

圖5是部分訓(xùn)練樣本數(shù)據(jù)中的手寫數(shù)字圖片。

圖5 部分訓(xùn)練樣本數(shù)據(jù)中的手寫數(shù)字圖片

3.2實(shí)驗(yàn)思路及方法

3.2.1實(shí)驗(yàn)數(shù)據(jù)讀取方法

根據(jù)MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)文件的數(shù)據(jù)結(jié)構(gòu)，在Matlab中使用fopen函數(shù)打開數(shù)據(jù)庫(kù)文件，使用fread函數(shù)讀取數(shù)據(jù)。以下語句是打開并讀取MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)訓(xùn)練樣本數(shù)據(jù)文件的代碼：

f_train_img = fopen('database rain-images.idx3-ubyte','r','b');

magic_num = fread(f_train_img,1,'int32'); %Magic num，32位整數(shù)

train_img_num = fread(f_train_img,1,'int32'); %圖片數(shù)量，32位整數(shù)

row_size = fread(f_train_img,1,'int32'); %圖片的行像素值，32位整數(shù)

col_size = fread(f_train_img,1,'int32'); %圖片的列像素值，32位整數(shù)

train_img=zeros(784,train_img_num); %初始化訓(xùn)練樣本矩陣,

圖片大小：row_size* col_size=784

for i=1: train_img_num %循環(huán)讀取訓(xùn)練樣本數(shù)據(jù)文件中手寫數(shù)字圖片數(shù)據(jù)

train_img(:,i)=uint8(fread(f_train_img,784,'uchar'));

end

與訓(xùn)練樣本數(shù)據(jù)相對(duì)應(yīng)的是訓(xùn)練樣本標(biāo)簽數(shù)據(jù)，標(biāo)簽(類別)共有十類，分別從0―9，但LVQ神經(jīng)網(wǎng)絡(luò)確認(rèn)獲勝神經(jīng)元是提取每一列中值為1的行號(hào)，而行號(hào)最小的是1，因此，在讀取樣本數(shù)據(jù)標(biāo)簽時(shí)應(yīng)該把類別標(biāo)簽由0―9依次更改為1―10，也就是把類別標(biāo)簽全部都加1。以下語句是讀取MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)訓(xùn)練樣本標(biāo)簽數(shù)據(jù)的代碼：

for i=1:train_index_num %循環(huán)讀取訓(xùn)練樣本數(shù)據(jù)對(duì)應(yīng)的真實(shí)數(shù)字值

train_index(:,i)=uint8(fread(f_train_index,1,'uchar'))+1;

end

3.2.2 PCA降維

MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)共有訓(xùn)練用的手寫數(shù)字圖片60000幅，測(cè)試用的手寫數(shù)字圖片10000幅，每一幅圖片大小都是28*28=784像素，用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的樣本矩陣大小是784*600000，用于測(cè)試的樣本矩陣大小是784*10000；這樣大小的矩陣在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、測(cè)試過程中會(huì)增加運(yùn)算的復(fù)雜度和運(yùn)行時(shí)間，在這種情況下，一般需要進(jìn)行數(shù)據(jù)降維處理。

所謂數(shù)據(jù)降維是指通過線性或非線性映射將樣本從高維空間映射到低維空間，從而獲得高維數(shù)據(jù)的一個(gè)有意義的低維表示的過程[6]。降維后的數(shù)據(jù)容易處理、更容易使用，還可去除數(shù)據(jù)噪聲，進(jìn)而降低算法開銷。常見的降維算法有主成分分析(也稱PCA降維，principal component analysis)、因子分析(Factor Analysis)和獨(dú)立成分分析ICA(Independent Component Analysis)，其中PCA降維是目前應(yīng)用最為廣泛的降維方法。

PCA降維是通過對(duì)原始變量的相關(guān)矩陣或協(xié)方差矩陣內(nèi)部結(jié)構(gòu)的研究，將多個(gè)變量轉(zhuǎn)換為少數(shù)幾個(gè)綜合變量(即主成分)，從而達(dá)到降維目的的一種線性降維方法[6]。這些主成分能夠反映原始變量的絕大部分信息，它們通常表示為原始變量的線性組合，通過PCA降維可實(shí)現(xiàn)用較少的數(shù)據(jù)維度代替較多的原數(shù)據(jù)點(diǎn)。在本實(shí)驗(yàn)中使用Matlab提供的pca函數(shù)對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行降維，測(cè)試樣本數(shù)據(jù)使用訓(xùn)練樣本的降維矩陣進(jìn)行降維處理；用pca函數(shù)生成的降維數(shù)據(jù)中，根據(jù)特征值的累積貢獻(xiàn)率不同可生成不同的降維矩陣，累積貢獻(xiàn)率是指降維后能保持原有數(shù)據(jù)的真實(shí)率，因此，貢獻(xiàn)率越大(越接近100%)，則降維后的數(shù)據(jù)越能更真實(shí)的反映原始數(shù)據(jù)，但貢獻(xiàn)率越大，則數(shù)據(jù)維度減少的就越少，從而帶來降維效果不明顯的問題；貢獻(xiàn)率越小，則數(shù)據(jù)維度減少的就越多，降維效果非常明顯，但降維后的數(shù)據(jù)與原始數(shù)據(jù)偏離會(huì)明顯加大。

本實(shí)驗(yàn)依次選擇PCA降維貢獻(xiàn)率大于等于0.95、0.96、0.97、0.98所對(duì)應(yīng)的降維矩陣對(duì)訓(xùn)練樣本和測(cè)試樣本數(shù)據(jù)進(jìn)行降維處理。

3.2.3 LVQ神經(jīng)網(wǎng)絡(luò)參數(shù)的選擇

Matlab使用lvqnet 函數(shù)創(chuàng)建LVQ神經(jīng)網(wǎng)絡(luò)，語法：net = lvqnet(S1,LR,LF)，參數(shù)S1是指隱含層神經(jīng)元數(shù)量，參數(shù)LR是指神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速率，默認(rèn)值是0.01，參數(shù)LF是指神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)函數(shù)，默認(rèn)學(xué)習(xí)函數(shù)是learnlv1。

(1)隱含層單元數(shù)的確定

在神經(jīng)網(wǎng)絡(luò)應(yīng)用過程中，神經(jīng)元數(shù)目太少，神經(jīng)網(wǎng)絡(luò)權(quán)值無法獲取更多有用的信息，從而無法實(shí)現(xiàn)較高的分類正確率；若神經(jīng)元數(shù)目太多，則會(huì)增加訓(xùn)練時(shí)間，且分類正確率未必會(huì)隨神經(jīng)元數(shù)目的增加而增加，因此合理選擇神經(jīng)元數(shù)目非常重要。

對(duì)于神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中神經(jīng)元數(shù)目的選擇，許多研究人員進(jìn)行了廣泛研究，提出了多種確定神經(jīng)元數(shù)目的參考公式，根據(jù)Kolmogorov[7]定理可知，針對(duì)只有3層神經(jīng)元的人工神經(jīng)網(wǎng)絡(luò)，給出了輸入層神經(jīng)元數(shù)目Nin與隱層神經(jīng)元數(shù)目Nhid之間的等量關(guān)系[8]：

Nhid=2Nin+1

(4)

其中Nin為輸入單元數(shù)，Nhid為隱含層單元數(shù)。本實(shí)驗(yàn)選擇不同的PCA降維貢獻(xiàn)率，將得到不同的輸入單元數(shù)，因此，具體的隱含層神經(jīng)元數(shù)目要根據(jù)PCA降維結(jié)果進(jìn)行計(jì)算確定。

(2)學(xué)習(xí)速率的確定

在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中，較大的學(xué)習(xí)速率可讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)快速接近訓(xùn)練目標(biāo)，但隨后會(huì)造成神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)在訓(xùn)練目標(biāo)附近振蕩而不會(huì)收斂；較小的學(xué)習(xí)速率會(huì)帶來神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度慢的問題；在本實(shí)驗(yàn)中，考慮到學(xué)習(xí)數(shù)據(jù)龐大，不宜選擇較小的學(xué)習(xí)速率，經(jīng)過反復(fù)研究，本實(shí)驗(yàn)選擇0.05作為學(xué)習(xí)速率。

(3)學(xué)習(xí)函數(shù)的確定

神經(jīng)網(wǎng)絡(luò)可選擇不同的函數(shù)來逼近最優(yōu)解，LVQ神經(jīng)網(wǎng)絡(luò)提供了兩個(gè)學(xué)習(xí)函數(shù)，分別是learnlv1和learnlv2，如果在初始化神經(jīng)網(wǎng)絡(luò)時(shí)不指定學(xué)習(xí)函數(shù)，則默認(rèn)使用learnlv1作為學(xué)習(xí)函數(shù)，本實(shí)驗(yàn)選擇learnlv1作為L(zhǎng)VQ神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)函數(shù)。

3.2.4實(shí)驗(yàn)程序設(shè)計(jì)

本實(shí)驗(yàn)程序設(shè)計(jì)步驟描述如下：

%=====讀取訓(xùn)練樣本數(shù)據(jù)=====%

1)f_train_img = fopen('database rain-images.idx3-ubyte','r','b'); %打開訓(xùn)練樣本數(shù)據(jù)集文件

2)讀取圖片數(shù)量(train_img_num)等數(shù)據(jù)，初始化訓(xùn)練樣本矩陣train_img

3)for i=1: train_img_num %循環(huán)讀取訓(xùn)練樣本數(shù)據(jù)文件中手寫數(shù)字圖片數(shù)據(jù)

4)train_img (:,i)=uint8(fread(f_train_img,784,'uchar'));

5)End

%=====根據(jù)訓(xùn)練樣本數(shù)據(jù)生成降維矩陣=====%

6)[pc,score,latent,tsquare] = pca(train_img); %獲取PCA降維數(shù)據(jù)

7)根據(jù)PCA函數(shù)運(yùn)行結(jié)果，計(jì)算累計(jì)貢獻(xiàn)率，選擇貢獻(xiàn)率大于等于95%、96%、97%、98%、99%的特征值對(duì)應(yīng)的特征向量，生成降維矩陣pca_matrix

8)用降維矩陣為訓(xùn)練樣本數(shù)據(jù)進(jìn)行降維處理，得到降維結(jié)果after_pca_train

%=====讀取訓(xùn)練樣本數(shù)據(jù)標(biāo)簽值=====%

9)f_train_index=fopen('database rain-labels.idx1-ubyte','r','b'); %打開訓(xùn)練樣本標(biāo)簽數(shù)據(jù)文件

10)讀取標(biāo)簽數(shù)量(train_index_num)等數(shù)據(jù)，初始化訓(xùn)練樣本標(biāo)簽矩陣train_index

11)for i=1: train_index_num %循環(huán)讀取訓(xùn)練樣本數(shù)據(jù)對(duì)應(yīng)的真實(shí)數(shù)字值

12)train_index(1,i)=uint8(fread(f_train_index,1,'uchar'))+1;

13)end

%=====讀取測(cè)試樣本數(shù)據(jù)=====%

14)f_test_img=fopen('database 10k-images.idx3-ubyte','r','b'); %打開測(cè)試樣本數(shù)據(jù)集文件

15)讀取圖片數(shù)量(test_img_num)等數(shù)據(jù)，初始化測(cè)試樣本矩陣test_img

16)for i=1: test_img_num %循環(huán)讀取測(cè)試樣本文件中的相應(yīng)數(shù)據(jù)

17)test_img(1,i)=uint8(fread(f_test_img,784,'uchar'));

18)end

19)用降維矩陣為測(cè)試樣本數(shù)據(jù)進(jìn)行降維處理，得到降維結(jié)果after_pca_test

%=====讀取測(cè)試樣本數(shù)據(jù)標(biāo)簽值=====%

20)f_test_index=fopen('database 10k-labels.idx1-ubyte','r','b'); %打開測(cè)試樣本標(biāo)簽數(shù)據(jù)文件

21)讀取標(biāo)簽數(shù)量(test_index_num)等數(shù)據(jù)，初始化測(cè)試樣本標(biāo)簽矩陣test_index

22)for i=1: test_index_num %循環(huán)讀取測(cè)試樣本數(shù)據(jù)對(duì)應(yīng)的真實(shí)數(shù)字值

23)test_index(:,i)=uint8(fread(f_test_index,1,'uchar'))+1;

24)end

25)T=ind2vec(train_index);

%=====創(chuàng)建、初始化、訓(xùn)練網(wǎng)絡(luò)=====%

26)net=lvqnet(隱含層神經(jīng)元數(shù)量,0.05); %創(chuàng)建LVQ神經(jīng)網(wǎng)絡(luò)

27)net=init(net); %初始化LVQ神經(jīng)網(wǎng)絡(luò)

28)net.trainparam.epochs=50; % 指定最大訓(xùn)練次數(shù)

29)net.trainParam.goal=0.01; % 指定訓(xùn)練目標(biāo)最小誤差

30)net=train(net,after_pca_train,T);%訓(xùn)練網(wǎng)絡(luò)

%=====網(wǎng)絡(luò)仿真結(jié)果=====%

31)train_result =vec2ind(net(after_pca_train'));%用訓(xùn)練數(shù)據(jù)進(jìn)行仿真

32)sum(train_result==train_index)/train_index_num %計(jì)算訓(xùn)練樣本數(shù)據(jù)的分類正確率

33)test_result=vec2ind(net(after_pca_test')); %用測(cè)試樣本數(shù)據(jù)仿真

34)sum(test_result==test_index)/test_index_num %計(jì)算測(cè)試樣本數(shù)據(jù)的分類正確率

3.2.5 實(shí)驗(yàn)結(jié)果及分析

圖6是LVQ神經(jīng)網(wǎng)絡(luò)訓(xùn)練圖，參數(shù)指定為：PCA降維累積貢獻(xiàn)率>=0.95，神經(jīng)網(wǎng)絡(luò)輸入單元數(shù)154，隱含層神經(jīng)元數(shù)量309，迭代次數(shù)：50。

圖6 LVQ神經(jīng)網(wǎng)絡(luò)訓(xùn)練圖

表2 是按PCA降維累積貢獻(xiàn)率不同而進(jìn)行的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)表：

表2 基于LVQ神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別實(shí)驗(yàn)結(jié)果

其中：LVQ神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)量根據(jù)公式(4)計(jì)算得出，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速率：0.05，迭代次數(shù)：50。

圖7是PCA降維累積貢獻(xiàn)率>=0.95時(shí)訓(xùn)練的均方誤差圖：

圖7 神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果的均方誤差圖

分析實(shí)驗(yàn)結(jié)果可得：(1)LVQ神經(jīng)網(wǎng)絡(luò)對(duì)MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)的識(shí)別率在指定相應(yīng)參數(shù)時(shí)(見表2)，識(shí)別準(zhǔn)確率大于93%，是一個(gè)較理想的識(shí)別效果。(2)隨著指定的PCA降維累積貢獻(xiàn)率的提高，輸入單元數(shù)也大幅度增多，但訓(xùn)練樣本與測(cè)試樣本數(shù)據(jù)的識(shí)別率并未因輸入單元數(shù)的增加而明顯提高。(3)LVQ神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間隨輸入單元數(shù)的增加而大幅提高。

通過實(shí)驗(yàn)結(jié)果還可得出PCA降維累積貢獻(xiàn)率選擇的方法：在進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，如果原始數(shù)據(jù)維度較高，應(yīng)該進(jìn)行PCA降維處理，選擇一個(gè)合適的PCA降維累積貢獻(xiàn)率非常重要，本實(shí)驗(yàn)選擇累積貢獻(xiàn)率為0.95時(shí)效果較好，不但學(xué)習(xí)訓(xùn)練速度快，而且可取得滿意的分類結(jié)果。

4.結(jié)語

手寫數(shù)字識(shí)別不但在實(shí)際生活中有著廣泛的應(yīng)用，也是模式識(shí)別重點(diǎn)研究的領(lǐng)域之一，目前研究人員運(yùn)用多種識(shí)別方法對(duì)手寫數(shù)字識(shí)別開展了廣泛的實(shí)驗(yàn)研究，本文提出基于LVQ神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別的方法，采用最廣泛的手寫數(shù)字識(shí)別數(shù)據(jù)庫(kù)MNIST進(jìn)行了實(shí)驗(yàn)研究，實(shí)驗(yàn)結(jié)果對(duì)手寫數(shù)字識(shí)別方面的研究有較好的參考價(jià)值。