李溦 李天宇 李增輝

OCR（Optical Character Recognition，光學(xué)字符識(shí)別）是通過(guò)檢測(cè)字符暗、亮的模式確定它的形狀，然后利用字符識(shí)別將形狀翻譯成計(jì)算機(jī)字符的過(guò)程。光學(xué)字符識(shí)別是OCR 的核心，然而對(duì)于許多類型的機(jī)器學(xué)習(xí)算法來(lái)說(shuō)，這種圖像處理都是一項(xiàng)艱巨的任務(wù)。

光學(xué)符號(hào)識(shí)別原理可分為以下三方面：相關(guān)匹配識(shí)別、概率判定準(zhǔn)則、句法模式識(shí)別。相關(guān)匹配識(shí)別：根據(jù)字符的直接形象，提取簡(jiǎn)單特征，利用相關(guān)匹配進(jìn)行分析識(shí)別。這種方法的優(yōu)點(diǎn)是既可以在時(shí)間區(qū)域和空間區(qū)域進(jìn)行，也可以在頻率區(qū)域進(jìn)行，應(yīng)用廣泛；概率判定準(zhǔn)則：利用文字統(tǒng)計(jì)特性中的概率分布，采用概率識(shí)別字符的方法；句法模式識(shí)別：根據(jù)字符結(jié)構(gòu)，用有限文法結(jié)構(gòu)，形成形式語(yǔ)句，識(shí)別字符。在OCR的發(fā)展進(jìn)程中，人工神經(jīng)網(wǎng)絡(luò)以及模糊數(shù)學(xué)理論的發(fā)展，推動(dòng)了OCR技術(shù)的進(jìn)一步發(fā)展。

本文通過(guò)公開(kāi)的光學(xué)字符數(shù)據(jù)集來(lái)進(jìn)行統(tǒng)計(jì)描述，并通過(guò)光學(xué)字符數(shù)據(jù)集判斷識(shí)別每個(gè)字符需要選取哪些恰當(dāng)?shù)奶卣?，建立?shù)學(xué)模型來(lái)識(shí)別該字符。最后對(duì)模型進(jìn)行評(píng)價(jià)，用70%的數(shù)據(jù)來(lái)學(xué)習(xí)訓(xùn)練模型，30%的數(shù)據(jù)進(jìn)行驗(yàn)證測(cè)試正確率，并提出推廣。首先，對(duì)26個(gè)英文字母進(jìn)行轉(zhuǎn)化處理，分別轉(zhuǎn)化為相應(yīng)的26個(gè)數(shù)字，轉(zhuǎn)化之后，利用SPSS軟件對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，剔除了3個(gè)無(wú)用樣本數(shù)據(jù)；其次，建立數(shù)據(jù)統(tǒng)計(jì)模型，運(yùn)用神經(jīng)網(wǎng)絡(luò)算法處理數(shù)據(jù)，在利用神經(jīng)網(wǎng)絡(luò)運(yùn)算的過(guò)程中，編寫(xiě)MATLAB神經(jīng)網(wǎng)絡(luò)算法，將Excel文件中的百分之七十樣本數(shù)據(jù)導(dǎo)入MATLAB程序，對(duì)數(shù)據(jù)進(jìn)行演算推理，從而得出光學(xué)符號(hào)數(shù)據(jù)的規(guī)律；最后，在建立模型的過(guò)程，可能存在偶然性，所以，還需要利用剩余百分之三十的光學(xué)字符數(shù)據(jù)，對(duì)模型進(jìn)行檢驗(yàn)；然后，根據(jù)檢驗(yàn)結(jié)果，對(duì)所建立的模型進(jìn)行評(píng)價(jià)分析，進(jìn)一步完善模型。

BP神經(jīng)網(wǎng)絡(luò)：一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，屬于目前世界上應(yīng)用最廣泛，前景最好的神經(jīng)網(wǎng)絡(luò)模型。BP神經(jīng)網(wǎng)絡(luò)能夠血液西和存儲(chǔ)大量的輸入與輸出的映射關(guān)系，而且不需要提前揭示描述映射關(guān)系的數(shù)學(xué)方程，并且人工的神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)來(lái)源于人腦，具有并行處理特征，并且在計(jì)算機(jī)的高速運(yùn)算之下，可以大大的提高數(shù)據(jù)處理以及其他各方面的工作速度，普通計(jì)算機(jī)功能大都取決于程序中給出的知識(shí)和能力，在BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建中，編程處理是十分重要的一個(gè)環(huán)節(jié)。

網(wǎng)絡(luò)結(jié)構(gòu)的確定主要就是隱層神經(jīng)元個(gè)數(shù)的確定。如果隱層神經(jīng)元的個(gè)數(shù)太多會(huì)降低網(wǎng)絡(luò)的泛化功能，而且還將會(huì)使訓(xùn)練的時(shí)間加長(zhǎng)，使系統(tǒng)的效率降低；而如果隱層神經(jīng)元個(gè)數(shù)太少則就不能達(dá)到所規(guī)定的訓(xùn)練誤差。一般可以根據(jù)試算決定，當(dāng)然也可以參考這個(gè)公式： ，其中l(wèi)為隱層神經(jīng)元的個(gè)數(shù)，n與m分別為輸入神經(jīng)元的個(gè)數(shù)和輸出神經(jīng)元的個(gè)數(shù)。

網(wǎng)絡(luò)初始化的權(quán)值與閾值，可以采用Matlab所提供的初始化函數(shù)newff（）來(lái)建立一個(gè)BP神經(jīng)網(wǎng)絡(luò)：

函數(shù)newff是建立一個(gè)可訓(xùn)練的前饋網(wǎng)絡(luò)。參數(shù)說(shuō)明如下：

PR：Rx2的矩陣用來(lái)定義R個(gè)輸入向量的最大值與最小值；

Si：第i層的神經(jīng)元個(gè)數(shù)；

TFi：第i層的傳遞函數(shù)，默認(rèn)函數(shù)是tansig函數(shù)；

BTF：訓(xùn)練函數(shù)，默認(rèn)函數(shù)是trainlm函數(shù)；

BLF：權(quán)值/閥值學(xué)習(xí)函數(shù)，默認(rèn)函數(shù)是learngdm函數(shù)；

PF：性能函數(shù)，默認(rèn)函數(shù)是mse函數(shù)；

net為最新生成的BT神經(jīng)網(wǎng)絡(luò)。

MATLAB軟件提供了很多訓(xùn)練不同的神經(jīng)網(wǎng)絡(luò)的函數(shù)，這使得對(duì)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練變得十分簡(jiǎn)單，其中，由動(dòng)量的梯度下降法為代表，訓(xùn)練函數(shù)為traingdx。函數(shù)的結(jié)構(gòu)為：

上式的變量表達(dá)與6.3.2中的變量表達(dá)意義相同，此處不再多說(shuō)。當(dāng)網(wǎng)絡(luò)訓(xùn)練達(dá)到了最大的訓(xùn)練次數(shù)，或者當(dāng)網(wǎng)絡(luò)的誤差平方和小于期望的最小誤差時(shí)，那么網(wǎng)絡(luò)就會(huì)停止訓(xùn)練

在訓(xùn)練好的網(wǎng)絡(luò)中輸入剩余的樣本，并判斷所給的樣本值與輸出的樣本值是否相等，如果相等的話，那么就說(shuō)明該神經(jīng)網(wǎng)絡(luò)具有很好的泛化功能，就能夠應(yīng)用于此樣本整體的預(yù)測(cè)機(jī)選；如果不符的話，就要改動(dòng)程序，調(diào)整網(wǎng)絡(luò)，或者也可以加大樣本的訓(xùn)練數(shù)，對(duì)該網(wǎng)絡(luò)再次訓(xùn)練。此過(guò)程可以采用Matlab 中的sim（）函數(shù)來(lái)實(shí)現(xiàn)。Sire的表達(dá)式是：A=sire（net，P），其中，A為輸出數(shù)據(jù)，P為輸入的樣本數(shù)據(jù)，其他的參數(shù)意義與之前一樣。當(dāng)然，此過(guò)程還可以運(yùn)用傳遞函數(shù)分布來(lái)分步實(shí)現(xiàn)，不過(guò)介于本題運(yùn)用神經(jīng)網(wǎng)絡(luò)來(lái)解答，在此就不必多說(shuō)了。

通過(guò)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)和所采用的函數(shù)進(jìn)行模擬訓(xùn)練，輸入數(shù)據(jù)P是要預(yù)測(cè)的輸入數(shù)據(jù)，輸出數(shù)據(jù)A就是要得到的預(yù)測(cè)數(shù)據(jù)，之后與所給結(jié)果進(jìn)行對(duì)比，得出結(jié)論。最后也可以對(duì)網(wǎng)絡(luò)進(jìn)行保存，以便以后的運(yùn)用與對(duì)比。

根據(jù)題意，我們將所給附件的前14000樣本運(yùn)用MATLAB軟件進(jìn)行運(yùn)算，在此過(guò)程中，可以分為以下幾步：

1、由于數(shù)據(jù)較多，不能直接輸入，我們就將數(shù)據(jù)通過(guò)Excel導(dǎo)入到MATLAB中，此文件可在附件中看到，具體代碼如下：

num1=xlsread（'test 123.xls'，'Sheet2'，'A2：Q20001'）；

input_train=num1（1：14000，2：17）'；

output_train=num1（1：14000，1）'；

input_test=num1（14000：20000，2：17）'；

2、將樣本數(shù)據(jù)進(jìn)行歸一化處理：

[inputn，inputps]=mapminmax（input_train）；

[outputn，outputps]=mapminmax（output_train）；

3、初始化網(wǎng)絡(luò)結(jié)果，設(shè)置參數(shù)，帶入數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

epochs是設(shè)置的迭代次數(shù)；lr是設(shè)置的學(xué)習(xí)率；goal是設(shè)置的目標(biāo)值。

net=newff（inputn，outputn，5）；

net，trainParam.epochs=10000；

net.trainParam.lr=0.001；

net.trainParam.goal=0.0000004；

net=train（net，inputn，outputn）；

4、設(shè)置好參數(shù)，將預(yù)測(cè)數(shù)據(jù)進(jìn)行歸一化處理，然后將預(yù)測(cè)結(jié)果輸出，并將輸出結(jié)果進(jìn)行反歸一化處理，

inputn_test=mapminmax（'apply'，input_test，inputps）；

an=sim（net，inputn_test）；

BPoutput+mapminmax（'reverse'，an，outputps）；

從MATLAB的運(yùn)行結(jié)果可以看出，根據(jù)前70%的數(shù)據(jù)訓(xùn)練出來(lái)的神經(jīng)網(wǎng)絡(luò)，將剩余30%的數(shù)據(jù)代入求解，發(fā)現(xiàn)與所給數(shù)據(jù)擬合度相當(dāng)高，從而可以得出此模型建立的正確性，但其中的某些數(shù)據(jù)還不能夠準(zhǔn)確得出，說(shuō)明該模型還不夠完美，還需做更多的數(shù)據(jù)處理來(lái)對(duì)模型進(jìn)行改進(jìn)。

BP算法理論具有可靠、嚴(yán)謹(jǐn)、精度高、通用性好等優(yōu)點(diǎn)，但是標(biāo)準(zhǔn)的BP算法存在以下的缺點(diǎn)：收斂的速度慢；很容易陷入局部的極小值；難以確定隱層數(shù)和隱層節(jié)點(diǎn)的個(gè)數(shù)。因此出現(xiàn)了很多改進(jìn)的算法。

本文只對(duì)大家介紹利用動(dòng)量法改進(jìn)BP算法。標(biāo)準(zhǔn)的BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降的靜態(tài)尋優(yōu)方法，在修正W（K）時(shí)只是按照第K步的負(fù)梯度方向進(jìn)行修正，但沒(méi)有考慮到以前的積累經(jīng)驗(yàn)，也就是以前時(shí)刻的梯度方向，從而經(jīng)常使學(xué)習(xí)過(guò)程發(fā)生振蕩，收斂緩慢。動(dòng)量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一部分迭加到本次誤差計(jì)算所得的權(quán)值調(diào)整量上，作為本次的實(shí)際權(quán)值調(diào)整。

（作者單位：1.華北理工大學(xué)電氣四班；

2.華北理工大學(xué)電氣三班）