翟高粵

摘要：數(shù)字識(shí)別（Digit Recognition），是計(jì)算機(jī)從紙質(zhì)文檔，照片，或其他來(lái)源接收和理解并識(shí)別可讀的數(shù)字的能力。根據(jù)數(shù)字來(lái)源的產(chǎn)生方式的不同，目前數(shù)字識(shí)別問(wèn)題可以區(qū)分為手寫(xiě)體數(shù)字識(shí)別，印刷體數(shù)字識(shí)別，光學(xué)數(shù)字識(shí)別，自然場(chǎng)景下的數(shù)字識(shí)別等，具有很大的實(shí)際應(yīng)用價(jià)值。目前比較受到關(guān)注的問(wèn)題主要是手寫(xiě)體數(shù)字識(shí)別，由于其具有MNIST這種大型標(biāo)準(zhǔn)易用的成熟數(shù)據(jù)集，簡(jiǎn)單的0-9數(shù)字識(shí)別已經(jīng)被作為計(jì)算機(jī)視覺(jué)領(lǐng)域的入門問(wèn)題。介紹手寫(xiě)數(shù)字識(shí)別的特點(diǎn)和應(yīng)用，并指出傳統(tǒng)研究方法及其不足之處;然后引入深度學(xué)習(xí)的概念，以卷積神經(jīng)網(wǎng)絡(luò)為例，詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵技術(shù)特點(diǎn)，最后通過(guò)一個(gè)實(shí)例說(shuō)明卷積神經(jīng)網(wǎng)絡(luò)在手寫(xiě)數(shù)字識(shí)別方面的應(yīng)用。

關(guān)鍵詞：MNIST;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);手寫(xiě)數(shù)字

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)志碼：A

0引言

目前，利用計(jì)算機(jī)進(jìn)行手寫(xiě)數(shù)字識(shí)別應(yīng)用廣泛，它是人類與計(jì)算機(jī)進(jìn)行交互的一種方法?，F(xiàn)在已經(jīng)有多種方法進(jìn)行手寫(xiě)數(shù)字識(shí)別，識(shí)別方法的性能通常取決于一些屬性，如數(shù)字的大小、書(shū)寫(xiě)風(fēng)格和識(shí)別率。手寫(xiě)數(shù)字識(shí)別的主要挑戰(zhàn)之一是個(gè)人筆跡風(fēng)格（即數(shù)字尺寸和風(fēng)格）的不一致性，以及收集筆跡的設(shè)備類型，因此需要有一個(gè)能夠自動(dòng)識(shí)別高識(shí)別率的手寫(xiě)模式的系統(tǒng)。在過(guò)去的手寫(xiě)體數(shù)字識(shí)別中，提出了許多識(shí)別方法，比如基于反向傳播神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別方法、貝葉斯分類器的進(jìn)化策略和梯度下降方法。本論述通過(guò)使用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，可以降低手寫(xiě)數(shù)字的分類錯(cuò)誤數(shù)量，并減少完成識(shí)別所花費(fèi)的時(shí)間。

1深度學(xué)習(xí)簡(jiǎn)介

加拿大多倫多大學(xué)教授Geoffrey Hinton長(zhǎng)期堅(jiān)持神經(jīng)網(wǎng)絡(luò)的研究，但由于當(dāng)時(shí)支持向量機(jī)的流行，神經(jīng)網(wǎng)絡(luò)相關(guān)的研究工作遇到了重重阻礙。2006年，Geof-frey Hinton提出了一種逐層預(yù)訓(xùn)練的算法，可以有效地初始化Deep BeliefNetworks（DBN）網(wǎng)絡(luò)，從而使得訓(xùn)練大規(guī)模、深層數(shù)（上百萬(wàn)的參數(shù)量）的神經(jīng)網(wǎng)絡(luò)成為可能。在論文中，Geoffrey Hinton把深層的神經(jīng)網(wǎng)絡(luò)叫做Deep Neural Network，這一塊的研究也因此稱為Deep karning（深度學(xué)習(xí)）。本論述將討論深度學(xué)習(xí)的典型網(wǎng)絡(luò)一卷積神經(jīng)網(wǎng)絡(luò)，這也是層數(shù)可以輕松達(dá)到上百層的一類神經(jīng)網(wǎng)絡(luò)。

2卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

2.1卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一個(gè)典型網(wǎng)絡(luò)，通過(guò)充分利用局部相關(guān)性和權(quán)值共享的思想，大大地減少了網(wǎng)絡(luò)的參數(shù)量，從而提高訓(xùn)練效率，更容易實(shí)現(xiàn)超大規(guī)模的深層網(wǎng)絡(luò)。2012年，加拿大多倫多大學(xué)Al-ex Krizhevskv將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在大規(guī)模圖片識(shí)別挑戰(zhàn)賽ILsvRc 2012上，在ImageNet數(shù)據(jù)集上取得了15.3%的Top-5錯(cuò)誤率，排名第一，相對(duì)于第二名在Top-5錯(cuò)誤率上降低了10.9%。這一巨大突破引起了業(yè)界強(qiáng)烈關(guān)注，卷積神經(jīng)網(wǎng)絡(luò)迅速成為計(jì)算機(jī)視覺(jué)領(lǐng)域的新寵。隨后在一系列的任務(wù)中，基于卷積神經(jīng)網(wǎng)絡(luò)的形形色色的模型相繼被提出，并在原有的性能上取得了巨大提升。

2.2卷積神經(jīng)網(wǎng)絡(luò)的基本原理

在數(shù)字圖像處理中有一種基本的處理方法叫線性濾波。它將待處理的二維數(shù)字看作一個(gè)大型矩陣，圖像中的每個(gè)像素可以看作矩陣中的每個(gè)元素，像素的大小就是矩陣中的元素值。而使用的濾波工具是另一個(gè)小型矩陣，這個(gè)矩陣就被稱為卷積核。卷積核的大小遠(yuǎn)遠(yuǎn)小于圖像矩陣，具體的計(jì)算方式就是對(duì)于圖像大矩陣中的每個(gè)元素，計(jì)算周圍的像素和卷積核對(duì)應(yīng)位置的乘積，之后將結(jié)果相加最終得到的終值就是該像素的值，這樣就完成了一次卷積。

如果采用卷積神經(jīng)網(wǎng)絡(luò)來(lái)替代以上提到的手寫(xiě)數(shù)字識(shí)別淺層神經(jīng)網(wǎng)絡(luò)，采用三個(gè)卷積層，和兩個(gè)全連接層，一共只需要13450個(gè)參數(shù)，而且識(shí)別的準(zhǔn)確率大幅上升。經(jīng)過(guò)測(cè)試，可由原來(lái)的91%上升到98%以上。由此可見(jiàn)，卷積層的參數(shù)量非常少，主要的參數(shù)量集中在全連接層。由于卷積層將輸入特征維度降低很多，從而使得全連接層的參數(shù)量不至于過(guò)大，因此通過(guò)卷積神經(jīng)網(wǎng)絡(luò)可以顯著降低網(wǎng)絡(luò)參數(shù)量，同時(shí)增加網(wǎng)絡(luò)深度，大幅提高了識(shí)別的準(zhǔn)確率。

3卷積神經(jīng)網(wǎng)絡(luò)在手寫(xiě)數(shù)字識(shí)別的關(guān)鍵技術(shù)介紹

卷積神經(jīng)網(wǎng)絡(luò)可以應(yīng)用在人工智能的很多領(lǐng)域，比如圖像和自然語(yǔ)言處理等等。其結(jié)合特征提取和目標(biāo)訓(xùn)練為一體的模型，能夠很好地利用已有的信息對(duì)結(jié)果進(jìn)行反饋訓(xùn)練。對(duì)手寫(xiě)數(shù)字識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，同樣也是充分利用提取的手寫(xiě)數(shù)字的圖像特征進(jìn)行訓(xùn)練并最終實(shí)現(xiàn)手寫(xiě)數(shù)字的識(shí)別。

3.1 MNIST數(shù)據(jù)集介紹

在本論述中，利用MNIST手寫(xiě)數(shù)字的數(shù)據(jù)庫(kù)作為實(shí)驗(yàn)數(shù)據(jù)，MNIST數(shù)據(jù)庫(kù)中60000個(gè)圖片作為訓(xùn)練數(shù)據(jù)，另外10000個(gè)圖片作為測(cè)試數(shù)據(jù)，每張圖片分別顯示0-9中的某一個(gè)數(shù)字，樣本中還包含了各個(gè)訓(xùn)練數(shù)據(jù)相應(yīng)的標(biāo)簽，其中標(biāo)簽集包含了0，1，2，3，4，5，6，7，8，9一共10個(gè)分類數(shù)據(jù)。該數(shù)據(jù)集由美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所（NIST）開(kāi)發(fā)，數(shù)據(jù)庫(kù)的每個(gè)圖像為28x28像素的灰度圖像。訓(xùn)練數(shù)據(jù)集如圖1所示。

3.2卷積神經(jīng)網(wǎng)絡(luò)在手寫(xiě)數(shù)字識(shí)別中的原理和應(yīng)用

卷積神經(jīng)網(wǎng)絡(luò)（cNN）是人工神經(jīng)網(wǎng)絡(luò)（ANN）的一種特殊類型。CNN由五個(gè)基本層組成，分別是輸入層、卷積層、池化層、全連接層和輸出層。CNN主要有兩個(gè)處理階段：特征學(xué)習(xí)階段和分類階段。每個(gè)階段由一個(gè)或多個(gè)層組成。特征學(xué)習(xí)階段通過(guò)結(jié)合兩種層（即卷積層和池化層）來(lái)實(shí)現(xiàn)。這個(gè)階段提供了從訓(xùn)練示例中提取的最重要的特征，然后把這些提取的特征傳送到全連接的ANN層進(jìn)行數(shù)字分類識(shí)別。CNN手寫(xiě)數(shù)字識(shí)別的結(jié)構(gòu)圖，如圖2所示。

圖2中網(wǎng)絡(luò)一共有8層，下面依次對(duì)各層的作用進(jìn)行介紹。

第1層為輸入層，輸人大小為28*28像素的手寫(xiě)數(shù)字圖片。

第2層對(duì)輸入圖像進(jìn)行第一次卷積運(yùn)算，使用的是6個(gè)大小為5*5的卷積核，卷積結(jié)果是6幅大小為28*28的圖像。

第3層對(duì)第2層卷積運(yùn)算的結(jié)果進(jìn)行池化，使用2*2的核進(jìn)行池化，得到了6個(gè)14*14的特征圖。

第4層對(duì)第3層的輸出進(jìn)行第二次卷積運(yùn)算，卷積核的大小是5*5，得到的16幅10*10的特征圖。

第5層對(duì)第4層卷積運(yùn)算的結(jié)果進(jìn)行池化，也是使用2*2的核進(jìn)行池化，所以得到12個(gè)7*7的特征圖。

第6層是卷積層，對(duì)第5層的輸出結(jié)果進(jìn)行全連接，形成256個(gè)1*1的特征圖。

第7層是全連接層，對(duì)第6層的輸出進(jìn)行全連接，形成128個(gè)1*1的特征圖。

第8層是輸出層也是全連接層，共有10個(gè)節(jié)點(diǎn)，分別代表0-9這10個(gè)數(shù)字。每個(gè)神經(jīng)元的激活值表示對(duì)應(yīng)字符的響應(yīng)強(qiáng)度，最大值則為對(duì)應(yīng)的識(shí)別結(jié)果。

3.3實(shí)驗(yàn)結(jié)果分析

數(shù)據(jù)是學(xué)習(xí)過(guò)程中不可分割的一部分，它提供了實(shí)驗(yàn)的指導(dǎo)思想和建立一個(gè)準(zhǔn)確的CNN。在本論述案例研究中，從60000個(gè)樣本中隨機(jī)抽取30000個(gè)樣本作為訓(xùn)練示例，另外3000個(gè)樣本用于驗(yàn)證，最后10000個(gè)測(cè)試樣本用于測(cè)試的示例。實(shí)驗(yàn)表明，進(jìn)行到14040次迭代之后，損失率和準(zhǔn)確率趨于穩(wěn)定。最終準(zhǔn)確率達(dá)到98%以上。實(shí)驗(yàn)結(jié)果如圖3所示。

4總結(jié)

本論述首先介紹手寫(xiě)數(shù)字識(shí)別的特點(diǎn)和應(yīng)用，進(jìn)而引入深度學(xué)習(xí)的概念，并詳細(xì)介紹了深度學(xué)習(xí)的典型網(wǎng)絡(luò)一卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和基本原理，最后通過(guò)使用TensorFlow2.3建立卷積神經(jīng)網(wǎng)絡(luò)，對(duì)卷積的原理和步驟進(jìn)行詳細(xì)說(shuō)明?？傮w而言，在手寫(xiě)數(shù)字識(shí)別處理方面，卷積神經(jīng)網(wǎng)絡(luò)方法不僅在準(zhǔn)確性方面優(yōu)于傳統(tǒng)方法，而且在從運(yùn)行的效率和魯棒性也優(yōu)于傳統(tǒng)方法。