祝世平， 周富強(qiáng)， 魏新國(guó)， 溫思寒

(北京航空航天大學(xué) 儀器科學(xué)與光電工程學(xué)院， 北京 100191)

基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別教學(xué)實(shí)驗(yàn)

祝世平， 周富強(qiáng)， 魏新國(guó)， 溫思寒

(北京航空航天大學(xué) 儀器科學(xué)與光電工程學(xué)院， 北京 100191)

圖像識(shí)別是“圖像處理”教學(xué)中的重要內(nèi)容。本文在Linux環(huán)境下使用iTorch notebook可視化界面利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)mnist手寫數(shù)字體的準(zhǔn)確識(shí)別，并詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)的原理，給出直觀的實(shí)驗(yàn)結(jié)果。教學(xué)實(shí)踐表明，通過(guò)具有應(yīng)用性和趣味性的實(shí)驗(yàn)可以提高學(xué)生的積極性，加深對(duì)課程理論的認(rèn)知，培養(yǎng)其分析問(wèn)題和解決問(wèn)題的能力。

圖像識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；iTorch

0 引言

圖像識(shí)別是“數(shù)字圖像處理”課程的重要內(nèi)容，隨著圖像處理技術(shù)的迅速發(fā)展，圖像識(shí)別技術(shù)的應(yīng)用領(lǐng)域越來(lái)越廣泛[1]。其中，好的識(shí)別技術(shù)是關(guān)鍵所在，怎么樣提高識(shí)別率和識(shí)別的速度意義重大，直接關(guān)系到圖像識(shí)別的實(shí)用性和安全性。目前，圖像識(shí)別方法大多采用人工方式提取特征，不僅費(fèi)時(shí)費(fèi)力，而且提取困難；而深度學(xué)習(xí)是一種非監(jiān)督學(xué)習(xí)，學(xué)習(xí)過(guò)程中可以不知道樣本的標(biāo)簽值，整個(gè)過(guò)程無(wú)需人工參與也能提取到好的特征。作為實(shí)現(xiàn)深度學(xué)習(xí)的一項(xiàng)重要技術(shù)，卷積神經(jīng)網(wǎng)絡(luò)(CNN)成功訓(xùn)練了首個(gè)深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，已在圖像識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域取得卓越成績(jī)[2]。另外，在Google公司的alphGo運(yùn)用深度學(xué)習(xí)的方法戰(zhàn)勝圍棋高手李世石后，人們對(duì)深度學(xué)習(xí)的好奇掀起了高潮，故為了更好地滿足學(xué)生的求知欲，激發(fā)學(xué)生的積極性，本課程設(shè)計(jì)了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別實(shí)驗(yàn)，并在iTorch notebook可視化界面下訓(xùn)練MNIST手寫數(shù)據(jù)集，測(cè)試其識(shí)別準(zhǔn)確度。通過(guò)直觀的實(shí)驗(yàn)結(jié)果，使學(xué)生在實(shí)驗(yàn)中達(dá)到以下鍛煉：

(1)熟悉Linux開發(fā)環(huán)境，并掌握對(duì)Torch，iTorch的安裝及使用；

(2)了解深度學(xué)習(xí)，并理解卷積神經(jīng)網(wǎng)絡(luò)的概念，掌握其實(shí)現(xiàn)流程；

(3)更加深刻的理解圖像識(shí)別的原理，并對(duì)卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在圖像識(shí)別上的應(yīng)用有所掌握。

另外，實(shí)驗(yàn)提供的可視化平臺(tái)，使學(xué)生可以更直觀地對(duì)程序進(jìn)行調(diào)試及運(yùn)行，提高了其動(dòng)手實(shí)踐和分析與解決問(wèn)題的能力。

1 實(shí)驗(yàn)環(huán)境配置

本實(shí)驗(yàn)使用的 iTorch notebook 是一個(gè)通過(guò)Web界面實(shí)現(xiàn)交互的shell，其中iTorch 是 Torch 的 iPython 內(nèi)核。

首先，我們需要一臺(tái)配置好Python和Torch7的Linux系統(tǒng)，再針對(duì)iTorch notebook配置iTorch，iTorch是Torch里面的一個(gè)包，它能很輕松地顯示圖片、視頻和音頻等等，但是需要和ipython搭配使用，故需要安裝iPython。

打開終端，輸入：

wget http://ipython.scipy.org/dist/ipython-0.8.4.tar.gz

下載完畢后，輸入解壓縮命令：tar zxvf ipython-0.8.4.tar.gz

切換到解壓縮的目錄：cd ipython-0.8.4

輸入命令安裝：python setup.py install

但此時(shí)還是無(wú)法使用，需要我們?cè)侔惭bipython-notebook，安裝命令如下：sudo apt-get install ipython-notebook

然后，在終端輸入：itorch notebook，在瀏覽器中便會(huì)彈出iTorch notebook的Web界面，如圖1所示。

圖1 iTorch notebook的Web界面

點(diǎn)擊右上角的new notebook建立一個(gè)新的筆記本，界面如圖2所示。

圖2 建立新筆記本

并在In[]:命令行輸入命令測(cè)試，便輸出如下圖3的界面。

圖3 命令測(cè)試結(jié)果

由圖3可看出，該界面能夠直觀顯示出我們的輸入，并能分層次輸入，便于學(xué)生對(duì)程序更好的調(diào)試及理解。

另外，由于本次實(shí)驗(yàn)需要對(duì)圖像進(jìn)行顯示，故需要安裝image庫(kù)，在運(yùn)行itorch notebook 前在終端鍵入：luarocks install image進(jìn)行安裝。

最后，本文是針對(duì)MNIST數(shù)據(jù)庫(kù)中的數(shù)字進(jìn)行訓(xùn)練及識(shí)別，故需要對(duì)其進(jìn)行安裝，在運(yùn)行itorch notebook前在終端鍵入：luarocks install mnist完成安裝。

MNIST是一個(gè)手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)，它有60000個(gè)訓(xùn)練樣本集和10000個(gè)測(cè)試樣本集。它是NIST數(shù)據(jù)庫(kù)的一個(gè)子集。數(shù)據(jù)庫(kù)存儲(chǔ)并不是標(biāo)準(zhǔn)的圖像格式，這些圖像數(shù)據(jù)都保存在二進(jìn)制文件中，所有的圖片都經(jīng)過(guò)了尺寸標(biāo)準(zhǔn)化和中心化，圖片的大小固定為28×28。

2 實(shí)驗(yàn)設(shè)計(jì)

為了加強(qiáng)學(xué)生對(duì)卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別的理解和應(yīng)用，提高學(xué)生運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法來(lái)解決實(shí)際生活中圖像識(shí)別的能力，本實(shí)驗(yàn)要求學(xué)生自行搭建程序運(yùn)行所需環(huán)境，熟悉對(duì)Linux系統(tǒng)的使用，并給出已經(jīng)訓(xùn)練好的訓(xùn)練集，讓學(xué)生自己對(duì)測(cè)試集中的數(shù)據(jù)進(jìn)行測(cè)試，給出其準(zhǔn)確度，并隨機(jī)顯示圖片驗(yàn)證其正確性。

同時(shí)，為了讓學(xué)生更快速的進(jìn)入實(shí)驗(yàn)狀態(tài)，發(fā)揮自己的動(dòng)手實(shí)踐能力，我們給出卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，并給出該識(shí)別過(guò)程中最主要的模型建立流程。

2.1 卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Networks)是一種為了處理二維輸入數(shù)據(jù)而特殊設(shè)計(jì)的多層人工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的每層都由多個(gè)二維平面組成，而每個(gè)平面由多個(gè)獨(dú)立的神經(jīng)元組成[3-5]。

如圖4示，這是一個(gè)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò) CNN。

圖4 簡(jiǎn)單的CNN

輸入圖像通過(guò)和三個(gè)可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，卷積后在C1層產(chǎn)生三個(gè)特征映射圖。然后特征映射圖中每組的四個(gè)像素再進(jìn)行求最大值，加權(quán)值，加偏置，通過(guò)一個(gè)ReLu函數(shù)得到三個(gè)S2層的特征映射圖。這些映射圖再經(jīng)過(guò)濾波得到C3層。這個(gè)層級(jí)結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個(gè)向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。

一般地，C層為特征提取層，每個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其他特征間的位置關(guān)系也隨之確定下來(lái)；S層是特征映射層，網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射為一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。

此外，由于一個(gè)映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)，降低了網(wǎng)絡(luò)參數(shù)選擇的復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)特征提取層(C-層)都緊跟著一個(gè)用來(lái)求局部平均與二次提取的計(jì)算層(S-層)，這種特有的兩次特征提取結(jié)構(gòu)使網(wǎng)絡(luò)在識(shí)別時(shí)對(duì)輸入樣本有較高的畸變?nèi)萑棠芰Α?/p>

2.2 模型建立流程

基于深度學(xué)習(xí)的圖像識(shí)別模型流程主要是：把圖像輸入到神經(jīng)網(wǎng)絡(luò)中，利用深度學(xué)習(xí)的前向傳播和反向傳播誤差等算法來(lái)最小化損失函數(shù)，更新權(quán)值后，得到一個(gè)較優(yōu)的識(shí)別模型，然后利用此模型對(duì)新的圖像來(lái)進(jìn)行識(shí)別。

在該基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別實(shí)驗(yàn)中，最核心的部分就是此模型的建立。

首先，我們需要首先建立一個(gè)容器用來(lái)存放各種模塊：

model = nn.Sequential()

然后，放入一個(gè)reshape模塊。因?yàn)閙nist庫(kù)的原始圖片是儲(chǔ)存為1列728個(gè)像素的。我們需要把它們變成1通道28×28的一個(gè)方形圖片。

model:add(nn.Reshape(1, 28, 28))

接下來(lái)要把圖片的每個(gè)像素除以256再乘以3.2，也就是把像素的取值歸一化到0至3.2之間。

model:add(nn.MulConstant(1/256.0×3.2))

然后是第一個(gè)卷積層，它的參數(shù)按順序分別代表：輸入圖像是1通道，卷積核數(shù)量20，卷積核大小5×5，卷積步長(zhǎng)1×1，圖像留邊0×0。

model:add(nn.SpatialConvolutionMM(1, 20, 5, 5, 1, 1, 0, 0))

一個(gè)池化層，它的參數(shù)按順序分別代表：池化大小2×2，步長(zhǎng)2×2，圖像留邊0×0。

model:add(nn.SpatialMaxPooling(2, 2 , 2, 2, 0, 0))

再接一個(gè)卷積層和一個(gè)池化層，由于上一個(gè)卷積層的核的數(shù)量是20，所以這時(shí)輸入圖像的通道個(gè)數(shù)為20。

model:add(nn.SpatialConvolutionMM(20, 50, 5, 5, 1, 1, 0, 0))

model:add(nn.SpatialMaxPooling(2, 2 , 2, 2, 0, 0))

在接入全連接層之前，我們需要把數(shù)據(jù)重新排成一列，所以有需要一個(gè)reshape模塊。

model:add(nn.Reshape(4×4×50))

這個(gè)參數(shù)為什么是4×4×50，即800呢？原因是：我們的輸入是1通道28×28的圖像，經(jīng)過(guò)第一個(gè)卷積層之后變成了20通道24×24的圖像。又經(jīng)過(guò)池化層，圖像尺寸縮小一半，變?yōu)?0通道12×12。通過(guò)第二個(gè)卷積層，變?yōu)?0通道8×8的圖像，又經(jīng)過(guò)池化層縮小一半，變?yōu)?0通道4×4的圖像。所以這其中的像素一共有4×4×50=800個(gè)。

接下來(lái)是第一個(gè)全連接層。輸入為4×4×50=800，輸出為500。

model:add(nn.Linear(4×4×50, 500))

兩個(gè)全連接層之間有一個(gè)ReLU激活層。

model:add(nn.ReLU())

然后是第二個(gè)全連接層，輸入是500，輸出是10，也就代表了10個(gè)數(shù)字的輸出結(jié)果，哪個(gè)節(jié)點(diǎn)的響應(yīng)高，結(jié)果就定為對(duì)應(yīng)的數(shù)字。

model:add(nn.Linear(500, 10))

最后是一個(gè)LogSoftMax層，用來(lái)把上一層的響應(yīng)歸一化到0至1之間。

model:add(nn.LogSoftMax())

至此，模型的建立就完成了。我們還需要一個(gè)判定標(biāo)準(zhǔn)。由于我們這一次是要解決分類問(wèn)題，一般使用nn.ClassNLLCriterion這種類型的標(biāo)準(zhǔn)(Negative Log Likelihood)。

criterion = nn.ClassNLLCriterion()

到這里，網(wǎng)絡(luò)模型的部分就都已經(jīng)完成了，其具體流程圖如下圖5。

圖5 網(wǎng)絡(luò)模型流程圖

3 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)最終確定神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)(iteration)為30，其正確率如圖6所示，可達(dá)到98%以上，相比較其他算法，錯(cuò)誤率大大減少，且由觀察可知，只需迭代30次，準(zhǔn)確率便可穩(wěn)定，縮短了訓(xùn)練時(shí)間，提高了運(yùn)行速度。

圖6 6次迭代圖像識(shí)別正確率

針對(duì)訓(xùn)練好的模型，我們從測(cè)試集中隨機(jī)選取圖片進(jìn)行驗(yàn)證，其結(jié)果示于圖7和8，無(wú)論什么形式的手寫體,該算法都能夠?qū)ζ湔_的識(shí)別。

圖7圖像識(shí)別算例1測(cè)試結(jié)果 圖8 圖像識(shí)別算例2測(cè)試結(jié)果

4 結(jié)語(yǔ)

本文詳細(xì)討論了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別實(shí)驗(yàn)的原理和流程，并以iTorch noteboook的可視化界面直觀的顯示出其準(zhǔn)確性。而且，通過(guò)讓學(xué)生自行搭建程序運(yùn)行所需環(huán)境，自行編程對(duì)測(cè)試集中的數(shù)據(jù)進(jìn)行測(cè)試，并隨機(jī)顯示圖片驗(yàn)證其正確性，大大提高了學(xué)生的編程能力，加深了學(xué)生對(duì)深度學(xué)習(xí)的了解，讓學(xué)生更加全面的理解卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別中的應(yīng)用。

[1] 鄧柳, 汪子杰. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別研究[J]. 成都:計(jì)算機(jī)應(yīng)用研究, 2016, 33(3): 930-932.

[2] 徐彩云. 圖像識(shí)別技術(shù)研究綜述[J]. 菏澤:電腦知識(shí)與技術(shù), 2013, 9(10): 2446-2447.

[3] 盧宏濤, 張秦川. 深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中的應(yīng)用研究綜述[J]. 南京:數(shù)據(jù)采集與處理, 2016, 31(1): 1-17.

[4] 張文達(dá), 許悅雷, 倪嘉成, 馬時(shí)平, 史鶴歡. 基于多尺度分塊卷積神經(jīng)網(wǎng)絡(luò)的圖像目標(biāo)識(shí)別算法[J]. 成都:計(jì)算機(jī)應(yīng)用, 2016, 36(4): 1033-1038.

[5] 范哲意, 曾亞軍, 蔣姣, 翁澍沁, 劉志文. 視頻人臉識(shí)別實(shí)驗(yàn)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 北京:實(shí)驗(yàn)技術(shù)與管理, 2016, 33(3): 159-161, 165.

Image Recognition Teaching Experiment Based on Convolutional Neural Network

ZHU Shi-ping, ZHOU Fu-qiang, WEI Xin-guo, WEN Si-han

(SchoolofInstrumentationScienceandOptoelectronicsEngineering,BeihangUniversity,Beijing100191,China)

Image recognition is the important content of Image Processing course. In this paper, under the environment of Linux, we realize the accurate handwritten digit recognition from the data of mnist by using a visual interface called itorch notebook, introduce the principle of the convolutional neural network in detail, and give an intuitive experimental results. The teaching experience shows that such kind of experiment which embodies interestingness and practical application has the advantage of increasing the students′ interest in the course, deepen the cognition of curriculum theory and cultivate their ability to analyze and solve problems.

image recognition; convolutional neural network; iTorch

2016-07-05;

2016-11- 11

北京航空航天大學(xué)儀器科學(xué)與光電工程學(xué)院教改項(xiàng)目

祝世平(1970-)，男，副教授，主要從事圖像處理教學(xué)和視頻壓縮、計(jì)算機(jī)視覺、機(jī)器視覺在精密測(cè)量中的應(yīng)用等方面的研究，E-mail：spzhu@163.com

G426

A

1008-0686(2017)04-0124-04