董亮 段正泰 龔彬

【摘要】 ? ?圖像物體分類與檢測(cè)是計(jì)算機(jī)視覺(jué)研究中的兩個(gè)重要的基本問(wèn)題，也是圖像分割、物體跟蹤、行為分析等其他高層視覺(jué)任務(wù)的基礎(chǔ)。為最大限度的發(fā)揮深度學(xué)習(xí)算法的性能，有必要對(duì)不同的深度學(xué)習(xí)算法進(jìn)行評(píng)估，從而進(jìn)行不同數(shù)據(jù)集識(shí)別方法的最優(yōu)選擇。本文基于CIFAR10和MNIST數(shù)據(jù)集，采用LeNet網(wǎng)絡(luò)和VGG網(wǎng)絡(luò)進(jìn)行圖像識(shí)別，并比較各算法的效率、準(zhǔn)確率、召回率等性能差異，進(jìn)而對(duì)兩種算法進(jìn)行對(duì)比和分析。

【關(guān)鍵詞】 ? ?模式識(shí)別 ? ?深度學(xué)習(xí) ? ?卷積神經(jīng)網(wǎng)絡(luò) ? ?LeNet ? ?VGG

引言

計(jì)算機(jī)視覺(jué)作為人工智能的一個(gè)重要分支，其顯著的研究成果已逐漸應(yīng)用于人們的實(shí)際生活中，如人臉識(shí)別、目標(biāo)追蹤等。而圖像分類是計(jì)算機(jī)視覺(jué)中的一個(gè)基礎(chǔ)問(wèn)題，如何高效準(zhǔn)確的實(shí)現(xiàn)圖像分類具有重要的研究意義和實(shí)用價(jià)值。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)可通過(guò)局部感受野和權(quán)值共享機(jī)制大幅降低網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)數(shù)量[1]，并且能夠通過(guò)池化操作有效降低特征維度，同時(shí)可有效改善網(wǎng)絡(luò)的泛化能力。因此，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用在大規(guī)模圖像數(shù)據(jù)集的分類與識(shí)別中。近年來(lái)，Alex Krizhevsky等提出了AlexNet模型，該模型引入全新的深層結(jié)構(gòu)，將錯(cuò)誤率從25%以上降低到了15%，顛覆了圖像識(shí)別領(lǐng)域[2];2014年，VGG團(tuán)隊(duì)提出通過(guò)小卷積核增加網(wǎng)絡(luò)的深度，減少網(wǎng)絡(luò)參數(shù)量[3]。大量研究實(shí)驗(yàn)表明，CNN是一種具有層次結(jié)構(gòu)的學(xué)習(xí)模型，其在特征提取、特征選擇以及分類等問(wèn)題上具有突出的優(yōu)勢(shì)，可有效提高人圖像識(shí)別的準(zhǔn)確率和穩(wěn)健性。

一、數(shù)據(jù)集的準(zhǔn)備

1.1 MNIST數(shù)據(jù)集

手寫數(shù)字識(shí)別數(shù)據(jù)集（MNIST）包含60000條訓(xùn)練數(shù)據(jù)和10000條測(cè)試數(shù)據(jù)[4]。數(shù)據(jù)集中每一條數(shù)據(jù)均由feature（數(shù)字圖像）和lebels（標(biāo)簽）組成。如圖1所示，每個(gè)圖像都是固定大?。?8x28像素），其值為0到1。每個(gè)圖像都被平展并轉(zhuǎn)換為784（28*28）個(gè)特征的一維numpy數(shù)組。

1.2 CIFAR10數(shù)據(jù)集

CIFAR-10[5]是由Hinton的學(xué)生Alex Krizhevsky和Ilya Sutskever整理的一個(gè)用于識(shí)別普適物體的小型數(shù)據(jù)集。一共包含10個(gè)類別的RGB彩色圖片，如圖2所示。圖片的尺寸為32×32，數(shù)據(jù)集中一共有50000張訓(xùn)練圖片和10000張測(cè)試圖片。

二、算法設(shè)計(jì)

2.1數(shù)據(jù)預(yù)處理

Pytorch框架對(duì)MNIST和CIFAR10數(shù)據(jù)集進(jìn)行了封裝。以MNIST數(shù)據(jù)集為例，每幅圖像是長(zhǎng)度784的一維數(shù)組，而卷積網(wǎng)絡(luò)直接從彩色或灰度圖像中提取特征，通過(guò)transforms.ToTensor（）方法轉(zhuǎn)化為tensor。每一個(gè)數(shù)據(jù)labels是One-Hot-Encoding格式，而模型輸出層共有10個(gè)神經(jīng)元，因此需將數(shù)據(jù)labels轉(zhuǎn)換為對(duì)應(yīng)0-9的數(shù)字。每次訓(xùn)練并不是讀取所有數(shù)據(jù)同時(shí)進(jìn)行訓(xùn)練，而是讀取一個(gè)batch數(shù)據(jù)進(jìn)行訓(xùn)練。

2.2 Lenet神經(jīng)網(wǎng)絡(luò)

LeNet神經(jīng)網(wǎng)絡(luò)[6]模型，該模型共有7層（不包含輸入），每層都包含可訓(xùn)練參數(shù);每個(gè)層有多個(gè)Feature Map，每個(gè)Feature Map通過(guò)一種卷積濾波器提取輸入的一種特征，每個(gè)FeatureMap有多個(gè)神經(jīng)元。

2.3 VGGNet神經(jīng)網(wǎng)絡(luò)

VGGNet是由牛津大學(xué)視覺(jué)幾何小組（Visual Geometry Group，VGG）提出的一種深度卷積網(wǎng)絡(luò)結(jié)構(gòu)[7]。

模型特點(diǎn)為：

①整個(gè)網(wǎng)絡(luò)都是用了同樣大小的卷積核尺寸3*3和最大池化尺寸2*2;

②兩個(gè)3*3的卷積串聯(lián)相當(dāng)于1個(gè)5*5的卷積層，感受野大小為5*5（如圖8所示）。同樣，3個(gè)3*3卷積層串聯(lián)的效果相當(dāng)于1個(gè)7*7的卷積層。這樣的連接方式使得網(wǎng)絡(luò)的參數(shù)更少，而且多層的激活函數(shù)（前者可以使用三次ReLU激活函數(shù)，而后者只有一次）令網(wǎng)絡(luò)對(duì)特征的學(xué)習(xí)能力更強(qiáng)。

三、實(shí)驗(yàn)與分析

3.1實(shí)驗(yàn)環(huán)境

本文所有實(shí)驗(yàn)均在Windows10操作系統(tǒng)的計(jì)算機(jī)上進(jìn)行，計(jì)算機(jī)配置為Intel Core i7-8750H CPU、主頻2.20GHz、內(nèi)存8.0GB、實(shí)驗(yàn)所用編譯器為Pycharm，編程語(yǔ)言為Python，所用到的依賴庫(kù)為Pytorch 1.1.0，Tochversion 0.3.0，Numpy 1.17.4和Opencv 3.4.1。

3.2算法對(duì)比與分析

3.2.1 LeNet和VGGNet識(shí)別CIFAR10數(shù)據(jù)集

在識(shí)別CIFAR10數(shù)據(jù)集方面，LeNet在數(shù)據(jù)集迭代不同次數(shù)時(shí)，兩算法在不同時(shí)期準(zhǔn)確率比較如下圖3所示，VGGNet的79.1%明顯優(yōu)于LeNet的66.1%，且在收斂速度上也明顯優(yōu)于LeNet。由此可得出以下結(jié)論：

①幾個(gè)小濾波器（3x3）卷積層的組合比一個(gè)大濾波器（5x5或7x7）卷積層好。

②通過(guò)不斷加深網(wǎng)絡(luò)結(jié)構(gòu)可以提升性能。

3.2.2 LeNet識(shí)別MNIST數(shù)據(jù)集

在識(shí)別MNIST數(shù)據(jù)集方面，LeNet在數(shù)據(jù)集迭代不同次數(shù)時(shí)，由圖4所示實(shí)驗(yàn)結(jié)果可知，應(yīng)用同一LeNet網(wǎng)絡(luò)分別對(duì)CIFAR10數(shù)據(jù)集和MNIST數(shù)據(jù)集的訓(xùn)練效果存在明顯差異，訓(xùn)練準(zhǔn)確率由CIFAR10的66.1%提高到MNIST的98.2%。由此可得出以下結(jié)論：

相對(duì)于灰度圖的MNIST數(shù)據(jù)集，顯然具有RGB3通道的彩色CIFAR10數(shù)據(jù)集訓(xùn)練難度要高很多，且在收斂速度上明顯慢于MNIST。

四、總結(jié)

本文基于CNN卷積神經(jīng)網(wǎng)絡(luò)，介紹分析了LeNet和VGGNet兩個(gè)經(jīng)典神經(jīng)網(wǎng)絡(luò)，并將兩網(wǎng)絡(luò)應(yīng)用在CIFAR10和MNIST兩類圖像識(shí)別數(shù)據(jù)集上，通過(guò)控制迭代次數(shù)，得出有效結(jié)論。本文實(shí)驗(yàn)結(jié)果表明，在對(duì)同一數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)，幾個(gè)小濾波器卷積層的組合比一個(gè)大濾波器卷積層好，且網(wǎng)絡(luò)結(jié)構(gòu)越深效果越好;在應(yīng)用同一網(wǎng)絡(luò)對(duì)不同數(shù)據(jù)集訓(xùn)練時(shí)，灰度圖數(shù)據(jù)集在收斂速度和準(zhǔn)確率方面明顯優(yōu)于彩色圖，也反映出彩色圖片在訓(xùn)練時(shí)的難度之大。

因此，在訓(xùn)練諸如MNIST的簡(jiǎn)單數(shù)據(jù)集合時(shí)，可以采用簡(jiǎn)單的全連接層網(wǎng)絡(luò)即可達(dá)到較高的準(zhǔn)確率;此外，在搭建卷積神經(jīng)網(wǎng)絡(luò)時(shí)，適當(dāng)?shù)脑黾泳W(wǎng)絡(luò)深度，可以有效提高訓(xùn)練準(zhǔn)確率。下一步將通過(guò)加寬加深網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)現(xiàn)有算法進(jìn)行改進(jìn)，進(jìn)一步提高檢測(cè)精度，以適用于更為復(fù)雜的數(shù)據(jù)環(huán)境。

參 ?考 ?文 ?獻(xiàn)

[1]呂剛，郝平，盛建榮.一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)在小圖像分類中的應(yīng)用研究[J].計(jì)算機(jī)應(yīng)用與軟件，2014，31（4）：182-184.

[2]侯宇昆.卷積神經(jīng)網(wǎng)絡(luò)概述[J].中國(guó)新通信，2017，19（9）：45-45.

[3]趙秦敏.基于哈希編碼的圖像檢索算法研究[D].成都：電子科技大學(xué)，2017

[4]林大貴.TensorFlow Keras 深度學(xué)習(xí)人工智能實(shí)踐應(yīng)用[M].北京：清華大學(xué)出版社，2018：254-270

[5] Alex Krizhevsky.The CIFAR-10 dataset[EB/OL].http：//www.cs.toronto.edu/～kriz/cifar.html，2009.

[6] Lécun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

[7] Simonyan， Karen， and Andrew Zisserman. “Very deep convolutional networks for large-scale image recognition.” arXiv preprint arXiv：1409.1556 （2014）.

董亮，出生1976年10月，性別：男，民族：漢族、籍貫：吉林 職務(wù)（現(xiàn)任云南特殊教育職業(yè)學(xué)院院長(zhǎng)，計(jì)算機(jī)應(yīng)用碩士，副教授，研究方向：計(jì)算機(jī)軟件系統(tǒng)架構(gòu)，人工智能，模式識(shí)別技術(shù)