袁姍姍

摘要：卷積神經網(wǎng)絡作為深度學習領域近年來最優(yōu)秀的算法之一，已經廣泛應用于各種計算機視覺任務，尤其在圖像分類任務中，卷積神經網(wǎng)絡憑借其極高的分類準確率，使用率已經遠超過傳統(tǒng)的機器學習算法。街道字符識別作為圖像分類任務的一種，為了完成這個分類任務，全文基于卷積神經網(wǎng)絡技術，首先對數(shù)據(jù)集進行讀取、并針對數(shù)據(jù)量較少問題，采取一系列的數(shù)據(jù)增強操作，然后完成卷積神經網(wǎng)絡模型的構造。通過對模型的訓練，測試結果顯示測試集和驗證集準確率分別為0.9523和0.7453，出色地完成了對街道字符的識別任務，并驗證了所搭建模型的有效性和優(yōu)異性。

關鍵詞：深度學習;卷積神經網(wǎng)絡;圖像分類;街道字符識別

1 引言

圖像作為重要的信息傳遞方式引起了當今學者們和工業(yè)者極大的重視，圖像信息及圖像深層蘊含的語義信息有著巨大的價值。街道字符作為圖像分類領域典型的分類任務之一，如何將街道字符中包含的街道信息和數(shù)字等字符信息提取出來并正確分類，是一個具有實際意義的研究課題。在街道上，隨處可見的街牌、門牌的背后蘊含豐富的數(shù)字信息、地址信息以及文化信息，更應該合理地運用這寶貴的圖像信息資源，挖掘信息中的內在聯(lián)系，首要的就是通過計算機對這些街道字符信息進行自動地識別。文中采用卷積神經網(wǎng)絡技術，就如何高精度正確的區(qū)分街道字符這一問題展開研究，結合街道字符信息特點和卷積神經網(wǎng)絡的技術手段，來完成任務要求。

2 卷積神經網(wǎng)絡簡介

卷積神經網(wǎng)絡[1]（CNN）是一種優(yōu)秀的人工神經網(wǎng)絡。卷積神經網(wǎng)絡在許多領域都有優(yōu)異的性能，卷積神經網(wǎng)絡最大的優(yōu)點是其訓練結果的精度遠遠高于傳統(tǒng)的算法。特別是在計算機視覺領域，卷積神經網(wǎng)絡是解決圖像分類、圖像檢索、目標檢測和語義分割問題的主流模型。卷積神經網(wǎng)絡的每一層都由許多卷積核組成。每個卷積對圖像進行卷積操作，并將它們輸出到下一個輸入。隨著網(wǎng)絡層的增加，卷積核會逐漸擴大接受域，減小圖像的大小。從結構上看，卷積神經網(wǎng)絡是一個分層模型。輸入的是原始圖像數(shù)據(jù)，最終輸出的是經過多層運算后的精度結果。卷積神經網(wǎng)絡由卷積、池化、輸入、輸出和全連接層組成。以最經典的LeNet[2]模型為例，說明卷積神經網(wǎng)絡的結構組成。LeNet模型的網(wǎng)絡結構，是由兩個卷積層，兩個池化層和兩個全連接層組成。LeNet模型卷積核的大小都是5×5，步長stride=1，池化層使用最大池化。通過多次卷積和池化，將輸入圖像像素映射到具體輸出。例如，在分類任務中，將不同類別的概率輸出進行轉換，然后計算卷積神經網(wǎng)絡模型的真實標簽和預測結果之間的差異，并通過反向傳播更新每一層的參數(shù)，更新完成后再次重復正向傳播，以此類推，直到訓練完成。與傳統(tǒng)的機器學習模型相比，卷積神經網(wǎng)絡有一種端到端的方法，即只需要輸入相應的數(shù)據(jù)集，經過訓練后就可以直接輸出結果。因此，在卷積神經網(wǎng)絡的訓練過程中，直接從圖像輸入到最終結果的輸出，不涉及煩瑣的特征提取步驟也不需要任何的人為參與，就可以得到結果。

回顧卷積神經網(wǎng)絡的發(fā)展歷程，模型大多都是隨著層數(shù)和參數(shù)量的增長來更新?lián)Q代的。模型的交替更新中，不得不提到LeNet-5、AlexNet[3]兩個優(yōu)秀的卷積神經網(wǎng)絡模型。LeNet-5模型是在1998年由Yann LeCun等搭建的模型。他們不但提出了卷積、池化、也第一次正式提出卷積神經網(wǎng)絡局部感受野的理論依據(jù)。LeNet-5模型算是卷積神經網(wǎng)絡引起學者們廣泛關注的看開端。而AlexNet模型就是將卷積神經網(wǎng)絡推入學者們研究熱點的催化劑。AlexNet模型在2012年由Hinton等人設計搭建完成的。在ImageNet大規(guī)模的圖像分類競賽中，AlexNet模型以極大的優(yōu)勢領先其他的機器學習的算法，將人們的目光聚焦在卷積神經網(wǎng)絡技術上，作為推廣卷積神經網(wǎng)絡的強力推手，AlexNet模型功不可。隨后，越來越多的CNN模型，如VGG[4]、InceptionV3[5]和ResNet[6]等，被學者們搭建出來，并成功在各個領域廣泛的應用。

3 基于卷積神經網(wǎng)絡進行街道字符識別

基于卷積神經網(wǎng)絡進行街道字符識別主要分為數(shù)據(jù)集的準備、數(shù)據(jù)讀取、數(shù)據(jù)增強、模型的訓練與驗證這四個步驟。數(shù)據(jù)集的獲取是整個實驗的基礎，選取合適的數(shù)據(jù)集，不僅有利于實驗還可以更方便地進行橫向的對比，來驗證模型的優(yōu)劣。數(shù)據(jù)讀取與數(shù)據(jù)增強屬于對圖像數(shù)據(jù)的預處理工作，將圖像進行規(guī)范的讀取，并用數(shù)據(jù)增強的方法來增加數(shù)據(jù)集的樣本量來更好的訓練所構建的卷積神經網(wǎng)絡。模型的訓練與驗證中從模型的搭建、驗證集的構造、模型的保存、調參等多個方面，對模型訓練驗證過程做出了詳細的說明。通過對卷積神經網(wǎng)絡模型的訓練，結果顯示，所搭建的模型高精度地完成了對街道字符的識別任務。文中實驗基于python編程語言。實驗使用pytorch框架對卷積神經網(wǎng)絡模型進行搭建。

3.1 數(shù)據(jù)集

本文任務是街道字符識別任務，數(shù)據(jù)集選用The Street View House Numbers[7] 數(shù)據(jù)集，簡稱SVHN。SVHN數(shù)據(jù)集中所有的圖像，都是真實存在的，它們是源自真實的房屋號碼。在SVHN的使用中，SVHN數(shù)據(jù)集常用于模式識別，圖像分類算法的開發(fā)。因為SVHN數(shù)據(jù)集中圖像像素偏小，所以它只需要簡單的預處理和讀取操作即可，同時訓練時相對時間較短。盡管SVHN數(shù)據(jù)集中圖像的裁剪數(shù)字很小，但是它合并了更多數(shù)量級的標簽數(shù)據(jù)，標簽數(shù)據(jù)量超過600，000個圖像。此數(shù)據(jù)集主要的應用就是用于識別自然場景圖像中的字符和數(shù)字的模型的訓練及測試。數(shù)據(jù)集大小為2.5G，格式為.mat 文件，共含有10個類別，一共含有630，420張圖片。所有原始圖片的大小均已調整為固定的32 x 32像素分辨率，原始字符邊框在適當?shù)某叽缟蠑U展為方形窗口，其中包含圖像中每個圖像的邊界框的位置、大小和標簽。

3.2 數(shù)據(jù)讀取

本文任務是針對原始的圖像數(shù)據(jù)，精準地識別街道路牌圖像中的字符。第一步要做的是讀取數(shù)據(jù)，我們使用的是Python語言，調取常用的Pillow庫和OpenCV庫完成對數(shù)據(jù)的讀取和寫入。 下文從兩個庫的具體用法，包括常用函數(shù)等方面，舉例說明這兩個函數(shù)庫的使用方法。