摘要：本文先介紹淺層神經(jīng)網(wǎng)絡的特點和應用，并指出其發(fā)展的瓶頸及不足之處;然后引入深度學習的概念，以卷積神經(jīng)網(wǎng)絡為例，詳細介紹卷積神經(jīng)網(wǎng)絡的關鍵技術特點，最后通過一個實例說明卷積神經(jīng)網(wǎng)絡在深度學習方面的應用。

關鍵詞：多層感知機;深度學習;卷積神經(jīng)網(wǎng)絡;人工智能

中圖分類號：TP183：文獻標識碼：A

0 引言

在上世紀80年代，基于生物神經(jīng)元數(shù)學模型的多層感知機（Multi-Layer Perceptron，簡稱 MLP）實現(xiàn)的網(wǎng)絡模型就被叫作神經(jīng)網(wǎng)絡。由于當時的計算能力受限、數(shù)據(jù)規(guī)模較小等因素，神經(jīng)網(wǎng)絡一般只能訓練到很少的層數(shù)，這種小規(guī)模的神經(jīng)網(wǎng)絡叫做淺層神經(jīng)網(wǎng)絡（Shallow Neural Network）。淺層神經(jīng)網(wǎng)絡不太容易輕松提取數(shù)據(jù)的高層特征，表達能力一般，雖然在諸如數(shù)字圖片識別等簡單任務上取得不錯效果，但很快被90年提出的支持向量機超越。同時，淺層神經(jīng)網(wǎng)絡的發(fā)展遇到了很大的發(fā)展瓶頸。

1 深度學習簡介

加拿大多倫多大學教授 Geoffrey Hinton長期堅持神經(jīng)網(wǎng)絡的研究，但由于當時支持向量機的流行，神經(jīng)網(wǎng)絡相關的研究工作遇到了重重阻礙。2006 年，Geoffrey Hinton 在 [1]

提出了一種逐層預訓練的算法，可以有效地初始化Deep Belief Networks（DBN）網(wǎng)絡，從而

使得訓練大規(guī)模、深層數(shù)（上百萬的參數(shù)量）的神經(jīng)網(wǎng)絡成為可能。在論文中，Geoffrey

Hinton 把深層的神經(jīng)網(wǎng)絡叫做Deep Neural Network，這一塊的研究也因此稱為 Deep

Learning（深度學習）。

2 卷積神經(jīng)網(wǎng)絡簡介

2.1淺層神經(jīng)網(wǎng)絡的特點分析

前面本文提到淺層神經(jīng)網(wǎng)絡是采用全連接形式的一種神經(jīng)網(wǎng)絡，這種淺層神經(jīng)網(wǎng)絡一般層數(shù)不多，但參數(shù)量在當時的計算機硬件的條件來說是非常龐大的。訓練一個淺層的神經(jīng)網(wǎng)絡計算代價并不小，由此可見，全連接層較高的內存占用量嚴重限制了神經(jīng)網(wǎng)絡朝著更大規(guī)模、更深層數(shù)方向的發(fā)展。

2.2 卷積神經(jīng)網(wǎng)絡的特點

卷積神經(jīng)網(wǎng)絡作為深度學習的一個典型網(wǎng)絡，通過充分利用局部相關性和權值共享的思想，大大地減少了網(wǎng)絡的參數(shù)量，從而提高訓練效率，更容易實現(xiàn)超大規(guī)模的深層網(wǎng)絡[1]。2012年，加拿大多倫多大學Alex Krizhevsky 將深層卷積神經(jīng)網(wǎng)絡應用在大規(guī)模圖片識別挑戰(zhàn)賽ILSVRC-2012上，在ImageNet數(shù)據(jù)集上取得了15.3%的Top-5錯誤率，排名第一，相對于第二名在Top-5錯誤率上降低了10.9%，這一巨大突破引起了業(yè)界強烈關注，卷積神經(jīng)網(wǎng)絡迅速成為計算機視覺領域的新寵，隨后在一系列的任務中，基于卷積神經(jīng)網(wǎng)絡的形形色色的模型相繼被提出，并在原有的性能上取得了巨大提升。

2.3 卷積神經(jīng)網(wǎng)絡的基本原理

在數(shù)字圖像處理中有一種基本的處理方法叫線性濾波[2]。它將待處理的二維數(shù)字看作一個大型矩陣，圖像中的每個像素可以看作矩陣中的每個元素，像素的大小就是矩陣中的元素值。而使用的濾波工具是另一個小型矩陣，這個矩陣就被稱為卷積核。卷積核的大小遠遠小于圖像矩陣，具體的計算方式就是對于圖像大矩陣中的每個元素，計算周圍的像素和卷積核對應位置的乘積，之后將結果相加最終得到的終值就是該像素的值，這樣就完成了一次卷積。

如果采用卷積神經(jīng)網(wǎng)絡來替代以上提到的手寫數(shù)字識別淺層神經(jīng)網(wǎng)絡，采用三個卷積層，和兩個全連接層，一共只需要13450個參數(shù)，而且識別的準確率大幅上升。經(jīng)過測試，可由原來的91%上升到98%以上。由此可見，卷積層的參數(shù)量非常少，主要的參數(shù)量集中在全連接層。由于卷積層將輸入特征維度降低很多，從而使得全連接層的參數(shù)量不至于過大，因此通過卷積神經(jīng)網(wǎng)絡可以顯著降低網(wǎng)絡參數(shù)量，同時增加網(wǎng)絡深度，大幅提高了識別的準確率。

3 卷積神經(jīng)網(wǎng)絡的具體應用

卷積神經(jīng)網(wǎng)絡可以應用在人工智能的很多領域[3]，比如圖像和自然語言處理等等。其結合特征提取和目標訓練為一體的模型，能夠很好地利用已有的信息對結果進行反饋訓練。對圖像識別的卷積神經(jīng)網(wǎng)絡來說，同樣也是充分利用特征提取時提取的圖像特征，來計算圖像特征權重的大小，然后歸一化處理需要處理的數(shù)據(jù)。這樣使得原來的圖像信息抽象成一個向量化的樣本集，之后將樣本集和訓練好的模板輸入卷積神經(jīng)網(wǎng)絡進行處理。下面以圖像處理為例，說明卷積神經(jīng)網(wǎng)絡具體的編程方法和步驟。

3.1 MNIST數(shù)據(jù)集介紹

MNIST數(shù)據(jù)集是一個手寫數(shù)字的數(shù)據(jù)庫，它有60000個28*28像素的訓練樣本集和10000個28*28像素的測試樣本集[4]。樣本中包含了各個訓練數(shù)據(jù)和相應的標簽，其中標簽集包含了0，1，2，3，4，5，6，7，8，9一共10個分類數(shù)據(jù)。通過對數(shù)據(jù)集的若干次訓練，實現(xiàn)網(wǎng)絡對輸入數(shù)字圖片的數(shù)字預測。

3.2 數(shù)據(jù)獲取及預處理

本文使用的編程環(huán)境是TensorFlow 2.3，采用GTX1080 GPU進行訓練，具體步驟如下：

（1）數(shù)據(jù)獲取

首先使用TensorFlow 2.3本身自帶的數(shù)據(jù)獲取方式獲得MNIST數(shù)據(jù)集并進行預處理。

（2）數(shù)據(jù)預處理

mnist數(shù)據(jù)集中每個實例的標簽對應于0-9之間的任意一個數(shù)字，用來對圖片進行標注，但這種標注方法并不能使得損失函數(shù)獲得一個好的結果，因此數(shù)據(jù)預處理主要是先對數(shù)據(jù)標簽（label）進行one-hot轉換處理，處理之后就把常規(guī)的數(shù)字表示成0，1的形式，這種形式更適合進行損失函數(shù)的求解最小化。然后使用TensorFlow自帶的data API進行打包，組合成訓練集（train）和標簽（label）的配對數(shù)據(jù)集。

3.3 建立卷積神經(jīng)網(wǎng)絡模型和結果分析

基本的卷積神經(jīng)網(wǎng)絡模型是由卷積層、池化層、BatchNormalization層、dropout層以及作為分類的全連接層構成，同時每一層使用relu激活函數(shù)做分割。主要代碼如下：

（1）輸入的初始化

輸入的初始化使用的是Input類，根據(jù)輸入的數(shù)據(jù)大小，將輸入的數(shù)據(jù)維度做成[28，28，1]的三維數(shù)據(jù)。

（2）建立卷積層

使用TensorFlow自帶的卷積層實現(xiàn)類對卷積進行計算，通過設定卷積核的數(shù)量、卷積核的大小、padding方式和激活函數(shù)初始化卷積類。

（3）建立BatchNormalization層和MaxPooling層

BatchNormalization層和MaxPooling層的目的是輸入數(shù)據(jù)正則化，增大模型的泛化能力。

（4）建立分類的全連接層

全連接層的作用是對卷積層所提取的特征做最終分類，先使用flat函數(shù)進行扁平化，最后使用softmax函數(shù)進行分類。

（5）實驗結果分析

實驗結果分析來看，經(jīng)過15個epochs訓練后，訓練集的效果非常好，準確率達到了98.91%，但測試集在第4個epoch訓練結束后準確率達到92.3%，以后就基本沒有得到提高，說明存在一定程度的過擬合問題。

（6）解決過擬合常規(guī)的辦法

a.正則化

正則化是機器學習中最常見的過擬合解決方法，在損失函數(shù)中加入正則項來懲罰模型的參數(shù)，以此來降低模型的復雜度，常見的添加正則項的正則化技術有L1，L2正則化。

b. Dropout

Dropout是深度學習中最常用的控制過擬合的方法，主要用在全連接層處。Dropout方法是在一定的概率上（通常設置為0.5）隱式的去除網(wǎng)絡中的神經(jīng)元。

c.Batch Normalization

BM算法是一種非常有用的正則化方法，可以讓大型的卷積神經(jīng)網(wǎng)絡快速收斂，同時還能提高分類的準確率，不需要使用局部響應歸一化處理。BM算法會將每一層的輸入值做歸一化處理，并且會重構歸一化處理之后的數(shù)據(jù)，確保數(shù)據(jù)的分布不會發(fā)生變化。

d.增加噪聲

增加噪聲是深度學習中的一種避免過擬合的方法，可以在輸入數(shù)據(jù)上添加，增大數(shù)據(jù)的多樣性，也可以在權值上添加噪聲，這種方法類似于L2正則化。

本實驗采用了L2正則化和Dropout的處理過擬合方案，經(jīng)過過擬合處理和參數(shù)調節(jié)后，使得訓練集和測試集的曲線基本擬合，達到了預期的目標。

4 總結

本文先介紹淺層神經(jīng)網(wǎng)絡的特點和不足之處，進而引入深度學習的概念，并詳細介紹了深度學習的典型網(wǎng)絡-卷積神經(jīng)網(wǎng)絡的特點和應用，最后通過使用TensorFlow2.3建立卷積神經(jīng)網(wǎng)絡，對mnist數(shù)據(jù)集進行識別，從數(shù)據(jù)獲取、數(shù)據(jù)預處理、建立卷積神經(jīng)網(wǎng)絡等一系列步驟進行說明，從運行的結果來看，卷積神經(jīng)網(wǎng)絡比傳統(tǒng)的淺層神經(jīng)網(wǎng)絡大幅度提高了識別的準確率。

參考文獻

[1] 王宇石等.一種基于卷積神經(jīng)網(wǎng)絡的違禁品探測系統(tǒng)及部署方法[J]，科技創(chuàng)新與應用，2020（7）.

[2] 曹華軍，吳宗民等.噪聲圖像的線性濾波分析與仿真[J]，信息技術與信息華，2017（8）.

[3] 閆濤. 深度學習算法實踐 [M]. 電子工業(yè)出版社出版社，2020.

作者簡介：翟高粵，男（1975-11）廣西欽州，漢，碩士，副教授，研究方向：軟件理論，人工智能。