周靖凱

摘 要：在2006年，被稱為“深度學習”學習技術的發(fā)現(xiàn)，引發(fā)了互聯(lián)網(wǎng)時代學習方式的變革。而今天，這些被稱為“深度學習”的技術已經(jīng)進一步發(fā)展并被廣泛運用在各個層面，其在計算機視覺，語音識別，自然語言處理等許多重要問題上都發(fā)揮了顯著的作用。對此，本文就卷積網(wǎng)絡與深度學習算法進行了研究與學習，首先從數(shù)據(jù)集的生成、卷積網(wǎng)絡結構的搭建、利用梯度下降算法進行前向傳播與反向傳播的訓練這三個方面對卷積網(wǎng)絡進行基本概述，簡要介紹了卷積網(wǎng)絡的結構和實現(xiàn)方法;之后介紹了如何利用在卷積網(wǎng)絡的不同位置進行正則化與隨機丟棄節(jié)點的方法來優(yōu)化網(wǎng)絡并處理因網(wǎng)絡訓練過度而引發(fā)的過擬合現(xiàn)象;最后利用優(yōu)化后的卷積網(wǎng)絡進行圖片的分類測試，得出結論、驗證成果，使卷積網(wǎng)絡具有識別圖片的能力。

關鍵詞：卷積網(wǎng)絡;深度學習;過擬合;圖像識別

0引言

人類的視覺系統(tǒng)是自然給予的最好禮物之一。正因為有了視覺，人乃至所有生物才能主動的尋找食物、住所等需要的一切，而不是隨波逐流的生存。絕大多數(shù)成年人可以輕易分辨0～9的數(shù)字，但這背后付出的是數(shù)十萬年的進化與演變，才能極好的適應與理解視覺世界的任務。通過“深度學習”技術開展計算機視覺應用逐漸成為科學技術研究熱點。

我們仿造人腦，搭建一個設法利用圖片的空間結構的網(wǎng)絡，將圖片的長度，寬度以及圖片的色素作為“空間的長，寬和高”，搭建了一個深度的，多層的網(wǎng)絡，它將更加擅長于處理圖像識別問題——這就是卷積網(wǎng)絡的意義[1]。

1卷積網(wǎng)絡的結構和實現(xiàn)方法

1.1卷積網(wǎng)絡的結構和示意圖

首先我們搭建一個實現(xiàn)圖像分類的卷積網(wǎng)絡?？紤]到需要分類的圖片只有65種，訓練集與驗證集加起來只有4000多張，因此，我們參考LeNet[2]以及Alexnet[3]的網(wǎng)絡結構搭建的卷積網(wǎng)絡不算太深，具體如下，并如圖1所示。

INPUT：（192*192）*3。

第一層：卷積層：卷積核=5*5*3*48，最大池化層=2*2。

第二層：卷積層：卷積核=3*3*48*96，最大池化層=2*2。

第三層：卷積層：卷積核=3*3*96*128。

第四層：卷積層：卷積核=3*3*128*128。

第五層：全連接層：1024個神經(jīng)元。

第六層：全連接層：1024個神經(jīng)元。

第七層：softmax輸出層：65類。

1.2梯度下降算法與前向，反向傳播

網(wǎng)絡的前向傳播是搭建模型，實現(xiàn)推理的過程，我們會先搭建計算圖，再用會話執(zhí)行。計算圖有輸入層，隱藏層，輸出層三個部分。但要注意，在下面計算層數(shù)時，只計算隱藏層和輸出層的代數(shù)和，即輸入層不參與計算層數(shù)，層數(shù)=隱藏層數(shù)+一個輸出層。前向傳播具體可分三個部分：定義輸入和參數(shù)，定義前向傳播過程，用會話計算結果。

每層網(wǎng)絡都由如圖2所示的基本神經(jīng)元構成，公式如下所示：

其中，o為神經(jīng)元單元的輸出值，s為激活函數(shù)，w為權重值，x為輸入值，b為偏移值。

網(wǎng)絡的反向傳播是訓練模型參數(shù)的過程。我們會將大量的特征數(shù)據(jù)喂給神經(jīng)網(wǎng)絡，再迭代優(yōu)化網(wǎng)絡參數(shù)。在反向傳播中，我們會對所有參數(shù)使用梯度下降算法，使模型在訓練數(shù)據(jù)上的損失參數(shù)（loss）最小。即反向傳播的訓練方法是以減小損失函數(shù)（loss）值為優(yōu)化目標的，出于這一目的，我們使用了隨機梯度下降算法。

在這個卷積網(wǎng)絡中，我們選用了較為高效的Adam算法，該算法是設計用于替代傳統(tǒng)隨機梯度下降算法的一個優(yōu)化算法，使得神經(jīng)網(wǎng)絡權重的更新是基于訓練數(shù)據(jù)進行的。

1.3損失函數(shù)（loss）

在神經(jīng)網(wǎng)絡與卷積網(wǎng)絡中，損失函數(shù)（loss）是指預測值（y）與已知分類值（y_）的差距。基本的定義公式為：

公式中，E為誤差值，D為訓練集，outputs為神經(jīng)網(wǎng)絡的輸出單元，t為訓練樣本在輸出單元的標注輸出值，o為訓練樣本在輸出單元的實際輸出值。

為使神經(jīng)網(wǎng)絡（NN）優(yōu)化目標的損失函數(shù)最小，我們往往分情況采用均方誤差mse（Mean Squared Error）和交叉熵（Cross Entropy）兩種算法，并在特殊情況使用自定義算法。在本項目中，使用了交叉熵損失算法。

1.4學習速率（learning-rate）

學習速率是指每次參數(shù)更新的幅度。學習速率并不是說越大或是越小就越好，在不同網(wǎng)絡中同一學習速率也有很大差別。學習速率過大：振蕩會不收斂;學習速率過小：收斂速度會很慢。選擇一個合適的學習速率往往令人毫無頭緒，但我們可以運用指數(shù)衰減學習速率的方式事先計算出一個合適的學習速率，為避免網(wǎng)絡冗長，本次學習的學習速率已在搭建網(wǎng)絡前算好，我們直接使用。

2訓練、測試過程

2.1訓練過程

我們將學習速率設置為0.001，訓練后的結果如圖2。

觀察圖像后我們可以發(fā)現(xiàn)訓練集和驗證集的交叉熵損失與準確率都在緩慢提升，但是驗證集的準確率會低于訓練集的準確率，在隨著訓練時間增加的同時，驗證集的準確率卻會減慢改變速率，最終幾乎保持不變。

再次運行網(wǎng)絡一段時間，發(fā)現(xiàn)程序?qū)τ谟柧毤呐袛鄿蚀_率較高，但對于驗證集的判斷準確率較低，且兩者差距較明顯，我們認為可能出現(xiàn)了過擬合現(xiàn)象，應在兩者出現(xiàn)偏差時停止訓練。

因為本次訓練使用的訓練集的樣本數(shù)較少，每個種類的圖片只有幾十張，所以程序較容易出現(xiàn)過擬合現(xiàn)象，無法提取足夠的特征，以至于程序的準確率較低。

為避免過擬合影響程序的準確率，我采用以下三個方法抑制現(xiàn)象：

方法1：輸入圖片的預處理：

利用tf.image.per_image_standardization函數(shù)，將輸入的圖片進行正則化處理;

利用tf.random_crop與tf.image.random_flip_left_right對圖片進行隨機裁取與翻轉，以擴充訓練集;

每一個batch中包含隨機選取的64個樣本圖片。

方法2：卷積神經(jīng)網(wǎng)絡的構建細節(jié)：

在每個卷積核的計算中，在利用tf.nn.bias_add將輸出與bias相加之后、relu激活函數(shù)計算之前，利用函數(shù)tf.layers.batch_normalization對結果進行正則化處理，防止進入飽和區(qū);

在最大池化計算之后，利用tf.nn.lrn進行池化后的正則化處理，防止進入飽和區(qū);

在全連接層記性relu激活函數(shù)計算后，利用tf.layers.batch_normalization對結果進行正則化處理;

方法3：在全連接層，利用函數(shù)tf.nn.dropout隨機丟棄神經(jīng)元處理，防止過擬合。

2.2 測試方法和準確率

利用訓練好的卷積網(wǎng)絡，對測試集的圖片進行了分類測試。測試集為取自網(wǎng)絡的隨機64張同類圖片，并且該類圖片為訓練集中已有的分類。對測試集的圖片進行了10次測試，測試的準確率如圖3所示。由圖中可以看到，測試集圖片分類的準確率在13%左右，比完全隨機判斷的準確率1.5%提高了接近10倍，證明該神經(jīng)網(wǎng)絡具有識別圖片的能力。

3結論

本文主要簡要分析了卷積網(wǎng)絡與深度學習算法，首先介紹了卷積網(wǎng)絡的由來與其較以往機器學習算法相比的優(yōu)越性;再簡要介紹了卷積網(wǎng)絡的結構和實現(xiàn)方法。在訓練中，發(fā)現(xiàn)了網(wǎng)絡中的過擬合現(xiàn)象，并指出了三個具體的解決方案。最后，對卷積網(wǎng)絡進行了測試，該網(wǎng)絡對圖片的識別能力為完全隨機判斷的10倍左右。

4創(chuàng)新點及展望

設計了一個可用于圖片預測分類的卷積神經(jīng)網(wǎng)絡。經(jīng)過縝密的測試，選擇了適用于該網(wǎng)絡的超參數(shù)，包括合適的網(wǎng)絡結構、學習速率、輸入圖片的預處理方法、過擬合的抑制方法等，使得該網(wǎng)絡在經(jīng)過較少量的訓練集圖片訓練后，對測試圖片能輸出一個較為合理的分類預測結果。

目前，該卷積網(wǎng)絡對測試集圖片的預測分類能力尚有提高空間，主要原因在于訓練集的圖片數(shù)量較少，卷積網(wǎng)絡對圖片的預測能力尚未達到一個較高水平時，訓練過程便進入了過擬合的階段。因此，下一步希望能夠進一步擴充訓練集的樣本圖片數(shù)量，使得卷積神經(jīng)網(wǎng)絡能夠得到較為充足的訓練，進一步提高該網(wǎng)絡對測試圖片的預測能力了。

參考文獻

[1] Michael A.Nielsen.“Neural Networks and Deep Learning”[M].Determination Press，2015.

[2] Lecun Y ，Bottou L ，Bengio Y ，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[3] Krizhevsky A，Sutskever I，Hinton G.ImageNet Classification with Deep Convolutional Neural Networks[C].NIPS.Curran Associates Inc.2012.