摘 要：深度學習是目前人工智能領(lǐng)域研究的熱點，并有著巨大突破，在語音識別、自然語言處理、計算機視覺、圖像與視頻分析、多媒體等諸多領(lǐng)域的應用取得了巨大成功。本文首先將簡要概述深度學習及所使用的卷積神經(jīng)網(wǎng)絡(luò)算法及其特點，其次重點闡述卷煙數(shù)據(jù)的收集和深度學習模型的搭建過程，最后討論深度學習應用到卷煙種類識別的問題和主要挑戰(zhàn)。

關(guān)鍵詞：深度學習;卷積神經(jīng)網(wǎng)絡(luò);ResNet;卷煙分類

一、深度學習概念

深度學習的概念源自于人們對神經(jīng)網(wǎng)絡(luò)的研究，是機器學習的一種，它是基于對數(shù)據(jù)進行表征學習的一種方法。神經(jīng)網(wǎng)絡(luò)由仿生學延伸而來，它借鑒了生物的大腦神經(jīng)網(wǎng)絡(luò)處理方式，因此稱之為人工神經(jīng)網(wǎng)絡(luò)。使用深度學習可以通過非監(jiān)督式或半監(jiān)督式的特征學習使用分層特征提取從而提高運算處理速度從而替代手工獲取特征。

二、卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的一種，因為卷積神經(jīng)網(wǎng)絡(luò)需要非常少的數(shù)據(jù)預處理工作，是一種多層次網(wǎng)絡(luò)結(jié)構(gòu)的深度學習算法。對局部區(qū)域的分析處理，通過層次結(jié)構(gòu)化，局部特征的提取從而達到全局訓練的目的。目前卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應用到了在圖像分類和識別的領(lǐng)域。通過卷積運算挖掘圖像數(shù)據(jù)中的局部特征的相關(guān)性，利用反向傳播算法從而減少網(wǎng)絡(luò)中訓練參數(shù)的數(shù)量。使用卷積神經(jīng)網(wǎng)絡(luò)中處理圖像，是將圖像中的局部區(qū)域通過卷積處理當作層次結(jié)構(gòu)中的底層的輸入數(shù)據(jù)。圖像數(shù)據(jù)前向傳播經(jīng)過卷積運算到達并通過網(wǎng)絡(luò)中的每一層，從而根據(jù)局部特征的提取獲得局部的相關(guān)性。根據(jù)局部區(qū)域的相關(guān)性可以獲得圖像的邊界和角落等，由于卷積神經(jīng)網(wǎng)絡(luò)依據(jù)的是局部特征的相關(guān)性所以在識別對原圖像產(chǎn)生位移或者拉伸及旋轉(zhuǎn)時依然有很高的識別度，特別適用于圖像的識別和分類。

三、卷煙分類識別的現(xiàn)狀

傳統(tǒng)的卷煙識別主要是依靠人工識別或者掃煙盒上的條形碼進行識別分類。其中通過人工識別的受影響因素很多，容易引起錯誤。而采用掃條形碼識別準確率較高，但當遇到條形碼損壞則無法進行識別。雖然數(shù)字圖像處理技術(shù)和機器學習算法利用輪廓提取和特征點匹配等方式，也可以完成對煙盒圖像的分類識別，但是針對的場景單一、適用范圍窄、正確率低;不同角度、不同遠近的煙盒圖像都會對圖像處理的結(jié)果產(chǎn)生很大的影響。而通過使用卷積神經(jīng)網(wǎng)絡(luò)，將卷煙圖像通過卷積得到輸出，之后再通過反向傳播算法，迭代更新參數(shù)權(quán)值，結(jié)合防止梯度下降過快和過擬合的方法，最后得到能使整個網(wǎng)絡(luò)最優(yōu)的權(quán)值達到精準的訓練模型。針對開放場景下的煙盒識別。在大量樣本數(shù)據(jù)支撐下，卷積神經(jīng)網(wǎng)絡(luò)具有更強大的適應性，有著更高的正確率和更寬泛的場景支持。下面將重點介紹使用ResNet為代表的卷積神經(jīng)網(wǎng)絡(luò)對卷煙進行分類識別的步驟。

使用傳統(tǒng)的卷積層進行識別時，當層疊網(wǎng)絡(luò)的層數(shù)越來越多，加深到一定層數(shù)時會由于感知區(qū)域的逐級遞減從而使得梯度消失的越來越嚴重。從而導致利用反向傳播算法時很難訓練到淺層網(wǎng)絡(luò)。為了解決深層卷積結(jié)構(gòu)的梯度消失問題在ImageNet比賽的分類任務中參賽隊伍使用殘差神經(jīng)網(wǎng)絡(luò)，并獲得了成功，通過擬合殘差來提升網(wǎng)絡(luò)效果。

四、使用卷積神經(jīng)網(wǎng)絡(luò)對卷煙進行分類

第一步：圖片收集和篩選

收集并整理煙盒圖片的應用場景，收集不同種類的不同狀態(tài)的煙盒圖片。首先對煙盒圖片的種類進行分類，總共150種，每個品種至少100張。用作基礎(chǔ)庫。其次對各個種類的煙盒圖片中所占圖片比例小于60%的煙盒圖片以及圖像嚴重失真的圖片進行刪除。最后將篩選好的圖片進行初步整理，作為原始數(shù)據(jù)集。本步驟應盡量收集多的數(shù)據(jù)，避免在模型訓練時由于數(shù)據(jù)不足導致的模型過擬合。

第二步：圖片庫預處理和擴充

對第一步中的圖片進行預處理和擴充。擴充手段包括但不限于對圖片進行旋轉(zhuǎn)、平移、錯切變換改變圖片的顏色值、改變圖片的亮度和對比度。將收集到的圖片庫擴大10倍。將擴充后的數(shù)據(jù)集的70%的數(shù)據(jù)作為訓練數(shù)據(jù)，20%數(shù)據(jù)作為驗證數(shù)據(jù)，剩余的10%用于測試模型的預測情況。

第三步：卷積神經(jīng)網(wǎng)絡(luò)搭建

本研究采用的殘差神經(jīng)網(wǎng)絡(luò)ResNet卷積神經(jīng)網(wǎng)絡(luò)。該模型包括網(wǎng)絡(luò)前端的數(shù)據(jù)層、中段的隱藏層（卷積層和池化層）、末段的輸出層。由于全連接層在一定程度上會損失圖像的空間信息因此拋棄隱藏層中的全連接層。

網(wǎng)絡(luò)前端：

數(shù)據(jù)層：訓練數(shù)據(jù)為150（種）×750張，測試數(shù)據(jù)為15000張。由于采集到的圖片的大小可能各不相同，有一些圖像的分辨率較大，有一些比較小。而且長寬比也不一定會一樣。通過裁剪的方法使得輸出的圖像的分辨率固定為3×256×256（通道數(shù)×圖像高度×圖像寬度），在網(wǎng)絡(luò)訓練的階段，裁剪的位置從原始的圖像上隨機選擇，只需要滿足裁剪的子圖完全落在圖像中即可。通過隨機的方式來增加了額外的數(shù)據(jù)，能夠緩解過擬合的問題。裁剪之后的原圖，每一個像素都是0到255的固定的數(shù)值。進一步的處理，包括減去均值，以及等比例縮放像素值使得像素值的分部基本在[-1，1]之間。隨后對圖像進行歸一化增強圖像，隨機選擇RGB三個通道中的一個，然后在原像素值的基礎(chǔ)上，隨機添加一個從[-20，20]之間的數(shù)值。

網(wǎng)絡(luò)中段：

卷積層：使用3×3的卷積核進行卷積運算后再使用1×1卷積核來增加維度，得到feature_map，提取圖像的局部信息。池化層：使用最大池化對卷積層產(chǎn)生的特征圖進行融合，一方面使特征圖變小，簡化網(wǎng)絡(luò)計算復雜度;一方面進行特征壓縮，提取主要特征對每一個特征圖單獨進行操作并且輸出一個對應的特征圖。

ReLu：引入修正線性單元（Rectified linear unit，ReLU）作為激活函數(shù)進行激活，由于ReLU函數(shù)是分段線性函數(shù)，通過對每一個值進行處理，把所有的負值都變?yōu)?，而正值不變，這種單側(cè)抑制。在每一個卷積運算后使用ReLU函數(shù)進行處理，可以使得本研究中神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元具有了稀疏激活性，緩解過擬合問題發(fā)生。并且可以降低計算量;避免ReLU函數(shù)反向傳播時出現(xiàn)的梯度消失導致無法完成模型收斂。通過ReLU實現(xiàn)稀疏后的模型能夠更好地挖掘相關(guān)特征，擬合訓練數(shù)據(jù)。

網(wǎng)絡(luò)末段：

輸出層：從網(wǎng)絡(luò)訓練的角度，末端主要是損失函數(shù)。也就是將數(shù)據(jù)映射為一個標量。通過隨機梯度下降的方式，使得損失函數(shù)逐漸降低。本研究使用神經(jīng)網(wǎng)絡(luò)將圖片分類，因此這里使用了softmax函數(shù)。

先將輸入歸一化到[0，1]之間，通過Softmax函數(shù)，然后通過交叉熵定義損失值，softmax輸出返回列表的概率求和為1，每個概率代表給定圖像屬于特定輸出類的概率。輸出分類結(jié)果到softmax層輸出種類概率向量。

第四步：訓練模型

訓練過程：對已有的樣本，使用最小化的求解梯度下降法（Gradient Decent）反向傳播算法（back propagation）將誤差信號傳遞到每一層的輸出。再通過每一層的函數(shù)對參數(shù)的導數(shù)，可求得參數(shù)的梯度，再通過基于梯度的最優(yōu)化，就能尋得最優(yōu)值，完成訓練過程。根據(jù)前向傳播的LOSS值，來反向迭代更新每一層的權(quán)重，確定LOSS趨于收斂時，保存模型。

（1）初始化參數(shù)。

（2）求代價函數(shù)關(guān)于參數(shù)的梯度。

（3）根據(jù)梯度更新參數(shù)的值。

（4）經(jīng)過迭代以后取得最佳參數(shù)，從而完成模型的訓練。

引入遷移學習的方法，將預先訓練好的ResNet模型的前30層的參數(shù)固化，后面的用新數(shù)據(jù)訓練，從而避免初始隨機的權(quán)重賦值，縮短訓練周期。

第五步：預判模型

加載訓練好的模型，將待識別的煙盒圖片輸入，判斷模型的有效性。使用第二步中的10%的預測圖片集，從中選擇若干圖片輸入到模型中，提取煙盒圖片的特征，輸出圖片的標簽類別以及TOP5的置信度。

參考文獻：

[1]深度學習在圖像識別中的研究進展與展望[DB].CSDN.NET.

[2]許可.卷積神經(jīng)網(wǎng)絡(luò)在圖像識別上的應用的研究[D].浙江大學，2012.

[3]楊瑩.給予卷積神經(jīng)網(wǎng)絡(luò)的圖像分類研究[J].現(xiàn)代計算機，2016，3.

[4]黎哲明.基于卷積神經(jīng)網(wǎng)絡(luò)的車輛品牌和型號識別[J].東南大學學報，2017.

[5]李超波.深度學習在圖像識別中的應用[J].南通大學學報（自然科學版）-2018.

[6]Deep Residual Learning for Image Recognition [J].Microsoft Research，2015.

作者簡介：孫晶（1987- ），女，碩士，中級職稱，研究方向：卷煙營銷和管理