汪成龍，黃余鳳，莊學敏，謝 珩

（惠州學院 電子信息與電氣工程學院，廣東 惠州 516007）

隨著馬鈴薯商業(yè)價值的增加，馬鈴薯的品質檢測成為必不可少的一部分.傳統(tǒng)的馬鈴薯品質檢測采用人工的方法，但其成本高昂，檢測速度慢，已無法滿足國內馬鈴薯工業(yè)生產的要求，因此亟需采用一種自動檢測技術代替人工檢測.

馬鈴薯外形多種多樣，大小不一，發(fā)生病變畸形的形狀也千差萬別，導致傳統(tǒng)的機械視覺所采用的檢測算法識別正確率大幅下降，或由于情況過于復雜造成算法難以生成.若采用深度學習的方法對馬鈴薯進行形態(tài)特征進行學習，可以簡單的得到符合要求的識別算法.深度學習是近年發(fā)展起來的多層神經網絡學習算法，通過對多層網絡結構的非線性特征的學習，完成對復雜多維空間的擬合［1］.在圖像識別方面，深度學習可分為無監(jiān)督的特征學習和有監(jiān)督的特征學習兩種方法［2］.無監(jiān)督學習通常用于對象的特征提取，在收集所提取特征之后，再進行分類算法進行分類；有監(jiān)督的特征學習是在擁有大量帶有標記的樣本時，通過不斷地對分類器的參數(shù)進行調整優(yōu)化，使分類器滿足性能要求.基于深度學習的方法實現(xiàn)對圖像特征進行提取制作的圖像識別系統(tǒng)，可以完成甚至超過通過人眼進行識別的工作效果.

1　卷積神經網絡的工作原理

卷積神經網絡由卷積層、池化層、全連接層和其他層組成［3］.其中卷積層與池化層配合，組成多個卷積組，逐層提取特征，最終通過若干個全連接層完成分類.

1.1　卷積層

卷積層的作用是從輸入的圖像中提取特征，卷積層由許多個卷積核（也稱為濾波器）組成，通過卷積核與圖像完成卷積操作，學習像素間的位置關系從而提取特征.現(xiàn)考慮一個25個像素的5×5的圖片被一個3×3的卷積核所卷積.

用 xi，j表示圖像的第 i行第 j列的像素；用 wm，n表示卷積核第m行第n列權重，用wb表示卷積核的偏置項；根據公式（1）和（2）：

得卷積后得到一個3×3的特征圖，其中W1和H1表示被卷積圖片的寬度和高度，W2和H2表示卷積后輸出特征圖的寬度和高度，F(xiàn)表示卷積核的大小，P表示擴充的邊緣大小，S表示卷積的步長.用ai，j表示特征圖的第i行第j列元素；用f表示激活函數(shù).然后，使用公式（3）計算卷積，可得到特征圖

1.2　池化層

化層通常在卷積層之后，池化也被稱為下采樣.由于圖像上相鄰的像素之間具有一定的相關性，因此用其中一個像素的信息來代替與其相鄰的一定范圍內的像素信息，這種方法可以在完成對圖像壓縮的同時最大程度地保留圖像原本的信息，減少網絡中的參數(shù)數(shù)量，達到減少計算量的目的［4］.最常見的池化操作有平均池化和最大池化.

平均池化：計算池化窗口選中的圖像區(qū)域的像素值的平均值作為該區(qū)域池化后的值.

最大池化：計算池化窗口選中的圖像區(qū)域的像素值中的最大值作為該區(qū)域池化后的值.

1.3　全連接層

全連接層在神經網絡的末端，一般有兩到三層全連接層.它將前面卷積層輸出的三維的圖像特征轉化為一維的向量來對應圖像的標簽，即將學到的圖像特征映射到圖像標記空間，在神經網絡中起到分類作用［5］.全連接層可以通過卷積操作實現(xiàn)：對前層是全連接的全連接層可以轉化為卷積核為1×1的卷積操作.由于全連接層參數(shù)冗余，后來推出的一些性能優(yōu)異的網絡如ResNet和GoogleNet等采用全局平均池化替代全連接層來分類學得的特征.

圖1　全連接層

1.4　其他層

其他層包括激勵層，損耗層，BN層，Dropout層

1.4.1激勵層

在激勵層中，使用激活函數(shù)對輸入數(shù)據進行激活操作，從底層得到一個數(shù)據輸入，運算后，從頂層輸出一個數(shù)據.在運算過程中，沒有改變數(shù)據維度的大小，即輸入和輸出的數(shù)據維度大小是相等的.激活函數(shù)為神經網絡引入了非線性因素，由于神經網絡的輸入不一定是線性可分的，因此，引入非線性因素來解決線性模型所不能解決的問題.當前神經網絡常用的激活函數(shù)有ReLU激活函數(shù).

1.4.2損耗層

損耗層設置了一個損失函數(shù)用來比較網絡的輸出和目標值，通過最小化損失來驅動網絡的訓練.網絡的損失通過前向操作計算，網絡參數(shù)相對于損失函數(shù)的梯度則通過反向操作計算.

Softmax+損失函數(shù)（Softmax With Loss）一對多的分類任務計算多項邏輯斯蒂（Logistic）損失，并通過Softmax傳遞預測值，來獲得各類概率的分布.公式如下：

1.4.3BN層

BN即Batch Normalization，BN層的作用為批量正則化.在深度網絡的訓練過程中，網絡前面引入的微小的誤差會隨著網絡層次的增加而逐漸放大，使得后面的層的特征概率發(fā)生變化，影響訓練的效果.因此，采用批量正則化來將每一層的概率分布變換為標準正態(tài)分布來規(guī)避參數(shù)攝動.批量的意思是批量的樣本圖片，正則化是將層的激活值的概率分布轉化成均值為零，方差為一.

1.4.4Dropout層

Dropout層的作用是在網絡訓練的過程中，將輸入本層的特征按照預先設定的概率進行舍棄.在深度和廣度都很大的卷積神經網絡的訓練過程中，過擬合和訓練時間長經常出現(xiàn)的問題，使用Dropout可以減少網絡中傳遞的參數(shù)量，減少計算量，縮短訓練時間.同時，Dropout消除了節(jié)點之間的相關性，減少了網絡中的非必要特征，緩解了過擬合的現(xiàn)象.

2　基于caffe深度學習框架對馬鈴薯圖像分類的研究

2.1　樣本圖片的處理

2.1.1采用留一法確定訓練集和測試集

由于獲取的馬鈴薯樣本圖片較少，只有153張，為了提高樣本的利用率故采用留一法，將樣本圖片分成38張，38張，38張，39張四份小樣本，每次訓練網絡模型時選取其中一份作為測試集，其余三份作為訓練集進行訓練，總共訓練四次，并根據訓練的效果確定的訓練集為114張圖片和測試集為39張圖片.

2.1.2圖像去均值化

圖像去均值化是將用于訓練的樣本圖片減去訓練集圖片的特征均值，把輸入圖片各個維度的數(shù)據都移到零點.

圖2-1　 畸形的馬鈴薯圖片

圖2-2　去均值處理畸形的馬鈴薯圖片

圖2-3　正常的馬鈴薯圖片

圖2-4　去均值處理畸形的馬鈴薯圖片

2.2　CaffeNet的網絡結構分析及特征提取

CaffeNet的輸入為大小為64×64的圖像，網絡包含了5個卷積層，3個池化層，3個全連接層，第一個卷積層的卷積核大小為7×7，卷積步長為1，第二個卷積層的卷積核大小為5×5，卷積步長為1，其他的卷積層的卷積核大小都為3×3，步長為1；池化層均采用最大池化操作；3個全連接層的節(jié)點數(shù)量分別為4096，4096，2.

CaffeNet的特點是使用了3種不同大小的卷積核，這種結構在網絡訓練時可以兼顧不同大小的局部區(qū)域特征，提高了網絡的精確性［6］.

圖3　CaffeNet網絡結構

表1　CaffeNet的測試結果

使用CaffeNet提取的特征圖：

圖4-1　正常馬鈴薯圖片的特征圖

圖4-2　畸形馬鈴薯圖片的特征圖

2.3　ResNet的網絡結構分析及特征提取

隨著人們對神經網絡研究的深入，新構建網絡模型層次也不斷增加，網絡深度的增加，帶來了準確度的增加.但是增加網絡深度后，網絡前面的層梯度很小，導致這些層基本停止更新參數(shù)，這就是梯度消失問題［7］.同時更深的網絡意味著參數(shù)空間更大，網絡優(yōu)化難度加大，因此單純地增加網絡深度反而出現(xiàn)更高的訓練誤差，深層網絡雖然收斂了，但網絡卻開始退化了，即增加網絡層數(shù)卻導致更大的誤差.

圖5　殘差模塊示意圖

為解決以上的問題，設計了一種殘差模塊能訓練更深的網絡.從圖5可知，數(shù)據經過了兩條路線，一條是常規(guī)路線，另一條則是“捷徑”，是直接實現(xiàn)單位映射的直接連接路線.若把網絡中的一個模塊的輸入和輸出關系看作是y=H(X)，直接通過梯度方法求H(X)會出現(xiàn)上文提到的退化問題，若使用這種帶“捷徑”的結構，可變參數(shù)部分的優(yōu)化目標不再是H(X)，若用F(X)來代表需要優(yōu)化的部分，H( X ) =F( X ) +X，即F( X ) =H(X ) -X.因為在單位映射的假設中y=X即相當于觀測值，因此F(X)對應著殘差，因而ResNet又被稱為殘差網絡.學習殘差F(X)比直接學習H(X)簡單，現(xiàn)只需要去學習輸入和輸出的差值，絕對量變?yōu)橄鄬α縃( X ) -X即是輸出相對于輸入變化量，優(yōu)化難度大幅度降低.

表2　ResNet的測試結果

使用ResNet提取的特征圖：

圖6-1　正常馬鈴薯圖片的特征圖

圖6-2　畸形馬鈴薯圖片的特征圖

2.4　DenseNet的網絡結構分析及特征提取

針對隨著網絡深度的加深，而出現(xiàn)梯度消失的問題，上述的ResNet和許多其他類型的網絡給出相應的解決方案，雖這些網絡模型的結構并非完全一致，但其解決方案的核心都是在網絡中的層與層之間創(chuàng)建“捷徑”，而DenseNet的解決方案是從特征入手，通過達到對特征的極致利用來實現(xiàn)更好的效果［8］.

DenseNet是一種具有密集連接的卷積神經網絡.在該網絡中，任何兩層之間都有直接的連接，也就是說，網絡每一層的輸入都是前面所有層輸出的并集，而該層所學習的特征圖也會被直接傳給其后面所有層作為輸入.圖7為DenseNet的基本結構示意圖，BN層接ReLU層接卷積核為（1×1）的卷積層接BN層接ReLU接卷積核為（3×3）的卷積層，多個基本結構組成了一個完整DenseNet.每個基本結構的之間層稱為transition layers，由BN層接卷積核為（1×1）的卷積層接平均池化層組成.

圖7　DenseNet網絡的基本結構

當網絡層次很深時，相比于其他網絡模型DneseNet的參數(shù)量大幅減少了.與ResNet的“捷徑”思路相似，DenseNet的這種結構相當于每一層都直接連接輸入，因此可以減輕梯度消失現(xiàn)象.

表3　DenseNet的測試結果

使用DenseNet提取的特征圖：

圖8-1　正常馬鈴薯圖片的特征圖

圖8-2　畸形馬鈴薯圖片的特征圖

3　基于圖形用戶界面的馬鈴薯圖片識別應用設計

使用caffe軟件的指令實現(xiàn)已經訓練好的網絡模型對馬鈴薯圖片進行識別，這種方法雖然在網絡模型訓練調試階段能夠直接對網絡的調用以及修改，但是在實際生產應用中，這種方式顯然是不夠人性化，不夠高效化的［10］.因此，使用圖形用戶界面開發(fā)程序來為檢測程序制作界面.

首先，編譯caffe的matlab接口，在caffe的文件夾中找出CommonSettings.props文件，后將文件編譯matlab接口的語句改為ture，并添加matlab的文件路徑，接著使用Visual Studio生成解決方案，若在caffe的文件夾中出現(xiàn)了matcaffe文件夾即編譯成功.有了matlab接口后，使用matlab對網絡模型進行訓練、測試、圖像識別以及各種可視化操作，同時matlab自帶的圖形用戶界面可以用來開發(fā)檢測程序的界面.

程序流程圖；開發(fā)圖形用戶界面如下：

圖9　應用程序流程圖

圖10　應用開發(fā)截圖

應用程序運行效果：

圖11-1　應用效果圖（畸形）

圖11-2　應用效果圖（正常）

4　結論

本文的主要內容為研究利用神經網絡對馬鈴薯圖片進行檢測分類的方法，介紹了卷積神經網絡的基本工作原理，采用留一法確定樣本圖片的訓練集和測試集的分配，確定的訓練集為114張圖片和測試集為39張圖片，并對圖像進行了去均值化的處理.同時研究了CaffeNet、ResNet和DenseNet三種神經網絡模型的結構特點，以及三種網絡模型對測試集的馬鈴薯圖片的分類效果，最終得到如下結果：

1）迭代次數(shù)分別為 400、800、1200、1600、2000、2400的CaffeNet模型對馬鈴薯圖片測試集的識別準確率分別為89.7%、92.3%、92.3%、97.4%、100%、100%；

2）迭代次數(shù)分別為 400、800、1200、1600、2000、2400的ResNet模型對馬鈴薯圖片測試集的識別準確率分別為89.7%、92.3%、97.4%、100%、100%、100%；

3）迭代次數(shù)分別為 400、800、1200、1600、2000、2400的DenseNet模型對馬鈴薯圖片測試集的識別準確率分別為92.3%、94.9%、94.9%、97.4%、100%、100%.