李文寶 曹成茂 張金炎 彭美樂

(安徽農業(yè)大學工學院，安徽 合肥 230036)

山核桃系胡桃科山核桃屬樹種，果仁富含不飽和脂肪酸以及多種人體必需的氨基酸和礦物質，具有極高的營養(yǎng)價值，是皖南山區(qū)重要的經濟作物之一[1]。其果殼堅硬而厚，隔膜發(fā)達，果仁位于隔膜內，殼仁結合十分緊密，使得低損傷破殼取仁十分困難。傳統(tǒng)的山核桃破殼加工方法主要是一次破殼和二次破殼相結合的方式，通過對破殼后的混合物料進行篩選，將山核桃仁分選出來，實現(xiàn)殼仁分離[2]，然而加工過程中存在著仁損傷率高，分選效率低等問題。在山核桃加工過程中對一次破殼后的物料進行細分，將不同類型的物料分二次加工，降低山核桃仁的損傷，可進一步提升山核桃的深加工水平[3]。

計算機視覺及卷積神經網絡在農業(yè)領域已有廣泛的應用[4]，如Mohammad等[5]通過改進的卷積神經網絡來檢測櫻桃的外觀，達到了99.4%的準確率，能夠替代傳統(tǒng)的分級方法； Kozowski等[6]通過對9種卷積神經網絡進行對比，實現(xiàn)了對大麥的視覺分類檢測，準確度達93%；Nasiri等[7]利用遷移學習的方法對棗果進行分類，模型總體的分類準確度達96.98%。中國在農業(yè)領域也開始應用機器視覺及深度學習技術，如在玉米病害檢測、水稻雜株識別，柑橘[8]、蘋果[9]、荔枝[10]、辣椒[11]、番茄[12]、茶葉[13]等農產品分級等均有研究。汪天宇[14]采用模糊聚類算法對山核桃進行殼仁分選，將露仁從3種破殼后的混合物料中分選出來，能夠達到83%的識別準確率。對山核桃一次破殼后的物料進行進一步細分，破殼后的物料經風選、振動篩選，去除雜質、灰塵及細碎殼渣后，剩下的物料可以細分為5類：較完整殼仁未分、露仁、未破殼完整、不完整殼仁未分和殼。為了實現(xiàn)5種物料更精細、準確的分類，研究擬引入卷積神經網絡，基于VGG16來構建分類模型，修改全連接層以實現(xiàn)5種物料的分類，旨在驗證卷積神經網絡對山核桃一次破殼后物料分類識別的可行性，為提高山核桃的深加工水平提供參考。

1 材料及數(shù)據(jù)集建立

1.1 山核桃初次加工物料樣本

山核桃樣本為安徽省寧國市當?shù)厮a的山核桃。脫脯后的山核桃經沸水蒸煮25 min，投入到6HP-120A型山核桃破殼機中進行一次破殼，振動、風選，剔除小碎殼及灰塵，剩下的物料分為5類(如圖1所示)：較完整殼仁未分、露仁、未破殼山核桃、殼、不完整殼仁未分。

圖1 初次破殼后的山核桃物料Figure 1 Pecan material after the first shelling

1.2 圖像采集平臺

使用電腦通過USB連接數(shù)碼相機采集圖片，設計一個立體暗箱，在暗箱內部布置LED燈帶作為光源，對所要拍攝的物料進行補光減少陰影。每張圖片均為白色背板，可以減少背景對檢測的物料干擾，固定相機位置、光照位置、相機與樣品之間的距離。物料圖像采集系統(tǒng)如圖2所示，研究共采集1 713張圖片包括332張較完整殼仁未分、380張露仁、312張未破殼完整山核桃、385張殼和304張不完整殼仁未分物料。

1.3 圖像預處理

試驗中，相機采集的圖像白色背景占整張圖片的面積過大，需對采集的圖片進行預處理。利用OpenCV計算機視覺軟件庫編寫程序對得到的圖片進行分割，去除山核桃物料的大部分白色背景，突出感興趣區(qū)域(ROI)，抑制背景，并且提取物料圖片。利用閾值分割的方法分割圖像，根據(jù)目標與背景在灰度上的差異，通過設置閾值實現(xiàn)目標與背景的分離。采用數(shù)學表達式來表示，則可設原始圖像為f(x,y),選取一個閾值用于計算背景去除的T值。分割后的圖像g(x,y)定義為：

(1)

式中：

f(x,y)——原始圖像；

g(x,y)——閾值分割后的圖像；

x,y——當前像素坐標；

T——最佳的閾值。

如圖3所示，通過閾值分割法對原始圖片進行分割后，通過形態(tài)學操作消除閾值處理不完善的地方，即圖片的黑色點狀區(qū)域，進而得到完整的連通區(qū)域，尋找到連通域的最小外接矩形，確定外接矩形的4個點坐標，對原圖按照得到的點坐標進行裁剪，即可得到刪除大部分白色背景的樣本圖片。

1. 樣本 2. 光源 3. 相機 4. 電腦圖2 樣本圖像采集平臺Figure 2 Sample image acquisition platform

圖3 圖片預處理過程Figure 3 Picture preprocessing process

1.4 圖像數(shù)據(jù)增廣

深度神經網絡中嵌入了大量的參數(shù)。因此，訓練階段需要大量的數(shù)據(jù)進行訓練來學習所有的參數(shù)，否則無法對神經網絡進行充分的訓練，或者是出現(xiàn)過擬合的風險，所以需要增加訓練的數(shù)據(jù)量，提升模型的泛化能力。通常使用數(shù)據(jù)增廣的方法在不增加成本和時間的情況下增加訓練圖片的數(shù)量。

在數(shù)據(jù)增廣的方法中，訓練數(shù)據(jù)集使用具有相同的標簽或者類來進行增加，以防止過擬合的問題。對訓練數(shù)據(jù)集使用旋轉、亮度變化、高度偏移、寬度偏移、縮放、水平翻轉和剪切等處理，對數(shù)據(jù)進行增強。如圖4所示，通過數(shù)據(jù)增強，將訓練樣本的1 713張圖片擴充為15 000張圖片。

a. 原圖 b～e. 隨機亮度變換加縮放 f. 旋轉圖4 圖像數(shù)據(jù)增廣Figure 4 Image data augmentation

經數(shù)據(jù)增強后，樣本數(shù)量大大增加(見表1)，相對于原始數(shù)據(jù)集能夠更加充分地訓練網絡參數(shù)。訓練時采取交叉熵損失函數(shù)，能夠有效解決樣本的不平衡性，從而提升準確率，使模型更具魯棒性[15]。

表1 數(shù)據(jù)增廣后樣本數(shù)據(jù)

2 模型構建

分類識別模型的建立主要基于卷積神經網絡，特征不是人為設計的，而是使用一種通用的學習方法從數(shù)據(jù)中學得，避免了繁瑣的特征提取過程[16]。卷積神經網絡的網絡深度對于分類精度和檢測性能有重要作用，VGG16通過加深同質化網絡結構來提升分類性能[17]。VGG的分類能力略遜于GoogLeNet，但其拓撲結構沒有GoogLeNet復雜，VGG網絡生成的特征優(yōu)于其他的CNN，如AlexNet、GoogLeNet。因此，VGG在計算機視覺任務中是熱門的選擇之一[18]。

2.1 網絡模型結構

選擇VGG16作為山核桃物料分類網絡的特征提取的網絡結構，其包含13個卷積核為3*3的卷積層，5個最大池化層，輸入圖片經VGG16結構的神經網絡提取特征，然后展平處理為特征向量，對特征向量進行批歸一化(BN)處理，通過全連接層對樣本進行分類，使用Softmax函數(shù)對分類概率進行歸一化。試驗建立的模型網絡結構如圖5所示。

圖5 模型網絡結構Figure 5 Model network structure

2.2 卷積層

(2)

式中：

ax,y,z——輸入節(jié)點為(x,y,z)的取值；

f——激活函數(shù)。

為增加網絡模型的非線性，采取ReLU函數(shù)作為激活函數(shù)，其數(shù)學公式為[19]：

(3)

ReLU函數(shù)是分段線性函數(shù)，經該函數(shù)處理，所有的負值和0取值均為0，所有的正值則不變。ReLU函數(shù)能夠使模型變得稀疏，經該函數(shù)處理后的模型可以更好地挖掘相關特征。

2.3 池化層

卷積神經網絡還具有縮小圖片大小作用的池化層。利用圖像局部相關性的原理，對圖像進行采樣，池化層對原始特征層的信息進行壓縮，減少處理的數(shù)據(jù)量，從而預防過擬合。試驗網絡模型采用的是最大池化方式，其池化過程如圖6所示。

圖6 池化過程示意圖Figure 6 Schematic diagram of pooling process

2.4 批規(guī)范化層(BN)

批規(guī)范化層是2015年由Loffe等[20]提出，主要是為了加速神經網絡的收斂過程以及提高訓練過程中的穩(wěn)定性。在CNN中使用批規(guī)范化處理會使網絡加深，并且訓練過程所需要的迭代次數(shù)會減少。試驗構建的分類模型，在通過卷積層與池化層后，展平為特征向量，并通過BN層對數(shù)據(jù)進行歸一化處理，提高訓練過程的穩(wěn)定性。批規(guī)范化操作的數(shù)學表達式為：

(4)

式中：

x——當前訓練批次；

μ、σ——x的平均值和標準差；

β——可訓練參數(shù)；

ε——較小的常數(shù)(用來避免零為除數(shù))。

2.5 全連接層(FC)

全連接層中，每一個神經元都與上一層所有神經元進行全連接，全連接層可以整合卷積層或者池化層中具有類別區(qū)分性的局部信息，包含向量權重和激活函數(shù)，將卷積層輸出拉伸為一維特征向量作為輸入，然后該向量與權重向量作點乘，將點乘的結果作為激活函數(shù)的輸入，最終輸出的結果便是全連接層的最終結果。

2.6 Softmax函數(shù)

將Softmax函數(shù)應用于全連接層后，該函數(shù)預測了屬于每一種類別圖片的歸一化概率，實現(xiàn)對研究物料的最終分類概率預測。在處理多分類(C>2)問題上，分類器最后的輸出單元需要使用Softmax函數(shù)進行數(shù)值處理，其定義式為：

(5)

式中：

vj——分類器前級輸出單元的輸出；

i——類別索引；

c——總的類別數(shù)；

Si——當前元素的指數(shù)與所有元素指數(shù)和的比值。

2.7 損失函數(shù)

多分類任務通常采用交叉熵損失函數(shù)，交叉熵表示的是實際輸出與期望輸出的距離，交叉熵越小二者的概率分布越近。假設概率分布p為期望輸出，概率分布q為實際輸出，H(p,q)為交叉熵，其計算式為:

(6)

式中：

T——分類類別數(shù)。

試驗設計的網絡輸出結果在輸出前經過了Softmax函數(shù)，將網絡輸出變成概率分布。由于樣本集不是太大，采用批量梯度下降，最后交叉熵損失為所有batch的均值。

2.8 Dropout方法

為了防止訓練過程中模型出現(xiàn)過擬合，造成準確度下降，引入Dropout方法。該方法一方面是為了避免過擬合，另一方面是使用更有效的方式進行模型融合。當神經元被置0時，其不會參與前向傳播和反向回傳的計算，其他神經元可以參與訓練，并且更新權重。這個過程可以使神經元學習出來的模型不會太過依賴某些局部特征，提高了模型的泛化能力。Dropout原理如圖7所示。

圖7 Dropout原理示意圖Figure 7 Schematic diagram of Dropout principle

3 訓練與結果分析

采用pytorch深度學習框架，使用python3.7編程語言構建卷積神經網絡，實現(xiàn)對山核桃物料的分類，其硬件配置表見表2。

表2 硬件配置表Table 2 Hardware configuration table

3.1 訓練參數(shù)及結果

為了驗證模型性能，將數(shù)據(jù)集中樣本的90%(13 502張圖片)用于訓練，剩下的10%(1 498張圖片)用于測試。訓練過程中，將Dropout率設置為0.5，batch_size設置為32，訓練epoch設置為50。采用隨機梯度下降算法(SGD)對模型參數(shù)進行優(yōu)化訓練。模型學習率是SGD算法中的重要參數(shù)，為了保證訓練速度，將初始學習率設置為0.001，學習率下降間隔數(shù)為5個epoch，其調整倍數(shù)為0.1。分別對數(shù)據(jù)增廣前、后的數(shù)據(jù)集進行訓練，結果如圖8 所示。由圖8可知，增廣后，訓練過程更加平滑，能夠有效地降低過擬合，提高訓練精度。

圖8 分類準確度Figure 8 Classification accuracy

3.2 特征圖可視化

卷積神經網絡訓練是一個黑箱過程，通過可視化特征圖，能夠更加直觀地了解卷積神經網絡的學習情況，圖9為山核桃物料圖像及其不同的特征圖。

圖9 山核桃物料及其特征圖可視化Figure 9 Visualization of pecan material and its feature map

3.3 混淆矩陣

為了評估模型對5種山核桃加工物料的識別性能，使用混淆矩陣觀察分類結果。使用訓練后的模型對原始數(shù)據(jù)集1 713張圖片進行預測，并制作混淆矩陣，將較完整山核桃、不完整山核桃、未破殼山核桃、露仁和殼5種類型設置標簽對應A、B、C、D、E。使用混淆矩陣的橫坐標表示山核桃加工物料的真實標簽，縱坐標表示預測標簽，預測結果如圖10所示。

由圖10可知，經50個epoch訓練得到的模型，其總體分類精度較高，達99.5%。為了更準確地描述模型對各種物料的分類情況，分析各類別的精確率、召回率和特異度，結果見表3。

圖10 混淆矩陣Figure 10 Confusion matrix

表3 5種山核桃物料預測分類數(shù)據(jù)Table 3 Forecast classification data of 5 pecan materials

由表3可知，模型對露仁的識別精確率達到了99.2%，能夠有效地將露仁分選出，對于需要剔除的殼以及將要送回一次破殼機重新破殼的完整山核桃識別精確率達到了100.0%。

3.4 模型對比

利用深度學習的方法對山核桃破殼物料進行分類，與傳統(tǒng)的非線性分類模型進行對比，結果見表4。

表4 不同分類模型對比

由表4可知，傳統(tǒng)的SVM、BP神經網絡的分類精度最高只能達到85.1%，而VGG16的分類精度達到了99%以上，具有較好的優(yōu)越性。

4 結論

針對含隔類堅果山核桃一次破殼后的5種物料(較完整殼仁未分、露仁、未破殼完整、不完整殼仁未分和殼)，引入了深度學習算法，并進行了一系列的訓練和探究。結果表明，較完整殼仁未分、露仁、未破殼完整、不完整殼仁未分和殼5種物料的識別精確率分別達99.1%，99.2%，100.0%，100.0%，99.3%；與傳統(tǒng)的非線性模型相比，VGG16模型對破殼物料的分類精度更高，其總體準確度達到了99.5%。綜上，利用深度學習對山核桃物料進行分類，能夠有效地識別山核桃，識別準確度高且穩(wěn)定。受條件限制，研究中對物料采用單個角度的拍攝，圖像可能無法完整地表達各類別物料，仍需進一步考慮取樣方法。研究中將物料分為5類，可能還存在一些如霉變的山核桃仁等物料，需對樣本劃分進一步細化。