黃玉富，樸燕，張漢輝

（長春理工大學(xué) 電子信息工程學(xué)院，長春 130022）

伴隨著以互聯(lián)網(wǎng)技術(shù)為核心的大量高科技產(chǎn)品的普及，人工智能［1-3］在現(xiàn)實生活中發(fā)揮著越來越重要的作用。作為一個農(nóng)業(yè)大國，農(nóng)業(yè)生產(chǎn)成本不斷提高，大面積的水果種植使得水果自動采摘技術(shù)［4-5］應(yīng)運而生。得益于深度學(xué)習(xí)技術(shù)的大力發(fā)展，使得水果自動采摘技術(shù)得到了快速發(fā)展。水果圖像識別作為水果自動采摘技術(shù)的核心，其識別精度的好壞直接影響著水果自動采摘技術(shù)能否順利準(zhǔn)確的進行采摘。傳統(tǒng)的水果圖像識別技術(shù)已經(jīng)無法滿足現(xiàn)代農(nóng)業(yè)大規(guī)模生產(chǎn)的需求，水果圖像識別技術(shù)還需進一步研究。因此，研究基于深度學(xué)習(xí)的水果圖像識別算法對水果的自動采摘具有重要意義。

傳統(tǒng)的水果識別多利用特征描述方法獲取其顏色、紋理等信息完成識別。例如Ji等人［6］針對上述特征，提出了一種基于區(qū)域生長和顏色特征的分割方法，并通過向量機的方法進行識別，但是在遮擋的情況下識別率較低；陶偉華等人［7］研究了一種顏色完全局部二值模式（CCLBP）和HSV顏色空間相結(jié)合的特征提取方法，該方法通過將提取出的顏色和紋理特征相結(jié)合，從而實現(xiàn)對水果圖像的識別。Lu等人［8］通過分析色差信息和對RGB歸一化的水果分割技術(shù)，提出了一種基于顏色信息和輪廓信息的水果識別方法，可實現(xiàn)自然光照下的水果識別，但是模型起初在水果分割階段受光照影響較大；鄒謎等人［9］利用水果的顏色信息，經(jīng)過特征匹配實現(xiàn)對水果圖像的識別，也取得了較好的效果。

深度學(xué)習(xí)［10］作為人工智能的一個分支，在圖像識別方面獲得了大量的運用。自然環(huán)境下水果類別之間具有很大的差異性，基于傳統(tǒng)方法構(gòu)建的圖像識別系統(tǒng)找不到通用的特征提取方式，泛化能力較差。而深度學(xué)習(xí)方法大大減少人工規(guī)則的繁瑣過程，特征提取表達能力強、泛化能力好，大量基于深度學(xué)習(xí)的水果圖像識別方法被提出。例如Li等人［11］利用Otsu對草莓圖像進行分割，并利用CaffeNet進行訓(xùn)練，完成對草莓的識別，取得了95%的識別率。Liu等人［12］提出基于CNN的SSD物體檢測算法。

本文以蘋果、香蕉、檸檬等34種水果為研究對象，針對現(xiàn)階段水果圖像識別過程中存在的漏檢和誤檢問題，研究了以ResNet-50為骨干網(wǎng)絡(luò)的一種多尺度特征融合水果識別算法，可有效解決在部分特征丟失、語義信息不完整導(dǎo)致的漏檢和誤檢，從而進一步提高識別準(zhǔn)確率。為防止訓(xùn)練時隨著網(wǎng)絡(luò)深度的加深而出現(xiàn)梯度消失或梯度爆炸現(xiàn)象，將ResNet-50作為骨干網(wǎng)絡(luò)，并去掉ResNet-50末端的池化層和全連接層。同時采用多尺度卷積，增加網(wǎng)絡(luò)寬度的同時采用不同尺度進行特征提取，全局特征與局部特征相融合有利于提升語義信息的多元化，增加多尺度的feature map輸出，從而提升檢測的準(zhǔn)確性。

1 基礎(chǔ)網(wǎng)絡(luò)介紹

1.1 ResNet-50網(wǎng)絡(luò)介紹

目前，為了提高在圖像識別分類中的準(zhǔn)確率，大量的卷積神經(jīng)網(wǎng)絡(luò)被提出。經(jīng)過研究表明，網(wǎng)絡(luò)深度將直接影響識別準(zhǔn)確度，但一味簡單粗暴的增加網(wǎng)絡(luò)深度只會使梯度消失，或使梯度爆炸現(xiàn)象更加嚴(yán)重，龐大的權(quán)值參數(shù)對網(wǎng)絡(luò)訓(xùn)練是一大難題。針對上述問題，2015年何凱明等人［13］提出了基于殘差單元的網(wǎng)絡(luò)結(jié)構(gòu)，整個網(wǎng)絡(luò)通過殘差單元的堆疊，使得網(wǎng)絡(luò)模型在加深的同時依舊能夠保持較高的特征表達能力，成功解決梯度退化問題，殘差單元如圖1所示。

圖1 殘差單元結(jié)構(gòu)

與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同的是，殘差單元采用跨層鏈接方式，通過shortcut connections（捷徑連接）添加了輸入到輸出的連接，創(chuàng)建了輸入的恒等映射，在不增加權(quán)值參數(shù)和計算難度的情況下，有效抑制了梯度消失問題，殘差單元每層輸出可以表示為：

其中，X為輸入信息；W為需要學(xué)習(xí)的參數(shù)；σ（?）為激活函數(shù)；F（·）表示卷積層對X的計算結(jié)果。在殘差單元中，輸入X通過捷徑將會被直接輸出，作為輸出值的一部分，這將有效抑制深層網(wǎng)絡(luò)中出現(xiàn)的梯度消失問題。當(dāng)F(X) =0時，H(X) =X，即所謂的恒等映射。于是，在整個網(wǎng)絡(luò)訓(xùn)練過程中，殘差網(wǎng)絡(luò)巧妙地將學(xué)習(xí)目標(biāo)進行變化，不再是傳統(tǒng)網(wǎng)絡(luò)訓(xùn)練過程中的完整輸出，而是殘差單元的目標(biāo)值為F(X)和輸入值X的差值，也就是所謂的殘差：F(X) =H(X)-X，因此，每一層的輸入可以歸結(jié)為：

通過梯度下降法對網(wǎng)絡(luò)進行訓(xùn)練的最好目的便是將殘差F(X)結(jié)果逼近于0，從而使網(wǎng)絡(luò)加深，準(zhǔn)確率也不會下降。設(shè)網(wǎng)絡(luò)的損失函數(shù)為E，則在訓(xùn)練過程中反向傳播可以表示為：

其中，ε表示網(wǎng)絡(luò)經(jīng)過前向傳播之后得到的總的損失，即網(wǎng)絡(luò)預(yù)測值與真實值經(jīng)過對比之后得到的差距大小。小括號中的1表明采用捷徑連接可以使高層的損失無損的傳播梯度，從而解決梯度消失問題，增加網(wǎng)絡(luò)可訓(xùn)練的層數(shù)。

1.2 Inception網(wǎng)絡(luò)介紹

提升卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)性能的最直接方法就是增加它的深度，這也是大多數(shù)研究員為提升網(wǎng)絡(luò)準(zhǔn)確率而不斷改進的方向。更大的深度意味著更大數(shù)目的參數(shù)量，會帶來更大的資源耗損和訓(xùn)練過擬合等問題。解決上述兩個問題的一個簡單方式是引入稀疏性，用稀疏的全連接層替換一般的全連接層，或者是在卷積的內(nèi)部使用稀疏，然而現(xiàn)在的運算基礎(chǔ)架構(gòu)在處理非均勻稀疏結(jié)構(gòu)的數(shù)值時效率低下，并且非均勻的稀疏模型需要更加復(fù)雜的工程和計算基礎(chǔ)架構(gòu)。所以Inception［14］采用了相應(yīng)的方法來實現(xiàn)密集成分近似最優(yōu)的局部稀疏結(jié)構(gòu)。Inception擴充了模型的寬度，主要方法是采用多個卷積和池化對輸入信息進行表征，然后再拼接起來作為輸出，這樣的方法相比單獨一個卷積可以對輸入進行更好地表征。不同目標(biāo)尺度不一樣，有的在圖像中占據(jù)的位置較多，有的占據(jù)的位置較少，如果只使用單一的卷積核進行卷積操作，就會使得某些目標(biāo)出現(xiàn)漏檢的現(xiàn)象。畢竟大目標(biāo)適合用大的卷積核進行檢測，小目標(biāo)適合用小的卷積核進行檢測。為了防止漏檢現(xiàn)象，采用多個尺度的卷積核進行卷積，網(wǎng)絡(luò)越深，提取的特征越抽象，語義信息越豐富。同時采用多尺度卷積核并聯(lián)可以提取不同尺度的特征，分別代表不同的局部特征，提取到的信息更加豐富。為了降低網(wǎng)絡(luò)運算量，Inception采用1×1卷積來縮減通道數(shù)，具體做法為：在每個3×3和5×5的卷積層前，加上1×1的卷積層，在減少運算量的同時，還為網(wǎng)絡(luò)引入了非線性，進一步增加了網(wǎng)絡(luò)的表達能力。這種計算方式的改善，使得在不增加計算量的同時，拓寬每一層的寬度，同時可以加深網(wǎng)絡(luò)深度。Inception結(jié)構(gòu)如圖2所示。

圖2 Inception網(wǎng)絡(luò)結(jié)構(gòu)

本文在學(xué)習(xí)以上網(wǎng)絡(luò)基礎(chǔ)上，為了避免在檢測過程中出現(xiàn)的漏檢和誤檢現(xiàn)象，提升網(wǎng)絡(luò)識別精度，提出基于多尺度特征融合的水果圖像識別算法，與以前所提出的算法不同，不是僅僅通過增加網(wǎng)絡(luò)深度來提升識別精度，而是在借鑒以上網(wǎng)絡(luò)優(yōu)勢的基礎(chǔ)上，采用ResNet-50作為骨干網(wǎng)絡(luò)，多個尺度并行提取水果圖像特征，在增加網(wǎng)絡(luò)深度的同時也拓寬網(wǎng)絡(luò)的寬度，從而進一步提高網(wǎng)絡(luò)的識別精度。

2 水果圖像識別模型構(gòu)建

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖3所示，本文提出的網(wǎng)絡(luò)結(jié)構(gòu)主要由骨干網(wǎng)絡(luò)層、多尺度卷積層和分類層構(gòu)成。采用殘差卷積神經(jīng)網(wǎng)絡(luò)ResNet-50作為骨干網(wǎng)絡(luò)，它前面有一個7×7卷積層（名為conv1），后面是四個殘差block（名為conv2x到conv5x），每個block包含3、4、6、3個殘差單元。將ResNet-50作為骨干網(wǎng)絡(luò)，并對其做以下修改：去掉ResNet-50的第四個殘差block后的全連接層和平均池化層。給定輸入圖像時，骨干網(wǎng)絡(luò)將產(chǎn)生2 048個通道的特征圖。將由骨干網(wǎng)絡(luò)輸出的原始特征圖經(jīng)過三個3×3的卷積核進一步進行特征提取，每一個卷積層后通過批量歸一化函數(shù)BN使數(shù)據(jù)歸一化，并采用ReLU作為激活函數(shù)，增加網(wǎng)絡(luò)非線性表達能力。在多尺度卷積層，采用兩個分支分別進行3×3和5×5的多尺度卷積，以提取語義信息更加豐富的全局信息和局部信息。每個分支首先通過1×1的卷積核進行空間維度的降維，減小后續(xù)運算量。兩個分支聯(lián)合優(yōu)化既能優(yōu)勢互補，又能防止本文所提出的模型在訓(xùn)練過程中信息丟失。最后將兩條支路提取的特征信息通過通道進行拼接，拼接起來的特征信息更有利于水果圖像識別分類。在分類層，因為全連接層中的偏置項會影響網(wǎng)絡(luò)的分類結(jié)果，故把全連接層中的全部偏置項都去除，并設(shè)置使全連接層輸出一維數(shù)據(jù)個數(shù)為34，采取Softmax層實現(xiàn)最后的水果圖像識別分類。

圖3 模型結(jié)構(gòu)

2.2 損失函數(shù)

Softmax多用于利用深度學(xué)習(xí)進行分類識別的過程，它將一個具有k維的向量映射到（0，1）區(qū)間，從而轉(zhuǎn)化為概率的形式。通過比較概率的大小，從而來進行多分類。同時其計算過程簡單，對類間間隔優(yōu)化效果顯著。但是少數(shù)情況下會出現(xiàn)同一類間的距離大于不同類間的距離，致使Softmax函數(shù)判斷錯誤。針對此問題，采用在Softmax層前增加BN層，對Softmax層所有輸入進行歸一化處理，同時根據(jù)文獻［15］研究表明，去掉偏置項，使得特征點映射到單位超球面上，可以從方向上區(qū)分不同類。不同類位于單位超球表面的不同區(qū)域，在訓(xùn)練過程中，同一類的輸出映射到表面上會慢慢地向中心點聚集，不同類的中心點會慢慢地分散開來，從而控制了不同類之間的距離，這將有助于提高識別效果。Softmax損失函數(shù)定義為：

其中，n為批量的大??；C為類別數(shù)量；f(bi)∈Rd表示第i個樣本的深度特征，其真實類別為yi，特征信息維度為d；W為該層的權(quán)重。

3 實驗與分析

3.1 實驗環(huán)境與參數(shù)設(shè)置

本實驗基于python進行編程，所有實驗是在Windows10系統(tǒng)，PC的內(nèi)存為8 GB，CPU主頻為2.59 GHz的電腦上完成。采用TensorFlow搭建本文提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型。在將訓(xùn)練集中的數(shù)據(jù)投入模型訓(xùn)練之前，通過程序隨機選取訓(xùn)練集中20%的圖片作為驗證集。同時為了加快通過梯度下降法更新網(wǎng)絡(luò)參數(shù)的速度，又能確保網(wǎng)絡(luò)獲得最優(yōu)值，這里選用小批量梯度下降法，訓(xùn)練集中的所有圖片都是分批投入模型用于訓(xùn)練，批量大小為32，學(xué)習(xí)率為0.01，采用Adam優(yōu)化網(wǎng)絡(luò)。

3.2 數(shù)據(jù)集準(zhǔn)備與預(yù)處理

實驗采用Fruits-360作為數(shù)據(jù)集，在其基礎(chǔ)上開展算法設(shè)計。Fruits-360是專門用于基于深度學(xué)習(xí)的水果識別算法研究工作的數(shù)據(jù)集，如圖4所示，整個數(shù)據(jù)集由訓(xùn)練集和測試集組成，每部分都包含103類不同的水果，每類水果具有不同拍攝角度的圖片，可以從不同角度反映水果特征，本文從中選取34類水果進行實驗。由于數(shù)據(jù)集中存在水果數(shù)據(jù)分布不均衡的現(xiàn)象，為了使網(wǎng)絡(luò)學(xué)習(xí)到更好的特征，提高最后的識別效率，對樣本進行多種預(yù)處理：（1）首先對數(shù)據(jù)集中部分水果圖像通過鏡像翻轉(zhuǎn)、角度旋轉(zhuǎn)等操作進行數(shù)據(jù)擴充，使數(shù)據(jù)集中的各類水果圖像數(shù)量相近，經(jīng)過數(shù)據(jù)擴充之后，訓(xùn)練集與測試集的比例為3∶1，訓(xùn)練數(shù)據(jù)為53 177，測試數(shù)據(jù)為17 845；（2）為了降低網(wǎng)絡(luò)計算量，提高訓(xùn)練和識別速率，將樣本大小調(diào)為100×100，同時將RGB圖像進行灰度化處理轉(zhuǎn)換為灰度圖像，灰度化后的樣本數(shù)據(jù)如圖5所示。

圖4 實驗數(shù)據(jù)

圖5 數(shù)據(jù)灰度化

3.3 深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)果分析

為了驗證所提方法的有效性，在fruits-360數(shù)據(jù)集上進行多組對比實驗，并對實驗結(jié)果進行分析。對比實驗結(jié)果如表1所示。將Resnet-50作為 Baseline（骨干網(wǎng)絡(luò)），分別對Baseline、Base?line+3×3Conv、Baseline+5×5 Conv以及 Baseline+3×3 Conv+5×5 Conv（兩個尺度并行）進行實驗，其中除Baseline單獨進行實驗外，其余均在Baseline后拓寬網(wǎng)絡(luò)寬度，采用兩個并行的支路分別對由Baseline產(chǎn)生的原始特征進一步特征提取，以提取語義更加豐富的信息。由表1可知，Base?line+3×3Conv+5×5 Conv 兩個 不同 尺 度并 行組 合實現(xiàn)的效果最好，準(zhǔn)確率高達99.4%。與上述三組實驗相比，最后一組采用不同尺度組合的卷積核識別精度提升了將近2%，說明在原始特征相同的情況下，不同尺度的卷積核相互組合可以在深層網(wǎng)絡(luò)中提取到更加豐富的語義信息，可以進一步提升網(wǎng)絡(luò)識別精度。部分測試實驗結(jié)果如圖6所示，可以看出同類水果在不同拍攝角度以及不同類水果外表相似度較高的情況下仍能以100%的準(zhǔn)確度識別。充分證明了本文設(shè)計的多尺度的卷積神經(jīng)網(wǎng)絡(luò)能有效縮短類內(nèi)間距，擴大類間間距，具有出色的性能表現(xiàn)。

表1 對比實驗結(jié)果

圖6 實驗效果

直觀的觀察模型在整個訓(xùn)練過程中識別精度和損失值的變化情況，可以更好地改進模型。當(dāng)模型訓(xùn)練完成之后對其訓(xùn)練日志進行解析，得到模型的識別精度和損失曲線分別如圖7和圖8所示。實驗總的訓(xùn)練迭代次數(shù)為2 000次，由訓(xùn)練集和驗證集的準(zhǔn)確率（accuracy）、損失率（loss）隨迭代步數(shù)的增加變化曲線（截取了前120次）可知，隨著迭代次數(shù)增加，訓(xùn)練集的準(zhǔn)確率局部雖然有所起伏，但總體處于一個不斷上升的趨勢。驗證集準(zhǔn)確率變化和訓(xùn)練集準(zhǔn)確率變化相似；同時訓(xùn)練集和驗證集的損失率隨著迭代次數(shù)的增加也在不斷降低，最后趨近于0。說明本文提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在沒有發(fā)生過擬合和欠擬合的現(xiàn)象下，模型收斂效果良好。當(dāng)訓(xùn)練迭代次數(shù)到達150次時，準(zhǔn)確率和損失率基本趨于穩(wěn)定，但仍然存在微小浮動。隨著訓(xùn)練迭代次數(shù)遞增，浮動程度逐漸微弱。并且訓(xùn)練集和驗證集最終分別得到的accuracy為99.96%和99.99%，loss值都趨于0。這充分證明所提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于水果種類識別上的有效性。

圖7 精度變化曲線

圖8 誤差變化曲線

模型訓(xùn)練完成之后，采用測試集數(shù)據(jù)進一步檢測模型準(zhǔn)確性，隨機選取測試集數(shù)據(jù)輸入模型，檢測模型準(zhǔn)確性，測試集混淆矩陣如圖9所示，橫坐標(biāo)代表真實類別，縱坐標(biāo)代表預(yù)測類別。只有當(dāng)該點的橫坐標(biāo)和縱坐標(biāo)一致時（即混淆方陣對角線上的點），則說明分類正確；反之，分類錯誤。由此可知，本文所提出的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是有效的。為了避免水果名稱在坐標(biāo)軸一側(cè)擁擠重疊，采用數(shù)字（1，2，3，...，34）來代替相應(yīng)水果類別名稱，每類水果具體識別準(zhǔn)確度如圖10所示。經(jīng)過計算，本文所提出的網(wǎng)絡(luò)模型達到了99.4%的準(zhǔn)確度。

圖9 測試的混淆矩陣

圖10 測試時各類水果識別準(zhǔn)確度

3.4 實驗結(jié)果與主流算法比較

為了比較本文所提水果圖像識別算法與現(xiàn)階段主流最優(yōu)算法在性能上的差異，表2給出了幾種具有代表性的水果識別方法的對比結(jié)果。

表2 實驗方法對比

經(jīng)過與上述四種典型的水果識別方法進行對比，本文的多尺度卷積神經(jīng)網(wǎng)絡(luò)識別精度最高。分析原因，主要在于本文在避免發(fā)生過擬合和梯度消失的情況下，采用在加深網(wǎng)絡(luò)深度的同時適當(dāng)拓寬網(wǎng)絡(luò)的寬度。增加網(wǎng)絡(luò)深度將會使模型提取到信息更加豐富的特征，適當(dāng)增加網(wǎng)絡(luò)寬度，采用多尺度卷積核并行卷積，可以提取更全面的信息，既有全局的整體信息，又有局部的詳細(xì)特征。兩者相結(jié)合使模型可以更有效地對水果圖像進行特征提取，從而即使Resnet-50提取出來的原始特征存在部分信息丟失，經(jīng)過多尺度卷積之后進行特征信息融合，可有效解決漏檢和誤檢，提高識別準(zhǔn)確率。

4 結(jié)論

以深度學(xué)習(xí)為基礎(chǔ)，結(jié)合圖像預(yù)處理方法，研究了基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的水果識別算法。首先針對樣本數(shù)據(jù)不均衡現(xiàn)象，對樣本數(shù)據(jù)進行擴充，避免模型訓(xùn)練過程中出現(xiàn)欠擬合和過擬合現(xiàn)象，影響模型性能；其次對擴充后的樣本數(shù)據(jù)進行預(yù)處理，提高樣本數(shù)據(jù)的質(zhì)量，方便模型在訓(xùn)練過程中可以提取到更好的特征；最后通過搭建好的多尺度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，從而得到最佳的水果圖像識別模型。通過實驗證明，本文所提算法可以快速準(zhǔn)確地進行水果圖形識別，優(yōu)于其他主流算法，可為果園智能水果采摘提供幫助。