樊湘鵬，許 燕,2，周建平,2,3,*，劉新德，湯嘉盛

(1.新疆大學 機械工程學院，新疆 烏魯木齊 830047；2.新疆大學 新疆維吾爾自治區(qū)農(nóng)牧機器人及智能裝備工程技術(shù)研究中心，新疆 烏魯木齊 830047；3.新疆葉城縣核桃產(chǎn)業(yè)研究中心，新疆 葉城 844900)

0 引言

新疆核桃種植面積為35萬hm2，年產(chǎn)量近70萬噸，居全國第二位。核桃產(chǎn)業(yè)作為新疆特色林果業(yè)，在地方國民經(jīng)濟中占有很重要的地位[1]。當前核桃采收方式主要為人工用長桿敲打使核桃振落，勞動強度大且效率低；采用大型拖拉懸掛式振動收獲機時，若振動幅度和頻率過大會損傷樹枝樹體，振幅過小則無法落果。采用機器人或機械臂對果樹采摘可大大減輕果園勞動者的負擔、提高工作效率。核桃園林環(huán)境和核桃樹長勢復雜，果實分布不均勻、葉片遮擋嚴重，果實顏色和葉片顏色極具相似性。因此，為實現(xiàn)核桃的自動采摘，前期的精準識別和定位至關(guān)重要。傳統(tǒng)機器視覺方法在復雜環(huán)境中提取特征困難、魯棒性差，且通常只能一次識別單個果實目標，因此很難滿足工作需求。近年來隨著深度學習出現(xiàn)，基于卷積神經(jīng)網(wǎng)絡的目標檢測方法體現(xiàn)出巨大的優(yōu)越性[2]，被廣泛應用于圖像識別領域[3-6]，并在農(nóng)業(yè)病蟲害識別[7-8]、葉片檢測[9]、雜草定位[10]和果實識別[11]等方面均有較大進展。趙德安等[12]使用YOLO模型對復雜背景下的蘋果進行定位，其平均精度為87.71%，檢測視頻的幀率達到60幀/s。王丹丹等[13]利用R-FCN模型對蘋果進行檢測，單張圖像檢測耗時為187 ms。Tian等[12]以改進的YOLO v3模型研究了不同生長階段的蘋果，F(xiàn)1值達到81.7%。李善軍等[15]提出了一種基于SSD-ResNet18模型的柑橘實時分類檢測方法，可以區(qū)分正常、損傷和病變的柑橘，平均精度為87.89%。閆建偉等[16]對Faster R-CNN模型改進，識別刺梨果的平均精度為92.01%，表明了Faster R-CNN算法有著較高的正確率。武星等[17]提出了一種基于Light-YOLO v3的蘋果檢測方法，平均精度可達94.69%。

基于卷積神經(jīng)網(wǎng)絡的多種目標檢測方法在果實檢測方面取得了較好的效果，但是還沒有將卷積神經(jīng)網(wǎng)絡用于青皮核桃識別的相關(guān)研究。在自然環(huán)境下，核桃與背景顏色相近，易相互遮擋，因此本文提出利用改進Faster R-CNN模型來識別核桃果實。獲取了不同天氣條件、不同光線下的核桃圖像，通過加入批歸一化處理層(Batch normalization,BN)、感興趣區(qū)域校準算法改進基礎Faster R-CNN網(wǎng)絡，利用4種不同的特征提取器對比試驗，得到性能優(yōu)異的模型。

1 數(shù)據(jù)集及預處理

1.1 試驗數(shù)據(jù)采集

試驗圖像數(shù)據(jù)在新疆葉城縣巴仁鄉(xiāng)核桃產(chǎn)業(yè)研究示范園中采集，采集時間為2019年7月20日-8月10日，分別在晴天和陰天的早中晚不同時刻進行。自然環(huán)境中的圖像背景較為復雜，包括順光、逆光、重疊、遮擋、密集、風沙覆蓋等多種畫面類型，拍攝圖像尺寸為4 608像素×3 456像素(寬高比為4∶3)，獲得符合條件的圖像共3 000張，格式為JPG。

1.2 數(shù)據(jù)集預處理

卷積神經(jīng)網(wǎng)絡需要大量的標注樣本圖像才能獲得良好的性能。利用Labelimg標注工具標注出目標，按照PASCAL VOC2007標準存儲。為了增加圖像多樣性和樣本集的大小，采用有監(jiān)督的幾何變換、顏色變換(亮度調(diào)整)和添加噪聲等操作(圖像變換效果如圖1所示)，將相應的數(shù)據(jù)集擴充到原來的8倍，以減少模型訓練的過擬合現(xiàn)象。為便于模型訓練，將數(shù)據(jù)集中的所有圖像尺寸統(tǒng)一設為768像素×576像素。

2 Faster R-CNN檢測算法

2.1 Faster R-CNN原理

Faster R-CNN是2015年由REN等[18]提出的two-stage目標檢測模型，該模型通過訓練可習得圖像的深層次特征并直接輸出檢測結(jié)果。Faster R-CNN主要包括共享卷積層單元、區(qū)域建議網(wǎng)絡(Region proposal network,RPN)、Fast R-CNN結(jié)構(gòu)、ROI Pooling單元和Softmax分類回歸單元。共享卷積層單元相當于整個網(wǎng)絡的特征提取器，能夠自動提取圖像中的目標特征，并將特征共享給后續(xù)的RPN和Fast R-CNN結(jié)構(gòu)，從而將RPN與Fast R-CNN組合連接在一起，提高候選框生成的速度和檢測效率。

在目標檢測過程中，輸入圖像經(jīng)過卷積、激活與池化組合操作后得到特征圖，F(xiàn)ast R-CNN結(jié)構(gòu)和RPN共享卷積層單元的權(quán)值參數(shù)。區(qū)域建議網(wǎng)絡的滑動窗口在特征圖上產(chǎn)生目標候選框并提取感興趣區(qū)域，F(xiàn)ast R-CNN中的ROI Pooling單元對候選區(qū)域分成小區(qū)域塊進行最大池化操作生成特征向量，分類與回歸單元使用Softmax來確定檢測框內(nèi)的區(qū)域是前景或者背景，最后使用邊界框回歸來獲得準確的類別，同時獲得檢測框的最終位置。檢測框的存在使Faster R-CNN能夠同時檢測圖像中的多個目標，提高檢測效率。

2.3 Faster R-CNN改進

Faster R-CNN雖然有著較高的精確率，但是直接將其用于核桃果園的青皮核桃檢測時效果不佳，原因在于：1)Faster R-CNN雖然是主流的目標檢測方法，但是模型訓練耗時較長；2)Faster R-CNN區(qū)域建議網(wǎng)絡在對感興趣區(qū)域選擇后的池化操作過程中對采樣點的取整量化會導致精度損失，對區(qū)域建議框產(chǎn)生偏差，降低模型精度。因此，本文從以上兩個方面進行改進，加入批歸一化處理加快網(wǎng)絡收斂速度、提高模型泛化能力，加入感興趣區(qū)域校準算法來提高模型精度。

2.3.1批歸一化處理

在每層卷積層后面加入BN層，對圖像特征值進行歸一化處理，可以把逐漸在非線性函數(shù)映射后向取值區(qū)間極限飽和區(qū)靠攏的輸入分布強制拉回到均值為0、方差為1的標準正態(tài)分布范圍，從而避免訓練過程中的梯度消失和梯度爆炸，起到加快收斂、增益網(wǎng)絡的作用。對于一個批量數(shù)據(jù)而言，數(shù)據(jù)歸一化的過程利用它們的均值和方差計算

(1)

(2)

(3)

y=λx+β。

(4)

其中，λ和β是模型在訓練階段可動態(tài)調(diào)整學習的參數(shù)。

2.3.2感興趣區(qū)域校準

RPN選擇感興趣區(qū)域后再由ROI Pooling單元池化操作，池化過程會經(jīng)過2次采樣點坐標值取整量化，取整后會損失小數(shù)點后的坐標精度，進而使得特征圖上的區(qū)域建議框產(chǎn)生偏差，導致回歸定位的準確性下降。因此，本文采用He等[19]提出的感興趣區(qū)域校準算法中的雙線性插值法計算采樣點坐標，使得浮點數(shù)得以保留，減少特征圖精度損失。感興趣區(qū)域校準算法的實現(xiàn)原理如圖2所示，x、y軸表示矩形圖像的水平和垂直坐標軸；對其圖像的左下角為坐標原點。假定目標區(qū)域為120×80的圖像經(jīng)特征提取網(wǎng)絡后變?yōu)樵瓐D的1/4，形成大小為60×40的特征圖；在圖2左側(cè)區(qū)域中，將特征圖進行4等分，形成16個面積相同的小矩形，放大后的示意如圖2右側(cè)紅色框線內(nèi)所示，對該區(qū)域采樣時通常再進行4等分取中心點為采樣位置，即對M1、M2、M3和M4采樣；可得M1坐標值為(3.75，37.5)，與M1相近鄰的4個整數(shù)坐標點為P1(3，38)、P2(4，38)、P3(3，37)、P4(4，37)，利用這4個點的像素值結(jié)合雙線性插值法[20]計算得到P1的像素值，同理可得到4個采樣位置的像素值，經(jīng)最大池化操作可得到紅色區(qū)域池化輸出值。感興趣區(qū)域校準算法使用雙線性內(nèi)插計算獲得坐標為浮點數(shù)的像素點數(shù)值，避免了量化取整，保持了坐標的完整性，避免了采樣點坐標量化導致的感興趣區(qū)域位置偏移。

圖2 感興趣區(qū)域校準的實現(xiàn)原理Fig 2 Realization principle of ROI Align schematic diagram

3 網(wǎng)絡訓練和模型評價

3.1 試驗環(huán)境與方法

試驗整個過程的運行環(huán)境為Windows 7(64位)操作系統(tǒng)，Anaconda 3.5.0，Python 3.6，CUDA 8.0，cuDNN 6.0，搭載Intel Xeon CPU E5-2630 v4 @2.20 GHz處理器，使用開源深度學習框架Tensorflow作為開發(fā)環(huán)境，計算機內(nèi)存為16 GB。

VGG、ResNet和ZF-Net等卷積結(jié)構(gòu)都具有很強的特征提取能力[16]，VGG-16在多個研究領域中被證明有著更好的特征提取效果[21-22]。本研究選取VGG-16卷積結(jié)構(gòu)作為 Faster R-CNN框架下的特征提取器，同時選取了ZF-Net、ResNet50和ResNet101這3個特征提取器進行對比，以獲得性能最優(yōu)的模型。

3.2 模型訓練

本文采用帶動量的隨機梯度下降算法訓練模型。學習率是SGD算法中的重要參數(shù)，為保證模型權(quán)重參數(shù)以合適的速度達到最優(yōu)值，選擇指數(shù)衰減法對學習率進行設置。根據(jù)經(jīng)驗[21]，由于VGG-16 等卷積結(jié)構(gòu)采用0.01的初始學習率訓練時取得了較高的精度。本文試驗中的初始學習率設為0.01，將衰減系數(shù)設置為0.96，動量設置為0.9。由于數(shù)據(jù)量不是特別大，在保證訓練充分的前提下，為避免模型訓練后期的學習退化現(xiàn)象，將模型訓練中的最大迭代次數(shù)設為5 000。訓練結(jié)束后，利用測試集對模型效果進行驗證，在測試集的圖像中輸出核桃目標的位置和概率。

3.3 模型評價

為了評價所提方法對核桃識別檢測結(jié)果的好壞，采用平均精確率(Average precision，AP)作為模型檢測精度的評價指標，同時引入單張圖像檢測耗時t評價檢測速度。AP通過精度P和召回率R計算。其中，P和R的計算方法為

(5)

(6)

式中，TP為預測為正的正樣本；FP為預測為正的負樣本；FN代表預測為負的正樣本。通過計算得到精度和召回率，繪制生成精度-召回率曲線。曲線與坐標軸圍城的面積越大表示性能越好，AP則是對該曲線進行積分所得，即

(7)

4 結(jié)果與分析

4.1 不同特征提取器對模型性能的影響

本文在保證模型其他部分不變的情況下，分別使用ZF-Net、ResNet50和ResNet101這3種特征提取器與VGG-16結(jié)構(gòu)對比，它們的精度-召回率曲線如圖3所示，平均精確率和單張圖像平均檢測耗時情況如表1所示。結(jié)合圖3和表1可知，VGG16特征提取器的曲線與坐標軸包圍形成的面積最大，在保持相同召回率的同時，能夠保持較高的檢測精度。VGG16雖平均檢測耗時方面比ZF-Net多0.016 s，但平均精確率為97.56%，在四者中最高。因此本文選擇VGG16結(jié)構(gòu)作為最優(yōu)特征提取器。

圖3 不同特征提取器的精度召回率曲線Fig 3 Precision-Recall curve of different feature extractors

表1 不同特征提取網(wǎng)絡的性能對比Tab.1 Comparison of different feature extraction networks

4.2 模型改進前后的識別效果對比

為驗證模型改進后的識別效果，將改進的Faster R-CNN算法與未改進模型進行對比試驗，均采用VGG16特征提取器。圖4～6分別為改進Faster R-CNN算法和未改進Faster R-CNN算法在順光、逆光以及遮擋重疊較多條件下的識別效果。

從圖4～6中可以看出，未改進的Faster R-CNN模型對核桃果實的檢測存在較大的偏差，且未檢測到核桃數(shù)量較多。而對Faster R-CNN利用感興趣區(qū)域校準改進后，檢測矩形框的精度有著較為明顯的改善，對核桃的定位更加精準，有極少數(shù)核桃由于果實過小、遮擋較多或者是模糊不清而未能檢測到?？傮w而言，改進后的Faster R-CNN模型在順光條件、逆光條件以及遮擋、重疊較多等多種光照和復雜背景條件下的檢測精度與識別效果均優(yōu)于未改進的Faster R-CNN模型，可以滿足園林中核桃的定位檢測應用。

圖4 順光條件下的識別效果Fig.4 Recognition effect under frontlighting condition

圖5 逆光條件下的識別效果Fig.5 Recognition effect under backlighting condition

4.3 與其他模型的比較

為進一步驗證利用本研究所改進的Faster R-CNN核桃檢測算法的性能，與主流目標檢測算法YOLO v3、SSD300以及YOLO v4分類算法相比較，采用相同的試驗環(huán)境和數(shù)據(jù)，結(jié)果如表2所示。由表2可知，不論是檢測速度還是平均精確率，改進后的Faster R-CNN算法都優(yōu)于原有未改進的Faster R-CNN算法；SSD300和YOLO v3算法雖然要比原有的Faster R-CNN算法速度快，但無論是平均精確率還是平均識別速度均不及改進后的Faster R-CNN算法；YOLO v4在檢測速度上具有非常明顯的優(yōu)勢，但對于本研究的核桃檢測，其平均精確率分別為94.89%，低于改進后的Faster R-CNN算法。因此，通過對識別效果的綜合比較，改進后的Faster R-CNN算法綜合性能更優(yōu)，更適合本研究核桃的實時性檢測。

4.4 試驗驗證

為驗證所提方法在園林間實際環(huán)境中的應用效果，保存訓練好的模型，在田間布設圖像采集設備，所用設備類型為?？低旸S-2CD2356(D)WD-I，分辨率可達2 560×1 440@25fps，在該分辨率下可輸出實時圖像，將攝像頭固定在離地面3.5 m的支架上，試驗設備和核桃園林現(xiàn)場圖如圖7所示。通過該設備獲取圖像200張，截取目標區(qū)域占比較大的畫面，將圖像大小調(diào)整為768像素×576像素，利用訓練好的模型驗證。改進Faster R-CNN算法對圖像中的核桃檢測平均精確率為90.76%，平均檢測耗時為0.297 s，略低于實驗室條件下的性能。這是由于視頻截取的圖像噪聲較多、背景復雜程度增加所導致。后續(xù)將針對模型的抗噪能力和魯棒性展開研究。

5 結(jié)論

本文研究方法能夠?qū)ψ匀画h(huán)境中的青皮核桃進行快速準確的識別與定位，與傳統(tǒng)的果實識別方法相比較，本文方法效率更高，能夠在目標與背景顏色相近的情況下同時檢測多個目標。

加入BN層和感興趣區(qū)域校準算法對Faster R-CNN模型進行改進，模型在測試集中的平均精確率為97.56%，單張圖像平均檢測耗時為0.219 s。與未改進的Faster R-CNN算法以及其他主流檢測算法相比，在保證效率與精確率兼顧的情況下，本文方法綜合性能上更優(yōu)。在園林環(huán)境中獲取核桃影像驗證，所建立的模型能夠保持90.76%的平均精確率，平均檢測耗時為0.297 s，具有一定的魯棒性。本研究可為自然環(huán)境中的核桃機器識別和采摘定位提供理論與實踐基礎。今后將進一步提高模型魯棒性，開發(fā)基于嵌入式的移動采摘設備，為核桃自動化采摘提供支撐。