魏 冉 裴悅琨 姜艷超 周品志 張永飛

(1.大連大學(xué)遼寧省北斗高精度位置服務(wù)技術(shù)工程實驗室,遼寧 大連 116622；2.大連大學(xué)大連市環(huán)境感知與智能控制重點實驗室,遼寧 大連 116622)

中國櫻桃種植面積已居世界首位。但由于水果產(chǎn)后處理技術(shù)不完善，導(dǎo)致新鮮的櫻桃不能及時進行分級分揀，影響出口銷售[1]。

表面缺陷是果品分級分揀的重要影響因子[2]。傳統(tǒng)的果品缺陷檢測技術(shù)通常是在果品采收后依靠人工分類，效率低、工作量大。目前，機器視覺中用于缺陷識別的方法可分為光譜成像、機器學(xué)習(xí)、圖像處理和深度學(xué)習(xí)四大類。Siedliska等[3]采用VNIR高光譜成像實現(xiàn)了櫻桃核的無損檢測，精度達96%，但該技術(shù)存在特征波段的選擇和準(zhǔn)確性不穩(wěn)定等缺點。Zawbaa等[4]將經(jīng)尺度不變特征變換(SIFT)提取的算子輸入隨機森林(RF)識別蘋果，精度達96.97%，這種將圖像處理提取的特征結(jié)合機器學(xué)習(xí)分類器(如 Adaboost[5]、SVM[6]、DPM[7]等)進行分類的算法，受環(huán)境影響較大，且設(shè)計的表征模型具有針對性。裴悅琨等[8]基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計的櫻桃缺陷識別方法精度達到97.99%，但并不能定位到果品的位置。

基于以上檢測技術(shù)的缺點，國內(nèi)外學(xué)者逐漸將果品識別的研究熱點轉(zhuǎn)向了基于深度學(xué)習(xí)的目標(biāo)檢測算法，更加關(guān)注圖像的局部區(qū)域和特定的物體類別，并應(yīng)用于多個領(lǐng)域[9-12]。Bargot等[13]使用Faster R-CNN檢測果園中的水果；Villacrés等[14]采用Faster R-CNN檢測真實果園中的櫻桃數(shù)量；Vasconez等[15]使用Faster R-CNN實現(xiàn)了不同田間條件下的水果追蹤和計數(shù)工作；但該算法在櫻桃缺陷識別中的研究尚未見報道。文章擬基于Faster R-CNN對櫻桃缺陷特征進行檢測，針對小目標(biāo)易誤檢、漏檢的問題，對原始網(wǎng)絡(luò)算法進行改進。采用表征能力較強的ResNet50[16]作為特征網(wǎng)絡(luò)，代替原始的VGG16主干網(wǎng)絡(luò)；不同于傳統(tǒng)的單特征圖預(yù)測，采用特征金字塔FPN[17]融合深淺層次網(wǎng)絡(luò)，實現(xiàn)多尺度預(yù)測，并結(jié)合遷移學(xué)習(xí)初始模型權(quán)重；提出結(jié)合注意力機制SENet、SKNet，用于加強關(guān)鍵特征信息的學(xué)習(xí)，增強模型魯棒性，建立櫻桃缺陷檢測模型，方便自動化處理程序根據(jù)返回的定位信息完成櫻桃的分配操作，為后期實現(xiàn)自動化缺陷檢測提供一定的理論基礎(chǔ)與技術(shù)支持。

1 櫻桃數(shù)據(jù)集的構(gòu)建

數(shù)據(jù)采集于遼寧省大連市金州區(qū)果園的櫻桃，基于實驗室分揀原型設(shè)備構(gòu)建用于櫻桃缺陷檢測的數(shù)據(jù)集，主要包括數(shù)據(jù)采集及增強、數(shù)據(jù)分類及標(biāo)注。

1.1 數(shù)據(jù)采集及增強

櫻桃數(shù)據(jù)品種為美早，將采集到的果體置于模擬分揀環(huán)境下獲取樣本。每次采集前在滾輪間放置多個不同類別的櫻桃，轉(zhuǎn)動齒輪使樣本數(shù)據(jù)盡量多地涵蓋果體各個面的特征，通常一張樣本圖中包含1～10個櫻桃。圖像像素為2 046×1 080，格式為JPG。為降低過擬合造成的試驗誤差，采用旋轉(zhuǎn)、隨機裁剪、翻轉(zhuǎn)、平移，調(diào)整亮度、色度、飽和度、對比度和銳度等數(shù)據(jù)增強技術(shù)擴充樣本數(shù)據(jù)集。

1.2 數(shù)據(jù)分類及標(biāo)注

共獲取10 000張櫻桃樣本集，根據(jù)其生長缺陷分為裂口、雙生、刺激生長、霉變、褐變腐爛和完好6種類別(見圖1)。優(yōu)等果果體完好，可投入水果貿(mào)易市場；裂口、雙生和刺激生長類型的次等果依然可以繼續(xù)銷售，價格低于優(yōu)等果；霉變和褐變腐爛果應(yīng)及時剔除，避免流入市場。

圖1 6類櫻桃樣本圖

選擇LabelImg工具對圖像進行標(biāo)注，并將標(biāo)注信息以PASCAL VOC的格式保存為XML文件。隨機選擇樣本的80%作為訓(xùn)練集，20%作為測試集，如圖2所示。

圖2 櫻桃樣本種類及數(shù)量

2 研究方法及模型

Faster R-CNN[18]是深度學(xué)習(xí)目標(biāo)檢測中典型的兩階段檢測模型，主要包括特征網(wǎng)絡(luò)、RPN網(wǎng)絡(luò)、Roi Pooling層、分類和回歸網(wǎng)絡(luò)。模型先通過特征網(wǎng)絡(luò)獲得特征圖，利用RPN生成精細(xì)的候選框，與特征圖映射后得到局部特征層，傳入Roi Pooling完成池化后，輸入分類和回歸網(wǎng)絡(luò)，最終得到目標(biāo)的類別和位置信息?；贔aster R-CNN的櫻桃缺陷檢測過程如圖3所示。

圖3 基于Faster R-CNN的櫻桃缺陷檢測過程

2.1 特征提取網(wǎng)絡(luò)

基于ResNet50的殘差模塊包含Identity Block和Conv Block兩種結(jié)構(gòu)(見圖4)。Identity Block模塊的輸入和輸出向量的維度相同，可直接通過串聯(lián)加深網(wǎng)絡(luò)，學(xué)習(xí)深層次的語義信息。Conv Block模塊的輸入和輸出向量的維度不同，需執(zhí)行1×1的卷積來匹配維度。

圖4 Identity Block和Conv Block殘差結(jié)構(gòu)

文章主要研究ResNet50作為特征網(wǎng)絡(luò)在櫻桃缺陷檢測中的表現(xiàn)效果，替代了原始框架中的VGG16，ResNet50由1個卷積層、1個全連接層和4組殘差模塊構(gòu)成，每組分別有3，4，6，3個block，每個block有3個卷積層(見圖5)。

圖5 ResNet50結(jié)構(gòu)圖

2.2 RPN

RPN主要采用端到端的訓(xùn)練方式生成區(qū)域候選框，代替了原始的滑動窗口法和SS算法，極大地提高了檢測框的生成速度。

RPN網(wǎng)絡(luò)訓(xùn)練時產(chǎn)生的損失函數(shù)由分類損失Lcls和回歸損失Lreg兩部分組成。模型的訓(xùn)練損失函數(shù)為：

(1)

(2)

(3)

ti=(tx,ty,tw,th)，

(4)

(5)

式中：

i——依次遍歷RPN網(wǎng)絡(luò)生成的第i個邊界框；

pi——第i個anchor預(yù)測為真實標(biāo)簽的概率；

Ncls——一個batch中anchor的數(shù)目；

Nreg——anchor位置的個數(shù)；

λ——兩部分損失的調(diào)和因子；

ti——第i個邊界框的預(yù)測參數(shù)；

smoothL1——平滑函數(shù)。

2.3 網(wǎng)絡(luò)的改進方法

選用Faster R-CNN作為櫻桃缺陷檢測的模型，針對果體的缺陷特征，對該框架進行改進，以提高模型檢測精度。

2.3.1 特征金字塔FPN 主干網(wǎng)絡(luò)前向傳播得到的最后一層共享特征圖，語義信息豐富，但圖像分辨率降低，丟失了大量的細(xì)節(jié)信息，易造成小目標(biāo)難檢問題；而淺層特征圖分辨率較高，具備大量的細(xì)節(jié)信息，目標(biāo)定位較精準(zhǔn)。因此，尺度差異一直是目標(biāo)檢測領(lǐng)域的研究熱點[19]。文章采取一種將局部和全局信息相結(jié)合的方法，構(gòu)建特征金字塔FPN，實現(xiàn)多尺度特征圖的融合和預(yù)測，在無明顯計算負(fù)擔(dān)的情況下增強特征的表達能力，以提高對小目標(biāo)的檢測精度。

通過FPN得到的多特征映射，利用自頂向下和橫向連接，將上層的特征圖經(jīng)上采樣后與下一層特征圖進行融合[20]，對不同深度的目標(biāo)實行多尺度預(yù)測，最終得到的新特征向量被送入全連接層執(zhí)行分類和回歸任務(wù)。融合后的特征向量同時具備了深層次的高語義信息和淺層次的細(xì)節(jié)信息，能改善對小目標(biāo)的檢測效果，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 ResNet50融合FPN結(jié)構(gòu)示意圖

2.3.2 注意力機制SENet SENet[21]是在特征圖的通道維度上增加注意力機制，在每個通道信號上增加一個權(quán)重以表示其與關(guān)鍵信息的相關(guān)性，從而篩選出重要信息，使模型加強關(guān)鍵特征，抑制無用特征。

如圖7(a)所示，在ResNet中嵌入SE模塊，對分支上的殘差模塊特征進行特征重標(biāo)定。先對分支上的輸入值執(zhí)行全局池化操作Squeeze(Fsq)，如式(6)所示，將維度特征降至一維，然后利用Excitation(Fex)操作預(yù)測每個通道的重要性，結(jié)合非線性激活ReLU擬合通道間的依賴關(guān)系，再利用Sigmoid歸一化權(quán)重，最后執(zhí)行Scale(Fscale)操作將權(quán)重值與原始特征通道加權(quán)，從而使神經(jīng)網(wǎng)絡(luò)重點關(guān)注權(quán)重大的通道，提高模型檢測效率。

(6)

2.3.3 注意力機制SKNet SKNet[22]是在卷積核上增加注意力機制，同時考慮了通道和卷積的權(quán)重，針對不同圖像動態(tài)地生成不同尺寸的卷積核，使網(wǎng)絡(luò)自主選擇合適的卷積核，獲取不同感受野的信息，增強模型魯棒性。

如圖7(b)所示，其操作過程主要包括：

圖7 SE-ResNet模塊和SK-ResNet模塊

(1)Split：為了提升精度，對輸入的特征圖X(C×H×W)使用不同大小的卷積核執(zhí)行Convolutions+Batch Normalization+ReLU運算，X被分成兩條(或多條)分支F1:X→U1∈H×W×C，F(xiàn)2:X→U2∈H×W×C。

(2)Fuse：利用Add操作整合所有分支的信息：Uc=U1+U2，特征圖U融合了多個不同的感受野信息，然后利用全局平均池化操作嵌入全局信息，如式(7)所示。

(7)

式中：

sc——s的第c個元素(代表每個通道的重要程度)。

對1×1×C的s向量用一個全連接層進行線性變換，得到信息z(1×1×Z)，如式(8)所示，再對每個分支使用線性變換，將Z維恢復(fù)到C維向量，以預(yù)測不同組卷積的注意力因素。

z=Ffc(s)=δ[BN(Ws)]，

(8)

式中：

z∈d×1；

δ——ReLU函數(shù)；

BN——批標(biāo)準(zhǔn)化；

W∈d×C；

r——壓縮因子；

L——d的最小值。

(3)Select：對分支進行歸一化，先將通道分?jǐn)?shù)與U1、U2相乘得到A1、A2，再將分支融合得到向量V，V相對于U融合了多個感受野信息。最終的特征映射V如式(9)和式(10)所示(其中e為自然數(shù))。

Vi=ai×A1+bi×A2，

(9)

(10)

式中：

a、b——Select的2個權(quán)重矩陣；

Ai、Bi——A、B的第i行(A,B∈C×d)；

ai、bi——a、b的第i個元素(ai+bi=1)。

特征圖循環(huán)經(jīng)過殘差注意力機制后執(zhí)行FPN多尺度預(yù)測，傳入RPN與候選信息相映射，最后執(zhí)行分類和回歸任務(wù)。由于SKNet采用不同的卷積核，可以自適應(yīng)地調(diào)整自身的感受野，因此比SENet更加細(xì)膩，具有更高的精度。改進后的Faster R-CNN模型如圖8所示。

圖8 改進后的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

3 試驗與結(jié)果

3.1 試驗配置

如圖9所示，基于深度學(xué)習(xí)的櫻桃缺陷檢測系統(tǒng)硬件由模擬流水線環(huán)境和電腦配置兩部分組成。模擬流水線環(huán)境配置用于獲取櫻桃數(shù)據(jù)集，電腦配置部分用于對數(shù)據(jù)集進行處理。

(1)工業(yè)化環(huán)境配置：照明系統(tǒng)、CMOS攝像機(acA2000-50g型)、鏡頭[M1614-MP29(CH)3型號]、POE千兆網(wǎng)卡(LR5M千兆網(wǎng)卡型號)和傳送齒輪等。

(2)電腦配置：臺式電腦，GeForceGTX3080顯卡，單GPU10G顯存；Inter(R)Core(TM)i9-10900K處理器，32 G內(nèi)存，頻率DDR43000，基于PyCharm的Python編程語言，Windows-Sever 2019、64位操作系統(tǒng)，采用Pytorch深度學(xué)習(xí)框架。

3.2 模型訓(xùn)練

在數(shù)據(jù)集Microsoft COCO預(yù)訓(xùn)練權(quán)重的基礎(chǔ)上，采用遷移學(xué)習(xí)初始化權(quán)重參數(shù)，降低深度學(xué)習(xí)模型訓(xùn)練的難度?；贔aster R-CNN，模型所采用的特征網(wǎng)絡(luò)為ResNet50，輸入圖片的大小歸一化為300像素×300像素，采用隨機梯度法訓(xùn)練網(wǎng)絡(luò)，動量設(shè)為0.9，學(xué)習(xí)率初始化為0.005，權(quán)重衰減因子為0.000 5，迭代次數(shù)為100，每訓(xùn)練5步以0.33倍速降低學(xué)習(xí)率值。訓(xùn)練時采用的batchsize大小為8，IoU值為0.5。

3.3 模型評價指標(biāo)

為衡量試驗?zāi)Ｐ蛯鉀Q櫻桃缺陷識別的有效性，采用深度學(xué)習(xí)領(lǐng)域常用的衡量指標(biāo)平均AP值(mAP)、F1值和每秒幀率(FPS)評價模型性能。

mAP是所有類別平均精度AP的平均值，取值區(qū)間為[0,1]，AP是由精確率P和召回率R繪制而成的曲線面積。F1綜合了P和R兩個指標(biāo)，其計算為：

(11)

(12)

(13)

(14)

(15)

式中：

TP——真正例；

FP——假正例；

FN——假反例；

N——類別數(shù)；

AP(i)——第i類目標(biāo)的AP值。

指標(biāo)每秒幀率(FPS)用于評估模型對圖片的處理速度，即每秒鐘識別的圖片數(shù)目。

3.4 櫻桃缺陷檢測結(jié)果及分析

為了更全面理解試驗方法對檢測結(jié)果的影響，通過對櫻桃缺陷數(shù)據(jù)集采用多種策略進行實驗驗證。先探究主干網(wǎng)絡(luò)ResNet50對試驗結(jié)果的影響。為避免試驗其他元素對結(jié)果的作用，在保證模型參數(shù)一致的前提下，對比特征網(wǎng)絡(luò)為VGG16、MobileNet-V2和ResNet50的3種檢測模型，試驗結(jié)果見表1。

由表1可知，將原始的VGG16替換為MobileNet V2和ResNet50后，mAP指標(biāo)分別提升了5.89%，11.85%，F(xiàn)1值分別提升了4%，8%。網(wǎng)絡(luò)ResNet50的mAP、F1值均高于其他網(wǎng)絡(luò)，說明其殘差結(jié)構(gòu)在試驗中具有優(yōu)越性和較強的表征能力?；赗esNet50的目標(biāo)模型雖然在雙生、刺激生長、完好這3類較大尺度的目標(biāo)上檢測結(jié)果較好，但對于裂口、霉變、褐變腐爛這種小目標(biāo)的檢測精度有待提高，識別能力相對較弱。

在正常光線下，基于ResNet50的Faster R-CNN能識別出特征明顯的果體，但由于雙生與刺激生長、霉變與褐變腐爛兩兩之間的相似特征造成檢測效果較弱，未被正確識別，對裂口也易造成誤檢漏檢，為了提高對小目標(biāo)的檢測精度，同時緩解由于網(wǎng)絡(luò)層數(shù)的增多而帶來的目標(biāo)特征丟失現(xiàn)象，引入FPN進行多尺度預(yù)測，為加快訓(xùn)練速度，采用遷移學(xué)習(xí)初始化試驗?zāi)Ｐ蜋?quán)重。

由表2可知，對特征網(wǎng)絡(luò)采用基于特征融合的多尺度預(yù)測后，模型對所有類別的檢測均有正向促進作用，尤其對霉變、褐變腐爛、裂口和刺激生長的改善效果明顯，AP值分別提高了18.13%，9.49%，9.21%，9.06%，對于完好和雙生果的精度也分別提高了0.69%，0.64%，模型mAP值提升了7.86%，證明了融合多尺度特征層更能獲得較準(zhǔn)確的物體信息，提高小目標(biāo)檢測精度。融合FPN后，試驗?zāi)Ｐ蛯τ谛∧繕?biāo)誤檢、漏檢現(xiàn)象得到了明顯改善，且對各種缺陷的檢測精度均值達到99%，說明結(jié)合FPN的策略是有效的。

表2 櫻桃測試集上不同改進策略對比

在上述改進策略后的基準(zhǔn)網(wǎng)絡(luò)上分別引入SENet、SKNet模塊，模型mAP值分別繼續(xù)提升了0.14%，0.48%，且注意力機制模塊參數(shù)少、計算快，改進前后并未對模型帶來明顯的網(wǎng)絡(luò)負(fù)擔(dān)，證明了注意力機制在圖像檢測任務(wù)中的有效性。不同改進策略模型的Eval mAP和改進前后模型損失分別見圖10和圖11。

圖10 不同優(yōu)化策略模型Eval mAP圖

圖11 模型損失對比圖

為了更好地證明試驗方法的優(yōu)越性，將改進的Faster R-CNN模型與其他基于深度學(xué)習(xí)的檢測算法進行對比，結(jié)果見表3和表4。

由表3和表4可知，在各類物體的檢測結(jié)果上，試驗改進后的模型優(yōu)于其他典型的深度學(xué)習(xí)檢測方法，相比于SSD、YOLO V3、YOLO V4具有較高的檢測性能，mAP值分別提升了5.53%，4.64%，4.02%，F(xiàn)PS值為31.16幀/s。與文獻[8]檢測方法相比，試驗缺陷果檢測精度稍高，檢測速度為311個/s，遠高于文獻[8]。說明改進后的模型算法表現(xiàn)出了實際應(yīng)用的穩(wěn)定性，檢測耗時在可接受的范圍內(nèi)，證明了試驗方法的可行性。

表3 櫻桃測試集上不同檢測算法的對比

表4 櫻桃缺陷種類識別結(jié)果對比

4 結(jié)語

為實現(xiàn)櫻桃智能識別分級分揀，建立了基于Faster R-CNN的櫻桃缺陷檢測模型，主要解決了小目標(biāo)易誤檢、漏檢的問題。主干網(wǎng)絡(luò)采用具有強特征提取能力的ResNet50，結(jié)合多尺度特征融合與預(yù)測的方式，提高了對小目標(biāo)區(qū)域的表征提取，以此更匹配試驗對象。采取主干網(wǎng)絡(luò)融合注意力機制的優(yōu)化方式，引導(dǎo)模型關(guān)注方向，提高了模型檢測精度。采用改進策略后的Faster R-CNN模型對缺陷、完好果的識別精度分別為98.13%，98.80%，通過與其他方法的對比，驗證了改進后的Faster R-CNN對于櫻桃缺陷識別具有高精度和可靠的實時性優(yōu)勢，能夠滿足流水線櫻桃缺陷檢測工程的精準(zhǔn)識別，但模型參數(shù)龐大，增加了內(nèi)存開銷，檢測速度有待提高，故后續(xù)擬研究輕量級深度網(wǎng)絡(luò)模型，在保證高精度的同時增強實時性檢測。