高 倩，諸德宏，封 浩

（江蘇大學(xué) 電氣信息工程學(xué)院，江蘇 鎮(zhèn)江 212003）

0 引言

在我國(guó)，隨著機(jī)器視覺技術(shù)的快速發(fā)展，圖像處理已成為貫穿農(nóng)業(yè)產(chǎn)業(yè)鏈各個(gè)階段的重要技術(shù)之一，在選種適配、生長(zhǎng)過程、采摘方式及水果質(zhì)量檢測(cè)等多個(gè)環(huán)節(jié)均有涉及［1］。成熟果實(shí)采摘是農(nóng)產(chǎn)品走向市場(chǎng)的重要一步，準(zhǔn)確識(shí)別出成熟果實(shí)是實(shí)現(xiàn)智能化果實(shí)采摘的首要任務(wù)。

當(dāng)前的目標(biāo)檢測(cè)方式主要有傳統(tǒng)檢測(cè)和基于深度學(xué)習(xí)的檢測(cè)兩種［2］。傳統(tǒng)目標(biāo)檢測(cè)算法大多基于手工特征構(gòu)建，其中最具代表性的算法為Viola Jones、HOG Detector、基于可變形部件模型（Deformable parts-based Model，DPM）等［3］。由于其提取的特征單一，檢測(cè)結(jié)果不夠準(zhǔn)確。2012 年，卷積神 經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）被提出，此后，圍繞著CNN 的深度學(xué)習(xí)方法不斷涌現(xiàn)，分為One-stage 和Two-stage 兩大分支，其中代表性O(shè)ne-stage 算法包括YOLO［4］系列算法、SSD［5］等；代表性Two-stage 算法包括RCNN（Regions with CNN features）［6］、Fast RCNN［7］、Faster RCNN［8］、Mask RCNN［9］等。

近年來(lái)，越來(lái)越多的研究者將深度學(xué)習(xí)技術(shù)應(yīng)用于農(nóng)產(chǎn)品識(shí)別環(huán)節(jié)。例如，張文靜等［10］針對(duì)番茄生長(zhǎng)環(huán)境復(fù)雜、枝葉對(duì)果實(shí)造成遮擋及果實(shí)之間存在遮擋等因素，提出基于Faster R-CNN 的番茄識(shí)別檢測(cè)方法，該方法的平均識(shí)別率達(dá)到95.2%，但并未實(shí)現(xiàn)番茄的實(shí)例分割；岳有軍等［11］通過對(duì)Cascade RCNN 算法進(jìn)行改進(jìn)，增強(qiáng)網(wǎng)絡(luò)對(duì)重疊番茄果實(shí)的識(shí)別能力，并對(duì)果實(shí)進(jìn)行分類，將目標(biāo)識(shí)別的準(zhǔn)確率提高了2%，但也未實(shí)現(xiàn)實(shí)例分割；陳欣燕等［12］提出一種基于YOLOv3 的目標(biāo)檢測(cè)方法，該方法的目標(biāo)檢測(cè)mAP 達(dá)到96.34%，但識(shí)別速度較慢，也未實(shí)現(xiàn)實(shí)例分割；張凱中等［13］基于目標(biāo)檢測(cè)模型Mask RCNN 對(duì)群養(yǎng)豬進(jìn)行實(shí)例分割，在區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）網(wǎng)絡(luò)中引入RoI（Region of Interest），并在RoI 中使用sobel 濾波器，同時(shí)提高了模型的檢測(cè)精度和訓(xùn)練速度；岳有軍等［14］在原始Mask RCNN 網(wǎng)絡(luò)的基礎(chǔ)上增加邊界加權(quán)損失函數(shù)，使邊界檢測(cè)結(jié)果更為精確，該方法對(duì)蘋果有不錯(cuò)的檢測(cè)效果；任之俊等［15］對(duì)Mask RCNN 中的特征金字塔（Feature Pyramid Networks，F(xiàn)PN）進(jìn)行改進(jìn)，改進(jìn)算法在目標(biāo)邊緣和包圍盒兩項(xiàng)檢測(cè)中的平均準(zhǔn)確率分別較原始Mask RCNN 檢測(cè)框架提高了約2.4%和3.8%，尤其對(duì)于中等尺寸目標(biāo)的檢測(cè)準(zhǔn)確率有較大提高，分別為7.7%和8.5%。

本文在以上研究基礎(chǔ)上提出一種基于改進(jìn)Mask RCNN 的番茄檢測(cè)方法，首先提出一種新型RoI 提取器代替?zhèn)鹘y(tǒng)RoI提取器，不僅保留了FPN 各層的特征信息，也實(shí)現(xiàn)了特征增強(qiáng)。其次在主干網(wǎng)絡(luò)中引入了空洞卷積網(wǎng)絡(luò)，保證了番茄特征圖不變化，還減少了算法的計(jì)算量，使得檢測(cè)速度有所提升。最后采用遷移學(xué)習(xí)的方法將官方COCO 數(shù)據(jù)集訓(xùn)練得到的權(quán)重模型作為本文番茄果實(shí)檢測(cè)算法的預(yù)訓(xùn)練模型［16］，構(gòu)建了一種能夠同時(shí)實(shí)現(xiàn)番茄識(shí)別和實(shí)例分割的檢測(cè)模型。

1 Mask RCNN

Mask RCNN 是深度學(xué)習(xí)領(lǐng)域的一大創(chuàng)新，其集成了物體檢測(cè)和實(shí)例分割兩大功能，大大提高了實(shí)例檢測(cè)的準(zhǔn)確度，取得了coco2016 數(shù)據(jù)集的冠軍。Mask RCNN 主體結(jié)構(gòu)如圖1所示。

Fig.1 Mask RCNN main structure圖1 Mask RCNN主體結(jié)構(gòu)

1.1 主干網(wǎng)絡(luò)

Mask RCNN 的主干網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和FPN［17］。特征提取網(wǎng)絡(luò)一般采用殘差網(wǎng)絡(luò)中的ResNet50 或ResNet101。殘差網(wǎng)絡(luò)ResNet 旨在解決當(dāng)模型訓(xùn)練時(shí)，隨著模型的層數(shù)增加，其中的冗余層越來(lái)越多的問題。如果能將這些冗余層實(shí)現(xiàn)恒等映射，那么其輸入和輸出就能保證完全相同，從而確保這些冗余層對(duì)模型訓(xùn)練結(jié)果不產(chǎn)生影響。殘差網(wǎng)絡(luò)具體結(jié)構(gòu)如圖2 所示。當(dāng)F（X）=0 時(shí)，該殘差網(wǎng)絡(luò)就完成了一個(gè)恒等映射。本文考慮到只檢測(cè)番茄一種物體，為提高模型檢測(cè)效率，故采用ResNet50 作為特征提取網(wǎng)絡(luò)。FPN 是對(duì)特征提取網(wǎng)絡(luò)的擴(kuò)展，可很好地將高層的、高語(yǔ)義、低分辨率信息與淺層的、低語(yǔ)義、高分辨率信息連接起來(lái)，因此本文選用ResNet50+FPN 作為本文的主干網(wǎng)絡(luò)。

Fig.2 ResNet structure圖2 殘差網(wǎng)絡(luò)結(jié)構(gòu)

1.2 RPN

RPN 最初是在Faster RCNN 中被提到，在Mask RCNN中被沿用，其將主干網(wǎng)絡(luò)中輸出的Feature Map 作為輸入，在原圖中生成若干個(gè)anchor（包含4 個(gè)坐標(biāo)的矩形框），并通過滑動(dòng)窗口機(jī)制生成多個(gè)不同尺度的anchor。IoU（即交并比）在RPN 網(wǎng)絡(luò)中尤為常用，利用IoU 可以將檢測(cè)框與真實(shí)框進(jìn)行對(duì)比，從而得到所需要的目標(biāo)框，然后計(jì)算出兩者的位置偏移，得到回歸損失函數(shù)，其計(jì)算方式見式（1）。同時(shí)它還有一個(gè)很好的特性，即尺度不變性。將這些anchor 與真實(shí)框進(jìn)行IoU 對(duì)比，規(guī)定一個(gè)閾值，若IoU 大于這個(gè)值，則為目標(biāo)框，否則屬于背景框。

式中，A為檢測(cè)框，B為真實(shí)框。

1.3 RoI Align

在Mask RCNN 出現(xiàn)之前，F(xiàn)aster RCNN 算法是通過RoI Pooling 將不同大小的特征圖池化為同一大小，以方便之后的卷積操作。然而該操作導(dǎo)致量化誤差過大，因此本文提出RoI Align 算法，其取消了量化操作，利用雙線性插值法計(jì)算獲得坐標(biāo)為浮點(diǎn)數(shù)的像素值，然后池化這些浮點(diǎn)數(shù)坐標(biāo)值，最后得到同一大小的Feature Map。

1.4 損失函數(shù)

Mask RCNN 是在Faster RCNN 的基礎(chǔ)上增加了一個(gè)mask 分支，既有與Faster RCNN 相同的分類損失和回歸損失，又有其獨(dú)有的mask部分損失?？倱p失公式表示為：

只有當(dāng)為1 時(shí)才需要考慮回歸損失函數(shù)，該函數(shù)表示為：

式中，ti為預(yù)測(cè)框與候選框之間的偏移值，為真實(shí)框與候選框之間的偏移值。

Mask損失函數(shù)表示為：

式中，y為經(jīng)過二值化處理后的實(shí)際物體，y*為二值化后檢測(cè)的分割結(jié)果。

2 改進(jìn)Mask RCNN

2.1 一種新型RoI提取器

在深度神經(jīng)網(wǎng)絡(luò)中，低層特征語(yǔ)義信息比較少但目標(biāo)位置準(zhǔn)確，高層特征語(yǔ)義信息比較豐富但目標(biāo)位置比較粗略［18］，針對(duì)這種語(yǔ)義信息不平衡現(xiàn)象，F(xiàn)PN 被提出，其網(wǎng)絡(luò)結(jié)構(gòu)見圖3。以ResNet50 作為backbone 的主干網(wǎng)絡(luò)為例，F(xiàn)PN 通過自上而下的結(jié)構(gòu)得到了｛C2、C3、C4、C5｝這4 個(gè)特征圖，也是該網(wǎng)絡(luò)的4 個(gè)級(jí)別。其利用自上而下和下采樣的方法將頂層的小特征圖放大，并通過側(cè)向連接的方式使得相同層特征得到融合，然后經(jīng)過3×3 卷積核，得到最終的特征圖｛P2、P3、P4、P5｝。

傳統(tǒng)的RoI 提取器僅從FPN 中選擇其中的一層，而FPN 得到的不同層特征圖對(duì)應(yīng)不同的特征尺度，且對(duì)最終檢測(cè)結(jié)果有一定作用，因此為保證FPN 的所有層信息都能夠得到保留，本文提出一種新型RoI 提取器。首先將FPN中輸出的不均勻Feature Map 進(jìn)行RoI Align 池化操作，得到相同尺寸的特征圖｛Q2、Q3、Q4、Q5｝；然后運(yùn)用non-local模塊進(jìn)行預(yù)處理，增強(qiáng)特征信息，獲得｛S2、S3、S4、S5｝；最后通過1×1 卷積核對(duì)特征圖進(jìn)行降維，將所有特征進(jìn)行連接，得到一個(gè)單一的RoI，其結(jié)構(gòu)如圖4所示。

Fig.4 Novel RoI extractor architecture圖4 新型RoI提取器結(jié)構(gòu)

為增強(qiáng)特征信息，可使用non-local 模塊，其輸出大小與輸入相同，表示為：

式中，x為輸入的Feature Map，y為輸出，f(xi，xj)可以計(jì)算出i 與j 之間的位置關(guān)系，g(xj)計(jì)算輸入在j 位置的特征值，c(x)為歸一化參數(shù)。

non-local 模塊結(jié)構(gòu)如圖5 所示，其中X 為一個(gè)輸入的特征圖，H、W 分別為特征圖的高和寬，1024 為特征圖的通道數(shù)，經(jīng)過3 個(gè)1×1 的卷積核，通道數(shù)分別減少一半，變?yōu)?12，經(jīng)過flat和trans 處理得到［512，H×W］的輸出。將α卷積核對(duì)應(yīng)的支路進(jìn)行矩陣轉(zhuǎn)置操作后得到［H×W，512］的輸出，與? 卷積核對(duì)應(yīng)的支路進(jìn)行矩陣乘法操作，得到一個(gè)［H×W，H×W］的矩陣。然后經(jīng)過softmax 歸一化處理，與γ卷積核對(duì)應(yīng)的支路輸出進(jìn)行矩陣相乘，得到［512，H×W］的結(jié)果。將H×W 重新擴(kuò)展為［H，W］，再經(jīng)過一個(gè)1×1 卷積核便能得到與x 相同的特征圖Y［1024，H，W］，與X 疊加得到Z，實(shí)現(xiàn)了特征增強(qiáng)。

Fig.5 Schematic diagram of non-local module structure圖5 non-local模塊結(jié)構(gòu)

由于每個(gè)FPN 輸出的均為RoI Align 池化所得到的一個(gè)256 維的特征圖，為了合并形成一個(gè)單一的RoI，需要將4 個(gè)FPN 輸出的1024 維的特征圖降到256 維，可以采用1×1 卷積核降維。假設(shè)池化后所得到的特征圖大小為28×28×256，則可以使用64 個(gè)1×1×256 的卷積核，得到28×28×64 的特征圖，將4 個(gè)FPN 輸出連接，就能獲得一個(gè)256 維的RoI。

2.2 空洞卷積算法

空洞卷積（Atrous Convolution）［19］又稱為擴(kuò)張卷積或膨脹卷積，其主要通過在常規(guī)卷積核中填充0 來(lái)擴(kuò)大卷積任務(wù)中的感受野。Mask RCNN 在進(jìn)行番茄分割任務(wù)時(shí)使用常用的池化層和卷積層來(lái)擴(kuò)大感受野，會(huì)縮小最終的番茄特征圖尺寸，空間分辨率也會(huì)降低，而且大量池化層進(jìn)行下采樣也會(huì)使一些重要的番茄數(shù)據(jù)丟失。因此，本文在主干網(wǎng)絡(luò)中添加空洞卷積?？斩淳矸e與常規(guī)卷積不同，其引入了一個(gè)超參數(shù)（Hyper Parameter），稱為擴(kuò)張率（Dilation Rate，以下簡(jiǎn)稱rate），通過控制rate 的大小能夠得到不同大小的卷積感受野［20］。圖6（a）（b）（c）中分別顯示的是rate=1、rate=2 和rate=3 的空洞卷積核產(chǎn)生的感受野，與傳統(tǒng)的3×3 卷積相比，（a）無(wú)變化，（b）將感受野擴(kuò)大到了5×5，（c）的感受野甚至達(dá)到了7×7。

Fig.6 Receptive field generated by different rate values圖6 不同rate值產(chǎn)生的感受野

本文選用rate=2 的空洞卷積核提取特征，不但擴(kuò)大了卷積感受野，還保證了番茄輸出特征圖的不變化。此外，卷積核的引入還降低了本文算法的計(jì)算量，使得檢測(cè)速度有所提升。

3 實(shí)驗(yàn)方法

3.1 數(shù)據(jù)獲取與標(biāo)注

本文將江蘇大學(xué)蔬菜大棚內(nèi)的番茄作為研究對(duì)象，采用Canon 600D 型號(hào)相機(jī)作為拍攝工具，挑選出2400 張番茄圖像進(jìn)行試驗(yàn)，其中2000 張作為訓(xùn)練集，200 張作為測(cè)試集，200 張作為驗(yàn)證集。使用Labelme 對(duì)數(shù)據(jù)集進(jìn)行一一標(biāo)注，使用多邊形線段描出每個(gè)番茄的輪廓，并對(duì)所有番茄賦予標(biāo)簽“Tomato”，標(biāo)注方法如圖7所示。

Fig.7 Dataset labeling methods圖7 數(shù)據(jù)集標(biāo)注方法

3.2 模型訓(xùn)練與測(cè)試

本文算法基于深度學(xué)習(xí)框架Tensorflow，實(shí)驗(yàn)環(huán)境為Windows 2010 操作系統(tǒng)，代碼運(yùn)行環(huán)境為Python3.6，使用NVIDIA GeForce GTX 1660 的圖形處理器（GPU）加速運(yùn)算。訓(xùn)練時(shí)所設(shè)置的具體參數(shù)如下：圖片大小為1024×600，動(dòng) 量（momentum）為0.9，學(xué)習(xí)率（learning_rate）為0.001，迭代次數(shù)（num_steps）為20000 次。使用官方COCO數(shù)據(jù)集上預(yù)訓(xùn)練好的模型框架作為本文的初始化網(wǎng)絡(luò)模型，將訓(xùn)練好的模型在Jupyter notebook 軟件上進(jìn)行測(cè)試，驗(yàn)證本文模型對(duì)番茄識(shí)別的準(zhǔn)確性。

4 實(shí)驗(yàn)結(jié)果分析

4.1 評(píng)價(jià)指標(biāo)

選擇平均精度（Average Precision，AP）和平均召回率（Average Recall，AR）作為番茄檢測(cè)準(zhǔn)確性的數(shù)值指標(biāo)，其中精度（Precision，P）、召回率（Recall，R）的計(jì)算方式分別為：

式中，TP 為真陽(yáng)性，表示被模型檢測(cè)為番茄且實(shí)際為番茄的數(shù)量；FP 為假陽(yáng)性，表示被模型檢測(cè)為番茄但實(shí)際為背景的數(shù)量；FN 為假陰性，表示被模型識(shí)別為背景但實(shí)際為番茄的數(shù)量。

以R 為橫軸、P 為縱軸作P-R 曲線，AP 可以表示為PR 曲線與坐標(biāo)軸圍成的面積，計(jì)算公式為：

以IOU 為橫軸、R 為縱軸作召回-IOU 曲線，AR 可表示為召回-IOU 曲線下面積的兩倍，計(jì)算公式為：

可以看出，AP 和AR 值越大，檢測(cè)準(zhǔn)確度越高。

4.2 改進(jìn)算法的檢測(cè)效果與性能分析

采用Jupyter notebook 軟件對(duì)訓(xùn)練完成的模型進(jìn)行準(zhǔn)確性驗(yàn)證，將本文改進(jìn)算法模型與Faster RCNN、原始Mask RCNN（ResNet50）模型檢測(cè)結(jié)果進(jìn)行比較，結(jié)果如圖8 所示?？梢钥闯?，F(xiàn)aster RCNN 模型檢測(cè)準(zhǔn)確率差，只達(dá)到80%，且沒有實(shí)現(xiàn)實(shí)例分割；原始Mask RCNN 模型雖實(shí)現(xiàn)了實(shí)例分割，但識(shí)別準(zhǔn)確率不高；本文改進(jìn)算法模型不僅在檢測(cè)精度上有不錯(cuò)提升，實(shí)例分割部分也比原始模型更飽滿、更準(zhǔn)確。3 種模型的AP 和AR 值如表1 所示。通過對(duì)自制番茄數(shù)據(jù)集的訓(xùn)練，改進(jìn)后的Mask RCNN 模型不僅能對(duì)番茄果實(shí)進(jìn)行識(shí)別，還能進(jìn)行實(shí)例分割，且準(zhǔn)確率更高，較改進(jìn)之前的AP 值分別提高了5.5%和4.7%，AR 值分別提升了6.8%和4.6%。

Fig.8 Comparison of the detection effects of three models圖8 3種模型檢測(cè)效果比較

Table 1 Comparison of test results of three models表1 3種模型測(cè)試結(jié)果比較

5 結(jié)語(yǔ)

本文提出新型實(shí)例分割方法，可以實(shí)現(xiàn)對(duì)成熟番茄的自動(dòng)識(shí)別，達(dá)到自動(dòng)化采摘的目的。該方法設(shè)計(jì)了一種新型RoI 提取器，首先對(duì)不均勻Feature Map 進(jìn)行RoI Align 池化操作，然后運(yùn)用non-local 模塊增強(qiáng)特征信息。此外，空洞卷積核的引入使得算法計(jì)算量降低，檢測(cè)精度有所提升。通過在自制番茄數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)結(jié)果表明，平均精度和平均召回率均相較于改進(jìn)之前的Mask RCNN 有明顯提升，更好地實(shí)現(xiàn)了實(shí)例分割，提升了檢測(cè)識(shí)別精度。后續(xù)研究主要考慮兩個(gè)方面，一是均衡模型的復(fù)雜度與泛化能力，綜合考慮多個(gè)因素增加輸入特征，減少訓(xùn)練中的輸入偏差；另一方面是在實(shí)例分割算法［21］的基礎(chǔ)上進(jìn)行改進(jìn)，對(duì)果實(shí)成熟度、果實(shí)質(zhì)量檢測(cè)以及病害果實(shí)識(shí)別等方面進(jìn)行深入研究。