趙春江，文朝武，林 森，郭文忠，龍潔花

·農(nóng)業(yè)信息與電氣技術(shù)·

基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的番茄花期識別檢測方法

趙春江1,2，文朝武1,2，林 森2※，郭文忠2，龍潔花1,2

（1. 上海海洋大學(xué)信息學(xué)院，上海 201306；2. 北京農(nóng)業(yè)智能裝備技術(shù)研究中心，北京 100097；）

對作物花期狀態(tài)的準(zhǔn)確識別是溫室作物授粉的前提。為提高花期識別的準(zhǔn)確率，該研究以溫室番茄為例，提出一種基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的番茄花期識別檢測方法。首先采用改進的基于特征金字塔花束提取神經(jīng)網(wǎng)絡(luò)(FlowerExtraction Feature Pyramid Networks, FE-FPN)實現(xiàn)番茄花束的局部區(qū)域提取，并采用Prim最小生成樹對提取的花束區(qū)域圖像進行識別優(yōu)先級排序，然后按序?qū)⑵漭斎氲礁倪M的Yolov3網(wǎng)絡(luò)，實現(xiàn)番茄花朵不同花期的精準(zhǔn)辨識檢測。在包含4類花期、共1 600幅樣本的番茄花束圖像數(shù)據(jù)集上進行試驗驗證，本文方法對番茄不同花期的檢測性能較好，平均檢測精度達到了82.79%，平均單張檢測時間為12.54 ms，各花期檢測精度為花蕾期85.71%、全開期95.46%、謝花期62.66%、初果期88.34%；相比Mask R-CNN和空間金字塔池化網(wǎng)絡(luò)（Spatial Pyramid Pooling Networks, SPP-Net），平均檢測精度提高了3.67和2.39個百分點，而且識別錯誤率比基礎(chǔ)Yolov3網(wǎng)絡(luò)降低了1.25個百分點。最后，將本文所提方法部署到大型玻璃溫室環(huán)境下番茄授粉機器人上進行實際驗證，識別準(zhǔn)確率為76.67%，除去漏提取花束準(zhǔn)確率達85.18%。研究結(jié)果可為設(shè)施番茄授粉機器人的精準(zhǔn)作業(yè)提供重要依據(jù)。

識別；級聯(lián)神經(jīng)網(wǎng)絡(luò)；小目標(biāo)檢測；授粉機器人

0 引 言

番茄是設(shè)施栽培蔬菜的主要種類之一，也是典型的自花授粉植物，在自然栽培環(huán)境中可以通過自然風(fēng)、昆蟲等媒介完成授粉過程。但是在設(shè)施栽培過程中，由于溫室的密閉性、缺乏自然風(fēng)和昆蟲的活動等原因，番茄常常授粉不良，造成落花、落果、畸形果等現(xiàn)象普遍發(fā)生[1]。目前，人工授粉方法存在主觀性強、工作效率低、勞動強度大等問題，且激素處理不當(dāng)容易引起激素殘留或產(chǎn)生畸形果[2]。而授粉機器人則可以有效降低田間作業(yè)勞動量，提高番茄產(chǎn)量和品質(zhì)[3]，但現(xiàn)有授粉機器人大多處于試驗或理論階段，對番茄花束的區(qū)域提取和花期精準(zhǔn)識別是制約番茄授粉機器人應(yīng)用的關(guān)鍵環(huán)節(jié)。

近年來，對于番茄花朵的識別問題，使用基于深度學(xué)習(xí)的花朵分類方法最為廣泛，該類方法是使用含有多層堆疊結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)對花朵顏色、形狀和外觀特征進行識別，以獲得更好的識別效果[4-8]。Oppenheim等[9]提出一種基于機器視覺的溫室番茄花朵檢測算法，在生長環(huán)境復(fù)雜、不同光照和花朵大小不同的條件下實現(xiàn)了溫室內(nèi)番茄黃花計數(shù)，該方法雖然利用溫室無人機近距離實現(xiàn)了全開期黃花的識別，但并未解決同一花束中各個花期的分類問題。Yuan等[10]將一種抗日照波動的魯棒色彩和亮度補償方法設(shè)計在機器視覺系統(tǒng)的番茄花檢測研究中，采用掃描策略在不同的光照變換情況下，根據(jù)色差和攝像機性能關(guān)系對攝像機參數(shù)進行自適應(yīng)調(diào)整，以獲得最佳番茄花色效果，提高識別算法在不同光照條件下的識別要求，該方法從光學(xué)相機出發(fā)解決識別模型的光照變化問題，并沒有增加模型訓(xùn)練的魯棒性。Tian等[11]提出了一種將SSD深度學(xué)習(xí)技術(shù)引入到花卉檢測與識別領(lǐng)域的方法，在牛津大學(xué)出版的花卉數(shù)據(jù)集上進行訓(xùn)練和測試，該方法在VOC2007上平均準(zhǔn)確率為83.64%，VOC2012上平均準(zhǔn)確率為87.4%，并引入視頻流的方案解決了對2個或多個目標(biāo)花卉的檢測，但其識別準(zhǔn)確率和時間效率上有待提高。鄧穎等[12]提出一種基于實例分割的柑橘花朵識別及花量統(tǒng)計方法，以花期的柑橘樹冠圖像為樣本進行花朵實例的識別及分割，通過對Mask R-CNN主體卷積部分和掩模分支部分的優(yōu)化，實現(xiàn)對復(fù)雜結(jié)構(gòu)圖像中密集柑橘花朵的高效檢測、計算圖像中可見花朵的數(shù)量，該方法初步實現(xiàn)了柑橘植株局部花朵的識別，但其檢測環(huán)境要求配置較高，且識別誤差率還有待優(yōu)化。林君宇等[13]提出應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識別花卉及其病癥，該方法提供一種多輸入卷積神經(jīng)網(wǎng)絡(luò)模型來提高訓(xùn)練速度，結(jié)合網(wǎng)絡(luò)多輸入和遷移學(xué)習(xí)方法，設(shè)計并實現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型，集成為花卉分類-病癥識別一體化工具，對花卉的病癥識別準(zhǔn)確率達到88.2%，相比基于支持向量機的分類模型，準(zhǔn)確率高出至少27.0%，該方法使用多輸入網(wǎng)絡(luò)提高識別準(zhǔn)確率，但只能識別近距離大目標(biāo)花卉，沒有實現(xiàn)小目標(biāo)花朵識別問題。

國內(nèi)外研究大多針對花朵進行識別[14-18]，同時對花束區(qū)域進行提取和花期識別的研究較少。本文研究的番茄授粉機器人授粉對象為整個花束區(qū)域，需要對花束區(qū)域進行提取，并對該花束中各花期花朵進行精準(zhǔn)識別。由于番茄花朵生長環(huán)境為非結(jié)構(gòu)化環(huán)境[19]，花朵呈現(xiàn)小目標(biāo)和多目標(biāo)分布，一個植株往往含有多個花束，且同一花束中存在不同花期的花朵等特點；傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)通常采用單一的網(wǎng)絡(luò)結(jié)構(gòu)進行特征提取，不能同時對花束區(qū)域和花期信息同時進行提取，導(dǎo)致提取的花朵特征信息不夠充分，網(wǎng)絡(luò)的識別精度不高[20-21]。針對這些問題，本文提出一種將兩級神經(jīng)網(wǎng)絡(luò)級聯(lián)的方法，以期實現(xiàn)番茄花束區(qū)域的提取和花束中花期的精準(zhǔn)識別，并計算全開期花朵在該花束中的占比，作為番茄授粉機器人精準(zhǔn)作業(yè)的關(guān)鍵決策，為番茄授粉機器人的精準(zhǔn)作業(yè)探索一種新的識別方法。

1 材料與方法

1.1 試驗材料

本文試驗在全國蔬菜質(zhì)量標(biāo)準(zhǔn)中心（山東壽光）科技示范推廣基地進行，為研究算法的工程適用性，將試驗環(huán)境設(shè)立在大型玻璃溫室內(nèi)，試驗番茄品種為迪諾番茄。番茄花期包含花蕾期、全開期、謝花期和初果期4個花期，其中花朵全開期是最佳授粉時期[22]。因此，對全開期花朵的精準(zhǔn)識別是成功授粉的關(guān)鍵，若花束中沒有全開期花朵，則無需授粉。本試驗選取含有多種花期的番茄花朵作為研究對象。

玻璃溫室環(huán)境下番茄花朵識別試驗存在遠目標(biāo)、光線易變、曝光和背景噪聲干擾等問題，在進行試驗前期首先對圖像數(shù)據(jù)進行優(yōu)化，通過補光和遮陽等辦法增強模型的魯棒性。

1.2 試驗設(shè)備

本文使用由國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心自主研發(fā)的番茄授粉機器人（圖1）進行樣本采集。采集相機為圖漾科技的FM810-IX-A 3D高清相機，分辨率為1 280×960，測量精度為2 mm。機器人核心控制器配置為I7-4700MQ 2.4GCPU、8G DDR3L內(nèi)存和500G固態(tài)硬盤。

圖1 番茄授粉機器人

本文網(wǎng)絡(luò)訓(xùn)練使用的硬件配置為：Intel? Xeon（R） CPU 2.5G Hz中央處理器，64GB運行內(nèi)存，1T硬盤，1個12GB GeForce GTX 2080ti GPU和1個12GB GeForce GTX 1080ti GPU。算法試驗環(huán)境為Ubuntu16.04系統(tǒng)，使用Python和C++語言編寫網(wǎng)絡(luò)訓(xùn)練、測試和應(yīng)用程序。

1.3 樣本集

本文試驗采用番茄授粉機器人采集試驗樣本，分別在早8:00、中12:00和晚18:00 這3個時段對樣本進行采集，為避免花朵遮擋問題，本文在圖像采集過程中使用相機旋轉(zhuǎn)對同一植株進行不同角度拍攝。

本文試驗樣本集共1 600張圖像，按12:3:1比例用于級聯(lián)網(wǎng)絡(luò)訓(xùn)練、測試和驗證。并根據(jù)當(dāng)前天氣狀況對早8:00時、中午12:00時和晚上18:00時采集的圖像進行曝光調(diào)節(jié)，試驗花朵拍攝樣例如圖2所示。

圖2 不同時間和不同天氣采集的番茄花樣例

樣本采集設(shè)定晴天、陰天和多云天氣采集圖像比為5:4:6，如表1，中午受太陽光照的影響，適當(dāng)增加中午圖像樣本數(shù)量，增強網(wǎng)絡(luò)模型的魯棒性。試驗使用labelimg對目標(biāo)花束和花束中各個花期花朵進行人工標(biāo)注，花朵總數(shù)12 036個，其中全開期7 603個，初果期1 611個，花蕾期2 012個，謝花期810個。

表1 不同時間段番茄花朵圖像樣本采集數(shù)量

2 級聯(lián)神經(jīng)網(wǎng)絡(luò)模型

基于番茄花朵小目標(biāo)且多密集分布的特點，本文將改進的基于特征金字塔的花束提取網(wǎng)絡(luò)（Flower Extraction-FPN，F(xiàn)E-FPN）與改進的多尺度多輸入卷積神經(jīng)網(wǎng)絡(luò)（Yolov3）進行級聯(lián)，提出一種復(fù)雜環(huán)境下番茄花期精準(zhǔn)識別方法。兩級網(wǎng)絡(luò)逐次進行特征提取，通過第一級網(wǎng)絡(luò)對花束進行區(qū)域提取，第二級網(wǎng)絡(luò)有序的對花束中各花期花朵進行精準(zhǔn)識別，具體步驟為：1）采用改進的融合特征金字塔網(wǎng)絡(luò)FE-FPN實現(xiàn)番茄花束區(qū)域提取，標(biāo)記全部花束的像素區(qū)域；2）采用Prim最小生成樹原則對提取的花束圖像進行花期識別優(yōu)先級排序；3)有序地將花束圖像傳入多尺度輸入Yolov3網(wǎng)絡(luò)，對番茄花朵的花期進行細精準(zhǔn)識別，并統(tǒng)計全開期花朵在該花束中的占比。

2.1 模型建立

2.1.1 花束局部區(qū)域提取

區(qū)域提取是根據(jù)特定的特征把圖像分成若干個區(qū)域并提取出感興趣目標(biāo)的技術(shù)和過程，常用的基于邊緣檢測圖像提取算法不受光照變化的影響，以圖像的對比度和邊界特征為基礎(chǔ)進行區(qū)域提取，但由于番茄花朵目標(biāo)小、所處環(huán)境復(fù)雜、噪聲大的特點，該算法需要提前人工干預(yù)，而且算法相對復(fù)雜，計算量大，識別時間長[23-24]，在番茄授粉機器人上不具備實用性。本文使用基于特征編碼的區(qū)域提取算法[25-26]實現(xiàn)番茄花束的局部區(qū)域提取。

FPN[27]是在ResNet50 架構(gòu)下的特征金字塔網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過bottom-up和top-down的方法實現(xiàn)目標(biāo)檢測，具有較強的語義特征。本文使用FE-FPN網(wǎng)絡(luò)對番茄花束信息進行特征提取、特征融合和多尺度預(yù)測輸出。在FPN網(wǎng)絡(luò)基礎(chǔ)上增加輸出的Feature map上采樣到原圖分辨率功能，以實現(xiàn)對花束的目標(biāo)區(qū)域提取，并標(biāo)記出各花束在原始圖像中的幾何中心像素位置，進一步計算每個花束優(yōu)先順序的權(quán)重因子。

如圖3，本文在FE-FPN中每個融合特征圖上都連接一個RPN（Region Proposal Network）網(wǎng)絡(luò)，用于生成多尺度候選框，然后將生成的候選框集合并進行分配，以實現(xiàn)目標(biāo)花束的多尺度預(yù)測，并在檢測到的目標(biāo)花束上生成預(yù)測框，改進網(wǎng)絡(luò)輸出結(jié)構(gòu)，將預(yù)測框內(nèi)花束區(qū)域圖像區(qū)域裁剪，作為花束有效授粉區(qū)域，并將其尺寸調(diào)整為416×416×3、208×208×3和104×104×3，為第二級聯(lián)神經(jīng)網(wǎng)絡(luò)提供多尺度輸入。

注：RPN為區(qū)域生成網(wǎng)絡(luò)；Bottom-up、Top-down代表自下而上和自上而下的網(wǎng)絡(luò)結(jié)構(gòu)；FSa與FSb代表提取的花束區(qū)域。

2.1.2 基于Prim的花期識別優(yōu)先級排序

一張番茄花朵原圖中通常含有多個花束，對提取后的各個花束進行優(yōu)先級排序不僅可以提高授粉速率，還能節(jié)省資源。在FE-FPN對番茄花束區(qū)域圖像提取后，本文使用最小生成樹Prim算法[28]對原圖中各花束區(qū)域圖像進行優(yōu)先級排序，并根據(jù)最短路徑原則將花束圖像有序傳入Yolov3網(wǎng)絡(luò)實現(xiàn)花期精準(zhǔn)識別。

由圖4，設(shè)花束的帶權(quán)無向圖為<,>，其中為花束坐標(biāo)點，為權(quán)重?；ㄊ崛膱D像左上角開始，每提取出1個花束后，計算該花束中心像素點到其余花束中心點的像素距離為權(quán)重因子，由式（2）計算。

式中，、分別為花束中心兩像素點之間橫、縱坐標(biāo)值。

注：是兩花束之間像素距離權(quán)重值，下標(biāo)表示兩相鄰花束。

Note:is the pixel distance weight value between the two bouquets, and the subscript means connected bouquets.

圖4 花束的帶權(quán)無向圖

Fig.4 Weighted undirected graph of bouquet

權(quán)重排序從花束A出發(fā)，計算花束A到花束B、花束C、花束D的最小權(quán)值點為第一條路徑；接下來計算下一個目標(biāo)點的最小權(quán)值花束（即最短路徑），最終以最小生成樹的形式遍歷整個圖像中各花束的位置。

2.1.3 改進的Yolov3網(wǎng)絡(luò)模型

Yolov3 是2018年由Redmon[29]提出的，該算法在機器視覺圖像檢測和目標(biāo)分類方面有很大的性能提高。Yolov3在Yolo（You only look once）原有的基礎(chǔ)上，利用Darknet 53卷積神經(jīng)網(wǎng)絡(luò)進行目標(biāo)特征提取，增加Yolo預(yù)測框，采用3種尺度張量信息預(yù)測輸出，在目標(biāo)大小不一和部分遮擋情況下都具有很好的檢測效果，利用隨機多尺度增強了算法的魯棒性。

Darknet 53 網(wǎng)絡(luò)為全卷積神經(jīng)網(wǎng)絡(luò)，主要包含卷積層、批量標(biāo)準(zhǔn)化層和全連接層，使用Leaky ReLU激活函數(shù)進行信息映射[30]，但只能輸入單一尺寸的原始圖像，在特征提取過程種只能進行片面提取。本案例中花蕾與植株莖稈和花萼顏色、形狀特征具有相似性，原Darknet 53無法準(zhǔn)確進行特征提??；本研究將Darknet 53輸入更改為多輸入網(wǎng)絡(luò)，增加特征信息的冗余，以提高對番茄花期的檢測質(zhì)量。修改Darknet 53 結(jié)構(gòu)以適應(yīng)不同尺度輸入網(wǎng)絡(luò)結(jié)構(gòu)（如圖4）。激活函數(shù)采用Leaky ReLU，卷積操作后將激活函數(shù)輸出的結(jié)果映射到Res1和Res2結(jié)構(gòu)。Yolov3除DBL結(jié)構(gòu)外，還由Res結(jié)構(gòu)組成，其中為Res塊中含有Res unit的數(shù)量，Res結(jié)構(gòu)包含零填充與殘差結(jié)構(gòu)。

由圖5所示，改進的多尺度輸入網(wǎng)絡(luò)將416×416×3大小的花束圖像傳入網(wǎng)絡(luò)第一輸入口，Conv1按32×3×3尺度進行卷積操作，卷積核步長為1，接著進行第二次Conv2 64×3×3/2卷積得到208×208×64的特征圖，第二輸入口將208×208×3的圖像與該特征圖進行拼接操作（concat），之后將該特征圖208×208×67傳入Res1操，之后在Conv5 128×3×3/2卷積層卷積后輸出104×104×64大小的特征圖，最后輸入104×104×3的花束圖像進行拼接后傳入Res2中，進行Res8 等剩余的操作。

注：Conv代表卷積層，數(shù)字代表層次，Res Blo代表殘差塊。下同。

2.2 番茄花朵識別架構(gòu)

本文將花束區(qū)域提取網(wǎng)絡(luò)與小目標(biāo)檢測網(wǎng)絡(luò)進行級聯(lián)，提出一種溫室環(huán)境下的番茄花期精準(zhǔn)識別方法。試驗首先對相機采集的原始圖像進行曝光度調(diào)節(jié)、去噪等預(yù)處理，將處理后的圖像傳入第一級FE-FPN網(wǎng)絡(luò)，對圖像中存在的目標(biāo)花束區(qū)域多尺度預(yù)測，通過上采樣方案對預(yù)測特征進行多尺度預(yù)測得到花束FS圖像，F(xiàn)Sa1、FSa2、FSa3分別是同一花束提取出的416×416×3、208×208×3和104×104×3各尺度像素圖。使用最小生成樹prim算法對提取的多個花束FS圖像進行識別優(yōu)先級排序，將各尺度花束FS圖像放入對應(yīng)的張量中，然后將張量（vector）按照對應(yīng)的尺度傳入第二級網(wǎng)絡(luò)Yolov3中，對番茄花朵花蕾期、全開期、謝花期和初果期進行精準(zhǔn)識別。最后計算同一花束中全開期花朵的數(shù)量和占比。番茄花朵識別架構(gòu)如圖6所示。

注：圖中FSa與FSb為提取的花束區(qū)域，其數(shù)字1，2，3為不同尺度花束圖。

2.3 模型訓(xùn)練

由圖6番茄花朵識別架構(gòu)可知，本文使用的級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)為串行網(wǎng)絡(luò)結(jié)構(gòu)，即第二級網(wǎng)絡(luò)的輸入完全依賴第一級聯(lián)網(wǎng)絡(luò)的輸出，第一級聯(lián)網(wǎng)絡(luò)提取效果又直接影響第二級網(wǎng)絡(luò)識別精度。本文首先人工對原始圖像中花束和花朵進行標(biāo)注，采用分步訓(xùn)練的方式分別對第一級聯(lián)網(wǎng)絡(luò)和第二級聯(lián)網(wǎng)絡(luò)進行訓(xùn)練。兩級網(wǎng)絡(luò)均使用從頭進行獨立模型訓(xùn)練，各項訓(xùn)練參數(shù)設(shè)置為：FE-FPN網(wǎng)絡(luò)訓(xùn)練進行10 000次迭代，權(quán)值衰減速率為0.001，訓(xùn)練批量為1，動量為0.9，初始學(xué)習(xí)率為10-5。由圖7a的 FE-FPN訓(xùn)練損失曲線可以看出，F(xiàn)E-FPN訓(xùn)練過程中在0～2 000次內(nèi)下降速度較快，訓(xùn)練迭代為5 000次左右開始收斂，并達到擬合狀態(tài)。

Yolov3進行20 020次迭代，批量大小為64，動量為0.9，權(quán)值衰減為0.005，初始學(xué)習(xí)率為10-3。圖7b為改進后的Yolov3訓(xùn)練損失曲線，在訓(xùn)練迭代次數(shù)為10 000次左右開始收斂，到16 000 次到達平緩狀態(tài)，即擬合狀態(tài)。

圖7 級聯(lián)神經(jīng)網(wǎng)絡(luò)獨立訓(xùn)練損失曲線

2.4 模型評估

為驗證各級網(wǎng)絡(luò)的性能，本文采用2種評估指標(biāo)分別對第一級網(wǎng)絡(luò)和第二級網(wǎng)絡(luò)模型進行評估。

2.4.1花束區(qū)域提取算法指標(biāo)

使用手工提取出理想花束，然后將手工提取結(jié)果和算法提取結(jié)果進行對比[31]，以相似度ESim（Extract Similarity）、正確率Acc（Accuracy）、過提取率OER（Over Extraction Rate）、漏提取率MER（Missed Extraction Rate）評價各算法對番茄花束的提取質(zhì)量。當(dāng)算法提取的區(qū)域大于實際提取區(qū)域，或者將一個區(qū)域劃分為2個或2個以上的，稱為過提?。环粗?，算法提取區(qū)域小于實際提取區(qū)域叫做漏提取。根據(jù)式（3）～（6）計算番茄花束提取結(jié)果的評價指標(biāo)。

2.4.2 識別算法指標(biāo)

在識別性能評價指標(biāo)上，本文選用包括均值平均檢測精度AP、各花期類別的檢測精度P、準(zhǔn)確率，檢測時間r、錯誤率r、召回率、交并比OU。錯誤率r=100%；交并比OU是預(yù)測框和真實框的交集和并集的比值，表示番茄花朵的定位精度。AP是計算花蕾期、全開期、謝花期和初果期各項P的平均值；P是準(zhǔn)確率在召回率R上的積分，一般P值越高，模型性能越好。計算公式如下：

式中TP為實際為正樣本且被檢測為正樣本的數(shù)量，F(xiàn)P為實際為負樣本且被檢測為正樣本的數(shù)量，F(xiàn)N是實際為正樣本且被檢測為負樣本的數(shù)量，c是類別總數(shù)（c=4），k為類別編號(k=1，2…)；J為平均精度函數(shù)，即類別號為k的精確率P與召回率R所構(gòu)成P-R曲線的面積。