李頎　強(qiáng)華

摘要：【目的】設(shè)計(jì)基于雙目視覺(jué)與深度學(xué)習(xí)的番茄本體特征檢測(cè)系統(tǒng)，實(shí)現(xiàn)番茄本體特征的自動(dòng)無(wú)損檢測(cè)，為水肥一體化和智慧農(nóng)業(yè)提供技術(shù)支持。【方法】采集4000張番茄圖像作為研究樣本，利用基于深度學(xué)習(xí)SSD_MobileNet卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官檢測(cè)算法，對(duì)番茄植株、莖、花、果實(shí)和葉進(jìn)行檢測(cè)?；陔p目視覺(jué)的圖像測(cè)量算法對(duì)各器官目標(biāo)區(qū)域中株高、莖直徑、果徑和葉面積進(jìn)行特征提取?！窘Y(jié)果】利用SSD_MobileNet網(wǎng)絡(luò)模型對(duì)研究樣本進(jìn)行訓(xùn)練和測(cè)試，調(diào)用訓(xùn)練好的模型對(duì)番茄各器官進(jìn)行識(shí)別和定位，對(duì)番茄植株、莖、花、果實(shí)和葉的檢測(cè)準(zhǔn)確率分別為98.5%、99.0%、99.5%、99.5%和98.0%。利用基于雙目視覺(jué)的圖像測(cè)量算法對(duì)番茄本體特征進(jìn)行測(cè)量，通過(guò)實(shí)踐證明該系統(tǒng)對(duì)株高、莖直徑、果徑和葉面積測(cè)量的相對(duì)誤差可分別控制在1.5%、1.0%、1.2%和1.3%以內(nèi)，可實(shí)現(xiàn)番茄本體特征的精確檢測(cè)，較常見(jiàn)系統(tǒng)的魯棒性和精度有了明顯提升;整套系統(tǒng)在番茄大棚中已穩(wěn)定運(yùn)行半年，完成了對(duì)番茄全生命周期的本體特征檢測(cè)，并可將數(shù)據(jù)保存于數(shù)據(jù)庫(kù)，實(shí)現(xiàn)對(duì)番茄本體特征的自動(dòng)、無(wú)損監(jiān)測(cè)。【建議】?jī)?yōu)化番茄特征遮擋問(wèn)題，豐富訓(xùn)練數(shù)據(jù)集，優(yōu)化網(wǎng)絡(luò)模型，提高識(shí)別率和魯棒性;建立番茄特征數(shù)據(jù)共享云平臺(tái)，實(shí)現(xiàn)番茄疫病的提前預(yù)警;確定本體特征與番茄長(zhǎng)勢(shì)的關(guān)系，以快速判斷施肥量，實(shí)現(xiàn)大棚番茄自動(dòng)精確施肥。

關(guān)鍵詞： 番茄;器官;本體特征;雙目視覺(jué);深度學(xué)習(xí)

中圖分類號(hào)： S126? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)志碼： A 文章編號(hào)：2095-1191（2020）01-0237-08

Abstract：【Objective】A tomato ontology feature detection system based on binocular vision and deep learning was designed to realize the automatic non-destructive detection of tomato ontology features， providing technical support for the integration of water and fertilizer and intelligent agriculture. 【Method】A total of 4000 tomato images were collected as research samples， and the main organs（plant， stem， flower and fruit） of tomato were detected by using the algorithm based on SSD mobile net convolution neural network. Based on the binocular vision image measurement algorithm， the plant height， stem diameter， fruit diameter and leaf area of each organ target area were extracted. 【Result】SSD MobileNet network model was used to train and test the research samples， and the trained model was used to identify and locate the tomato organs. The results showed that the detection accuracy of the system for tomato plants， stems， flowers， fruits and leaves was 98.5%， 99.0%， 99.5%， 99.5% and 98.0% respectively. Secondly， the image measurement algorithm based on binocular vision was used to measure the tomato ontology features. Experiment showed that the relative errors of the system for measuring the plant height， stem diameter， fruit diameter and leaf area of tomato could be controlled within the range of 1.5%， 1.0%， 1.2% and 1.3% respectively， which could realize the accurate detection of tomato ontology features. Compared with common systems， the system had a greater robustness and accuracy. The whole system has been running stably in tomato greenhouse for half a year， and has completed the whole life cycle of tomato ontology feature detection. It could save the data in the database， which realized the automatic and non-destructive monitoring of tomato ontology feature.【Suggestion】Following suggestions are proposed：optimizing the characteristic shielding problem，enriching training data sets， optimizing network model， improving recognition rate and robustness. Establishing tomato characteristic data sharing cloud platform to realize early warning of tomato blight. Determining the relationship between ontology characteristics and tomato growth， in order to quickly judge fertilization amount， realize automatic and precise fertilization of greenhouse tomato.

Key words： tomato; organs; ontology characteristics; binocular vision; deep learning

Foundation item：Shaanxi Agricultural Science and Technology Innovation Engineering Project[201806117YF05 NC13（1）];Key Science and Technology Project of Shaanxi Department of Science and Technology（2015NY028）;Science and Technology Project of Weiyang District，Xian City（201305）

0 引言

【研究意義】隨著科學(xué)技術(shù)的變革與社會(huì)經(jīng)濟(jì)發(fā)展，傳統(tǒng)的農(nóng)業(yè)生產(chǎn)逐漸向現(xiàn)代化農(nóng)業(yè)發(fā)展，其中智慧農(nóng)業(yè)和精細(xì)農(nóng)業(yè)已成為當(dāng)前現(xiàn)代化農(nóng)業(yè)發(fā)展的主要趨勢(shì)。作物生長(zhǎng)過(guò)程中，植株的株高、莖直徑、葉面積和果徑能直接反映出作物的缺肥情況（張書(shū)彥等，2017）。實(shí)際生產(chǎn)中對(duì)作物本體特征的監(jiān)測(cè)大多是種植人員根據(jù)經(jīng)驗(yàn)采用目測(cè)的方法進(jìn)行判斷，但人類肉眼分辨能力有限，通常肉眼可識(shí)別時(shí)，作物的傷害已較嚴(yán)重。而將作物的本體特征數(shù)據(jù)作為水肥一體化施肥系統(tǒng)的反饋，可實(shí)現(xiàn)按需精準(zhǔn)施肥，對(duì)智慧農(nóng)業(yè)的發(fā)展有一定推動(dòng)作用。【前人研究進(jìn)展】近年來(lái)，隨著計(jì)算機(jī)及圖像處理技術(shù)的發(fā)展，機(jī)器視覺(jué)技術(shù)已廣泛應(yīng)用于農(nóng)業(yè)領(lǐng)域（刁智華等，2014）。崔世鋼等（2015）采用顏色通道組合運(yùn)算的方法對(duì)植物圖像進(jìn)行閾值分割，得到葉脈和葉片輪廓圖像，但該方法對(duì)環(huán)境變化很敏感，若光線發(fā)生變化，會(huì)因顏色閾值分割失效而無(wú)法獲得葉片輪廓。方政等（2015）融合最小二乘法曲線擬合和Hough變換方法對(duì)重疊番茄果實(shí)進(jìn)行識(shí)別，但該算法識(shí)別的平均誤差較高（5.1%）。杭騰等（2015）提出通過(guò)機(jī)器視覺(jué)方式對(duì)番茄的長(zhǎng)勢(shì)信息進(jìn)行測(cè)量，采用基于r-g顏色因子的Otsu自動(dòng)閾值分割法提取目標(biāo)區(qū)域，但該方法對(duì)于農(nóng)業(yè)環(huán)境下復(fù)雜背景的干擾因素考慮不足，具有一定局限性。梁帆等（2015）通過(guò)圖像分割和邊緣檢測(cè)技術(shù)提取出蔬菜的總根長(zhǎng)、株高和葉冠投影面積等外部形態(tài)特征數(shù)據(jù)，但測(cè)量的根長(zhǎng)、株高數(shù)據(jù)與人工測(cè)量結(jié)果間的誤差達(dá)5%。員偉康等（2016）使用最大類間距法對(duì)植物藥材圖像進(jìn)行分類，花類圖像分類準(zhǔn)確率為85%，葉類圖像準(zhǔn)確率為62%，但當(dāng)葉片顏色發(fā)生變化時(shí)算法的準(zhǔn)確率較低，因此在田間農(nóng)業(yè)復(fù)雜背景干擾下該方法不適用。陳建輝等（2017）提出基于關(guān)鍵點(diǎn)檢測(cè)的植物葉端特征自動(dòng)提取的方法，但該方法要求葉片方位唯一，且只適用于葉緣無(wú)鋸齒的葉片，對(duì)于葉片主軸旋轉(zhuǎn)或葉片形態(tài)不同的情況誤差較大?！颈狙芯壳腥朦c(diǎn)】綜上所述，對(duì)于花果形態(tài)多樣、果實(shí)顏色變化豐富、重疊遮擋嚴(yán)重和環(huán)境背景復(fù)雜的農(nóng)田環(huán)境，目前僅用傳統(tǒng)視覺(jué)算法進(jìn)行特征提取的誤差較大?！緮M解決的關(guān)鍵問(wèn)題】以番茄為研究對(duì)象，設(shè)計(jì)番茄本體特征精確檢測(cè)系統(tǒng)，利用深度學(xué)習(xí)SSD_MobileNet卷積神經(jīng)網(wǎng)絡(luò)對(duì)番茄植株的主要器官進(jìn)行檢測(cè)，結(jié)合雙目圖像測(cè)量算法分別在番茄各器官目標(biāo)區(qū)域中提取株高、莖直徑、果徑和葉面積特征，為實(shí)現(xiàn)番茄本體特征的自動(dòng)檢測(cè)及水肥一體化提供技術(shù)支持。

1 系統(tǒng)設(shè)計(jì)與研究方法

1. 1 系統(tǒng)總體組成

本研究的番茄圖像樣本采集于西安市臨潼區(qū)雨金鎮(zhèn)番茄大棚，品種為金鵬1號(hào)?；陔p目視覺(jué)和深度學(xué)習(xí)的植物本體特征檢測(cè)識(shí)別系統(tǒng)如圖1所示，主要包括雙目相機(jī)、深度學(xué)習(xí)識(shí)別及特征提取3部分。雙目相機(jī)進(jìn)行番茄圖像采集，并利用相機(jī)標(biāo)定結(jié)果完成圖像測(cè)量;采用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)番茄的植株、莖、花、果實(shí)和葉進(jìn)行檢測(cè)并給出各器官在圖像中的目標(biāo)區(qū)域，最終在各器官圖像目標(biāo)區(qū)域中，利用特征提取算法精確提取番茄株高、莖直徑、果徑和葉面積特征。

1. 2 基于深度學(xué)習(xí)的番茄器官識(shí)別方法

由于傳統(tǒng)視覺(jué)方法對(duì)番茄器官識(shí)別與定位的誤差較大，對(duì)農(nóng)田中復(fù)雜環(huán)境的魯棒性較差（Wu et al.，2019）。本研究提出一種結(jié)合SSD和MobileNet的深度卷積網(wǎng)絡(luò)模型SSD_MobileNet，較傳統(tǒng)方法提高了識(shí)別率，且具有較強(qiáng)的魯棒性，可適應(yīng)農(nóng)田中復(fù)雜環(huán)境的變化。MobileNet卷積神經(jīng)網(wǎng)絡(luò)是一種輕量級(jí)網(wǎng)絡(luò)模型，網(wǎng)絡(luò)主要引入了深度可分離卷積（Depthwise separable convolution），將標(biāo)準(zhǔn)卷積核分成一個(gè)深度卷積（Depthwise convolution）和一個(gè)1*1的逐點(diǎn)卷積（Pointwise convolution），可極大減少計(jì)算量（孫俊等，2018）。標(biāo)準(zhǔn)卷積層將維度為Df×Df×M的輸入層轉(zhuǎn)化為維度為Dg×Dg×N的輸出層，其計(jì)算量K如公式（1）所示;利用深度可分離卷積的計(jì)算量K′如公式（2）所示，計(jì)算量的比率如公式（3）所示;由公式（3）可知，MobileNet網(wǎng)絡(luò)結(jié)構(gòu)可有效減小計(jì)算量，其使用3*3的卷積核可使計(jì)算量降低為原計(jì)算量的八分之一。

MobileNet網(wǎng)絡(luò)結(jié)構(gòu)共28層，包括3層輸入層、22層中間卷積層及平均池化層、全連接層和分類層（周云成等，2018）。MobileNet在降低運(yùn)算成本的同時(shí)能保持較高的精度，可滿足本次番茄主要器官提取的快速性及精度要求，但對(duì)番茄器官多尺度變化不敏感。SSD模型由Liu等于2016年提出，是一種適應(yīng)于多尺度變換的目標(biāo)檢測(cè)卷積網(wǎng)絡(luò)（吳天舒等，2018）。SSD模型結(jié)構(gòu)如圖2所示，以VGG-16為基礎(chǔ)，將其全連接層FC6和FC7轉(zhuǎn)換成3*3卷積層Conv6和1*1卷積層Conv7，移除dropout層和Fc8層，并新增卷積層以獲取更多的特征圖用于預(yù)測(cè)offset和confidence（彭紅星等，2018）。SSD模型采用金字塔結(jié)構(gòu)的特征提取方式，其特征從不同的卷積層提取出來(lái)，組合后再進(jìn)行回歸和分類，可充分挖掘圖像的特征，完成對(duì)多尺度變化目標(biāo)的檢測(cè)。

針對(duì)以上兩種網(wǎng)絡(luò)模型的優(yōu)缺點(diǎn)，提出SSD_MobileNet網(wǎng)絡(luò)模型（圖3）。將SSD模型架構(gòu)中的VGG-16替換為MobileNet，利用MobileNet網(wǎng)絡(luò)完成番茄圖像特征的提取，可大幅降低參數(shù)量，減少整個(gè)模型計(jì)算量，有效降低訓(xùn)練過(guò)程中的過(guò)擬合問(wèn)題。利用SSD網(wǎng)絡(luò)完成特征識(shí)別分類，可適應(yīng)適應(yīng)番茄特征多尺度的變換。SSD_MobileNet網(wǎng)絡(luò)模型可在確保對(duì)番茄主要器官檢測(cè)精度的同時(shí)保證檢測(cè)速度。

1. 3 雙目視覺(jué)圖像測(cè)量方法

由于傳統(tǒng)單目相機(jī)圖像測(cè)量只能在番茄與相機(jī)距離一定的情況下測(cè)量，且傳統(tǒng)特征提取算法魯棒性較差。因此，本研究提出利用雙目視覺(jué)圖像測(cè)量算法實(shí)時(shí)獲取番茄圖像的深度信息。在視野范圍內(nèi)番茄的位置可任意移動(dòng)，雙目視覺(jué)更適合農(nóng)田復(fù)雜環(huán)境的圖像測(cè)量;使用Stereolabs推出的ZED雙目相機(jī)，400萬(wàn)像素，分辨率為3840*1080，5v供電與PC通過(guò)USB連接，每秒可獲取30幀（孫瑜和李占利，2015）。首先需要對(duì)相機(jī)進(jìn)行標(biāo)定，分別獲得左右相機(jī)的內(nèi)參矩陣，如公式（4）和公式（5）所示。

如圖4所示，首先加載相機(jī)標(biāo)定參數(shù)并采集左右相機(jī)的圖像數(shù)據(jù)，然后利用極線校正算法對(duì)左右相機(jī)的圖像進(jìn)行配準(zhǔn)，使得相同特征點(diǎn)在左右相機(jī)中處于同一條直線上。

利用視差計(jì)算圖像的深度圖，空間實(shí)際坐標(biāo)點(diǎn)在左右相機(jī)圖像中的位置差定義為視差，用△d和公式表示，其計(jì)算方法如公式（7）所示。由公式（6）和公式（7）可得到P點(diǎn)相對(duì)于左相機(jī)的坐標(biāo)，如公式（8）所示。由公式（8）可知，已知番茄圖像點(diǎn)在左右相機(jī)中的視差，可計(jì)算出該點(diǎn)相對(duì)于相機(jī)的三維坐標(biāo)，并實(shí)時(shí)獲取番茄圖像的深度信息，實(shí)現(xiàn)視野范圍內(nèi)番茄任意位置的圖像測(cè)量。

2 系統(tǒng)效果分析

2. 1 SSD_MobileNet網(wǎng)絡(luò)模型訓(xùn)練

利用雙目相機(jī)在大棚中采集番茄植株、莖、花、果實(shí)和葉的圖像，各采集1000張，分別拍攝包含每種器官的不同角度、距離及光照下的圖片，每一類各使用800張圖像作為訓(xùn)練集，剩下200張作為測(cè)試集。利用圖像標(biāo)注工具LabelImg對(duì)待訓(xùn)練的4000張圖片進(jìn)行手動(dòng)標(biāo)注，在圖像中標(biāo)出番茄植株、莖、花、果實(shí)和葉的準(zhǔn)確位置，標(biāo)注工具針對(duì)每張圖片生成固定格式的數(shù)據(jù)來(lái)描述圖像編號(hào)、大小、標(biāo)注區(qū)域及所屬類別等信息。利用TensorFlow深度學(xué)習(xí)框架進(jìn)行模型訓(xùn)練，標(biāo)注完數(shù)據(jù)后將數(shù)據(jù)轉(zhuǎn)化為可訓(xùn)練的.record格式。由于深度卷積神經(jīng)網(wǎng)絡(luò)SSD_MobileNet訓(xùn)練需要大約10000張圖片數(shù)據(jù)，而番茄圖像只有3200張用于訓(xùn)練。因此，首先采用coco數(shù)據(jù)集對(duì)SSD_MobileNet進(jìn)行預(yù)訓(xùn)練，然后在預(yù)訓(xùn)練模型的基礎(chǔ)上設(shè)置待識(shí)別的類為植株（Plant）、莖（Stem）、花（Flower）、果實(shí)（Fruit）和葉（Leaf），設(shè)置網(wǎng)絡(luò)訓(xùn)練的batch_size為16，學(xué)習(xí)率為0.04，迭代次數(shù)為100000次，經(jīng)過(guò)8 h模型訓(xùn)練完畢。

2. 2 番茄器官識(shí)別與定位

調(diào)用訓(xùn)練好的SSD_MobileNet網(wǎng)絡(luò)模型對(duì)番茄各器官進(jìn)行實(shí)時(shí)檢測(cè)。如圖6所示，每張圖像的處理時(shí)間為30 ms，模型可準(zhǔn)確地識(shí)別出番茄各器官的準(zhǔn)確位置，并給出相似概率。樣本測(cè)試結(jié)果如表1所示，對(duì)番茄植株、莖、花、果實(shí)和葉的檢測(cè)準(zhǔn)確率分別為98.5%、99.0%、99.5%、99.5%和98.0%。結(jié)果證明，利用SSD_MobileNet深度卷積神經(jīng)網(wǎng)絡(luò)可準(zhǔn)確識(shí)別和定位番茄器官，能適應(yīng)各種復(fù)雜環(huán)境的干擾，可見(jiàn)魯棒性較傳統(tǒng)方法有了明顯提升。

2. 3 番茄本體特征測(cè)量

2. 3. 1 番茄株高測(cè)量 在深度學(xué)習(xí)檢測(cè)出的植株圖像框中提取番茄的株高特征。利用深度學(xué)習(xí)模型可得到植株所在圖像區(qū)域長(zhǎng)方形框的（ymin，xmin）和（ymax，xmax），計(jì)算得到長(zhǎng)方形框的中心點(diǎn)坐標(biāo)為[（xmin+xmax）/2，（ymin+ymax）/2]，然后利用雙目測(cè)距算法，分別測(cè)量株高圖像上頂點(diǎn)A[（xmin+xmax）/2，ymax]與下頂點(diǎn)B[（xmin+xmax）/2，ymin]的空間三維坐標(biāo)，表示為A（X1，Y1，Z1）和B（X2，Y2，Z2）。最后，利用公式（9）求出A、B兩點(diǎn)的距離即為番茄的株高特征（D）。隨機(jī)選取20株番茄對(duì)株高進(jìn)行測(cè)量，實(shí)際值采用卷尺手動(dòng)測(cè)量獲得，測(cè)量的相對(duì)誤差如圖7所示，證實(shí)該系統(tǒng)可實(shí)現(xiàn)對(duì)株高的測(cè)量，且相對(duì)誤差保證在1.5%以內(nèi)。

2. 3. 2 番茄莖直徑測(cè)量 由于深度學(xué)習(xí)檢測(cè)后框出的位置只能保證莖在長(zhǎng)方形的圖像區(qū)域中，無(wú)法隨著莖的轉(zhuǎn)動(dòng)而變化。而番茄的莖在圖像中不完全豎直，針對(duì)此問(wèn)題提出基于霍夫變換直線擬合的莖直徑測(cè)量方法?；舴蜃儞Q的原理是利用投票算法檢測(cè)特定形狀，并計(jì)算統(tǒng)計(jì)結(jié)果的最大值而得到一個(gè)符合要求的集合（陳培俊和伍鐵軍，2014）。將番茄圖像空間中包含的直線形狀區(qū)域投影到另外的坐標(biāo)空間中特定點(diǎn)上，利用峰值統(tǒng)計(jì)實(shí)現(xiàn)圖像直線檢測(cè)。由于番茄莖的輪廓一般在圖像中均呈直線形狀，在深度學(xué)習(xí)檢測(cè)出莖的圖像框中利用Canny算子提取莖的邊緣，然后對(duì)邊緣采用霍夫變換擬合出莖輪廓的兩條直線，利用幾何方法求出一條過(guò)檢測(cè)框中心點(diǎn)兩直線的公垂線，利用公式（8）雙目測(cè)距算法分別計(jì)算出公垂線與兩條直線交點(diǎn)的三維坐標(biāo)，最后利用公式（9）計(jì)算兩交點(diǎn)的距離即為番茄的莖直徑。隨機(jī)選取20株番茄對(duì)莖直徑進(jìn)行測(cè)量，實(shí)際值采用游標(biāo)卡尺手動(dòng)測(cè)量獲得，測(cè)量的相對(duì)誤差如圖8所示，表明該系統(tǒng)可實(shí)現(xiàn)對(duì)莖直徑的測(cè)量，且相對(duì)誤差保證在1.0%以內(nèi)。

2. 3. 3 番茄果徑測(cè)量 利用訓(xùn)練好的深度學(xué)習(xí)模型可檢測(cè)出果實(shí)所在的圖像目標(biāo)區(qū)域。由于番茄果實(shí)基本呈橢圓形，利用深度學(xué)習(xí)檢測(cè)出果實(shí)所在圖像區(qū)域長(zhǎng)方形框的（ymin，xmin）和（ymax，xmax），可計(jì)算得到長(zhǎng)方形框的中心點(diǎn)坐標(biāo)為[（xmin+xmax）/2，（ymin+ymax）/2]，然后用公式（8）雙目測(cè)距算法分別測(cè)量點(diǎn)C[xmin，（ymin+ymax）/2]與D[xmax，（ymin+ymax）/2]的三維坐標(biāo)。最后利用公式（9）求出C、D兩點(diǎn)的距離即為番茄的果徑特征。果徑測(cè)量試驗(yàn)隨機(jī)選取20株番茄，實(shí)際值采用游標(biāo)卡尺手動(dòng)測(cè)量獲得，測(cè)量相對(duì)誤差如圖9所示，相對(duì)誤差可保證在1.2%以內(nèi)。

2. 3. 4 番茄葉面積測(cè)量 訓(xùn)練好的深度學(xué)習(xí)模型可檢測(cè)出番茄葉子所在的圖像區(qū)域，利用像素統(tǒng)計(jì)的方法計(jì)算出葉面積特征。由于番茄葉子為綠色，在葉子圖像框中采用像素閾值分割的方法統(tǒng)計(jì)顏色為綠色的像素點(diǎn)的個(gè)數(shù)。利用雙目視覺(jué)測(cè)量出葉子與相機(jī)的空間距離，結(jié)合相機(jī)標(biāo)定結(jié)果可得到每個(gè)像素代表的實(shí)際面積，然后通過(guò)累加可計(jì)算出一片葉子的面積。最后計(jì)算所有葉子面積的平均值，作為番茄葉面積特征。實(shí)際值通過(guò)手動(dòng)測(cè)量獲得，葉子的手動(dòng)測(cè)量采用網(wǎng)格法，將單片葉子平鋪放在坐標(biāo)紙上，沿著葉子的形狀將其輪廓畫(huà)在透明的坐標(biāo)紙上，然后數(shù)網(wǎng)格的個(gè)數(shù)。計(jì)算格子時(shí)葉片邊緣凡超過(guò)半格的計(jì)算為1，不足半格則不計(jì)數(shù)。選取坐標(biāo)紙大小為每個(gè)格子長(zhǎng)寬各為1 mm，面積為1 mm2，數(shù)出的網(wǎng)格個(gè)數(shù)即為葉片面積。如圖10所示，20株番茄葉面積測(cè)量值相對(duì)誤差可保證在1.3%以內(nèi)，表明該系統(tǒng)可實(shí)現(xiàn)對(duì)葉面積的測(cè)量。

2. 4 系統(tǒng)應(yīng)用效果

將該系統(tǒng)應(yīng)用于西安市臨潼區(qū)雨金鎮(zhèn)的番茄大棚。圖11為系統(tǒng)實(shí)際應(yīng)用圖，相機(jī)距離最近的番茄為1.0 m，相機(jī)架高高度為0.5～1.5 m，可調(diào)整。系統(tǒng)包括雙目相機(jī)、PC和上位機(jī)，雙目相機(jī)放置在兩行番茄的中間保證可采集到更多株的番茄圖像，圖像通過(guò)USB接口實(shí)時(shí)傳送到PC，對(duì)番茄長(zhǎng)勢(shì)進(jìn)行實(shí)時(shí)監(jiān)測(cè)。由于本體特征檢測(cè)對(duì)實(shí)時(shí)性要求不高且夜晚無(wú)法獲得圖像，系統(tǒng)在每天上午10：00開(kāi)始運(yùn)行到下午16：00，每小時(shí)對(duì)番茄的株高、莖直徑、果徑和葉面積進(jìn)行10次測(cè)量，最后取整天每個(gè)本體特征的平均值作為當(dāng)天番茄的本體特征數(shù)據(jù)，并將數(shù)據(jù)上傳每天保存一次至上位機(jī)數(shù)據(jù)庫(kù);農(nóng)戶可在大棚中的PC上位機(jī)界面上實(shí)時(shí)查看番茄的當(dāng)前本體特征數(shù)據(jù)和歷史數(shù)據(jù)，了解番茄當(dāng)前長(zhǎng)勢(shì)從而調(diào)整水肥用量。圖12為系統(tǒng)上位機(jī)數(shù)據(jù)庫(kù)界面，數(shù)據(jù)的查詢方式包括按周期、本體特征、是否有異?；蚓唧w日期進(jìn)行查詢，界面顯示了2018年4—7月對(duì)番茄全身命周期數(shù)據(jù)按周查詢的方式所顯示的番茄本體特征數(shù)據(jù)。上位機(jī)界面會(huì)自動(dòng)監(jiān)測(cè)番茄生長(zhǎng)過(guò)程中各本體特征的實(shí)時(shí)變化，對(duì)比不同時(shí)期番茄本體特征標(biāo)準(zhǔn)數(shù)據(jù)，判斷當(dāng)前成長(zhǎng)時(shí)期是否有異常，并將數(shù)據(jù)保存至數(shù)據(jù)庫(kù)最后一列，若有異常系統(tǒng)會(huì)自動(dòng)報(bào)警提醒農(nóng)戶。通過(guò)系統(tǒng)實(shí)際應(yīng)用，證明結(jié)合深度學(xué)習(xí)與雙目視覺(jué)的算法可完成番茄本體特征的精確無(wú)損測(cè)量，保存番茄成長(zhǎng)過(guò)程中的數(shù)據(jù)并自動(dòng)判斷是否有異常，為水肥一體化和智慧農(nóng)業(yè)提供實(shí)時(shí)數(shù)據(jù)支持。

3 討論

本研究提出結(jié)合深度學(xué)習(xí)與雙目視覺(jué)的番茄本體特征測(cè)量算法，對(duì)農(nóng)田復(fù)雜環(huán)境中的番茄長(zhǎng)勢(shì)進(jìn)行實(shí)時(shí)監(jiān)測(cè)。通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)番茄本體特征進(jìn)行檢測(cè)和識(shí)別，利用雙目視覺(jué)完成本體特征的精確圖像測(cè)量，對(duì)實(shí)現(xiàn)精細(xì)農(nóng)業(yè)具有重要意義。采用基于SSD_MobileNet的深度卷積神經(jīng)網(wǎng)絡(luò)，復(fù)雜農(nóng)田環(huán)境變化的魯棒性較好，網(wǎng)絡(luò)結(jié)構(gòu)中引入輕量型的MobileNet卷積網(wǎng)絡(luò)，其在運(yùn)算時(shí)間和運(yùn)算資源的消耗較常見(jiàn)網(wǎng)絡(luò)明顯降低，番茄器官檢測(cè)時(shí)間僅30 ms，能滿足系統(tǒng)實(shí)時(shí)性要求。杭騰等（2015）提出的基于r-g顏色因子的Otsu自動(dòng)閾值分割測(cè)量算法及劉驥等（2016）提出的基于葉片形狀特征的識(shí)別算法，分別采用傳統(tǒng)視覺(jué)算法的灰度閾值和輪廓對(duì)特征進(jìn)行識(shí)別，但對(duì)農(nóng)田復(fù)雜環(huán)境變化的魯棒性較差。周云成等（2018）提出的基于DCNN的番茄器官分類識(shí)別算法，可實(shí)現(xiàn)番茄特征的檢測(cè)，但特征檢測(cè)時(shí)間為320 ms，實(shí)時(shí)性較差。通過(guò)實(shí)際比較證明提出的基于深度學(xué)習(xí)和雙目視覺(jué)的番茄特征檢測(cè)算法可在保證系統(tǒng)實(shí)時(shí)性的同時(shí)，保證較高檢測(cè)精度。

雖然本研究檢測(cè)效果良好，但在番茄本體特征有遮擋的情況下檢測(cè)準(zhǔn)確率會(huì)明顯降低，且番茄數(shù)據(jù)集還不夠豐富，模型魯棒性有待進(jìn)一步提高。番茄本體特征數(shù)據(jù)只是保存在本地，需設(shè)計(jì)番茄特征數(shù)據(jù)共享云平臺(tái)。為實(shí)現(xiàn)番茄水肥一體化栽培，還需設(shè)計(jì)施肥量預(yù)測(cè)算法，利用環(huán)境信息和番茄本體特征預(yù)測(cè)施肥機(jī)營(yíng)養(yǎng)液配比。

4 建議

4. 1 優(yōu)化番茄特征遮擋問(wèn)題

在番茄特征提取的過(guò)程中，采用SSD_Mobile-Net深度學(xué)習(xí)的方法對(duì)光照、角度和距離等環(huán)境干擾的魯棒性較強(qiáng)，但在應(yīng)用過(guò)程中發(fā)現(xiàn)當(dāng)特征存在較大遮擋情況時(shí)會(huì)出現(xiàn)特征檢測(cè)準(zhǔn)確率下降的問(wèn)題。后期可針對(duì)番茄特征遮擋問(wèn)題進(jìn)行進(jìn)一步研究，應(yīng)采集番茄不同特征遮擋情況下的數(shù)據(jù)集，對(duì)網(wǎng)絡(luò)進(jìn)行更細(xì)致的訓(xùn)練。采集更豐富的番茄圖像訓(xùn)練數(shù)據(jù)集，且可對(duì)番茄圖像進(jìn)行縮放、旋轉(zhuǎn)及灰度變換來(lái)生成更多的訓(xùn)練數(shù)據(jù)，利用更豐富的訓(xùn)練數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，進(jìn)一步提高網(wǎng)絡(luò)模型的識(shí)別率和魯棒性。

4. 2 設(shè)計(jì)番茄特征數(shù)據(jù)共享云平臺(tái)

本研究對(duì)番茄特征數(shù)據(jù)進(jìn)行實(shí)時(shí)采集，目前數(shù)據(jù)利用上位機(jī)保存在本地?cái)?shù)據(jù)庫(kù)，但本地?cái)?shù)據(jù)的存儲(chǔ)量有限且數(shù)據(jù)的重復(fù)利用率較低，無(wú)法實(shí)現(xiàn)不同地域數(shù)據(jù)共享，因此需要建立番茄特征數(shù)據(jù)共享云平臺(tái)。本地上位機(jī)通過(guò)WIFI將數(shù)據(jù)實(shí)時(shí)傳輸?shù)皆破脚_(tái)，云平臺(tái)不僅可對(duì)大量數(shù)據(jù)進(jìn)行保存，還能將特征數(shù)據(jù)與番茄生長(zhǎng)情況共享到網(wǎng)絡(luò)，同時(shí)接收不同地域的數(shù)據(jù)，從而對(duì)番茄疫病進(jìn)行提前預(yù)警，為番茄生長(zhǎng)狀態(tài)后期研究提供大數(shù)據(jù)支持。

4. 3 研究番茄施肥量預(yù)測(cè)算法

目前只完成番茄本體特征的測(cè)量與數(shù)據(jù)保存，對(duì)于實(shí)現(xiàn)番茄水肥一體化需進(jìn)一步研究番茄本體特征與施肥量的關(guān)系。結(jié)合番茄生長(zhǎng)環(huán)境的溫濕度、EC和pH，建立基于番茄生長(zhǎng)特征的營(yíng)養(yǎng)液設(shè)定值預(yù)測(cè)算法，根據(jù)當(dāng)前番茄的長(zhǎng)勢(shì)和環(huán)境信息預(yù)測(cè)下一周期施肥機(jī)營(yíng)養(yǎng)液EC和pH的調(diào)節(jié)量，從而實(shí)現(xiàn)番茄水肥一體化科學(xué)精準(zhǔn)灌溉。

參考文獻(xiàn)：

陳建輝，鄭小東，趙中堂. 2017. 基于關(guān)鍵點(diǎn)檢測(cè)的植物葉端特征自動(dòng)提取[J]. 江蘇農(nóng)業(yè)科學(xué)，45（9）： 205-207. [Chen J H，Zheng X D，Zhao Z T. 2017. Automatic extraction of plant leaf tip features based on key point detection[J]. Jiangsu Agricultural Sciences，45（9）： 205-207.]

陳培俊，伍鐵軍. 2014. 去除陰影后利用霍夫直線變換檢測(cè)茶葉中的雜質(zhì)[J]. 機(jī)械工程與自動(dòng)化，（5）： 63-65. [Chen P J，Wu T J. 2014. Detect impurities in tea-leaves by hough line transform after removing image shadow[J]. Mechanical Engineering and Automation，（5）： 63-65.]

崔世鋼，楊莉莉，吳興利，梁帆. 2015. 面向LED植物生長(zhǎng)柜的葉脈特征提取[J]. 江蘇農(nóng)業(yè)科學(xué)，43（1）： 373-375. [Cui S G，Yang L L，Wu X L，Liang F. 2015. Extraction method of leaf vein for plant growth cabinet[J]. Jiangsu Agricultural Science，43（1）： 373-375.]

刁智華，王會(huì)丹，魏偉. 2014. 機(jī)器視覺(jué)在農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究[J]. 農(nóng)機(jī)化研究，（3）：206-211.[Diao Z H，Wang H D，Wei W. 2014. Summary of research on machine vision application in agricultural production[J]. Journal of Agricultural Mechanization Research，（3）： 206-211.]

方政，胡曉輝，陳永，李蘭鳳. 2015. 基于圖像處理的番茄識(shí)別方法[J]. 浙江農(nóng)業(yè)科學(xué)，56（12）： 38-43. [Fang Z，Hu X H，Chen Y，Li L F. 2015. Tomato recognition method based on image processing[J]. Journal of Zhejiang Agricultural Sciences，56（12）： 38-43.]

杭騰，毛罕平，張曉東，胡靜. 2015. 基于機(jī)器視覺(jué)的番茄長(zhǎng)勢(shì)信息無(wú)損檢測(cè)的研究[J]. 農(nóng)機(jī)化研究，37（11）： 192-197. [Hang T，Mao H P，Zhang X D，Hu J. 2015. Nondestructive testing of tomato growth information based on machine vision[J]. Journal of Agricultural Mechanization Research，37 （11）： 192-197.]

梁帆，楊莉莉，崔世鋼，吳興利，田立國(guó). 2015. 圖像處理技術(shù)在水培蔬菜生長(zhǎng)監(jiān)測(cè)中的應(yīng)用[J]. 湖北農(nóng)業(yè)科學(xué)，54（17）： 4288-4291. [Liang F，Yang L L，Cui S G，Wu X L，Tian L G. 2015. Application of image processing technology in the monitoring of hydroponic vegetable growth[J]. Hubei Agricultural Sciences，54（17）： 4288-4291.]

劉驥，曹鳳蓮，甘林昊. 2016. 基于葉片形狀特征的植物識(shí)別方法[J]. 計(jì)算機(jī)應(yīng)用，36（S2）： 200-202. [Liu J，Cao F L，Gan L H. 2016. Plant identification method based on leaf shape features[J]. Journal of Computer Applications，36（S2）： 200-202.]

彭紅星，黃博，邵園園，李澤森，張朝武. 2018. 自然環(huán)境下多類水果采摘目標(biāo)識(shí)別的通用改進(jìn)SSD模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，34（16）： 155-162. [Peng H X，Huang B，Shao Y Y，Li Z S，Zhang C W. 2018. General improved SSD model for picking object recognition of multiple fruits in natural environment[J]. Transactions of the Chinese Socie-ty of Agricultural Engineering，34（16）： 155-162.]

孫俊，何小飛，譚文軍，武小紅，沈繼鋒. 2018. 空洞卷積結(jié)合全局池化的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別作物幼苗與雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào)，34（11）： 159-165. [Sun J，He X F，Tan W J，Wu X H，Shen J F. 2018. Recognition of crop seedling and weed recognition based on dilated convolution and global pooling in CNN[J]. Transactions of the Chinese Society of Agricultural Engineering，34（11）： 159-165.]

孫瑜，李占利. 2015. 基于射影幾何的CCD相機(jī)幾何模型研究[J]. 計(jì)算機(jī)工程，41（5）： 270-273. [Sun Y，Li Z L. 2015. Research on geometric model of CCD camera based on projective geometry[J]. Computer Engineering，41（5）： 270-273.]

吳天舒，張志佳，劉云鵬，裴文慧，陳紅葉. 2018. 基于改進(jìn)SSD的輕量化小目標(biāo)檢測(cè)算法[J]. 紅外與激光工程，47（7）： 47-53. [Wu T S，Zhang Z J，Liu Y P，Pei W H，Chen H Y. 2018. A lightweight small object detection algorithm based on improved SSD[J]. Infrared and Laser Engineering，47（7）： 47-53.]

員偉康，木拉提·哈米提，嚴(yán)傳波，阿布都艾尼·庫(kù)吐魯克，艾賽提·買(mǎi)提木沙，姚娟，楊芳，伊力扎提·阿力甫. 2016. 基于顏色和紋理特征的新疆維吾爾醫(yī)植物藥材圖像特征提取與判別分析[J]. 中國(guó)中醫(yī)藥信息雜志，23（1）： 78-81. [Yuan W K，Mulati Hamiti，Yan C B，Abu Du'eni Kuturuk，Asat Matmusa，Yao J，Yang F，Elzat Alip. 2016. Xinjiang Uygur medicine image feature extraction and discriminant analysis based on color and textural features[J]. Chinese Journal of Information on TCM，23（1）：78-81.]

張書(shū)彥，張文毅，余山山，付宇超. 2017. 圖像處理技術(shù)在信息農(nóng)業(yè)中的應(yīng)用現(xiàn)狀及發(fā)展趨勢(shì)[J]. 江蘇農(nóng)業(yè)科學(xué)，45（22）： 9-13. [Zhang S Y，Zhang W Y，Yu S S，F(xiàn)u Y C. 2017. Application and development trend of image processing technology in information agriculture[J]. Jiangsu Agricultural Sciences，45（22）： 9-13.]

周云成，許童羽，鄧寒冰，苗騰. 2018. 基于雙卷積鏈Fast R-CNN的番茄關(guān)鍵器官識(shí)別方法[J]. 沈陽(yáng)農(nóng)業(yè)大學(xué)學(xué)報(bào)，49（1）： 65-74. [Zhou Y C，Xu T Y，Deng H B，Miao T. 2018. Recognition method of tomato key organs based on dual convolution Fast R-CNN[J]. Journal of Shenyang Agricultural University，4（1）： 65-74.]

吳天舒，張志佳，劉云鵬，裴文慧，陳紅葉. 2018. 基于改進(jìn)SSD的輕量化小目標(biāo)檢測(cè)算法[J]. 紅外與激光工程，47（7）：47-53. [Wu T S， Zhang Z J， Liu Y P， Pei W H， Chen H Y. 2018. A lightweight small object detection algorithm based on improved SSD[J]. Infrared and Laser Engineering，47（7）：47-53]

Liu W，Anguelov D，Erhan D，Szegedy C，Reed S，F(xiàn)u C Y，Berg A C. 2016. SSD：Single shot multibox detector[C]//Springer. European conference on computer vision：21-37. doi：10.1007/978-3-319-46448-0_2.

Wu J G，Zhang B H，Zhou J，Xiong Y J，Gu B X，Yang X L. 2019. Automatic recognition of ripening tomatoes by combining multi-feature fusion with a bi-Layer classification strategy for harvesting robots[J]. Sensors（Switzerland）. doi：10.3390/s19030612.

（責(zé)任編輯 鄧慧靈）