繆亞倫 石美琦 孟海濤 梁旭升 黃才貴 李巖舟

摘要：針對百香果采摘機器人在自然環(huán)境中作業(yè)時受復雜光線及遮擋影響，難以快速精確地檢測及定位成熟百香果的問題，提出一種基于Stereo Camera-YOLOv5自然環(huán)境下成熟百香果檢測及定位模型。針對自然環(huán)境下光線以及遮擋的影響，通過MSRCP算法、隨機遮擋、數(shù)據(jù)增擴等圖像處理算法對原始數(shù)據(jù)集進行優(yōu)化。將優(yōu)化的數(shù)據(jù)集輸入到Y(jié)OLOv5網(wǎng)絡中訓練出最優(yōu)模型，在檢測代碼中嵌入雙目立體視覺算法。該模型對自然環(huán)境下百香果進行檢測及成熟度判斷，將判斷為成熟的百香果進行圖像處理，并提取到中心點二維坐標。通過立體匹配及視差計算得到中心點的三維坐標。田間試驗結(jié)果表明，該模型的目標檢測準確率為97.8%，總體準確率為90.2%，平均運行時間為4.85 s。該系統(tǒng)魯棒性強、實時性好，能夠更好地實現(xiàn)自然環(huán)境下成熟百香果的檢測及定位，為百香果采摘機器人后續(xù)工作奠定基礎。

關鍵詞：百香果；深度學習；YOLOv5；雙目立體視覺；圖像處理

中圖分類號：S667.9： TP391.4? 文獻標識碼：A? 文章編號：2095-5553 （2024） 03-0233-09

Detection and localization model of passion fruit in natural environment

based on Stereo Camera-YOLOv5

Miao Yalun1， Shi Meiqi1， Meng Haitao1， Liang Xusheng1， Huang Caigui2， Li Yanzhou1

（1. College of Mechanical Engineering， Guangxi University， Nanning， 530004， China；2. School of Smart Manufacturing， Nanning College， Nanning， 530200， China）

Abstract：

Aiming at the problem that the passion fruit picking robot is affected by complex light and occlusion when it operates in the natural environment， and it is difficult to quickly and accurately detect and locate the ripe passion fruit model， a detection and?location model of ripe passion fruit in natural environment based on Stereo Camera-YOLOv5 based is proposed. Firstly， aiming at the influence of light and occlusion in the natural environment， the original data set is optimized through image processing algorithms such as MSRCP algorithm， random occlusion and data augmentation. The optimized data set is put into the YOLOv5 network to train the optimal model， and the binocular stereo vision algorithm is embedded in the detection code. The model detects and judges the maturity of passion fruit in the natural environment， processes the image of the passion fruit judged to be ripe， and extracts the two-dimensional coordinates of the center point. The three-dimensional coordinates of the center point are obtained through stereo matching and parallax calculation. The field test results show that the target detection accuracy of the model is 97.8%， the overall accuracy rate is 90.2%， and the average running time is 4.85s. The system has strong robustness and good real-time performance， and can better realize the detection and positioning of ripe passion fruit in the natural environment， laying a foundation for the follow-up work of the passion fruit picking robot.

Keywords：passion fruit; deep learning; YOLOv5; binocular stereo vision; image processing

0 引言

隨著百香果的市場需求不斷加大，廣西南寧、玉林、百色等地均大量種植［1］，由于黃百香果具有生長旺盛、適應性強、耐寒性弱、果汁含量高等優(yōu)點，因此廣西種植及鮮銷的主要品種為黃金百香果［2］，本文也是針對黃百香果開展研究。由于百香果為藤蔓植物，必須依靠攀爬架支撐才能正常生長［3］，經(jīng)過多地調(diào)研，水平棚架廣泛應用，籬架高度為2.0～2.2m，以垂枝結(jié)果為主。由于百香果的生長特性，單純依靠人工采摘會消耗大量人力、物力資源，面臨采摘耗時長、搶收不及時、采摘效率低等問題。百香果采摘裝置正是對傳統(tǒng)生產(chǎn)方式的變革，大大提高勞動生產(chǎn)率，保證果實的實時采收，減少因果實腐爛、掉落等帶來的巨大損失，因此對黃金百香果采摘機器人目標檢測及定位技術(shù)的研究具有重要意義［4］。

農(nóng)業(yè)產(chǎn)業(yè)逐漸規(guī)?；?、精準化以及多樣化，推動和促進采摘機器人的發(fā)展，采摘機器人的核心就是視覺系統(tǒng)。Raphael等［5］使用顏色和平滑度連接擴展檢測出被遮擋的青蘋果，但是由于直接光照和顏色飽和度會導致大量的誤報檢測。Lu等［６］提出了一種融合色差信息和歸一化RGB模型的初步分割方法，通過檢測色差圖的顯著邊緣和這些邊緣內(nèi)的角點來構(gòu)造輪廓片段集，對這些有效輪廓片段進行組合分析，該方法能夠有效恢復遮擋果實。Tian等［7］提出了一種改進的YOLOv3模型，在YOLOv3特征提取部分添加密集連接網(wǎng)絡來增強特征傳遞能力從而提高網(wǎng)絡的檢測精度，有效地提供重疊蘋果和遮擋條件下的蘋果檢測。唐熔釵等［8］剔除YOLOv3模型的大物體預測尺度，在中型物體預測尺度后添加DenseNet網(wǎng)絡，提高模型的檢測精度。王鐵偉等［9］為解決不同成熟度冬棗的樣本數(shù)量相差懸殊導致的識別率低的問題，提出了一種基于數(shù)據(jù)平衡的Faster R-CNN的冬棗識別方法。

綜上可知，如何克服自然環(huán)境下光照和遮擋的影響，快速準確地識別定位成熟的果實成為采摘機器人視覺的技術(shù)難點。本文針對傳統(tǒng)算法存在的不足，設計基于Stereo Camera-YOLOv5自然環(huán)境下百香果檢測與定位模型，以期提高算法目標檢測及定位準確性。

1 數(shù)據(jù)集建立與優(yōu)化

1.1 原始數(shù)據(jù)集建立

本文要實現(xiàn)的是針對自然環(huán)境下成熟百香果的目標檢測，基準數(shù)據(jù)PascalVOC數(shù)據(jù)集和MS COCO數(shù)據(jù)集都不適用，因此需要采集數(shù)據(jù)并建立自己的VOC數(shù)據(jù)集。

圖像采集的時間為2020年11月7日，使用雙目立體相機采集圖像，圖像分辨率為5 800像素×4 300像素。為確定最佳的拍攝角度和距離，首先通過預試驗確定相機與水平面傾角為20°、離地高度為100 cm是采集數(shù)據(jù)時相機最佳位姿。確定相機最佳位姿后采集自然環(huán)境下的百香果圖像，圖像應包括側(cè)光，逆光和順光的光照情況以及果實無遮擋，果實被枝葉遮擋和果實遮擋的遮擋情況。最終原始數(shù)據(jù)集包含圖像4 000幅，包含了9種不同光線條件及遮擋情況的百香果圖片，如圖1所示。

將原始數(shù)據(jù)以.jpg格式存放在VOC2007文件夾下JPEGImages子文件夾內(nèi)，用編號重新命名。通過Labelimg圖片標注軟件對原始數(shù)據(jù)進行人工標注，人為規(guī)定八成熟及以上為成熟，其他為不成熟，用矩形框?qū)D片中的每個百香果目標進行分類框選。人工標注后將標簽儲存為TXT格式，保存在Annotations文件夾下，標簽文件與圖片一一對應。

1.2 對原始數(shù)據(jù)集的優(yōu)化

1.2.1 針對光照的圖像處理

由于自然環(huán)境下光照情況復雜，必須對圖片進行增強處理，來強化模型對光線變化的適應能力，降低光照強度和拍攝角度對圖像亮度的影響。MSRCP是具有顏色保護的多尺度Retinex算法［10， 11］；采用Gamma修正和色彩均衡修正，改善了圖像的反差，提高了彩色復原功能，使圖像的清晰度和色彩都能精確地還原。該方法增強目標表征的計算方法如式（1）所示。

Int=（IR+IG+IB）3（1）

式中：Int——單通道圖像；IR——原始圖像中紅色通道子圖像；IG——原始圖像中綠色通道子圖像；IB——原始圖像中藍色通道子圖像。輻照度估計值的計算方法如式（2）所示。

r～′（x，y）=13∑kn=1{log［I（x，y）］-log［fn（I（x，y））］}（2）

式中：r～′（x，y）——輻照度；f——濾波器函數(shù)；I（x，y）——圖像上具體像素點坐標值。MSRCP增強的線性量化的計算方法如式（3）所示。rmsrcp（x，y）=255×r～（x，y）－r～minr～max－r～min（3）

式中：rmsrcp（x，y）——線性量化后的輻照度；r～max——輻照度r～′（x，y）中的最大值；r～（x，y）——輻照度；r～min——輻照度r～′（x，y）中的最小值。

將其伽馬亮度按照式（4）計算，可以有效地提高圖像質(zhì)量。

Intα=［rmsrcp（x，y）］1γ（4）

式中：Intα——增強的單通道圖像；γ——校準參數(shù)，取值為2。

最后利用式（5）、式（6）對該算法進行顏色還原。

A=Min255B，Intα（i）Int（i）（5）

B=Max［IR（i）+IG（i）+IB（i）］（6）

式中：i——像素的索引；A——映射因子；B——過程參數(shù)。

該算法在對圖像進行處理時，首先要進行色彩均衡、消除色彩梯度的極值，然后根據(jù)強度對各通道進行色彩分配，從而提高圖像的細節(jié)性。為實現(xiàn)各通道的增強，需按照式（7）來計算映射因子A。

Rmsrcp（x，y）=AIR，G，B（x，y）（7）

式中：IR，G，B（x，y）——最初對應的通道圖像；Rmsrcp（x，y）——增強后的圖像。

因此本文使用MSRCP增強對原始圖像進行優(yōu)化，實際處理效果如圖2所示，可以看到該算法有效地改善了圖片顯示效果，有效地減少了光照的影響。

1.2.2 針對遮擋的圖像處理

本文通過對輸入的圖片進行隨機遮擋處理，隨機選擇一個區(qū)域，采用隨機值進行覆蓋，模擬百香果被遮擋的真實場景，不僅可以提高模型泛化能力，對遮擋有更好的魯棒性，而且降低了模型過擬合的概率。矩形區(qū)域相對于輸入圖像的比例范圍為0.02～0.40，使得百香果圖像生成不同程度的遮擋，具體效果如圖3所示。

1.2.3 數(shù)據(jù)增擴

為了增強試驗數(shù)據(jù)集的豐富性，使用圖像數(shù)據(jù)增強技術(shù)來擴充數(shù)據(jù)集的規(guī)模，降低雜草識別模型對某些圖像屬性的依賴，減少訓練模型過擬合、加強模型的穩(wěn)定性，如圖4所示。

2 Stereo Camera-YOLOv5模型

本文所設計的基于Stereo Camera-YOLOv5的自然環(huán)境下成熟百香果檢測及定位的整體設計架構(gòu)，如圖5所示。將雙目立體視覺技術(shù)與YOLOv5目標檢測模型結(jié)合起來，雙目相機在自然環(huán)境下實時采集圖片，進行成熟百香果目標檢測后對預測框內(nèi)圖片進行圖像處理，立體匹配及視差計算得到百香果的三維坐標，完成定位。

2.1 YOLOv5百香果目標檢測模型

YOLOv5分為3個部分，分別是CSPDarknet、FPN以及YOLO Head，其網(wǎng)絡結(jié)構(gòu)如圖6所示。CSPDarknet是YOLOv5的主干特征提取網(wǎng)絡［12］，輸入的圖片首先會在CSPDarknet里面進行特征層提取，獲取3個特征層進行下一步網(wǎng)絡的構(gòu)建，這3個特征層稱為有效特征層。

FPN為YOLOv5的加強特征提取網(wǎng)絡，在主干部分獲得的3個有效特征層會在這一部分進行特征融合，特征融合的目的是結(jié)合不同尺度的特征信息。在FPN部分，已經(jīng)獲得的有效特征層被用于繼續(xù)提取特征。YOLOv5里使用Panet［13］的結(jié)構(gòu)，不僅會對特征進行上采樣實現(xiàn)特征融合，還會對特征再次進行下采樣實現(xiàn)特征融合。

YOLO Head是YOLOv5的分類器與回歸器，通過CSPDarknet和FPN獲得3個加強過的有效特征層，每一個特征層都有寬、高和通道數(shù)。特征圖為一個又一個特征點的集合，每一個特征點都有通道數(shù)個特征。YOLO Head實際上所做的工作就是對特征點進行判斷，判斷特征點是否有物體與其對應。

2.2 目標果實輪廓提取

目標檢測模型實時檢測百香果并在圖像上對應位置繪制出矩形預測框，為了進行后續(xù)的三維位置計算，只對圖像中的預測框內(nèi)的圖像內(nèi)容進行實時的提取，可以大大減少后續(xù)的計算量。整體對果實輪廓以及中心點提取的流程如圖7所示。

2.2.1 色彩空間

圖像處理中使用較多的是HSV顏色空間，其能直觀地表達顏色的色調(diào)、鮮艷程度和明暗程度，方便進行顏色的對比。HSV表達彩色圖像的方式由3個部分組成：Hue（色調(diào)、色相）、Saturation（飽和度、色彩純凈度）、Value（明度）。只有V通道受光線影響大，因此從H、S通道獲取圖像特征就可以削弱光線的影響，百香果在HSV顏色空間的圖像情況如圖8所示。對比分析可知H通道下百香果果實與背景區(qū)分最為明顯。

2.2.2 圖像濾波

盡量保留圖像細節(jié)特征的條件下對目標圖像的噪聲進行抑制，是圖像預處理中不可缺少的操作，其處理效果的好壞將直接影響到后續(xù)圖像處理和分析的有效性和可靠性。本文選用雙邊濾波的方式。雙邊濾波是在同時考慮鄰域內(nèi)像素的空間鄰近性及灰度相似性進行局部加權(quán)平均，再消除噪聲的同時保留邊緣，雙邊濾波計算方法如式（8）所示。

g（x，y）=∑i，jf（i，j）ω（x，y，i，j）∑i，jω（x，y，i，j）（8）

式中：g（x，y）——雙邊濾波輸出圖像；f（i，j）——輸入圖像f（x，y）鄰域內(nèi)的點；ω（x，y，i，j）——加權(quán)系數(shù)。

加權(quán)系數(shù)綜合考慮了相鄰兩點的距離和像素值差，其計算方法如式（9）所示。

ω（x，y，i，j）=e-（i-x）+（j-y）22σd2×e-f（i，j）-f（x，y）22σr2（9）

式中：σd——經(jīng)驗參數(shù)，控制空間鄰近度；σr——經(jīng)驗參數(shù)，控制灰度鄰近度。

σd和σr直接影響雙邊濾波的輸出結(jié)果。σd變大，窗口中包含的像素變多，距離遠的像素點對中心像素點的影響增大，平滑程度越高。σr變大，灰度差值較大的點也能影響中心點的像素值，但灰度差值大于σr的像素將不參與運算，使得能夠保留圖像高頻邊緣的灰度信息，對百香果的邊緣檢測及輪廓提取有幫助，如圖9（b）所示。

之后利用Laplacian算子［14］進行邊緣銳化，以突出圖像中的邊緣特征。Laplacian算子利用二階導數(shù)信息，具有各向同性，最佳Laplacian銳化模板為

H1=0-10-15-10-10（10）

圖像經(jīng)過二階微分后，在邊緣處產(chǎn)生一個陡峭的零交叉點，據(jù)此對零交叉點判斷邊緣。Laplacian算子對噪聲比較敏感，Laplacian算子的缺點是它對圖像中某些邊緣產(chǎn)生雙重響應。所以圖像一般先經(jīng)過平滑處理，通常把Laplacian算子和平滑算子結(jié)合起來生成一個新模板。因此本文選擇雙邊濾波后再進行Laplacian算子邊界銳化的圖像濾波方法，如圖9（c）所示。

2.2.3 邊緣檢測

邊緣檢測是提取果實輪廓的前提，如何使檢測出來的邊緣均一連續(xù)，且盡量更少的提取背景等不必要的邊緣信息是邊緣檢測的關鍵，經(jīng)過對比本文選用的是自適應閾值Canny算子［15］，針對本文所研究的自然環(huán)境下百香果狀態(tài)進行邊緣檢測，效果如圖10所示。

2.2.4 輪廓提取

將2.2.3節(jié)進行的自適應閾值Canny算子與Hough圓檢測算法相結(jié)合，通過已提取出的百香果果實邊緣信息，將其在圖中檢測并繪制出來。黃金百香果果實與圓形極為相似，因此根據(jù)所檢測出來邊緣進行的果實輪廓的提取，并找到百香果的中心點二維坐標，這也是后續(xù)進行立體匹配及視差計算最關鍵的信息。本文所研究的九種自然環(huán)境下百香果中心點提取效果如圖11所示。

2.3 雙目立體視覺

雙目立體視覺的實現(xiàn)包括原始圖像獲取、雙目攝像機標定、匹配和定位4個方面。

2.3.1 雙目立體相機標定

雙目立體相機有4個內(nèi)參和5個外參數(shù)，共計9個參數(shù)需要計算并修正。而計算求解這9個參數(shù)的過程即為相機的標定。本文所選用的為通過Matlab內(nèi)置的Stereo Camera Calibrator工具箱進行雙目相機的標定［16］，標定結(jié)果所得到得到雙目相機參數(shù)作為配置文件在Python程序中調(diào)用，即完成通過標定試驗對相機9個參數(shù)的校準，具體參數(shù)如下。

A左=772.181 50640.488 60773.470 8475.054 4001A右=773.598 30657.509 50775.399 3474.120 1001B左=0.151 8，-0.128 4，0，0，0B右=0.192 0，-0.303 5，0，0，0C=-59.329 30.177 2-0.128 2D=10.001 6-0.001 0-0.001 610.004 00.001 0-0.004 01

式中：A左——左相機內(nèi)參矩陣；A右——右相機內(nèi)參矩陣；B左——左相機畸變參數(shù)；B右——右相機畸變參數(shù)；C——右相機相對于左相機的偏置矩陣；D——右相機相對于左相機的旋轉(zhuǎn)矩陣。

2.3.2 三維坐標計算

定位是在得到空間任一點在兩個圖像中的對應坐標和兩攝像機參數(shù)矩陣的條件下，計算出圖像點在空間中的位置。根據(jù)每個單目攝像機獲得的兩個線性方程，共4個方程，可以求解出空間點的世界坐標值。實際定位原理通常采用外極線約束法，該方法中，目標點與兩個攝像機的光心共3個點組成的平面與各自成像平面的交線稱為該目標點在各自成像平面中的極線，如圖12所示。

當通過標定確定攝像機的內(nèi)外參數(shù)后，我們就可通過兩條極線的約束關系式建立對應圖像點之間的關系，并由此建立求解圖像點世界坐標的方程。

在雙目立體視覺系統(tǒng)中，假設兩相機內(nèi)部參數(shù)完全相同，世界坐標系與左相機的相機坐標系重合。被測果實中心點P的三維坐標（X，Y，Z）可根據(jù)相似三角形視差原理［17］計算得到

X=ulul-urd（11）

Y=vlvl-vrd（12）

Z=ful-urd（13）

式中：ul——P點在左相機上的橫坐標；vl——P點在左相機上的縱坐標；ur——P點在右相機上的橫坐標；vr——P點在右相機上的縱坐標；d——兩相機光心間距離；f——相機焦距。

3 結(jié)果與分析

3.1 試驗平臺

訓練及測試平臺主要硬件配置為：AMD Ryzen7 5800H with Radeon Graphics 3.20 GHz，16 GB內(nèi)存，NVIDIA GeForce RTX 3060 GPU。軟件系統(tǒng)環(huán)境為Windows10 64位操作系統(tǒng)，CUDA 10.0版本，CUDNN7.1版本，Python3.7.11版本，Pytorch1.2.0版本。

3.2 模型訓練與對比

3.2.1 參數(shù)設置

YOLOv5模型經(jīng)過對訓練集圖像的多次穩(wěn)定迭代學習，完成對權(quán)重參數(shù)的更新和優(yōu)化，模型參數(shù)為：批量32，動量0.9，學習率0.001，迭代次數(shù)200。

3.2.2 模型評價指標

在基于深度學習的目標檢測算法中常見的評價指標有精確率（Precision）、召回率（Recall）、平均精確率（Average Precision，AP）、平均精確率均值（mean Average Precision，mAP）以及F1分數(shù)（F1-Score）等［18］。模型參數(shù)的優(yōu)化過程，準確率和召回率往往是此消彼長的情況。但在采摘機器人的應用中，錯誤的預測可能導致未成熟果實被誤摘，也可能對末端執(zhí)行器造成損壞。采摘識別對精確率的要求遠高于召回率，因此本文以精確率為主要評價指標。

3.2.3 不同數(shù)據(jù)集檢測結(jié)果對比

為驗證不同圖像特征增強算法對檢測結(jié)果的影響，本文將不同圖像處理后的數(shù)據(jù)集分別輸入YOLOv5模型中進行訓練并測試，模型的P-R曲線如圖13所示。分析可知，YOLOv5平均精確率僅為81.2%。

取置信閾值0.5時，使用測試集的圖片對算法的性能進行驗證，并且將測試集的圖片經(jīng)過檢測的結(jié)果可視化如圖14所示。圖14中標注紅圈的是成熟的果實被錯誤判定為不成熟，標注粉圈的是果實漏檢，示例中可看出效果并不理想。81.2%的精確率不足以滿足在自然復雜環(huán)境下采摘機器人檢測成熟百香果的要求。原因是：原始數(shù)據(jù)集沒有經(jīng)過圖像處理，訓練出的模型受到了自然環(huán)境下復雜光照以及遮擋的影響，從而嚴重影響了模型的準確率。

經(jīng)過不同圖像處理優(yōu)化過的數(shù)據(jù)集，測試的精確率結(jié)果對比如表1所示。

從表1可以看出，相較于原算法，經(jīng)數(shù)據(jù)預處理后的算法精確率均有所提升。經(jīng)過MSRCP算法、隨機遮擋處理后測試集的精確率分別提高4.1%、1.4%。將上述所有數(shù)據(jù)增強方式結(jié)合使用后，不僅可以減少光照、遮擋等因素的影響，同時還擴充了數(shù)據(jù)集，使得測試集的精確率由81.2%提高至97.8%，優(yōu)化效果顯著。

綜合以上所有圖像處理方法優(yōu)化數(shù)據(jù)集，在YOLOv5上訓練出來的最優(yōu)模型評價指標如圖15所示，本模型對成熟百香果識別精確率為97.9%，對非成熟百香果識別精確率為97.7%，綜合精確率達到97.8%，比優(yōu)化數(shù)據(jù)集前精確率提高明顯。

3.2.4 不同算法檢測結(jié)果對比

訓練完成后，取果園障礙物數(shù)據(jù)集中的測試集圖片用于測試各模型的指標得分并列表統(tǒng)計，結(jié)果如表2所示。由表2可知，該YOLOv5模型進行果園障礙物檢測時在精確率方面比YOLOv4、Faster-RCNN分別提高了0.61個、0.04個百分點。在召回率方面，分別提高了0.68個、0.11個百分點，表明該YOLOv5具有更優(yōu)秀的性能。

3.3 田間試驗結(jié)果

試驗現(xiàn)場如圖16所示。

模擬試驗流程如下：在棚架百香果枝條上懸掛果實，人為制造順光+無遮擋，順光+枝葉遮擋，順光+果實遮擋；側(cè)光+無遮擋，側(cè)光+枝葉遮擋，側(cè)光+果實遮擋；逆光+無遮擋，逆光+枝葉遮擋，逆光+果實遮擋這九種自然環(huán)境下的百香果情況。

記錄系統(tǒng)判斷的成熟度結(jié)果以及深度值計算，并記錄下采摘裝置從起始點運行到目標處所用時間。其中規(guī)定定位誤差為真實深度值與算法計算出的深度值差值的絕對值與真實深度值的比值。規(guī)定定位誤差在5%以內(nèi)為定位成功，最終試驗結(jié)果如表3所示。

試驗可得本文所設計的成熟百香果目標檢測與定位系統(tǒng)在自然環(huán)境下運行時，其目標檢測準確率為97.8%，成熟度判斷以及定位準確率為90.2%，平均運行時間為4.85 s，結(jié)果如圖17所示。

可看出不同光照角度以及遮擋情況下所有果實均預測成功，圖像矩形框吻合較好，滿足在自然復雜環(huán)境下采摘機器人檢測成熟百香果的工作要求?；赟tereo Camera-YOLOv5的識別方法具有較強的抗干擾能力，有效解決了自然條件下復雜光線以及遮擋的問題，為后續(xù)的果實定位提供了堅實的基礎。

4 結(jié)論

1） ?提出一種Stereo Camera-YOLOv5的自然環(huán)境下的成熟百香果檢測及定位模型，將雙目立體視覺算法嵌入YOLOv5目標檢測模型檢測算法之中。田間試驗結(jié)果表明，Stereo Camera-YOLOv5模型該系統(tǒng)的目標檢測精確率為97.8%，成熟度判斷以及定位準確率為90.2%，平均運行時間為4.85 s。

2） ?針對自然環(huán)境下復雜光照以及遮擋問題，本文對原始數(shù)據(jù)集進行圖像優(yōu)化增強處理，利用MSRCP算法對圖像光照進行自適應調(diào)整，通過隨機遮擋大量增加被遮擋的果實樣本量，利用多種圖像處理技術(shù)對原始圖像進行擴增；經(jīng)過在YOLOv5模型上對比試驗可知，使用MSRCP算法可使模型mAP提高4.1%；使用隨機遮擋算法可使模型mAP提高1.4%；綜合使用MSRCP算法和隨機遮擋算法后可使模型mAP提高16.6%。綜合上述試驗對比可知本文提出的Stereo Camera-YOLOv5模型滿足實際生產(chǎn)需要，可用于實際的田間環(huán)境進行百香果的識別與定位，為后續(xù)采摘機器人的視覺系統(tǒng)提供良好的技術(shù)支持。

參 考 文 獻

［1］梁倩， 李詠富， 龍明秀， 等. 百香果化學成分及藥用活性研究進展［J］. 食品工業(yè)科技， 2018， 39（20）： 343-347.Liang Qian， Li Yongfu， Long Mingxiu， et al. Research progress on chemical constituents and pharmacological effects of Passiflora edulis Sims ［J］. Science and Technology of Food Industry， 2018， 39（20）： 343-347.

［2］王瑩， 劉忠和， 康萬利， 等. 百香果中礦物元素分析［J］. 食品科學， 2009， 30（22）： 328-330.Wang Ying， Liu Zhonghe， Kang Wanli， et al. Analysis of mineral elements in passiflora fruits ［J］. Food Science， 2009， 30（22）： 328-330.

［3］付雅麗， 康欣娜， 劉鐵錚， 等. 百香果的營養(yǎng)保健價值及無公害栽培技術(shù)［J］. 河北果樹， 2005（3）： 35.

［4］許威， 丁學文， 宋蘭草， 等. 基于MATLAB和OpenCV的雙目視覺測距系統(tǒng)的實現(xiàn)［J］. 天津職業(yè)技術(shù)師范大學學報， 2017， 27（4）： 47-52.Xu Wei， Ding Xuewen， Song Lancao， et al. Realization of binocular stereo vision distance measurement system based on MATLAB and OpenCV ［J］. Journal of Tianjin University of Technology and Education， 2017， 27（4）： 47-52.

［5］Raphael Y， Chen M， Wang C， et al. Recognition and localization methods for vision-based fruit picking robots： A Review ［J］. Frontiers in Plant Science， 2011， 11.

［6］Lu J. Detecting citrus fruits and occlusion recovery under natural illumination conditions ［M］. Elsevier Science Publishers B. V.， 2015.

［7］Tian Y， Yang G， Wang Z， et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model ［J］. Computers and Electronics in Agriculture， 2019， 157.

［8］唐熔釵， 伍錫如. 基于改進YOLO-V3網(wǎng)絡的百香果實時檢測［J］. 廣西師范大學學報（自然科學版）， 2020， 38（6）： 32-39.Tang Rongchai， Wu Xiru. Real-time detection of passion fruit based on improved YOLO-V3 network ［J］. Journal of Guangxi Normal University Natural Science Edition， 2020， 38（6）： 32-39.

［9］王鐵偉， 趙瑤， 孫宇馨， 等. 基于數(shù)據(jù)平衡深度學習的不同成熟度冬棗識別［J］. 農(nóng)業(yè)機械學報， 2020， 51（S1）： 457-463， 492.Wang Tiewei， Zhao Yao， Sun Yuxin， et al. Recognition approach based on data-balanced Faster R-CNN for winter jujube with different levels of maturity ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S1）： 457-463， 492.

［10］袁妍. 基于深度視覺的棚架葡萄采摘機器人手眼系統(tǒng)設計與果梗近景識別研究［D］. 鎮(zhèn)江： 江蘇大學， 2019.Yuan Yan. Hand-eye system design and close-shot stem recognition for robotic harvesting of trellis grape clusters based on depth sensing ［D］. Zhenjiang： Jiangsu University， 2019.

［11］李娜， 陳寧. 自然場景下蘋果采摘機器人視覺系統(tǒng)研究［J］. 計算機技術(shù)與發(fā)展， 2018， 28（12）： 137-146.Li Na， Chen Ning. Research on visual system of apple picking robot in nature scene ［J］. Computer Technology and Development， 2018， 28（12）： 137-146.

［12］袁良祺， 田暢， 徐充， 等. 基于MATLAB的視覺檢測系統(tǒng)課程設計［J］. 現(xiàn)代計算機， 2019（23）： 51-54， 57.Yuan Liangqi， Tian Chang， Xu Chong， et al. Curriculum design of visual inspection system based on MATLAB ［J］. Modern Computer， 2019（23）： 51-54， 57.

［13］王先節(jié)， 趙立宏. 基于MATLAB和OpenCV的雙目視覺系統(tǒng)研究［J］. 數(shù)字通訊世界， 2019， 7（2）： 46-48.

［14］李鵬， 張洋洋. 室內(nèi)移動機器人雙目視覺全局定位［J］. 激光與光電子學進展， 2020， 57（4）： 246-253.Li Peng， Zhang Yangyang. Global localization for indoor mobile robot based on binocular vision ［J］. Laser & Optoelectronics Progress， 2020， 57（4）： 246-253.

［15］金理鉆. 基于雙目視覺的黃瓜采摘機器人關鍵技術(shù)的研究［D］. 上海： 上海交通大學， 2013.Jin Lizuan. Key technology research of cucumbers harvest robot based on machine vision ［D］. Shanghai： Shanghai Jiao Tong University， 2013.

［16］唐熔釵. 基于深度學習的百香果成熟度實時檢測算法研究［D］. 桂林： 桂林電子科技大學， 2021.Tang Rongchai. Research on real-time detection algorithm of passion fruit maturity via deep learning ［D］. Guilin： Guilin University of Electronic Technology， 2021.

［17］秦雁飛. 基于雙目視覺及深度學習的采摘機器人目標檢測及定位技術(shù)研究［D］. 北京： 北京交通大學， 2019.Qin Yanfei. Research on target detection and localization technology of picking robot based on binocular vision and deep learning ［D］. Beijing： Beijing Jiaotong University， 2019.

［18］周毛. 基于雙目視覺的農(nóng)業(yè)采摘機器人控制系統(tǒng)設計研究［D］. 青島： 青島理工大學， 2018.Zhou Mao. Control system design of agricultural picking robot based on binocular vision ［D］. Qingdao： Qingdao University of Technology， 2018.

基金項目：廣西創(chuàng)新驅(qū)動發(fā)展專項資金項目（桂科AA18242011）；南寧市邕寧區(qū)科學研究與技術(shù)開發(fā)計劃項目（20180206A）；廣西壯族自治區(qū)大學生創(chuàng)新創(chuàng)業(yè)項目（202110593214）

第一作者：繆亞倫，男，1996年生，河北保定人，碩士研究生；研究方向為機器視覺與深度學習。E-mail： 911264650@qq.com

通訊作者：李巖舟，男，1979年生，河北易縣人，博士，副教授；研究方向為機器振動與農(nóng)業(yè)機械化。E-mail： lyz197916@126.com