曹春卿，張吳平，李富忠，韓冀皖，余廷熙，劉 帥

（山西農(nóng)業(yè)大學(xué)軟件學(xué)院，山西 晉中 030801）

中國蘋果種植廣泛，同時(shí)也是世界貿(mào)易量較大的水果［1］。中國勞動(dòng)力資源短缺，蘋果在人工采摘收獲時(shí)費(fèi)時(shí)、費(fèi)力且效率不高［2］，需要智能農(nóng)業(yè)設(shè)備進(jìn)行采摘作業(yè)；視覺定位系統(tǒng)在蘋果采摘機(jī)器設(shè)備的整體系統(tǒng)上是必不可少的一部分［3］，是農(nóng)業(yè)機(jī)械未來發(fā)展的必然趨勢［4，5］。在研究采摘設(shè)備的識(shí)別定位系統(tǒng)時(shí)，尤其要考慮到自然條件下光照反射和表面陰影的影響，還有對果實(shí)的晃動(dòng)要保持良好的時(shí)效性，因此，實(shí)時(shí)精準(zhǔn)識(shí)別和三維定位是采摘機(jī)器人走向廣泛應(yīng)用需解決的問題之一［6，7］。

有關(guān)蘋果采摘機(jī)器設(shè)備在識(shí)別方面的研究，起初是通過顏色和形狀來提取目標(biāo)蘋果。Jiang 等［8］為了對蘋果圖像進(jìn)行有效的識(shí)別分割，采用RGB 色差法結(jié)合自適應(yīng)閾值分割算法從圖像中分割出蘋果。Gongal 等［9］在 HSI（Hue saturation and intensity）顏色空間中將圖像進(jìn)行直方圖均衡化處理，結(jié)合圓形Hough 變換和Blob 分析出圖像中的蘋果。這類方式大多是針對某些特定圖像進(jìn)行研究，識(shí)別效率尚可［10］，但是在復(fù)雜的自然場景識(shí)別中，蘋果采摘機(jī)器設(shè)備面臨更加艱巨的識(shí)別任務(wù)，識(shí)別效率和精度要求更高。在含有陰影的情況下，司永勝等［11］為提高識(shí)別精度，將歸一化的紅綠色差法和匹配策略有效結(jié)合，從結(jié)果來看能夠較好地減少蘋果表面陰影對蘋果目標(biāo)的定位影響。宋懷波等［12］利用模糊矩陣處理含陰影的圖像，運(yùn)用函數(shù)進(jìn)行模糊化處理，有效地提高了蘋果表面陰影的處理水平，達(dá)到了去除表面陰影的效果，提高了提取精度。自然條件下識(shí)別中也會(huì)出現(xiàn)目標(biāo)物體相互重疊遮擋的情況。徐越等［13］為解決此問題，利用角點(diǎn)檢測算法尋找重疊蘋果的真實(shí)分割點(diǎn)，將分割點(diǎn)連線來實(shí)現(xiàn)重疊蘋果的分割。呂繼東等［14］運(yùn)用R-G 顏色特征的動(dòng)態(tài)閾值分割方法找出蘋果的具體輪廓位置，但是在實(shí)際運(yùn)用中，由于光線因素，在逆光環(huán)境下容易造成丟失目標(biāo)的結(jié)果。為解決光環(huán)境的影響，引入了深度識(shí)別算法。趙德安等［15］在提高蘋果識(shí)別方面運(yùn)用YOLOv3 深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行蘋果識(shí)別的方法，通過對比YOLOv3 與RCNN 算法的檢測結(jié)果，比較分析算法差異，得出YOLOv3 算法的優(yōu)勢并取得了較高的準(zhǔn)確率。

SSD（Single shot multi box detector）目標(biāo)檢測算法［16，17］和 YOLO（You only look once）［18，19］算法逐漸在農(nóng)業(yè)上得到應(yīng)用，其中YOLO 算法原理是將物體檢測的問題處理成回歸問題，也稱one-stage 目標(biāo)檢測，是運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對輸入圖像進(jìn)行bounding box 預(yù)測和類別概率的算法。

在有效識(shí)別的同時(shí)，加上定位技術(shù)有利于獲取目標(biāo)物體的空間坐標(biāo)。在定位方面，李振雨等［20］運(yùn)用圖像處理技術(shù)識(shí)別定位蘋果，對像素角的差值進(jìn)行平滑處理，再對曲率集中的峰值點(diǎn)進(jìn)行坐標(biāo)標(biāo)定，從而轉(zhuǎn)化為抓取坐標(biāo)點(diǎn)。劉兆祥等［21］也設(shè)計(jì)了相關(guān)設(shè)備，通過多個(gè)傳感設(shè)備和PC 機(jī)組成了三維視覺傳感器，運(yùn)用目標(biāo)物體對激光的反射差異進(jìn)行蘋果識(shí)別，結(jié)合三角測量原理實(shí)現(xiàn)果實(shí)的定位。高智偉等［22］通過快速魯棒特征（Speeded up robust features）算法結(jié)合Grabcut 算法提取出目標(biāo)，利用模板匹配求取目標(biāo)物體中心的三維坐標(biāo)。

目前針對智能機(jī)器采摘蘋果的目標(biāo)識(shí)別和三維空間定位研究多數(shù)只適用于某些特定情況。本研究將YOLOv3 算法與雙目視覺技術(shù)融合，在多種自然場景下開展蘋果識(shí)別定位研究。收集相關(guān)數(shù)據(jù)集，以識(shí)別定位為例，用YOLOv3 神經(jīng)網(wǎng)絡(luò)方法來實(shí)現(xiàn)對目標(biāo)蘋果的識(shí)別；在不同自然情形下通過YOLOv3 網(wǎng)絡(luò)模型提高檢測識(shí)別速度和精度，再輔以雙目視覺系統(tǒng)進(jìn)行三維空間定位，以期實(shí)現(xiàn)對蘋果的準(zhǔn)確識(shí)別和三維空間定位，為后續(xù)研究提供理論依據(jù)和技術(shù)參考。

1 精準(zhǔn)識(shí)別和三維定位方法

通過YOLOv3 算法對多種自然場景下樣本進(jìn)行訓(xùn)練，構(gòu)建識(shí)別模型，利用雙目視覺獲取2 幅2 560×960 的蘋果RGB 圖像，運(yùn)用YOLOv3 模型得到圖像目標(biāo)蘋果的二維坐標(biāo)，再利用雙目視覺視差原理得到深度坐標(biāo)信息，以實(shí)現(xiàn)對目標(biāo)蘋果的三維空間定位。其流程如圖1 所示。

圖1 系統(tǒng)流程

1.1 YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3 網(wǎng)絡(luò)用于分類任務(wù)，網(wǎng)絡(luò)中采用Resnet的殘差結(jié)構(gòu)，使用Darknet53 的卷積網(wǎng)絡(luò)，運(yùn)用多尺度的特征來檢測物體，加快了檢測速率，并且提高了相應(yīng)的檢測準(zhǔn)確率。本試驗(yàn)考慮到內(nèi)存成本以及實(shí)時(shí)性問題，故采用YOLOv3 對目標(biāo)蘋果進(jìn)行檢測。

在YOLOv3 中，首先將圖片統(tǒng)一設(shè)置，運(yùn)用主干網(wǎng)絡(luò)中的卷積層［23］，通過調(diào)節(jié)卷積步長來控制輸出特征圖的尺寸大小，在進(jìn)行b-box 預(yù)測試時(shí)，為找到目標(biāo)存在最高的可能性，運(yùn)用Logistic regression 找到映射關(guān)系建模分析。

試驗(yàn)通過將圖片直接輸入到特征提取網(wǎng)絡(luò)中，利用CNN 來提取，從而將整張圖片中的目標(biāo)回歸操作檢測，以便提升檢測速度。在Darknet53 架構(gòu)中，對原有層數(shù)加深，模型在學(xué)習(xí)特征時(shí)不斷與之前學(xué)習(xí)的特征相融合，增強(qiáng)對特征圖的認(rèn)知效果，提高了訓(xùn)練模型的精度。因此，YOLOv3 是相對成熟且性能較好的模型。

1.2 損失函數(shù)及評(píng)價(jià)指標(biāo)

在YOLOv3模型中，損失函數(shù)由3部分組成，分別是目標(biāo)定位損失、置信度損失和目標(biāo)分類損失［24］。其中，目標(biāo)定位損失函數(shù)由均方差計(jì)算，置信度損失與目標(biāo)分類損失由交叉熵計(jì)算，見式（1）。

式中，λn和λc為損失函數(shù)的權(quán)重值；xi、yi、wi、hi為預(yù)測檢測框的坐標(biāo)值表示真實(shí)檢測框的坐標(biāo)值；B為預(yù)測框數(shù)量；C為分類值表示第i個(gè)單元格中第j個(gè)檢測框?qū)δ繕?biāo)物的檢測表示第i個(gè)單元格中第j個(gè)檢測框?qū)δ繕?biāo)物未進(jìn)行的檢測。

對于其中包含的二分類問題，樣本分為4 類：在式（2）中，將正樣本正確預(yù)測為正樣本量表示為TP（True positive），正樣本錯(cuò)誤預(yù)測為負(fù)樣本量表示為FN（False negative），將負(fù)樣本正確預(yù)測為負(fù)樣本量表示為TN（True negative），負(fù)樣本錯(cuò)誤預(yù)測為正樣本量表示為FP（False positive）。APi為蘋果單類的精度。關(guān)于網(wǎng)絡(luò)性能的評(píng)價(jià)指標(biāo)，本研究選取準(zhǔn)確率（Accuracy）、平均準(zhǔn)確率（mAP）等指標(biāo)作為模型檢測效果評(píng)價(jià)標(biāo)準(zhǔn)。其中Precision 表示某一種類預(yù)測目標(biāo)正確占總真實(shí)標(biāo)簽個(gè)數(shù)的比例；Recall 表示預(yù)測目標(biāo)正確的數(shù)量占目標(biāo)預(yù)測總數(shù)的比例；AP是由精確率（Precision）和召回率（Recall）構(gòu)成的Precision-Recall 曲線與x、y軸所圍成的面積計(jì)算得到。計(jì)算公式如下。

1.3 標(biāo)定算法

本研究運(yùn)用張正友標(biāo)定法獲取目標(biāo)物體的深度位置信息，利用剛體變換將世界坐標(biāo)轉(zhuǎn)換到相機(jī)坐標(biāo)［25］。如圖 2 所示。

圖2 坐標(biāo)變換

像素坐標(biāo)和世界坐標(biāo)下的坐標(biāo)變換映射關(guān)系如式（4）所示。

其中，u、v為像素坐標(biāo)系中的坐標(biāo)，s為尺度因子，fx、fy、u0、v0、γ為 5 個(gè)相機(jī)內(nèi)參［26］。

相較于空間中的點(diǎn)P，在世界坐標(biāo)系下的坐標(biāo)為Pw，將其映射在左右相機(jī)坐標(biāo)下的坐標(biāo)為：

其中Pr和Pl有如下的關(guān)系：

綜合上式，可以推得：

左攝像頭經(jīng)過標(biāo)定后獲得標(biāo)定物的旋轉(zhuǎn)矩陣Rl和平移向量Tl，同理得到右攝像頭的Rr和Tr［27］。

通過左右相機(jī)標(biāo)定后得到RlTl、RrTr，隨后帶入式（7）中，就可以計(jì)算出左右相機(jī)之間的旋轉(zhuǎn)矩陣R和平移T。

1.4 蘋果三維空間定位

本研究采用2 個(gè)內(nèi)部參數(shù)相同的攝像頭，根據(jù)三角形相似關(guān)系建立一個(gè)空間坐標(biāo)點(diǎn)P(X,Y,Z)，通過成像圖像，分別確立左右2 個(gè)點(diǎn)為PL=(uL,vL)和PR=(uR,vR)，其中，兩攝像頭的光心距離為b，焦距設(shè)置為f，其坐標(biāo)幾何模型如圖3 所示。

圖3 雙目相機(jī)定位幾何模型

式（8）中，XR、XL的單位均是物理單位，將圖像坐標(biāo)轉(zhuǎn)換到像素坐標(biāo)，在橫軸x和縱軸y上物理尺寸的像素可表示為：

uR、uL分別為PL、PR距離各自像平面左邊緣的像素距離。fx是通過相機(jī)標(biāo)定的內(nèi)參值。定義視差d=uL-uR，所以有：

通過像素坐標(biāo)下點(diǎn)的坐標(biāo)求算空間中某點(diǎn)的三維坐標(biāo)，利用視差原理，由式（10）可計(jì)算出蘋果中心點(diǎn)的深度值及三維空間坐標(biāo)，其中Z坐標(biāo)值即為測量蘋果的深度。

2 系統(tǒng)結(jié)構(gòu)

2.1 雙目視覺搭建

采用雙目攝像頭作為雙目視覺搭建的試驗(yàn)設(shè)備，其由 6 cm 基線 USB3.0 雙目相機(jī)（HNY-CV-003B）進(jìn)行拍照獲取圖像，計(jì)算機(jī)操作系統(tǒng)采用Win10，圖像處理軟件采用OpenCV3.1。

2.2 雙目相機(jī)標(biāo)定

在識(shí)別圖像時(shí)，為避免出現(xiàn)圖像畸變問題，首先進(jìn)行雙目相機(jī)的標(biāo)定，利用25 mm×25 mm 的棋盤格對相機(jī)進(jìn)行標(biāo)定，以便獲取雙目攝像頭的所需相關(guān)參數(shù)。將雙目攝像頭固定在合適的位置進(jìn)行雙目相機(jī)標(biāo)定，在攝像頭可照見的范圍內(nèi)平移、旋轉(zhuǎn)棋盤格標(biāo)定板，采集20 組不同方位的棋盤格雙目左右圖像，其中重要的是標(biāo)定板版面一定要平整。依次對20 組標(biāo)定4 個(gè)邊界角點(diǎn)，對存在的定位偏差修改畸變系數(shù)，得到相應(yīng)的數(shù)字矩陣，完成單目定標(biāo)后再對另一目定標(biāo)，得到雙目攝像頭的屬性參數(shù)，并進(jìn)行立體標(biāo)定，結(jié)果如圖4 所示。

圖4 雙目相機(jī)立體標(biāo)定

2.3 數(shù)據(jù)集采集與處理

本研究所構(gòu)建的數(shù)據(jù)集經(jīng)數(shù)據(jù)增強(qiáng)后增強(qiáng)了模型的泛化能力，提高了模型的識(shí)別準(zhǔn)確率。最終共用到3 017 張圖片，每張圖片包括的蘋果數(shù)量及環(huán)境不等。在采集過程中拍攝角度和拍攝光線會(huì)有不同，為避免數(shù)據(jù)尺寸和環(huán)境差異造成的影響，在訓(xùn)練模型前對圖像進(jìn)行裁剪篩選，圖像采集的存儲(chǔ)格式為jpg，再使用LabelImg 圖像標(biāo)注工具對采集到的圖像進(jìn)行標(biāo)注，獲取與圖片對應(yīng)的xml文件。

本研究中訓(xùn)練平臺(tái)的主要配置為Win10 環(huán)境，處理器為 Intel（R）Core（TM）i7-10700K，主頻 3.80 GHz，顯卡NVIDIA Quadro P4000。

3 試驗(yàn)過程與結(jié)果分析

3.1 目標(biāo)識(shí)別結(jié)果分析

采用VOC20007 格式對數(shù)據(jù)進(jìn)行讀取，整理好圖像數(shù)據(jù)以及標(biāo)注好的xml 文件；將圖片輸入大小設(shè)置為 416 px×416 px；在 YOLOv3 測試中，使用 Visual Studio Code 編譯器搭建深度學(xué)習(xí)的訓(xùn)練環(huán)境。在試驗(yàn)中，利用隨機(jī)梯度下降（SGD）來優(yōu)化訓(xùn)練模型的訓(xùn)練方法，參數(shù)設(shè)置迭代次數(shù)epoch 為40，加速動(dòng)量值為0.9，權(quán)重衰減系數(shù)為0.000 5。學(xué)習(xí)率分為兩階段來進(jìn)行訓(xùn)練，為了防止一開始學(xué)習(xí)率下降速度過快，將Ir 設(shè)為1e-3，再凍結(jié)一部分訓(xùn)練Ir 設(shè)為1e-4。通過凍結(jié)訓(xùn)練可以加快訓(xùn)練速度，也可以在訓(xùn)練初期防止權(quán)值被破壞。從結(jié)果來看mAP為96.60%，通過識(shí)別出的邊界框左上點(diǎn)和右下點(diǎn)的坐標(biāo)，可以計(jì)算出識(shí)別框中心點(diǎn)的像素坐標(biāo)。

為驗(yàn)證模型的穩(wěn)定性，首先對果樹模擬情景進(jìn)行識(shí)別檢驗(yàn)，搭建模擬環(huán)境，識(shí)別目標(biāo)在9～14 個(gè)，變換識(shí)別情景進(jìn)行識(shí)別，檢驗(yàn)是否能夠有效識(shí)別，并且驗(yàn)證算法在實(shí)際采摘情況下的可行性，通過對果樹實(shí)地拍攝進(jìn)行識(shí)別試驗(yàn)，并在室外環(huán)境下測試光強(qiáng)以及陰影遮擋下的識(shí)別效率。

雙目相機(jī)識(shí)別結(jié)果見圖5。圖5A 中，蘋果智能采摘設(shè)備在光照不均、有大量葉片遮擋和陰影的情況下，均可識(shí)別出目標(biāo)蘋果。圖5C 中，清晨葉片和果實(shí)上掛有露水，容易形成反射，蘋果智能采摘設(shè)備在有遮擋的情況下，均能良好地識(shí)別出目標(biāo)蘋果的數(shù)量。圖5B 和圖5D 都存在光照不強(qiáng)且有遮擋的情況，其中圖5B 體現(xiàn)的是傍晚時(shí)蘋果智能采摘設(shè)備對蘋果的識(shí)別效果，此時(shí)光的反射率較高，識(shí)別效果較好；圖5D 體現(xiàn)的是夜間蘋果智能采摘設(shè)備對蘋果的識(shí)別效果，此時(shí)光的反射率不高且有大量葉片遮擋，視覺系統(tǒng)沒有提取出有效的信息，出現(xiàn)了識(shí)別不出的情況。圖5E 和圖5F 中蘋果智能采摘設(shè)備在實(shí)地采摘場景中均能識(shí)別出目標(biāo)蘋果，且識(shí)別效果良好。

從蘋果智能采摘設(shè)備在多種自然場景下的識(shí)別結(jié)果（圖5）可以看出，其識(shí)別率較高，對于遮擋方面的識(shí)別也能表現(xiàn)出較好的效果，只有在光照嚴(yán)重不足、有遮擋時(shí)，有少量蘋果未被識(shí)別，總體的識(shí)別精度能夠達(dá)到采摘機(jī)器人的識(shí)別精度需求。

圖5 雙目相機(jī)識(shí)別結(jié)果

3.2 雙目相機(jī)標(biāo)定分析

采用張正友標(biāo)定法得到雙目相機(jī)參數(shù)矩陣、畸變系數(shù)，經(jīng)雙目立體標(biāo)定得到旋轉(zhuǎn)向量rec和平移向量T，如表1 所示。利用相關(guān)參數(shù)再對雙目相機(jī)進(jìn)行畸變校正和立體校正，圖6 為雙目相機(jī)標(biāo)定結(jié)果的重投影誤差分析。

圖6 雙目相機(jī)重投影誤差分析

表1 雙目相機(jī)標(biāo)定結(jié)果

獲取到識(shí)別目標(biāo)物體的中心點(diǎn)像素坐標(biāo)后，結(jié)合深度信息，提取物體的三維空間坐標(biāo)信息，通過在不同自然場景下識(shí)別定位研究得到目標(biāo)蘋果坐標(biāo)，同人工實(shí)測值進(jìn)行數(shù)據(jù)對比分析，結(jié)果見圖7。由圖7 可知，在光照強(qiáng)但是不均勻，果實(shí)上存在陰影和遮擋的情況下，最小相對誤差為0.193%，最大相對誤差為3.670%；露水在蘋果表面形成反射，并且果實(shí)存在遮擋、有陰影的情況下，最小相對誤差為0.176%，最大相對誤差為4.205%；在光照不強(qiáng)、陰影小、存在遮擋時(shí)，最小相對誤差為0.168%，最大相對誤差為3.776%；在夜晚光照不足、有遮擋的情況下，最小相對誤差為0.831%，最大相對誤差為4.417%。其中只有夜晚光照不足、有遮擋時(shí)，平均識(shí)別精度相對較小，但在誤差允許范圍內(nèi)，可滿足采摘機(jī)器人的識(shí)別精度需求。

圖7 距離測量誤差分析

4 小結(jié)與討論

精確識(shí)別目標(biāo)物體和三維坐標(biāo)是蘋果智能采摘設(shè)備的重要前提。目前的研究多數(shù)集中于特定情況下的采摘，在蘋果采摘實(shí)踐中存在多種復(fù)雜的自然場景，由于光線因素，在逆光環(huán)境下會(huì)造成目標(biāo)丟失、難以廣泛用于實(shí)際采摘的情況。本研究融合YOLOv3 和雙目視覺算法，分析了多種自然場景下蘋果的精準(zhǔn)識(shí)別和三維定位，著重研究了目標(biāo)物體的深度信息識(shí)別定位和目標(biāo)蘋果的識(shí)別提取，構(gòu)建了一種基于YOLOv3 算法的識(shí)別檢測模式，完成了蘋果的深度空間定位。

此試驗(yàn)?zāi)M蘋果的采摘情形，在蘋果智能采摘設(shè)備上搭載雙目立體視覺系統(tǒng)，構(gòu)建融合YOLOv3算法和雙目視覺技術(shù)，通過YOLOv3 算法對多種自然場景下樣本進(jìn)行訓(xùn)練，構(gòu)建識(shí)別模型，利用雙目視覺獲取蘋果圖像，采用YOLOv3 模型得到圖像目標(biāo)蘋果的二維坐標(biāo)，再利用雙目視覺視差原理得到深度坐標(biāo)信息，來實(shí)現(xiàn)對目標(biāo)蘋果的三維空間定位。結(jié)果表明，YOLOv3 的mAP 達(dá)96.60%，不同自然環(huán)境下的識(shí)別率較高，具有較高的識(shí)別精度；并在不同環(huán)境下進(jìn)行深度距離測試，采取距離調(diào)節(jié)測試距離信息的準(zhǔn)確度，求得不同自然場景下的最小相對誤差和最大相對誤差，結(jié)果表明試驗(yàn)效果可滿足蘋果采摘機(jī)器人采摘作業(yè)的識(shí)別定位精度需求，為抓取平臺(tái)提供可靠的定位信息。

本文的研究方法可類推于其他目標(biāo)物體的采摘識(shí)別定位，試驗(yàn)中涉及自然光強(qiáng)度的變化以及光照照射下蘋果表面出現(xiàn)反光，還有表面有露水等因素的影響，識(shí)別定位準(zhǔn)確率良好。在后續(xù)的研究中應(yīng)考慮夜晚對深度識(shí)別定位的影響，提高采摘圖像的深度識(shí)別定位精度。同時(shí)，未來應(yīng)增加和優(yōu)化數(shù)據(jù)集，增加蘋果種類及成熟度的識(shí)別及各種復(fù)雜環(huán)境下的圖像數(shù)據(jù)采集分類，進(jìn)而優(yōu)化識(shí)別精度，完善最終的識(shí)別定位系統(tǒng)模型。