趙 毅

（南陽(yáng)技師學(xué)院，473000，河南南陽(yáng)）

機(jī)械化采摘水果有效減少人工勞動(dòng)力，節(jié)省成本，且采摘效率與采摘安全性更高[1-2]。但是類(lèi)球狀水果的機(jī)械化采摘難度較高，需要采摘機(jī)械目標(biāo)高精度識(shí)別信息數(shù)據(jù)的支持[3]。現(xiàn)階段，機(jī)械目標(biāo)識(shí)別無(wú)法有效地將水果采摘機(jī)械目標(biāo)與背景作出合理區(qū)分，導(dǎo)致采摘效果差[4]。機(jī)器視覺(jué)技術(shù)能夠改善這一問(wèn)題，并且采用相應(yīng)的識(shí)別算法，提取圖像特征，分割水果采摘機(jī)械目標(biāo)與背景，實(shí)現(xiàn)機(jī)械目標(biāo)識(shí)別與定位[5]?；诖?，本文在傳統(tǒng)水果采摘機(jī)械目標(biāo)識(shí)別方法的基礎(chǔ)上，引入機(jī)器視覺(jué)技術(shù)，以類(lèi)球狀水果為例，提出了一種全新的采摘機(jī)械目標(biāo)識(shí)別方法，為提高水果采摘效率、促進(jìn)農(nóng)業(yè)機(jī)械自動(dòng)化發(fā)展作出貢獻(xiàn)。

1 類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別方法設(shè)計(jì)

1.1 類(lèi)球狀水果圖像采集與預(yù)處理

結(jié)合實(shí)際情況，利用高性能相機(jī)采集類(lèi)球狀水果圖像，采集過(guò)程中，控制相機(jī)雙目攝像頭與待采摘類(lèi)球狀水果之間的距離，保持距離在50～100 cm 范圍內(nèi)，通過(guò)多角度的拍攝方式，采集各種環(huán)境條件下的類(lèi)球狀水果的RGB 圖像與同幀下的深度圖像。圖像采集時(shí)，時(shí)段分為上午、下午，數(shù)量均為200 張，天氣分為晴天和陰天，數(shù)量分別為210 張和190 張。

完成采集后，預(yù)處理類(lèi)球狀水果圖像，減少圖像中存在的噪聲[6]。引入中值濾波降噪方法，計(jì)算類(lèi)球狀水果圖像中目標(biāo)像素鄰域的像素值，使用計(jì)算后的像素值代替初始像素值，以此種方式，減少類(lèi)球狀水果圖像中存在的孤立噪聲點(diǎn)。結(jié)合濾波降噪電子設(shè)備，開(kāi)啟設(shè)備后，使其產(chǎn)生一定的脈沖噪聲，通過(guò)脈沖噪聲，既可以去除圖像中含有的多余噪聲，又可以保證圖像中類(lèi)球狀水果特征不失真[7]。

1.2 基于機(jī)器視覺(jué)設(shè)計(jì)類(lèi)球狀水果圖像分割算法

完成圖像采集和預(yù)處理后，引入機(jī)器視覺(jué)技術(shù)原理[8-9]，設(shè)計(jì)圖像分割算法，分割類(lèi)球狀水果圖像。引入機(jī)器視覺(jué)是因?yàn)槠淇梢愿鶕?jù)圖像信號(hào)的動(dòng)態(tài)變化，有效獲取類(lèi)球狀水果的顏色信息、形態(tài)信息與位置信息。分割過(guò)程利用機(jī)器視覺(jué)技術(shù)，將待分割的水果圖像劃分為n*n 個(gè)網(wǎng)格狀，采用修改細(xì)化的方法，不斷細(xì)化水果圖像的超像素邊緣，使圖像的內(nèi)部特征達(dá)到一致，并利用機(jī)器視覺(jué)技術(shù)，定義類(lèi)球狀水果圖像超像素中更新像素邊緣與顏色密度分布的能量函數(shù)，表達(dá)式為：

式中：T（s）為圖像超像素中顏色密度分布項(xiàng)；d 為圖像顏色密度與邊緣值的權(quán)重；E（s）為圖像超像素形狀的邊界項(xiàng)。

通過(guò)該表達(dá)式，獲取類(lèi)球狀水果圖像超像素的能量函數(shù)，將圖像劃分為多個(gè)超像素塊，利用直方圖統(tǒng)計(jì)的方法，統(tǒng)計(jì)各個(gè)超像素塊的顏色變化，用若干個(gè)箱格表示各個(gè)區(qū)域的顏色變化。實(shí)時(shí)記錄圖像超像素邊界的局部不規(guī)則性變化，得到類(lèi)球狀水果圖像的平滑邊緣，保證圖像超像素形狀邊界項(xiàng)中包含多個(gè)超像素標(biāo)簽。采用重復(fù)迭代運(yùn)算的方法，控制R(s)能量函數(shù)的動(dòng)態(tài)變化，直至迭代運(yùn)算次數(shù)達(dá)到上限，完成類(lèi)球狀水果圖像超像素分割，并將圖像分割邊緣附近的像素，緩慢移入相鄰的超像素塊內(nèi)，使類(lèi)球狀水果顏色分布得更加集中。

1.3 類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別

在上述基于機(jī)器視覺(jué)設(shè)計(jì)類(lèi)球狀水果圖像分割算法結(jié)束后，識(shí)別類(lèi)球狀水果采摘機(jī)械目標(biāo)[10]。引入圓檢測(cè)技術(shù)，結(jié)合最小二乘法求解檢測(cè)值中的未知量，對(duì)類(lèi)球狀水果采摘機(jī)械目標(biāo)進(jìn)行識(shí)別。首先，在進(jìn)行類(lèi)球狀水果圓檢測(cè)識(shí)別前，對(duì)其2D 圖像進(jìn)行預(yù)處理，將其中不可能構(gòu)成圓形的邊緣剔除，如圖1 所示。

圖1 非圓形圖像邊緣剔除原理

如圖1 所示，在非圓形圖像上進(jìn)行取點(diǎn)，其中：p1位于非圓形圖像的邊緣起始點(diǎn)，p2位于非圓形圖像邊緣的1/3 處，p3位于非圓形圖像邊緣的2/3 處。對(duì)三個(gè)取點(diǎn)進(jìn)行共線判斷，若三點(diǎn)共線，則類(lèi)球狀水果2D 圖像不是圓形邊緣，需要進(jìn)行剔除處理，并在此基礎(chǔ)上，利用三個(gè)取點(diǎn)，擬合形成一個(gè)圓形，標(biāo)記圖像的圓心與半徑。采用最小二乘法，獲取類(lèi)球狀水果2D 圖像的圓參數(shù)，并描述圓參數(shù)對(duì)應(yīng)相等的程度。綜合考慮類(lèi)球狀水果復(fù)雜的背景環(huán)境，引入融合特征的圖像顯著性檢測(cè)方法，增強(qiáng)類(lèi)球狀水果2D 圖像強(qiáng)度的均勻性，分別對(duì)圖像的邊緣特征與超像素塊特征進(jìn)行排序顯著性檢測(cè)，得出類(lèi)球狀水果兩種不同特征的識(shí)別節(jié)點(diǎn)。

在此基礎(chǔ)上，采用如圖2 所示的類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別流程與處理步驟，全方位識(shí)別目標(biāo)水果的圖像。

圖2 類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別流程

圖2 為本文設(shè)計(jì)的類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別的整體流程。輸入目標(biāo)圖像后，采用像素增強(qiáng)方法，增強(qiáng)待采摘水果目標(biāo)圖像。對(duì)像素增強(qiáng)后的圖像進(jìn)行超像素分割處理，根據(jù)分割結(jié)構(gòu)，構(gòu)建采摘機(jī)械目標(biāo)識(shí)別模型，通過(guò)模型的迭代訓(xùn)練，提取類(lèi)球狀水果采摘機(jī)械目標(biāo)的背景特征與前景特征的流行排序，將二者融合處理后，利用流行排序顯著性檢測(cè)方法，獲取融合特征的類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別顯著圖。經(jīng)過(guò)以上一系列前期處理與識(shí)別流程，實(shí)現(xiàn)類(lèi)球狀水果采摘機(jī)械的單個(gè)目標(biāo)與多個(gè)目標(biāo)識(shí)別。

在類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別結(jié)束后，本文認(rèn)為，在后期的類(lèi)球狀水果采摘中可以引入卷積神經(jīng)網(wǎng)絡(luò)技術(shù)原理進(jìn)行采摘，此種采摘方法對(duì)被抓取目標(biāo)物體的位置結(jié)構(gòu)具有準(zhǔn)確的分析性能，能夠精確地獲取被抓取目標(biāo)物體的位置結(jié)構(gòu)信息，學(xué)習(xí)功能較強(qiáng)，有助于提高類(lèi)球狀水果機(jī)械化采摘的效率。

2 實(shí)驗(yàn)分析

為了驗(yàn)證本文提出的目標(biāo)識(shí)別方法的可行性及其為水果采摘工作提供的幫助，進(jìn)行了如下所述的實(shí)驗(yàn)。在本次實(shí)驗(yàn)中，為了使實(shí)驗(yàn)結(jié)果能夠更加直觀清晰地呈現(xiàn)，采用對(duì)比分析的實(shí)驗(yàn)方法，設(shè)置了兩組對(duì)照組、一組實(shí)驗(yàn)組。將文獻(xiàn)[3]提出的基于Softmax 的水果采摘目標(biāo)識(shí)別技術(shù)、文獻(xiàn)[4]提出的基于CenterNet 的水果采摘目標(biāo)識(shí)別技術(shù)設(shè)置為對(duì)照組，將本文提出的基于機(jī)器視覺(jué)的水果采摘識(shí)別方法作為實(shí)驗(yàn)組，開(kāi)展以下實(shí)驗(yàn)。

2.1 實(shí)驗(yàn)準(zhǔn)備

由于實(shí)驗(yàn)條件具有一定的限制，本次實(shí)驗(yàn)僅在實(shí)驗(yàn)室中進(jìn)行，選取仿真蘋(píng)果植株作為研究對(duì)象，進(jìn)行測(cè)試。首先，按照上述提出的論述，采用特殊的固定方式，將蘋(píng)果目標(biāo)固定在高精度攝像頭的前方，通過(guò)攝像頭，對(duì)其進(jìn)行拍攝。標(biāo)定相機(jī)，設(shè)定相機(jī)圖像的左上角作為圖像的初始坐標(biāo)點(diǎn)，基于機(jī)器視覺(jué)技術(shù)，對(duì)蘋(píng)果目標(biāo)圖像進(jìn)行預(yù)處理，檢測(cè)并計(jì)算蘋(píng)果的相關(guān)信息，包括蘋(píng)果長(zhǎng)軸與短軸，通過(guò)二維坐標(biāo)變換的方式，得出蘋(píng)果目標(biāo)的采摘端點(diǎn)坐標(biāo)與采摘頂點(diǎn)坐標(biāo)，進(jìn)而確定蘋(píng)果采摘點(diǎn)。引入顯著性檢測(cè)技術(shù)，獲取蘋(píng)果目標(biāo)的內(nèi)在圖形結(jié)果，并在圖形中作出局部標(biāo)記。

2.2 結(jié)果分析

選取1 500 張?zhí)O果目標(biāo)RGB 圖像，按照一定的比例，隨機(jī)選取其中300 張規(guī)格為512*512 的RGB 圖像作為實(shí)驗(yàn)的測(cè)試集，對(duì)RGB 圖像進(jìn)行75 個(gè)周期的訓(xùn)練。設(shè)定采摘機(jī)械目標(biāo)識(shí)別的精確率、召回率與F1值作為本次實(shí)驗(yàn)評(píng)測(cè)的指標(biāo)。其中，精確率指的是采摘機(jī)械目標(biāo)識(shí)別正確的圖像占全部識(shí)別為正的比例，公式為：

式中：TP 表示采摘機(jī)械目標(biāo)識(shí)別為正，實(shí)際也為正的測(cè)試集圖像數(shù)量；FP 表示采摘機(jī)械目標(biāo)識(shí)別為正，實(shí)際為負(fù)的測(cè)試集圖像數(shù)量。

召回率指的是采摘機(jī)械目標(biāo)識(shí)別正確圖像數(shù)量占全部正測(cè)試集圖像數(shù)量的比例，公式為：

式中：FN 表示采摘機(jī)械目標(biāo)識(shí)別為負(fù)，實(shí)際為正的測(cè)試集圖像數(shù)量。

F1值指的是上述兩個(gè)評(píng)測(cè)指標(biāo)的調(diào)和均值，能夠同時(shí)衡量精確率與召回率，其計(jì)算公式為：

將訓(xùn)練后的測(cè)試集圖像分別應(yīng)用三種水果采摘機(jī)械目標(biāo)識(shí)別方法，通過(guò)公式（2）、（3）、（4），獲取其對(duì)應(yīng)的采摘機(jī)械目標(biāo)識(shí)別的評(píng)測(cè)指標(biāo)，并對(duì)比，如表1 所示。

表1 三種方法采摘機(jī)械目標(biāo)識(shí)別評(píng)測(cè)指標(biāo)對(duì)比 %

從表1 的評(píng)測(cè)指標(biāo)對(duì)比結(jié)果能夠看出，本文提出的基于機(jī)器視覺(jué)的類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別方法，三個(gè)評(píng)測(cè)指標(biāo)均達(dá)到了≥95.38%，明顯高于另外兩種識(shí)別方法，且具有較大的差異。由此不難看出，本文提出的類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別方法的識(shí)別精度較高，具有較強(qiáng)的泛化能力，應(yīng)用效果優(yōu)勢(shì)顯著。

3 結(jié)語(yǔ)

為了改善傳統(tǒng)水果采摘機(jī)械目標(biāo)識(shí)別方法在類(lèi)球狀水果采摘中應(yīng)用效果較差、無(wú)法精確識(shí)別采摘目標(biāo)的問(wèn)題，在傳統(tǒng)機(jī)械目標(biāo)識(shí)別方法的基礎(chǔ)上，作出了優(yōu)化設(shè)計(jì)，引入機(jī)器視覺(jué)技術(shù)，提出了一種全新的類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別方法。通過(guò)本文的研究，能夠?qū)崿F(xiàn)對(duì)類(lèi)球狀水果物理特性的分析，融合了類(lèi)球狀水果的前景特征與背景特征，有效地提高了類(lèi)球狀水果采摘機(jī)械目標(biāo)識(shí)別的精度與效率，對(duì)促進(jìn)我國(guó)現(xiàn)代農(nóng)業(yè)機(jī)械化可持續(xù)發(fā)展具有重要研究意義。