許洪振,王明明,陳海錦,劉姣娣

(桂林理工大學(xué)機(jī)械與控制工程學(xué)院,廣西 桂林 541006)

甘蔗是我國主要的制糖作物,已成為廣西最大戰(zhàn)略經(jīng)濟(jì)作物和農(nóng)民增收的主要經(jīng)濟(jì)來源。甘蔗種植業(yè)能否健康發(fā)展,直接影響廣大蔗民增收與糖產(chǎn)業(yè)的可持續(xù)發(fā)展[1]。甘蔗種植的機(jī)械化和智能化是甘蔗產(chǎn)業(yè)的發(fā)展趨勢,甘蔗種植農(nóng)藝要求蔗種蔗芽水平朝向種溝兩側(cè)溝壁進(jìn)行定向播種[2-4],蔗種蔗芽高效識別和位姿定向調(diào)整是實現(xiàn)蔗種定向播種的前提。

隨著視覺檢測技術(shù)在農(nóng)業(yè)機(jī)械領(lǐng)域的廣泛應(yīng)用,農(nóng)作物的識別與定向方法成為研究熱點(diǎn)。李廣偉等[5]針對育種用玉米種子切片取樣過程中玉米種子自動定向問題,采用計算機(jī)視覺與姿態(tài)調(diào)整裝置相結(jié)合,形態(tài)識別準(zhǔn)確率97.8%,姿態(tài)識別準(zhǔn)確率99.8%,識別速度1.3 s/幅;龍樟等[6]提出一種基于圖像處理的自然場景下茶葉嫩芽視覺識別與采摘點(diǎn)定位方法;尚志軍等[7]利用機(jī)器視覺技術(shù)設(shè)計枳殼自動調(diào)向系統(tǒng),并提出枳殼調(diào)整識別算法;LI Y H等[8]基于機(jī)器視覺對蒜瓣進(jìn)行定位識別;史方青等[9]針對多視角和不同程度重疊的馬鈴薯芽眼圖像,基于卷積神經(jīng)網(wǎng)絡(luò)對馬鈴薯芽眼進(jìn)行快速準(zhǔn)確識別;石昌友等[10]采用視覺技術(shù)對不同種類甘蔗莖節(jié)進(jìn)行識別,解決了不同種類甘蔗由于其表面多樣性和復(fù)雜性導(dǎo)致莖節(jié)難識別的問題;黃亦其[11]、張圓圓等[12]為解決蔗種切種刀傷芽的問題,基于機(jī)器視覺對甘蔗的莖節(jié)進(jìn)行識別;李尚平等[13]通過改進(jìn)YOLOv3網(wǎng)絡(luò)模型,莖節(jié)識別準(zhǔn)確率達(dá)96.89%,平均識別時間28.7 ms。以上研究的開展為視覺識別檢測在農(nóng)業(yè)領(lǐng)域中的應(yīng)用提供了參考依據(jù),但目前針對甘蔗視覺檢測研究集中在識別甘蔗莖節(jié),未見蔗芽位姿識別與蔗種定向方面的研究文獻(xiàn)。

本文根據(jù)蔗種蔗芽水平朝向種溝兩側(cè)溝壁的播種農(nóng)藝要求,基于蔗芽顏色、位置及形態(tài)特征參數(shù)統(tǒng)計分析基礎(chǔ)上,設(shè)計基于視覺檢測技術(shù)的蔗芽識別和位姿調(diào)整系統(tǒng),并分析蔗芽位置及形態(tài)特征,根據(jù)特征信息與蔗芽姿態(tài)的空間位置關(guān)系,建立蔗種位姿模型,確定蔗芽實時位置姿態(tài),實現(xiàn)蔗種位姿調(diào)整。

1 試驗材料與方法

1.1 試驗材料

以取自廣西桂林國家農(nóng)業(yè)科技園區(qū)的優(yōu)質(zhì)蔗種“桂糖44號”為試驗對象,人工選取單芽段蔗種樣本80個。

1.2 試驗方法

試驗技術(shù)路線如圖1所示,對蔗種圖像預(yù)處理,提取蔗芽顏色、位置及形狀特征參數(shù),確定蔗芽空間姿態(tài),計算蔗芽姿態(tài)調(diào)整值,調(diào)整蔗芽位姿到理想姿態(tài),達(dá)到蔗種種植定向要求。

搭建蔗種圖像采集試驗臺如圖2所示,主要由相機(jī)、計算機(jī)及光源等組成。CMOS工業(yè)相機(jī)采用維視智造MV-HS510GC相機(jī)與BT-23C0814MP5工業(yè)鏡頭,500萬像素,拍攝高度設(shè)為300 mm,固定在臺架頂部;計算機(jī)采用惠普電腦,處理器3.60 GHz,內(nèi)存8 GB;光源采用2根19 W的LED高亮條形燈管,呈45°擺放。

1—計算機(jī);2—CMOS工業(yè)相機(jī);3—光源;4—蔗種樣本圖2 蔗種圖像采集試驗臺

2 蔗芽位置特征提取與定位

2.1 圖像預(yù)處理

經(jīng)過圖像采集、二值化處理、蔗芽邊界提取、蔗芽輪廓填充,從圖像預(yù)處理后的蔗芽輪廓包圍的二值圖像中提取蔗芽形態(tài)和位姿特征。

由于獲取圖像時不可避免地受到外部因素干擾,圖像中會出現(xiàn)一定量噪聲,且蔗種本身有不均勻蠟粉,均會干擾蔗芽特征的提取。因此,使用中值濾波算法對圖像進(jìn)行處理,可消除外界噪聲干擾,同時保留比較完整的蔗芽顏色信息,中值濾波后圖像噪聲明顯降低,且圖像更平滑,有效保留了圖像的邊緣輪廓信息,如圖3所示。

圖3 中值濾波效果

數(shù)字圖像以RGB格式作為計算機(jī)常用存儲格式,在該格式下圖像被分成R、G、B 3個通道,若同時處理3個通道包含的圖像信息,計算量大且過程復(fù)雜。圖像灰度化處理能夠有效去除圖像顏色特征信息,且保留圖像輪廓信息的完整性,提高圖像處理效率,因此,為提高圖像質(zhì)量及蔗芽區(qū)域的可辨識度,利用灰度變換算法對蔗種圖像進(jìn)行增強(qiáng)處理,灰度化效果如圖4a所示。

圖4 灰度化效果

圖像的灰度值主要集中在50～185之間,圖像比較模糊,灰度直方圖(圖4b)顯示:將灰度值50～185均勻分布在0～255,圖像會更清晰?；叶茸儞Q原理過程如式(1)所示,對原始灰度圖像進(jìn)行處理,為達(dá)到最佳圖像增強(qiáng)效果,將像素點(diǎn)小于50的灰度值賦值為0,大于185的灰度值賦值為255,處理結(jié)果如圖5所示。

圖5 灰度變換算法增強(qiáng)效果

(1)

公式簡化得到y(tǒng)和x的關(guān)系如下:

(2)

式(2)中x表示像素點(diǎn)位于50～185之間的灰度值,y表示像素點(diǎn)位于0～255之間的灰度值。

2.2 蔗種邊緣輪廓提取

由于圖像中蔗種區(qū)域與背景之間的分界清晰,為獲取甘蔗的輪廓特征,去除圖像中孤立像素點(diǎn)和圖像輪廓邊緣的毛刺噪聲,對閾值分割后的圖像進(jìn)行形態(tài)學(xué)處理,結(jié)果如圖6a所示。利用Canny邊緣檢測算法對形態(tài)學(xué)處理后的蔗種圖像進(jìn)行提取,得到蔗種邊緣輪廓,如圖6b所示。

圖6 蔗種形狀特征提取

蔗種邊緣中心點(diǎn)集近似為直線,引入最小二乘法的線性擬合方法提高蔗種輪廓提取的準(zhǔn)確性。

蔗種邊緣線直線方程由2個參數(shù)表示,即

y=a0+a1x,

(3)

式(3)中的兩個待定參數(shù)均可通過最小二乘法擬合邊緣檢測后的輪廓離散點(diǎn)來確定,即通過計算二值圖像中邊緣點(diǎn)到理想擬合直線距離的最小平方和,由最小二乘法線性擬合原理得:

(4)

式(4)中:N為Canny邊緣圖像中輪廓點(diǎn)的總數(shù),(xi,yi)為第i個待擬合的輪廓坐標(biāo)。

為使目標(biāo)函數(shù)f值最小,將各系數(shù)偏導(dǎo)數(shù)置為零,利用高斯消元法求解直線方程各系數(shù)。采用式(5)求解直線參數(shù)中斜率a1和截距a0,邊緣直線擬合結(jié)果如圖7所示。

圖7 邊緣輪廓提取與擬合

(5)

2.3 蔗芽位置特征提取與定位

為獲取蔗芽位置信息,需要對灰度變換增強(qiáng)處理后的圖像作進(jìn)一步處理,基于Otsu閾值分割獲取灰度圖像閾值,對圖像進(jìn)行二值分割,初步提取蔗芽區(qū)域如圖8a所示。

圖8 蔗芽位置特征提取流程

為有效保留蔗種特征信息,采用相同次數(shù)腐蝕和膨脹形態(tài)學(xué)算法對圖像進(jìn)行處理,選擇3×3的橢圓形結(jié)構(gòu)元素,形態(tài)學(xué)處理效果如圖8b所示。為確定蔗芽在圖像中的準(zhǔn)確位置,將蔗芽面積中心點(diǎn)定義為蔗芽在圖像中的位置,面積中心點(diǎn)即為蔗芽區(qū)域質(zhì)心,即單位面積質(zhì)量不變的同一形狀圖形的質(zhì)心。記m×n維蔗種圖像為I(x,y),其中蔗芽區(qū)域設(shè)為目標(biāo)A,背景區(qū)域設(shè)為B,則有:

(6)

目標(biāo)的質(zhì)心坐標(biāo)(x0,y0)定義如下:

(7)

根據(jù)幾何圖形在二值圖像中的描述方法,采用質(zhì)心搜索算法求出蔗芽質(zhì)心E′(xo,yo),提取質(zhì)心坐標(biāo)如圖8c所示。

3 蔗芽位姿調(diào)整

3.1 蔗芽位姿模型

蔗芽質(zhì)心坐標(biāo)確定后,構(gòu)建蔗種空間位姿模型。建立像素平面坐標(biāo)系X1O1Y1,以成像平面左上角為坐標(biāo)原點(diǎn),如圖9所示。

圖9 蔗芽位姿模型

圖9中E為蔗芽的質(zhì)心點(diǎn),E′為蔗芽區(qū)域在成像面上的質(zhì)心點(diǎn),Oc為光軸所在的中心點(diǎn);為簡化計算模型,將蔗種段近似成圓柱體,以蔗種圓柱體所在軸線和工業(yè)相機(jī)光軸的交點(diǎn)為原點(diǎn)建立世界坐標(biāo)系O2X2Y2Z2,α1為O2E與軸線Z2之間的夾角,E1為蔗芽質(zhì)心E在平面X2O2Y2上的投影。為進(jìn)一步對蔗芽位姿進(jìn)行描述,在平面X2O2Y2內(nèi),規(guī)定O2E1位于第一、二象限時,α1為O2E與軸線Z2之間的正夾角;規(guī)定O2E1位于第三、四象限時,α2為O2E與軸線Z2之間的負(fù)夾角。在以O(shè)2X2Y2Z2成像平面與相機(jī)光軸交點(diǎn)為原點(diǎn)的空間坐標(biāo)系O3X3Y3Z3建立“蔗種位姿空間模型”,蔗種段圓柱體的底面半徑R由式(8)算出,其中E″為蔗芽質(zhì)心點(diǎn),由式(9)得出蔗芽質(zhì)心點(diǎn)三維坐標(biāo)。

(8)

式(8)中dl1l2表示蔗種輪廓擬合邊緣線l1、l2之間距離;αl1、αl2表示蔗種輪廓擬合邊緣線l1、l2的截距。

(9)

式(9)中(xc,yc)為蔗芽質(zhì)心點(diǎn)在成像平面坐標(biāo)系的像素坐標(biāo);(x0,y0)為空間坐標(biāo)系原點(diǎn)O3在成像平面坐標(biāo)系上的像素坐標(biāo);(xE,yE,yE)為蔗芽質(zhì)心點(diǎn)E′′在空間坐標(biāo)系O3X3Y3Z3上的三維坐標(biāo)。

定義蔗芽空間位姿為α(α1,α2),在補(bǔ)償透鏡成像畸變的情況下,成像平面上物體大小與原物體成正比例關(guān)系。因此,可用蔗種成像空間模型中的位姿表示空間坐標(biāo)系O3X3Y3Z3下的蔗芽位姿α,在蔗種成像空間模型中的α(α1,α2)可依據(jù)式(10)計算出。

(10)

3.2 蔗芽位姿調(diào)整方案設(shè)計

蔗種由輸送機(jī)構(gòu)輸送到取種區(qū),機(jī)械手經(jīng)步進(jìn)電機(jī)驅(qū)動下降取種并提升蔗種至圖像采集位;相機(jī)采集實時蔗種圖像,經(jīng)對蔗種圖像邊緣提取、蔗芽識別、蔗芽位置特征提取與定位,計算出蔗芽所需調(diào)整角度;控制器接收調(diào)向信號,控制電機(jī)驅(qū)動機(jī)械手夾持蔗種繞蔗種軸線旋轉(zhuǎn)調(diào)向,實現(xiàn)蔗種定向。當(dāng)蔗芽位于蔗種段下表面時,相機(jī)無法拍攝到蔗芽,試驗通過機(jī)械手夾持蔗種段繞蔗種軸線轉(zhuǎn)動180°/次,即可完成整個蔗種表面的拍攝,但由于蔗種段與機(jī)械手旋轉(zhuǎn)軸線并非嚴(yán)格對稱,會造成蔗芽誤判現(xiàn)象。試驗確定旋轉(zhuǎn)角度為120°,設(shè)計蔗芽位姿調(diào)整方案如圖10所示。

圖10 蔗芽位姿調(diào)整方案設(shè)計

通過提取采集圖像的特征參數(shù)信息,獲得蔗芽實時空間位姿α(α1,α2)。定向調(diào)整蔗芽位姿有以下兩種情況:

(1)α2≥0,圖像中蔗芽質(zhì)心點(diǎn)在X2O2Y2平面的第一、二象限,蔗種段依次繞光軸線正向旋轉(zhuǎn)α2、繞蔗種軸線正向旋轉(zhuǎn)α1,完成蔗種定向調(diào)整。

(2)α2<0,蔗芽質(zhì)心點(diǎn)在X2O2Y2平面的第三、四象限,蔗種段依次繞光軸線正向旋轉(zhuǎn)α2、繞蔗種軸線反向旋轉(zhuǎn)α1,完成蔗種定向調(diào)整。

4 試驗驗證與對比分析

為驗證蔗芽位姿識別與定向方法的可行性及測試樣本的通用性,選取直徑范圍25～35 mm的80根不同直徑的優(yōu)質(zhì)蔗種段作為測試樣本。將蔗種位姿定向調(diào)整后,作蔗芽質(zhì)心點(diǎn)與蔗種軸線的垂線,該垂線與水平線之間的夾角β定義為定向誤差角,定向誤差角大小反映位姿調(diào)整后實際蔗芽位姿與理想蔗芽位姿的偏差。定向誤差分布結(jié)果(圖11)顯示:74個蔗種測試樣本捕捉到蔗芽位姿特征,蔗芽位姿識別準(zhǔn)確率為93.75%,其中定位誤差角β最大值為15.8°。

圖11 定向誤差分布

在蔗芽定向位姿調(diào)整過程中,以蔗芽質(zhì)心作為定向調(diào)整參考對象,忽略蔗芽的實際大小和實際轉(zhuǎn)向操作中會產(chǎn)生角度誤差。為此提出蔗芽定向允許誤差γ作為蔗芽定向調(diào)整的評判指標(biāo),以蔗芽投影寬度d1與蔗種莖節(jié)直徑d2的比值確定定向允許誤差γ:

(11)

當(dāng)γ為24°、定向誤差角β≤12°時,蔗種定向成功[4]。本文試驗結(jié)果表明蔗種位姿定向成功率為94.5%。為檢驗本文方法的優(yōu)越性,在相同樣本條件下使用經(jīng)典LeNet-5網(wǎng)絡(luò)模型對蔗芽識別定向作對比,訓(xùn)練迭代次數(shù)為200,學(xué)習(xí)率為5,對80根蔗種測試樣本進(jìn)行試驗驗證,其中蔗芽定向成功率為92%?？梢?本文方法將定向成功率提升了2.5%,且其方法比卷積神經(jīng)網(wǎng)絡(luò)更簡單,能夠?qū)崿F(xiàn)蔗種自動定向,定向后蔗種滿足蔗芽水平朝向種溝溝壁的農(nóng)藝要求。

5 結(jié)論

(1)本文面向蔗種定向種植裝備的實際需求,運(yùn)用機(jī)器視覺和定向調(diào)整裝置相結(jié)合的方法實現(xiàn)對蔗種定向,提出了蔗芽識別檢測和位姿特征捕獲算法;通過形態(tài)學(xué)圖像處理算法和Otsu閾值分割算法識別和提取蔗芽完整輪廓,基于Canny邊緣檢測算法和最小二乘法的線性擬合方法提取蔗種邊緣輪廓,根據(jù)蔗芽位置與形狀特征參數(shù),構(gòu)建蔗種空間位姿模型,并計算出蔗芽位姿角α,以便位姿調(diào)整裝置將蔗芽調(diào)整到理想水平姿態(tài)。

(2)選取80個預(yù)切蔗種段進(jìn)行試驗驗證,試驗結(jié)果表明本文提出的蔗芽識別系統(tǒng)和位姿調(diào)整方法滿足蔗種定向種植精度要求,蔗芽位姿識別成功率93.75%。提出以蔗芽定向誤差角作為蔗芽定向調(diào)整的評判指標(biāo),經(jīng)過定向位姿調(diào)整后,定向成功率94.5%,試驗結(jié)果表明該定向方案滿足蔗種定向要求。因此,本研究可為蔗種機(jī)械化定向播種提供解決方案,并為甘蔗種植機(jī)的自動定向裝置設(shè)計提供參考。