張雄楚,李景彬,姚慶旺,付 威,溫寶琴,坎 雜

(1.石河子大學(xué) 機(jī)械電氣工程學(xué)院,新疆 石河子 832000;2.新疆生產(chǎn)建設(shè)兵團(tuán)農(nóng)業(yè)機(jī)械重點(diǎn)實(shí)驗(yàn)室,新疆 石河子 832003)

0 引言

智能農(nóng)業(yè)裝備是未來(lái)農(nóng)業(yè)機(jī)械發(fā)展的必然趨勢(shì),農(nóng)業(yè)機(jī)械自動(dòng)駕駛系統(tǒng)是智能農(nóng)業(yè)裝備的重要的支撐技術(shù)之一,而視覺(jué)導(dǎo)航是農(nóng)機(jī)自動(dòng)駕駛的重要內(nèi)容之一[1]。

視覺(jué)導(dǎo)航路徑檢測(cè)是實(shí)現(xiàn)視覺(jué)導(dǎo)航的先決條件。國(guó)內(nèi)外專家學(xué)者在視覺(jué)導(dǎo)航路徑檢測(cè)方面進(jìn)行了深入的研究[2-16]。國(guó)內(nèi)的彭順正[17]針對(duì)矮值化密植棗園復(fù)雜的環(huán)境,按照樹(shù)干與地面交點(diǎn)的位置特征不同,將交點(diǎn)進(jìn)行分類,最后通過(guò)最小二乘法擬合了導(dǎo)航路線。梁習(xí)卉子[18]針對(duì)玉米收割過(guò)程中玉米列陰影、玉米田端的雜草對(duì)視覺(jué)導(dǎo)航路徑檢測(cè)精度干擾的問(wèn)題,通過(guò)在ROI區(qū)域內(nèi)增強(qiáng)G分量,弱化R分量與B分量的方法來(lái)去除玉米列陰影對(duì)檢測(cè)圖像的影響,提高導(dǎo)航路徑檢測(cè)精度。國(guó)外的Pilarski T[19]融合單目相機(jī)和GPS導(dǎo)航系統(tǒng)設(shè)計(jì)了Demeter系統(tǒng),能夠通過(guò)切割作物行及轉(zhuǎn)向切割連續(xù)行,在田地中重新定位,以及檢測(cè)意外障礙物。Benson E R[20]基于作物切割邊緣的橫向位置開(kāi)發(fā)了農(nóng)業(yè)聯(lián)合收割機(jī)機(jī)器視覺(jué)引導(dǎo)算法。

本研究通過(guò)對(duì)棉花鋪膜播種作業(yè)時(shí)期棉田環(huán)境的研究分析,設(shè)計(jì)了一套適用于棉花鋪膜播種作業(yè)拖拉機(jī)的視覺(jué)導(dǎo)航路徑檢測(cè)算法。

1 檢測(cè)導(dǎo)航路徑

1.1 圖像采集

2017年4月,在呼圖壁棉田采集作業(yè)視頻。設(shè)備為天誠(chéng)2MBQ4/8鋪膜播種機(jī);動(dòng)力設(shè)備為博馬中型拖拉機(jī),采集相機(jī)為阿斯卡利HDMI高清工業(yè)相機(jī)(640×480)。相機(jī)與地面的垂直距離為1 500mm,安裝在拖拉機(jī)配重上,其光軸與地面夾角為θ=43°。上位機(jī)是臺(tái)式機(jī)(處理器為Intel(R)Core(TM)i7,主頻為3.6GHz,內(nèi)存為8GB),Windows10 64位系統(tǒng),以Microsoft Visual Studio 2015為平臺(tái)使用OpenCv3.2.0進(jìn)行算法編寫。圖1(a)為相機(jī)安裝簡(jiǎn)圖,圖1(b)為拖拉機(jī)作業(yè)示意圖。

(a) (b)

1.作業(yè)拖拉機(jī) 2.相機(jī) 3.作業(yè)拖拉機(jī) 4.相機(jī)

5.本次作業(yè)劃行器劃線 6.棉花鋪膜播種機(jī) 7.下次作業(yè)劃行器劃線

圖1 相機(jī)安裝簡(jiǎn)圖及拖拉機(jī)作業(yè)示意圖

Fig.1 Camera installation diagram and tractor operation diagram

裝置采用氣流吹棗的方式進(jìn)行紅棗撿拾,可適應(yīng)高低不平地面,解決了機(jī)械式撿拾裝置無(wú)法撿拾高低不平地面上紅棗的問(wèn)題。由于采用氣流撿拾,撿拾裝置的傷棗率遠(yuǎn)低于機(jī)械式撿拾裝置傷棗率。由于氣吸式紅棗撿拾裝置效率較低且進(jìn)入風(fēng)管的雜質(zhì)容易堵塞吸棗管、損壞風(fēng)機(jī),對(duì)風(fēng)機(jī)性能要求高,而氣吹式撿拾裝置解決了該問(wèn)題,提高了撿拾效率。

1.2 最小方差法提取初始導(dǎo)航路徑

針對(duì)第1幀圖像,首先對(duì)圖像進(jìn)行灰度化處理;然后,提取不同掃描區(qū)間內(nèi)候補(bǔ)點(diǎn)并計(jì)算每個(gè)掃描區(qū)間內(nèi)候補(bǔ)點(diǎn)列值方差;最后,使用最小二乘法擬合方差最小掃描區(qū)間內(nèi)的候補(bǔ)點(diǎn)得到初始導(dǎo)航路徑。具體操作如下:

1)基于Y=0.299R+0.587G+0.114B顏色模型對(duì)圖像進(jìn)行灰度化處理。

2)確定掃描區(qū)間[M1,M2](直線M1=G1·i+L1與直線M2=G2·i+L2之間的區(qū)域,0≤i

3)提取不同掃描區(qū)間內(nèi)候補(bǔ)點(diǎn)并計(jì)算候補(bǔ)點(diǎn)列值方差。創(chuàng)建數(shù)組bk[],dk[]、p[]分別存儲(chǔ)不同掃描區(qū)間候補(bǔ)點(diǎn)的行標(biāo)、列標(biāo)與列值方差,以及存儲(chǔ)像素灰度值與灰度值為最小值的像素點(diǎn)位置的數(shù)組c[]與c1[]。首先,從圖像最右端向最左端掃描,所以將[M1,M2](M1=560,M2=639)作為初始掃描區(qū)間并確定將初始掃描區(qū)間向左平移k個(gè)像素作為第k個(gè)掃描區(qū)間即[M1,M2](M1=560-k,M2=639-k,0≤k≤560);然后,提取第k個(gè)掃描區(qū)間內(nèi)候補(bǔ)點(diǎn)。第1步,將第i行像素點(diǎn)的灰度值存儲(chǔ)在c[n](0≤n≤79)中,并計(jì)算c[]中的最小值為Q;第2步,遍歷c[],若c[n]=Q,則將此時(shí)的n值儲(chǔ)在數(shù)組c1[]中,圖2中,c1[0]、c1[1]、c1[2]、c4[3]為該行像素灰度值為Q的像素點(diǎn)位置;第3步,計(jì)算c1[]的平均值為W=(c1[0]+c1[1]+c1[2]+c1[3])/4,則dk[i]=W+M1,bk[i]=i,該行像素的候補(bǔ)點(diǎn)坐標(biāo)為(bk[i],dk[i]);最后,計(jì)算數(shù)組dk[]的方差為Fk,則p[0]=Fk。

4)提取初始導(dǎo)航路徑。首先,當(dāng)k>560時(shí)停止操作并尋找p[]中最小值及此時(shí)的k值;然后確定此時(shí)的掃描區(qū)間[M1,M2](M1=560-k,M2=639-k);最后,使用最小二乘法擬合該掃描區(qū)間的候補(bǔ)點(diǎn)群{(bk[i],dk[i])}得到與劃線區(qū)域位置、方向相同的直線j=S·i+J(式中S為斜率,J位截距),如圖2所示。

撿拾裝置主要由裝有避風(fēng)裝置的進(jìn)風(fēng)管和旋轉(zhuǎn)風(fēng)管組成,旋轉(zhuǎn)風(fēng)管周圍有4列氣流噴嘴,相鄰兩列氣流噴嘴間的夾角為90°,工作時(shí)與風(fēng)機(jī)、輸送裝置等配合使用。其尺寸主要參照紅棗矮化密植種植模式確定,結(jié)構(gòu)尺寸如表1所示。

1.第i行像素候補(bǔ)點(diǎn)(bk[i],dk[i]) 2.M1=560-k 3.直線j=S·i+J 4.M2=639-k 5.c1[0] 6.c1[1] 7.第i行像素候補(bǔ)點(diǎn)坐標(biāo)(bk[i],dk[i]) 8.c1[2] 9. c1[3]

variance and fit the line

1.3 第1幀圖像導(dǎo)航路徑檢測(cè)

確定劃線區(qū)域的位置與方向后,以直線j=S·i+J作為掃描區(qū)間中心,重新確定掃描區(qū)間提取候補(bǔ)點(diǎn),并使用最小二乘法擬合候補(bǔ)點(diǎn)完成導(dǎo)航路徑的檢測(cè),具體操作如下:

1)確定第1幀圖像導(dǎo)航路徑檢測(cè)的掃描區(qū)間。首先根據(jù)直線j=S·i+J能夠準(zhǔn)確描述劃線區(qū)域的方向與位置,確定該直線為掃描區(qū)間中心;然后,通過(guò)統(tǒng)計(jì)確定作業(yè)圖像中劃線區(qū)域底端像素寬度在20～35個(gè)像素之間;最后,在將劃線區(qū)域囊括的前提下,在35個(gè)像素的基礎(chǔ)上擴(kuò)展U2(本文U2=6)個(gè)像素寬度作為掃描區(qū)間的大小。確定的掃描區(qū)間[M1,M2],M1=S·i+J-U,M2=S·i+J+U;本文U=20,如圖3中所示。

2)提取候補(bǔ)點(diǎn)群。首先,創(chuàng)建數(shù)組b[]、d[]、s[]、t[]分別存儲(chǔ)當(dāng)前幀候補(bǔ)點(diǎn)的行標(biāo)、列標(biāo)與導(dǎo)航路徑的斜率、截距;然后,重復(fù)1.2節(jié)的操作提取候補(bǔ)點(diǎn)群{(b[i],d[i])}。

3)使用最小二乘法擬合導(dǎo)航路徑。此時(shí)導(dǎo)航路徑為jf=Sf·i+Jf,且s[f]=Sf,t[f]=Jf(f是當(dāng)前的幀數(shù),此時(shí)f=1),最終提取的候補(bǔ)點(diǎn)群及擬合的導(dǎo)航路徑如圖3所示。

1.M1=S·i+J-20 2.第1幀圖像導(dǎo)航路徑j(luò)1=S1·i+J1 3.候補(bǔ)點(diǎn)群 4.M2=S·i+J+20

1.4 非第1幀圖像導(dǎo)航路徑檢測(cè)

針對(duì)非第1幀圖像,采用前后幀關(guān)聯(lián)的方法確定掃描區(qū)間及平滑候補(bǔ)點(diǎn)群,并使用最小二乘法擬合導(dǎo)航路徑。

1)基于Y=0.299R+0.587G+0.114B顏色模型對(duì)圖像進(jìn)行灰度化處理。

2)確定掃描區(qū)間。該掃描區(qū)間與第1幀圖像掃描區(qū)間只是掃描區(qū)間中心不同,是以前1幀圖像導(dǎo)航路徑j(luò)f-1=s[f-1]i+t[f-1](其中,s[f-1]、t[f-1]分別為前1幀圖像導(dǎo)航路徑的斜率與截距)為掃描區(qū)間中心,左右各擴(kuò)展U(本文U=20)個(gè)像素作為掃描區(qū)間,即[M1,M2](其中,M1=s·[f-1]i+t[f-1]-U,M2=s[f-1]·i+t[f-1]+U),如圖4所示。

3)提取初始候補(bǔ)點(diǎn)群。第1步,將第i行像素點(diǎn)的灰度值存儲(chǔ)在c[]中,并計(jì)算c[p](0≤p≤40)中的最小值為Q1;第2步,遍歷數(shù)組c[],若c[p]=Q1,將p儲(chǔ)在數(shù)組c1[]中,如圖3中c1[0]、c1[1]、c1[2]、c4[3]為該行像素灰度值為Q1的像素點(diǎn)位置;第3步,計(jì)算c1[]的平均值為H=(c1[0]+c1[1]+c1[2]+c4[3])/4,中位數(shù)為Z=(c1[1]+c1[2])/2,以及前幀圖像導(dǎo)航路徑上同行像素點(diǎn)列值V(V=s[f-1] ·i+t[f-1]))與(H+M1)、(Z+M1)差值的絕對(duì)值為H1、Z1則H1=abs(s[f-1] ·i+t[f-1]-H),Z1=abs(s[f-1]·i+t[f-1]-Z);第4步,若H1Z1,此時(shí)d[i]=Z+M1,提取的候補(bǔ)點(diǎn)群為{(b[i],d[i])},如圖4所示。

1.第i行像素候補(bǔ)點(diǎn)(b[i],d[i]) 2.M1=s[f-1]·i+t[f-1]-20 3.前1幀圖像導(dǎo)航路徑j(luò)f-1=s[f-1]·i+t[f-1] 4.M2=s[f-1]·i+t[f-1]+20 5.c1[0] 6.c1[1] 7.平均值求得候補(bǔ)點(diǎn)列值H第i行像素候補(bǔ)點(diǎn)坐標(biāo)(bk[i],dk[i]) 8.中位數(shù)求得候補(bǔ)點(diǎn)列值Z9.前1幀圖像導(dǎo)航路徑第i行像素上的像素點(diǎn)列值V10.c1[2]

11.c1[3]

(a) 確定的掃描區(qū)間以及提取的初始候補(bǔ)點(diǎn)群

1.平滑后的候補(bǔ)點(diǎn)群 2.導(dǎo)航路徑j(luò)f=s[f]·i+t[f] 3.初始候補(bǔ)點(diǎn)位置d[i] 4.根據(jù)V值平滑后的候補(bǔ)點(diǎn)位置d[i] 5.前1幀圖像導(dǎo)航路徑上第i行像素上的像素點(diǎn)列值V

4)差異權(quán)重法平滑候補(bǔ)點(diǎn)群。首先,確定第i行像素候補(bǔ)點(diǎn)列值為d[i]及前1幀圖像導(dǎo)航路徑上同行像素點(diǎn)列值為V并計(jì)算二者差值絕對(duì)值為V1則V1=abs(V-d[i]);然后,根據(jù)式(1)判斷給d[i]賦值。平滑后的候補(bǔ)點(diǎn)群如圖4(b)所示。

5)使用最小二乘法擬合導(dǎo)航路徑,此時(shí)導(dǎo)航路徑的斜率為Sf,截距為Jf,且s[f]=Sf,t[f]=Jf,如圖4(b)所示。

(1)

1.5 流程圖

本研究的檢測(cè)算法流程如圖5所示。

圖5 流程圖

2 導(dǎo)航路徑檢測(cè)過(guò)程分析

2.1 第1幀圖像導(dǎo)航路徑檢測(cè)過(guò)程分析

通過(guò)對(duì)6種工況灰度化作業(yè)圖像的分析,劃線區(qū)域的灰度值比非劃線區(qū)域低,所以將灰度值最小值作為候補(bǔ)點(diǎn)提取特征。圖6是陰天、車印、劃線深工況下導(dǎo)航路徑標(biāo)定的過(guò)程。從圖6(c)中可以看出:循環(huán)掃描區(qū)間法可以準(zhǔn)確的確定初始導(dǎo)航路徑,且較為準(zhǔn)確。由圖6(b)、(c)可以看出:通過(guò)最小方差法確定的直線可以較為準(zhǔn)確的描述劃線區(qū)域的位置與方向,并且使用最小二乘法擬合以該直線為掃描區(qū)間中心所確定掃描區(qū)間內(nèi)的候補(bǔ)點(diǎn)群所得到的導(dǎo)航路徑精度高。因此,通過(guò)循環(huán)擬合的方法可以提高導(dǎo)航標(biāo)定的精度,滿足實(shí)際生產(chǎn)的要求。

(a) 第1幀圖像灰度化

(b) 提取初始導(dǎo)航路徑

(c) 提取最終導(dǎo)航路徑

2.2 非第1幀圖像導(dǎo)航路徑檢測(cè)過(guò)程分析

圖7(a)～(d)為陰天、殘膜揚(yáng)沙、劃線淺工況下導(dǎo)航路徑檢測(cè)過(guò)程,圖7(e)為使用未經(jīng)平滑的候補(bǔ)點(diǎn)群提取的導(dǎo)航路徑。通過(guò)圖7(b)、(c)中候補(bǔ)點(diǎn)群的對(duì)比可以看出:權(quán)重法平滑候補(bǔ)點(diǎn)群可以提高候補(bǔ)點(diǎn)群的離散程度。通過(guò)圖7(d)、(e)擬合的導(dǎo)航路徑對(duì)比可以看出:在出現(xiàn)揚(yáng)沙的時(shí),未經(jīng)權(quán)重法平滑處理的候補(bǔ)點(diǎn)群擬合的導(dǎo)航路徑存在偏移的現(xiàn)象,檢測(cè)精度偏低,而經(jīng)過(guò)權(quán)重法平滑后的候補(bǔ)點(diǎn)群擬合的導(dǎo)航路徑精度高且受揚(yáng)沙影響程度小。上述說(shuō)明權(quán)重法在一定程度上提高導(dǎo)航路徑的檢測(cè)精度與算法的適應(yīng)性。

(a) 灰度化

(b) 提取初始候補(bǔ)點(diǎn)群

(c) 平滑后的候補(bǔ)點(diǎn)群

(d) 擬合最終導(dǎo)航路徑

(e) 初始候補(bǔ)點(diǎn)群擬合導(dǎo)航路徑

3 試驗(yàn)結(jié)果與分析

使用6種工況的作業(yè)視頻對(duì)該算法進(jìn)行試驗(yàn),試驗(yàn)結(jié)果如表1所示。

表1 實(shí)地作業(yè)視頻試驗(yàn)驗(yàn)證結(jié)果

試驗(yàn)結(jié)果表明:該算法的實(shí)時(shí)性、適應(yīng)性、準(zhǔn)確性滿足實(shí)際作業(yè)的要求,6種工況下的檢測(cè)準(zhǔn)確率都為100%,總平均處理速度為7.020ms/幀,能夠在殘膜揚(yáng)沙噪聲的干擾下,快速準(zhǔn)確的提取導(dǎo)航路徑。

4 結(jié)論

1)6種工況作業(yè)視頻的試驗(yàn)結(jié)果表明:該算法的檢測(cè)速度、檢測(cè)精度、適應(yīng)性等皆滿足實(shí)際作業(yè)的要求,為棉花播種自動(dòng)駕駛奠定了基礎(chǔ)。

2)本算法針對(duì)第1幀圖像采用方差判別法確定目標(biāo)區(qū)域并通過(guò)循環(huán)擬合法完成導(dǎo)航校準(zhǔn);對(duì)于非第1幀圖像通過(guò)前后幀關(guān)聯(lián)的方法確定掃描區(qū)間并使用權(quán)重法平滑候補(bǔ)點(diǎn)群,最后使用最小二乘法擬合導(dǎo)航路徑。該算法可以滿足棉花鋪膜播種實(shí)際作業(yè)的要求。

3)視覺(jué)導(dǎo)航受外界環(huán)境因素影響較大,特別是沙塵天氣對(duì)導(dǎo)航路徑檢測(cè)精度的影響,如何盡量減少自然環(huán)境對(duì)路徑檢測(cè)的影響是未來(lái)研究的重點(diǎn)。