賈圓圓,買買提明·艾尼,古麗巴哈爾·托乎提
(新疆大學機械工程學院,新疆 烏魯木齊 830047)
作為現(xiàn)代智能化農業(yè)機械的重要組成部分的自動導航,被廣泛應用在農作物種植、噴灑農藥和肥料、莊稼收獲等[1]。常用的自動導航技術有機器視覺和衛(wèi)星定位(GPS),其中,基于機器視覺的導航技術具有性價比高、抗干擾性好、信息豐富完整等優(yōu)點,逐漸成為研究熱點,并在智能農業(yè)裝備和改善農業(yè)生產中起著重要作用[2]。基于機器視覺的導航技術中的關鍵是快速合理提取導航路線。
國內外針對自動導航和基于機器視覺的導航技術做了大量的研究,根據(jù)中心線、導航線提取的原理可以分為基于Hough變換的方法[3]、基于最小二乘擬合的方法[4]、基于機器視覺的方法[5]等。文獻[6]提出了一種基于線性掃描的作物行識別,將圖像中頂部和底部邊緣像素作為作物行走勢的兩個端點,目標點最多的視為作物行。文獻[7]提出基于區(qū)域生長算法對成熟小麥收割與未收割區(qū)域對比度低情況下精準提取小麥收獲邊線。文獻[8]提出基于視覺與激光結合的小麥收獲作業(yè)線的方法。
目前基于機器視覺的導航技術的研究大多集中在農作物幼苗期行列導航線的提取,針對成熟作物的收獲主要采用收割與未收割區(qū)域邊界線的提取,上述方法大多基于綠色作物與土壤信息具有較大的差異或是收割界線與周圍環(huán)境有差異時,當成熟棉花背景信息較為復雜并且無收割界線時,此類方法難以準確有效的提取棉花行列的導航線。因此,提出一種針對成熟期棉花快速準確識別并提取棉花行中心線可行算法,根據(jù)成熟期的棉田棉花分布規(guī)律和棉花行距特征數(shù)據(jù)的分析,擬合判斷棉花作物行的中心線。
圖像采集使用大華A5131MU210面陣工業(yè)相機作為機器視覺的圖像采集設備,采集圖像分辨率為(1280×1024)像素,保存格式為bmp。圖像處理在計算機平臺上完成,處理器為Intel Core i7-10710U,圖像處理軟件為MATLAB R2018a。圖像采集地點為新疆瑪納斯縣,共采集360張圖片。實驗處理圖像以10m棉田距離進行裁切,大小為(565×816)像素。圖像采集的實驗平臺,如圖1所示。
圖1 圖像采集實驗平臺Fig.1 Image Acquisition Experimental Platform
在光照較強烈條件下所拍攝成熟期的棉田圖像,如圖2 所示,可看出圖中主要包括呈白色的棉花,褐色的棉桿、干枯棕褐色的棉葉以及土壤等[9]。通過對棉田圖像進行預處理以保存棉田中成熟的白色棉花的相關信息,消除其他無用信息,將棉花信息從復雜背景信息中分離出來,主要采取的步驟包括圖像增強、對比度拉伸、高斯濾波等。
圖2 棉花圖像Fig.2 Cotton Image
在所拍攝的棉花圖像中,因中午光照較強烈,棉花由于光照位置和棉花葉子、秸稈等的遮擋導致棉花團的灰度不均勻,為了達到突出圖像中棉花部分并提高棉花識別率的目的,這里采用非線性變換中的對數(shù)變換中的反對數(shù)變換對棉花圖像進行灰度變換,處理后得到的結果,如圖3所示。灰度變換后的圖像可以看出凸顯白色的棉花區(qū)域的效果仍不夠理想,棉桿等背景信息仍存在,為了進一步擴大棉花區(qū)域與背景區(qū)域的對比度,這里采用對比度拉伸進行處理,拉伸后的圖像,如圖4所示。白色棉花區(qū)域變得更加明顯,這為后續(xù)圖像分割做好基礎,減少后期圖像分割難度。圖像在傳輸以及處理中會產生噪聲,為了消除圖片中的噪聲,這里采用了高斯濾波來消除圖像中的隨機噪聲,高斯濾波后的圖像,如圖5所示。
圖3 反對數(shù)變換Fig.3 Opposite Log Transformation
圖4 對比度拉伸Fig.4 Contrast Stretch
圖5 高斯濾波Fig.5 Gauss Filter
在強光照、復雜背景下準確有效的將棉花分割出來是采棉機視覺系統(tǒng)中關鍵的一步。由于自然環(huán)境下棉田的情況復雜,對棉花圖像的分割提取要考慮強光照引起光照不均勻影響,因此采用標記分水嶺算法對圖像進行分割。首先使用Sobel算子計算圖像的橫向和縱向的梯度,計算公式如下[10]:
式中:Gx、Gy—橫向和縱向邊緣檢測的圖像灰度值;I—原始圖像;G—總的圖像梯度。
通過重構開運算與閉運算得到圖像局部最大值作為圖像的前景標記。利用棉花圖像的距離變換得到圖像的背景標記,進行分水嶺分割得到分水嶺變換脊線圖,如圖6(a)所示。其距離變換是指每一點像素和最近的非零像素之間的距離,二值圖像包含一個連通區(qū)域S,其中,有目標O和背景B,距離為D,則距離變換的定義如下:
圖6 標記分水嶺分割法Fig.6 Marked Watershed Segmentation
式中:disf()—歐拉距離函數(shù),表示如下:
最后基于前景和背景標記修改梯度圖像進行分水嶺分割,標記分水嶺分割法對灰度圖像的二值化結果,如圖6(b)所示,其可以清晰地將目標和背景區(qū)分開來,并且濾除圖像中雜點。
本節(jié)對圖像分割后的棉田圖像進行棉花行中心線提取工作。圖像中棉花區(qū)域較多并且大小形狀不一,傳統(tǒng)方法中對每一個棉花區(qū)域提取質心[11],以質心坐標作為直線擬合的特征點。通過棉花區(qū)域的質心點坐標進行最小二乘法擬合,得到棉花行的中心線。
傳統(tǒng)質心坐標法中每個棉團區(qū)域面積為A,質心坐標的橫縱坐標px、py可用下式進行描述:
式中:pi,pj—該區(qū)域像素點的橫、縱坐標。
為提取足夠多的作物特征點,提出將分割圖像后白色區(qū)域(棉花區(qū)域)的像素坐標進行分割并作為中心線擬合特征點的思想。本節(jié)引入按識別棉花的總像素數(shù)Np和分割棉花像素的單位像素數(shù)Nup來分割質心坐標的方法,單位像素數(shù)量取1。因此像素分割總數(shù)為Nn=Np/Nup。這種方法相較于傳統(tǒng)質心法具有簡單,精度高,計算時間短等優(yōu)勢。
像素格子時的局部坐標和全局坐標的關系,如圖7所示。圖中,xp和yp分別表示全局坐標系的橫坐標和縱坐標,u和v分別表示局部坐標系的橫坐標和縱坐標,uc和vc分別表示像素分割坐標中單位像素質心的橫坐標和縱坐標。單位像素的坐標系設在局部坐標系之中,與全局坐標系之間的關系和具體算法如下。
圖7 像素坐標分割時的局部坐標和全局坐標Fig.7 Local and Global Coordinates for Pixel Coordinate Segmentation
式中:uij、vij—在i和j點局部坐標;
n、m—圖片中像素分割區(qū)的局部橫向和縱向像素數(shù)總數(shù)。
對式(6)進行展開后得下式(7):
根據(jù)像素特征,在局部坐標系有:
把式(8)帶入式(7)可得式(9)。
同理對像素分割后的質心局部縱坐標可描述如下式(10)。
由于像素格子間距在局部坐標系還是全局坐標系縱向和橫向尺度都是相等,因此像素坐標與像素格子之間可建立:
式中φp—單個像素格子尺寸;I,J—全局坐標位置,帶入式(10)和式(11)得像素坐標分割后的局部質心坐標:
像素坐標分割后的全局質心坐標為:
式(11)和式(12)帶入式(13)并整理后得:
由式(14)可以看出,像素分割后的質心全局坐標與局部坐標相關。因此,本研究對每一個像素作為一個坐標分割并用最小二乘法嚙合進行棉花行識別。
實驗選取了六組不同時間拍攝的圖像,圖像所拍攝的時間分別為北京時間11:30、12:30、13:30、14:30、17:30、19:30。傳統(tǒng)質心法、像素坐標分割法擬合中心線提取得到的實驗結果,如圖8所示。兩種算法的檢測結果與人工標定的棉花行基準線進行比較,一種實線表示棉花行走向的定位基準線,一種實線代表傳統(tǒng)質心法擬合棉花行走向中心線,另一種實線代表像素分割法擬合棉花行走向中心線。兩種算法在不同時間的光照情況下擬合棉花行走向中心線的檢測結果,如表1所示。
表1 不同光照情況下棉花行擬合中心線檢測結果Tab.1 Testing Results of Cotton Line Fitting Centerline under Different Illumination Conditions
圖8 傳統(tǒng)質心法和像素分割法棉花行走向中心線檢測結果Fig.8 Detection Result of Cotton Moving Toward Center Line by Centroid Method and Pixel Coordinate Segmentation Method
通過圖8實驗結果表明,在實時性方面,實驗拍攝棉花行的距離為10m,在表1擬合中心線檢測結果所示,質心法的平均消耗時間為16.93s,像素分割法的計算消耗時間為0.635s。在準確性方面,如表1所示。傳統(tǒng)質心實驗所擬合的棉花行線與人工設定的棉花基準行線的偏差角度最大為5.8°、最小2.2°、平均4.23°,像素分割法最大偏差角度為3.6°、最小為0.2°、平均2.13°,說明兩種算法擬合的棉花行線都能較好的代表棉花行的走向,但是像素分割法的棉花行的準確率比質心法高一倍,計算速度快26倍。
利用所提算法與傳統(tǒng)質心法分別對拍攝時間為11:30,12:30,17:30的種植稀疏的棉花圖像做棉花行中心線檢測與擬合,稀疏的棉花圖像的傳統(tǒng)質心法、像素分割法擬合中心線對比結果,如圖9所示。(一種實線表示棉花行走向的定位基準線,一種實線代表傳統(tǒng)質心法擬合棉花行走向中心線,另一種實線代表像素分割法擬合棉花行走向中心線)。
圖9 稀疏棉花的質心法、像素分割法擬合中心線檢測結果Fig.9 Test Results of Centroid Fitting Centerline and Pixel Method for Sparse Cotton
由圖9可以看出質心法和像素法在不同光照下棉花種植稀疏的地方同樣能夠檢測出棉花行的中心線。種植稀疏中心線檢測結果,如表2所示。可以得出的質心擬合中心線與基準線的平均偏差為3.06°,像素分割法的平均偏差角度為0.8°,質心法平均所消耗的時間為16.73s,像素分割法平均所消耗的時間為0.636s。這說明,像素分割法對作物行檢測的效果更好,檢測直線的誤差更小,有較高的檢測精度,消耗時間短,更適合采棉機實時作業(yè)。
表2 種植稀疏中心線檢測結果Tab.2 Testing Results of Sparse Centerline Planting
(1)利用灰度變換、對比度拉伸、高斯濾波等方法對棉花圖像進行預處理,并采用標記分水嶺分割法對圖像進行分割,去除圖像中雜點,完整保留圖像中棉花信息。
(2)所提出像素分割法將棉花區(qū)域所有像素點作為特征點,并使用最小二乘法來擬合特征點,最終得出棉花行中心線。像素分割法在不同光照情況下、棉花種植稀疏與稠密情況下都可以有效的擬合出棉花行走向的中心線,并且像素坐標分割法計算精度比傳統(tǒng)質心法高、計算所需時間短,更適合于采棉機進行實時識別棉花行和導航作業(yè)。