摘要：傳統(tǒng)播種均勻性變異系數(shù)的測量需人工定位和計數(shù)，耗時耗力，效率較低。為提高播種均勻性變異系數(shù)測定的速度和精度，研究利用實時點云重建技術(shù)實現(xiàn)播種均勻性變異系數(shù)的自動測量。首先通過深度相機獲取種子圖像和環(huán)境稠密點云信息；接著進行圖像分割，計算種子形心的圖像坐標(biāo)；然后再從實時點云信息中篩選出種子的三維坐標(biāo)；最后將該三維坐標(biāo)轉(zhuǎn)換至初始坐標(biāo)系，并向水平面投影，進而根據(jù)投影結(jié)果實現(xiàn)播種均勻性變異系數(shù)的測定。試驗結(jié)果表明，所提出的方法與人工測量相比，在水平方向的平均定位誤差分別為2.08 mm和2.443 mm，單次測量耗時小于0.5 s，播種均勻性變異系數(shù)誤差為0.4%。

關(guān)鍵詞：實時點云；播種機；播種均勻性；變異系數(shù)；深度相機

中圖分類號：S223.2； S512" " " 文獻標(biāo)識碼：A" " " 文章編號：2095?5553 （2024） 10?0223?06

Measurement method of variation coefficient of seeding uniformity based on

real?time point cloud reconstruction

Wang Chaozhu1， Yang Haoyong1， Wu Xiaoqian2， Ding Yongqian2， Tian Guangzhao3

（1. Jiangsu Agricultural Machinery Testing Station， Nanjing， 210017， China;

2. College of Artificial Intelligence， Nanjing Agricultural University， Nanjing， 210031， China;

3. College of Engineering， Nanjing Agricultural University， Nanjing， 210031， China）

Abstract： The measurement of the coefficient of variation of traditional sowing uniformity requires manual positioning and counting， which is time?consuming， labor?intensive， and inefficient. In order to improve the speed and accuracy of measuring the coefficient of variation of sowing uniformity， the automatic measurement of the coefficient of variation of sowing uniformity using real?time point cloud reconstruction technology was studied." Firstly， the seed images and environmental dense point cloud information are obtained through a depth camera. Then， image segmentation is performed to calculate the image coordinates of the seed centroid. Then， the three?dimensional coordinates of the seed are filtered out from the real?time point cloud information. Finally， they are transformed into the initial coordinate system and projected onto a water plane. Based on the projection results， the measurement of the coefficient of variation of sowing uniformity is achieved. The experimental results show that compared with manual measurement， the proposed method has average positioning errors of 2.08 mm and 2.443 mm in the horizontal direction， with a single measurement time of less than 0.5 s， and an error of 0.4% in the coefficient of variation of sowing uniformity.

Keywords： real?time point cloud; seeder; sowing uniformity; variation coefficient; depth camera

0 引言

播種是糧食生產(chǎn)的重要環(huán)節(jié)，播種質(zhì)量的好壞決定著糧食產(chǎn)量，但播種機工作時由于機械振動，不可避免出現(xiàn)漏播、重播等情況，嚴(yán)重影響播種質(zhì)量[1]。因此，研制高質(zhì)量的播種機對提高作物產(chǎn)量有著重要意義。如何快速和準(zhǔn)確地檢測播種機具的性能則是研制高質(zhì)量播種機的關(guān)鍵環(huán)節(jié)[2]，而播種均勻性是衡量播種機性能與質(zhì)量的重要指標(biāo)之一。當(dāng)前農(nóng)機鑒定部門對播種變異系數(shù)的測定多是依靠人工拿尺子在土壤中測量種子位置和分布，再根據(jù)測量結(jié)果進行變異系數(shù)的計算。該方法會耗費大量人力物力，還無法保證測量速度和精度，滿足不了現(xiàn)代農(nóng)業(yè)高效和智能化的要求。

20世紀(jì)40年代起，國外開始有學(xué)者開展播種監(jiān)測研究。目前已知的播種均勻性測定技術(shù)，根據(jù)其對種子的感知方式可以分為：光電效應(yīng)法、壓電效應(yīng)法、電容傳感法、機器視覺檢測方法等[3]。前3種方法主要是通過檢測種子下落的運動過程，判斷種子的重播、漏播和變異系數(shù)等[4]。其中光電傳感器具有結(jié)構(gòu)簡單、成本低廉等優(yōu)勢，但易受灰塵影響，壓電傳感器雖在灰塵、振動環(huán)境下更加穩(wěn)定，但需要與種子接觸改變落種軌跡，電容傳感器則因自身阻抗問題，運用范圍受限。因此，目前光電檢測法還是使用較為廣泛的檢測方法之一[5?7]。

隨著計算機視覺技術(shù)的發(fā)展，高速攝像技術(shù)開始逐步代替人工檢測播種均勻性。Yazgi等[8]采用高速攝像技術(shù)對排種過程種子的運動軌跡及排種均勻性進行研究，從而為優(yōu)化排種器參數(shù)設(shè)計提供可靠理論依據(jù)。Karayel等[9]利用高速攝像系統(tǒng)對播種機的種子間距和種子種粒速度進行測量，通過對系統(tǒng)采集的排種信息進行處理獲得排種器排種均勻性參數(shù)。李偉[10]采用三臺面陣CCD攝像機聯(lián)合采集種子信息，實現(xiàn)了對多類型播種機具播種精度的檢測。雷福寶[11]基于線陣CCD實時處理技術(shù)設(shè)計了一種精密播種檢測試驗系統(tǒng)，該系統(tǒng)可以對玉米種子分布情況進行實時動態(tài)采集。

除了高速攝像技術(shù)的應(yīng)用研究，利用機器視覺進行均勻性檢測的算法研究也不在少數(shù)。蔡曉華等[12]提出了一種預(yù)處理動態(tài)閾值方法，通過選取最佳閾值和種子分布樣本進行種子粒距的實時測量。張海娜等[13]將經(jīng)過大津法二值化分割后的圖像進行一系列圖像處理，得到種子陣列寬度、種子陣列間隔、陣列中心、非種子間隔的信息，基于這些信息計算出播種均勻性。而雙目相機的出現(xiàn)，則使得利用圖像處理和雙目立體視覺技術(shù)實現(xiàn)小麥種子的定位成為一種可行的方案。雙目立體測距技術(shù)僅僅通過二維圖像就能識別出目標(biāo)物體的位置信息，其在三維場景重建[14]、目標(biāo)識別與測距[15， 16]上已經(jīng)有了廣泛應(yīng)用。

本文通過深度相機同時采集小麥種子的圖像和實時點云信息，通過圖像處理算法提取種子在二維圖像中的坐標(biāo)后，再從實時環(huán)境點云信息中篩選出種子的三維坐標(biāo)，最后將該三維坐標(biāo)轉(zhuǎn)換至初始坐標(biāo)系，并向水平面投影，進而根據(jù)投影結(jié)果計算播種均勻性變異系數(shù)。

1 材料與方法

1.1 試驗臺搭建

1.1.1 圖像采集設(shè)備

采用ZED 2深度相機，如圖1所示。該相機為RGB-D深度相機，能夠同時輸出RGB圖和實時點云圖。同時該相機內(nèi)置100 Hz的IMU慣性測量單元，可以輸出三軸角度和角加速度，方便進行坐標(biāo)變換。

1.1.2 場景搭建

為了盡可能還原播種機鑒定時的場景，搭建模擬檢測環(huán)境。在地面鋪設(shè)12 mm長的黑色絨布，既可以濾除雜亂的背景，又可以用來防止種子落地反彈，模擬種子落入土壤的效果。絨布正上方架設(shè)四通道播種機，機器工作一個行程，使種子全部落于絨布上。由于拍攝角度會直接影響圖像的畸變程度，通常拍攝時的相機偏角越大，采集到的圖像畸變就會越明顯[17]。為了減少相機畸變對圖像處理的影響，將雙目相機以豎直向下，垂直于播種機前進方向的角度采集數(shù)據(jù)。

1.2 圖像處理算法

小麥種子圖像在采集后，由于圖像中僅有種子和黑色絨毛背景兩種物體，因此圖片預(yù)處理相對簡單，但能明顯發(fā)現(xiàn)黑色絨毛布在光線作用下會反光，因此在進行背景分割時需考慮去除反光帶來的干擾。完成背景分割后提取小麥種子輪廓，通過計算質(zhì)心得到種子在圖像中的二維坐標(biāo)，然后再根據(jù)此二維坐標(biāo)從實時環(huán)境點云信息中篩選出種子的三維坐標(biāo)W。該坐標(biāo)系為相機坐標(biāo)系，原點在左相機光心，從左相機光心指向右相機光心的連線為x軸正方向，按照右手規(guī)則將x軸在成像面內(nèi)順時針旋轉(zhuǎn)90°為y軸正方向，拇指方向即為z軸正方向。

由于安裝精度原因，相機不可能完全垂直于地面。因此需要結(jié)合IMU的三軸姿態(tài)數(shù)據(jù)（航向角h、俯仰角p、翻滾角r）對種子的空間坐標(biāo)進行矯正。通過相機姿態(tài)參數(shù)，對W矩陣進行旋轉(zhuǎn)，使各點坐標(biāo)回到初始坐標(biāo)系下，得到W'矩陣。初始坐標(biāo)系的定義：原點在左相機光心，航向角與當(dāng)前方向一致、俯仰角和翻滾角均為0°，水平向右為x'軸正方向，按照右手規(guī)則，垂直向下為y'軸，拇指方向為z'軸。

[W'=R-1WT]

[R=r11r12r13r21r22r23r31r32r33]

[r11=coshcosr]

[r12=coshsinr]

[r13=-sinh]

[r21=-cospsinr+sinpsinhcosr]

[r22=cospcosr+sinpsinhsinr]

[r23=sinpcosh]

[r31=sinpsinr+cospsinhcosr]

[r32=-sinpcosr+cospsinhsinr]

[r33=cospcosh]

根據(jù)最新發(fā)布的DG/T027—2019《農(nóng)業(yè)機械推廣鑒定大綱》[18]播種變異系數(shù)的測量要求，需要統(tǒng)計種子在地平面空間上的分布。因此需要將W'矩陣中的坐標(biāo)向x'Oz'平面（地平面）投影。

1.3 播種均勻性變異系數(shù)計算

在x'Oz'平面上劃定3個矩形小區(qū)，每個小區(qū)在橫向上需要包含6行種子，縱向尺寸為400 mm。小區(qū)內(nèi)每行種子再劃出兩個矩形區(qū)段，區(qū)段橫向尺寸為300 mm，縱向尺寸為100 mm。

由于每粒種子在x'Oz'平面的投影坐標(biāo)已知，即可確定每粒種子是否在劃定小區(qū)的內(nèi)部。通過計算機自動計算各小區(qū)每區(qū)段的種子數(shù)量xi以及各小區(qū)每區(qū)段種子的平均數(shù)量Xi（i表示小區(qū)編號，取值1～3），那么播種均勻性變異系數(shù)

[V=118i=118（xi-13i=13Xi）213i=13Xi×100%]

算法流程和變異系數(shù)區(qū)段劃分示意圖分別如圖2、圖3所示。

2 試驗結(jié)果與分析

2.1 圖像分割

本試驗采集的圖像是分辨率1 080 P的RGB圖，圖像處理算法部分采用OpenCV庫進行實現(xiàn)，編程語言采用Python。為了成功提取小麥種子在圖像中的二維像素點坐標(biāo)，需先對圖像進行閾值分割處理。

閾值分割處理一般看作是對灰度圖像的二值化處理[19]，因此在進行閾值分割處理前需先將RGB圖轉(zhuǎn)成灰度圖。在圖像分割中，閾值的選取對分割結(jié)果有很大的影響，如何獲得最優(yōu)的閾值是實現(xiàn)閾值分割的關(guān)鍵[20]。本文對比了固定閾值分割和最大類間方差法（Otsu），如圖4所示。兩種方法均能達到預(yù)想分割效果，但固定閾值分割效果的好壞取決于人為給定閾值，而最大類間方差法則可以根據(jù)圖像的灰度直方圖找到最佳閾值。

2.2 小麥種子標(biāo)記

為了提取出小麥種子的二維坐標(biāo)，需要將小麥種子的輪廓繪制出來。在此之前，先使用findContours（）函數(shù)找出圖像中的連通域并計算各個連通域的面積。小麥種子大小基本相似，因此可以基于面積特征設(shè)置一個閾值，濾除圖片中由于光線不均等原因造成的干擾項。經(jīng)過降噪處理后，計算圖片中剩余連通域的質(zhì)心，并對連通域進行標(biāo)記，如圖5所示，該算法沒有出現(xiàn)漏檢、多檢等情況。最后，通過計算小麥種子的質(zhì)心確定其在圖像中的二維坐標(biāo)，即像素特征點。

2.3 小麥種子定位

三維點云相比于二維圖像能夠更加全面真實的反映物體的空間位置和姿態(tài)，目前已廣泛應(yīng)用于物體特征識別、位姿表達、尺寸測量等場景中[21]。但通過相機硬件計算得到的實時點云中包含了種子和其他環(huán)境信息，且由于點云數(shù)據(jù)無序且離散，無法從中直接獲取目標(biāo)位置信息，因此需融合信息豐富的二維圖像。在提取到種子的像素特征點后，便能從無序的點云數(shù)據(jù)中匹配出目標(biāo)的三維坐標(biāo)。并對其進行三維重建，用三維繪圖軟件將種子分布情況繪制出來，通過多個視角觀察其分布均勻性，如圖6所示。

2.4 坐標(biāo)矯正并向地平面投影

得到種子在相機坐標(biāo)系下的三維坐標(biāo)后，通過矩陣旋轉(zhuǎn)變換，使其恢復(fù)到初始坐標(biāo)系下，進而向地平面投影。

當(dāng)旋轉(zhuǎn)矩陣[R=" " 0.999 80.019 40" " " " "-0.014 20.731 2-0.682 0-0.013 20.681 9" " 0.731 4]時，投影效果如圖7所示。

為了驗證算法的速度和準(zhǔn)確性，設(shè)計了10組試驗，對單粒種子分別用本文算法和人工測量的實際坐標(biāo)進行對比，同時記錄算法處理時間，試驗結(jié)果如表1所示。該算法在x'軸方向平均誤差為2.08 mm，z'軸方向為2.443 mm，單次處理時間均在0.5 s以內(nèi)，相比較人工測量，大大提升了處理速度。

2.5 均勻性變異系數(shù)測量

為了能夠自動計算變異系數(shù)，本文通過Python語言開發(fā)了相關(guān)軟件，并采用PyQt組件設(shè)計了GUI，方便與用戶的實時交互，軟件界面如圖8所示。

在前文精準(zhǔn)定位的基礎(chǔ)上，進行變異系數(shù)的測量，并與人工測量進行對比。并且在8次試驗過程中，故意動態(tài)改變播種電機的轉(zhuǎn)速，使得變異系數(shù)存在明顯差異。進而檢驗本文的自動測量結(jié)果與人工測量結(jié)果是否存在一致性。通過對試驗結(jié)果的分析（圖9），本文的自動測量結(jié)果與人工測量存在明顯一致性，變異系數(shù)平均誤差為0.4%。

3 結(jié)論

1） 提出在播種均勻性檢測中，運用黑色絨布法，讓播種機將種子播在黑色絨毛布上，降低圖像背景復(fù)雜度，且使種子既不發(fā)生彈跳也不被污染。

2） 深度相機同時采集小麥種子的圖像和實時點云信息，通過圖像處理算法提取種子在二維圖像中的坐標(biāo)后，再從實時環(huán)境點云信息中篩選出種子的三維坐標(biāo)，然后變換至初始坐標(biāo)系下并進行水平面投影。該算法在x軸和z軸上的平均定位誤差分別為2.08 mm和2.443 mm，單次處理時間不超過0.5 s，具有較高的定位精度和測量效率。

3） 設(shè)計人機交互界面，對比軟件自動測量結(jié)果和人工測量，變異系數(shù)平均誤差為0.4%，證明所提出的播種均勻性變異系數(shù)測量方法可以實現(xiàn)實時測量，為播種機性能自動化鑒定奠定了技術(shù)基礎(chǔ)。

參 考 文 獻

[ 1 ] 李潤濤， 王憲良， 姚艷春， 等. 播種機智能檢測技術(shù)研究[J]. 中國農(nóng)機化學(xué)報， 2022， 43（5）： 93-101.

Li Runtao， Wang Xianliang， Yao Yanchun， et al. Research on intelligent detection technology of seed planter [J]. Journal of Chinese Agricultural Mechanization， 2022， 43（5）： 93-101.

[ 2 ] 鄭送軍. 精密播種機排種器自動監(jiān)測系統(tǒng)研究[D]. 咸陽： 西北農(nóng)林科技大學(xué)， 2007.

[ 3 ] 丁幼春， 王凱陽， 劉曉東， 等. 中小粒徑種子播種檢測技術(shù)研究進展[J]. 農(nóng)業(yè)工程學(xué)報， 2021， 37（8）： 30-41.

Ding Youchun， Wang Kaiyang， Liu Xiaodong， et al. Research progress of seeding detection technology for medium and small?size seeds [J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（8）： 30-41.

[ 4 ] 王在滿， 裴娟， 何杰， 等. 水稻精量穴直播機播量監(jiān)測系統(tǒng)研制[J]. 農(nóng)業(yè)工程學(xué)報， 2020， 36（10）： 9-16.

Wang Zaiman， Pei Juan， He Jie， et al. Development of the sowing rate monitoring system for precision rice hill?drop drilling machine [J]. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（10）： 9-16.

[ 5 ] 陳書法， 馮博， 蘆新春， 等. 智能電控精量播種技術(shù)研究現(xiàn)狀及展望[J]. 中國農(nóng)機化學(xué)報， 2022， 43（12）： 5-12.

Chen Shufa， Feng Bo， Lu Xinchun， et al. Research progress and prospect of intelligent electronic control precision seeding technology [J]. Journal of Chinese Agricultural Mechanization， 2022， 43（12）： 5-12.

[ 6 ] Yang T， Li X， Sun X， et al. An embedded capacitive sensor for in?situ angular detection of micromotor [J]. Microelectronics Journal， 2021， 114： 105088.

[ 7 ] 趙博， 樊學(xué)謙， 周利明， 等. 氣流輸送播種機壓電式流量傳感器設(shè)計與試驗[J]. 農(nóng)業(yè)機械學(xué)報， 2020， 51（8）： 55-61.

Zhao Bo， Fan Xueqian， Zhou Liming， et al. Design and test of piezoelectric flow sensor for pneumatic seeder [J]. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（8）： 55-61.

[ 8 ] Yazgi A， Degirmencioglu A. Optimisation of the seed spacing uniformity performance of a vacuum?type precision seeder using response surface methodology [J]. Biosystems engineering， 2007， 97（3）： 347-356.

[ 9 ] Karayel D， Wiesehoff M， ?zmerzi A， et al. Laboratory measurement of seed drill seed spacing and velocity of fall of seeds using high?speed camera system [J]. Computers and Electronics in Agriculture， 2006， 50（2）： 89-96.

[10] 李偉. 基于計算機視覺的播種精度檢測技術(shù)研究[D]. 北京： 中國農(nóng)業(yè)大學(xué)， 2004.

Li Wei. Study on seeding accuracy test technology based on computer vision [D]. Beijing： China Agricultural University， 2004.

[11] 雷福寶. 基于線陣CCD的玉米播種均勻性在線檢測技術(shù)研究[D]. 保定： 河北農(nóng)業(yè)大學(xué)， 2011.

Lei Fubao. Study on technology of on?line detection for uniformity in corn planting based on line CCD [D]. Baoding： Hebei Agricultural University， 2011.

[12] 蔡曉華， 吳澤全， 劉俊杰， 等. 基于計算機視覺的排種粒距實時檢測系統(tǒng)[J]. 農(nóng)業(yè)機械學(xué)報， 2005， 36（8）： 41-44.

Cai Xiaohua， Wu Zequan， Liu Junjie， et al. Grain distance real?time checking and measuring system based on computer vision [J]. Transaction of the Chinese Society for Agriculture Machinery， 2005， 36（8）： 41-44.

[13] 張海娜， 馬玉芳. 基于圖像處理的機器播種參數(shù)檢測方法研究[J]. 測控技術(shù)， 2015， 34（2）： 44-47.

Zhang Haina， Ma Yufang. Research on performance testing method of machine sowing based on image processing [J]. Measurement and Control Technology， 2015， 34（2）： 44-47.

[14] 殷悅， 張慧春， 鄭加強. 基于雙目立體視覺的植物三維重建系統(tǒng)[J]. 中國農(nóng)機化學(xué)報， 2021， 42（3）： 129-135.

Yin Yue， Zhang Huichun， Zheng Jiaqiang. Three dimensional reconstruction system of plant based on binocular stereo vision [J]. Journal of Chinese Agricultural Mechanization， 2021， 42（3）： 129-135

[15] 林中豪， 高曉陽， 邵世祿， 等. 葡萄園田間機器人雙目測距系統(tǒng)設(shè)計[J]. 中國農(nóng)機化學(xué)報， 2019， 40（4）： 179-183.

Lin Zhonghao， Gao Xiaoyang， Shao Shilu， et al. Design of the binocular ranging system in vineyard robot [J]. Journal of Chinese Agricultural Mechanization， 2019， 40（4）： 179-183.

[16] 王亮， 翟志強， 朱忠祥， 等. 基于深度圖像和神經(jīng)網(wǎng)絡(luò)的拖拉機識別與定位方法[J]. 農(nóng)業(yè)機械學(xué)報， 2020， 51（S2）： 554-560.

Wang Liang， Zhai Zhiqiang， Zhu Zhongxiang， et al. Tractor identification and positioning method based on depth image and neural network [J]. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S2）： 554-560.

[17] 張勇， 高延峰， 張華. 基于雙目視覺的船艙格子間角焊縫路徑識別[J]. 焊接， 2022（7）： 21-27.

Zhang Yong， Gao Yanfeng， Zhang Hua. Path recognition of grid fillet welds in ship cabin based on binocular vision [J]. Welding amp; Joining， 2022（7）： 21-27.

[18] DG/T 027—2019， 農(nóng)業(yè)機械推廣鑒定大綱——旋耕播種機[S].

[19] Chen Jianneng， Zhou Binsong， Jia Jiangming， et al. Design and parameters optimization of root cutting tool based on garlic numerical simulation model [J]. Journal of Food Process Engineering， 2021， 44（3）： 13753.

[20] 閆寧. 基于機器視覺的小麥種粒品種檢測分選裝置研制及方法研究[D]. 太原： 中北大學(xué)， 2022.

Yan Ning. Development and method research of wheat seed and grain variety detection and sorting device based on machine vision [D]. Taiyuan： North University of China， 2022.

[21] 殷宗琨， 江明， 柏受軍， 等. 基于2D預(yù)處理的點云分割和測量研究[J]. 電子測量與儀器學(xué)報， 2022， 36（9）： 53-63.

Yin Zongkun， Jiang Ming， Bai Shoujun， et al. Research on point cloud segmentation and measurement based on 2D preprocessing [J]. Journal of Electronic Measurement and Instrumentation， 2022， 36（9）： 53-63.