楊 剛，雷軍波，劉成良，陶建峰

?

基于線結(jié)構(gòu)光源和機器視覺的高精度谷物測產(chǎn)系統(tǒng)研制

楊 剛，雷軍波※，劉成良，陶建峰

（上海交通大學(xué)機械與動力工程學(xué)院，上海 200240）

針對精準農(nóng)業(yè)中谷物產(chǎn)量信息的高精度獲取需求，設(shè)計了基于計算機視覺的谷物測產(chǎn)系統(tǒng)，由工業(yè)相機、線結(jié)構(gòu)光發(fā)生器、電感式接近開關(guān)和工控機等組成。提出了基于線結(jié)構(gòu)光的谷堆厚度測量方法，根據(jù)所建立的谷物幾何模型計算出谷堆的體積，并采用電感式接近開關(guān)克服了傳統(tǒng)光電式谷物測產(chǎn)系統(tǒng)存在的誤觸發(fā)問題。同時，研究了不同轉(zhuǎn)速下結(jié)構(gòu)光測量誤差，建立了基于轉(zhuǎn)速的線結(jié)構(gòu)光測量修正模型，使得測量誤差從1.1%減小為0.33%。在室內(nèi)臺架上進行了測產(chǎn)試驗，試驗結(jié)果表明，未使用線結(jié)構(gòu)光修正模型的最大測產(chǎn)誤差為12.73%，在使用了線結(jié)構(gòu)光測量修正模型之后，相對測產(chǎn)誤差在4.27%以內(nèi)，該研究可為谷物測產(chǎn)研究提供理論依據(jù)。

監(jiān)測；系統(tǒng)；機器視覺；谷物; 產(chǎn)量傳感器；精準農(nóng)業(yè)；圖像處理

0 引 言

谷物測產(chǎn)系統(tǒng)是實現(xiàn)精準農(nóng)業(yè)的關(guān)鍵技術(shù)之一，是實施農(nóng)業(yè)精細管理的基礎(chǔ)[1-2]。目前，國外谷物測產(chǎn)系統(tǒng)技術(shù)成熟，市場上已有商品化的測產(chǎn)系統(tǒng)出現(xiàn)[3-5]。與之相比國內(nèi)谷物測產(chǎn)技術(shù)仍存在較大差距。因此，國內(nèi)相關(guān)高校和企業(yè)紛紛開展了谷物測產(chǎn)系統(tǒng)的相關(guān)研究。

根據(jù)測量原理的不同，谷物測產(chǎn)裝置主要有質(zhì)量流式和體積流式2種[6]。質(zhì)量流式有沖量式、γ射線式和稱重式3種[7-8]。沖量式傳感器具有價格便宜、安裝方便等優(yōu)點，然而其精度易受到機器振動的影響。陳樹人等[9]通過在升運器出口處安裝導(dǎo)流板，傳感器輸出電壓信號值平均提高30%左右，從而提高了測產(chǎn)精度。周俊等[10-14]在雙孔平行梁沖量傳感器信號處理上采用了彈性消除振動方法，提高了傳感器抵抗振動干擾的能力，田間測產(chǎn)誤差約為10%。胡均萬等[15-17]設(shè)計了雙板沖量式谷物流量傳感器及其差分電路，消除了車身振動對測產(chǎn)精度的影響，田間測產(chǎn)誤差約為5%。射線式傳感器能夠結(jié)合谷物線速度測出谷物的實時質(zhì)量流，具有較高的測量精度。然而，射線對人體有害，其發(fā)展受到了較大的限制[18-19]。張小超等[20-21]設(shè)計了基于稱重原理的螺旋推進稱重裝置，室內(nèi)測產(chǎn)試驗誤差小于2%。然而，稱重式傳感器裝置結(jié)構(gòu)十分復(fù)雜，難以實現(xiàn)產(chǎn)業(yè)化。

體積流式主要有基于對射式光電傳感器和漫反射式光電傳感器2種，具有精度高且結(jié)構(gòu)簡單等優(yōu)勢，因而得到了高校和企業(yè)的廣泛關(guān)注。王要武等[22]使用對射式光電傳感器測量谷物的厚度，根據(jù)谷物在刮板上谷物體積模型計算出谷物的體積，試驗中體積測產(chǎn)誤差小于3%，但沒有考慮到升運器轉(zhuǎn)速變化的情況，且實際測產(chǎn)過程中刮板上的掉落谷物會引起傳感器誤觸發(fā)，使得測量精度下降。付興蘭等[23-24]采用漫反射式光電開關(guān)測算脈沖信號寬度，使用編碼器實時測量升運器轉(zhuǎn)速，可以相對準確得到谷物的厚度，田間測產(chǎn)誤差約為3.5%。安曉飛等[25]在處理漫反射式傳感器數(shù)據(jù)時提出了雙閾值動態(tài)濾波處理方法，使得數(shù)據(jù)平滑度提高，變異系數(shù)降低，測產(chǎn)誤差約為3.5%，但仍存在誤觸發(fā)問題。

因此，為解決光電式測產(chǎn)系統(tǒng)誤觸發(fā)問題，該文設(shè)計了基于線結(jié)構(gòu)光源和機器視覺的谷物結(jié)構(gòu)光測產(chǎn)系統(tǒng)，采用電感式接近開關(guān)代替光電開關(guān)，可以準確觸發(fā)相機進行拍照，有效避免了由于掉落谷物引起的誤觸發(fā)問題。使用基于最近鄰的圖像去噪算法有效去除了圖像噪點。通過修正的結(jié)構(gòu)光測量模型精確地測量谷物厚度，根據(jù)容重和谷物體積模型計算出谷物質(zhì)量。最后，基于自行設(shè)計的試驗臺對系統(tǒng)的準確性和穩(wěn)定性進行驗證。

1 谷物測產(chǎn)系統(tǒng)設(shè)計

基于圖像處理的谷物測產(chǎn)系統(tǒng)結(jié)構(gòu)如圖1所示，主要由工業(yè)相機（型號為大恒MER-131-210U3X）、線結(jié)構(gòu)光發(fā)生器（型號為FU650AB-GD16）、電感式接近開關(guān)（型號為PML1816-N，PNP型）和工控機（型號為Intel NUC7i5BNK，圖中未畫出）組成?？紤]到需要測量谷物堆積的厚度，將結(jié)構(gòu)光發(fā)生器與相機置于同一高度，如圖1a所示?？紤]到相機前方窗口尺寸、相機與刮板距離以及相機的視角限制，經(jīng)過調(diào)整發(fā)現(xiàn)，結(jié)構(gòu)光發(fā)生器和相機之間的距離在30～40 mm之間最佳。由于在使用過程中，需要調(diào)整接近開關(guān)的位置以獲得位置居中的圖像，將接近開關(guān)安裝裝置設(shè)計成可調(diào)整的結(jié)構(gòu)，以便調(diào)整接近開關(guān)在豎直方向的位置，如圖1b所示。線結(jié)構(gòu)光發(fā)生器安裝位置如圖1c所示，測產(chǎn)傳感器安裝位置如圖1d所示。在實際測量時，傳感器和接近開關(guān)分別安裝在升運器兩側(cè)。

1. 工業(yè)相機 2. 線結(jié)構(gòu)光發(fā)生器 3. 接近開關(guān)4. 鏈輪 5.鏈條 6. 升運器 7. 谷物 8. 線結(jié)構(gòu)光發(fā)生器安裝位置 9. 刮板 10. 相機和線結(jié)構(gòu)光發(fā)生器

1. Industrial camera 2. Linear structured light generator 3. Proximity switch 4. Chainwheel 5. Chain 6. Elevator 7. Grain 8. Installing position of linear structured light generator 9. Scrapper 10. Camera and structured light generator.

注：表示線結(jié)構(gòu)光發(fā)生器與升運器外側(cè)的距離，mm；為2刮板之間的距離，mm；為升運器與水平面的夾角，(°)。

Note:is the distance between the structured light generator and the outer edge of the elevator, mm;is the distance between two scrappers, mm;is the angle between the elevator and the horizon, (°).

圖1 測產(chǎn)傳感器的組成及安裝圖

Fig.1 Composition of yield sensor and its installing diagram

2 谷物測產(chǎn)系統(tǒng)工作原理

2.1 谷物堆積體積計量模型

聯(lián)合收割機上目前已廣泛應(yīng)用的輸糧裝置主要有螺旋式、刮板式、斗式和拋扔式4種。本文研究的測產(chǎn)系統(tǒng)主要針對刮板式輸糧裝置，因此對刮板尺寸和刮板上谷物堆積體積模型進行介紹。通過試驗觀察發(fā)現(xiàn)，谷物在刮板上的形狀如圖2a所示，刮板平面尺寸圖如圖2b所示。

注:L、B和H分別表示刮板的長，寬和厚度，mm； m和n分別表示刮板上鏈條區(qū)域的長度與寬度，mm；x表示刮板厚度和結(jié)構(gòu)光發(fā)生器處谷物厚度之和。

令表示刮板厚度和結(jié)構(gòu)光發(fā)生器安裝處谷物厚度之和，以下簡稱谷物厚度。刮板上谷物的瞬時體積可以表示為

式中1表示刮板體積（包括鏈條部分）與谷物中規(guī)則長方體體積之和，m3；2表示谷物上方楔形的體積（包括鏈條部分），m3；3表示刮板體積，m3；4表示鏈條部分所占的體積，m3；可分別計算如下：

將（2）代入（1）并整理可得：

式中為與谷堆形狀有關(guān)的斷面模量[24]，理論分析中為刮板的實際面積，即有：

式中0為與、、、、相關(guān)的常數(shù)項。由此可知，此時刮板上谷物的體積與谷物厚度成線性關(guān)系。因此可以通過對谷物厚度進行測量即可得到刮板上的谷物體積。最終可以計算得到刮板上谷物的質(zhì)量為

式中表示第次采樣，為谷物容重，kg/m3；m為刮板上的谷物質(zhì)量，kg。由每一時刻刮板上谷物質(zhì)量可求出谷物的累計產(chǎn)量為

式中M為谷物累計產(chǎn)量，kg。為了獲得準確的模型參數(shù)，需要通過試驗來標定出各參數(shù)，以得到谷物產(chǎn)量和谷物厚度的關(guān)系式。

假設(shè)每個時刻測得的割寬為b（m），收割機的行駛速度為v（m/s），獲取數(shù)據(jù)的間隔時間為Δ（s）。可以算出產(chǎn)量為

式中表示產(chǎn)量，kg/hm2。

2.2 線結(jié)構(gòu)光測量原理

利用相機進行工業(yè)測量屬于計算機視覺技術(shù)的應(yīng)用[26-27]。計算機視覺是利用相機的二維圖像來構(gòu)建三維世界的研究，結(jié)構(gòu)光測量技術(shù)是一種主動立體視覺測量技術(shù)[28]。若使用單目相機，通常只能獲取被拍攝物體的二維信息，為了得到刮板上谷堆的三維信息，從而測量出刮板上谷物厚度，本傳感器采取了線結(jié)構(gòu)光測量技術(shù)，線結(jié)構(gòu)光測量原理如圖3a所示。

注：P為被測量物體結(jié)構(gòu)光光條上的任意一點；P￠為P的像點；P0和P1分別為被測量物體上的最高點和最低點；P￠0和P￠1分別為P0和P1的像點；UOV表示相機的像素坐標系；XO￠Y表示圖像坐標系；XcOcYc表示相機坐標系。

線結(jié)構(gòu)光發(fā)生器和相機構(gòu)成結(jié)構(gòu)光傳感器的主要部件。一般來說，測量過程包含3個步驟:

1）標定，包括相機內(nèi)參和光平面方程的標定。

2）線結(jié)構(gòu)光發(fā)射器將光束投射到被測量物體表面，使用相機采集結(jié)構(gòu)光條紋圖像。

3）提取結(jié)構(gòu)光條紋中心，并計算特征點的三維坐標。

假設(shè)相機內(nèi)參矩陣為

根據(jù)小孔成像模型，可得相機坐標系下特征點(x,y,z)與其對應(yīng)的像素坐標(,)之間的關(guān)系為

可得約束條件:

進一步假設(shè)結(jié)構(gòu)光平面在相機坐標系下（、、、為參數(shù)）的方程為:

由式（10）、（11）可得特征點在相機坐標系下的三維坐標為

如圖3b所示，記谷物光條上的最高點和最低點分別為0和1，根據(jù)（12）可計算出0和1的坐標，由圖1中相機的安裝方式可知，相機主軸垂直于升運器外表面，且圖像平面坐標系的軸垂直于刮板平面，因此可以計算出谷物厚度為

在標定試驗完成的基礎(chǔ)上，將測出的谷物厚度代入到式（5），即可算出當(dāng)前刮板上的谷物重量，根據(jù)式（6）、（7）即可算出谷物產(chǎn)量。

3 谷物測產(chǎn)系統(tǒng)工作流程

谷物測產(chǎn)系統(tǒng)的總體檢測流程如圖4a所示。相機拍攝刮板上谷堆的圖像，首先需要準確對刮板進行定位。當(dāng)刮板經(jīng)過接近開關(guān)時，接近開關(guān)將觸發(fā)相機實時記錄刮板上谷堆的圖像，并傳輸?shù)焦た貦C進行處理，輸出產(chǎn)量數(shù)據(jù)。工控機對圖像的處理流程如圖4b所示，首先需要去除圖像中的背景，升運器內(nèi)部圖像背景比較固定，通過掩模預(yù)處理去除大部分的無關(guān)部分。

由于升運器內(nèi)部為半封閉環(huán)境，光照情況很差，本傳感器中的線結(jié)構(gòu)光發(fā)生器在進行三維測量的同時充當(dāng)了光源，若不使用結(jié)構(gòu)光發(fā)生器，由單個相機獲取的圖片通常無法計算出被測物體三維信息，且圖片為黑色，無法分辨谷物和刮板。在不使用線結(jié)構(gòu)光發(fā)生器的情況下，補光之后拍攝的升運器內(nèi)部圖片如圖5a所示。在實際的刮板上谷物的照片如圖5b所示（為了便于觀看，圖像已做反色處理，下同）。先進行背景去除操作，再進行二值化操作，結(jié)果如圖5c所示?？梢妶D中右上方的孤立的黑色區(qū)域即為噪點（已用圓圈圈出），這些噪點是從刮板和升運器縫隙之間落下的谷?；蛘呓斩挘枰ゲ拍苡嬎愎任锏暮穸?，否則將造成較大的誤差。本文使用基于最近鄰的噪點去除算法[29]，可以有效去除圖像中的噪點。觀察刮板上谷物的圖像發(fā)現(xiàn)，由散落谷物引起的圖像噪點多集中在圖像的右上方部分，因此每次在進行處理的時候，只需要將圖像的右上方設(shè)為ROI區(qū)域，這樣可以大大縮短處理時間。通常噪點的外接圓半徑較小，因此對半徑做一個限制，以免誤處理，本文中將半徑閾值設(shè)為30。噪點去除之后的結(jié)果如圖5d所示。接下來對光條進行搜索可以找到光條上的最高點和最低點（已用圓圈圈出）。

圖4 測產(chǎn)傳感器的總體工作流程

a. 未使用線結(jié)構(gòu)光時的圖像 a. Image without using linear structured lightb. 使用線結(jié)構(gòu)光時的圖像 b. Original image using linear structured light c. 預(yù)處理之后的圖 c. Image after preprocessingd. 去除噪點之后的圖像 d. Image after denoising

4 試驗與結(jié)果分析

4.1 試驗設(shè)備及試驗過程

試驗在自主設(shè)計的谷物流量試驗臺上進行，試驗臺位于上海交通大學(xué)機械與動力工程學(xué)院實驗室，試驗時間為2019年1月5日，試驗臺如圖6所示。試驗臺主要由伺服電機（型號為臺達ASD-B2- 1521，功率為1.5 kW）、升運器、重量傳感器（型號為ZNHM-III，量程為0～50 kg）以及稱重糧筒組成，主要測試在正常工作情況下谷物測產(chǎn)系統(tǒng)的穩(wěn)定性與精度。試驗時，糧食從入口處進入，入口處可以通過調(diào)節(jié)開口大小控制糧食的喂入快慢，糧食在攪龍和刮板的帶動下從升運器口流出到稱重糧箱，安裝在升運器上的傳感器將監(jiān)測糧食產(chǎn)量，同時在稱重糧箱下方布置了重量傳感器，實時監(jiān)測實際產(chǎn)量，以測試系統(tǒng)的測量精度。

為了能得到實時的數(shù)據(jù)，基于Qt平臺，使用C++語言為試驗臺開發(fā)了測試軟件，軟件界面如圖6c所示。軟件采用RS232串口通訊，采樣周期為100 ms，可以實現(xiàn)實時顯示谷物產(chǎn)量、升運器轉(zhuǎn)速，控制升運器轉(zhuǎn)速，進行基本參數(shù)設(shè)置和數(shù)據(jù)存儲的功能。

圖6 試驗臺及測試軟件

4.2 刮板厚度測量試驗

4.2.1 相機標定和結(jié)構(gòu)光參數(shù)標定

為獲得相機的內(nèi)參矩陣和結(jié)構(gòu)光平面方程，需對相機和結(jié)構(gòu)光平面在相機坐標系下的方程進行標定，分別采用Zhang的平面靶標標定法[30]和基于三點透視模型的標定方法[31]。標定后的相機內(nèi)參矩陣和結(jié)構(gòu)光平面方程分別為

式中x表示線結(jié)構(gòu)光平面方程是在相機坐標系下位置。

4.2.2 刮板厚度測量數(shù)據(jù)

為測試結(jié)構(gòu)光測量谷物厚度的準確性和穩(wěn)定性，制作了2個谷堆模型，厚度分別為21.8和33.4 mm，并在不同的轉(zhuǎn)速度下進行測量。采用和刮板材質(zhì)相同的橡膠，使用3M膠固定在刮板上運轉(zhuǎn)，以模擬不同的谷物厚度?？紤]到聯(lián)合收割機在收割谷物過程中會經(jīng)歷啟動、掉頭、停車和卸糧等過程，升運器速度會出現(xiàn)較大的變化。例如在正常收割的時候升運器轉(zhuǎn)速為200～500 r/min，在啟動和卸糧完成的時候轉(zhuǎn)速為0。因此控制升運器速度為60、180、300、420和540 r/min 5個轉(zhuǎn)速水平，每個轉(zhuǎn)速下進行5次重復(fù)試驗，分別記錄刮板厚度（即空載時）和其他厚度的測量數(shù)據(jù)。

對刮板圖像預(yù)處理完成之后，首先需要提取結(jié)構(gòu)光光條的中心，再搜索光條上的最高點0和最低點1，根據(jù)（13）和（14）的標定結(jié)果和式（11）計算出0和1在相機坐標系下的三維坐標。再根據(jù)式（13）計算出刮板的厚度。表1為刮板厚度測量試驗數(shù)據(jù)，刮板空載時的實際厚度為10 mm，在刮板上放上谷堆模型之后的厚度分別為21.8和33.4 mm。

由表1未修正的谷堆模型厚度測量數(shù)據(jù)可以看出整體測量誤差介于0到1.1%之間，且轉(zhuǎn)速越大，誤差越大。通過查看實際刮板圖像發(fā)現(xiàn)，隨著轉(zhuǎn)速的增加，刮板上的結(jié)構(gòu)光光條長度越長，對應(yīng)的刮板厚度測量值也會偏大，造成這個現(xiàn)象的主要原因是：本試驗采用的是CMOS相機，而CMOS相機通常采用滾動快門，在曝光時使用的是逐行曝光的方式。當(dāng)刮板經(jīng)過接近開關(guān)時，接近開關(guān)產(chǎn)生觸發(fā)信號，相機從接收到觸發(fā)信號開始曝光到曝光結(jié)束需要一定的時間。在曝光的過程中，由于刮板及刮板上的谷物仍在運動，因此會造成結(jié)構(gòu)光圖像產(chǎn)生拉長畸變，且這種畸變會隨著刮板的轉(zhuǎn)速越快而越大。在實際使用相機測量的時候應(yīng)考慮到被測物體的運動，因此需對式（13）計算出的谷物厚度進行修正?？紤]到實際測量的結(jié)果與速度相關(guān)，且隨著結(jié)果的增大，測量結(jié)果均偏大，提出修正公式如下：

式中Δ()為修正量，與刮板轉(zhuǎn)速相關(guān)，x表示修正后的厚度測量值。對刮板空載時厚度測量誤差與轉(zhuǎn)速之間的最小二乘擬合，得到兩者之間的關(guān)系為

對刮板空載時厚度測量誤差與轉(zhuǎn)速之間的最小二乘擬合如圖7所示。進一步計算得到線性相關(guān)系數(shù)為0.988 9，這表明測量誤差與速度之間存在很高的線性相關(guān)性。

采用修正之后的模型，對不同厚度進行測量的誤差最大為0.33%，相比較未修正之前的1.1%有了較大的提高。

4.3 室內(nèi)臺架測產(chǎn)試驗

升運器轉(zhuǎn)速較低時，谷物會在升運器底部積聚過多而引起攪龍堵轉(zhuǎn)。因此在實際收割的時候，聯(lián)合收割機升運器的轉(zhuǎn)速一般較高，通常在100 r/min以上。因此為測試系統(tǒng)在不同的轉(zhuǎn)速下的測產(chǎn)精度，選擇120、240、360和480 r/min 4個轉(zhuǎn)速水平在試驗臺上進行試驗，每個轉(zhuǎn)速下重復(fù)試驗5次，取平均測產(chǎn)結(jié)果。使用接近開關(guān)檢測刮板是否經(jīng)過指定位置，觸發(fā)相機進行拍照，傳輸?shù)焦た貦C進行處理。工控機在圖像處理過程中采用基于最近鄰的圖像去噪算法對圖像進行處理，再根據(jù)結(jié)構(gòu)光測量方法計算出谷物厚度的精確值，由式（5）計算出刮板上谷物的質(zhì)量，根據(jù)式（6）計算出谷物累計產(chǎn)量，最后根據(jù)式（7）可得到產(chǎn)量。為驗證修正的結(jié)構(gòu)光測量方法的效果，進行了測產(chǎn)對比試驗，同時記錄未使用修正方法和使用修正方法的測量數(shù)據(jù)，試驗結(jié)果如表2所示。由表2數(shù)據(jù)可知：在轉(zhuǎn)速為120、240、360和480 r/min 4個轉(zhuǎn)速下，未使用修正方法的谷物測產(chǎn)誤差介于-0.59%和12.73%之間，使用修正方法的谷物測產(chǎn)誤差介于-3.5%和4.27%之間，表明使用修正方法的測產(chǎn)系統(tǒng)在不同轉(zhuǎn)速下均具有較高的檢測精度。

表1 刮板厚度測量試驗數(shù)據(jù)

圖7 刮板厚度測量誤差與升運器轉(zhuǎn)速最小二乘擬合曲線

表2 測產(chǎn)試驗數(shù)據(jù)表

4.4 討 論

通過試驗結(jié)果可知，未作修正之前的測產(chǎn)誤差超過了10%，修正之后的誤差只有4.27%，這說明影響本測產(chǎn)系統(tǒng)的主要因素為刮板上谷物厚度的測量精度。試驗中發(fā)現(xiàn)，圖像噪點處理的不完全有可能造成谷物厚度測量值偏大，從而導(dǎo)致谷物質(zhì)量測量值偏大，需要進一步提高噪點處理算法的穩(wěn)定性來消除這一影響。由于刮板與升運器之間有縫隙，會有少部分谷粒受到振動影響從縫隙之間掉落，導(dǎo)致實際測量結(jié)果偏小，這是由于升運器內(nèi)部結(jié)構(gòu)引起的，可通過將傳感器安裝在離出口較近的位置來減小這一影響。若使用光電式傳感器，掉落的谷粒會造成傳感器的誤觸發(fā)，因而造成傳感器出現(xiàn)測量誤差，測產(chǎn)誤差通常超過10%，且誤差波動較大。由于容重是事先測定的，刮板上谷物的容重有可能不等于測量容重，結(jié)果是產(chǎn)量測量值與產(chǎn)量實際值之間相差一個比例系數(shù)，但這一影響在標定之后會消除。

5 結(jié) 論

本文使用接近開關(guān)檢測刮板的運動，觸發(fā)相機進行拍照，使用基于最近鄰的噪點去除算法進行圖像處理，使用修正的線結(jié)構(gòu)光測量模型得到精確的谷堆厚度，根據(jù)谷物幾何模型和容重計算出谷物的質(zhì)量。根據(jù)上述方案的傳感器在自主設(shè)計的試驗臺上分別在120、240、360、480 r/min 4個轉(zhuǎn)速下進行了測產(chǎn)試驗，使用修正方法的測產(chǎn)誤差介于–3.50%和4.27%之間，表明傳感器具有較高的檢測精度，滿足實際測產(chǎn)需要。

[1] Reyns P, Missotten B, Ramon H. et al. A review of combine sensors for precision farming[J]. Precision Agriculture, 2002, 3(2):169－182.

[2] 汪懋華. “精細農(nóng)業(yè)”發(fā)展與工程技術(shù)創(chuàng)新[J]. 農(nóng)業(yè)工程學(xué)報，1999，15(1)：1?8. Wang Maohua. Development of precision agriculture and innovation of engineering technologies[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 1999, 15(1): 1－8. (in Chinese with English abstract)

[3] Koichi Shoji, Munenori Miyamoto. Improving the accuracy of estimating grain weight by discriminating each grain impact on the yield sensor[J]. Precision Agriculture, 2014, 15(1): 31－43.

[4] Burks T F, Shearer S A, Fulton J P, et al. Effects of time- varying inflow rates on combine yield monitor accuracy[J]. Applied Engineering in Agriculture, 2004, 20(3): 269－275.

[5] Fulton P, Sobolik J, Shearer A, et al. Grain yield monitor flow sensor accuracy for simulated varying field slopes[J]. Applied Engineering in Agriculture, 2009, 25(1): 44－48.

[6] 馬朝興，李耀明，徐立章. 聯(lián)合收割機谷物流量傳感器的現(xiàn)狀與分析[J]. 農(nóng)機化研究，2008(7)：74－76. Ma Chaoxing, Li Yaoming, Xu Lizhang. Present status and analysis of grain flow sensor of combine harvester[J]. Journal of Agricultural Mechanization Research, 2008(7): 74－76. (in Chinese with English abstract)

[7] Stuart J Birrell. Comparison of sensors and techniques for crop yield mapping[J]. Computer and Electronics in Agriculture, 1996, 14(2/3): 215－233.

[8] 王志海，王沛東，孟志軍，等. 谷物聯(lián)合收割機測產(chǎn)技術(shù)發(fā)展現(xiàn)狀與展望[J]. 農(nóng)機化研究，2014(1)：9－15. Wang Zhihai, Wang Peidong Meng Zhijun, et al. The summary and prospect of the grain combine harvester yield monitor system technology[J]. Journal of Agricultural Mechanization Research, 2014(1): 9－15. (in Chinese with English abstract)

[9] 陳樹人，張文革，李相平，等. 沖量式谷物流量傳感器性能實驗研究[J]. 農(nóng)業(yè)機械學(xué)報，2005，36(2)：82－84. Chen Shuren, Zhang Wenge, Li Xiangping, et al. Experiment research of grain mass flow sensor based on impact[J]. Transactions of the Chinese Society for Agricultural Machinery, 2005, 36(2): 82－84. (in Chinese with English abstract)

[10] 周俊，周國祥，苗玉彬，等. 懸臂梁沖量式谷物質(zhì)量流量傳感器阻尼設(shè)計[J]. 農(nóng)業(yè)機械學(xué)報，2005，36(11)：121－123. Zhou Jun, Zhou Guoxiang, Miao Yubin, et al. Damping design of impact-based grain yield sensor[J]. Transactions of the Chinese Society for Agricultural Machinery, 2005, 36(11): 121－123. (in Chinese with English abstract)

[11] 周俊，劉成良. 平行梁沖量式谷物質(zhì)量流量傳感器信號處理方法[J]. 農(nóng)業(yè)工程學(xué)報，2008，24(1)：183－187. Zhou Jun, Liu Chengliang. Signal processing method for impact-based grain mass flow sensor with parallel beam load cell[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(1): 183－187. (in Chinese with English abstract)

[12] 叢秉華，周俊. 雙平行梁谷物流量傳感器振動噪聲消除方法[J]. 傳感技術(shù)學(xué)報，2013, 26(3)：377－381. Cong Binghua, Zhou Jun. Vibration noise elimination for a grain flow sensor of dual parallel beam load cells[J]. Chinese Journal of Sensors and Actuators, 2013, 26(3): 377－381. (in Chinese with English abstract)

[13] 劉成良，周俊，苑進，等. 新型沖量式谷物聯(lián)合收割機智能測產(chǎn)系統(tǒng)[J]. 中國科學(xué)：信息科學(xué)，2010，40(增刊1)：230－235. Liu Chengliang, Zhou Jun, Yuan Jin, et al. Yield monitor system based on impact-based grain mass sensor[J]. Science China Information Sciences, 2010, 40(Supp.1): 230－235. (in Chinese with English abstract)

[14] 陳巡洲. 沖量式谷物流量傳感器研究[D]. 上海：上海交通大學(xué)，2009. Chen Xunzhou. Research on Impact-based Grain Yield Sensor[D]. Shanghai: Shanghai Jiao Tong University, 2009. (in Chinese with English abstract)

[15] 胡均萬，羅錫文，阮歡，等. 雙板差分沖量式谷物流量傳感器設(shè)計[J]. 農(nóng)業(yè)機械學(xué)報，2009，40(4)：69－72. Hu Junwan, Luo Xiwen, Ruan Huan, et al. Design of a dual- plate differential impact-based yield sensor[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(4): 69－72. (in Chinese with English abstract)

[16] 胡均萬，羅錫文，陳樹人，等. 聯(lián)合收割機產(chǎn)量傳感器振動信號影響分析與消除方法[C]//2008年中國農(nóng)業(yè)機械學(xué)會論文集，2008：857－860. Hu Junwan, Luo Xiwen, Chen Shuren, et a1. Analysis the effects of vibration signal on combine yield sensor[C]//2008 Annual Conference of Chinese Society of Agricultural Machinery, 2008: 857－860. (in Chinese with English abstract)

[17] Blackmore S. The Role of Yield Maps in Precision Farming[D]. England:Cranfield University, 2003.

[18] 張惠莉. 面向康拜因收獲過程的谷物流量在線實時測量方法的研究[D]. 北京：中國農(nóng)業(yè)大學(xué)，2002. Zhang Huili. Research of Grain Yield Real-time Monitoring Method Towards Combine Harvester[D]. Beijing: China Agricultural University, 2002. (in Chinese with English abstract)

[19] 張惠莉，王剛，辛立國，等.射線谷物流量在線測量試驗系統(tǒng)的研究[J]. 萊陽農(nóng)學(xué)院學(xué)報，2005，22(3)：216－218. Zhang Huili, Wang Gang, Xin Liguo, et al. The Research for the Grain-Flow-Measurement System on Real Time Based- ray Sensor in Laboratory[J]. Journal of Laiyang Agricultural College, 2005, 22(3): 216－218. (in Chinese with English abstract)

[20] 張小超，胡小安，張愛國，等. 基于稱重法的聯(lián)合收獲機測產(chǎn)方法[J]. 農(nóng)業(yè)工程學(xué)報，2010，26(3)：125－129. Zhang Xiaochao, Hu Xiaoan, Zhang Aiguo, et al. Method of measuring grain-flow of combine harvester based on weighing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(3): 125－129. (in Chinese with English abstract)

[21] 李偉，張小超，胡小安，等. 聯(lián)合收獲機稱量式測產(chǎn)系統(tǒng)軟件設(shè)計[J]. 農(nóng)業(yè)機械學(xué)報，2011，42(增刊1)：94－99. Li Wei, Zhang Xiaochao, Hu Xiaoan, et al. Design of intelligent yield monitoring software for combine harvester[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(Supp.1): 94－99. (in Chinese with English abstract)

[22] 王要武，徐剛，肖鐵軍，等. 聯(lián)合收割機谷物流量測試裝置和性能研究[J]. 農(nóng)業(yè)機械學(xué)報，1993，24(2)：42－48. Wang Yaowu, Xu Gang, Xiao Tiejun, et al. Monitoring the grain flow on combines device and performance study[J]. Transactions of the Chinese Society for Agricultural Machinery, 1993, 24(2): 42－48. (in Chinese with English abstract)

[23] 付興蘭，張兆國，安曉飛，等. 光電漫反射式聯(lián)合收割機谷物產(chǎn)量計量系統(tǒng)研發(fā)與性能試驗[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(3)：24－30. Fu Xinglan, Zhang Zhaoguo, An Xiaofei, et al. Development and performance experiment on grain yield monitoring system of combine harvester based on photoelectric diffuse reflectance[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(3): 24－30. (in Chinese with English abstract)

[24] 付興蘭. 基于光電漫反射原理的谷物產(chǎn)量監(jiān)測系統(tǒng)研發(fā)及試驗[D]. 昆明：昆明理工大學(xué)，2017.Fu Xinglan. Design and Experiment on Grain Yield Monitoring System Based on Photoelectric Diffuse Principle[D]. Kunming: Kunming University of Science and Technology, 2017. (in Chinese with English abstract)

[25] 安曉飛，付興蘭，孟志軍，等. 光電信號與收割機谷物產(chǎn)量數(shù)據(jù)轉(zhuǎn)換模型的構(gòu)建與驗證[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(增刊1)：36－41. An Xiaofei, Fu Xinglan, Meng Zhijun, et al. Grain yield data transformation model based on photoelectric principle and its validation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 36－41. (in Chinese with English abstract)

[26] 游素亞，徐光祐. 立體視覺研究的現(xiàn)狀與進展[J]. 中國圖象圖形學(xué)報，1997，2(1)：17－24. You Suya, Xu Guangyou. State of the art and future the development of stereo vision[J]. China Journal of Image and Graphics, 1997, 2(1): 17－24. (in Chinese with English abstract)

[27] 馬頌德，張正友. 計算機視覺：計算理論與算法基礎(chǔ)[M]. 北京：科學(xué)出版社，1998.

[28] 李帥. 主動式結(jié)構(gòu)光的立體視覺方法研究[D]. 杭州：浙江工業(yè)大學(xué)，2012. Li Shuai. Active Stereo Vision Method Research Based on Structured Light[D]. Hangzhou: Zhejiang University of Technology, 2012. (in Chinese with English abstract)

[29] 王楠. 基于KNN的改進算法研究及其在圖像去噪的應(yīng)用[D]. 桂林：廣西師范學(xué)院， 2016. Wang Nan. Research of Improved Algorithm Based on KNN and Its Application in Image Denoising[D]. Guilin: Guangxi Normal University, 2016. (in Chinese with English abstract)

[30] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 22(11): 1330－1334.

[31] 韓建棟，呂乃光，董明利，等. 線結(jié)構(gòu)光傳感系統(tǒng)的快速標定方法[J]. 光學(xué)精密工程，2009，17(5)：949－963. Han Jiandong, Lü Naiguang, Dong Mingli, et al. Fast method to calibrate structure parameters of line structured light vision sersor[J]. Optics and Precision Engineering, 2009, 17(5): 949－963. (in Chinese with English abstract)

Development of yield monitoring system with high-precision based on linear structured light source and machine vision

Yang Gang, Lei Junbo※, Liu Chengliang, Tao Jianfeng

(200240,)

Gaining the precise yield information of a certain area is an important factor to assess the grain yield and the planting effects. Grain yield measurement system is one of the key techniques of the precision agriculture, and is also the foundation of realizing precision management. Because of the gap (around 10 mm) between the scrapper and the elevator, grains might be dropping through the gap and therefore triggers the yield sensor based on photoelectric sensor wrongly, so the generated result will not be accurate. Aiming at avoiding the problem mentioned above, a yield monitoring system based on linear structured light source and machine vision is developed. The yield sensor is made up of industrial camera, line structured light generator, proximity switch and industrial computer. When scraper passes the proximity switch in a certain position which can be adjusted, proximity switch will sense its move, which will generate a signal to trigger the industrial camera to capture the image at that time. Since proximity switch used in this sensor is based on inductance sensed, the leaky grain through the gap between the scrapper and the elevator will not trigger the switch, and the camera will be triggered correctly only by the signal of the proximity switch. A grains accumulation volume model is established to calculate the volume of the grains on the scrapper. The thickness of the grain on the scrapper is measured, after the calculation model of thickness is calibrated, the volume can be calculated according to the model established before. The computer is used to process the real-time image where the dropping grain will become noise. In order to eliminate all the noise in the image, K-Nearest Neighbor (KNN) algorithm is proposed, in which the basic idea is to move those area far away from the surroundings. The experimental result shows that this method works effectively. The grain accumulation volume then can be calculated if the thickness of the grain can be calculated precisely. A measuring method for the thickness based on linear structured light is proposed. According to the volume weight measured in advance, the yield can be calculated. Grain models of the same material of scrapper are made to simulate different grain thickness. And the actual grain thickness are 10.0, 21.8 and 33.4 mm. The experiment of the thickness calculation of the scrapper (with no grains) and grain model under different speeds (60, 180, 300, 420, 540 r/min) is carried out, and the results show that the error is between 0 and 1.1%. The error is bigger while the speed is faster, the reason for which is the image capture mode of rolling shutter of the CMOS camera. Rolling shutter is a method of image capture in which a still picture (in a still camera) or each frame of a video (in a video camera) is captured not by taking a snapshot of the entire scene at a single instant in time but rather by scanning across the scene rapidly, either vertically or horizontally. When the scrapper passes the proximity switch, the switch will trigger the camera to take the shot. During the time in which the camera take the shot, the scrapper is still moving, which will cause the distortion of the image, and the distortion will be worse while the scrapper moves faster. A modified for thickness calculation is proposed to fix the distortion, and the final measuring result error is less than 0.33%, much better than original 1.1%, which means the modification model is accurate and stable. At last, the experiment of the real-time yield monitoring is carried out on the self-designed experiment platform under different speeds using the methods and the devices mentioned above. The experiment results show that the measurement error is between 3.5% and 4.27%. This research provides a reference for yield monitoring.

monitoring; systems; machine vision; grain; yield sensor; precision agriculture; image processing

2019-01-26

2019-02-18

國家重點研發(fā)計劃（2016YFD0702001）；國家重點研發(fā)計劃（2016YFD0700105）；新進教師啟動計劃項目（18X100040003）

楊 剛，博士生，主要從事計算機視覺研究。Email：1449381582@qq.com

雷軍波，助理研究員，主要從事智能農(nóng)業(yè)裝備研究。Email：jblei@sjtu.edu.cn

10.11975/j.issn.1002-6819.2019.08.003

S126

A

1002-6819(2019)-08-0021-08

楊 剛，雷軍波，劉成良，陶建峰.基于線結(jié)構(gòu)光源和機器視覺的高精度谷物測產(chǎn)系統(tǒng)研制[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(8)：21－28. doi：10.11975/j.issn.1002-6819.2019.08.003 http://www.tcsae.org

Yang Gang, Lei Junbo, Liu Chengliang, Tao Jianfeng. Development of yield monitoring system with high-precision based on linear structured light source and machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(8): 21－28. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.08.003 http://www.tcsae.org