杜龍龍， 朱景建， 王榮揚， 陸學斌， 于 斌

(1.湖州職業(yè)技術學院，浙江湖州 313000； 2.湖州市機器人系統(tǒng)集成與智能裝備重點實驗室，浙江湖州 313000；3.哈爾濱理工大學，黑龍江哈爾濱 150000)

水稻是我國重要的糧食作物，我國有將近60%的人口把種粒當成主食，水稻的產量關系到國民生計，而先進的播種技術是水稻穩(wěn)產增收的保證。精量穴直播技術是近年來水稻機械化精量播種的熱點研究方向之一，排種系統(tǒng)作為水稻穴播機關鍵部件，其性能對水稻播種質量具有重要意義。區(qū)別于歐美國家的寬幅條播和飛機撒播，我國專家學者針對國內種植面積較小的國情，對水稻精量排種機制進行了研究。

羅錫文院士等對不同的型孔進行排種試驗，設計出了一種瓢型型孔排種系統(tǒng)；王在滿等運用高速攝像技術對瓢型型孔排種系統(tǒng)進行優(yōu)化，使系統(tǒng)漏播率減低，成穴率進一步提高[1]。田立權等運用Matlab分析了稻種在螺旋槽內運動速度和槽角度的內在關系，設計了一種螺旋槽排種系統(tǒng)[2]；張國忠等在原有氣力式穴播機上安裝了一個導向型攪拌結構，提升了排種精度[3]；邢赫等設計了一種分層充種室的結構，減小了種間的摩擦力，增強了種子的流動性，有效提高了氣力式排種系統(tǒng)的播種精度[4]。趙湛等采用湍流模型和氣固兩相流模型對排種器吸種過程進行了仿真，獲取了盤吸式排種系統(tǒng)的最佳吸種位置，提高了播種精度[5]。為同時滿足雜交稻和常規(guī)稻的播種要求，張明華等設計了一種型孔輪殼、孔輪、調節(jié)器的組合型孔排種器，提升了排種系統(tǒng)的通用性[6]。臧英等針對氣力式穴播器“飛種”現(xiàn)象，設計出一種擋種結構，試驗表明，這種結構可以有效降低“飛種”現(xiàn)象[7]。朱德泉等運用仿真軟件獲取水稻種子在排種輪不同轉速下的運動規(guī)律，設計了一種滑片式孔輪排種系統(tǒng)[8]。上述研究對國內水稻穴播技術做了卓有成效的探索，為后續(xù)的改良提供了借鑒，但是這些研究大多基于稻種的運動規(guī)律從機械模具上進行改進從而提升排種精度和播種效率。如何運用智能檢測技術對排種器的實時播種狀態(tài)進行準確監(jiān)測，根據反饋結果使排種系統(tǒng)進行自我修正，形成實時的閉環(huán)反饋是需要進一步研究的問題。

綜上所述，筆者所在研究組針對當前絕大多數水稻穴播機缺乏實時監(jiān)測和自我調節(jié)的功能弊端，以穴播機排種系統(tǒng)作為研究對象，探索深度學習技術對稻種識別計數的工作機制，研究基于PID技術實時調節(jié)稻種排種速率的方法，在輪式穴播機的基礎上創(chuàng)新設計了一種基于深度學習的水稻精量穴播排種系統(tǒng)，以提升水稻的播種效率和播種質量，實現(xiàn)精準播種。

1 精量穴播排種系統(tǒng)總體設計

為對水稻穴播機排種器進行智能化改良，本設計提出利用YOLOv5+DeepSORT的神經網絡框架對稻種進行計數識別訓練。筆者所在研究組采用自制的水稻圖片和視頻數據集，包含深度雙目相機拍攝的采摘前后的水稻圖像9 673張。將圖像統(tǒng)一縮放成680×680輸入檢測器進行訓練，通過增加YOLOv5的檢測尺度和初始錨定框的數量改進檢測器對小目標稻種的檢測能力，解決以往深度學習對小目標對象檢測不準的缺陷，將YOLOv5訓練好的輸出結果作為后續(xù)DeepSORT算法追蹤計數模型的輸入。利用高速相機實時采樣排種過程中的稻種圖像，將采樣生成的圖像信息送入訓練好的計數模型，結合稻種在排種過程中的運動信息和外觀信息實現(xiàn)端到端的準確計數識別檢測，將最終檢測模型輸出的稻種數量反饋給排種器的智能控制端，通過PID控制技術實時調節(jié)振送器的送種速率，實現(xiàn)水稻穴播機的自我調節(jié)機制，實時調控智能排種(圖1)。

2 精密排種系統(tǒng)設計

2.1 排種系統(tǒng)機械結構設計及工作原理

排種系統(tǒng)機械結構見圖2，由種箱、播種箱體、控制單片機、振送器控制器、種群分離裝置、振送器、護種結構、復合式播種結構、漏斗、驅動電機等部分構成。種箱位于整機上方，通過穴播機行進過程中的抖動對種群分離裝置及時補種；單片機安裝于樣機后側擋板，通過脈寬調制調節(jié)振送器振動頻率改變送種速率，控制驅動電機轉速滿足播種穴距指標；種群分離裝置內部通過多層隔弊結構防止種子相互擠壓破裂，漏弊結構將稻種在進入播種機構前從單元種箱分離出來；復合式播種結構由柔性皮帶(取種帶)和2個直徑不同的皮帶輪組成，小直徑為排種輪，大直徑為儲種輪，小直徑排種輪可以提高種粒的成穴性，柔性皮帶表面有窩眼以供種粒進穴，排種輪和儲種輪之間有緩沖斜面，可以防止未進穴孔的種粒誤掉落。

播種時，機具在前進時產生抖動帶動種箱，使稻種進入種群分離裝置的單元種箱內，振送器此時通過一定的振動頻率將稻種通過漏弊網口送入儲種輪，儲種輪向前轉動時帶動種粒依次進入取種帶穴孔、排種輪完成第一階段排種。此時高速相機對取種帶每個穴孔的種粒數量進行采樣并將特征圖像信息傳送到深度學習檢測器中進行識別計數，將檢測的結果值反饋給機具內部的單片機，單片機根據檢測結果與實際需求進行比對并計算出種粒數量偏差，依據數值偏差調整振送器送種速率達到閉環(huán)控制的效果，從而實現(xiàn)水稻排種系統(tǒng)自我調節(jié)機制[9]。

2.2 水稻種粒YOLOv5識別模型

2.2.1 試驗數據采集及數據集制作 試驗園位于浙江省湖州市東林鎮(zhèn)水稻基地(120°05′E，30°40′N)，以當地種植的水稻(南粳46號)為采樣對象，在2021年8月6日至8月10日對研究對象進行圖像和視頻的數據采集。筆者所在研究組以大疆M600PRO飛行器為移動采樣系統(tǒng)，并搭載雙目深度相機T265對水稻數據進行獲取。為盡可能獲得多姿態(tài)的水稻特征信息，筆者所在研究組從09：00到16：00間隔2 h控制飛行器懸停于不同高度對研究對象進行數據采集，共拍攝未采摘的水稻樣本照片1 687張，圖像分辨率為1 280×720。同時拍攝水稻穴播機播種視頻20個，視頻分辨率為1 280×720，幀數為 30 幀/s。為保證樣本的多樣性，輔以手機和相機(手機型號為魅族note8，相機型號為索尼zv1)采樣手段獲取采摘后的稻種照片988張，像素分別為 4 000×3 000和3 840×5 120。

2.2.2 YOLOv5水稻識別模型

2.2.2.1 YOLOv5算法簡介 YOLOv5網絡結構按照處理階段分為 Input、Backbone、Neck、Prediction 4個部分(圖3)，Input輸入端包含Mosaic數據增強、輸入圖片自適應縮放和錨框計算等模塊。其中Mosaic增強提升了小目標對象的識別精度，適用于本次識別對象水稻種粒的檢測。YOLOv5主干網絡沿用了YOLOv4的CSPNet的模型，算法中設計了2種CSPNet結構，分別記做CSP1、CSP2。CSP1存在于Backbone中用于提取特征信息，CSP2存在于Neck中用于融合特征信息。Backbone中新增了Focus模塊，對輸入圖像進行切片操作變成320×320×12特征圖像，再進行一次卷積操作得到320×320×32的特征圖像，使特征圖像從原本的RGB三通道擴充了4倍并保證了特征信息不損失。Focus層在增強了水稻特征信息感受野的同時，保證了特征信息丟失的最小化，提升了檢測精度。Neck由FPN+PAN結構組成，F(xiàn)PN通過上采樣的方式將特征信息進行融合，PAN則通過下采樣的方式傳遞語義信息，二者互補實現(xiàn)了不同尺度的特征融合。輸出端用NMS加權系數可以有效解決檢測對象被遮擋等問題，適宜于本次任務中運動中的種粒檢測[10-11]。

2.3 針對種粒檢測YOLOv5算法的改進

YOLOv5在目前主流的識別算法中對于開源數據集具有高效性和精準性的優(yōu)勢，但是對于運動中的顆粒狀種粒的檢測還需要進一步改進。

2.3.1 小目標對象多尺度測量的改進 YOLOv5網絡模型在公共數據集上如VOC、COCO進行測試可以取得較好的識別效果，但是這些數據集檢測目標對象往往較大，而排種系統(tǒng)中檢測的對象是顆粒狀的種粒，相對來說檢測目標較小，在提取目標對象圖像特征時，經過多重卷積運算后更容易丟失特征信息，造成檢測精度的下降。為加強模型多尺度檢測的精度，提高小目標對象的檢測性能，研究組將模型輸出由原本的三尺度檢測增加為四尺度檢測，當輸入圖像大小為640×640時，在輸出端增加1層160×160檢測層。同時為進一步增強各層的感受野，加強不同層級的特征信息融合，減少小目標對象檢測中特征信息的丟失，將原本的2次上采樣改進為多次上采樣組合的方式以提升排種過程中種粒的識別精度[12]。改進后的網絡模型見圖4。

2.3.2 YOLOv5初始錨框參數改進 YOLOv5在自適應計算錨框的過程中會根據檢測對象的大小預先內部生成初始預測框，運用聚類算法和遺傳算法將輸出的預測框和實際值進行比較，計算預測框與實際值的差值，進行反向迭代不斷更新，直到滿足適應檢測對象錨定框的收斂條件。COCO數據集上，YOLOv5針對最小的特征圖像初始預測框尺寸為(10，13)、(16，30)、(33，23)，并不能滿足四尺度的檢測需求。與真值相差過大的初始預測框會增加遺傳算法中迭代更新的次數從而增加計算量，影響模型輸出的實時性，本設計針對160×160種粒顆粒檢測層設置初始預測框(5，6)、(8，12)、(12，10)以增加種粒檢測的效率[13]。

2.4 種粒追蹤計數算法DeepSORT

本設計研究的對象為顆粒狀的種粒，在排種過程中排種輪的快速轉動會影響種粒的運動姿態(tài)造成視覺錯位和互相遮擋，導致計數結果漏檢、錯檢，因此需要對檢測區(qū)域內的每一個種粒進行目標追蹤。DeepSORT算法包含基于卡爾曼濾波器的預測模塊和匈牙利算法的匹配模塊，相較于原有SORT算法融合了運動信息和外觀信息作為關聯(lián)變量，采用深度卷積網絡ReID模型對特征變量進行提取，ReID模型有效解決了檢測目標被遮擋后跟蹤丟失的問題，增強了多目標跟蹤算法的魯棒性[14]。

d(1)(i,j)=(dj-yi)TS-1(dj-yj)

。

(1)

式中：dj和yi表示種粒的第j個實際檢測結果和追蹤器對種粒第i個預測結果的狀態(tài)向量，S為表示檢測到的種粒實際結果和平均追蹤結果的協(xié)方差矩陣。設定一個適當的閾值，當經過數值計算得到的距離d小于閾值則判定為關聯(lián)成功。

(2)

設定一最小閾值，當獲取的最小余弦值小于閾值時，則關聯(lián)成功。此時，通過將馬氏距離對種粒短時運動狀態(tài)的預測信息與余弦距離對種粒被遮擋后ID重新恢復后的預測信息進行加權，使二者的預測模式優(yōu)勢互補。

ci,j=λd(1)(i,j)+(1-λ)d(2)(i,j)

。

(3)

當度量值為二者預測模型的交集中，則認為追蹤的種粒與實際位置精確關聯(lián)。參數λ為2種預測模型對最終結果影響比例的大小[15]。

3 排種系統(tǒng)性能測試

為驗證本研究設計的深度學習水稻精量穴播機排種系統(tǒng)的性能，試驗組于2022年3月12日至3月22日在東林鎮(zhèn)水稻種植基地進行性能測試。試驗從以下幾個方面對排種系統(tǒng)進行測試：改進后的YOLOv5種粒識別模型可靠性測試、種粒跟蹤計數性能測試、排種系統(tǒng)排種性能測試。試驗環(huán)境平臺運行在Ubuntu18.04操作系統(tǒng)下，搭載Intel Core i7-4770 處理器，32 G內存，配備英偉達GeForce RTX 2080顯卡。模型訓練基于pytorch 1.8框架，編程平臺為Python 3.7，采用CUDA11.0和CUDN 7.4為GPU加速。

3.1 YOLOv5種粒識別模型可靠性測試

為驗證改進后的YOLOv5種粒識別模型的可靠性，訓練前將自制數據集統(tǒng)一仿照VOC數據格式，大小調整為680×680，防止異常樣本造成訓練偏差。初始學習率設置為0.001，動量因子設置為0.99，每次輸入樣本數量為28，最大訓練次數為 5 000(圖5)。模型在迭代次數4 000左右時趨于穩(wěn)定，損失值在0.25左右波動，種粒識別模型軟件參數設置合理，訓練效果良好。

為進一步對改進后的識別模型有效性進行分析，本設計采用準確率(Precision)、召回率(Recall)、平均精度(AP)、檢測速度(FPS)進行定量對比分析。

。

(4)

式中：Tp表示模型中被判定正確的正樣本；FN表示識別中預測結果為負，而實際為正的樣本；FP表示識別中預測結果為正，而實際是負的樣本。AP為 P-R 曲線積分所得的面積，AP曲線下方面積越大代表模型性能越好。測試引入主流的識別模型Faster-RCNN、YOLOv4、原版YOLOv5作為對照組，在相同的測試集下，對比結果見圖6和表1。

從圖6可以看出，相較于YOLOv4，原版YOLOv5新增了Focus結構，增大信息通道的同時減少了有效信息的丟失，使得小目標識別得到有效提升；本研究提出的YOLOv5改進算法增加了原版算法檢測尺度并根據種粒的實際尺寸對YOLOv5初始錨框進行了一系列的優(yōu)化，相較于原版算法，準確率提升了3.0%， 召回率提升了3.6%，平均精度提升了3.2%，說明多尺度的檢測層的增加，增強了模型對種粒特征信息的提取，加強了模型內部各層的感受野；實時性方面，YOLOv5相較于YOLOv4在體量上進行了精簡，實時性得到了加強，本研究提出的稻種識別模型對初始錨框的修正加強了算法的收斂性，從96幀/s提升到112幀/s。因此，通過對YOLOv5的改進，對種粒目標檢測性能指標均有明顯提升。

表1 改進后的 YOLOv5水稻種粒識別模型準確率、召回率平均精度和FPS

3.2 種粒跟蹤計數識別性能測試

為驗證YOLOv5+DeepSORT算法框架的種粒跟蹤計數模型的可行性、精準性，選取4個水稻穴播機播種視頻作為測試，視頻參數為30幀/s，尺寸為1 280×720像素。

從圖7可以看出，在圖7-a、圖7-b中，種粒1、2、4、7在取種帶轉動過程中沒有被遮擋，種粒的ID沒有發(fā)生改變，處于持續(xù)追蹤狀態(tài)；在圖7-c、圖7-d中， 在排種過程中種粒6因為長時間被其他種粒遮擋，在16幀中ID被算法剔除不再跟蹤，在20幀中遮擋物因為滾動發(fā)生移位種粒6又重新出現(xiàn)，算法將原有ID和它進行匹配重新跟蹤。說明算法提取了追蹤目標外觀信息后，在被追蹤目標長時間被遮擋狀態(tài)下仍能保持追蹤。

為研究排種輪轉速對排種系統(tǒng)對種子計數識別性能的影響，研究組將不同轉速下的測試視頻進行人工計數，以此作為種粒數量的真實值，計數人員對視頻逐幀播放直至播放結束，計數結果經過多次采樣做均值處理。為更為直觀地檢測改進算法的識別效果，本研究運用目標切換次數(IDs)、跟蹤準確率(MOTA)、跟蹤精度(MOTP)評測識別模型追蹤性能，并引入原版YOLOv5算法作為對照組同時試驗，試驗結果見表2。

表2 排種輪在不同轉速條件下的性能指標

從表2數據可知，排種輪在不同轉速下改進后的種粒追蹤計數算法相較于原始算法在核心指標上更有優(yōu)勢，10 r/min轉速下準確率、精度分別比原始算法高出4.0、4.1百分點，20 r/min轉速下準確率、精度分別比原始算法高出6.0、4.2百分點，在30 r/min轉速下準確率、精度分別比原始算法高出4.5、6.5百分點，在40 r/min轉速下準確率、精度分別比原始算法高出4.3、4.0百分點，其他指標也有較大的提升；而從整體上看，識別模型在轉速 20 r/min 以內識別性能較為穩(wěn)定，精確率較高；轉速上升后出現(xiàn)漏檢現(xiàn)象明顯增多，原因一方面是排種輪高速運轉下稻種的無規(guī)則運動導致跟蹤算法無法及時準確跟蹤，另一方面是取種帶在高轉速下沒有足夠的時間從儲種輪處及時取種，稻種不能及時進入穴孔，因此導致了指標的下降。因此可以看出，改進后的YOLOv5+DeepSORT識別模型對種子的跟蹤計數整體識別精度較高，在10～20 r/min轉速之間系統(tǒng)有較高的計數精度。

3.3 排種系統(tǒng)排種性能測試

筆者所在研究組選取南粳46號水稻種子作為試驗對象，種粒外形尺寸均值為長寬厚為7.26 mm×3.08 mm×2.26 mm，千粒質量27.8 g，按照DG/T 083—2021《水稻直播機》[16]對本設計排種系統(tǒng)測試各項參數指標。筆者所在研究組在播種試驗區(qū)內取共 20 行，每隔5 m統(tǒng)計穴數及每穴的種粒數，重復3次，結果取3次測量的平均值。根據文獻[16]要求，設定空穴率、穴粒數合格率作為排種器性能評價指標：

(5)

(6)

式中：K為空穴率，mk為所測空穴的個數，M為總共的穴數，S為穴粒數合格率，z為穴粒數合格的穴數，由文獻可知穴粒數合格的穴數為農藝要求穴粒數±2。

為減少其他干擾因素對試驗結果的影響，試驗設定農藝要求穴粒數為2，排種輪轉速為20 r/min，機具以0.75 m/s的作業(yè)速度進行播種，設置4組重復試驗，組A、B、C為對照組，A組為沒有進行深度學習反饋的穴播機機具，B組為加入了YOLOv4識別反饋的排種系統(tǒng)，C組為原版YOLOv5的排種系統(tǒng)，D組為研究組設計的引入了YOLOv5改進后的稻米識別反饋排種系統(tǒng)。試驗結果見圖8。

從圖8可以看出，在一段時間內D組2項指標均較高，A組各項指標均較低，可以看出缺少實時反饋機制對排種系統(tǒng)的性能指標影響較大；B、C 2組空穴率較接近，但是穴粒數合格率C組明顯要高出B組很多，原因是YOLOv4的小目標識別能力較弱，種粒在動態(tài)的取種帶上漏檢率較高，造成反饋給PID輸入的偏差值往往大于實際值，引起補償送種數量過多，最終造成穴粒數比農藝要求要多，所以合格率較低；D組空穴率為1.33%，穴粒數合格率為95.6%，相較于未引入深度學習反饋機制的普通樣機穴粒合格率高出8.73百分點，空穴率降低了2.12百分點，同時也和其他2組指標相差較大，符合水稻直播機的國家標準穴粒數合格率大于85%，旱直播空穴率小于4%的要求；說明將普通的穴播機引入了深度學習的反饋機制，可以在一段時間根據穴粒數的偏差值進行實時糾錯修正提升排種系統(tǒng)的指標性能，而增強深度學習小目標對象的檢測能力可以更加精準地獲取稻種的偏差數量對水稻精量穴播指標影響較大。

4 結論

本研究針對當前水稻穴播機的不足，提出基于深度學習的精量穴播排種系統(tǒng)設計，以改進后的YOLOv5+DeepSORT算法作為稻種的識別計數模型，對排種過程中的種粒進行精確計數，將模型的輸出結果輸入PID反饋調節(jié)模型修正送種速率，實現(xiàn)精準排種。研究結果表明，(1)通過增加YOLOv5的檢測尺度增加上采樣的次數可以有效增加各層的感受野，減少小目標檢測對象特征信息的丟失，通過增加小目標對象的預設錨定框可以優(yōu)化模型的實時性，相較于原版YOLOv5算法準確率提升了3.0百分點，召回率提升了3.6百分點，平均精度提升了3.2百分點，各方面檢測性能都有了提高。(2)將改進后的YOLOv5稻種檢測器輸入到DeepSORT模型中訓練，通過對稻種運動信息和外觀信息的協(xié)同檢測，可以對穴播機排種過程中動態(tài)的稻種有效跟蹤計數，計數精度和排種輪的轉速有相關性。當排種輪的轉速在10～20 r/min之間時計數精度較高，當轉速高于30 r/min時，精算精度開始下降，排種輪的轉速與稻種計數精度的內在數學關系可以做深入分析研究。(3)深度學習水稻穴播排鐘系統(tǒng)進行了田間對比測試，結果表明，機具在相同作業(yè)速度下，經優(yōu)化后的排種系統(tǒng)各項指標均優(yōu)于對照組，空穴率為1.33%，相較于未引入深度學習的普通穴播排種系統(tǒng)下降了2.12百分點，穴粒數合格率為95.6%，較普通排鐘系統(tǒng)提升了8.73百分點。根據DG/T 083—2021《水稻直播機》既定標準，本設計水稻排種系統(tǒng)符合排種性能核心指標要求，進一步提升深度學習對稻種顆粒等小顆粒目標的識別精度，對排種系統(tǒng)適應復雜作業(yè)環(huán)境、提升核心指標有重要意義。