王風云 鄭紀業(yè) 唐研 劉延忠 李喬宇 穆元杰 王磊
摘要:隨著圖像處理、模式識別、人工智能等技術的不斷發(fā)展,機器視覺技術在我國農業(yè)上的研究逐步深入,并取得了許多重要成果。本文基于中國知網全文數據庫檢索系統(tǒng),對我國基于機器視覺的農業(yè)研究進行了博、碩士學位論文與期刊論文的統(tǒng)計、分析。結果顯示,我國農業(yè)機器視覺研究主要涉及檢測、圖像處理、軌跡跟蹤與車輛導航、模式識別及其應用等主題,主要集中在圖像信息獲取方法、圖像處理與識別算法、智能導航算法以及系統(tǒng)集成應用等方面,以《農機化研究》、《農業(yè)工程學報》和《農業(yè)機械學報》為主要發(fā)表刊物,主要受國家自然科學基金、國家高技術研究發(fā)展計劃(“863”計劃)、國家科技支撐計劃、省科技攻關計劃、省自然科學基金等項目支持,國內研究機構以中國農業(yè)大學、南京農業(yè)大學、浙江大學、華南農業(yè)大學、山西農業(yè)大學和江蘇大學為主。但目前我國基于機器視覺的農業(yè)研究在作物生長信息檢測、雜草識別、變量控制、機械智能導航、采摘與分選等方面離實用化、商品化仍有一定的距離,集成符合我國農業(yè)發(fā)展實際的機器視覺技術系統(tǒng)將是今后重要的研究方向。本研究為機器視覺在我國農業(yè)上的進一步應用研究提供了參考。
關鍵詞:機器視覺;農業(yè);圖像處理;模式識別;視覺導航
中圖分類號:S126 文獻標識號:A 文章編號:1001-4942(2016)04-0139-06
機器視覺的概念起始于20世紀60年代,最先應用于機器人的研制,即通過視覺系統(tǒng)采集圖像并進行處理,然后估算出目標的位置,從而控制機器運動。1979年提出的視覺伺服(Visual Ser-vo)概念,則可以將視覺信息用于連續(xù)反饋,以提高視覺定位或追蹤的精度。
國內有關機器視覺的應用研究起步于20世紀80年代,主要應用于半導體和電子行業(yè),如PCB印刷、電路組裝、元器件制造及半導體設備集成等。農業(yè)機器視覺的研究,早期主要以探討農業(yè)機器人的技術、經濟可行性、潛力與前景等宏觀研究為主,后來逐步擴展到圖像數據的采集、分析與處理、軌跡跟蹤與車輛導航、智能識別等關鍵技術的研究與應用上。為了解我國農業(yè)機器視覺研究的進展情況,本文基于中國知網全文數據庫檢索系統(tǒng),通過檢索機器視覺在我國農業(yè)上集成應用和研究的相關文獻,并對其數據進行統(tǒng)計,分析了該領域的研究進展及出現的問題,以期為機器視覺技術在我國農業(yè)中的深入研究與應用提供參考。
1 數據來源
本研究基于中國知網的全文數據庫,以“機器視覺”與“農業(yè)”為檢索詞,分別在博、碩士學位論文庫和中國期刊全文數據庫中進行主題路徑邏輯“與”的檢索,時間截止到2015年9月24日,并對檢出文獻的研究主題、基金來源、作者機構及其在不同學術期刊上的分布進行分析。然后據此分析結果對機器視覺在農業(yè)上的應用研究進展進行簡要介紹和綜述,指出目前應用中存在的一些問題。
采用Microsoft Excel 2007進行數據處理與作圖。
2 結果與分析
2.1 博、碩士學位論文檢索結果
檢索結果顯示,從2000年開始,共檢索到農業(yè)機器視覺研究的博、碩士學位論文235篇,其中博士論文38篇,碩士論文197篇(見表1)。
2.1.1 博、碩士學位論文作者的機構分布 從表1可以看出,博士論文以南京農業(yè)大學的最多,共9篇,主要研究黃瓜和棉花收獲機器人系統(tǒng),基于機器視覺的作物對行噴藥控制、雜草和稻飛虱識別技術,基于圖像特征的田間籽棉成熟度與品級判別技術,機器視覺導航系統(tǒng)及光照問題等。其次是中國農業(yè)大學,共7篇,多為近幾年的文獻,如:2013年王建侖以果園田問葉片為研究對象,進行田間葉片圖像分割與單幅三維重建的算法研究,并利用機器視覺系統(tǒng)解決了遠程獲取農業(yè)生產現場葉片農學性狀參數的問題;2014年李寒、張春龍、張東波、楊振宇和黃小龍五位博士基于機器視覺分別進行了目標檢測、信息獲取與視覺伺服策略、伺服控制、機器人末端執(zhí)行器優(yōu)化設計等研究;2015年馬锃宏進行了田問作物對靶噴施機器關鍵技術的研究。浙江大學的相關研究論文也較多,有6篇,涉及稻種質量無損檢測、田間路徑識別算法與車輛自動導航方法、基于光譜和多光譜的雜草識別、水稻氮磷鉀營養(yǎng)識別和診斷等研究。
碩士論文以江蘇大學最多,共19篇,以基于機器視覺的雜草圖像分割、特征提取、識別和定位等研究為主;南京農業(yè)大學次之,共17篇;華中農業(yè)大學、西北農林科技大學和浙江大學共28篇。197篇碩士論文中涉及的關鍵詞頻度,機器視覺94次,圖像處理44次,特征提取15次,圖像分割15次,雜草識別11次,顏色特征9次,視覺導航9次,模式識別9次,DSP 9次,說明農業(yè)應用機器視覺的研究主要以圖像處理、特征提取、圖像分割、雜草識別、顏色特征、視覺導航、模式識別和DSP為主。
2.1.2 博、碩士學位論文數量的年度分布 由圖1可以看出,2000~2002年,基于機器視覺的農業(yè)研究學位論文數量為1~2篇,說明當時國內從事相關研究的學者還很少;之后,該研究領域越來越受到學者們的關注,博碩論文數量大幅增加,雖年際問有波動,但整體呈上升趨勢,至2014年有關農業(yè)機器視覺研究的論文已達到35篇。
2.2 期刊論文檢索結果
2.2.1 論文數量年度分布 由表2可以看出,中國知網期刊全文數據庫1999~2015年間共收錄了基于機器視覺的農業(yè)研究論文179篇。論文數量年度分布沒有明顯的規(guī)律可循,其中,1999~2003年數量較少,說明國內這方面的研究剛剛起步;2004~2015年論文數量在7~27篇之間波動,以2011年數量最多,說明該研究領域受到了研究人員的持續(xù)關注。
2.2.2 研究主題分布 由統(tǒng)計結果可以看出,農業(yè)機器視覺研究主要涉及檢測、圖像處理、軌跡跟蹤與車輛導航、模式識別及其應用等方面。機器視覺檢測包括機器人運動障礙目標檢測、長勢無損檢測以及果蔬品質檢測等。圖像處理主要包括圖像采集、分析與處理。軌跡跟蹤與車輛導航主要研究環(huán)境感知、路徑規(guī)劃、車輛模型與控制等。機器視覺的模式識別主要有路徑識別、作物品種識別、成熟果蔬識別、病蟲害識別以及雜草識別等。機器視覺主要應用于農產品的分級分選、病蟲草害控制、自動采摘、長勢監(jiān)測以及機械定位與導航中。機器視覺的研究離不開算法研究,包括檢測算法、圖像處理算法、軌跡跟蹤算法、導航算法以及識別算法等。
2.2.3 期刊分布 根據中國知網數據,179篇期刊論文共發(fā)表在了18種核心期刊上,包含4種EI檢索期刊,其中《農機化研究》36篇,最多,《農業(yè)工程學報》28篇,《農業(yè)機械學報》17篇,三者的論文數量占45.25%。另有15篇發(fā)表在高校和農業(yè)科研院所出版的期刊上,比較多的是《安徽農業(yè)科學》,有6篇。其它論文主要發(fā)表在與計算機軟件及計算機應用、農業(yè)工程、自動化技術、農業(yè)基礎科學、植物保護、農藝學、園藝、農作物等相關的期刊上??梢?,機器視覺在農業(yè)上的某些研究仍比較前沿,受到《農機化研究》、《農業(yè)工程學報》和《農業(yè)機械學報》等核心期刊和EI檢索期刊的歡迎。
2.2.4 基金來源 資金支持是科學研究的基礎,統(tǒng)計結果顯示,檢索到的文獻中得到項目資助的有78篇,占43.57%,受國家自然科學基金支持的論文有23篇,受國家高技術研究發(fā)展計劃(“863”計劃)支持的21篇,受國家科技支撐計劃支持的4篇,三者占檢索到的期刊論文總數的26.82%;受各省科技攻關計劃支持的研究論文7篇,受各省自然科學基金項目支持的6篇,受高校或教育部門支持的9篇。由此可見,國家和各省、部委都高度重視機器視覺在農業(yè)中的研究與應用。
2.2.5 作者機構分布 對179篇期刊論文作者(限第一作者)的單位進行統(tǒng)計,結果顯示,來自高校院系的作者136位,占75.98%;來自研究院所的作者14位,占7.82%;來自其它機構的有29位,占16.20%。中國農業(yè)大學、南京農業(yè)大學、浙江大學、華南農業(yè)大學、山西農業(yè)大學和江蘇大學位居論文作者所在機構的前六位,其中來自中國農業(yè)大學的論文作者最多,有22位,占檢索期刊論文總數的12.29%。表明,中國農業(yè)大學、南京農業(yè)大學、浙江大學等是目前國內農業(yè)機器視覺研究實力比較雄厚的高校。
3 機器視覺在農業(yè)上的應用研究進展
通過對文獻資料的分析、研究可以發(fā)現,我國基于機器視覺的農業(yè)應用研究主要集中在圖像信息獲取方法、圖像處理與識別算法、智能導航算法以及系統(tǒng)集成應用方面。
3.1 圖像信息獲取方法研究
精確獲取圖像信息是機器視覺的基礎,直接影響到機器視覺判斷的精度,且圖像采集的速度影響著機器視覺執(zhí)行的速度。由于農業(yè)應用環(huán)境差異大,機器視覺獲取圖像信息的方法需根據應用對象與目的的不同而變化,目前多是采用相機或攝像機結合近紅外光譜或高光譜信息進行圖像信息的采集與分析處理。
上海交通大學翟鵬針對葡萄自身的特點和現場條件,設計了由全光譜的自然光源、反光傘、CCD相機、定時拍攝觸發(fā)控制器、漫射擋光背景板和球坐標腳架組成的圖像采集系統(tǒng),對葡萄果實和根系的表型特征進行了采集與分析。華中農業(yè)大學肖武建立了基于近紅外光譜和機器視覺技術快速檢測土壤含水率的方法,同時對湖北地區(qū)黃棕壤、潮土和稻田土樣品的光譜進行了主成分分析,結果表明能很好地將土壤含水率分級。沈陽理工大學劉哲基于雙目立體視覺系統(tǒng),對蘋果幼果的圖像進行了立體重建,且能夠對蘋果幼果進行正確的匹配并標號,實現了對蘋果果實的三維定位。
3.2 圖像處理與識別算法研究
機器視覺在農業(yè)應用的自然場景中,光照條件的變化以及農作物個體顏色、形狀、位置、姿態(tài)、遮擋和重疊程度等都給機器視覺識別、特征提取帶來很大的困難,能否快速、準確地識別出目標直接影響機器視覺系統(tǒng)的實時性和可靠性,因此,圖像處理與識別算法研究成為機器視覺在農業(yè)中應用的關鍵環(huán)節(jié)。
華南農業(yè)大學張志斌等提出的基于加速魯棒特征(Speeded up robust features,SURF)的綠色作物特征提取與圖像匹配算法,首先在RGB空間進行圖像分割,并采用開運算對分割圖像進行濾波處理,然后采用SURF旋轉不變性原理進行左、右綠色作物圖像特征提取,最后采用最近距離比次近距離法匹配特征點,該方法為提高田問條件下的3D視覺導航參數精度、準確獲取基于無線傳感器網絡的作物生長參數提供了參考。呂強等采用圖像G-B色差分量、最大類問方差法自適應閾值分割、基于距離變換的分水嶺分割、凸包算法、基于Tukey權重函數的最小二乘圓擬合法識別自然場景下的柑橘果實。在果實或病害識別上,支持向量機識別的正確率高于只用顏色、紋理或形狀特征進行識別的正確率,識別性能也優(yōu)于神經網絡方法。
3.3 視覺定位導航算法研究
基于機器視覺的導航系統(tǒng)能自動采集農田環(huán)境圖像,通過分析識別出導航路徑,最終計算出系統(tǒng)導航參數以控制機械沿導航路徑行走。定位導航算法是機器視覺導航的核心,決定著導航定位的準確性以及控制的魯棒性。
華南農業(yè)大學張志斌等提出了基于Hough變換和Fisher準則的壟線識別算法,使得作物壟線定位的準確性、適應性均得到提高,而且能夠避免較大面積雜草等的影響。上海交通大學周俊等人基于卡爾曼濾波的思想,融合各傳感器的觀測值,提出了一種預測跟蹤控制算法,避免了以視覺系統(tǒng)為主的計算耗時導致狀態(tài)反饋滯后而產生的不利影響,改善了導航控制的魯棒性和精度。南京農業(yè)大學安秋等人針對農業(yè)機器人視覺導航中存在的陰影干擾問題,提出了基于光照無關圖的算法,能夠去除導航圖像中的陰影,然后利用增強的最大類問方差算法分割和優(yōu)化圖像的Hough變換提取作物行中心線,最終通過坐標轉換獲得導航參數,此算法不僅滿足了導航實時性的要求,而且使農業(yè)機器人在光照變化的情況下導航參數提取的魯棒性有了更大的提高。
3.4 機器視覺在農業(yè)中的系統(tǒng)集成
機器視覺在農業(yè)中的應用,集成了光學、電氣、機械以及計算機等技術。李志臣利用機器視覺集成了雜草對準噴藥系統(tǒng),整個系統(tǒng)搭載在一輛拖拉機上,由運動執(zhí)行單元來驅動,視覺部分由攝像頭和千兆網卡組成,完成圖像采集、雜草識別和信息發(fā)送功能;控制部分由計算機和可編程控制器(PLC)組成,接收并解釋信息和發(fā)送控制電壓;執(zhí)行部分由藥箱、泵、電磁閥、溢流閥、噴嘴和一些管路組成,輸送藥液和進行噴藥。郭海針等人在一臺輪式拖拉機上裝載計算機、CCD攝像機和電液控制系統(tǒng),集成了基于機器視覺的農業(yè)機械無人駕駛系統(tǒng),利用計算機圖像處理和識別技術,采用模糊控制策略,實現了農業(yè)車輛的視覺伺服。李謙結合除草機器人苗草識別的試驗,討論了機器視覺在除草機器人中的應用,并集成了基于機器視覺的苗草識別系統(tǒng),包括工控計算機、攝像頭、光源和可升降仿形裝置等,試驗識別率達到了95%以上。
3.5 目前農業(yè)機器視覺研究中存在的問題
雖然我國基于機器視覺的農業(yè)研究已取得了一定的成果,但由于農業(yè)研究對象的多樣性和復雜性以及機器視覺技術的特點,目前仍存在著許多問題。
(1)機器視覺測量的可靠性仍有待提高。由于機器視覺處理的主要是圖像或視頻信息,測量條件、環(huán)境、被測物表面特性等的改變,有時甚至輕微改變,就會大大影響處理的結果,這是目前機器視覺在農業(yè)上應用比較突出的問題,只能針對具體問題研究相應光照、特征提取、匹配、重建、標定等具體方法。
(2)視覺測量的環(huán)境適應性差,而且農業(yè)研究對象復雜多樣,目前還無法找到一種具有普適性的方法,因此針對不同研究對象的圖像處理算法、導航算法、識別算法等仍是目前農業(yè)機器視覺研究的核心,而且今后的研究對算法的魯棒性和實時性提出了較高的要求,這也是機器視覺技術在農業(yè)實際應用中的難點所在。
(3)系統(tǒng)集成應用是機器視覺研究的最終目的,但由于視覺系統(tǒng)、智能機械及電氣控制集成成本和科技含量高,導致集成機器視覺的成套智能控制系統(tǒng)對農業(yè)應用來說成為高大上的設備,與目前農業(yè)分散經營的模式和農民總體認識水平還有一定的距離,這是某些關鍵技術仍處于研究試驗階段的一個重要原因。
3.6 農業(yè)機器視覺研究的發(fā)展趨勢
目前我國的農業(yè)機器視覺技術在作物生長信息檢測、雜草識別、變量控制、機械智能導航、采摘與分選等方面的研究已有很大進步,但離實用化、商品化應用仍有一定距離,符合我國農業(yè)發(fā)展實際的機器視覺技術系統(tǒng)集成將是一個重要的研究趨勢。
另外,隨著計算機圖像處理技術的日新月異、傳感器及其它相關硬件性能的日趨提高,利用視覺技術檢測農田信息實現自動導航將成為未來農業(yè)機械無人駕駛的重要發(fā)展方向。
4 結論
本研究通過對中國知網博、碩士學位論文數據庫和全文期刊數據庫的檢索分析發(fā)現,我國基于機器視覺的農業(yè)研究比較活躍,主要集中在圖像的采集、分析與處理、軌跡跟蹤與車輛導航、模式識別、品質檢測等方面,但由于農業(yè)研究對象的復雜性,仍存在著許多問題。如何進一步提升機器視覺檢測的可靠性,提高算法的魯棒性和實時性,仍將是今后一段時間的研究熱點。由于在某些方面,如播種、噴藥、除草、農產品后期加工等農業(yè)生產過程中,應用機器視覺技術可以部分代替人工,不僅能避免不良環(huán)境對人體造成的危害,減輕勞動強度,而且能大大提高生產效率,因此,集成機器視覺的智能控制系統(tǒng)將是未來農業(yè)智能化、精準化發(fā)展的趨勢之一。