趙獻立 王志明
摘要:主要通過介紹機器視覺技術在農業(yè)中的發(fā)展狀況,然后闡述機器視覺系統(tǒng)的組成和工作原理,并基于當前機器視覺研究在農業(yè)中的應用,總結近幾年使用農業(yè)機器視覺研究中用到的機器學習技術,包括有監(jiān)督學習、無監(jiān)督學習、人工神經網絡,詳細討論這些技術的原理、優(yōu)劣以及在農業(yè)領域中的應用,最后討論機器視覺技術面臨的問題和挑戰(zhàn),以及未來應用場景與發(fā)展方向。
關鍵詞:農業(yè);機器視覺;機器學習算法;監(jiān)督機器學習;無監(jiān)督機器學習;人工神經網絡
機器視覺技術是通過模擬人的視覺功能,利用光學設備采集客觀事物的圖像并獲得圖像信息,最終用于實際的檢測、測量和控制[1]。該技術具有可靠性高、速度快、功能多等特點,被廣泛應用于工業(yè)、農業(yè)、制造業(yè)、交通業(yè)等領域[2]。
目前來說,在農業(yè)上主要著力于解決如何合理使用農業(yè)資源、降低農業(yè)生產成本,改善農業(yè)生態(tài)條件、提高農作物的質量等問題[3],而機器視覺技術以其高效、無損傷的特點被廣泛應用于農產品的質量分級和檢測、農田病蟲草害的控制、農業(yè)自動采摘系統(tǒng)、農作物生長過程檢測、農業(yè)機械導航等領域[4- 9]。而在農業(yè)生產應用中,采用機器視覺技術能夠有效合理地利用農業(yè)資源,降低成本以及提高農作物的產量和質量。
伴隨著計算機軟硬件、圖像采集裝置、圖像處理技術的發(fā)展,機器視覺技術在農業(yè)的應用領域將會不斷拓展。目前,歐美日等國家已將機器視覺系統(tǒng)應用到農業(yè)的各個領域,大幅提高了生產效率、節(jié)約了勞動成本[10]。相比較而言,國內的相關研究大多處于試驗階段,但也取得了一定的研究成果。目前我國正處于由農業(yè)機械化到“智慧農業(yè)”的關鍵期,機器視覺技術在推動農業(yè)產業(yè)升級和農業(yè)現代化過程中會發(fā)揮重要作用。
1 機器視覺系統(tǒng)
機器視覺就是利用相機等圖像采集裝置來代替人眼對目標進行識別、跟蹤、測量,然后進行各種運算,獲取目標特征,得到能夠觀察到或者儀器能夠檢測到的圖像,輸出信號并控制末端機構輸出。一個典型的機器視覺系統(tǒng)包括光源、鏡頭、工業(yè)相機(CCD、CMOS相機)、圖像處理單元、圖像處理軟件、監(jiān)視器、通訊/輸入輸出單元等[11](圖1)。
由圖2可知,機器視覺系統(tǒng)在工作時,通過圖像攝取裝置(工業(yè)相機等)獲得被攝取目標的圖像,傳送給專用的圖像處理系統(tǒng)進行處理,這個過程包括圖像的預處理(圖像去噪、圖像對比增強、圖像分割等操作)、圖像分割(圖像閾值分割、圖像區(qū)域分割、圖像梯度分割等)、提取特征(提取出物體的尺寸、形狀、紋理、顏色等信息),然后通過機器學習算法進行統(tǒng)計運算,根據運算得到的判別結果來進一步控制現場的設備動作。
機器視覺系統(tǒng)是一門比較綜合的學科,綜合了光學、機械、計算機軟硬件等方面的技術,而圖像處理、模式識別和人工智能等技術的發(fā)展,也會推動機器視覺技術的進步。
2 機器學習技術
使用機器學習技術對圖像進行分析與理解是研究熱點[12],機器學習就是通過輸入一定量的數據,通過一定的邏輯規(guī)則,在給定的判斷準則下,來實現對數據的分析預測功能。對于機器視覺系統(tǒng)來說,輸入的數據是圖片。并按照輸入時是否對數據添加一定的標簽,機器學習可以分為監(jiān)督學習、非監(jiān)督學習等,在機器學習算法中均有一定的應用。
典型的機器學習算法首先需要一定的訓練樣本集,往往是提取圖像的特征,然后通過機器學習算法進行訓練得到訓練模型,不同的算法會有不同的訓練精度,而在預測的過程中,新的樣本通過使用已知的模型,會得到預測的結果。機器學習的算法過程如圖3所示。
2.1 監(jiān)督機器學習
監(jiān)督機器學習算法是利用帶標簽的樣本來構建模型,以此來預測未知樣本的類別。該學習算法從分析一個已識別的訓練數據集開始,生成一個推斷函數來預測所需的輸出值。該模型經過訓練,可以為任何新的樣本提供精確的、預期的輸出,同時能發(fā)現錯誤,進而調整模型。
2.1.1 樸素貝葉斯算法 樸素貝葉斯(naive bayesian,簡稱NB)算法是一種生成概率模型,基于預測變量和特征之間的條件獨立性假設,給定的訓練數據集,基于特征條件獨立假設學習輸入/輸出的聯(lián)合概率密度,然后基于此模型,對給定的輸入,利用貝葉斯定理求出后驗概率最大的輸出。
樸素貝葉斯算法多用于分類分級的研究中,在實際應用中,會與其他分類算法對比使用。王永波等在對鳶尾花數據進行分類研究中指出,對花的花兒長度、花兒寬度、花瓣長度和花瓣寬度等4個特征進行建模,其中使用人工神經網絡、樸素貝葉斯算法、支持向量機等3種算法,其準確度分別為92.2%、94.1%、98.0%,人工神經網絡易出現局部最小化現象,導致分類的準確度降低,而樸素貝葉斯的方法雖然簡單,但準確度較高,支持向量機算法由于能夠有效克服局部最小化的問題,因而準確度最高[13]。周軍等在研究核桃仁的分級中,首先獲取顏色和完整度等的特征,得到特征矩陣并進行篩選,最后使用支持向量機、決策樹和樸素貝葉斯算法進行分類,得到測試精度分別為80.67%、93.33%、94.67%,而通過使用樸素貝葉斯預測的精度達到97.33%[14]。
樸素貝葉斯算法對小規(guī)模的數據表現很好,能夠處理多分類的任務,有比較穩(wěn)定的分類效率,但是樸素貝葉斯假設屬性之間是相互獨立的,而實際中往往有一定的關聯(lián)程度的,而且樸素貝葉斯方式需要先驗概率,而這也會導致預測的精確度不佳[15]。
2.1.2 K近鄰算法 K近鄰法(K-nearest neighbor,簡稱K-NN)是一種分類和回歸的方法,在使用時,輸入實例的特征向量,也即是對應的特征的點集,通過k值的選擇、距離的度量和分類的規(guī)則來輸出的是實例的類別,然后如果有新的實例產生,則會根據訓練的模型選擇最近的實例集所在的類,從而完成預測。
Kurtulmu等在使用機器學習算法對油菜籽進行分類的研究中,分別使用灰度共生矩陣(GLCM)、灰色線性回歸模型(GLRM)和局部二值模式(local binary pattern,簡稱LBP)的方式提取的14、11、59個紋理特征作為描述符,并使用K-NN算法進行分類,結果表明,k=3時K-NN算法的分類精度最高,達到97.8%[16]。Li等對自然環(huán)境下藍莓的生長階段圖像進行識別,首先構建圖像像素的數據集,然后獲得圖像的紅、藍、色調3個顏色分量,通過K近鄰(K-NN)和樸素貝葉斯分類器對藍莓的成熟階段進行識別分類,結果表明,使用K-NN分類的精度最高達到98%[17]。在研究對不同類型的香菇自動分類檢測時,夏青采用K-NN的方式,使用香菇的紋理特征作為參數,對香菇類型自動分選,試驗中的模型的分選準確度在91%以上[18]。
2.3.2 卷積神經網絡 卷積神經網絡(convolutional neural networks,簡稱CNN)是一類包含卷積計算的具有深度結構的前饋神經網絡,對于神經網絡中的神經元,只與部分鄰層的神經元連接。一個卷積層中,卷積神經網絡的基本結構包括2層,分別是卷積層、池化層[32-33]。通過卷積和池化把局部特征結合成全局特征,并與全連接層相連,最后進行分類和預測。卷積神經網絡結構如圖5所示。卷積神經網絡的發(fā)展很快,并且有很多成員,比如AlexNet、GoogleLeNet、VGGNet、ResNet等,隨著卷積神經網絡的發(fā)展,大大推動了機器視覺的發(fā)展[34]。目前,卷積神經網絡的預測準確度已經很高,但由于卷積神經網絡有很高的深度,運算速度上有待提升,在應用中更多的是希望速度和準確度上均有提高。
在農業(yè)應用上,卷積神經網絡主要應用在病蟲害檢測、分類分級、導航定位上,如Ramcharan等利用坦桑尼亞田間木薯病害圖像數據集,應用轉移學習訓練深層卷積神經網絡,識別木薯的3種病害和2類害蟲危害。訓練好的模型獲得的褐斑病、木薯褐條病、木薯花葉病檢測精度分別為98%、98%、96%,對紅螨害的檢測精度為96%,綠螨害的檢測精度為95%, 測試集總準確率為93%[35]。孫俊等使用AlexNet改進的卷積神經網絡算法,得到8種改進模型,訓練識別14種植物共計26種病蟲害,選擇最優(yōu)模型。所使用的模型與原來相比精簡了運行所需要的內存,同時提高了運行的泛化能力,測試準確度達到99.56%,具有很好的適應性和魯棒性,能夠對多種植物的多種病害進行識別[36]。楊洋等在對玉米根莖進行精準定位和識別研究中,通過履帶自走式熱霧機獲取圖像,構成訓練樣本,使用神經網絡訓練,在試驗中能夠取得較好的規(guī)劃路徑和定位精度[37]。
神經網絡具有很強的并行計算能力,與人腦類似,人工神經網絡具有自學習和自組織能力,在神經網絡中,神經元部分消失在整個神經網絡系統(tǒng)仍能夠進行工作,因此神經網絡具有很強的容錯能力。但神經網絡要求比較多的樣本進行訓練,而且訓練結果會有時間過長、過度擬合的問題,因此也具有一定的局限性。
3 總結和展望
機器學習技術在農業(yè)機器視覺中具有重要的作用,目前已經應用到農產品質量檢測和分級、雜草和植物病蟲害檢測、土壤分析等方面,預計未來機器視覺會在農業(yè)領域得到越來越廣泛的應用。但也存在一些問題和挑戰(zhàn),一是在農業(yè)領域的大規(guī)模數據集亟須構建,目前的研究成果多是依賴研究者自身采集數據集,得到的結果沒有可比性。二是在面對不同的環(huán)境,如何提高機器視覺系統(tǒng)的魯棒性,也是面臨的挑戰(zhàn)。比如,在不同的光照條件、不同的背景條件、不同作物的不同生長階段、不同的天氣條件等給機器視覺的研究帶來難題。
未來的農業(yè)機器視覺發(fā)展主要體現在:一是農業(yè)機器視覺系統(tǒng)會體現在整合在人工智能、機器人、傳感器、物聯(lián)網中的一部分,能夠展示農作物的生長信息情況,并能夠提前預測。二是嵌入式機器視覺具有易使用、易維護、易安裝的特點,且具有低功耗的優(yōu)勢,會結合機器學習和深度學習方法,在對圖像的定位和處理方向上得到長足發(fā)展,同時在農業(yè)機械裝備中得到普及。
參考文獻:
[1]陳兵旗,吳召恒,李紅業(yè),等. 機器視覺技術的農業(yè)應用研究進展[J]. 科技導報,2018,36(11):54-65.
[2]周 航,杜志龍,武占元,等. 機器視覺技術在現代農業(yè)裝備領域的應用進展[J]. 中國農機化學報,2017,38(11):86-92.
[3]付玉志. 基于ZigBee技術的智慧農業(yè)實時采集和遠程控制系統(tǒng)[D]. 杭州:浙江大學,2015.
[4]刁智華,王會丹,魏 偉. 機器視覺在農業(yè)生產中的應用研究[J]. 農機化研究,2014,36(03):206-211.
[5]王福娟. 機器視覺技術在農產品分級分選中的應用[J]. 農機化研究,2011,33(5):249-252.
[6]曹樂平. 基于機器視覺的植物病蟲害實時識別方法[J]. 中國農學通報,2015,31(20):244-249.
[7]陳 軍,張繼耀,張 欣. 基于機器視覺的草莓自動采摘機的設計[J]. 農機化研究,2020,42(2):141-145.
[8]楊 斯,黃鋁文,張 馨. 機器視覺在設施育苗作物生長監(jiān)測中的研究與應用[J]. 江蘇農業(yè)科學,2019,47(6):179-187.
[9]曹 倩,王 庫,楊永輝,等. 基于TMS320DM642的農業(yè)機器人視覺導航路徑檢測[J]. 農業(yè)機械學報,2009,40(7):171-175.
[10]鄭文鐘. 國內外智能化農業(yè)機械裝備發(fā)展現狀[J]. 現代農機,2015(6):4-8.
[11]姚 綴,呂建秋,向 誠,等. 計算機視覺在農產品外部品質檢測中的應用研究[J]. 食品工業(yè)科技,2019,40(14):363-368.
[12]許憲東,王亞東,運海紅. 統(tǒng)計學習在圖像分類中的應用研究綜述[J]. 黑龍江科技信息,2012(32):108.
[13]王永波,鄺炳洽. 基于機器學習的花卉分類算法研究[J]. 現代計算機,2013(13):21-24.
[14]周 軍,蔡 建,郭俊先,等. 基于機器視覺的核桃仁特征提取與分級方法研究[J]. 江蘇農業(yè)科學,2018,46(11):175-179.
[15]丁 月,汪學明. 基于改進特征加權的樸素貝葉斯分類算法[J]. 計算機應用研究,2019,36(12):3597-3600,3627.
[16]Kurtulmu F,nal H. Discriminating rapeseed varieties using computer vision and machine learning[J]. Expert Systems with Applications,2015,42(4):1880-1891.
[17]Li H,Lee W S,Wang K. Identifying blueberry fruit of different growth stages using natural outdoor color images[J]. Compute Electron Agriculture,2014,106:91-101.
[18]夏 青. 基于圖像處理的干香菇分級方法研究[D]. 武漢:華中農業(yè)大學,2014.
[19]徐 奐. 基于支持向量機的開放式作物模型(SBOCM)研究[D]. 杭州:浙江大學,2012.
[20]Mokhtar U,Ali M A S,Hassanien A E,et al. Tomato leaves diseases detection approach based on Support Vector Machines[C]. Computer Engineering Conference,2016:246-250.
[21]羅匡男,彭 琳,齊偉恒. 基于機器視覺的三七葉片病斑識別[J]. 江蘇農業(yè)科學,2017,45(24):209-212.
[22]劉永娟. 基于計算機視覺技術的玉米發(fā)育期識別研究[D]. 無錫:江南大學,2017.
[23]Zhang S W,Wu X W,You Z H,et al. Leaf image based cucumber disease recognition using sparse representation classification[J]. Compute Electron Agriculture,2017,134:135-141.
[24]歐垚江. 基于高斯混合模型的圖像分割的研究[D]. 北京:北京交通大學,2015.
[25]程相康,朱宏擎. 一種基于高斯混合模型的快速水平集圖像分割方法[J]. 華東理工大學學報(自然科學版),2015,41(6):808-814.
[26]董 騰. 基于機器視覺的水果分揀系統(tǒng)的研究[D]. 聊城:聊城大學,2018.
[27]田 杰,韓 冬,胡秋霞,等. 基于PCA和高斯混合模型的小麥病害彩色圖像分割[J]. 農業(yè)機械學報,2014,45(7):267-271.
[28]鄭 春,張繼山. 基于神經網絡的機器視覺圖像識別算法應用[J]. 哈爾濱師范大學自然科學學報,2018,34(4):41-45.
[29]梁培生,孫 輝,張國政,等. 基于主成分分析和BP神經網絡的蠶蛹分類方法[J]. 江蘇農業(yè)科學,2016,44(10):428-430,582.
[30]黃喜梅. 基于機器視覺技術的小麥葉片含水量無損檢測研究[D]. 泰安:山東農業(yè)大學,2018.
[31]譚穗妍,馬 旭,吳露露,等. 基于機器視覺和BP神經網絡的超級雜交稻穴播量檢測[J]. 農業(yè)工程學報,2014,30(21):201-208.
[32]牛亞茜,冀小平. 基于卷積神經網絡的圖像檢索算法研究[J]. 計算機工程與應用,2019,55(18):201-206.
[33]趙 軼,劉堂友. 基于卷積神經網絡的田間雜草識別方法研究[J]. 計算機仿真,2019,36(4):440-444.
[34]李國和,喬英漢,吳衛(wèi)江,等. 深度學習及其在計算機視覺領域中的應用[J]. 計算機應用研究,2019,36(12):3521-3529,3564.
[35]Ramcharan A,Baranowski K,Mccloskey P,et al. Deep learning for image-based cassava disease detection[J]. Frontiers in Plant Science,2017,8:1852.
[36]孫 俊,譚文軍,毛罕平,等. 基于改進卷積神經網絡的多種植物葉片病害識別[J]. 農業(yè)工程學報,2017,33(19):209-215.
[37]楊 洋,張亞蘭,苗 偉,等. 基于卷積神經網絡的玉米根莖精確識別與定位研究[J]. 農業(yè)機械學報,2018,49(10):46-53.伏文卓,魏 鑫,高艷明. 新型保溫被結構溫室冬季環(huán)境性能測試評價[J]. 江蘇農業(yè)科學,2020,48(12):231-237.