戴 軍
(1.蘇州工業(yè)園區(qū)服務(wù)外包職業(yè)學(xué)院智能管理學(xué)院 江蘇蘇州 215123;2.同濟(jì)大學(xué)經(jīng)濟(jì)與管理學(xué)院 上海 200092)
機(jī)器視覺技術(shù)主要通過算法模型計(jì)算目標(biāo)圖像三維信息特征,自動(dòng)對(duì)目標(biāo)圖像信息進(jìn)行智能化決策判斷,模擬學(xué)習(xí)人類視覺處理圖像信息的一門科學(xué)技術(shù)[1-3]。它融合了計(jì)算機(jī)科學(xué)、應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)和運(yùn)籌決策學(xué)等眾多交叉學(xué)科知識(shí),成為當(dāng)前人工智能應(yīng)用領(lǐng)域的研究熱點(diǎn),已經(jīng)在無(wú)人駕駛、人臉識(shí)別、臨床醫(yī)學(xué)、航天軍工、化工紡織、材料工程、行政治理與農(nóng)業(yè)監(jiān)測(cè)等眾多領(lǐng)域?qū)崿F(xiàn)了較為豐富的場(chǎng)景應(yīng)用[4-10]。
機(jī)器能模仿人閱讀學(xué)習(xí)意味著機(jī)器在一定程度上已經(jīng)具備了人類獲取外界信息形成自己知識(shí)儲(chǔ)備的自動(dòng)化能力[11-12]。由于采集被測(cè)目標(biāo)圖像的特征信息極為復(fù)雜,且存在光線強(qiáng)弱、背景陰影、觀察角度等諸多動(dòng)態(tài)因素的影響,要讓機(jī)器真正達(dá)到像人類一樣輕松地識(shí)別目標(biāo)檢測(cè)物,且能自如地感知捕捉目標(biāo)物體的各種特征信息是一件極其困難的事情[13-16]。但機(jī)器視覺技術(shù)對(duì)目標(biāo)圖像的數(shù)字化處理已經(jīng)表現(xiàn)出了強(qiáng)大的智能化識(shí)別能力,例如在Image Net(目前世界最大的圖像識(shí)別數(shù)據(jù)庫(kù))舉辦的世界機(jī)器視覺技術(shù)大賽上,機(jī)器視覺對(duì)目標(biāo)圖像的識(shí)別水平曾經(jīng)一度超越了人類視覺水平,體現(xiàn)出了機(jī)器視覺技術(shù)對(duì)目標(biāo)物體檢測(cè)的極大潛能[17]。
近年來農(nóng)業(yè)科學(xué)技術(shù)領(lǐng)域特別是瓜菜生產(chǎn)和種植方面也逐漸開始了機(jī)器視覺技術(shù)的應(yīng)用探索研究,尤其是在一些大規(guī)模生產(chǎn)和種植環(huán)境或人工視覺難以達(dá)到識(shí)別要求的農(nóng)業(yè)條件下,利用機(jī)器視覺技術(shù)代替人工視覺對(duì)瓜菜實(shí)施智能化檢測(cè),通過機(jī)器換人不但提升了瓜菜生產(chǎn)和種植的規(guī)模化效率,而且能夠解決生產(chǎn)和種植人員的專業(yè)知識(shí)與技術(shù)經(jīng)驗(yàn)不足問題,機(jī)器視覺技術(shù)的檢測(cè)結(jié)果為瓜菜后續(xù)診斷防治和產(chǎn)銷工作提供靶向性指導(dǎo)具有十分重要的意義。
通常來說,機(jī)器視覺系統(tǒng)主要由光學(xué)照明與成像系統(tǒng)模塊、信號(hào)采集與數(shù)字處理系統(tǒng)模塊、智能分析決策系統(tǒng)模塊和動(dòng)力控制執(zhí)行系統(tǒng)模塊等組成[18]。系統(tǒng)模塊具體包括各種電光源照明設(shè)備、光學(xué)鏡頭(定焦、變焦、定光圈等)、工業(yè)相機(jī)(CCD、CMOS 等)、圖像采集卡(PCI、ISA 等)、圖像數(shù)字化處理設(shè)備、各種監(jiān)視器與傳感器、視頻與通信、輸入輸出單元等軟硬件構(gòu)成(圖1)。機(jī)器視覺的檢測(cè)技術(shù)邏輯機(jī)理是依靠機(jī)器模擬人類的視覺功能,利用光學(xué)成像系統(tǒng)采集目標(biāo)圖像信號(hào),通過圖像信號(hào)數(shù)字化技術(shù)提取目標(biāo)圖像信息特征,借助數(shù)學(xué)算法計(jì)算對(duì)目標(biāo)檢測(cè)物實(shí)施精準(zhǔn)定位與識(shí)別。其中目標(biāo)圖像信號(hào)獲取與數(shù)字化處理分別是機(jī)器視覺系統(tǒng)的“視”技術(shù)與“覺”技術(shù)?!耙暋奔夹g(shù)主要是通過工業(yè)相機(jī)等圖像拍攝設(shè)備獲取目標(biāo)檢測(cè)物的各種圖像信號(hào)[19-20];“覺”技術(shù)主要是對(duì)采集送達(dá)的圖像信號(hào)實(shí)施數(shù)字化處理,包括對(duì)目標(biāo)圖像的信號(hào)預(yù)處理、圖像定位與分割、圖像特征提取、信號(hào)模式分類、圖像語(yǔ)義理解等一系列層次處理[21-24],在基于預(yù)先設(shè)置的允許值等判別條件下輸出目標(biāo)檢測(cè)物的最終分析結(jié)果,完成機(jī)器視覺技術(shù)對(duì)目標(biāo)檢測(cè)物的智能化定位、識(shí)別、引導(dǎo)與執(zhí)行等決策功能。
圖1 機(jī)器視覺的技術(shù)機(jī)理Fig.1 Technical mechanism of machine vision
在自然因素以及人為因素共同影響下,瓜菜的生產(chǎn)和種植過程難免遭受不同程度的損害,如蟲害病害肆虐、水分養(yǎng)分缺失、植株生長(zhǎng)變形等,嚴(yán)重影響瓜菜的產(chǎn)量、品質(zhì)與安全性,因此實(shí)時(shí)、快速、精準(zhǔn)的瓜菜檢測(cè)機(jī)制可以防患于未然。更為關(guān)鍵的是,機(jī)器可以7×24 h 全時(shí)段地對(duì)瓜菜實(shí)施監(jiān)測(cè),且能很好地識(shí)別害蟲的保護(hù)色與隱蔽性,圖像采集系統(tǒng)第一時(shí)間自動(dòng)地捕捉瓜菜生病、生蟲、長(zhǎng)勢(shì)不良等圖像信號(hào),傳輸給數(shù)據(jù)處理系統(tǒng)實(shí)施數(shù)字化處理,為智能決策系統(tǒng)提供準(zhǔn)確的損害特征信號(hào),例如尺度大小、數(shù)量多少、莖稈粗細(xì)與植株高矮等圖像信息,為后續(xù)對(duì)癥防治和產(chǎn)銷對(duì)接工作提供靶向性對(duì)策(圖2)。傳統(tǒng)的純?nèi)斯z測(cè)瓜菜損害的方法效率較低,且生產(chǎn)和種植人員需要具備較強(qiáng)的專業(yè)性和豐富的經(jīng)驗(yàn)加以判斷。機(jī)器視覺技術(shù)相比純?nèi)斯z測(cè)能有效避免檢測(cè)的經(jīng)驗(yàn)性誤差,檢測(cè)結(jié)果更具客觀性且檢測(cè)效率較高,檢測(cè)成本大幅降低。因此,目前在瓜菜生產(chǎn)和種植過程的損害檢測(cè)方面,機(jī)器視覺技術(shù)逐漸得到了廣泛應(yīng)用。
圖2 機(jī)器視覺技術(shù)在瓜菜檢測(cè)中的應(yīng)用邏輯框架Fig.2 Application logic framework of machine vision technology for melon and vegetable detection
基于內(nèi)容分析方法對(duì)已有文獻(xiàn)統(tǒng)計(jì)梳理,發(fā)現(xiàn)當(dāng)前機(jī)器視覺技術(shù)對(duì)瓜菜檢測(cè)的應(yīng)用研究主要集中于4 個(gè)方面,一是應(yīng)用于瓜菜病蟲害的識(shí)別檢測(cè);二是應(yīng)用于瓜菜長(zhǎng)勢(shì)的信息檢測(cè);三是應(yīng)用于瓜菜品質(zhì)的分級(jí)檢測(cè);四是應(yīng)用于瓜菜采摘的果實(shí)定位檢測(cè)。
利用機(jī)器視覺的現(xiàn)代化技術(shù)對(duì)病蟲害實(shí)施預(yù)警、實(shí)時(shí)與快速識(shí)別檢測(cè),不僅能夠替代用時(shí)長(zhǎng)、費(fèi)用高的人工檢測(cè),而且在農(nóng)作物生產(chǎn)和種植日趨規(guī)?;?、產(chǎn)業(yè)化的今天是大勢(shì)所趨,對(duì)農(nóng)業(yè)實(shí)現(xiàn)可持續(xù)發(fā)展具有非常重要的現(xiàn)實(shí)意義[25-28]。
為改善機(jī)器視覺技術(shù)對(duì)瓜菜病蟲害檢測(cè)系統(tǒng)預(yù)警機(jī)制,楊國(guó)武等[29]圍繞病蟲害發(fā)生的氣候因素進(jìn)行統(tǒng)計(jì)分析,針對(duì)萵苣的霜霉病和菜青蟲這2 種主要病蟲害,設(shè)計(jì)了較為完善的病蟲害產(chǎn)生的氣候指標(biāo)體系,在此基礎(chǔ)上建立了霜霉病和菜青蟲流行程度的短期預(yù)警和氣候年景長(zhǎng)期預(yù)測(cè)模型。Da Silva 等[30]以農(nóng)田現(xiàn)場(chǎng)溫度、地表溫度等氣候條件為研究要點(diǎn),以每15 min 為1 個(gè)時(shí)間區(qū)間采集大量氣象分析數(shù)據(jù),針對(duì)番茄的病蟲害構(gòu)建了系統(tǒng)預(yù)警模型,試驗(yàn)結(jié)果顯示病蟲害識(shí)別檢測(cè)的預(yù)警效果較為顯著。
在加強(qiáng)機(jī)器視覺技術(shù)對(duì)瓜菜病蟲害實(shí)時(shí)性監(jiān)測(cè)方面,蔣國(guó)松等[31]針對(duì)蘆筍的病蟲害設(shè)計(jì)了在手機(jī)、電腦等移動(dòng)終端可隨時(shí)隨地查看的線上監(jiān)測(cè)系統(tǒng),通過系統(tǒng)模型的實(shí)踐檢驗(yàn),方便了種植戶對(duì)蘆筍的病蟲害遠(yuǎn)程監(jiān)控。彭琛等[32]建立了以機(jī)器視覺技術(shù)融合發(fā)音報(bào)警功能于一體的蔬菜病蟲害監(jiān)測(cè)系統(tǒng),結(jié)合蔬菜生長(zhǎng)的溫度、濕度和光照等因素開展實(shí)時(shí)分析與監(jiān)測(cè),監(jiān)測(cè)系統(tǒng)突出了遠(yuǎn)程監(jiān)控和無(wú)線收發(fā)功能的應(yīng)用,除了方便種植戶對(duì)蔬菜的管理,主要貢獻(xiàn)在于建立了消費(fèi)者對(duì)蔬菜生長(zhǎng)環(huán)境信息的實(shí)時(shí)了解渠道,緩解了消費(fèi)者的購(gòu)買顧慮,促進(jìn)了消費(fèi)能力的提高。
為了提升機(jī)器視覺技術(shù)對(duì)瓜菜病蟲害的識(shí)別精度,Mohanty 等[33]對(duì)20 余種病蟲害的5 萬(wàn)多張信息采集圖像進(jìn)行改進(jìn)模型的識(shí)別對(duì)比,識(shí)別效果顯著提升,最高識(shí)別精度達(dá)到99.3%。朱莉等[34]改進(jìn)了由Grab Cut 算法分割的最小外接矩形區(qū)域H/S直方圖,計(jì)算交叉匹配系數(shù)通過C4.5 分類器分類識(shí)別油菜蟲害,試驗(yàn)結(jié)果顯示蟲害分類識(shí)別率達(dá)到92.0%。肖德琴等[35]優(yōu)化了蔬菜蟲害的識(shí)別與計(jì)數(shù)算法,結(jié)合隨機(jī)森林算法模型對(duì)蟲害圖像分割和信號(hào)特征提取,蔬菜蟲害識(shí)別率可達(dá)到91.0%。Wang等[36]對(duì)葉片蟲害圖像用K-means 方法網(wǎng)格分割,利用自適應(yīng)聚類方法再通過形態(tài)提取特征去掉葉脈,最終得到蟲害精準(zhǔn)信息,識(shí)別有效精度達(dá)96.3%。Chen 等[37]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)CNN 對(duì)白菜蟲害進(jìn)行圖像分割和計(jì)數(shù)分析,機(jī)器計(jì)數(shù)與人工計(jì)數(shù)的線性相關(guān)系數(shù)R2達(dá)到0.99,識(shí)別精度達(dá)到95.3%。He等[38]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)CNN 對(duì)12 種蔬菜蟲害對(duì)比檢測(cè),結(jié)果表明利用SSD/Inception 檢測(cè)到的平均精確度最高,可達(dá)77.1%。Ye 等[39]結(jié)合形態(tài)學(xué)改進(jìn)邊緣提取算法去除黃瓜圖像的噪聲,提高黃瓜圖像在復(fù)雜背景下的病蟲害檢測(cè)精度,試驗(yàn)結(jié)果表明檢測(cè)準(zhǔn)確率達(dá)到93.9%,誤分類率低于5.8%。郭慶文等[40]結(jié)合顯著圖注意力網(wǎng)絡(luò)模型檢測(cè)蔬菜蟲害,平均精度達(dá)86.4%,平均計(jì)數(shù)誤差為0.11 只,若模型移除顯著圖注意力模塊則機(jī)器視覺技術(shù)的平均精度降到82.4%左右,平均計(jì)數(shù)誤差升到0.32 只。徐境深等[41]將機(jī)器視覺技術(shù)結(jié)合極坐標(biāo)與傅里葉變換方法,提取蔬菜病蟲害的顏色與外形特征實(shí)施快速識(shí)別,檢測(cè)結(jié)果的識(shí)別準(zhǔn)確率達(dá)到99.0%,識(shí)別速度更是達(dá)到320 株·min-1。
綜上所述,機(jī)器視覺技術(shù)對(duì)瓜菜病蟲害檢測(cè)能起到一定的預(yù)警作用,能夠?qū)嵤┤旌虻膶?shí)時(shí)性監(jiān)測(cè),在識(shí)別精準(zhǔn)度方面確實(shí)有著一定的檢測(cè)優(yōu)勢(shì)。
采用機(jī)器視覺技術(shù)檢測(cè)瓜菜長(zhǎng)勢(shì)信息包括高矮粗細(xì)信息、顏色紋理信息等,利用數(shù)據(jù)處理系統(tǒng)對(duì)采集到的長(zhǎng)勢(shì)圖像信號(hào)進(jìn)行特征提取和識(shí)別分析,檢測(cè)結(jié)果可作為判斷瓜菜長(zhǎng)勢(shì)強(qiáng)弱的依據(jù),應(yīng)用于瓜菜生長(zhǎng)的實(shí)際診斷與環(huán)境調(diào)控[42-45]。
針對(duì)瓜菜不同的生長(zhǎng)周期,杭騰等[46]利用機(jī)器視覺技術(shù)以番茄株高、莖粗與果實(shí)大小參數(shù)為檢測(cè)目標(biāo)樣本信息,采集不同生長(zhǎng)周期番茄的3 個(gè)檢測(cè)目標(biāo)樣本的長(zhǎng)勢(shì)圖像信息,對(duì)圖像信號(hào)進(jìn)行中值濾波預(yù)處理,通過r-g 顏色因子自動(dòng)閾值分割法提取圖像信號(hào)特征,建立長(zhǎng)勢(shì)參數(shù)圖像特征值擬合函數(shù)。檢測(cè)結(jié)果表明番茄莖粗參數(shù)在幼苗、開花坐果與結(jié)果期的3 個(gè)周期內(nèi)的相對(duì)檢測(cè)誤差分別介于1.73%~4.04%、0.64%~4.42%、0.46%~4.78%之間;而番茄株高參數(shù)和果實(shí)大小參數(shù)的相對(duì)檢測(cè)誤差則分別介于1.2%~6.5%、0.8%~3.1%之間。
為優(yōu)化選擇最佳的生長(zhǎng)環(huán)境條件,王泉清[47]研究認(rèn)為,必須掌握溫室培養(yǎng)條件下的各種生長(zhǎng)環(huán)境因素與蔬菜長(zhǎng)勢(shì)之間的促進(jìn)關(guān)系,優(yōu)化選取出最有利于蔬菜長(zhǎng)勢(shì)的最佳生長(zhǎng)環(huán)境條件,才能達(dá)到蔬菜生產(chǎn)效能的最大化發(fā)揮。將機(jī)器視覺技術(shù)獲取的圖片信號(hào)經(jīng)過數(shù)據(jù)處理系統(tǒng)處理后,再將檢測(cè)結(jié)果通過云計(jì)算分析得出蔬菜長(zhǎng)勢(shì)與生長(zhǎng)環(huán)境之間的參數(shù)關(guān)系,進(jìn)而建立友好生長(zhǎng)環(huán)境下蔬菜長(zhǎng)勢(shì)檢測(cè)的成熟機(jī)制,生成最利于蔬菜成長(zhǎng)的環(huán)境控制模式。
在瓜菜種苗出芽、嫁接苗愈合與無(wú)土栽培的檢測(cè)方面,張帆等[48]設(shè)計(jì)了一套視覺在線系統(tǒng)檢測(cè)種苗發(fā)芽率。基于機(jī)器視覺技術(shù)采集瓜菜種苗圖像,通過多視圖融合方法評(píng)估每個(gè)點(diǎn)位出苗可信度,根據(jù)可信度大小判斷發(fā)芽率高低,試驗(yàn)結(jié)果驗(yàn)證表明點(diǎn)位檢出率達(dá)100.0%,種苗發(fā)芽檢出率達(dá)95.2%。蘇穎欣等[49]以瓜類愈合期嫁接苗的接穗子葉長(zhǎng)勢(shì)數(shù)據(jù)為檢測(cè)圖像樣本數(shù)據(jù)信息,利用機(jī)器視覺技術(shù)實(shí)時(shí)監(jiān)測(cè)瓜類嫁接苗長(zhǎng)勢(shì)狀況,試驗(yàn)結(jié)果預(yù)計(jì)機(jī)器視覺技術(shù)檢測(cè)與接穗子葉人工觀察相比,至少可提前1~2 d 確定瓜類嫁接苗成活狀態(tài)。祝朝坤等[50]設(shè)計(jì)了一種基于機(jī)器視覺技術(shù)的無(wú)土栽培蔬菜種植系統(tǒng),自動(dòng)調(diào)節(jié)管控?zé)o土栽培環(huán)境下蔬菜生長(zhǎng)所必需的參數(shù)變量,根據(jù)對(duì)蔬菜長(zhǎng)勢(shì)狀態(tài)信息的實(shí)時(shí)化識(shí)別與判斷,針對(duì)不同生長(zhǎng)階段供給蔬菜生長(zhǎng)所需的不同營(yíng)養(yǎng)液濃度和光照條件,能夠把生長(zhǎng)所需的參數(shù)變量數(shù)值控制在預(yù)設(shè)范圍內(nèi),提高了無(wú)土栽培環(huán)境下蔬菜生長(zhǎng)的安全保障。
將兩種及以上技術(shù)方法相融合更能提高瓜菜長(zhǎng)勢(shì)信息檢測(cè)的準(zhǔn)確性。吳瓊等[51]將光譜分析技術(shù)和機(jī)器視覺技術(shù)相結(jié)合,以菠菜、油菜、小白菜和娃娃菜4 種蔬菜葉片為檢測(cè)對(duì)象,分別采集在失水0、12、24、48 h 的4 種時(shí)間狀態(tài)下的葉片圖像信息,通過蔬菜葉片的外觀形態(tài)變化及其內(nèi)部葉綠素變化的光譜曲線對(duì)比,實(shí)現(xiàn)對(duì)4 種蔬菜的4 種時(shí)間狀態(tài)下葉片鮮嫩程度的信息檢測(cè),兩種技術(shù)方法綜合使用的試驗(yàn)檢測(cè)效果非常顯著。豆東東等[52]將Lab 空間下K-means 分割法融合機(jī)器視覺技術(shù),以30 株綠色蔬菜的第15、30 與45 天的葉面積大小為檢測(cè)圖像信息數(shù)據(jù)樣本,分成兩步驟對(duì)比檢測(cè):一是相同蔬菜在不同時(shí)間的葉面積大小信息數(shù)據(jù)檢測(cè);二是不同蔬菜在相同時(shí)間的葉面積大小信息數(shù)據(jù)檢測(cè)。共同檢測(cè)評(píng)估30 株蔬菜的長(zhǎng)勢(shì)狀況,試驗(yàn)過程既可獲取有效圖像分割也能輸出彩色圖像信號(hào),樣本數(shù)據(jù)信息處理與檢測(cè)結(jié)果較為理想。進(jìn)一步佐證了機(jī)器視覺技術(shù)與其他多種人工智能技術(shù)方法相融合,成為未來檢測(cè)瓜菜長(zhǎng)勢(shì)信息的一個(gè)主要研究方向[53]。
綜上所述,機(jī)器視覺技術(shù)能夠比人工觀察更早、更及時(shí)地捕捉瓜菜長(zhǎng)勢(shì)的細(xì)微變化,因此該技術(shù)用于檢測(cè)瓜菜長(zhǎng)勢(shì)信息,可以很好地輔助瓜菜種植與管理人員做好提前決策與事先控制。
利用機(jī)器視覺技術(shù)進(jìn)行綜合指標(biāo)判斷后對(duì)農(nóng)產(chǎn)品實(shí)施品質(zhì)分級(jí)是一個(gè)新的技術(shù)應(yīng)用嘗試,目前已廣泛應(yīng)用到農(nóng)產(chǎn)品的表觀品質(zhì)分級(jí)檢測(cè)中,在計(jì)算機(jī)軟硬件與算法技術(shù)的創(chuàng)新發(fā)展幫助下,機(jī)器視覺技術(shù)在瓜菜品質(zhì)分級(jí)檢測(cè)領(lǐng)域應(yīng)具有廣闊的應(yīng)用前景[54-58]。
在根莖類蔬菜的品質(zhì)分級(jí)檢測(cè)方面,Tao 等[59]根據(jù)外觀顏色結(jié)合機(jī)器視覺技術(shù),應(yīng)用于區(qū)別正常馬鈴薯與發(fā)芽馬鈴薯(有毒)的品質(zhì)分級(jí)檢測(cè)??讖埖萚60]以馬鈴薯的面積與周長(zhǎng)為檢測(cè)參數(shù),利用機(jī)器視覺技術(shù)對(duì)馬鈴薯進(jìn)行外觀質(zhì)量的品質(zhì)分級(jí)檢測(cè)。為突破內(nèi)部特征檢測(cè)瓶頸,田芳等[61]嘗試?yán)脵C(jī)器視覺技術(shù)結(jié)合透射光源系統(tǒng)創(chuàng)新性地對(duì)馬鈴薯黑心病進(jìn)行試驗(yàn)檢測(cè),結(jié)果表明效果良好,檢測(cè)準(zhǔn)確率可達(dá)96.0%。韓仲志等[62]基于機(jī)器視覺技術(shù)針對(duì)胡蘿卜須根、青頭與開裂等不同缺陷采用不同算法進(jìn)行品質(zhì)分級(jí),試驗(yàn)以520 份胡蘿卜須根、青頭與開裂圖像為樣本信息進(jìn)行檢測(cè),正確率分別達(dá)到81.8%、97.5%和92.3%,總體識(shí)別率達(dá)到91.3%。為對(duì)消費(fèi)者負(fù)責(zé),謝為俊等[63]指出胡蘿卜上市銷售前要剔除缺陷產(chǎn)品,采用機(jī)器視覺技術(shù)針對(duì)青頭、彎曲、斷裂、分叉和開裂等不同缺陷,結(jié)合了不同算法測(cè)試,檢測(cè)結(jié)果顯示機(jī)器對(duì)這些缺陷胡蘿卜的識(shí)別準(zhǔn)確率分別為100.0%、91.1%、90.6%、94.6%和95.5%,檢測(cè)識(shí)別的總體準(zhǔn)確率達(dá)到94.9%。
在葉類蔬菜的品質(zhì)分級(jí)檢測(cè)方面,馮甲一[64]基于機(jī)器視覺技術(shù)采集小白菜的葉片圖像,以小白菜的葉片顏色、形狀和紋理等作為檢測(cè)信息樣本數(shù)據(jù),利用MATLAB 軟件處理圖像信息,同時(shí)將主成分分析與Fisher 判別法相結(jié)合對(duì)葉片新鮮度實(shí)施品質(zhì)分級(jí)檢測(cè),試驗(yàn)結(jié)果表明識(shí)別準(zhǔn)確率達(dá)84.0%。徐海霞[65]將機(jī)器視覺技術(shù)應(yīng)用于菠菜新鮮度品質(zhì)分級(jí)檢測(cè),采集貯藏期內(nèi)菠菜圖像信息,建立菠菜新鮮度等級(jí)判別神經(jīng)網(wǎng)絡(luò)模型,實(shí)現(xiàn)了對(duì)貯藏期內(nèi)菠菜品質(zhì)的有效檢測(cè)。魏文松等[66]研發(fā)了基于機(jī)器視覺技術(shù)的葉菜品質(zhì)分級(jí)檢測(cè)系統(tǒng),包括負(fù)壓吸氣樣品分離模塊、LED 光源照明模塊與氣吹式分選模塊,以320 份菠菜樣品為檢測(cè)對(duì)象,檢測(cè)結(jié)果顯示分選1 份葉菜樣品僅需0.84 s,總體判別正確率達(dá)到94.7%。
在水生蔬菜的品質(zhì)分級(jí)檢測(cè)方面,馬京鳳[67]將機(jī)器視覺與形態(tài)學(xué)技術(shù)結(jié)合,降噪處理與閾值分割采集到的蓮藕圖像信號(hào),以蓮藕彎曲度與長(zhǎng)度為參數(shù)代入統(tǒng)一函數(shù)方程計(jì)算,結(jié)果作為蓮藕外觀檢測(cè)品質(zhì)分級(jí)的標(biāo)準(zhǔn),總體分級(jí)準(zhǔn)確率達(dá)到85.0%。張文蓉等[68]基于機(jī)器視覺技術(shù)設(shè)計(jì)了茭白自動(dòng)分級(jí)檢測(cè)設(shè)備系統(tǒng),根據(jù)茭白大小、形狀、顏色等表觀特征進(jìn)行品質(zhì)分級(jí),設(shè)備系統(tǒng)包含上料、分揀包裝與品質(zhì)分級(jí)模塊等,設(shè)備系統(tǒng)穩(wěn)定性良好,試驗(yàn)結(jié)果顯示茭白品質(zhì)分級(jí)的準(zhǔn)確率達(dá)到95.6%。
在瓜類的品質(zhì)分級(jí)檢測(cè)方面,張建華等[69]提出利用機(jī)器視覺技術(shù)結(jié)合連續(xù)凹點(diǎn)組方法,計(jì)算凹點(diǎn)組內(nèi)最大曲率點(diǎn)鏈碼距離與歐氏距離比值,根據(jù)比值判斷瓜蒂質(zhì)量與甜瓜品質(zhì),方法識(shí)別準(zhǔn)確率達(dá)到92.0%。徐瑩瑩等[70]也提出根據(jù)瓜蒂質(zhì)量判斷甜瓜品質(zhì),提出基于角點(diǎn)的檢測(cè)方法,利用瓜蒂表面的高曲率點(diǎn)集中分布特點(diǎn)準(zhǔn)確識(shí)別瓜蒂質(zhì)量,試驗(yàn)結(jié)果顯示該方法快速有效且具較好的魯棒性。呂福香等[71]以甜瓜外觀直徑參數(shù)為檢測(cè)數(shù)據(jù)樣本,將機(jī)器視覺技術(shù)結(jié)合形態(tài)學(xué)和Spline 插值法處理甜瓜圖像信號(hào),實(shí)現(xiàn)了根據(jù)甜瓜縱橫徑表征形態(tài)進(jìn)行品質(zhì)分級(jí)。王書志等[72]以紋理和顏色特征為檢測(cè)數(shù)據(jù)樣本,分析圖像可疑區(qū)并提取灰度共生矩陣特征參數(shù),構(gòu)建甜瓜品質(zhì)分級(jí)檢測(cè)系統(tǒng),檢測(cè)識(shí)別準(zhǔn)確率達(dá)到92.2%。劉啟全等[73]采用機(jī)器視覺技術(shù)結(jié)合橢圓擬合算法對(duì)哈密瓜圖像提取橢圓特征,根據(jù)橢圓長(zhǎng)軸與橢圓率計(jì)算結(jié)果基于大小標(biāo)準(zhǔn)評(píng)判品質(zhì)分級(jí),試驗(yàn)識(shí)別準(zhǔn)確率達(dá)到90.3%。
綜上所述,機(jī)器視覺技術(shù)對(duì)瓜菜的品質(zhì)分級(jí)主要基于表觀特征的檢測(cè),根據(jù)不同檢測(cè)目標(biāo)需求結(jié)合恰當(dāng)?shù)乃惴P停梢员憩F(xiàn)出較高的檢測(cè)識(shí)別準(zhǔn)確率。而突破產(chǎn)品質(zhì)地障礙深入瓜菜內(nèi)部檢測(cè),根據(jù)內(nèi)部特征檢測(cè)結(jié)果實(shí)行品質(zhì)分級(jí)的研究尚處于探索階段,未來應(yīng)該會(huì)有更多更成熟的檢測(cè)手段出現(xiàn)。
傳統(tǒng)人工采摘瓜菜工作雖然能夠保證采摘的質(zhì)量,但勞動(dòng)強(qiáng)度大、采摘效率低,而且人力成本高,這些因素嚴(yán)重制約著我國(guó)瓜菜產(chǎn)業(yè)的高質(zhì)量發(fā)展?;跈C(jī)器視覺技術(shù)對(duì)瓜菜果實(shí)實(shí)施精準(zhǔn)定位,通過機(jī)器人實(shí)施瓜菜采摘作業(yè),可以有效突破傳統(tǒng)人工采摘的瓶頸問題[74-77]。
在葫蘆科瓜果的采摘定位檢測(cè)方面,Edan 等[78]基于機(jī)器視覺模塊對(duì)笛卡爾型和圓柱型甜瓜采摘機(jī)器人仿真測(cè)試,試驗(yàn)結(jié)果可以做到笛卡爾型機(jī)器人采摘甜瓜均速為1.3 s·個(gè)-1,圓柱型機(jī)器人采摘甜瓜均速為3.8 s·個(gè)-1。湯修映等[79]研制的黃瓜采摘機(jī)器人采用PC 機(jī)和運(yùn)動(dòng)控制卡配合機(jī)器視覺技術(shù)實(shí)現(xiàn)機(jī)械臂的多軸控制,試驗(yàn)結(jié)果表明機(jī)器人采摘黃瓜成功率達(dá)到93.3%。王燕[80]研制的黃瓜采摘機(jī)器人采用DSP 上位機(jī)控制器+CAN 總線+DSP 關(guān)節(jié)控制器的分布式控制方案,通過充氣、放氣系統(tǒng)實(shí)現(xiàn)黃瓜的無(wú)損采摘,試驗(yàn)結(jié)果表明果實(shí)定位精度達(dá)到2.4 mm,采摘成功率達(dá)到86%,平均耗時(shí)約18 s·根-1。張帆等[81]設(shè)計(jì)的黃瓜采摘機(jī)器人由視覺伺服系統(tǒng)、末端執(zhí)行器及移動(dòng)平臺(tái)構(gòu)成,檢測(cè)結(jié)果表明該機(jī)器人果實(shí)識(shí)別準(zhǔn)確率達(dá)95%,采摘黃瓜成功率達(dá)到85%,采摘平均速度為8 s·根-1,視覺系統(tǒng)定位最大誤差-7 mm。
在茄科蔬菜的采摘定位檢測(cè)方面,Bac 等[82-83]設(shè)計(jì)了一款基于機(jī)器視覺技術(shù)的甜椒采摘機(jī)器人,試驗(yàn)結(jié)果表明,該機(jī)器人對(duì)甜椒的識(shí)別采摘成功率高達(dá)97%。王麗麗等[84-85]研發(fā)的番茄采摘機(jī)器人包括雙目視覺識(shí)別定位系統(tǒng)和智能導(dǎo)航系統(tǒng)等,試驗(yàn)檢測(cè)表明對(duì)番茄果實(shí)的識(shí)別成功率高達(dá)99%,采摘成功率達(dá)到86.7%,采摘耗時(shí)平均為15 s·個(gè)-1,但尚無(wú)法保證對(duì)番茄無(wú)損采摘,且對(duì)番茄種植環(huán)境要求高。王曉楠等[86]研發(fā)的番茄采摘機(jī)器人利用結(jié)構(gòu)光視覺識(shí)別定位算法,通過HIS 顏色模型對(duì)番茄圖像分割與目標(biāo)定位,該機(jī)器人采摘番茄成功率達(dá)83.9%,果實(shí)采摘平均耗時(shí)24 s·個(gè)-1。陳光宇[87]基于機(jī)器視覺技術(shù)提出流行排序顯著目標(biāo)檢測(cè)算法解決機(jī)器人識(shí)別綠色青椒困難問題,該方法采用前景特征的顯著性檢測(cè),采集位于圖像邊緣的青椒目標(biāo)圖像,將前景特征和背景特征融合,獲得最佳性能的顯著性檢測(cè)圖像,檢測(cè)結(jié)果顯示對(duì)青椒目標(biāo)果實(shí)識(shí)別準(zhǔn)確率達(dá)到85.6%。
在百合科蔬菜的采摘定位檢測(cè)方面,馬聰?shù)萚88]基于機(jī)器視覺技術(shù)搭建了黃花菜采摘機(jī)器人視覺系統(tǒng),采用Bouguet 算法對(duì)雙目圖像進(jìn)行校正,通過HSV 顏色模型完整地分割出黃花菜目標(biāo)區(qū)域,初步試驗(yàn)結(jié)果良好,其采用的方法和算法可以為黃花菜采摘機(jī)器人進(jìn)一步更精準(zhǔn)采摘提供借鑒。
在睡蓮科蔬菜的采摘定位檢測(cè)方面,武曉坤[89]基于機(jī)器視覺技術(shù)設(shè)計(jì)出一款智能機(jī)械臂對(duì)水生莼菜實(shí)施采摘,檢測(cè)結(jié)果顯示對(duì)于葉徑小于80 mm、根莖與菜葉平面夾角大于20°的莼菜采摘效果較佳,采摘時(shí)耗平均25.5 s·個(gè)-1,采摘成功率可達(dá)65.63%。
綜上所述,機(jī)器視覺技術(shù)在瓜菜果實(shí)的采摘定位方面確實(shí)有著較為廣闊的應(yīng)用前景,其采摘效率優(yōu)于人工采摘作業(yè)。只是目前在背景識(shí)別精度、無(wú)損采摘質(zhì)量與采摘環(huán)境適應(yīng)性方面還有著一定的不足,隨著機(jī)器視覺與機(jī)器人技術(shù)的越發(fā)成熟,未來的瓜菜果實(shí)定位采摘機(jī)器人一定會(huì)突破此類瓶頸的束縛,實(shí)現(xiàn)智能化與無(wú)損化采摘。
機(jī)器視覺技術(shù)憑借其檢測(cè)智能化及精準(zhǔn)度高等特征,已經(jīng)成為目前瓜菜檢測(cè)領(lǐng)域的重要研究方向之一。研究機(jī)器視覺技術(shù)并讓其服務(wù)于瓜菜檢測(cè)應(yīng)用,不僅能夠釋放勞動(dòng)力資源,還能促進(jìn)瓜菜產(chǎn)業(yè)的高質(zhì)量發(fā)展與安全保障,對(duì)增強(qiáng)廣大生產(chǎn)者和消費(fèi)者的獲得感、安全感與幸福感具有十分重要的意義。盡管機(jī)器視覺技術(shù)研究取得了一定進(jìn)展,并在農(nóng)產(chǎn)品領(lǐng)域有了較為廣泛的應(yīng)用,但當(dāng)前在瓜菜檢測(cè)應(yīng)用方面依然存在一些不足,主要體現(xiàn)在以下幾個(gè)方面。
3.1.1 難以應(yīng)對(duì)復(fù)雜多變的檢測(cè)場(chǎng)景環(huán)境 機(jī)器視覺技術(shù)需要適應(yīng)一定的檢測(cè)場(chǎng)景環(huán)境才可對(duì)瓜菜檢測(cè)做出精準(zhǔn)識(shí)別。通常研究都是基于試驗(yàn)場(chǎng)景環(huán)境下開展檢測(cè),因此人為設(shè)置的檢測(cè)場(chǎng)景較為理想。瓜菜的實(shí)際生長(zhǎng)環(huán)境較為復(fù)雜,大多是自然環(huán)境下的開放農(nóng)田或者設(shè)施種植的封閉溫室大棚。自然環(huán)境下的農(nóng)田受多種不確定性因素影響較大,例如風(fēng)霜雨雪及大風(fēng)刮起的灰塵等都會(huì)影響機(jī)器攝取瓜菜圖像的質(zhì)量。而溫室大棚內(nèi)存在較大的水汽濕度,溫度上升產(chǎn)生水霧會(huì)影響機(jī)器抓拍清晰的瓜菜圖像,另外溫室大棚內(nèi)的酸堿度和濕度也會(huì)影響機(jī)器的硬件采集設(shè)備而縮減機(jī)器系統(tǒng)的使用壽命。
3.1.2 圖像數(shù)據(jù)信號(hào)傳輸與處理的速度亟待加快 瓜菜檢測(cè)模型多用大型神經(jīng)網(wǎng)絡(luò)搭建,參數(shù)多且計(jì)算量大,特征空間維度高,通常需要將算法模型放置于云端服務(wù)器中,網(wǎng)絡(luò)通道一定要穩(wěn)定順暢,否則難以達(dá)到機(jī)器視覺系統(tǒng)的實(shí)時(shí)在線檢測(cè)目的。機(jī)器“視”系統(tǒng)采集到的瓜菜海量圖像數(shù)據(jù)信號(hào)龐大且冗余繁多,需要多傳感器融合成并行處理單元解決海量圖像數(shù)據(jù)信號(hào)傳輸,并且機(jī)器“覺”系統(tǒng)的算法必須計(jì)算力超強(qiáng),否則圖像數(shù)據(jù)信號(hào)處理速度會(huì)出現(xiàn)明顯時(shí)滯,也難以實(shí)現(xiàn)機(jī)器視覺系統(tǒng)智能化的高效率檢測(cè)目標(biāo)。
3.1.3 動(dòng)態(tài)檢測(cè)結(jié)果的準(zhǔn)確程度仍需提高 機(jī)器視覺技術(shù)應(yīng)用于瓜菜檢測(cè)的研究對(duì)象一般為處于靜態(tài)的瓜菜個(gè)體,對(duì)其采集靜態(tài)的圖像數(shù)據(jù)信號(hào)開展檢測(cè)分析。而實(shí)際生產(chǎn)中的瓜菜品質(zhì)分級(jí)工作現(xiàn)場(chǎng),需要采集處于動(dòng)態(tài)的多個(gè)瓜菜的連續(xù)圖像序列。從檢測(cè)靜態(tài)瓜菜到動(dòng)態(tài)瓜菜圖像序列采集、特征提取與數(shù)據(jù)處理,對(duì)機(jī)器視覺技術(shù)檢測(cè)結(jié)果的準(zhǔn)確性提出了極大的考驗(yàn)。因而試驗(yàn)狀態(tài)下的檢測(cè)識(shí)別準(zhǔn)確率尚不能真實(shí)代表實(shí)際的檢測(cè)工作。目前的研究只重視試驗(yàn)狀態(tài)下機(jī)器視覺技術(shù)的智能化檢測(cè)優(yōu)勢(shì),過度依賴機(jī)器的分析判斷結(jié)果,而實(shí)際工作中是否影響到了人的自覺能動(dòng)性的發(fā)揮值得探討與商榷。
3.1.4 機(jī)器視覺算法模型檢測(cè)的通用性有待提升 當(dāng)前不同的檢測(cè)環(huán)境與檢測(cè)對(duì)象通常設(shè)計(jì)不同的機(jī)器視覺算法模型,這些算法模型尚不能做到普適性的檢測(cè)需求,且檢測(cè)的精準(zhǔn)度各有不同。尤其針對(duì)一些復(fù)雜的種植環(huán)境與采摘背景,機(jī)器視覺的算法識(shí)別模型改進(jìn)空間較大。例如通過建立瓜菜果實(shí)的背景數(shù)據(jù)庫(kù),讓算法識(shí)別模型能夠記憶并區(qū)分各種背景特征,輕松識(shí)別出背景中的目標(biāo)物,這必須依賴并提高機(jī)器視覺算法模型的通用性。因此研發(fā)并采用普適性的機(jī)器視覺算法模型尤為必要。
當(dāng)前機(jī)器視覺技術(shù)已經(jīng)滲透到了工農(nóng)業(yè)生產(chǎn)與日常生活中,在很多場(chǎng)景實(shí)現(xiàn)了較為豐富的應(yīng)用。機(jī)器視覺技術(shù)的廣泛應(yīng)用提高了工農(nóng)業(yè)的生產(chǎn)力與自動(dòng)化水平,也改善了人們的日常生活。隨著大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)與人工智能技術(shù)的飛速發(fā)展,以及機(jī)器人、3D 傳感器、計(jì)算機(jī)處理算法等技術(shù)的日益突破,機(jī)器視覺技術(shù)必將在瓜菜等農(nóng)產(chǎn)品領(lǐng)域發(fā)揮更快速便捷、更智能、更可靠以及更多元的檢測(cè)作用。尤其是在機(jī)器替代人眼的研究與使用方面,在各種先進(jìn)的現(xiàn)代化人工智能與信息技術(shù)加持下,普適性的機(jī)器視覺系統(tǒng)能夠輕松克服各種檢測(cè)噪聲的干擾影響。機(jī)器視覺算法模型的通用性能夠適應(yīng)各種自然的檢測(cè)場(chǎng)景環(huán)境與復(fù)雜的檢測(cè)背景,其強(qiáng)大的計(jì)算力能夠?qū)喜四繕?biāo)數(shù)據(jù)實(shí)施快速毫無(wú)時(shí)滯地精準(zhǔn)處理,真正實(shí)現(xiàn)智能化的高效檢測(cè)。